KR20130094861A

KR20130094861A - 화상 처리 장치, 정보 처리 장치, 화상 처리 방법, 및 정보 처리 방법

Info

Publication number: KR20130094861A
Application number: KR1020137020473A
Authority: KR
Inventors: 아키오 오바; 히로유키 세가와; 테츠고 이나다; 히로토시 마에가와; 준 히로이
Original assignee: 소니 컴퓨터 엔터테인먼트 인코포레이티드
Priority date: 2008-11-11
Filing date: 2009-09-08
Publication date: 2013-08-26
Also published as: CN103605452A; RU2509341C2; KR20110087300A; EP2360562A4; US8917286B2; RU2011123257A; KR101400935B1; EP2360562B1; CN102209951A; EP2360562A1; US20110273470A1; CN103605452B; WO2010055604A1

Abstract

신문기사나 잡지 등의 1 페이지를 계층 데이터(380)를 이용하여 표시하는 경우, 기사 단위로 유도 영역(392)(계층 데이터(380)에서의 선(386)으로 표시됨)을 시나리오 설정 파일로 설정해 둔다. 또한, 그 아래의 계층, 즉 문자를 판독할 수 있을 정도의 해상도를 가지는 계층에서, 기사의 최초부터 최후까지를 쫓을 수 있도록 복수의 유도 영역(394, 396)(각각 선(388), 선(390)으로 표시됨)을 설정해 둔다. 그리고 유저로부터의 확대 지시에 의해 우선 표시 화상을 유도 영역(392)으로 유도한다(화살표 F). 추가적인 확대 지시에 의해, 당해 기사의 문두의 유도 영역(394)으로 유도한다(화살표 G). 유도 영역(394)내의 문장을 읽은 유저가 방향 지시나 소정의 버튼을 압하하는 입력을 행한 경우, 다음의 문장이 기재된 유도 영역(396)으로 유도한다(화살표 H).

Description

화상 처리 장치, 정보 처리 장치, 화상 처리 방법, 및 정보 처리 방법{IMAGE PROCESSING DEVICE, INFORMATION PROCESSING DEVICE, IMAGE PROCESSING METHOD, AND INFORMATION PROCESSING METHOD}

본 발명은 디스플레이에 표시하는 화상을 확대/축소, 또는 상하 좌우로 이동시키는 화상 처리 기술에 관한 것이다.

게임 프로그램을 실행할 뿐만 아니라, 동영상을 재생할 수 있는 가정용 엔터테인먼트 시스템이 제안되고 있다. 이 가정용 엔터테인먼트 시스템에서는 GPU가 폴리곤을 이용한 삼차원 화상을 생성한다(예를 들면 특허 문헌 1 참조).

한편, 고정밀(high-definition) 사진 등의 디지탈 화상으로부터 생성된 복수의 해상도의 타일 화상을 이용하여, 표시 화상의 확대/축소 처리나, 상하 좌우 방향의 이동 처리를 행하는 기술이 제안되고 있다. 이 화상 처리 기술에서는 원화상 사이즈를 복수 단계로 축소하여 다른 해상도의 화상을 생성하고, 각 계층의 화상을 하나 또는 복수의 타일 화상으로 분할하여, 원화상을 계층 구조로 표현한다. 통상, 가장 해상도가 낮은 화상은 하나의 타일 화상으로 구성되고, 가장 해상도가 높은 원화상은 가장 많은 수의 타일 화상으로 구성된다. 화상 처리 장치는 표시 화상의 확대 처리 또는 축소 처리시에, 사용하고 있는 타일 화상을 다른 계층의 타일 화상으로 전환하여, 확대 표시 또는 축소 표시를 신속히 행하도록 하고 있다.

한편, 최근 휴대단말 등에서도 표시 화면의 사이즈가 확대하여, 정보 처리 장치의 종류에 의하지 않고 고정밀 화상을 표시하는 것이 가능해지고 있다. 그 때문에 시각에 호소하는 다양한 콘텐츠가 보다 친밀한 것이 되었다. 그러나 표시해야 할 정보가 복잡화, 고도화하면, 그것을 잘 다루기 위해서는 다양한 지식이 필요해진다. 이 때문에, 정보의 질과 조작의 용이성은 트레이드 오프(trade-off)의 관계에 있는 경우가 많다. 또한, 화상을 포함한 복잡한 콘텐츠를 작성하기 위해서는 보다 더 전문적인 지식이 필요해지고 있다.

본 발명은 이러한 과제를 감안하여 이루어진 것으로, 그 목적은 정보의 질을 유지하면서 용이하게 원하는 정보를 표시할 수 있는 기술을 제공하는데 있다.

본 발명의 하나의 태양은 화상 처리 장치에 관한 것이다. 이 화상 처리 장치는 화상의 적어도 일부를 디스플레이에 표시하는 화상 처리 장치로서, 하나의 화상에서 다른 해상도의 화상 데이터를 해상도 순서로 계층화하여 구성되는 계층 데이터를 유지하는 기억장치; 화상 평면 및 해상도의 축에 의해 정의되는 가상 공간에서, 계층 데이터내의 영역을 지정한 시나리오 설정 파일을 유지하는 메모리; 유저로부터의 표시 화상의 변경에 따른 지시 입력을 받아들이는 입력 정보 취득부; 유저로부터 소정의 지시 입력이 이루어졌을 때, 시나리오 설정 파일에서 지정된 영역으로 표시 화상을 유도하는 표시 화상 처리부; 를 구비하는 것을 특징으로 한다.

본 발명의 다른 태양은 화상 처리 방법에 관한 것이다. 이 화상 처리 방법은 화상의 적어도 일부를 디스플레이에 표시하는 화상 처리 방법으로서, 기억장치로부터 화상 데이터를 읽어내 표시장치에 묘화하는 스텝; 현재 표시중인 화상에서의 표시 영역의 이동 및 확대 축소를 포함하는 표시 화상의 이동 요구를 유저로부터 받아들이는 스텝; 표시 화상의 이동 요구에 따라, 미리 메모리에 설정된 영역 및 해상도에 표시 화상을 유도하는 스텝; 을 포함하는 것을 특징으로 한다.

본 발명의 하나의 태양은 화상 처리 장치에 관한 것이다. 이 화상 처리 장치는 화상의 적어도 일부를 디스플레이에 표시하는 화상 처리 장치로서, 하나의 화상에서 다른 해상도의 화상 데이터를 해상도 순서로 계층화하여 구성되는 계층 데이터를 유지하는 기억장치; 화상 평면 및 해상도의 축에 의해 정의되는 가상 공간에서, 다른 계층 데이터내의 소정의 영역을 대응시킨 링크 설정 파일을 유지하는 메모리; 디스플레이에 표시되어 있는 표시 화상의 가상 공간에서의 이동 요구를 유저로부터 받아들이는 입력 정보 취득부; 유저로부터의 표시 화상의 이동 요구의 결과, 링크 설정 파일에서 설정된, 표시중인 계층 데이터에서의 영역의 소정 범위내에 표시 화상이 들어갔을 때, 당해 영역에 대응된 다른 계층 데이터의 영역으로 표시 화상을 전환하는 표시 화상 처리부; 를 구비하는 것을 특징으로 한다.

본 발명의 다른 태양은 화상 처리 방법에 관한 것이다. 이 화상 처리 방법은 화상의 적어도 일부를 디스플레이에 표시하는 화상 처리 방법으로서, 기억장치로부터 화상 데이터를 읽어내 표시장치에 묘화하는 스텝; 현재 표시중인 화상에서의 표시 영역의 이동 및 확대 축소를 포함하는 표시 화상의 이동 요구를 유저로부터 받아들이는 스텝; 표시 화상이 미리 메모리에 설정된 영역 및 해상도에 도달했을 때, 당해 설정에서 대응된 다른 화상의 소정의 영역으로 표시를 전환하는 스텝; 을 포함하는 것을 특징으로 한다.

본 발명의 또 다른 태양은 콘텐츠의 데이터 구조에 관한 것이다. 이 데이터 구조는 하나의 화상에서 다른 해상도의 화상 데이터를 해상도 순서로 계층화하여 구성되는 계층 데이터 중 복수의 계층 데이터내의 소정의 영역을, 화상 평면 및 해상도의 축에 의해 정의되는 가상 공간에서 대응시키고, 화상 표시시에 계층 데이터간에서 전환을 행하기 위한 링크 설정 파일; 당해 링크 설정 파일에 의해 대응된 복수의 계층 데이터; 당해 계층 데이터의 시청을 제어하는 속성 정보; 를 대응시킨 것을 특징으로 한다.

본 발명의 하나의 태양은 화상 처리 장치에 관한 것이다. 이 화상 처리 장치는 화상의 적어도 일부를 디스플레이에 표시하는 화상 처리 장치로서, 하나의 화상에서 다른 해상도의 화상 데이터를 해상도 순서로 계층화하여 구성되는 계층 데이터를 유지하는 기억장치; 적어도 2개의 계층 데이터를 대응시킴과 동시에, 당해 계층 데이터간의 표시 화상의 전환 조건을 설정한 링크 설정 파일을 유지하는 메모리; 어느 계층 데이터의 화상을 표시하고 있는 동안에, 표시 화상이 전환 조건을 만족하는지 아닌지를, 링크 설정 파일을 참조하여 판정하는 링크 판정부; 링크 판정부가 전환 조건을 만족한다고 판정한 경우에, 계층 데이터에 대응된 다른 계층 데이터의 화상으로 표시 화상을 전환하는 표시 화상 처리부; 를 구비하는 것을 특징으로 한다.

본 발명의 다른 태양은 화상 처리 방법에 관한 것이다. 이 화상 처리 방법은 화상의 적어도 일부를 디스플레이에 표시하는 화상 처리 방법으로서, 메모리에서 미리 대응된 복수의 화상 데이터를 처리 대상으로 하여 기억장치로부터 읽어내는 스텝; 복수의 화상 데이터 중 적어도 하나를 표시하는 스텝; 현재 표시중인 화상에서의 표시 영역의 이동 및 확대 축소를 포함하는 표시 화상의 이동 요구를 유저로부터 받아들이는 스텝; 표시 화상이 미리 메모리에 설정된 조건을 만족했을 때, 표시중인 화상 데이터에 대응된 다른 화상 데이터로 표시를 전환하는 스텝; 을 포함하는 것을 특징으로 한다.

본 발명의 하나의 태양은 정보 처리 장치에 관한 것이다. 이 정보 처리 장치는 유저로부터 복수의 개별 화상을 선택하는 입력을 받아들이는 입력 정보 취득부; 선택된 복수의 개별 화상을 소정의 포맷으로 배치한 인덱스 화상의 데이터를 생성하는 설정 정보 등록부; 를 구비하고, 복수의 개별 화상은 다른 해상도의 화상 데이터를 해상도 순서로 계층화하여 구성되는 계층 데이터의 구조를 이루고, 설정 정보 등록부는 인덱스 화상에서 개별 화상을 배치한 영역과 당해 영역에 배치된 개별 화상의 계층 데이터를 대응시키고, 인덱스 화상으로부터 개별 화상으로, 표시 화상의 묘화에 이용하는 데이터의 전환을 행하기 위한 링크 설정 파일을 생성하여 메모리에 출력하는 것을 특징으로 한다.

본 발명의 다른 태양은 정보 처리 방법에 관한 것이다. 이 정보 처리 방법은 유저로부터 복수의 개별 화상을 선택하는 입력을 받아들이는 스텝; 선택된 복수의 개별 화상을 기억장치로부터 읽어내, 소정의 포맷으로 배치한 인덱스 화상의 데이터를 생성하여 메모리에 출력하는 스텝; 을 포함하고, 복수의 개별 화상은 다른 해상도의 화상 데이터를 해상도 순서로 계층화하여 구성되는 계층 데이터의 구조를 이루고, 출력하는 스텝은 상기 인덱스 화상에서 개별 화상을 배치한 영역과 당해 영역에 배치된 개별 화상의 계층 데이터를 대응시켜, 인덱스 화상으로부터 개별 화상으로, 표시 화상의 묘화에 이용하는 데이터의 전환을 행하기 위한 링크 설정 파일을 생성하여 더 출력하는 것을 특징으로 한다.

본 발명의 다른 태양은 데이터 구조에 관한 것이다. 이 데이터 구조는 다른 해상도의 화상 데이터를 해상도 순서로 계층화하여 구성되는 계층 데이터의 구조를 가지는 복수의 개별 화상 데이터와, 개별 화상을 소정의 포맷으로 배치한 인덱스 화상의 데이터와, 인덱스 화상에서 개별 화상을 배치한 영역과 당해 영역에 배치된 개별 화상의 계층 데이터를 대응시키고, 인덱스 화상으로부터 개별 화상으로, 표시 화상의 묘화에 이용하는 데이터의 전환을 행하기 위한 링크 설정 파일을 대응시킨 것을 특징으로 한다.

본 발명의 또 다른 태양은 정보 처리 장치에 관한 것이다. 이 정보 처리 장치는 하나의 화상에서 다른 해상도의 화상 데이터를 해상도 순서로 계층화하여 구성되는 계층 데이터를 읽기 표시하는 화상 처리 장치에서, 표시 화상을 다른 계층 데이터의 소정의 영역에서 전환하기 위해서 참조되는 링크 설정 파일을 생성하는 정보 처리 장치로서, 상기 계층 데이터를 유지하는 기억장치; 유저로부터의 선택 입력에 기초하여 상기 계층 데이터를 상기 기억장치로부터 읽어내 표시하는 설정 화상 표시부; 상기 설정 화상 표시부에서 표시된 복수의 계층 데이터의 화상의 각각에 대하여, 영역을 선택하는 입력을 유저로부터 받아들이고, 선택된 각 영역에 대해서, 화상 평면 및 해상도의 축에 의해 정의되는 가상 공간에서의 좌표를 특정하여, 서로를 대응시킴으로써, 상기 링크 설정 파일을 생성하는 설정 정보 등록부; 를 구비하는 것을 특징으로 한다.

이 정보 처리 장치에서 상기 설정 정보 등록부는, 상기 링크 설정 파일에 의해 대응된 복수의 계층 데이터에 대하여, 복수의 영역을 선택하는 입력을 유저로부터 받아들이고, 선택된 복수의 영역에 대하여, 상기 가상 공간에서의 좌표를 특정해 기록함으로써, 표시 화상을 상기 복수의 계층 데이터의 복수의 영역에서 전환하기 위해서 참조되는 시나리오 설정 파일을 더 생성하는 것을 특징으로 해도 된다.

이 정보 처리 장치에서 상기 설정 정보 등록부는, 유저로부터 선택된, 다른 계층 데이터의 각 영역의 화상에 대하여 패턴 매칭을 행하고, 화상내의 대상물이 화면상의 동일위치에 표시되도록, 각 영역의 상기 가상 공간에서의 좌표를 조정한 후, 서로를 대응시키는 것을 특징으로 해도 된다.

이 정보 처리 장치에서 상기 링크 설정 파일에 설정되는 영역은, 소정의 종횡 비율을 가지는 직사각형인 것을 특징으로 해도 된다.

이 정보 처리 장치에서 상기 설정 정보 등록부는, 대응된 영역의 세트마다, 전환 전의 표시 화상이 확장, 수축 중 어느 한 방향으로 이동했을 경우에 표시 화상의 전환을 유효하게 하는가의 조건을 유저로부터 더 받아들여서, 상기 링크 설정 파일에 기록하는 것을 특징으로 해도 된다.

이 정보 처리 장치에서 상기 계층 데이터 또는 상기 계층 데이터의 저장 영역에 따른 정보; 상기 링크 설정 파일; 상기 시나리오 설정 파일; 을 포함하는 파일을 더 생성하는 것을 특징으로 해도 된다.

이 정보 처리 장치에서 상기 설정 화상 표시부는, 생성한 상기 링크 설정 파일을 참조하여, 대응된 상기 계층 데이터의 소정의 영역에서 표시 화상을 전환하는 표시를 행하는 것을 특징으로 해도 된다.

이 정보 처리 장치에서 상기 설정 정보 등록부는, 생성한 상기 링크 설정 파일을 네트워크를 개재하여 접속된 화상 처리 장치에 송신하고, 당해 화상 처리 장치로부터 송신된 응답 정보에 기초하여, 상기 링크 설정 파일을 수정하는 것을 특징으로 해도 된다.

본 발명의 또 다른 태양도 정보 처리 장치에 관한 것이다. 이 정보 처리 장치는 하나의 화상에서 다른 해상도의 화상 데이터를 해상도 순서로 계층화하여 구성되는 계층 데이터를 읽기 표시하는 화상 처리 장치에서, 표시 화상을 계층 데이터의 복수의 영역에서 전환하기 위해서 참조되는 시나리오 설정 파일을 생성하는 정보 처리 장치로서, 상기 계층 데이터를 유지하는 기억장치; 유저로부터의 선택 입력에 기초하여 상기 계층 데이터를 상기 기억장치로부터 읽어내 표시하는 설정 화상 표시부; 상기 설정 화상 표시부에서 표시된 계층 데이터에 대해, 복수의 영역을 선택하는 입력을 유저로부터 받아들이고, 선택된 복수의 영역에 대하여, 화상 평면 및 해상도의 축에 의해 정의되는 가상 공간에서의 좌표를 특정해 기록함으로써, 상기 시나리오 설정 파일을 생성하는 설정 정보 등록부; 를 구비하는 것을 특징으로 한다.

이 정보 처리 장치에서 상기 설정 정보 등록부는, 유저로부터 표시 방법에 따른 정보를 더 받아들이고, 상기 시나리오 설정 파일에서 유저로부터 선택된 각 영역과 당해 영역의 표시 방법에 따른 정보를 대응시켜서 상기 시나리오 설정 파일에 기록하는 것을 특징으로 해도 된다.

이 정보 처리 장치에서 상기 계층 데이터 또는 상기 계층 데이터의 저장 영역에 따른 정보; 상기 시나리오 설정 파일; 을 포함하는 파일을 더 생성하는 것을 특징으로 해도 된다.

이 정보 처리 장치에서 상기 설정 화상 표시부는, 생성한 상기 시나리오 설정 파일을 참조하여, 기록된 복수의 영역에서 표시 화상을 전환하는 표시를 행하는 것을 특징으로 해도 된다.

이 정보 처리 장치에서 상기 설정 정보 등록부는, 생성한 상기 시나리오 설정 파일을 네트워크를 개재하여 접속된 화상 처리 장치에 송신하고, 당해 화상 처리 장치로부터 송신된 응답 정보에 기초하여, 상기 시나리오 설정 파일을 수정하는 것을 특징으로 해도 된다.

이 정보 처리 장치에서 상기 파일에 계층 데이터의 시청을 제어하는 속성 정보를 더 포함시키는 것을 특징으로 해도 된다.

본 발명의 또 다른 태양은 정보 처리 방법에 관한 것이다. 이 정보 처리 방법은 하나의 화상에서 다른 해상도의 화상 데이터를 해상도 순서로 계층화하여 구성되는 계층 데이터를 읽기 표시하는 화상 처리 장치에서, 표시 화상을 다른 계층 데이터의 소정의 영역에서 전환하기 위해서 참조되는 링크 설정 파일을 생성하는 정보 처리 방법으로서, 유저로부터의 선택 입력에 기초하여 상기 계층 데이터를 기억장치로부터 읽어내 표시하는 스텝; 표시한 복수의 계층 데이터의 화상의 각각에 대해, 영역을 선택하는 입력을 유저로부터 받아들이는 스텝; 선택된 각 영역에 대하여, 화상 평면 및 해상도의 축에 의해 정의되는 가상 공간에서의 좌표를 특정하여, 서로를 대응시킴으로써, 상기 링크 설정 파일을 메모리에 출력하는 스텝; 을 포함하는 것을 특징으로 한다.

본 발명의 또 다른 태양은 컴퓨터 프로그램에 관한 것이다. 이 컴퓨터 프로그램은 하나의 화상에서 다른 해상도의 화상 데이터를 해상도 순서로 계층화하여 구성되는 계층 데이터를 읽기 표시하는 화상 처리 장치에서, 표시 화상을 다른 계층 데이터의 소정의 영역에서 전환하기 위해서 참조되는 링크 설정 파일을 컴퓨터에 생성시키는 컴퓨터 프로그램으로서, 유저로부터의 선택 입력에 기초하여 상기 계층 데이터를 기억장치로부터 읽어내 표시하는 기능; 표시한 복수의 계층 데이터의 화상의 각각에 대해, 영역을 선택하는 입력을 유저로부터 받아들이는 기능; 선택된 각 영역에 대하여, 화상 평면 및 해상도의 축에 의해 정의되는 가상 공간에서의 좌표를 특정하여, 서로를 대응시킴으로써, 상기 링크 설정 파일을 메모리에 출력하는 기능; 을 컴퓨터에 실현시키는 것을 특징으로 한다.

본 발명의 또 다른 태양은 컴퓨터 프로그램을 기록한 기록 매체에 관한 것이다. 이 기록 매체는 하나의 화상에서 다른 해상도의 화상 데이터를 해상도 순서로 계층화하여 구성되는 계층 데이터를 읽기 표시하는 화상 처리 장치에서, 표시 화상을 다른 계층 데이터의 소정의 영역에서 전환하기 위해서 참조되는 링크 설정 파일을 컴퓨터에 생성시키는 컴퓨터 프로그램을 기록한 기록 매체로서, 유저로부터의 선택 입력에 기초하여 상기 계층 데이터를 기억장치로부터 읽어내 표시하는 기능; 표시한 복수의 계층 데이터의 화상의 각각에 대해, 영역을 선택하는 입력을 유저로부터 받아들이는 기능; 선택된 각 영역에 대하여, 화상 평면 및 해상도의 축에 의해 정의되는 가상 공간에서의 좌표를 특정하여, 서로를 대응시킴으로써, 상기 링크 설정 파일을 메모리에 출력하는 기능; 을 컴퓨터에 실현시키는 것을 특징으로 하는 컴퓨터 프로그램을 기록한다.

본 발명의 또 다른 태양은 화상 처리 장치에 관한 것이다. 이 화상 처리 장치는 화상의 적어도 일부를 디스플레이에 표시하는 화상 처리 장치로서, 하나의 화상에서 다른 해상도의 화상 데이터를 해상도 순서로 계층화하여 구성되는 계층 데이터를 유지하는 기억장치; 화상 평면 및 해상도의 축에 의해 정의되는 가상 공간에서의 상기 계층 데이터내의 복수의 영역; 당해 영역의 표시 방법에 따른 정보를 설정한 시나리오 설정 파일을 유지하는 메모리; 상기 시나리오 설정 파일을 참조하여, 설정된 표시 방법으로 상기 복수의 영역을 연속적으로 전환하여 표시하는 표시 화상 처리부; 를 구비하는 것을 특징으로 한다.

이 정보 처리 장치에서 상기 메모리는, 상기 가상 공간에서 다른 계층 데이터내의 소정의 영역을 대응시킨 링크 설정 파일을 더 유지하고, 상기 시나리오 설정 파일에서 지정하는 영역은 상기 링크 설정 파일에서 대응된 복수의 계층 데이터내의 복수의 영역을 포함하고, 상기 표시 화상 처리부는 상기 링크 설정 파일에서 설정된, 표시중인 계층 데이터에서의 영역의 소정 범위내에 표시 화상이 들어갔을 때, 당해 영역에 대응된 다른 계층 데이터의 영역으로 표시 화상을 전환하는 것을 특징으로 해도 된다.

이 정보 처리 장치에서 상기 기억장치가 유지하는 계층 데이터는 당해 계층 데이터의 시청을 제어하기 위한 속성 정보가 부가되고, 상기 표시 화상 처리부는 표시 화상을 전환할 때, 대상이 되는 계층 데이터의 상기 속성 정보를 읽어내, 당해 정보에 기초하여 소정의 규칙에 의해 표시 태양을 변화시키는 것을 특징으로 해도 된다.

본 발명의 또 다른 태양은 화상 처리 방법에 관한 것이다. 이 화상 처리 방법은 화상의 적어도 일부를 디스플레이에 표시하는 화상 처리 방법으로서, 하나의 화상에서 다른 해상도의 화상 데이터를 해상도 순서로 계층화하여 구성되는 계층 데이터 중, 화상 평면 및 해상도의 축에 의해 정의되는 가상 공간에서의, 상기 계층 데이터내의 복수의 영역과, 당해 영역의 표시 방법에 따른 정보를 설정한 시나리오 설정 파일을 메모리로부터 읽어내는 스텝; 상기 시나리오 설정 파일을 참조하여, 설정된 표시 방법으로 상기 복수의 영역을 연속적으로 전환하여 표시하는 스텝; 을 포함하는 것을 특징으로 한다.

본 발명의 또 다른 태양은 컴퓨터 프로그램에 관한 것이다. 이 컴퓨터 프로그램은 컴퓨터에, 화상의 적어도 일부를 디스플레이에 표시하는 기능을 실현시키는 컴퓨터 프로그램으로서, 하나의 화상에서 다른 해상도의 화상 데이터를 해상도 순서로 계층화하여 구성되는 계층 데이터 중, 화상 평면 및 해상도의 축에 의해 정의되는 가상 공간에서의, 상기 계층 데이터내의 복수의 영역과, 당해 영역의 표시 방법에 따른 정보를 설정한 시나리오 설정 파일을 메모리로부터 읽어내는 기능과; 상기 시나리오 설정 파일을 참조하여, 설정된 표시 방법으로 상기 복수의 영역을 연속적으로 전환하여 표시하는 기능; 을 컴퓨터에 실현시키는 것을 특징으로 한다.

본 발명의 또 다른 태양은 컴퓨터 프로그램을 기록한 기록 매체에 관한 것이다. 이 기록 매체는 컴퓨터에, 화상의 적어도 일부를 디스플레이에 표시하는 기능을 실현시키는 컴퓨터 프로그램을 기록한 기록 매체로서, 하나의 화상에서 다른 해상도의 화상 데이터를 해상도 순서로 계층화하여 구성되는 계층 데이터 중, 화상 평면 및 해상도의 축에 의해 정의되는 가상 공간에서의, 상기 계층 데이터내의 복수의 영역과, 당해 영역의 표시 방법에 따른 정보를 설정한 시나리오 설정 파일을 메모리로부터 읽어내는 기능과; 상기 시나리오 설정 파일을 참조하여, 설정된 표시 방법으로 상기 복수의 영역을 연속적으로 전환하여 표시하는 기능; 을 컴퓨터에 실현시키는 것을 특징으로 하는 컴퓨터 프로그램을 기록한다.

본 발명의 또 다른 태양은 콘텐츠의 데이터 구조에 관한 것이다. 이 데이터 구조는 하나의 화상에서 다른 해상도의 화상 데이터를 해상도 순서로 계층화하여 구성되는 계층 데이터와; 화상 평면 및 해상도의 축에 의해 정의되는 가상 공간에서의, 상기 계층 데이터내의 복수의 영역과; 당해 영역의 표시 방법에 따른 정보를 설정하고, 당해 복수의 영역을 연속적으로 전환하여 표시하기 위한 시나리오 설정 파일과; 당해 계층 데이터의 시청을 제어하는 속성 정보; 를 대응시킨 것을 특징으로 한다.

이 데이터 구조에서 상기 시나리오 설정 파일에는 복수의 상기 계층 데이터내의 영역이 설정되고, 상기 데이터 구조는 설정 대상의 복수의 계층 데이터와; 각 계층 데이터의 시청을 제어하는 복수의 속성 정보; 를 대응시킨 것을 특징으로 해도 된다.

이 데이터 구조에서 상기 시나리오 설정 파일에 의해 연속적으로 표시되는 콘텐츠에 대해, 당해 콘텐츠의 시청을 제어하는 속성 정보를 더 대응시킨 것을 특징으로 해도 된다.

본 발명의 또 다른 태양은 콘텐츠의 데이터 구조를 기록한 기록 매체에 관한 것이다. 이 기록 매체는 상기 데이터 구조를 기록한다.

또한, 이상의 구성요소의 임의의 조합, 본 발명의 표현을 방법, 장치, 시스템, 컴퓨터 프로그램 등의 사이에서 변환한 것도, 본 발명의 태양으로서 유효하다.

본 발명에 의하면, 정보의 고도화에 즈음해서도 용이한 조작에서의 정보 표시가 가능해진다.

도 1은　본 발명의 실시형태에 따른 화상 처리 시스템의 사용 환경을 나타내는 도면이다.
도 2는　도 1의 화상 처리 시스템에 적용할 수 있는 입력장치의 외관 구성을 나타내는 도면이다.
도 3은　본 실시형태에서 사용하는 화상 데이터의 계층 구조예를 나타내는 도면이다.
도 4는　본 실시형태에서의 화상 처리 장치의 구성을 나타내는 도면이다.
도 5는　본 실시형태에서의 미리보기 처리를 설명하기 위한 도면이다.
도 6은　본 실시형태에서의 화상 데이터의 흐름을 모식적으로 나타내는 도면이다.
도 7은　본 실시형태에서 표시 대상이 되는 복수의 계층 데이터의 관계를 모식적으로 나타내는 도면이다.
도 8은　본 실시형태에서 계층 데이터 간에 링크를 설정했을 때의 표시 화상의 모습을 예시하는 도면이다.
도 9는　본 실시형태에서의 제어부의 구성을 상세하게 나타내는 도면이다.
도 10은　본 실시형태에서 기준이 되는 프레임과 화상의 위치 관계를 나타내는 도면이다.
도 11은　본 실시형태에서 기준 프레임을 평행이동시킨 경우의 프레임의 정의를 설명하는 도면이다.
도 12는　본 실시형태에서 기준 프레임을 평행이동시키지 않고 확대율을 변화시킨 경우의 프레임의 정의를 설명하는 도면이다.
도 13은　본 실시형태에서 기준 프레임을 평행이동시키지 않고 회전시킨 경우의 프레임의 정의를 설명하는 도면이다.
도 14는　본 실시형태에서의 링크 설정 파일의 데이터 구조예를 나타내는 도면이다.
도 15는　본 실시형태에서 2개의 계층 데이터에 링크가 설정되어 있을 때의 로드해야 할 포인트를 모식적으로 나타내는 도면이다.
도 16은　본 실시형태에서 링크원 화상으로부터 링크처 화상으로의 XY좌표의 변환 수법을 설명하기 위한 도면이다.
도 17은　본 실시형태에서 링크원 화상으로부터 링크처 화상으로의 Z좌표의 변환 수법을 설명하기 위한 도면이다.
도 18은　본 실시형태에서 링크 영역이 설정되어 있는 화상의 예를 나타내는 도면이다.
도 19는　본 실시형태에서, 하나의 계층 데이터에서 표시 화상을 유도하면서, 표시할 계층을 이행해 나가는 모습을 나타내는 도면이다.
도 20은　본 실시형태에서, 다른 계층으로의 유도와 동일 계층에서의 다른 영역으로의 유도를 조합한 경우의 표시 화상의 이행의 모습을 나타내는 도면이다.
도 21은　본 실시형태의 시나리오 설정 파일에서, 보다 자세하게 화상의 이행을 제어하는 처리를 기술했을 때의 처리의 흐름을 나타내는 플로우차트이다.
도 22는　본 실시형태를 실현할 때의 데이터의 유통 태양의 예를 모식적으로 나타내는 도면이다.
도 23은　본 실시형태에서의 콘텐츠 제작 지원 기능을 가지는 화상 처리 장치의 구성을 나타내는 도면이다.
도 24는　본 실시형태에서 유도 영역의 설정을 받아들이고, 시나리오 설정 파일을 생성, 갱신하는 처리의 순서예를 설명하는 도면이다.
도 25는　본 실시형태에서 링크 영역의 설정을 받아들이고, 링크 설정 파일을 생성, 갱신하는 처리의 순서예를 설명하는 도면이다.
도 26은　본 실시형태에서 복수의 화상 선택을 받아들이고, 그러한 화상을 선택할 수 있는 인덱스 화상을, 링크를 설정한 후에 생성하는 처리 태양을 설명하는 도면이다.

도 1은 본 발명의 실시형태에 따른 화상 처리 시스템(1)의 사용 환경을 나타낸다. 화상 처리 시스템(1)은 화상 처리 소프트웨어를 실행하는 화상 처리 장치(10), 화상 처리 장치(10)에 의한 처리 결과를 출력하는 표시장치(12)를 구비한다. 표시장치(12)는 화상을 출력하는 디스플레이 및 음성을 출력하는 스피커를 가지는 텔레비전이어도 된다. 표시장치(12)는 화상 처리 장치(10)에 유선 케이블로 접속되어도 되고, 또 무선 LAN(Local Area Network) 등에 의해 무선 접속되어도 된다. 화상 처리 시스템(1)에 있어서, 화상 처리 장치(10)는 케이블(14)을 개재하여 인터넷 등의 외부 네트워크에 접속하고, 계층화된 압축 화상 데이터를 다운로드하여 취득해도 된다. 또한 화상 처리 장치(10)는 무선통신에 의해 외부 네트워크에 접속해도 된다.

화상 처리 장치(10)는 예를 들어 게임 장치여도 되고, 화상 처리용의 애플리케이션 프로그램을 로드하여 화상 처리 기능을 실현해도 된다. 또한 화상 처리 장치(10)는 퍼스널 컴퓨터여도 되고, 화상 처리용의 애플리케이션 프로그램을 로드하여 화상 처리 기능을 실현해도 된다.

화상 처리 장치(10)는 유저로부터의 요구에 따라 표시장치(12)의 디스플레이에 표시하는 화상의 확대/축소 처리나, 상하 좌우 방향으로의 이동 처리 등을 행한다. 이후, 이러한 처리를 총칭하여 "표시 화상의 이동 처리"라고 한다. 유저가 디스플레이에 표시된 화상을 보면서 입력장치를 조작하면, 입력장치가 표시 화상의 이동 요구 신호를 화상 처리 장치(10)에 송신한다.

도 2는 입력장치(20)의 외관 구성을 나타낸다. 입력장치(20)는 유저가 조작 가능한 조작 수단으로서, 십자 키(21), 아날로그 스틱(27a, 27b), 4종의 조작 버튼(26)을 구비한다. 4종의 조작 버튼(26)은 ○버튼(22), ×버튼(23), □버튼(24) 및 △버튼(25)으로 구성된다.

화상 처리 시스템(1)에 있어서, 입력장치(20)의 조작 수단에는 표시 화상의 확대/축소 요구, 및 상하 좌우 방향으로의 스크롤 요구를 입력하기 위한 기능이 할당된다. 예를 들어, 표시 화상의 확대/축소 요구의 입력 기능은, 우측의 아날로그 스틱(27b)에 할당된다. 유저는 아날로그 스틱(27b)을 앞으로 당겨서, 표시 화상의 축소 요구를 입력할 수 있고, 또 앞에서부터 밀어서, 표시 화상의 확대 요구를 입력할 수 있다. 또, 표시 영역의 이동 요구의 입력 기능은 십자 키(21)에 할당된다. 유저는 십자 키(21)를 압하하여, 십자 키(21)를 압하한 방향으로의 이동 요구를 입력할 수 있다. 또한, 화상 이동 요구의 입력 기능은 다른 조작 수단에 할당되어도 되고, 예를 들어 아날로그 스틱(27a)에 스크롤 요구의 입력 기능이 할당해도 된다.

입력장치(20)는 입력된 화상 이동 요구 신호를 화상 처리 장치(10)에 전송하는 기능을 가지고, 본 실시형태에서는 화상 처리 장치(10)와의 사이에서 무선통신이 가능하게 구성된다. 입력장치(20)와 화상 처리 장치(10)는 Bluetooth(블루투스)(등록상표) 프로토콜이나 IEEE802.11프로토콜 등을 이용하여 무선 접속을 확립해도 된다. 또한 입력장치(20)는 화상 처리 장치(10)와 케이블을 개재하여 접속하고, 화상 이동 요구 신호를 화상 처리 장치(10)에 전송해도 된다.

도 3은 본 실시형태에서 사용하는 화상 데이터의 계층 구조예를 나타낸다. 화상 데이터는 깊이(Z축) 방향으로, 제 0계층(30), 제 1계층(32), 제 2계층(34) 및 제 3계층(36)으로 이루어진 계층 구조를 가진다. 또한 동 도면에서는 4계층만 나타내고 있지만, 계층 수는 이것에 한정되지 않는다. 이하, 이러한 계층 구조를 가지는 화상 데이터를 "계층 데이터" 라고 한다.

도 3에 나타내는 계층 데이터는 사지 트리(quadtree)의 계층 구조를 가지고, 각 계층은 하나 이상의 타일 화상(38)으로 구성된다. 모든 타일 화상(38)은 동일한 화소수를 가지는 동일 사이즈로 형성되고, 예를 들어 256×256 화소를 가진다. 각 계층의 화상 데이터는 하나의 화상을 다른 해상도로 표현하고 있으며, 최고 해상도를 가지는 제 3계층(36)의 원화상을 복수 단계로 축소하여, 제 2계층(34), 제 1계층(32), 제 0계층(30)의 화상 데이터가 생성된다. 예를 들어, 제 N계층의 해상도(N는 0이상의 정수)는 좌우(X축) 방향, 상하(Y축) 방향 모두, 제 (N＋1)계층의 해상도의 1/2이어도 된다.

화상 처리 장치(10)에서 계층 데이터는, 소정의 압축 형식으로 압축된 상태로 기억장치에 유지되어 있고. 디스플레이에 표시되기 전에 기억장치로부터 읽어내어져 디코드된다. 본 실시형태의 화상 처리 장치(10)는 복수 종류의 압축 형식에 대응한 디코드 기능을 가지고, 예를 들어 S3TC형식, JPEG형식, JPEG2000 형식의 압축 데이터를 디코드 가능하게 한다. 계층 데이터에서, 압축 처리는 타일 화상 단위로 행해져도 되고, 또 동일 계층 또는 복수의 계층에 포함되는 복수의 타일 화상 단위로 행해져도 된다.

계층 데이터의 계층 구조는 도 3에 나타낸 바와 같이, 좌우 방향을 X축, 상하 방향을 Y축, 깊이 방향을 Z 축으로 하여 설정되고, 가상적인 3차원 공간을 구축한다. 화상 처리 장치(10)는 입력장치(20)로부터 공급되는 화상 이동 요구 신호로부터 표시 화상의 이동량을 도출하면, 그 이동량을 이용하여 가상 공간에서의 프레임의 네 모서리의 좌표(프레임 좌표)를 도출한다. 가상 공간에서의 프레임 좌표는 후술하는 표시 화상의 생성 처리에 이용된다. 또한, 가상 공간에서의 프레임 좌표 대신에, 화상 처리 장치(10)는 계층을 특정하는 정보와 그 계층에서의 텍스처(texture) 좌표(UV좌표)를 도출해도 된다. 이하, 계층 특정 정보 및 텍스처 좌표의 조합도 프레임 좌표라고 부른다.

도 4는 화상 처리 장치(10)의 구성을 나타내고 있다. 화상 처리 장치(10)는 무선 인터페이스(40), 스위치(42), 표시 처리부(44), 하드 디스크 드라이브(50), 기록 매체 장착부(52), 디스크 드라이브(54), 메인 메모리(60), 버퍼 메모리(70) 및 제어부(100)를 포함하여 구성된다. 표시 처리부(44)는 표시장치(12)의 디스플레이에 표시하는 데이터를 버퍼하는 플레임 메모리를 가진다.

스위치(42)는 이더넷(Ethernet) 스위치(이더넷은 등록상표)로서, 외부의 기기와 유선 또는 무선으로 접속하여, 데이터의 송수신을 행하는 디바이스이다. 스위치(42)는 케이블(14)를 개재하여 외부 네트워크에 접속하고, 화상 서버로부터 계층화된 압축 화상 데이터를 수신해도 된다. 또 스위치(42)는 무선 인터페이스(40)에 접속하고, 무선 인터페이스(40)는 소정의 무선통신 프로토콜로 입력장치(20)와 접속한다. 입력장치(20)에서 유저로부터 입력된 화상 이동 요구 신호는 무선 인터페이스(40), 스위치(42)를 경유하여, 제어부(100)에 공급된다.

하드 디스크 드라이브(50)는 데이터를 기억하는 기억장치로서 기능한다. 스위치(42)를 개재하여 수신된 압축 화상 데이터는 하드 디스크 드라이브(50)에 저장된다. 기록 매체 장착부(52)는 메모리 카드 등의 리무버블(removable) 기록 매체가 장착되면, 리무버블 기록 매체로부터 데이터를 읽어낸다. 디스크 드라이브(54)는 읽기전용의 ROM디스크가 장착되면, ROM디스크를 구동하여 인식하고, 데이터를 읽어낸다. ROM디스크는 광디스크나 광자기디스크 등이어도 된다. 압축 화상 데이터는 이러한 기록 매체에 저장되어 있어도 된다.

제어부(100)는 멀티 코어 CPU를 구비하고, 하나의 CPU내에 하나의 범용적인 프로세서 코어와, 복수의 심플한 프로세서 코어를 가진다. 범용 프로세서 코어는 PPU(Power Processing Unit)라고 불리우며, 나머지 프로세서 코어는 SPU(Synergistic-Processing Unit)라고 불린다.

제어부(100)는 메인 메모리(60) 및 버퍼 메모리(70)에 접속하는 메모리 컨트롤러를 구비한다. PPU는 레지스터를 가지고, 연산 실행 주체로서 메인 프로세서를 구비하고, 실행하는 애플리케이션에서의 기본 처리 단위로서의 태스크를 각 SPU에 효율적으로 할당한다. 또한, PPU 자신이 태스크를 실행해도 된다. SPU는 레지스터를 가지고, 연산 실행 주체로서의 서브 프로세서와 로컬인 기억 영역으로서의 로컬 메모리를 구비한다. 로컬 메모리는 버퍼 메모리(70)로서 사용되어도 된다.

메인 메모리(60) 및 버퍼 메모리(70)는 기억장치이며, RAM(랜덤 액세스 메모리)로서 구성된다. SPU는 제어 유닛으로서 전용의 DMA(Direct Memory Access) 컨트롤러를 가지고, 메인 메모리(60)와 버퍼 메모리(70)의 사이의 데이터 전송을 고속으로 행할 수 있고, 또 표시 처리부(44)에서의 플레임 메모리와 버퍼 메모리(70)의 사이에서 고속의 데이터 전송을 실현할 수 있다. 본 실시형태의 제어부(100)는 복수의 SPU를 병렬 동작시켜서, 고속의 화상 처리 기능을 실현한다. 표시 처리부(44)는 표시장치(12)에 접속되어, 유저로부터의 요구에 따른 화상 처리 결과를 출력한다.

본 실시형태의 화상 처리 장치(10)는 표시 화상의 확대/축소 처리나 표시 영역의 이동 처리를 행할 때에 표시 화상을 원활하게 변경시키기 위해서, 후술하는 규칙에 따라 결정한 압축 화상 데이터의 일부를 하드 디스크 드라이브(50)로부터 메인 메모리(60)에 로드해 둔다. 또, 유저로부터의 화상 이동 요구를 기초로, 장래 표시시킬 화상을 예측하고, 메인 메모리(60)에 로드한 압축 화상 데이터의 더 일부를 디코드하여 버퍼 메모리(70)에 저장해 둔다. 이에 따라, 나중의 필요한 타이밍으로, 표시 화상의 생성에 사용할 화상을 순간적으로 전환하는 것이 가능해진다. 이하에서, 장래 표시시킬 타일 화상을 예측하여, 버퍼 메모리(70)에 미리 전개해 두는 처리를 "미리보기(look-ahead) 처리"라고 부른다.

도 5는 미리보기 처리를 설명하기 위한 도면을 나타낸다. 도 5는 계층 데이터의 구조를 나타내고 있고, 각 계층은 L0(제0계층), L1(제1계층), L2(제2계층), L3(제3계층)으로 표현되고 있다. 도 5에 나타낸 계층 데이터 구조에서, 깊이(Z축) 방향에서의 위치는 해상도를 나타내고, L0에 가까운 위치일수록 해상도가 낮고, L3에 가까운 위치일수록 해상도는 높다. 또한 디스플레이에 표시되는 화상의 크기에 주목하면, 깊이 방향에서의 위치는 축척율에 대응하고, L3의 표시 화상의 축척율을 1로 하면, L2에서의 축척율은 1/4, L1에서의 축척율은 1/16이 되고, L0에서의 축척율은 1/64이 된다.

따라서 깊이 방향에서, 표시 화상이 L0측에서 L3측으로 향하는 방향으로 변화하는 경우 표시 화상은 확대해 나가고, L3측에서 L0측으로 향하는 방향으로 변화하는 경우는 표시 화상은 축소해 나간다. 화살표(80)는 유저로부터의 화상 이동 요구 신호가, 표시 화상의 축소를 요구하고 있고, 축척율 1/4(L2)을 가로지르는 모습을 나타내고 있다. 본 실시예의 화상 처리 장치(10)에서는, 타일 화상(38)으로서 준비하고 있는 L1, L2의 깊이 방향의 위치를, 깊이 방향의 미리보기 경계로서 설정하고, 화상 변경 요구 신호가 미리보기 경계를 넘으면, 미리보기 처리가 개시된다.

표시 화상의 축척율이 L2의 근방에 있는 경우, 표시 화상은 L2(제2계층)의 타일 화상을 이용하여 작성된다. 구체적으로는 표시하는 화상의 축척율이 L1타일 화상과 L2타일 화상의 전환 경계(82)와, L2타일 화상과 L3타일 화상의 전환 경계(84)의 사이에 있는 경우에, L2타일 화상이 이용된다. 따라서, 화살표(80)에 나타낸 바와 같이 화상의 축소 처리가 요구되면, L2의 타일 화상이 확대된 화상에서, 축소된 화상으로 변환되어 표시된다. 화상 처리 장치(10)는 입력장치(20)로부터의 화상 이동 요구 신호와 전달 함수를 컨벌루션 연산(convolution operation)하여, 화상 이동 요구 신호가 요구하는 표시 화상의 생성을 지연시키고, 그 동안에, 화상 이동 요구 신호로부터 예측되는 장래 필요한 타일 화상(38)을 특정하여, 메인 메모리(60)로부터 미리보기해 둔다. 도 5의 예에서는, 화상 이동 요구 신호에 의한 요구 축척율이 L2를 가로지른 때에, 화상 처리 장치(10)가 축소 방향에 있는 L1의 대응하는 타일 화상(38)을 메인 메모리(60)로부터 미리보기하여 디코드하고, 버퍼 메모리(70)에 기입한다.

또한 이상은 깊이 방향의 미리보기 처리에 대해 설명했지만, 상하 좌우 방향의 미리보기 처리에 대해서도 동일하게 처리된다. 구체적으로는, 버퍼 메모리(70)에 전개되어 있는 화상 데이터에 미리보기 경계를 설정해 두고, 화상 변경 요구 신호에 의한 표시 위치가 미리보기 경계를 가로지른 때에, 미리보기 처리가 개시되도록 한다.

도 6은 본 실시형태에서의 화상 데이터의 흐름을 모식적으로 나타내고 있다. 우선, 계층 데이터는 하드 디스크 드라이브(50)에 저장되어 있다. 하드 디스크 드라이브(50)에 대신하여, 기록 매체 장착부(52)나 디스크 드라이브(54)에 장착된 기록 매체가 유지되어 있어도 된다. 또는, 화상 처리 장치(10)가 네트워크를 개재하여 접속한 화상 서버로부터 계층 데이터를 다운로드하도록 해도 된다. 여기에서의 계층 데이터는 상술한 바와 같이, S3TC 형식 등에 의한 고정장 압축, 혹은 JPEG 형식 등에 의한 가변장 압축이 이루어지고 있다.

이 계층 데이터 중, 일부의 화상 데이터를 압축한 상태로 메인 메모리(60)에 로드한다(S10). 여기에서 로드하는 영역은 현재의 표시 화상의 가상 공간에서의 근방이나, 화상의 내용, 유저의 열람 이력 등에 기초하여, 고빈도로 표시 요구가 이루어진다고 예측되는 영역 등, 미리 정한 규칙에 의해 결정한다. 로드는 화상 변경 요구가 이루어졌을 때뿐만 아니라, 예를 들면 소정의 시간 간격으로 수시로 행한다. 이에 의해 로드 처리가 한시기에 집중하지 않도록 한다.

또, 로드하는 압축 화상 데이터는 대략 일정한 사이즈를 가지는 블록 단위로 한다. 그 때문에 하드 디스크 드라이브(50)가 유지하는 계층 데이터는 소정의 규칙으로 블록으로 분할해 둔다. 이와 같이 하여, 메인 메모리(60)에서의 데이터 관리를 효율적으로 행할 수 있다. 즉, 압축 화상 데이터가 가변장 압축된 것이어도 되고, 블록(이후, "화상 블록"이라고 부른다) 단위라면 로드하는 데이터 사이즈가 거의 동일하기 때문에, 기본적으로 메인 메모리(60)에 그때까지 저장되어 있던 블록의 어느 하나를 덮어쓰기함으로써 새로운 로드가 완료한다. 그 때문에 단편화(fragmentation)가 발생하기 어렵고, 메모리를 효율적으로 사용할 수 있어서 어드레스 관리도 용이해진다.

다음에, 메인 메모리(60)에 저장되어 있는 압축 화상 데이터 중, 표시에 필요한 영역의 화상, 또는 필요하다고 예측되는 영역의 화상 데이터를 디코드하고, 버퍼 메모리(70)에 저장한다(S12). 버퍼 메모리(70)는 적어도 2개의 버퍼 영역(72, 74)을 포함한다. 각 버퍼 영역(72, 74)의 사이즈는 플레임 메모리(90)의 사이즈보다 크게 설정되고, 입력장치(20)로부터 화상 이동 요구 신호가 입력되었을 경우에, 어느 정도의 양의 변경 요구에 대해서는, 버퍼 영역(72, 74)에 전개한 화상 데이터로 표시 화상을 생성할 수 있도록 한다.

버퍼 영역(72, 74)의 한 쪽은 표시 화상의 생성에 이용하는 화상을 유지하기 위해서 이용되는 표시용 버퍼이고, 다른 쪽은 이후, 필요하다고 예측되는 화상을 준비하기 위해서 이용되는 디코드용 버퍼이다. 도 6의 예에서는, 버퍼 영역(72)이 표시용 버퍼이고, 버퍼 영역(74)이 디코드용 버퍼이며, 표시 영역(68)이 표시되어 있는 것으로 한다. 미리보기 처리에 의해 디코드용 버퍼에 저장하는 화상은 표시용 버퍼에 저장되어 있는 화상과 동일 계층의 화상이어도 되고, 축척이 다른 계층의 화상이어도 된다.

다음에, 표시용 버퍼인 버퍼 영역(72)에 저장된 화상 중 표시 영역(68)의 화상을, 플레임 메모리(90)에 묘화한다(S14). 이 동안에, 새로운 영역의 화상이 필요에 따라서 디코드되고, 버퍼 영역(74)에 저장된다. 저장이 완료한 타이밍이나 표시 영역(68)의 이동량 등에 따라 표시용 버퍼와 디코드용 버퍼를 전환한다(S16). 이에 의해, 표시 영역의 이동이나 축척율의 변경 등에 대해 표시 화상을 순조롭게 전환할 수 있다.

지금까지 말한 처리는, 어느 화상의 표시 영역의 이동, 확대 축소를 행하기 위해서, 도 5에 나타낸 바와 같은 하나의 계층 데이터에 의해 구성되는 가상 공간에서, 유저로부터의 화상 이동 요구에 따라 프레임 좌표를 이동시키는 태양이었다. 본 실시형태에서는 또한 복수의 계층 데이터를 표시 대상으로서 준비하고, 표시 화상이 계층 데이터 사이를 왕래하는 것을 가능하게 한다. 도 7은 그러한 태양에서 표시 대상이 되는 복수의 계층 데이터의 관계를 모식적으로 나타내고 있다.

도면에서, 2개의 삼각형은 다른 계층 데이터(150) 및 데이터(152)를 나타내고 있다. 각각의 계층 데이터(150, 152)는 실제로는, 도 3에 나타낸 바와 같이 해상도가 다른 복수의 화상 데이터가 도면의 Z축 방향으로 이산적으로 존재하는 구성을 가진다. 도 5에서 설명한 것과 동일하게, 유저가 화상 이동 요구 신호에 의해 표시 화상의 확대 축소를 지시하면, 표시 화상은 도면의 Z축 방향으로 이동하게 된다. 한편, 표시 영역을 상하 좌우에 이동시키는 경우는 도면의 수평면을 이동하게 된다. 본 실시형태에서는 이러한 가상 공간에서, 2개의 계층 데이터(150 및 152)가 도면처럼 서로 겹친 상태를 생성한다.

이러한 상태로, 계층 데이터(150)의 화상 표시 중에, 유저가 확대 지시를 행하고, 표시 화상이 화살표 a처럼 이동했을 경우, 당해 표시 화상은 계층 데이터(152)의 영역에 들어간다, 즉 계층 데이터 사이를 이동하게 된다. 가상 공간에서의 당해 이동을 지금까지 말한 계층 데이터의 표시 순서에 포함시킴으로써, 다른 계층 데이터의 화상을 무결절성(seamless)으로 이은 표시를 행할 수 있다. 계층 데이터(150)와 데이터(152)의 화상은 동일한 대상물을 다른 해상도의 범위로 나타내는 데이터여도 되고, 완전히 다른 대상물을 나타내는 데이터여도 된다. 예를 들면 계층 데이터(150)를 세계 지도의 데이터, 계층 데이터(152)를 일본 지도의 데이터로 하면, 유저가 세계 지도의 일본의 영역을 확대해 나감으로써, 계층 데이터(150)에서 계층 데이터(152)로의 천이가 일어나, 일본 지도의 한층 더 상세한 표시를 행할 수 있다. 또, 계층 데이터(150)를 메뉴 화면의 데이터, 계층 데이터(152)를 메뉴 화면에 표시된 각 아이콘에 대하여 설명한 매뉴얼의 데이터로 하면, 유저가 메뉴 화면의 원하는 아이콘을 확대함으로써, 당해 아이콘에 대응하는 기능에 대하여 설명한 매뉴얼 화상으로 전환되는 것이 가능해진다.

이와 같이 본 실시형태에서는, 가상 공간에서의 표시 화상의 이동, 즉 확대, 축소를 포함하는 표시 화상 이동 요구의 입력을 계기로, 묘화에 이용하는 계층 데이터를 전환한다. 이러한 전환을, 현재 표시중인 화상에 대한 기본 조작만으로 행할 수 있기 때문에, 전환을 위한 메뉴 화면을 표시시키거나 선택하거나 하는 등의 단계를 거치지 않고, 조작성이 좋은 유저 인터페이스를 제공할 수 있다. 또, 예를 들면 세계 지도의 화상부터 건물이나 도로를 확인할 수 있는 고해상도의 화상까지 연속하여 확대할 수 있는 콘텐츠를 작성하는 경우, 해상도의 범위에 따라 계층 데이터를 따로 유지함으로써, 해양 영역 등 확대가 필요한 적은 영역의 데이터를 생략할 수 있고, 하나의 거대한 계층 데이터를 구축하는 것보다 데이터 사이즈를 현격히 삭감할 수 있다. 또, 완전히 다른 화상을 연속적으로 표시하는 것이 용이하고, 다양한 화상 표현으로의 응용, 콘텐츠의 작성이 용이해진다.

표시 중인 화상 등의 영역 및 어떤 해상도에서 다른 계층 데이터로 전환할지는, 도 7 중, 선(154)으로 표시되는 "링크 정보"로 미리 설정해 둔다. 동 도면의 예에서는, Z축이 z1이 되는 해상도, 선(154)이 표시하는 수평면(도 3 참조) 상의 위치에서, 계층 데이터(150)에서 계층 데이터(152)로의 전환이 행해진다. 이후, 이러한 계층 데이터간의 전환을 "링크"라고 부른다.

도 8은 계층 데이터간에 링크를 설정했을 때의 표시 화상의 모습을 예시하고 있다. 동 도면에서는, 화상(156, 158, 160)이 되는 3개의 계층 데이터를 표시 대상으로 하고 있다. 그리고 화상(156)의 영역(162)과 화상(158)의 영역(163)에 링크가 설정되어 있고, 화상(156)의 영역(164)과 화상(160)의 영역(165)에 링크가 설정되어 있다고 한다. 이러한 영역을 이후, "링크 영역"이라고 부른다. 링크 영역은 도 7의 선(154)에 상당한다. 화상(156)의 계층 데이터를 이용하여 표시 화상을 생성하는 중, 유저의 표시 화상 이동 요구에 의해 표시 화상이 링크 영역(162)에 겹치면, 화상(156)에서부터 화상(158)으로의 표시에 이용하는 계층 데이터가 전환되어, 화상(158)내의 링크 영역(163)이 표시 화상이 된다(화살표 A).

도 8의 예에서는, 화상(156) 중 주로 5 각형을 중심으로 하는 영역에 대하여 한층 더 해상도를 올린 화상을 다른 화상(158)의 계층 데이터로서 하드 디스크 드라이브(50)에 유지하고 있다. 그리고, 링크 영역(162)과 링크 영역(163)은 동일한 시야각을 가지도록 설정한다. 그러면, 화상(156)의 계층 데이터에서 가장 높은 해상도의 화상보다 더 고해상도의 화상을, 화상(158)의 계층 데이터를 이용하여 연속적으로 표시할 수 있다. 이 때 외관상은 5각형으로 줌인 해 나갈 뿐으로, 도 7의 화살표 a의 천이가 일어나기 때문에, 계층 데이터의 전환이 행해진 것을 유저가 의식하는 경우는 없다.

또 링크 영역(162)과 링크 영역(163)은, 도면에 나타낸 바와 같이 화살표 A와 반대방향의 링크, 화살표 B도 설정되어 있다. 이 경우, 화살표 A의 천이 후, 화상(158)의 원하는 영역을 확대 표시 등을 한 유저가, 표시 화상을 축소하고, 당해 표시 화상이 다시 링크 영역(163)과 겹쳐졌을 때, 화상(158)으로부터 화상(156)으로 표시에 이용하는 계층 데이터가 전환되어, 화상(156)내의 링크 영역(162)이 표시 화상이 된다(화살표 B). 이 경우도, 화상(158)에서의 표시 화상을 축소해 나갈 뿐, 계층 데이터의 전환을 의식하지 않고, 연속적인 축소가 가능해진다.

링크 영역(164)으로부터 링크 영역(165)으로의 천이(화살표 C)도 동일하게, 화상(156)을 표시 중, 타원형을 줌인해 나가 표시 화상이 링크 영역(164)과 겹쳤을 때에, 계층 데이터가 전환되어, 화상(160)의 링크 영역(165)이 표시 화상이 된다. 이에 의해, 화상(156)보다 고해상도의 화상 표시가 가능해진다. 또한 표시 화상이 링크 영역에 「겹친다」는 상태는, 엄밀하게 겹치지 않아도 되기 때문에, 표시 화상이 링크 영역으로부터 소정의 범위내에 들어갔을 때를 겹쳤다고 본다, 라는 규칙을 미리 설정해 두면 좋다.

도 9는 제어부(100)의 구성을 상세하게 나타내고 있다. 제어부(100)는 입력장치(20)로부터 유저가 입력한 정보를 취득하는 입력 정보 취득부(102), 계층 데이터를 화상 블록에 분할하는 압축 데이터 분할부(104), 새롭게 로드해야 할 화상 블록을 결정하는 로드 블록 결정부(106), 필요한 화상 블록을 하드 디스크 드라이브(50)로부터 로드하는 로드부(108)를 포함한다. 제어부(100)는 또한 미리보기 처리를 행하는 미리보기 처리부(110), 로드해야 할 데이터, 혹은 디코드해야 할 데이터가 링크처의 계층 데이터내에 있는지 없는지를 판정하는 링크 판정부(116), 압축 화상 데이터를 디코드하는 디코드부(112), 및 표시 화상을 묘화하는 표시 화상 처리부(114)를 포함한다. 제어부(100)는 또한 설정된 시나리오 정보를 해석해 링크 판정부(116), 로드부(108), 표시 화상 처리부(114)를 제어하는 시나리오 해석부(117)을 포함한다.

도 9에 있어서, 다양한 처리를 행하는 기능 블록으로서 기재되는 각 요소는, 하드웨어적으로는 CPU(Central Processing Unit), 메모리, 그 외의 LSI로 구성할 수 있고, 소프트웨어적으로는 메모리에 로드된 프로그램 등에 의해 실현된다. 상술한 것처럼, 제어부(100)는 하나의 PPU와 복수의 SPU를 가지고, PPU 및 SPU가 각각 단독 또는 협동하여, 각 기능 블록을 구성할 수 있다. 따라서, 이러한 기능 블록이 하드웨어만, 소프트웨어만, 또는 그들의 조합에 의해 여러가지 형태로 실현할 수 있는 것은 당업자에게는 이해되는 사항이며, 어느 하나에 한정되는 것은 아니다.

우선 하드 디스크 드라이브(50)에는 링크가 설정된 복수의 계층 데이터(101)를 저장해 둔다. 또 메인 메모리(60)에는 하드 디스크 드라이브(50)로부터 로드한 화상 블록을 저장하는 영역(120) 외에, 링크 설정 파일(118)을 미리 저장해 둔다. 링크 설정 파일(118)은 설정된 링크 정보를 기록한 파일이며, 계층 데이터(101) 본체에 부가된 것을 하드 디스크 드라이브(50)로부터 로드해도 된다. 또한 메인 메모리(60)에 저장된 시나리오 설정 파일(119)에 대해서는 뒤에 설명한다.

입력 정보 취득부(102)는 유저가 입력장치(20)에 대해서 입력한, 화상 표시의 개시/종료, 표시 영역의 이동, 표시 화상의 확대, 축소 등의 지시 정보를 취득한다. 입력 정보 취득부(102)는 또한 미리 설정한 표시 화상을 이동하는 속도의 최대치, 화상 이동 요구 신호와 컨벌루션 연산하는 전달 함수 등에 기초하여, 화상 이동 요구 신호를 지연시켜도 된다. 전달 함수는 예를 들어 가우시안(Gaussian) 함수여도 된다. 화상 처리 장치(10)는 이 지연 시간을 이용하여, 화상 데이터의 미리보기 처리에 필요한 시간, 후술하는 링크처의 화상이나 동영상 재생, 애플리케이션의 기동에 필요한 시간을 확보한다. 이에 의해, 유저의 요구에 대응한 순조로운 화상 표시가 가능해진다.

압축 데이터 분할부(104)는 하드 디스크 드라이브(50)등에서 계층 데이터를 읽어내고, 소정의 규칙에 의해 분할하여 화상 블록을 생성하고, 하드 디스크 드라이브(50)에 저장한다. 예를 들면 유저가 입력장치(20)에 대해, 하드 디스크 드라이브(50)에 저장되어 있는 계층 데이터의 어느 하나를 선택하면, 입력 정보 취득부(102)로부터 당해 정보를 취득하고, 분할 처리를 개시한다. 또는 원래부터 화상 블록으로 분할된 계층 데이터를 하드 디스크 드라이브(50)에 저장해도 된다. 이러한 계층 데이터를 표시 대상으로 하는 경우에는, 압축 데이터 분할부(104)는 동작하지 않아도 된다.

로드 블록 결정부(106)는 하드 디스크 드라이브(50)로부터 메인 메모리(60)에 새롭게 로드해야 할 화상 블록의 유무의 확인, 및 다음에 로드할 화상 블록의 결정을 행하고, 로드부(108)에 로드 요구를 발행한다. 로드 블록 결정부(106)는 그 때, 로드해야 할 화상 블록에, 링크처의 다른 계층 데이터의 화상 블록이 포함되어 있지 않은가를 링크 판정부(116)에 문의한다. 로드 블록 결정부(106)는 로드부(108)가 로드 처리중이 아닌 상태에서, 예를 들면 소정의 시간 간격, 혹은, 유저가 화상의 이동 요구를 행했을 때 등, 소정의 타이밍에서 상기 확인, 결정의 처리를 행한다. 로드부(108)는 로드 블록 결정부(106)로부터의 요구에 따라, 실제의 로드 처리를 행한다.

유저가 표시 화상의 이동 요구를 행했을 때, 만약 이동처의 화상 영역을 포함하는 화상 블록이 메인 메모리(60)에 저장되어 있지 않았다면, 하드 디스크 드라이브(50)로부터의 화상 블록의 로드, 필요 영역의 디코드, 표시 화상의 묘화, 라는 처리를 한 번에 행할 필요가 있다. 이 경우, 로드 처리가 병목현상(bottleneck, 보틀넥)이 되어, 유저의 요구에 대한 응답성이 손상되는 경우를 생각할 수 있다. 본 실시형태에서는, (1)향후 표시될 가능성이 높은 영역을 망라하도록 화상 블록을 로드해 둔다, (2)로드 처리가 일시적으로 집중하지 않도록 수시로 로드해 나간다, 라는 정책하에서 로드를 행한다. 이에 의해 로드 처리가 표시 화상의 변경 처리의 방해가 되는 경우가 적어진다.

미리보기 처리부(110)는 현재의 표시 화상의 프레임 좌표와 유저가 입력한 표시 화상 이동 요구의 정보에 따라, 장래 표시 화상의 묘화에 필요하게 될 화상 영역을 예측하고, 그 정보를 디코드부(112)에 공급한다. 단 화상 표시 개시 직후나, 버퍼 메모리(70)에 저장이 완료된 화상에서는 변경처의 화상을 묘화할 수 없는 경우 등은, 예측을 하지 않고, 그 시점의 표시 화상의 묘화에 필요한 화상을 포함하는 소정 영역의 정보를 디코드부(112)에 공급한다. 또 미리보기 처리부(110)는 예측한 화상 영역이나 현재 표시 화상의 묘화에 필요한 화상 영역이 링크처의 다른 계층 데이터에 포함되어 있지 않은가를 링크 판정부(116)에 문의한다.

링크 판정부는 메인 메모리(60)에 미리 저장한 링크 설정 파일(118)을 참조하고, 로드 블록 결정부(106)의 문의에 따라, 로드해야 할 화상 블록에 링크처의 계층 데이터의 화상 블록이 포함되어 있는지 아닌지를 판정한다. 포함되어 있는 경우는, 현재 표시 중인 계층 데이터에서의 로드해야 할 포인트의 좌표를, 링크처의 계층 데이터에서의 좌표로 변환하고, 변환전의 좌표, 링크처의 계층 데이터의 파일명과 함께 로드 블록 결정부(106)에 되돌려준다. 또 미리보기 처리부(110)의 문의에 따라, 묘화에 필요한 영역에 링크처의 계층 데이터의 영역이 포함되어 있는지 아닌지를 판정한다. 포함되어 있으면, 링크처의 링크 영역의 좌표에 따른 정보를 되돌려준다. 링크의 설정예는 뒤에 나타낸다.

디코드부(112)는 미리보기 처리부(110)로부터 취득한 화상 영역의 정보에 기초하여, 메인 메모리(60)로부터 압축 화상 데이터의 일부를 읽어내 디코드하고, 디코드용 버퍼 또는 표시용 버퍼에 디코드 후의 데이터를 저장한다. 표시 화상 처리부(114)는 유저가 입력한 표시 화상 이동 요구에 따라 새로운 표시 화상의 프레임 좌표를 결정하고, 버퍼 메모리(70)의 표시용 버퍼로부터 대응하는 화상 데이터를 읽어내어, 표시 처리부(44)의 플레임 메모리(90)에 묘화한다. 시나리오 해석부(117)는 메인 메모리(60)에 저장한 시나리오 설정 파일(119)을 해석하고, 표시 화상의 연속적인 유도를 행하기 위해서 표시 화상의 제어를 행한다. 자세한 것은 뒤에 설명한다.

다음에 링크의 설정예에 대하여 설명한다. 도 10~13은 화상내의 영역(프레임)의 정의 방법을 설명하는 도면이다. 도 10은 기준이 되는 프레임과 화상의 위치 관계를 나타내고 있다. 도 10에서 화상(156)에 대한 기준 프레임(264)은 화상(156)의 중심과 동일한 중심을 가지고, 화상(156)에 외접하는, 종횡비가 소정값인 직사각형으로 한다. 여기서 종횡비는 소정의 값이면 되고, 예를 들어 표시하는 디스플레이 또는 디스플레이상의 표시 영역의 종횡비와 동일하게 한다. 표시 화상을 확대, 축소하여도 프레임은 항상 당해 비율을 유지한다고 한다. 이러한 프레임을 기준으로 했을 때의, 횡방향 오프셋, 종방향 오프셋, 확대율, 회전각, 의 4개의 파라미터로 프레임을 지정한다. 기준 프레임(264)은 (횡방향 오프셋, 종방향 오프셋, 확대율, 회전각)=(0, 0, 1.0, 0)이다.

도 11은 기준 프레임을 평행이동시킨 경우의 프레임의 정의를 설명하는 도면이다. 이 경우, 종방향 오프셋 및 횡방향 오프셋의 파라미터에 값이 대입된다. 구체적으로는 프레임의 중심(272)으로부터 화상(156)의 중심, 즉 기준 프레임의 중심(270)으로의 거리의 횡방향 성분 offset_x, 종방향 성분 offset_y가 횡방향 오프셋, 종방향 오프셋의 값이 된다. 따라서 프레임(262)은 (offset_x, offset_y, 1.0, 0)으로 표현된다.

도 12는 기준 프레임을 평행이동시키지 않고 확대율을 변화시킨 경우의 프레임의 정의를 설명하는 도면이다. 이 경우, 프레임(266)의 기준 프레임에 대한 비율이 확대율의 파라미터에 대입된다. 도 12의 프레임(266)이 도 10의 기준 프레임의 0.5배이면, 프레임(266)은 (0, 0, 0.5, 0)으로 표현된다.

도 13은 기준 프레임을 평행이동시키지 않고 회전시킨 경우의 프레임의 정의를 설명하는 도면이다. 이 경우, 프레임(280)의 기준 프레임으로부터의 회전각(282)이 회전각의 파라미터에 대입된다. 예를 들면 회전각(282)이 0.25p이면, 프레임(280)은 (0, 0, 1.0, 0.25)라고 표현된다. 도 11~13의 오프셋, 확대율, 회전각을 조합함으로써, 표시 화상의 프레임은 모두, 4개의 파라미터로 표현할 수 있다. 이후, 이 4개의 파라미터 세트를 "프레임 정의 파라미터"라고 부른다.

도 14는 링크 설정 파일(118)의 데이터 구조예를 나타내고 있다. 링크 설정 파일(118)은 1행이 하나의 링크, 즉 어떤 계층 데이터로부터 다른 계층 데이터로의 전환의 기술에 대응하고, 링크원 화상 프레임 필드(302), 유효 스케일 범위 필드(304), 링크처 파일 필드(306), 및 링크처 화상 프레임 필드(308)의 4 종류의 필드에 의해 구성된다. 링크원 화상 프레임 필드(302)는 표시중인 화상에서, 계층 데이터의 전환이 발생할 때의 표시 화상, 즉 링크 영역의 프레임을 상술한 프레임 정의 파라미터로 지정한다. 당해 프레임은 예를 들면 도 8에서의 화살표 B의 링크에서의 링크 영역(163)의 프레임에 상당한다.

유효 스케일 범위 필드(304)는 링크원 화상 프레임 필드(302)에서의 확대율을 시작점으로 하여 링크가 유효하게 되는 확대율의 폭을 지정한다. 도 14의 1행째에서는 링크원 화상 프레임 필드(302)에 나타난 링크 영역의 확대율이 "2.0"이고, 유효 스케일 범위 필드(304)의 값이 "98.0"이기 때문에, 확대율이 2.0~100.0까지의 표시 화상이라면 링크를 유효로 하고, 계층 데이터를 전환한다, 라는 설정이 된다.

예를 들면 도 8에서의 화살표 B의 링크는, 표시 화상을 줌 아웃, 즉 화상(158)의 링크 영역(163)보다 작은 프레임으로부터, 프레임의 확대율을 올려나가 링크 영역(163)과 겹쳤을 때에 화상(156)으로 전환한다. 따라서, 확대율이 "2.0"이상이 되었을 때에 링크를 유효로 하기 위해서, 유효 스케일 범위 필드(304)의 값을 양의 값으로 한다. 이에 의해, 화상(158)의 표시에서 확대율을 충분히 올린 후에 링크 영역(163)의 근방으로 이동시켰다고 해도 링크를 유효로 할 수 있다

한편, 도 8에서의 화살표 A의 링크는, 표시 화상을 줌인, 즉 화상(156)의 링크 영역(162)보다 큰 프레임으로부터, 프레임의 확대율을 내려나가 링크 영역(162)과 겹쳤을 때에 화상(158)으로 전환한다. 따라서, 도 14의 2행째처럼, 유효 스케일 범위 필드(304)를 "-1.0"등 음의 값으로 한다. 링크처 파일 필드(306)는 링크처의 계층 데이터의 파일명을 지정한다. 도 8에서의 화살표 B의 링크의 예에서는, 화상(156)의 계층 데이터의 파일명에 상당한다. 링크처 화상 프레임 필드(308)는 계층 데이터의 전환 후의 표시 화상, 즉 링크처의 링크 영역의 프레임의 프레임 정의 파라미터를 지정한다.

링크 설정 파일은 링크원의 계층 데이터마다 작성한다. 즉 도 8에서의 화살표 A 및 C의 링크의 정보는 화상(156)의 계층 데이터의 링크 설정 파일, 화살표 B의 링크 정보는 화상(158)의 계층 데이터의 링크 설정 파일에, 각각 기술된다. 각 파일은 대응하는 계층 데이터와 관련지어 보존한다. 이와 같이 하여, 쌍방향으로 링크가 설정되어 있어도 그 움직임은 독립적으로 할 수 있다. 예를 들면 도 8에서 화살표 A의 천이에서의 링크 영역 A, B와, 화살표 B의 천이에서의 링크 영역 A, B는 영역이나 해상도를 다르게 할 수 있다. 도 8의 예에서는 화상(160)에 링크 설정 파일이 부가되어 있지 않기 때문에, 화상(160)으로 천이한 후는 그 중에 화상 표시, 그 외에서 즐기게 된다.

이러한 링크 설정 파일을 미리 작성해 둠으로써, 링크 판정부(116)는 미리보기 처리부(110)로부터의 문의에 따라, 미리보기 처리에 의해 예측된 영역이, 링크 설정 파일에서 설정된 링크 영역을 포함하는지 아닌지를 확인한다. 포함한 경우는 링크처의 계층 데이터의 파일명, 링크처의 링크 영역의 프레임 정의 파라미터를 되돌려준다. 미리보기 처리부(110)는 링크 영역을 포함하지 않는 경우와 동일하게 당해 정보를 디코드부(112)에 전달한다. 디코드부(112)는 링크처의 링크 영역의 데이터를 메인 메모리(60)로부터 읽어들여 디코드한다.

동일하게 링크 판정부(116)는 로드 블록 결정부(106)로부터의 문의에 따라, 로드해야 할 포인트가 링크 영역에 포함되는지 아닌지를 확인한다. 포함되는 경우는 링크처의 계층 데이터의 파일명을 되돌려준다. 이 때, 로드해야 할 포인트의 링크원의 화상에서의 좌표를 링크처의 화상에서의 좌표로 변환하여 당해 정보도 답신한다. 로드 블록 결정부(106)는 링크처 화상의 계층 데이터 가운데, 좌표변환된 로드해야 할 포인트를 포함한 화상 블록을 하드 디스크 드라이브(50)로부터 메인 메모리(60)에 로드한다.

여기에서, 로드 블록 결정부(106) 및 링크 판정부(116)가 행하는, 화상 블록의 로드 처리에 대하여 설명한다. 도 15는 2개의 계층 데이터에 링크가 설정되어 있을 때의 로드해야 할 포인트를 모식적으로 나타내고 있다. 메인 메모리(60)에는 기본적으로는 현재 표시되고 있는 표시 화상의 주변의 화상의 압축 데이터가 로드되어 있는 것이 바람직하다. 여기에서 "주변"이란, 동일 계층의 화상에서의 상하 좌우(X축, Y축) 방향과, 계층 구조의 깊이(Z축) 방향의 주변을 포함해도 된다. Z축 방향의 주변이란 표시 화상 및 그 근방을 포함한 확대 화상 및 축소 화상을 의미한다.

도 15에 있어서, 2개의 삼각형은 도 7과 동일하게, 계층 데이터(184) 및 (186)을 나타내고 있다. 또 이러한 계층 데이터(184, 186)에는 선(188)과 같은 링크가 설정되어 있다. 현재의 표시 화상을 선(190)으로 하면, 예를 들어 동 도면의 흰 원(192) 및 검정 원(194)의 포인트를 포함하는 화상 블록을 메인 메모리(60)에 로드하도록 한다. 즉, 표시 중인 계층을 중심으로 한 상하의 소정수의 계층에서, 현재의 표시 화상의 영역으로부터 소정의 범위내에 있는 수 포인트를 로드해야 할 포인트로서 결정한다.

도 15의 예에서는, 표시 화상과 동일 계층에서는 5개의 포인트, 그것보다 1개 위 또는 아래의 계층에서는 3개의 포인트, 2개 위 또는 2개 아래의 계층에서는 1개의 포인트가 흰 원(192) 및 검정 원(194)으로 표시되어 있다. 실제로는 도면의 수평면상에 포인트가 더 존재한다. 여기에서 도면처럼 선(188)으로 링크가 설정되어 있는 경우, 현재의 표시 화상이 계층 데이터(184)여도, 1개 아래의 계층에서 결정한 포인트가 링크 영역에 포함되기 때문에, 계층 데이터(186) 중, 계층 데이터(184)의 당해 포인트에 대응하는 포인트를 포함한 화상 블록을 로드한다. 2개 아래의 계층의 로드해야 할 포인트도 마찬가지이다. 동 도면에서는 현재 표시 중인 계층 데이터(184)에서의 로드해야 할 포인트를 흰 원(192), 상술한 바와 같이 링크처의 계층 데이터(186)의 좌표로 변환된 포인트를 검정 원(194)으로 나타내고 있다.

로드해야 할 포인트의 결정 및 당해 포인트를 포함하는 화상 블록의 로드는, 소정의 시간 간격으로 수시로 행해도 된다. 필요한 영역의 데이터를 로드하기 위해서, 하드 디스크 드라이브(50)에 화상 블록을 저장할 때, 각 화상 블록의 화상 위의 영역과 화상 블록의 저장 영역을 대응시킨 정보도 하드 디스크 드라이브(50)에 저장해 둔다. 마찬가지로, 로드된 화상 블록도 각 화상 블록의 화상 위의 영역과 화상 블록의 저장 영역을 대응시킨 정보를 메인 메모리(60)에 저장해 둔다. 로드 블록 결정부(106)는 정기적으로, 로드해야 할 포인트를 포함하는 화상 블록이 메인 메모리(60)에 저장되어 있는지 아닌지를 확인하고, 저장되어 있지 않으면 당해 화상 블록을 로드 대상으로 결정한다. 이와 같이 화상 블록의 단위에서의 로드를 수시로 행함으로써, 로드 처리에 의한 표시의 대기 시간 발생을 억제할 수 있다.

또, 도 15와 같이, 로드해야 할 포인트가 링크처의 화상의 계층 데이터(186)에 새롭게 포함되는 경우는, 현재 표시중인 계층 데이터(184)의 데이터보다 우선적으로 당해 링크처의 데이터를 로드하도록 해도 된다. 이에 의해, 곧바로 링크처로의 이행이 발생해도, 링크처의 새로운 화상을 원활하게 표시시킬 수 있다.

다음에, 링크원의 계층 데이터에서의 로드해야 할 포인트의 좌표를, 링크처의 계층 데이터에 두고, 좌표로 변환하는 수법에 대하여 설명한다. 도 16은 링크원 화상으로부터 링크처 화상으로의 XY좌표의 변환 수법을 설명하기 위한 도면이다. 동 도면에서, 화상(156)의 링크 영역(200)이 화상(158)의 링크 영역(204)으로 전환되도록 링크가 설정되어 있고, 화상(156)의 포인트(196)는 화상(158)의 포인트(198)에 대응한다고 한다. 여기에서 포인트(196)의 좌표를(Pa_x, Pa_y), 링크 영역(200)의 변의 길이를(La_sx, La_sy), 당해 영역의 중심 좌표를(La_x, La_y)로 하고, 포인트(198)의 좌표를(Pb_x, Pb_y), 링크 영역(204)의 변의 길이를(Lb_sx, Lb_sy), 당해 영역의 중심 좌표를(Lb_x, Lb_y)로 하면, 다음과 같은 식이 성립된다.

La_sx : (Pa_x－La_x)=Lb_sx : (Pb_x－Lb_x)　(식 1)

La_sy : (Pa_y－La_y)=Lb_sy : (Pb_y－Lb_y)　(식 2)

따라서 포인트(198)의 좌표는 다음과 같이 구해진다.

Pb_x=(Lb_sx/La_sx)×Pa_x－La_x)＋Lb_x　(식 3)

Pb_y=(Lb_sy/La_sy)×Pa_y－La_y)＋Lb_y　(식 4)

도 17은 링크원 화상으로부터 링크처 화상으로의 Z좌표의 변환 수법을 설명하기 위한 도면이다. 계층 데이터(184)와 계층 데이터(186)는 선(208)에서 링크가 설정되어 있다고 한다. 즉 선(208)의 위치는 계층 데이터(184)의 링크 영역 및 계층 데이터(186)의 링크 영역을 나타내고 있다. 여기에서 변수 "lod"를 다음과 같이 정의한다.

Lod = log₂Np

여기에서 Np는 대상이 되는 해상도의 화상의 1 화소의 폭에 포함되는, 각 계층 데이터에서 가장 하층의 화상, 즉 가장 해상도가 높은 화상의 화소수이다. 따라서, 변수 lod는 계층 데이터를 나타내는 삼각형에서 저변으로부터의 격차를 나타내는 지표이며, 각 계층 데이터에 포함되는 계층의 수 등에 의존하지 않는, Z축 방향의 공통의 축을 가진다.

한편, 선(208)으로 표시되는 링크 영역의 확대 축소율부터, 변환하고 싶은 포인트의 확대 축소율까지의 격차는, 계층 데이터에 의존하지 않는다. 여기에서 링크 영역의 lod의 값은 당해 영역을 화면 가득 표시했을 때의 것으로 한다. 도 17에서, 계층 데이터(184, 186) 쌍방에서의, 링크 영역의 lod의 값을 La_lod, Lb_lod로 하고, 변환하고 싶은 포인트(210)의 lod의 값을 Pa_lod, Pb_lod로 하면, 상기의 성질에 의해 다음의 식이 성립된다.

Pa_lod－La_lod=Pb_lod－Lb_lod　(식 5)

따라서,

Pb_lod=Lb_lod＋(Pa_lod－La_lod)　(식 6)

된다.

식 3, 4, 및 6에 의해, 현재 표시중인 화상의 계층 데이터에서의 로드해야 할 포인트의 좌표를, 링크처의 계층 데이터에서의 좌표에 옮겨놓을 수 있다. 단 얻어진 Pb_lod는 계층 데이터(186) 중 화상 데이터를 가지는 계층 위에 있다고는 한정지을 수 없기 때문에, 실제로는 Pb_lod로부터 얻어지는 위치에 가장 가까운 계층의 데이터를 로드하게 된다

지금까지 말한 예에서는, 2개의 계층 데이터 표시 대상으로서 취급하고, 한쪽의 화상에서 미리 설정된 영역 및 확대율에 표시 화상이 도달하면, 다른 쪽의 화상이 표시되었다. 즉 다른 쪽의 화상에 의해 표시되어 있는 것을 한층 더 확대하거나, 완전히 다른 콘텐츠를 표시시키거나 한 것을, 표시 화상 이동의 지시 입력을 계기로 행할 수 있다. 여기에서 동시에 표시 대상으로 하는 계층 데이터는 3개 이상으로 해도 되고, 또, 확대율을 변화시켜 가면 원래 화상으로 돌아오는 등, 순환시키도록 링크를 설정해도 된다. 이 경우, 링크가 설정된 복수의 계층 데이터를 순서대로 확대해 나가면 원래의 계층 데이터에 돌아오거나, 어떤 계층 데이터로 확대해 나가면 당해 계층 데이터의 축소 화상에 돌아오거나, 라는 표시를 할 수 있다. 후자의 경우, 스스로의 링크 설정 파일의 링크처 파일 필드에서 스스로의 파일명을 지정하면 된다.

이러한 기구를 이용하여 예를 들면 이하와 같은 표시를 행할 수 있다.

1. 세계 지도를 확대해 나감으로써, 일본, 현, 시, 쵸, 건물로 표시를 이행시키는 등, 동일한 대상물이지만 스케일이 현저하게 다른 화상의 연속 이행

2. 정보 처리장치, 게임장치 등의 메뉴 화면에서 표시된 선택지인 아이콘을 확대해 나가면, 설명서 등 당해 아이콘에 관련된 정보 표시에 이행

3. 잡지의 백 넘버 등 서적의 표지 일람 화면으로부터 어떤 표지를 확대해 나가면, 서적의 내용 표시에 이행

4. 인물의 눈동자 등 화상중의 대상물을 확대해 나가면, 당해 대상물 속이나 비추고 있는 풍경 등에 표시가 이행, 이행처의 화상을 축소해 나가면 원래의 화상과는 다른 화상으로 이행

본 실시형태에서는, 상기의 미리보기 처리에 의해 링크 영역으로 표시 화상이 변경되는 것을 예측한다. 또한 현재의 표시 화상의 가상 공간에서의 주위를, 계층 데이터에 상관없이 메모리에 로드해 둔다. 이러한 기구에 의해, 다른 계층 데이터의 화상으로 표시를 이행하는 경우이더라도, 로드 처리, 디코드 처리에 의한 표시의 지연이 발생하기 어려워, 연속적인 이행이 가능해진다.

또, 상술한 바와 같이 유저로부터의 화상 변경 요구 신호와 전달 함수를 컨벌루션 연산함으로써 표시 화상의 생성을 지연시키는 경우, 전달 함수를 조정하여, 화상의 전환을 보다 원활하게 행하도록 보이게 할 수 있다. 또한 매뉴얼 표시 등, 링크원의 화상과 링크처의 화상이 다른 내용인 경우는 특히, 그러한 화상을 교차 페이드(cross-fade), 디졸브(dissolve), 와이프(wipe), 폴리곤 메시(polygon mesh)를 이용한 페이지 넘김 형상의 표현 등, 동영상의 스위쳐(switcher)로 일반적으로 이용되는 효과 중 어느 하나를 실시함으로써 원활한 전환을 표현하도록 해도 된다.

또 링크처로서 동영상 데이터를 설정해도 된다. 이 경우 링크처를, 1 계층의 동영상의 데이터로 이루어진 계층 데이터, 라고 파악할 수 있다. 예를 들면 어떤 정지화상의 한 영역에 동영상 데이터로의 링크를 설정해 둔다. 링크 설정 파일은 도 14에서 나타낸 데이터 구조를 이용할 수 있다. 링크처 파일 필드(306)에는 동영상 파일의 파일명을 지정한다. 링크처 화상 프레임 필드(308)는 동영상의 해상도나 표시 영역을 고정으로 하는 경우는 무효라고 해도 된다. 이와 같이 링크를 설정해 두고, 상술한 미리보기 처리에 의해 표시중인 화상의 링크 영역에 표시 화상이 옮겨진다고 예측되었을 때에, 지정해 둔 동영상 파일의 인코드를 개시한다. 또는 예측과는 관계없이 인코드 처리만 계속하게 해도 된다.

예를 들면 화면안에 몇 개의 정지화상, 예를 들면 그라비어 사진(gravure picture)등을 표시하고, 어느 정지화상을 줌인해 나가면 당해 화상 중의 동물이 움직이기 시작하는, 등의 연출을 행할 수 있다. 마찬가지로, 링크 정보의 링크처 파일 필드(306)에 애플리케이션 파일을 지정해 두고, 화상중의 어느 영역을 줌인 하면 당해 애플리케이션이 기동하도록 해도 된다.

도 18은 링크 영역이 설정되어 있는 화상의 예를 나타내고 있다. 화상(350)에는 링크 영역(352a, 352b, 352c) 등 복수의 링크 영역이 설정되어 있다. 예를 들면 링크 영역(352a)으로 줌인해 나가면, 상술한 바와 같은 기구에 의해, 당해 영역의 보다 상세한 화상이나 관련 정보, 혹은 동영상 재생이나 애플리케이션 기동이 행해진다. 화상(350)과 같이 링크 영역이 한정적인 경우, 유저의 위치 맞춤의 수고를 삭감하기 위해서 표시 화상의 이동을 유도해도 된다. 이 기능은 링크 영역이 한정적이지 않은 경우라도, 표시 화상을 의도적으로 유도하고 싶은 경우 등에 유효하다.

이 유도 기능을 제공하기 위해, 상술한 링크 정보로 이용한 프레임 정의 파라미터를 이용한다. 즉 유도하고 싶은 영역(이후, 유도 영역이라고 부른다) 마다, (횡방향 오프셋, 종방향 오프셋, 확대율, 회전각)으로 표시되는 프레임 정의 파라미터를, 링크 정보와 동일하게 파일로서 작성해 둔다. 당해 파일은 도 9의 메인 메모리(60)에서 시나리오 설정 파일(119)로서 저장되어 있다. 그리고 표시 영역이 시나리오 설정 파일로 설정된 프레임에 대해 가상 공간에서 소정의 범위내에 들어가면 유도 영역으로 표시 화상을 유도한다. 당해 처리는, 가상적으로 유도 영역으로의 화상 이동 요구 신호를 발생시키면 상술한 바와 동일한 처리에 의해 실현할 수 있다. 또 "소정의 범위"도 프레임 정의 파라미터로 시나리오 설정 파일로 정의해 둔다.

이에 의해 유저가 표시 화상을 링크 영역(352a) 근방으로 접근하는 것 만으로, 표시 화상이 링크 영역으로 유도되고, 그 결과, 설정된 링크처에 용이하게 이행할 수 있어서 조작성이 향상한다. 본 실시형태에서는 표시 화상의 가상 공간내에서의 이동을 계기로 하여, 링크처인 다른 화상으로의 이행, 동영상 재생, 애플리케이션의 기동 등을 행하기 위해, 상술한 바와 같은 이동의 미리보기 처리에 의해, 미리 유저의 의향을 예측할 수 있다. 따라서, 다른 화상 데이터의 디코드, 동영상 데이터의 디코드, 애플리케이션의 기동 처리를, 실제로 링크처로 표시를 전환하기 전에 투기적으로 실행해 두는 것이 가능하다. 이에 의해, 포인터 등에 의해 아이콘을 선택하고 나서 처리를 개시하는 종래의 수법에 비해, 실제 화상의 전환 지시부터 출력까지 필요로 하는 시간을 현격히 삭감할 수 있다.

상기의 예는 링크처에 이행하고 싶다는 유저의 의도를 검지하여 표시 화상을 링크 영역으로 유도하는 것이었다. 한편, 동일한 기구에 의해, 링크 영역인가 아닌가에 상관없이 표시 화상을 유도하도록 해도 된다. 도 19는 하나의 계층 데이터에서 표시 화상을 유도하면서, 표시하는 계층을 이행해 나가는 모습을 나타내고 있다. 동 도면에서 계층 데이터(360)는 화상(362)에 대응한다. 그리고 상술한 프레임 정의 파라미터에 의해, 선(368) 및 선(370)으로 표시되는 유도 영역(374 및 376)이 시나리오 설정 파일(119)로 설정되어 있고, 현재 표시중인 영역(372)이 선(366)에 대응한다고 한다.

유저가 영역(372)으로부터 표시 화상을 확대해 나가, 유도 영역(374)으로부터 소정의 범위에 표시 화상이 들어갔을 때, 표시 화상을 유도 영역(374)으로 유도한다(화살표 D). 한층 더 확대해 나가 유도 영역(376)으로부터 소정의 범위에 표시 화상이 들어갔을 때, 표시 화상을 유도 영역(376)으로 유도한다(화살표 E). 이 태양은, 표시하는 화상의 내용에 의해 여러가지 목적으로 이용할 수 있다.

예를 들면 풍경 사진이나 보트 레이트 등에서는, 유저가 확대하고 싶은 영역은 한정적인 경우가 많다. 그런데 화면을 확대 축소하는 종래의 기술에서는, 원하는 영역을 확대할 생각이었는데 표시 화상이 어긋나 있고, 그 때의 확대율에서는 원하는 영역을 찾는 것이 곤란한 경우가 있다. 본 실시형태에서는 확대가 예측되는 영역에 대해서는 미리 시나리오 설정 파일에 등록해 두면, 유저가 표시 화상을 당해 영역으로 이동시켜 확대 지시를 입력함으로써, 당해 영역을 정확하게 확대할 수 있다. 또한 표시 화상의 유도 영역으로의 유도는 표시 화상이 유도 영역의 근방에 있는 경우뿐만 아니라, 예를 들면 소정의 버튼을 압하하면 현재의 표시 화상의 위치에 상관없이 유도 영역으로 이동하도록 해도 된다.

*상술한 유도는 반드시 다른 계층으로의 유도가 아니어도 되고, 예를 들면 동일 계층내에서 표시 순서를 유도하도록 할 수도 있다. 도 20은 다른 계층으로의 유도와 동일 계층에서의 다른 영역으로의 유도를 조합한 경우의 표시 화상의 이행 모습을 나타내고 있다. 예를 들면 신문 기사나 잡지 등의 1 페이지를 계층 데이터(380)를 이용해 표시하는 경우를 생각한다. 이 때, 확대하여 열람 해독될 문자의 영역을, 기사마다 유도 영역으로서 설정해 둔다. 동 도면에서는 선(386)으로 표시되는 유도 영역(392)이 거기에 해당된다. 한층 더 그 아래의 계층, 즉 문자를 판독할 수 있는 정도의 해상도를 가지는 계층에서, 기사의 최초부터 최후까지를 쫓을 수 있도록 복수의 유도 영역을 설정해 둔다. 선(388)으로 표현되는 유도 영역(394)과 선(390)으로 표현되는 유도 영역(396)이 거기에 해당된다.

유저는 우선 선(384)으로 표현되는 페이지 전체의 영역(382)을 표시한 후, 원하는 기사에 표시 화상을 접근하면서 확대해 간다. 그러면 당해 기사의 유도 영역(392)으로 유도된다(화살표 F). 거기서 한층 더 확대해 가면 당해 기사의 문두의 유도 영역(394)으로 유도된다(화살표 G). 유도 영역(394)내의 문장을 읽은 유저가 방향 지시나 소정의 버튼을 압하하는 입력을 행함으로써, 다음의 문장이 기재된 유도 영역(396)으로 유도된다(화살표 H).

동일 계층내에서의 표시 영역의 이행에서는, 프레임 정의 파라미터와 함께 표시 순서도 설정한다. 또 상술한 바와 같이 표시 영역의 이동을 지시하기 위한 조작 키도 정의해 둔다. 예를 들면 신문 기사 등 다단으로 기재되어 있는 문장은, 표시 영역을 오른쪽에서 왼쪽으로 이동시킨 후, 그 아래쪽을 다시 오른쪽에서 왼쪽으로 이동시킬 필요가 있다. 이러한 경우에 표시 영역과 순서를 미리 설정해 두면, 확대 화상에서 다음에 어느 위치로 표시 화상을 이동시키면 좋은가 유저가 찾을 필요가 없어진다. 또 동일 계층내의 이동이어도, 상술한 대로 현재의 표시 화상이 유도 영역의 소정 범위에 들어갔을 때에 유도하도록 해도 된다.

또한, 도 19, 도 20에서는 간단하게 하기 위해서 하나의 계층 데이터에서의 표시 화상의 이행을 나타냈지만, 이행 도중에 다른 계층 데이터로의 링크가 설정되어 있는 경우는, 당연히 당해 다른 계층 데이터로 표시를 이행시켜도 된다. 또 상기의 예는, 유저가 확대 축소를 포함하는 화상 이동 요구를 행했을 때에 표시 화상을 유도하는 것이었다. 본 실시형태에서는 또한 소정 시간마다 미리 등록해 둔 유도 영역으로 표시 화상을 이행하는 기능을 마련한다. 이 경우 유저는, 그러한 모드를 실행하는 취지의 지시 입력을 행하는 것만으로 좋다. 이 기능에 의해, 잡지의 판매촉진용 화상이나 사진의 연속 열람 등, 정지화면으로 이루어진 소재를 이용한 동영상에 가까운 새로운 표현 수법을 제공할 수 있다.

이와 같이 자동적으로 표시 화상을 이행하는 경우는 프레임 정의 파라미터, 표시 순서, 및 각 화상의 표시 시간 등을 시나리오 설정 파일(119)로서 작성한다. 이 경우의 시나리오 설정 파일(119)은 보다 자세하게 화상의 이행을 제어하는 처리를 XML등의 마크업 언어로 기술해도 된다. 이 때, 시나리오 해석부(117)는 당해 기술을 메인 메모리(60)로부터 읽어내 해석한 후, 표시 화상 처리부(114), 링크 판정부(116), 로드부(108)에 적당한 처리 요구를 행함으로써, 표시 화상을 제어한다. 도 21은 이 때 기술되는 처리의 흐름을 나타내는 플로우차트이다.

우선 계층 데이터를 지정한다(S20). 여기에서 지정하는 계층 데이터는 하나의 화상을 나타내는 하나의 계층 데이터여도 되고, 링크가 설정된 복수의 계층 데이터의 조합이어도 된다. 다음에, 표시하는 화상을 프레임 정의 파라미터로 지정한다(S22). 한층 더 당해 화상을 표시할 때의 효과 처리를 적절히 지정한다(S24). 그 이전에 다른 화상이 표시되어 있으면, 예를 들면 교차 페이드의 처리를 지정하거나, 전의 화상을 서서히 작게 하면서 이번 화상을 크게 해 나가는 처리를 지정하거나 한다. 그리고, 다음의 화상으로 표시를 이행할 때까지의 시간, 및 그 시간에서의 이번 화상과 다음 화상의 보완 처리를 지정한다(S26). 여기서 "다음의 화상"은 예를 들면 이번 화상의 확대 화상이나 축소 화상 등, 동일한 계층 데이터에서 계층이 다른 화상이나 링크처의 화상이어도 되고, 다른 계층 데이터내의 화상이어도 된다.

화상의 보완 수법은 이번 화상과 다음 화상을 키 프레임으로 한 경우에 애니메이션 기술 등에서 일반적으로 이용되는 수법을 적용할 수 있다. S20부터 S26까지의 처리를 1단위로 하여, 다른 계층 데이터로 연속해 표시하고 싶은 화상이 있으면 그것을 반복하도록 기술한다. 이와 같이 기술한 시나리오 설정 파일(119)을 미리보기 처리부(110)가 읽어들임으로써, 유저가 화상 이동 요구를 입력한 경우와 동일하게 가상의 화상 이동 요구를 생성하여, 링크 판정부(116)에 문의하면서 디코드부(112)에 디코드 처리를 의뢰한다. 이에 의해, 지정한 화상이 표시 화상으로서 차례차례 변화하는 태양을 용이하게 실현할 수 있다. 또한, 이 때의 시나리오 설정 파일에는, 프레임 정의 파라미터와 별도로, 화상 묘화에 이용하는 계층 데이터의 계층수를 지정하도록 해도 된다.

이하에 XML로 기술된 시나리오 설정 파일(119)의 예를 나타낸다.

(1)<?xml version="1.0" encoding="utf-8"?>

(2)<Viewer>

(3) <FileList>

(4)　　<File name="INDEX"/>

(5)　　<File name="hyoshi"/>

(6)　　<File name="ichiran"/>

(7)　</FileList>

(8)　<InitCameraPosition x="-0.219" y="0.32" scale="0.28"/>

(9)　　<Section>

(10) 　　　 <Event type="change" name="INDEX" wait="0.0">

(11)　　　　<CameraPosition x="-0.219" y="0.32" scale="0.28"/>

(12)　　　　</Event>

(13)　 </Section>

(14)　　<Section>

(15)　　　<Event type="camera" name="camera1" wait="0.0">

(16)　　　　<Interpolator

(17)　　　　　 duration='4.0'

(18)　　　　　 type='linear'

(19)　　　　　 key='0 0.5 1.0'

(20)　　　　　 keyValue='

(21)　　　　　　　　　　 -0. 219 0.32 0.28

(22)　　　　　　　　　　 -0. 115955 0.29424 0.2

(23)　　　　　　　　　　 -0. 115955 0.29424 0.155553

(24)　　　　　　　　　　'/>

(25)　　　</Event>

(26)　　</Section>

(27)　　<Section>

(28)　　　<Event type="change" name="hyoshi" wait="0.0">

(29)　　　　<CameraPosition x="0.01257207987839" y="-0.00214762229374"

scale="0.94793879664622"/>

(30)　　　</Event>

(31)　　</Section>

(32)　 <Section>

(33)　　　<Event type="change" name="09france-ichiran" wait="2.0">

(34)　　　　<CameraPosition x="-0.007705" y="-0.008650" scale="0.508980"/>

(35)　　　　<VideoPosition name="video : sample.m2v" x="0.135605" y="-0.035605"

scale="0.061268"/>

(36)　　　　<Effect type="fade0"/>

(37)　　　</Event>

(38)　　</Section>

(39)　　<Section>

(40)　　　<Event type="image" name="tbs01.png" wait="0.0">

(41)　　　　<Position x="0.971875" y="-0.95" alpha="0.0" layer="1003"

cardinal="rightbottom"/>

(42)　　　</Event>

(43)　　</Section>

(44)　</Story>

(45)</Viewer>

상기 기술에서, (3)~(7)은 콘텐츠 중에서 사용하는 계층 데이터를 지정하고 있다. (8)은 화상의 초기 위치를 지정하고 있다. (9)~(13)은 최초로 사용하는 화상을 인덱스 표시한 계층 데이터의 화상으로 하고 있고, 표시하는 계층 데이터의 화상과 그 표시 위치를 지정하고 있다. (14)~(31)은 책표지의 계층 데이터의 화상에 카메라 애니메이션하면서 줌해 나가 데이터를 이동하게 하고 있다. 그 중 (14)~(26)은 키 프레임 표기로 카메라 애니메이션을 지정하고 있다. (27)~(31)은 표시하는 계층 데이터의 화상과 그 표시 위치를 지정해, 당해 표시 위치를 이용하여 링크를 연결하고 있다. (32)~(38)은 동화상으로의 링크를 포함한 계층 데이터의 화상에 전환 동영상을 업으로 찍고 있다. 그 중 (32)~(35)는 계층 데이터의 화상으로의 링크와 동일하게 동화상으로의 링크를 연결하고 있다. (36)은 화면 변경시의 묘화 효과를 지정하고 있다. (39)~(43)는 동화상 표시중에 동화상의 저작권 표시 화상을 표시하고 있다. 그 중 (40)~(41)은 계층 구조를 가지지 않는 보통 화상의 표시를 지정하고 있다.

본 실시형태는, 상술한 바와 같은 링크 설정 파일이나 시나리오 설정 파일을 작성함으로써, 복수의 계층 데이터를 소재로 하여 여러가지 화상 표현을 용이하게 실현할 수 있다. 따라서 일반적인 유저가 네트워크상이나 기록매체 등으로 콘텐츠로서 제공된 계층 데이터를 이용해, 독자적인 콘텐츠를 작성하는 것도 생각할 수 있다. 또, 그와 같이 하여 작성한 콘텐츠 자체가 유통하는 경우도 생각할 수 있다.

도 22는 본 실시형태를 실현할 때의 데이터의 유통 태양의 예를 모식적으로 나타내고 있다. 이 예에서는 서버(400, 402 및 404)가 네트워크(420)를 개재하여 접속되어 있다. 각 서버는 콘텐츠 제작업자의 서버여도 되고, 일반 유저의 정보 단말 등이어도 된다. 또 서버를 대신해 CD-ROM이나 DVD등의 기록 매체여도 된다. 서버(400)는 계층 데이터(406a)와 거기에 부가한 속성 파일(408a)로 이루어진 콘텐츠를 제공한다. 속성 파일(408a)에 대해서는 후술한다. 서버(402)는 복수의 계층 데이터로 이루어진 계층 데이터(406b)와, 그러한 링크 정보를 설정한 링크 설정 파일(410b, 410c), 시나리오 설정 파일(412b), 속성 파일(408b)을 부가한 콘텐츠를 제공한다.

또한 동 도면과 같이, 계층 데이터(406b)에 링크가 설정되어 있는 경우, 상술한 바와 같이 링크 설정 파일(410b, 410c)은 계층 데이터마다 부가된다. 한편, 시나리오 설정 파일은 당해 링크를 전제로 계층 데이터를 넘은 설정이 가능하기 때문에 링크가 설정되어 있는 계층 데이터 전체에 대해서 부가된다.

서버(404)는 시나리오 설정 파일(412c)만을 제공한다. 또한 동 도면의 데이터 구조는 어디까지나 예시이며, 예를 들면 링크가 설정되어 있지 않은 단독의 계층 데이터에 시나리오 설정 파일이 부가되어도 되고, 반대로 시나리오 설정 파일이 부가되지 않고 링크 설정 파일이 부가되어도 된다. 서버(400)나 서버(402)가 유지하는 콘텐츠는 그것만으로도 표시가 가능하지만, 서버(404)의 시나리오 설정 파일(412c)에서의 설정에 포함되어 있으면, 당해 시나리오 설정 파일(412c)과, 그것에 의해 지정된 계층 데이터(406a)나 데이터(406b)를 입수함으로써, 하나의 콘텐츠가 생성되게 된다. 따라서 도 22에서 나타낸 데이터 구조는 모두가 하나의 콘텐츠로서 유통의 단위가 될 수 있다.

이러한 경우를 고려해, 계층 데이터에는 속성 파일을 부가해 둔다. 속성 파일에 기록하는 정보로서는 예를 들면, 당해 콘텐츠의 내용에 따른 정보, 예를 들면 콘텐츠의 명칭, 작자, 발행자, 협찬자, 작성일, 수정일, 판, 기술 언어 등의 기본 정보, 콘텐츠나 소재 데이터의 권리자, 과금의 환원을 위한 정보, 2차 이용시의 제어를 위한 정보, 유효기한, 복사 가능 횟수, 양도 가능 횟수 등의 소유권·저작권 정보, 평가액(rating) 등을 들 수 있다.

또, 당해 콘텐츠의 제어 속성, 예를 들면 접속이나 데이터 이용의 허가, 암호화의 방식, 서명 등의 인증 제어 정보, 종량 과금인가 아닌가, 상한을 설정할지, 무료로 할지, 가상 통화인가 아닌가를 포함하는 통화의 지정, 차지인가 인출인가 수표방식인가라는 결제방법이라는 과금에 따른 정보, 플랫폼, OS, 추천 리소스 등의 동작환경, 대상 이용자, 유효 지역, 국가 등의 액세스 제어 정보 등을 부가해도 된다. 게다가 속성 정보의 영역과 계층 데이터의 영역, 외부 참조 링크 정보 등 콘텐츠의 구조, 콘텐츠의 명칭, 대표화상, 과금안내, 속성의 서머리 등을 나타낸 썸네일의 정보, 프레임 정보의 저장 장소의 정보, 라는 데이터 구조 정보를 부가해도 된다.

이러한 속성을 개개의 계층 데이터에 부가해 둠으로써, 예를 들면 그 계층 데이터를 링크처로 한 복수의 계층 데이터로 이루어진 콘텐츠를 작성하여 표시할 때, 링크처마다 적절한 처치 방법을 강구할 수 있다. 예를 들면 저작권의 대상인 콘텐츠를 링크처로 하여 이행하는 경우는 그 취지의 표시를 반드시 행하도록 하거나, 인증의 필요가 설정되어 있는 콘텐츠는 우선 인증을 위한 다이얼로그를 표시하거나 한다. 또 평가액과 열람자의 프로필 등에 의해 표시의 가능, 불가능을 결정하고, 불가능이라면 당해 화상은 표시하지 않아도 된다. 표시를 불가능으로 하는 경우는, 링크 영역에 표시 화상이 있어도 링크처로의 천이는 하지 않고, 원래의 계층 데이터의 화상이 단지 확장, 수축될 뿐이라고 해도 된다. 속성 정보에 따른 각종 처리는 일반적인 콘텐츠의 표시에서의 처리와 동일한 기구에 의해 실시할 수 있다.

또한, 링크를 설정한 복수의 계층 데이터는 전체적으로 하나의 콘텐츠를 형성하기 위해, 속성 파일은 개개의 계층 데이터에 부가하는 외에, 당해 복수의 계층 데이터 전체에도 부가한다.

다음에, 지금까지 서술한 실시형태를 포함하는, 계층 데이터를 이용한 콘텐츠를 유저가 제작하기 위한 지원 기술에 대하여 설명한다. 도 23은 본 실시형태에서의 콘텐츠 제작 지원 기능을 가지는 화상 처리 장치의 구성을 나타내고 있다. 또한 동 도면에 나타낸 화상 처리 장치(500)는 실제로는 도 4에 나타낸 화상 처리 장치(10)와 동일한 구성을 가지고 있어도 되지만, 여기에서는 본 실시형태를 실현하기 위해서 구비하는 기능 블록만을 나타내고 있다. 따라서 도 21의 제어부(502)는 도 9에 나타낸 제어부(100)와 동일한 프로세서로 실현되어도 된다. 혹은 별개의 장치라고 해도 된다.

화상 처리 장치(500)는 이하에 서술하는 기능의 어느 하나 또는 조합을 가진다.

1. 유도 영역의 설정을 받아들이고, 시나리오 설정 파일을 생성, 갱신한다.

2. 링크 영역의 설정을 받아들이고, 링크 설정 파일을 생성, 갱신한다.

3. 복수의 화상 선택을 받아들이고, 그러한 화상을 선택할 수 있는 인덱스 화상을, 링크를 설정한 후에 생성한다.

화상 처리 장치(500)는 입력장치(520), 제어부(502), 하드 디스크 드라이브(550), 및 메인 메모리(560)을 구비한다. 하드 디스크 드라이브(550)에는 기존의 계층 데이터(551)가 저장되어 있다. 계층 데이터끼리 링크가 설정되어 있어도 된다. 입력장치(520)는 상술한 기능의 선택, 화상 영역의 선택, 각종 설정의 지시를 유저가 입력하기 위한 인터페이스이며, 예를 들면 도 2에 나타낸 외관 구성을 가지고 있어도 된다. 제어부(502)는 입력 정보 취득부(504), 설정 화상 표시부(506), 설정 정보 등록부(508)를 포함한다. 입력 정보 취득부(504)는 유저가 입력장치(520)에 입력한 정보를 취득하고, 그 내용에 따라 설정 화상 표시부(506) 및 설정 정보 등록부(508)에 적절한 처리 요구를 행한다.

설정 화상 표시부(506)는 유저가 유도 영역, 혹은 링크 영역을 설정하고 싶다는 취지의 입력을 행한 경우에, 유저가 선택한 화상의 계층 데이터를 하드 디스크 드라이브(550)로부터 읽어내어 표시한다. 또 유저로부터의 화면 이동 요구에 따라 표시 화상을 이동시키거나, 영역을 지정하기 위한 직사각형을 포인터의 위치 정보에 맞춰서 표시하거나 한다. 설정 정보 등록부(508)는 유저가 화상내의 영역을 지정하여 링크 영역 혹은 유도 영역의 설정 지시를 행한 경우에, 당해 영역의 프레임 정의 파라미터를 취득하고, 링크 설정 파일(562) 또는 시나리오 설정 파일(564)를 생성하여 메인 메모리(560)에 저장한다.

설정 정보 등록부(508)는 또, 유저가 복수의 화상을 선택한 경우에, 당해 화상의 해상도를 적절히 선택하여 소정의 포맷으로 열거한 인덱스 화상 데이터(566)를 예를 들면 계층 데이터로서 생성하여 메인 메모리(560)에 저장한다. 이 때, 생성한 인덱스 화상의 계층 데이터와 그것에 포함되는 개개의 화상(이후, "개별 화상"이라고 부른다)의 계층 데이터와의 사이에 링크를 설정한 링크 설정 파일(562)도 동시에 생성하여 메인 메모리(560)에 저장한다. 또한 상술한 바와 같이, 링크 설정 파일(562), 시나리오 설정 파일(564), 인덱스 화상 데이터(566)는 메인 메모리(560)에 저장하여 화상의 표시에 이용할 뿐만 아니라, 하드 디스크 드라이브(550)나 다른 기록 매체에 기록해도 된다. 이 때, 설정 대상의 계층 데이터 본체와 정리하여 하나의 콘텐츠로 해도 된다.

도 24는 상기 1의, 유도 영역의 설정을 받아들이고, 시나리오 설정 파일을 생성, 갱신하는 처리의 순서예를 설명하는 도면이다. 우선 유저는 입력장치(520)에 대해 대상이 되는 화상의 계층 데이터를 선택한다. 입력 정보 취득부(504)로부터 당해 정보를 얻은 설정 화상 표시부(506)는 하드 디스크 드라이브(550)로부터 계층 데이터를 읽어내 표시한다. 도 24의 화상(570)은 선택된 화상의 전체를 나타내고 있다. 유저는 설정 화상 표시부(506)의 표시를 확인하면서 화상 이동 요구를 입력장치(520)에 대해서 행하고, 예를 들면 유도 영역으로서 설정하고 싶은 영역(572)이 화면 가득 표시되도록 한 후에 소정의 설정용 버튼을 압하한다. 이 처리를 대신해서 포인터 조작에 의해 영역을 둘러싸는 직사각형을 묘화시켜 설정용 버튼을 압하하도록 해도 된다.

그러면 설정 정보 등록부(508)는 당해 영역의 프레임 정의 파라미터를 취득하고, 시나리오 설정 파일(564)에 기록한다. 유저는 필요에 따라서 또 다른 영역(574)을 선택하여 설정용 버튼을 압하한다. 그러면 설정 정보 등록부(508)는 당해 영역의 프레임 정의 파라미터를 시나리오 설정 파일(564)의 다음 행에 추가한다. 이것을 반복함으로써, 원하는 영역을 모두 시나리오 설정 파일(564)에 기록한다. 이와 같이 하여 생성된 시나리오 설정 파일(564)에 의해, 상술한 바와 같이, 표시하고 싶은 영역을 영역(572, 574,…)이라는 순서로, 원하는 해상도로 차례차례 표시해 나갈 수 있다.

또, 상술한 바와 같이 각 영역의 표시 시간, 화상을 보간하는 애니메이션 처리, 효과 처리 등 표시를 제어하는 처리를 기술한 마크업 언어를 생성하도록 해도 된다. 그 때문에 미리, 샘플 화상에 의한 화상 처리의 바리에이션(variation)을 표시하여, 유저에 의해 원하는 처리를 선택시키도록 해도 된다. 선택된 처리는 유도 영역의 프레임 정의 파라미터와 함께 시나리오 설정 파일(564)에 기록한다.

도 25는 상기 2의, 링크 영역의 설정을 받아들이고, 링크 설정 파일을 생성, 갱신하는 처리의 순서예를 설명하는 도면이다. 우선 유저는 입력장치(520)에 대해, 링크를 설정하는 대상이 되는 2개의 화상의 2개의 계층 데이터를 선택하는 입력을 행한다. 입력 정보 취득부(504)로부터 당해 정보를 얻은 설정 화상 표시부(506)는 하드 디스크 드라이브(550)로부터 당해 계층 데이터를 읽어내 2 화면 표시한다. 도 25의 화상(582) 및 화상(584)은 선택된 화상을 나타내고 있다. 유저는 설정 화상 표시부(506)의 표시를 확인하면서 화상(582)의 화상 이동 요구를 입력장치(520)에 대해 행하고, 링크 영역으로 설정하고 싶은 영역(586)을 포함한 화상을 표시시킨다. 그리고 포인터 조작에 의해 영역을 둘러싸는 직사각형을 묘화시켜 영역 선택을 행한다. 화상(584)에 대해서도 동일하게 영역(588)을 선택한다. 그 후, 소정의 설정용 버튼을 압하한다.

그러면 설정 정보 등록부(508)는 영역(586, 588)의 프레임 정의 파라미터를 취득하고, 도 14에 나타낸 바와 같은 데이터 구조로 링크 설정 파일(562)에 기록한다. 예를 들면 링크원 화상을 설정 화상 표시부(506)의 좌측, 링크처 화상을 설정 화상 표시부(506)의 우측에 표시하도록 규칙을 정한다, 당해 링크가 화상의 확대 방향인지 축소 방향인지를 유저에게 선택시킨다, 등의 조치에 의해, 유효 스케일 범위 필드(304) 및 링크처 파일 필드(306)에 지정하는 정보도 취득해서 기록한다. 이와 같이 하여 생성된 링크 설정 파일(562)에 의해, 화상(582)과 화상(584) 간에 링크가 설정되고, 상술한 바와 같이 영역(586)에 줌인해 나가면, 화상(584)의 계층 데이터로 화상 표시에 이용하는 데이터가 이행하여, 추가적인 확대율의 화상을 표시할 수 있다.

또한 상술한 예는 화상의 데이터끼리 링크를 설정하는 경우를 나타냈지만, 링크처는 화상에 한정하지 않고, 동영상, 애플리케이션, 음성, 음악, 텍스트 등의 데이터여도 된다. 이 경우는 링크원의 화상을 화상(582)과 같이 표시하고, 링크처가 될 수 있는 데이터를 나타내는 아이콘 등을 화상(584)을 대신해 표시하여 유저에게 선택시키도록 해도 된다. 이 때 링크 설정 파일(562)에는 상술한 바와 같이, 선택된 아이콘에 대응하는 데이터의 파일명이 링크처 파일 필드(306)에 기록되고, 링크처 화상 프레임 필드(308)는 무효여도 된다.

또, 영역(586 및 588)이 유저로부터 선택되었을 때, 각 영역에 표시되어 있는 대상물의 특징을 추출해 매칭을 행함으로써, 대상물이 2개의 화상으로 완전하게 겹치도록 프레임 정의 파라미터를 가상 공간상에서 미세조정하도록 해도 된다. 이에 의해, 링크에 의한 화상 이행시에 대상물에 어긋남이 생겨, 전환 처리가 명확해지는 것을 방지할 수 있다. 이 처리는 2개의 화상의 대상물이 동일한 경우에 한하지 않고, 어떤 대상물이 변화해 나가도록 2개의 화상을 교차 페이드하여 연결하는 경우에도 유효하다. 또, 도 25에서는 2개의 화상으로부터 각각 1개씩 영역을 선택하여 링크를 설정했지만, 화상의 수는 3개 이상이어도 되고, 1개의 화상내에서 링크 영역을 복수개 설정하도록 해도 된다. 이 경우도 상술한 처리를 반복하면 실현할 수 있다.

또한, 링크 설정 대상의 계층 데이터에 상술한 바와 같이 속성 정보가 부가되어 있는 경우는, 당해 정보 중 필요한 것을 어디에 표시할까, 라는 정보를 유저에게 입력시키기 위한 다이얼로그를 표시하도록 해도 된다. 유저에 의해 당해 정보가 입력되면, 이 정보도 링크 설정 파일(562)에 기록해 두고, 링크처로의 표시 화상의 이행시에는 적절히 표시하도록 해도 된다.

도 26은 상기 3의, 복수의 화상 선택을 받아들이고, 그러한 화상을 선택할 수 있는 인덱스 화상을, 링크를 설정한 후에 생성하는 처리 태양을 설명하는 도면이다. 이 때 유저는 입력장치(520)에 대해 인덱스를 생성하고 싶은 복수의 개별 화상의 계층 데이터를 선택한다. 그러면 설정 정보 등록부(508)는 예를 들면 선택된 계층 데이터의 가장 해상도가 낮은 화상 등, 인덱스로서 적당한 해상도의 개별 화상을 묻은 인덱스 화상, 예를 들면 도 18에서 나타낸 화상(350)처럼 화상을 인덱스 화상 데이터(566)로서 생성하고, 메인 메모리(560)에 저장한다. 동 도면에서 영역(352a, 352b, 352c) 등은 유저가 선택한 개별 화상이다.

계층 데이터(590)는 기존의 것을 유저가 선택하도록 해도 된다. 예를 들면 미술관의 벽의 화상을 계층 데이터(590)로서 선택하고, 개별 화상을 벽의 액자틀내에 배치하도록 하면, 미술관의 벽에 개별 화상이 장식되어 있는 화상이 생성되게 된다. 인덱스 화상의 어디에 개별 화상을 배치할지, 각 화상의 사이즈 정보도, 더 유저로부터 받아들여도 된다. 이 경우, 설정 정보 등록부(508)는 유저의 지정에 따른 위치, 사이즈로 개별 화상을 묻은 인덱스 화상 데이터를 생성한다.

설정 정보 등록부(508)는 또한, 생성한 인덱스 화상의 계층 데이터(590)에서 개별 화상을 묻은 위치에, 각 개별 화상의 계층 데이터(592a, 592b,…, 592n)로의 링크를 설정한 링크 설정 파일(562)을 생성하여 메인 메모리(560)에 저장한다. 이와 같이 하여 생성된 인덱스 화상 데이터(566) 및 링크 설정 파일(562)에 의해, 인덱스 화상내의 어느 개별 화상에 줌인해 나가면, 당해 개별 화상의 계층 데이터(592a) 등으로 표시가 이행하고, 더 확대율의 화상을 표시하거나 동영상을 재생하거나 할 수 있다. 인덱스 화상 데이터(566), 링크 설정 파일(562), 및 개별 화상의 계층 데이터를 하나의 콘텐츠로 하여 하드 디스크 드라이브(550)에 저장해도 된다.

또한, 개별 화상의 계층 데이터(592a) 등과 인덱스 화상의 계층 데이터(590)의 사이에 링크를 설정하지 않고, 개별 화상의 계층 데이터를 모두 포함한 인덱스 화상의 계층 데이터를 생성하도록 해도 된다. 또, 기존의 복수의 인덱스 화상을 묻은 인덱스 화상을 생성해도 된다. 이 경우의 처리도, 개별 화상 대신에 인덱스 화상을 선택 가능하게 함으로써, 동일하게 실현할 수 있다.

이상 설명한 본 실시형태에 의하면, 2개의 화상의 계층 데이터에 링크를 설정하고, 평행이동, 확대, 축소의 지시 입력만으로, 표시 화상의 묘화에 이용하는 계층 데이터를 이행한다. 이와 같이 하여, 확대하면 무의미하게 되어 버리는 영역의 고해상도 화상 등 여분의 데이터를 생략할 수 있기 때문에, 데이터 사이즈를 축소할 수 있다. 또 세계 지도와, 어느 빌딩의 주변 지도, 라는 스케일이 현저하게 다른 화상을 다른 계층 데이터로 함으로써, 계층마다 표시 화상의 위치 제어용의 수치를 재설정할 수 있어, 위치의 정밀도를 유지하기 쉽다.

한편, 메뉴의 화상과 당해 메뉴상의 각 아이콘의 매뉴얼 등, 완전히 다른 화상에 링크를 설정한 경우 등은, 확대, 축소의 조작만으로 화상의 상호 이행을 실현할 수 있음으로써, 전환 전의 화상에서의 위치 정보를 염두에 둔 채로 다른 화상을 볼 수 있다. 예를 들면 어떤 아이콘의 기능을 조사하려고, 도움말 화면 등을 표시시켜, 아이콘의 표시와 관계가 있을 것 같은 기술을 찾아내 읽는다, 라는 종래의 수법에서는, 아이콘의 표시부터 도움말 내의 기술의 표시까지 해야 할 처리가 번잡하고, 유저의 사고가 중단되기 쉽다. 그 결과, 결국 최초로 목적으로 한 것을 깜빡 잊어버리는 경우도 발생한다. 그러나 본 실시형태에서는 아이콘과 매뉴얼이 직접 결합되기 때문에, 직감적인 파악이 가능해져, 작업의 효율이 향상한다.

또한, 확대, 축소, 평행이동 등의 유저의 조작은 이후의 움직임을 예측할 수 있기 때문에, 본 실시형태에서는 그것을 미리보기함으로써, 미리 링크처의 화상의 디코드를 행한다. 이에 의해 실제로 화상의 전환이 지시받았을 때에는 원활하게 링크처의 화상의 묘화를 행할 수 있고, 디코드 처리 대기 시간을 삭감할 수 있다. 이것은, 링크처를 동영상 재생이나 애플리케이션 기동이라고 해도 동일하게 유효하다. 즉 미리보기 처리에 의해, 동영상 재생이나 애플리케이션 기동을 미리 행해둠으로써, 실제로 유저가 링크처로의 이행을 지시한 시점에서 원활하게 출력을 행할 수 있다. 이것은 아이콘을 클릭함으로써 기동을 행하는 종래의 수법과 비교하여 현격히 처리 대기 시간이 줄어들어, 유저의 스트레스를 경감하는 효과가 있다.

또, 유저의 표시 화상 변경 요구 신호의 입력부터 화상 표시까지의 시간을, 컨벌루션 연산에 의해 지연시키거나 교차 페이드시키는 등 전환시에 적절한 화상 효과 처리를 실시함으로써, 화상의 전환이 원활하게 행해지도록 연출할 수 있다. 결과적으로, 정지화면, 동영상을 불문하고, 또, 화상에 한정하지 않고 음악이나 텍스트 데이터 등으로도, 표시 화상의 이동 조작을 이용한 새로운 입력 툴을 제공할 수 있다.

링크의 설정은 링크원 및 링크처의 계층 데이터내의 링크 영역을, 가상 공간상에서 정의함으로써 행하기 때문에, 일견 복잡하게 보이는 링크 구조여도 용이하게 설정할 수 있어, 일반 유저가 손쉽게 콘텐츠를 제작할 수 있다. 당해 정의를 이용하여, 계층 데이터내의 영역을 몇 개 기억해둠으로써, 표시 화상을 당해 영역으로 유도할 수 있다. 예를 들면, 표시 화상을 대강 위치 맞춤하는 것만으로, 설정된 링크 영역으로 유도할 수 있기 때문에, 링크처로의 화상의 전환을 단시간에 행할 수 있다. 또 화상내에서 보여주고 싶은 부분 등을 복수개 기록한 시나리오 설정 파일을 작성함으로써, 그러한 부분을 연속 표시시킬 수 있어, 프로모션이나 프레젠테이션 등에 효과적인 콘텐츠를 제작할 수 있다. 혹은, 다단의 기사나 열람 순서가 정해져 있는 잡지의 페이지 등에서, 문자를 판독할 수 있을 정도로 확대한 채로 다음의 영역으로 이동할 수 있다.

이와 같이 하여 제작한, 링크 설정이 이루어진 계층 데이터나, 시나리오 설정 파일 등 유도 영역의 설정이 이루어진 계층 데이터는, 그것을 하나의 패키지로서 유통시킬 수 있다. 한편, 계층 데이터만, 혹은 시나리오 설정 파일만, 이라는 모듈 단위로 유통시킬 수도 있다. 계층 데이터나 콘텐츠에는 내용에 따른 정보, 제어에 따른 정보, 데이터의 구조 정보 등의 속성 정보를 각 단위마다 부가해 둔다. 이에 의해, 콘텐츠내에 다른 저작자에 의한 계층 데이터나 콘텐츠가 포함되어 있는 경우에, 링크처로의 이행을 제한하거나 과금하거나 할 수 있다. 또 각 단위로 통일적인 속성 정보의 포맷을 결정해 둠으로써, 그것을 이용한 이차적인 콘텐츠의 작성을 효율적으로 행할 수 있다.

또한, 콘텐츠의 제작을 지원하기 위해서, 링크 영역이나 유도 영역을, 실제의 화면을 표시한 후에 선택할 수 있도록 하고, 당해 선택에 의해 링크 설정 파일이나 시나리오 설정 파일을 소정의 포맷으로 생성한다. 이와 같이 함으로써, 유저는 실제의 화상을 확인하면서 이미지를 부풀게 한 후에 설정을 용이하게 행할 수 있다. 링크 영역의 설정에 즈음해서는 특징의 추출이나 매칭 처리에 의해 2개의 화상의 링크 영역의 위치를 미세조정한다. 이에 의해, 화상 전환시에 위치 어긋남 등을 일으키지 않고 연속적인 이행이 가능해져, 보는 사람이 화상의 전환을 알아차리는 경우가 적어진다.

또, 유저가 선택한 복수의 개별 화상을 묻은 인덱스 화상을 생성한다. 그리고 인덱스 화상과 개별 화상과의 링크 설정 파일을 생성한다. 이에 의해, 잡지의 백 넘버의 내용물을 확인하면서 원하는 1권을 선택하는 콘텐츠, 다양한 애플리케이션, 동영상을 기동할 수 있는 메뉴 화면이 있는 콘텐츠, 회화, 소설, 인물 사진 등의 해설 대상과 그 해설이 전환되는 콘텐츠 등, 여러가지 콘텐츠를, 화상을 선택하는 것만으로 용이하게 제작할 수 있다.

이상, 본 발명을 실시형태를 기초로 설명하였다. 상기 실시형태는 예시이며, 그러한 각 구성요소나 각 처리 프로세스의 조합에 여러가지 변형예가 가능하고, 또 그러한 변형예도 본 발명의 범위내에 있다는 것은 당업자에게 자명하다.

1:　화상 처리 시스템,　 10:　화상 처리 장치,
12:　표시장치, 20:　입력장치,
30:　제0 계층, 32:　제1 계층,
34:　제2 계층, 36:　제3 계층,
38:　타일 화상, 44:　표시 처리부,
50:　하드 디스크 드라이브, 60:　메인 메모리,
70:　버퍼 메모리, 90:　플레임 메모리,
100:　제어부,　 102:　입력 정보 취득부,
104:　압축 데이터 분할부, 106:　로드 블록 결정부,
108:　로드부, 110:　미리보기 처리부,
112:　디코드부, 114:　표시 화상 처리부,
116:　링크 판정부, 117:　시나리오 해석부,
118:　링크 설정 파일, 119:　시나리오 설정 파일,
408a:　속성 파일, 500:　화상 처리 장치,
502:　제어부, 504:　입력 정보 취득부,
506:　설정 화상 표시부, 508:　설정 정보 등록부,
520:　입력장치, 550:　하드 디스크 드라이브,
560: 메인 메모리, 562:　링크 설정 파일,
564:　시나리오 설정 파일, 566:　인덱스 화상 데이터

Claims

화상의 적어도 일부를 디스플레이에 표시하는 화상 처리 장치로서,
하나의 화상에서 다른 해상도의 화상 데이터를 해상도 순서로 계층화하여 구성되는 계층 데이터를 유지하는 기억장치,
화상 평면 및 해상도의 축에 의해 정의되는 가상 공간에서, 상기 계층 데이터내의 유도 영역 및 상기 유도 영역에 대한 오프셋 파라미터를 지정한 시나리오 설정 파일을 유지하는 메모리,
유저로부터의 표시 화상의 변경에 따른 지시 입력을 받아들이는 입력 정보 취득부,
유저로부터 소정의 지시 입력이 이루어졌을 때, 상기 지시 입력에 따르는 표시 영역이 상기 유도 영역의 오프셋 범위에 포함되면, 상기 시나리오 설정 파일에서 지정된 영역으로 표시 화상을 유도하는 표시 화상 처리부,
를 구비하는 것을 특징으로 하는 화상 처리 장치.
제 1항에 있어서, 상기 입력 정보 취득부는 디스플레이에 표시되어 있는 표시 화상의 상기 가상 공간에서의 이동 요구를 유저로부터 받아들이고,
상기 표시 화상 처리부는 유저로부터의 표시 화상의 이동 요구의 결과, 상기 영역의 소정 범위내에 표시 화상이 들어갔을 때, 당해 영역으로 표시 화상을 유도하는 것을 특징으로 하는 화상 처리 장치.
제 2항에 있어서, 상기 시나리오 설정 파일에 설정되는 계층 데이터내의 영역은, 소정의 종횡 비율을 가지는 직사각형인 것을 특징으로 하는 화상 처리 장치.
제 3항에 있어서, 상기 시나리오 설정 파일로 지정하는 영역은, 동일한 해상도의 화상 평면상의 복수의 영역을 포함하는 것을 특징으로 하는 화상 처리 장치.
제 3항에 있어서, 상기 시나리오 설정 파일로 지정하는 영역은, 동일 계층 데이터에서 해상도가 다른 화상의 복수의 영역을 포함하는 것을 특징으로 하는 화상 처리 장치.
제 1항 내지 제 5항 중 어느 한 항에 있어서, 상기 메모리는 상기 가상 공간에서 다른 계층 데이터내의 소정의 영역을 대응시킨 링크 설정 파일을 더 유지하고,
상기 시나리오 설정 파일로 지정하는 영역은 상기 링크 설정 파일로 대응된 복수의 계층 데이터내의 복수의 영역을 포함하고,
상기 링크 설정 파일에서 설정된, 표시중인 계층 데이터에서의 영역의 소정 범위내에 표시 화상이 들어갔을 때, 당해 영역에 대응된 다른 계층 데이터의 영역으로 표시 화상을 전환하는 것을 특징으로 하는 화상 처리 장치.
제 1항에 있어서, 상기 시나리오 설정 파일에는, 지정한 복수의 영역의 표시순서가 더 설정되고,
상기 표시 화상 처리부는, 유저로부터의 연속 표시 개시 지시를 상기 입력 정보 취득부가 받아들이면, 상기 시나리오 설정 파일을 참조하여, 지정된 복수의 영역을, 설정된 표시순서로 연속적으로 표시하는 것을 특징으로 하는 화상 처리 장치.
제 1항에 있어서, 상기 입력 정보 취득부는, 현재 표시중의 화상 영역을 상기 시나리오 설정 파일에 등록하는 취지의 지시를 유저로부터 더 받아들이고,
상기 화상 처리 장치는, 받아들인 영역을 상기 시나리오 설정 파일에 등록하는 설정 정보 등록부를 한층 더 구비하는 것을 특징으로 하는 화상 처리 장치.
화상 처리 장치에서 화상의 적어도 일부를 디스플레이에 표시하는 화상 처리 방법으로서,
기억장치로부터 화상 데이터를 읽어내 표시장치에 묘화하는 스텝,
현재 표시중인 화상에서의 표시 영역의 이동 및 확대 축소를 포함하는 표시 화상의 이동 요구를 유저로부터 받아들이는 스텝,
상기 표시 화상의 이동 요구에 따르는 표시 영역이 미리 설정된 유도 영역의 오프셋 범위에 포함되면, 상기 유도 영역 및 해상도에 표시 화상을 유도하는 스텝,
을 포함하는 것을 특징으로 하는 화상 처리 방법.
컴퓨터에, 화상의 적어도 일부를 디스플레이에 표시하는 기능을 실현시키는 컴퓨터 프로그램을 기록한 기록 매체로서,
기억장치로부터 화상 데이터를 읽어내 표시장치에 묘화하는 기능,
현재 표시 중인 화상에서의 표시 영역의 이동 및 확대 축소를 포함하는 표시 화상의 이동 요구를 유저로부터 받아들이는 기능,
상기 표시 화상의 이동 요구에 따르는 표시 영역이 미리 설정된 유도 영역의 오프셋 범위에 포함되면, 상기 유도 영역 및 해상도에 표시 화상을 유도하는 기능,
을 컴퓨터에 실현시키는 것을 특징으로 하는 컴퓨터 프로그램을 기록한 기록 매체.
화상의 적어도 일부를 디스플레이에 표시하는 화상 처리 장치로서,
하나의 화상에서 다른 해상도의 화상 데이터를 해상도 순서로 계층화하여 구성되는 계층 데이터를 유지하는 기억장치,
적어도 2개의 상기 계층 데이터를 대응시킴과 동시에, 당해 계층 데이터간의 표시 화상의 전환 조건 및 전환 후 계층 데이터의 표시 대상 계층을 결정하는 매계 변수를 설정한 링크 설정 파일을 유지하는 메모리,
어느 계층 데이터의 화상을 표시하고 있는 동안에, 표시 화상이 상기 전환 조건을 만족하는지 아닌지를, 상기 링크 설정 파일을 참조하여 판정하는 링크 판정부,
상기 링크 판정부가 상기 전환 조건을 만족하고 있다고 판정한 경우에, 상기 계층 데이터에 대응된 다른 계층 데이터의 표시 대상 계층의 화상으로 표시 화상을 전환하는 표시 화상 처리부,
를 구비하는 것을 특징으로 하는 화상 처리 장치.
제 11항에 있어서, 디스플레이에 표시되어 있는 표시 화상의 영역 이동 및 확대 축소를 포함하는 이동 요구를 유저로부터 받아들이는 입력 정보 취득부를 더 구비하고,
상기 링크 판정부는, 상기 이동 요구가 이루어졌을 때에, 당해 이동 요구의 결과, 표시된 화상이 상기 전환 조건을 만족하는지 아닌지를 판정하는 것을 특징으로 하는 화상 처리 장치.
제 12항에 있어서, 상기 링크 설정 파일에서, 표시 화상이 소정의 영역 및 해상도에 이르렀을 때가 상기 표시 화상의 전환 조건으로 설정되어 있는 것을 특징으로 하는 화상 처리 장치.
제 11항에 있어서, 상기 링크 설정 파일에서 대응된 계층 데이터는 동영상 데이터를 포함하고,
상기 표시 화상 처리부는 표시 화상으로서 동영상을 표시하는 것을 특징으로 하는 화상 처리 장치.
제 14항에 있어서, 표시중인 계층 데이터가 동영상 데이터에 대응되어 있는 경우에, 상기 링크 판정부에 의한 판정과는 독립적으로, 상기 동영상 데이터의 디코드를 개시하는 디코드부를 더 구비하는 것을 특징으로 하는 화상 처리 장치.
제 12항에 있어서, 상기 입력 정보 취득부가 받아들인 유저로부터의 표시 화상 이동 요구에 기초하여, 이후의 표시 화상의 이동을 예측하는 미리보기 처리부를 더 구비하고,
표시 중인 계층 데이터가 상기 링크 설정 파일에서 동영상 데이터에 대응되어 있는 경우에, 상기 표시 화상이 상기 전환 조건을 만족하는 것이 상기 미리보기 처리부에 의해 예측되었을 때, 상기 동영상 데이터의 디코드를 개시하는 디코드부를 더 구비하는 것을 특징으로 하는 화상 처리 장치.
제 11항에 있어서, 상기 표시 화상 처리부는 표시 화상을 전환할 때, 전환 전의 화상과 전환 후의 화상의 사이에서 교차 페이드, 디졸브, 와이프, 폴리곤 메시를 이용한 페이지 넘김 형상의 표현에서 선택되는 하나의 효과를 실시하는 것을 특징으로 하는 화상 처리 장치.
화상 처리 장치에서 화상의 적어도 일부를 디스플레이에 표시하는 화상 처리 방법으로서,
메모리에서 미리 대응된 복수의 화상 데이터를 처리 대상으로 하여 기억장치로부터 읽어내는 스텝,
상기 복수의 화상 데이터 중 적어도 하나를 표시하는 스텝,
현재 표시중인 화상에서의 표시 영역의 이동 및 확대 축소를 포함하는 표시 화상의 이동 요구를 유저로부터 받아들이는 스텝,
표시 화상이 미리 메모리에 설정된 조건을 만족했을 때, 표시중인 화상 데이터에 대응된 다른 화상 데이터의 표시 대상 계층의 화상으로 표시를 전환하는 스텝,
을 포함하는 것을 특징으로 하는 화상 처리 방법.
컴퓨터에, 화상의 적어도 일부를 디스플레이에 표시하는 기능을 실현시키는 컴퓨터 프로그램을 기록한 기록 매체로서,
메모리에서 미리 대응된 복수의 화상 데이터를 처리 대상으로 하여 기억장치로부터 읽어내는 기능,
상기 복수의 화상 데이터 중 적어도 하나를 표시하는 기능,
현재 표시중인 화상에서의 표시 영역의 이동 및 확대 축소를 포함하는 표시 화상의 이동 요구를 유저로부터 받아들이는 기능,
표시 화상이 미리 메모리에 설정된 조건을 만족했을 때, 표시중인 화상 데이터에 대응된 다른 화상 데이터의 표시 대상 계층의 화상으로 표시를 전환하는 기능,
을 컴퓨터에 실현시키는 것을 특징으로 하는 컴퓨터 프로그램을 기록한 기록 매체.