JP5992729B2 - 情報処理装置および情報処理方法 - Google Patents

Description

本発明は、表示画像に対するユーザの指示入力に従った処理を行う情報処理装置、およびその情報処理方法に関する。

ゲームプログラムを実行するだけでなく、動画を再生できる家庭用エンタテインメントシステムが提案されている。この家庭用エンタテインメントシステムでは、ＧＰＵがポリゴンを用いた三次元画像を生成する（例えば特許文献１参照）。

ゲームなどの三次元画像に限らず、ビデオ映像などの動画、ウェブページ、書籍、雑誌、新聞、広告など各種コンテンツをネットワークや記録媒体を介して取得し、情報処理装置によって個人で楽しむことは、日常的に行われるようになっている。またパーソナルコンピュータや携帯端末など装置の大小によらず、高画質で閲覧することも可能になり、画像処理技術は普段の生活において必要不可欠なものとなってきている。

米国特許第６５６３９９９号公報

画像処理技術が身近になるに従い、コンテンツとして表示される画像、ひいてはそれによって示される情報の構造が複雑化したり、データサイズが巨大化したりする傾向が生じている。このような状況においては、ユーザが望む情報へアクセスしづらいコンテンツとなったり、入力手段が複雑化したりすることが考えられる。したがって内容によらず、所望の情報へ効率的かつ容易にアクセスすることができる技術の実現が望まれている。

本発明はこのような課題に鑑みてなされたものであり、その目的は、画像表示を利用した情報提供技術において、所望の情報へ効率的かつ容易にアクセスすることができる技術を提供することにある。

本発明のある態様は情報処理装置に関する。この情報処理装置は、ユーザが入力装置を介して入力した、表示中の基礎画像における表示領域移動の要求信号を取得する入力情報制御部と、表示領域移動の要求信号を入力情報制御部から取得し、表示領域を逐次決定する表示領域管理部と、表示領域管理部が決定した表示領域が、基礎画像内に設定されたリンク領域との相対関係に対し設定したリンク条件を満たすか否かを判定するリンク判定部と、表示領域がリンク条件を満たしている期間、当該リンク領域に対応づけられた、基礎画像と異なるデータであるオブジェクトを処理するオブジェクト処理部と、基礎画像のうち表示領域管理部が決定した表示領域を描画し、オブジェクト処理部がオブジェクトを処理している期間においては、当該オブジェクトの処理結果のデータとともに出力する表示画像処理部と、を備え、入力情報制御部は、オブジェクト処理部がオブジェクトを処理している期間においてユーザが入力装置を介して入力した要求信号を、当該オブジェクトの処理に対する操作としてオブジェクト処理部へ供給し、オブジェクト処理部は、入力情報制御部から取得した要求信号に応じて、オブジェクトの処理における動作を変化させることを特徴とする。

本発明の別の態様は情報処理方法に関する。この情報処理方法は、ユーザが入力装置を介して入力した、表示中の基礎画像における表示領域移動の要求信号を情報処理装置が取得するステップと、取得した要求信号に基づき、表示領域を逐次決定するステップと、決定した表示領域が、基礎画像内に設定されたリンク領域との相対関係に対し設定したリンク条件を満たすか否かを判定するステップと、表示領域がリンク条件を満たしている期間、当該リンク領域に対応づけられた、基礎画像と異なるデータであるオブジェクトを処理するステップと、基礎画像のうち表示領域を描画し、オブジェクトを処理している期間においては、当該オブジェクトの処理結果のデータとともに出力するステップと、を含み、オブジェクトを処理するステップは、オブジェクトを処理している期間においては、ユーザが入力装置を介して入力した要求信号を、当該オブジェクトの処理に対する操作とし、それに応じて、オブジェクトの処理における動作を変化させることを特徴とする。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、コンピュータプログラムを記録した記録媒体などの間で変換したものもまた、本発明の態様として有効である。

本発明によると、操作性、アクセス性に優れた画像表示を行う情報処理技術を実現できる。

本発明の実施の形態にかかる情報処理システムの使用環境を示す図である。 図１の画像処理システムに適用できる入力装置の外観構成を示す図である。 本実施の形態における情報処理装置の構成を示す図である。 本実施の形態において使用できる画像データの階層構造例を示す図である。 本実施の形態における制御部の構成とハードディスクドライブに格納されるデータの詳細を示す図である。 本実施の形態において表示される画面の例を示す図である。 本実施の形態において表示される画面の別の例を示す図である。 本実施の形態におけるフレームパラメータの基準となる領域と画像の位置関係を示す図である。 本実施の形態において基準フレームを画像平面上で移動させた領域のフレームパラメータを説明するための図である。 本実施の形態において基準フレームを画像平面上で移動させずに拡大率を変化させた領域のフレームパラメータを説明するための図である。 本実施の形態においてフレームパラメータを用いて記述されたリンク設定ファイルのデータ構造例を示す図である。 本実施の形態において情報処理装置が行う基礎画像表示およびオブジェクト処理に係る処理手順を示すフローチャートである。

図１は、本発明の実施の形態にかかる情報処理システム１の使用環境を示す。情報処理システム１は、動画、静止画、音声、電子書籍、ウェブページなど各種コンテンツを処理する情報処理装置１０と、情報処理装置１０による処理結果を出力する表示装置１２とを備える。表示装置１２は、画像を出力するディスプレイおよび音声を出力するスピーカを有するテレビであってよい。表示装置１２は、情報処理装置１０に有線ケーブルで接続されてよく、また無線ＬＡＮ（Local Area Network）などにより無線接続されてもよい。

情報処理システム１において、情報処理装置１０は、ケーブル１４を介してインターネットなどの外部ネットワークに接続し、処理対象のコンテンツのデータやソフトウェアをダウンロードして取得してもよい。なお情報処理装置１０は、無線通信により外部ネットワークに接続してもよい。なお情報処理装置１０は、ゲーム装置やパーソナルコンピュータなどであってもよく、データやソフトウェアを各種記録媒体からロードすることで後述する機能を実現してもよい。

本実施の形態では、後述する画像処理機構によって、表示装置１２に表示した画像をユーザインターフェースの一部とする。具体的には、ユーザが入力装置によって表示領域を移動させる要求を入力すると、情報処理装置１０はそれに対応するように表示中の画像における表示領域を移動させるのに加え、表示領域が所定の条件を満たしたときに、表示領域移動以外の処理も行う。ここで「表示領域の移動」とは、表示領域の拡大／縮小、上下左右方向へのスクロールを含むものとする。

例えば情報処理装置１０は、表示中の画像にあらかじめ設定しておいた所定の領域に表示領域が包含されたことをきっかけとして、当該領域に対応づけておいた処理を開始する。以後、このような処理の切り替えを「リンク」と呼び、表示領域との関係によってリンクが発生するきっかけとなる設定領域を「リンク領域」と呼ぶ。

例えばある動画のタイトル画像や最初のフレームを表す静止画像をリンク領域内に配置した画像を表示対象とし、表示領域の移動を受け付ける。ユーザが当該静止画像をズームアップし、結果としてリンク領域が表示領域に包含されたとき、その動画の再生を開始する。なおリンクを実行する条件は、表示領域がリンク領域に包含されたときのみに限らず、表示領域とリンク領域の位置やサイズに係る相対関係であればどのような条件でもよい。例えば包含されていた表示領域がリンク領域からはみ出たときやリンク領域を包含したとき、などでもよく、画像やコンテンツの作成者が適宜設定できるようにする。

このように本実施の形態では、表示領域の移動要求を、別の処理を開始させるきっかけとしても利用する。上述の例で、タイトル画像などを表示していた領域に、再生した動画をそのまま表示させれば、最初のタイトル画像と再生された動画が連続性をもって表示されることになる。結果として、視点を近づけたことにより自然に画像が動き出すような感覚をユーザに与えることができる。

表示領域移動以外の処理を開始させるリンクとともに、表示対象を別の画像へ切り替えるリンクも同様に設定可能とする。この場合、切り替え後の画像において、さらに表示領域の移動要求を受け付けてもよい。また切り替え後の画像にさらにリンクを設定してもよい。以後、表示領域の移動を受け付ける画像を「基礎画像」、動画など、リンクの実行により開始される、表示領域移動以外の処理の対象を「オブジェクト」と呼ぶ。

オブジェクトは動画のみならず、ウェブブラウザ、ゲーム、オーディオ、電子書籍など、電子的な処理によりユーザが認識できる形式で出力が可能なデータであればその種類は限定されない。上記は代表的な「コンテンツ」であるが、リンクによって開始される処理はそのほか、表計算や文書作成など一般的な情報処理のいずれでもよい。

上述のように表示領域の移動を受け付ける基礎画像の表示と、動画再生などのオブジェクト処理とを一体化した場合であっても、それぞれの機能に対するユーザの操作が複雑化しないことが望ましい。そこで本実施の形態では、基礎画像に対する表示領域の移動操作を行う際の入力体系と、オブジェクト処理機能に対する操作を行う際の入力体系とを区別し、オブジェクト処理開始時、あるいはユーザからの要求に応じ、それらを切り替える。

オブジェクトが動画やオーディオの場合、オブジェクト処理機能に対する操作とは、早送り、巻き戻し、一時停止、再生停止などである。ウェブブラウザの場合は、項目選択、画面スクロールなどである。電子書籍の場合は、ページ送り、ページ戻し、ページの拡大／縮小などである。ゲームの場合はその内容によって操作内容も様々である。

ここで基礎画像内にオブジェクトを表示する態様であっても、オブジェクト処理機能に対する操作を可能とする期間は、表示領域の移動操作を受け付けないようにすると、多くの操作手段を使いこなす必要がなくなるためユーザの負担が減るとともに、入力装置を単純化できる。ただし本実施形態をこれに限る主旨ではなく、両操作を同時に行えるようにしてもよい。以後の説明では、表示領域移動操作とオブジェクト処理機能に対する操作とを択一的に切り替えて行う態様とし、前者の状態を「表示領域移動モード」、後者の状態を「オブジェクト操作モード」と呼ぶ。

図２は、入力装置２０の外観構成例を示す。入力装置２０は、ユーザが操作可能な操作手段として、方向キー２１、アナログスティック２７ａ、２７ｂ、４種の操作ボタン２６、Ｌボタン２９ａ、Ｒボタン２９ｂを備える。４種の操作ボタン２６は、○ボタン２２、×ボタン２３、□ボタン２４および△ボタン２５で構成される。ユーザは左右のハンドル２８ａ、２８ｂを左右の手で把持した状態で各操作手段を操作することにより、表示領域の移動やオブジェクト処理に係る要求を入力する。さらに画像表示の開始や終了などの要求も入力する。

入力装置２０は、入力された要求を信号に変換し情報処理装置１０に伝送する機能をもち、本実施の形態では情報処理装置１０との間で無線通信可能に構成される。入力装置２０と情報処理装置１０は、Bluetooth（ブルートゥース）（登録商標）プロトコルやIEEE802.11プロトコルなどを用いて無線接続を確立してもよい。なお入力装置２０は、情報処理装置１０とケーブルを介して接続して、各要求信号を情報処理装置１０に伝送してもよい。

各操作手段には、表示領域移動モード、オブジェクト操作モードのそれぞれに必要な機能を割り当てる。例えば表示領域移動モードにおける、表示領域の拡大／縮小要求の入力機能を、右側のアナログスティック２７ｂに割り当てる。ユーザはアナログスティック２７ｂを手前に引くことで、表示領域の縮小要求を入力でき、また手前から押すことで、表示領域の拡大要求を入力できる。また、表示領域のスクロールの入力機能を、方向キー２１に割り当てる。ユーザは方向キー２１を押下することで、方向キー２１を押下した方向へのスクロール要求を入力できる。なお表示領域移動要求の入力機能は別の操作手段に割り当てられてもよく、たとえばアナログスティック２７ａに、スクロール要求の入力機能が割り当てられてもよい。

またオブジェクト操作モードにおいて動画再生処理がなされている状態では、例えば動画の早送り、巻き戻し、一時停止／再開、停止の要求の入力機能をそれぞれ、Ｒボタン２９ｂ、Ｌボタン２９ａ、□ボタン２４、×ボタン２３に割り当てる。同図においてＬボタン２９ａ、Ｒボタン２９ｂは入力装置２０の上部側面に設けられており、人差し指等で手前に押下可能に構成されている。オブジェクト操作モードにおいてウェブブラウザの処理がなされている状態では、例えば画面スクロール要求の入力機能をアナログスティック２７ａに、項目選択の入力機能を方向キー２１に、選択確定の入力機能を○ボタン２２に割り当てる。

オブジェクト操作モードにおいて電子書籍表示処理がなされている状態では、例えばページ送り、ページ戻し要求の入力機能をＲボタン２９ｂ、Ｌボタン２９ａに、表示領域の拡大／縮小要求の入力機能をアナログスティック２７ｂに割り当てる。このようにオブジェクト操作モードでは、処理対象のオブジェクトの種類によって、入力装置２０における入力手段の割り付けを様々に変化させる。

一つの画像中に、それぞれ異なる種類のオブジェクトをリンク先とする複数のリンクを設定しても、実際になされる処理は択一的であるため、一つの入力手段を複数種類のオブジェクト処理に利用することができる。結果として、表示領域移動モードにおける入力体系、オブジェクト操作モードにおけるオブジェクトの種類ごとの入力体系、と切り替えることになり、画像上では連続性を保ちながら、状況に応じて適切な入力手段割り付けへと自ら変化する入力装置を実現できる。

なお上記した割り付けは一例に過ぎず、オブジェクトの種類や内容に応じて適宜設定する。また図２に示した入力装置２０の外観も一例であり、その形状や機能を限定するものではない。例えばマウス、キーボードなど一般的な入力装置またはそれらの組み合わせでもよく、さらにユーザ等を撮影するカメラや音声を取り込むマイクなどを入力装置としてもよい。

図３は情報処理装置１０の構成を示している。情報処理装置１０は、無線インタフェース４０、スイッチ４２、表示処理部４４、ハードディスクドライブ５０、記録媒体装着部５２、ディスクドライブ５４、メインメモリ６０、バッファメモリ７０および制御部１００を有して構成される。表示処理部４４は、表示装置１２のディスプレイに表示するデータをバッファするフレームメモリを有する。

スイッチ４２は、イーサネットスイッチ（イーサネットは登録商標）であって、外部の機器と有線または無線で接続して、データの送受信を行うデバイスである。スイッチ４２は、ケーブル１４を介して外部ネットワークに接続し、コンテンツサーバやウェブサーバから各種データを受信できるように構成される。またスイッチ４２は無線インタフェース４０に接続し、無線インタフェース４０は、所定の無線通信プロトコルで入力装置２０と接続する。入力装置２０においてユーザから入力された信号は、無線インタフェース４０、スイッチ４２を経由して、制御部１００に供給される。

ハードディスクドライブ５０は、データを記憶する記憶装置として機能する。基礎画像やオブジェクトのデータ、基礎画像の表示に係る処理やオブジェクト処理を実行するためのプログラムなどはハードディスクドライブ５０に格納されてもよい。記録媒体装着部５２は、メモリカードなどのリムーバブル記録媒体が装着されると、リムーバブル記録媒体からデータを読み出す。ディスクドライブ５４は、読出専用のＲＯＭディスクが装着されると、ＲＯＭディスクを駆動して認識し、データを読み出す。ＲＯＭディスクは、光ディスクや光磁気ディスクなどであってよい。各種データやプログラムはこれらの記録媒体に格納されていてもよい。

制御部１００は、マルチコアＣＰＵを備え、一つのＣＰＵの中に一つの汎用的なプロセッサコアと、複数のシンプルなプロセッサコアを有する。汎用プロセッサコアはＰＰＵ（Power Processing Unit）と呼ばれ、残りのプロセッサコアはＳＰＵ（Synergistic-Processing Unit）と呼ばれる。制御部１００はさらにＧＰＵ（Graphics Processing Unit）を備えていてもよい。

制御部１００は、メインメモリ６０およびバッファメモリ７０に接続するメモリコントローラを備える。ＰＰＵはレジスタを有し、演算実行主体としてメインプロセッサを備えて、実行するアプリケーションにおける基本処理単位としてのタスクを各ＳＰＵに効率的に割り当てる。なお、ＰＰＵ自身がタスクを実行してもよい。ＳＰＵはレジスタを有し、演算実行主体としてのサブプロセッサとローカルな記憶領域としてのローカルメモリを備える。ローカルメモリは、バッファメモリ７０として使用されてもよい。

メインメモリ６０およびバッファメモリ７０は記憶装置であり、ＲＡＭ（ランダムアクセスメモリ）として構成される。ＳＰＵは制御ユニットとして専用のＤＭＡ（Direct Memory Access）コントローラをもち、メインメモリ６０とバッファメモリ７０の間のデータ転送を高速に行うことができ、また表示処理部４４におけるフレームメモリとバッファメモリ７０の間で高速なデータ転送を実現できる。本実施の形態の制御部１００は、複数のＳＰＵを並列動作させることで、高速な画像処理機能を実現する。表示処理部４４は、表示装置１２に接続されて、ユーザからの要求に応じた画像処理結果を出力する。

本実施の形態の情報処理装置１０は、画像の表示領域の移動処理をスムーズに行うために、画像データの一部をハードディスクドライブ５０からメインメモリ６０にロードしておく。また、メインメモリ６０にロードした画像データのさらに一部をデコードしてバッファメモリ７０に格納しておく。これにより、後の必要なタイミングで、表示画像の描画に使用する画像を瞬時に切り替えることが可能となる。

本実施の形態において表示対象とする基礎画像のデータ構造は特に限定されないが、ここでは高精細な画像をより効率よく表示することを可能とするため、階層構造を有する階層画像データを用いる例について説明する。階層画像データは、原画像を複数段階に縮小して生成した異なる解像度の画像からなる画像データである。各階層の画像は一又は複数のタイル画像に分割される。たとえば最も解像度の低い画像は１つのタイル画像で構成し、最も解像度の高い原画像は、最も多い数のタイル画像で構成する。

画像表示時は、描画に使用しているタイル画像を、表示画像が所定の解像度になったときに異なる階層のタイル画像に切り替えることで、拡大表示または縮小表示を迅速に行う。以下、このような階層構造をもつ画像データを「階層データ」とよぶ。図４は階層データの構造の概念図を示す。階層データは、深さ（Ｚ軸）方向に、第０階層３０、第１階層３２、第２階層３４および第３階層３６からなる階層構造を有する。なお同図においては４階層のみ示しているが、階層数はこれに限定されない。

図４に示す階層データは４分木の階層構造を有し、各階層は１以上のタイル画像３８で構成される。すべてのタイル画像３８は同じ画素数をもつ同一サイズに形成され、たとえば２５６×２５６画素を有する。各階層の画像データは、一つの画像を異なる解像度で表現しており、最高解像度をもつ第３階層３６の原画像を複数段階に縮小して、第２階層３４、第１階層３２、第０階層３０の画像データが生成される。たとえば第Ｎ階層の解像度（Ｎは０以上の整数）は、左右（Ｘ軸）方向、上下（Ｙ軸）方向ともに、第（Ｎ＋１）階層の解像度の１／２であってよい。

情報処理装置１０において、階層データは、所定の圧縮形式で圧縮された状態でハードディスクドライブ５０などの記憶装置に格納されており、表示装置１２に表示される前に記憶装置から読み出されてデコードされる。本実施の形態の情報処理装置１０は、複数種類の圧縮形式に対応したデコード機能を有し、たとえばＳ３ＴＣ形式、ＪＰＥＧ形式、ＪＰＥＧ２０００形式の圧縮データをデコード可能とする。

階層データの階層構造は、図４に示すように、左右方向をＸ軸、上下方向をＹ軸、深さ方向をＺ軸として設定され、仮想的な３次元空間を構築する。情報処理装置１０は、入力装置２０から供給される表示領域移動要求信号から、仮想空間における表示領域の移動量を導出すると、その移動量を用いて仮想空間におけるフレームの４隅の座標（フレーム座標）を導出する。なお、仮想空間におけるフレーム座標の代わりに、情報処理装置１０は、階層を特定する情報と、その階層におけるテクスチャ座標（ＵＶ座標）を導出してもよい。以下、階層特定情報およびテクスチャ座標の組み合わせも、フレーム座標と呼ぶ。

階層データに含まれる各階層の画像データは仮想空間のＺ軸に対して離散的に存在する。そのため、画像データがない階層間の縮尺率で画像を表示する場合は、Ｚ軸方向で近傍にある画像データを用いる。例えば、表示画像の縮尺率が第２階層３４の近傍にある場合、表示画像は当該第２階層の画像データを用いて作成する。これを実現するためには、各階層の間、例えば中間にソース画像の切り替え境界を設定する。表示画像の縮尺率が当該切り替え境界を越えると、表示画像の生成に用いる画像データを切り替え、当該画像を拡大したり縮小したりして表示する。

フレーム座標は、メインメモリへの圧縮データのロード、表示画像の描画処理などに利用される。また所定の基準フレームに対する相対サイズ、相対位置を表すフレームパラメータに変換したうえで、リンク条件を満たすか否かの判定にも利用する。フレームパラメータの具体例は後述する。なお上述のとおり基礎画像のデータは階層構造でなくてもよい。この場合、フレーム座標に代えて全ての処理をフレームパラメータに基づき行ってもよい。以後、階層データであるか否かに関わらず、画像全体における表示領域のサイズおよび位置を表す情報を総称して「フレームパラメータ」と呼ぶ。

図５は制御部１００の構成とハードディスクドライブ５０に格納されるデータの詳細を示している。制御部１００は、入力装置２０からユーザが入力した要求信号を取得し、モードによって当該信号の供給先を切り替える入力情報制御部１０２、表示領域移動に伴い基礎画像中のフレームパラメータを算出する表示領域管理部１０４、表示領域がリンクを実行する条件を満たしているか否かを判定するリンク判定部１０６、基礎画像の表示処理を行う基礎画像処理部１０８、オブジェクトを処理するオブジェクト処理部１１０を含む。

図５において、さまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、ＣＰＵ（Central Processing Unit）、メモリ、その他のＬＳＩで構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。既述したように、制御部１００は１つのＰＰＵと複数のＳＰＵとを有し、ＰＰＵおよびＳＰＵがそれぞれ単独または協同して、各機能ブロックを構成できる。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

まずハードディスクドライブ５０には、基礎画像データ１２０と、それに対し設定されたリンクの情報を記載したリンク設定ファイル１２２とを対応づけて格納する。リンクによって基礎画像を切り替える場合、ハードディスクドライブ５０には、基礎画像データ１２０とリンク設定ファイル１２２の対を複数、格納する。リンク設定ファイル１２２には、対応する基礎画像におけるリンク領域やリンクを実行するときの条件、リンク先のオブジェクトや基礎画像の情報を記載する。

ハードディスクドライブ５０にはさらに、オブジェクトデータ１２４も格納する。オブジェクトデータ１２４は、動画データ、テキストデータ、オーディオデータなどオブジェクト自体のデータである。必要に応じて、それらのオブジェクトを処理するための付加データやプログラムなどを格納してもよい。またウェブページをオブジェクトとする場合はネットワークを介して取得したデータをメインメモリ６０に直接格納してもよい。

入力情報制御部１０２は、情報処理装置１０の起動／停止、表示領域の移動、オブジェクト処理などのためにユーザが入力装置２０を操作した際、それにより入力装置２０から出力された要求信号を取得する。そして表示領域移動モードにおいては表示領域管理部１０４に、オブジェクト操作モードにおいてはオブジェクト処理部１１０に、当該要求信号を供給する。

表示領域管理部１０４は入力情報制御部１０２から要求信号を受け取ると、当該信号を、表示領域移動のための情報へ変換する。例えば要求信号に含まれる、アナログスティックの傾斜角度や傾斜方向を、表示領域の移動方向、移動量、拡大率の変化量などのパラメータへ変換する。そしてその結果に基づき、後続の出力画像のフレームパラメータを逐次、決定する。決定したフレームパラメータはまず、リンク判定部１０６に通知する。

リンク判定部１０６は表示領域管理部１０４から通知されたフレームパラメータに基づき、表示領域が、表示中の基礎画像のデータに対応づけられたリンク設定ファイル１２２に記載されたリンク条件を満たすか否かを監視する。リンク条件を満たしている、と判定した場合のうち、リンク先が別の基礎画像であった場合、リンク設定ファイル１２２に記載された、当該基礎画像の識別情報や、切り替え後の表示領域を表すフレームパラメータを表示領域管理部１０４に通知する。

このとき表示領域管理部１０４は、リンク判定部１０６から通知された情報を基礎画像処理部１０８に通知するとともに、以後の表示領域移動要求に対するフレームパラメータを、リンク先の基礎画像に対して導出する。設定されたリンク条件のいずれをも満たしていない場合は、表示領域管理部１０４はリンク判定部１０６からその旨の通知を取得し、先に決定した、表示中の基礎画像におけるフレームパラメータをそのまま基礎画像処理部１０８に通知する。一方、リンク条件を満たしている、と判定した場合のうち、リンク先がオブジェクトであった場合、リンク判定部１０６は、当該オブジェクトの識別情報をオブジェクト処理部１１０に通知する。

基礎画像処理部１０８は、表示領域管理部１０４から通知されたフレームパラメータに基づき、表示領域の画像を描画する。具体的には、ハードディスクドライブ５０から、表示領域管理部１０４が指定する基礎画像データ１２０の少なくとも一部をメインメモリ６０にロードし、さらにその一部の領域のデータをデコードしてバッファメモリ７０に格納する。そしてフレームパラメータで表される表示領域のデータをバッファメモリ７０から読み出し、表示処理部４４のフレームメモリに描画する。

表示処理部４４は描画された画像を新たな表示画像として表示装置１２に順次出力する。最初に表示する基礎画像のデータや、リンクにより切り替えた基礎画像のデータを初回にロードする際は、それらに対応づけられたリンク設定ファイル１２２も同時にメインメモリ６０にロードしておくことにより、リンク判定部１０６がそれを参照できるようにする。

なお基礎画像データ１２０のサイズが大きく、一部のデータのみをメインメモリ６０に格納する態様においては、基礎画像処理部１０８は、これまでの表示領域の移動経路などに鑑み、以後に必要となるデータを予測し、所定のタイミングでメインメモリ６０にロードしていってもよい。同様に、直近の表示領域以外の領域のデータをあらかじめデコードしておき、バッファメモリ７０に格納しておいてもよい。これにより表示領域移動要求に対し応答性よく表示画像を変化させることができる。

オブジェクト処理部１１０は、リンク判定部１０６からオブジェクトの識別情報を取得すると、対応するオブジェクトデータ１２４をハードディスクドライブ５０からメインメモリ６０にロードし、その処理を開始する。なおオブジェクト処理の開始と、オブジェクト操作モードへの切り替えのタイミングは必ずしも一致していなくてよい。具体的には、オブジェクト処理の開始とともにオブジェクト操作モードへ切り替える設定と、オブジェクト処理の開始後、ユーザからの要求に従いオブジェクト操作モードへ切り替える設定とがあってよい。

前者の場合、リンク先がオブジェクトであるリンク条件が満たされたとき、リンク判定部１０６からモード切り替えの要求が入力情報制御部１０２およびオブジェクト処理部１１０へ通知される。後者の場合、ユーザからのモード切り替えの要求を取得した入力情報制御部１０２が、オブジェクト処理部１１０へその旨を通知する。オブジェクト操作モードにおいてオブジェクト処理部１１０は、入力情報制御部１０２から供給された要求信号に対応して、オブジェクト処理の動作を変化させる。このときオブジェクトの種類などに対しあらかじめ設定された入力手段の機能割り付けの情報を参照し、取得した要求信号からなすべき動作を解釈する。

いずれのモードであってもオブジェクト処理部１１０は、オブジェクトを処理した結果として表示すべき画像を生成し、基礎画像処理部１０８に出力する。このとき基礎画像処理部１０８は、基礎画像の所定の領域にオブジェクトの画像を埋め込んだ画像のうち表示領域の部分を表示処理部４４のフレームメモリに描画する。基礎画像処理部１０８はさらに、入力装置２０における入力手段と操作内容との対応を表す操作ガイドや、オブジェクト操作モードであることを表す表示を重ねて表示してもよい。

なおオブジェクトがオーディオデータであった場合は、オブジェクト処理部１１０がデコードしたデータを、表示装置１２に含まれるスピーカから音響として出力する。上記の通りオブジェクトの種類は限定されないため、オブジェクト処理部１１０は実際には動画再生、ウェブブラウザ、電子書籍表示、オーディオ再生など、複数の処理機構が含まれていても、そのうちのいずれか１つの処理機構であってもよい。

図６は情報処理装置１０によって表示装置１２に表示される画面の例を示している。まず画面１３０は基礎画像として、「携帯端末ＡＡＡーｂｂ」なる製品の説明資料の表紙となる画像全体を表示している。この基礎画像にはリンク領域１３２およびリンク領域１３４が設定されているとする。なお各リンク領域は図６においては破線の矩形で示されているが、当該矩形は実際には表示されず、当該基礎画像のデータに対応づけられたリンク設定ファイルにその情報が記述される。以下に述べるリンク領域も同様である。

一方、それらのリンク領域の存在は、それぞれの内部に表示された「製品について」、「会社情報」なる文字を内部に記載した矩形領域１３６、１３８によってユーザに認識される。リンク領域１３２とそれに対応して表示される矩形領域１３６、リンク領域１３４とそれに対応して表示される矩形領域１３８はそれぞれ一致していてもよい。

画面１３０が表示されている状態は表示領域移動モードであり、入力装置２０を介しユーザから表示領域移動操作を受け付ける。そして例えば矩形領域１３６をズームアップするように表示領域が移動し、表示領域がリンク領域１３２に内包されるなど所定のリンク条件を満たしたとき、当該リンク領域に対応して設定されたリンクを実行する。このときのリンク先が、別の基礎画像であったときの画面例が画面１４０である。ここでは、画面１３０に表示されていた説明資料の表示の画像から、「製品について」の中身を記載したページの画像へ、基礎画像を切り替えている。

このときも表示領域移動モードであり、入力装置２０を介しユーザから表示領域移動操作を受け付ける。画面１４０で表示されている基礎画像にはリンク領域１４２が設定されている。なお当該基礎画像にはそのほかにも、さらに別のページを表す基礎画像へのリンク領域などを必要に応じて設定する。リンク領域１４２内には、リンク先のオブジェクトである動画の１フレームを表す静止画１４４が表示されている。なお、リンク先として動画が設定されていることを示すアイコンを、静止画１４４に重ねて表示するなどしてもよい。

ユーザが静止画１４４をズームアップするように表示領域を移動し、表示領域がリンク領域１４２に内包されるなど所定のリンク条件を満たしたとき、リンク先として設定された動画が再生される。このときの画面例が画面１４６であり、オブジェクトである動画１４８が表示されている。静止画１４４が表示されていた領域をそのまま動画１４８の表示領域とし、基礎画像の残りの部分とともに表示することにより、表示領域移動から動画再生開始までをシームレスに表すことができる。

図６は動画再生とともにオブジェクト操作モードへ切り替える態様を示している。すなわち画面１４６はオブジェクト操作モード下での画面である。そのため画面１４６にはさらに、入力装置２０において早送り操作が可能となっていることを示すマーク「＞＞」と、再生開始からの経過時間を表す数値およびインジケータと、を含む動画再生情報欄１５０を表示している。動画再生情報欄１５０を表示することにより、現状がオブジェクト操作モードであることが明確になる。

このようなモードの切り替えにより、例えば画面１４０では表示領域のスクロール操作に利用していた入力装置２０の方向キー２１を、画面１４６では早送り操作に利用することが可能となる。このようにすることで、外観上は表示された画像内で動画が再生される、という部分的な変化でありながら、入力体系については、そのときの状況に適した状態になっている、という態様が実現できる。

例えば動画を再生している状況においては多くの場合、ユーザが当該動画に注目していると考えられるため、動画再生に対する操作を優先させることにより、最適な入力手段での容易な操作が可能となる。このとき表示領域移動操作を受け付けないようにすると、誤操作により意図せず表示領域が別の場所に移動してしまうこともなくなる。なお動画１４８の再生を開始しても、その直前からなされていた表示領域移動操作が中断されるまでは表示領域移動モードのままとする。あるいは再生開始時に一旦、入力装置２０からの要求信号を無効とし、以後の操作からオブジェクト操作モードとする。これにより、再生直後の動画がすぐさま早送りされるなど、表示領域操作の名残により意図せず動画の操作がなされてしまうのを防ぐことができる。

画面１４６において動画再生が完了したり、ユーザが×ボタンを押下するなどして動画再生を停止させたりした場合、オブジェクト処理部１１０は動画再生の処理を終了する。このとき、入力情報制御部１０２にその旨を通知することにより、情報処理装置１０はオブジェクト操作モードから抜け、表示領域移動モードへ戻る。これに伴い入力情報制御部１０２は、入力装置２０からの要求信号の供給先を表示領域管理部１０４へ切り替える。

このとき動画１４８を表示していた領域には、例えば元の静止画１４４を表示する。また、動画再生情報欄１５０を非表示とする。ただし、ユーザから表示領域移動モードへの切り替え要求がなされるまで、オブジェクト操作モードのままとしてもよい。この場合、再度再生を開始する操作を受け付け、当該操作が可能となっていることを示すマークを動画再生情報欄１５０に表示してもよい。

図７は情報処理装置１０によって表示装置１２に表示される画面の別の例を示している。この例では、オブジェクト処理の開始後、ユーザからオブジェクト操作モードへの切り替え要求がなされるまでは、表示領域移動モードのままとしている。また同図においては、リンク領域や操作方法に係る表示の変形例も示している。これらの表示は図６に示した場合においても適用できる。

まず画面１６０は、基礎画像として風景を表す画像を表示している。この基礎画像にはリンク領域１６２およびリンク領域１６４が設定されているとする。このリンク領域には、図６で示した矩形領域１３６、１３８に代え、リンク領域の存在を示すマーク１６６、１６８が表示されている。マーク１６６、１６８はコンピュータグラフィックスで描画した何らかのオブジェクトやアイコンでもよいし、説明を文字で表した吹き出しなどでもよい。いずれにしろその近傍をズームアップすることにより、リンクが実行されることをユーザが認識できる表示であればよい。

また図７の画面１６０は、表示領域移動モードであるが、入力装置２０における入力手段と操作内容との対応をユーザに示す操作ガイド１７０を表示している。操作ガイド１７０は一例として、表示中の画像内に設定されたリンク領域を直接選択するための入力手段を表している。この場合、図示するように、選択中のリンク領域１６２を他のリンク領域１６４より強調したり可視化したりする。

そして選択中のリンク領域を変更するために方向キーを、元の選択対象に戻るために×ボタンを、選択を確定させるために○ボタンを、用いることが操作ガイド１７０に示されている。リンク領域の選択を確定する入力がなされたら、当該領域をズームアップした状態へ表示領域を移動させる。具体的には、表示領域管理部１０４が、当該リンク領域のフレームパラメータをリンク設定ファイル１２２または図示しない設定ファイルから読み出し特定する。それに応じて基礎画像処理部１０８は、表示領域がリンク領域に向けて移動するように、表示画像を順次描画していく。

その結果、表示領域がリンク領域に到達すると、リンク判定部１０６によりリンク条件が満たされたと判定される。これにより、リンク領域１６２がズームアップされた状態となったうえ、リンク領域に対応して設定されたリンクが実行される。画面１７２はそのようにして表示される画面の例であり、リンク領域がズームアップされた状態で、リンク先として設定された動画１７４が画面中央付近の所定領域にオーバーレイ表示されている。

図７の例では、基礎画像のリンク領域１６２内にはマーク１６６が表示されていたため、リンクが実行されることにより、動画１７４の再生画面が元の基礎画像上に出現することになる。この段階では表示領域移動モードのままとする。すなわち画面１７２において動画の再生は開始されているが、依然、ユーザからの表示領域移動操作を受け付ける。その結果、動画再生を開始させたリンク領域１６２から表示領域がはみ出すなどした場合、リンク条件が満たされなくなったとして当該リンクの実行を停止する。これによりオブジェクト処理部１１０による動画再生処理は終了し、基礎画像のみが表示される。

一方、動画再生処理を続行しているとき、画面１７２には、オブジェクト操作モードへ移行するための入力手段を示す操作ガイド１７６を表示する。この例では、入力装置２０の○ボタンを押下することによりオブジェクト操作モードへ移行し、動画の直接操作が可能になることが示されている。ここでユーザが○ボタンを押下すると、オブジェクト操作モードへ切り替わり、画面１７８が表示される。

画面１７８は図６の画面１４６と同様であり、動画１８０と動画再生情報欄１８２を含むように構成される。モードの切り替えに関わらず、オブジェクト処理部１１０が継続して再生処理を行っているため、モード切り替え前後の動画１７４、動画１８０は連続した動画である。一方、同図の例では、モード切り替え後の動画１８０を、切り替え前の動画１７４より拡大表示している。また、背景である基礎画像の表示領域は輝度を下げるなどして、動画１８０を強調している。このような変化により、ユーザは動画１８０を認識しやすくなる。

動画再生が完了したときの基本的な動作は図６で説明したのと同様であり、これによりオブジェクト操作モードから表示領域移動モードへ切り替える。このとき例えば画面１７２のような構成として動画１７４の領域に当該動画の最終フレームなどの静止画を表示させてもよいし、マーク１６６まで戻してもよい。この段階は表示領域移動モードであるため、ユーザからの表示領域移動操作を受け付けるが、リンク領域を満たした状態にあるうちは、例えば○ボタンによって再度、動画再生を受け付けてもよい。このときオブジェクト処理部１１０が再度、動画再生処理を開始することにより、画面１７２において、再生された動画１７４と操作ガイド１７６を表示する。

次にリンク設定ファイル１２２の設定例について説明する。図８〜１０はリンク設定ファイル１２２で用いられるフレームパラメータの定義を説明するための図である。フレームパラメータは上述の通り表示対象の画像平面上における領域を表すパラメータであり、表示領域、リンク領域、およびリンク条件の設定に用いられる。

図８はフレームパラメータの基準となる領域と画像の位置関係を示している。図８において画像２５６に対する基準フレーム２６４は、画像２５６の中心と同一の中心を有し、画像２５６に外接する、縦横比が所定の値の矩形とする。ここで縦横比は所定の値でよく、例えば、表示するディスプレイあるいはディスプレイ上の表示領域の縦横比と同一とする。表示画像を拡大、縮小しても、設定する領域は常に当該比率を保持するとする。

領域の位置およびサイズは、基準フレーム２６４の横の辺、縦の辺をそれぞれ１としたときの、横方向オフセット、縦方向オフセット、および、拡大率の３つのパラメータからなるフレームパラメータで表現する。すなわち基準フレーム２６４によって画像２５６固有の座標系が定まることになる。基準フレーム２６４自身のフレームパラメータは、（横方向オフセット，縦方向オフセット，拡大率）＝（０，０，１．０）である。

図９は基準フレームを画像平面上で移動させた領域のフレームパラメータを説明するための図である。この場合、縦方向オフセットおよび横方向オフセットのパラメータに値が代入される。具体的には領域の中心２７２から画像２５６の中心、すなわち基準フレームの中心２７０への距離の横方向成分offset_x、縦方向成分offset_yがそれぞれ横方向オフセット、縦方向オフセットの値となる。したがって領域２６２は（offset_x, offset_y，１．０）と表現される。

図１０は基準フレームを画像平面上で移動させずに拡大率を変化させた領域のフレームパラメータを説明するための図である。この場合、基準フレームに対する領域２６６の面積比率が拡大率のパラメータに代入される。図１０の領域２６６が図８の基準フレーム２６４の０．５倍であれば、領域２６６は（０，０，０．５）と表現される。

図１１はフレームパラメータを用いて記述されたリンク設定ファイルのデータ構造例を示す。リンク設定ファイル１２２は、一行が一つのリンクに対応し、リンク元画像フレームフィールド３０２、有効スケール範囲フィールド３０４、リンク先ファイルフィールド３０６、およびリンク先画像フレームフィールド３０８、の４種類のフィールドによって構成される。リンク元画像フレームフィールド３０２には、基礎画像において設定するリンク領域を上述のフレームパラメータで指定する。

有効スケール範囲フィールド３０４は、リンク元画像フレームフィールド３０２における拡大率を始点としてリンクが有効となる拡大率の幅を指定する。図１１の１行目では、リンク元画像フレームフィールド３０２に示されたリンク領域の拡大率が「２．０」であり、有効スケール範囲フィールド３０４の値が「９８．０」であるため、フレームの拡大率が２．０〜１００．０までのフレームであればリンク条件を満たすとし、リンクを実行する、という設定となる。この設定により、画面をズームアウトしてリンク領域より表示領域を大きくしたとき、すなわち表示領域がリンク領域を包括したとき、リンクが実行されることになる。

一方、図１１の２行目では、有効スケール範囲フィールド３０４を「−１．０」など負の値とすることにより、画面をズームインして表示領域がリンク領域に包括されたとき、リンク条件が満たされたと判定され、リンクが実行される。３行目、４行目も同様である。リンク先ファイルフィールド３０６は、リンク先のデータに係る情報を設定する。すなわちリンク先の基礎画像のデータや、オブジェクトたる動画像データ、音声データなどの識別情報を設定する。

１行目、２行目においては、「ｐａｒｅｎｔ＿０．ｊｐｇ」、「ｃｈｉｌｄ＿０．ｊｐｇ」なる名前の基礎画像のデータが設定されている。これらのデータはその拡張子からＪＰＥＧ形式で圧縮された静止画データであることがわかるため、オブジェクト処理部１１０による処理は開始されない。その代わりリンク判定部１０６が、当該データ名を表示領域管理部１０４に通知することにより、基礎画像処理部１０８による処理対象の基礎画像が切り替わる。

また３行目においては、リンク先のデータが「ＡＡＡ．ｍｐ４」と設定されている。その拡張子からＭＰＥＧ−４形式で圧縮された動画データであることがわかるため、リンク判定部１０６はオブジェクト処理部１１０にその識別子を通知する。それに従いオブジェクト処理部１１０が「ＡＡＡ．ｍｐ４」なるファイル名の動画データをロードし、動画再生処理を開始する。また４行目においては、リンク先が「ｈｔｔｐ：／／ＢＢＢ．ｃｏｍ」と設定されている。つまりリンク先がＵＲＬであることがそのフォーマットからわかるため、リンク判定部１０６からの通知によりオブジェクト処理部１１０が当該ＵＲＬへインターネットなどを介して接続し、そのウェブページを取得したうえブラウザ画面に表示する。

リンク先画像フレームフィールド３０８は、画像の切り替え後の表示領域、すなわちリンク先ファイルフィールド３０６でファイル指定された画像内の表示領域を、当該画像に対するフレームパラメータで指定する。リンク設定ファイル１２２にはそのほかのパラメータを必要に応じて設定してよい。

例えば、図６で示したようにオブジェクト処理へのリンク実行とともにオブジェクト操作モードへ切り替えるか、図７で示したようにオブジェクト処理へのリンク実行後、オブジェクト操作モードへ切り替える所定の入力がなされたときに限りオブジェクト操作モードへ切り替えるか、の区別を設定してもよい。またリンク実行後、オブジェクトの画像を表示させる位置をスクリーン座標で設定してもよい。あるいはオブジェクト操作モードにおける入力装置２０の操作手段への機能割り付けをオブジェクトデータごとに設定してもよい。ただしこれらの設定はリンク設定ファイル１２２に記載せず、情報処理装置１０が別のデータとして保持し、全ての基礎画像、各オブジェクトの種類に対し共通としてもよい。なお入力手段に対する機能割り付けの情報はオブジェクトデータ自体に付加してもよい。

次にこれまで述べた構成による情報処理装置１０の動作を説明する。図１２は情報処理装置１０が行う基礎画像表示およびオブジェクト処理に係る処理手順を示すフローチャートである。まずユーザが入力装置２０を介して情報処理装置１０に対し画像表示の開始を要求する入力を行う（Ｓ１０）。すると入力情報制御部１０２が当該要求信号を表示領域管理部１０４に供給することにより、基礎画像処理部１０８によって基礎画像の表示が開始される（Ｓ１２）。

この段階は表示領域移動モードである。したがってこの状態でユーザが行う入力装置２０への入力は、表示領域移動要求として表示領域管理部１０４に供給され、結果として表示領域移動の受け付け、実行がなされる（Ｓ１４）。このときリンク判定部１０６は、表示領域がリンク設定ファイル１２２に設定されたリンク条件のいずれかを満たすか否かを監視する（Ｓ１６）。リンク条件を満たさないときはそのまま監視を続ける（Ｓ１６のＮ）。

リンク条件を満たし、そのリンク先がオブジェクトでなく別の基礎画像であった場合（Ｓ１６のＹ、Ｓ１８のＮ）、リンク判定部１０６はその基礎画像の識別情報と最初の表示領域に係る情報を表示領域管理部１０４に通知することにより、表示画像がリンク先の基礎画像へ切り替わる（Ｓ２０）。リンク条件を満たし、そのリンク先がオブジェクトであった場合（Ｓ１６のＹ、Ｓ１８のＹ）、リンク判定部１０６はそのオブジェクトの識別情報をオブジェクト処理部１１０に通知することにより、オブジェクト処理が開始される（Ｓ２２）。

次にリンク判定部１０６は、オブジェクト操作モードへの切り替えを行うか否かを決定する（Ｓ２４）。具体的には上述のとおり、オブジェクト処理開始と同時に自動でオブジェクト操作モードへ切り替える態様と、ユーザが切り替えを要求したときのみオブジェクト操作モードへ切り替える態様とが実現できる。前者は図６で、後者は図７で例示した画面の遷移となる。どちらの態様とするかはリンク判定部１０６内部の設定情報としてもよいし、リンク設定ファイル１２２などに、基礎画像ごと、あるいはリンクごとに設定可能としてもよい。ユーザが設定可能としてもよい。

ユーザからの切り替え要求を待つ場合、オブジェクト処理部１１０はＳ２２においてオブジェクトの処理を開始した時点で、図７の画面１７２において表示したような操作ガイド１７６を表示する。この状態、すなわちオブジェクト処理を開始してからオブジェクト操作モードへ切り替わるまでの間（Ｓ２２、Ｓ２４のＮ）は、依然、表示領域移動モードであるため、ユーザが行う入力装置２０への入力は、表示領域移動操作として表示領域管理部１０４に供給される。

したがってリンク判定部１０６は、当該オブジェクト処理を開始するきっかけとなったリンク条件から表示領域が外れるか否かを監視する（Ｓ２６）。例えばオブジェクトを表示している領域からズームアウトしたり、当該領域外へ表示領域がスクロールされたりした場合に、リンク条件から外れることになる。この場合（Ｓ２６のＹ）、リンク判定部１０６はオブジェクト処理部１１０にその旨を通知することにより、オブジェクトの処理を終了させる（Ｓ３０）。リンク条件から外れず、オブジェクト処理が完了していない間は、そのまま監視を続ける（Ｓ２６のＮ、Ｓ３２のＮ、Ｓ２４のＮ）。

オブジェクト処理開始と同時にオブジェクト操作モードへ切り替えた場合、あるいはユーザによってオブジェクト操作モードへの切り替え要求がなされた場合（Ｓ２４のＹ）、入力情報制御部１０２が入力装置２０からの要求信号をオブジェクト処理部１１０へ供給することにより、オブジェクトの直接操作が受け付けられる（Ｓ２８）。オブジェクト処理開始と同時にオブジェクト操作モードへ切り替えた場合、リンク判定部１０６が、リンク条件を満たすと判定した時点で入力情報制御部１０２へその旨を通知することにより、要求信号の供給先を切り替えさせる。ユーザによってモード切り替え要求がなされた場合は、入力情報制御部１０２自らが、ユーザからのモード切り替え要求を認識し、以後の要求信号の供給先を切り替える。

Ｓ２６においてリンク条件から外れたか、動画が最後まで再生されるなどした場合、オブジェクト処理が終了し（Ｓ３０）、元の基礎画像のみが表示された状態となる。オブジェクト操作モードへの切り替えがなされず（Ｓ２４のＮ）、リンク条件から外れることなくオブジェクト処理が完了した場合も同様である（Ｓ３２のＹ）。このいずれにおいても、基礎画像に対する表示領域移動が受け付けられる（Ｓ１４）。Ｓ２４においてオブジェクト操作モードへ切り替えた場合は、入力情報制御部１０２が入力装置２０からの要求信号の供給先を表示領域管理部１０４へ戻すことにより、オブジェクト操作モードから表示領域移動モードへ切り替えられる。

以上、述べた本実施の形態によれば、表示対象の画像にリンク領域を設定しておき、ユーザ操作により移動した表示領域とリンク領域との関係が所定の条件を満たしたとき、別の画像へ表示を切り替えるか、動画などのオブジェクト処理を開始する。オブジェクト処理を開始する場合においても画像の連続性を保ちつつ、入力体系のみをオブジェクトを直接操作できるオブジェクト操作モードへ切り替える。これにより、外観上はシームレスでありながら、同じ入力装置を状況に適した状態へ変化させることができ、常に操作性に優れた情報処理装置を実現できる。

また、オブジェクト操作モードとしたときは、表示領域移動操作を受け付けなくすることにより、モード間で同じ入力手段を共有できる。このことにより入力装置を単純化でき、操作が容易になるほか、簡素な構成の入力装置であっても多様な操作が可能となる。また本実施の形態のように静止画像を表示している状態に加えて動画などのオブジェクトを表示させる態様であっても、ユーザが入力装置を誤って操作してしまったことによりに、意図せず別の領域へ移動してしまったり、オブジェクト処理が終了してしまったりすることがなくなる。

以上、本発明を実施の形態をもとに説明した。上記実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

例えば基礎画像を図４で示したような階層構造とする場合、オブジェクト操作モードへの切り替え時に表示されていた基礎画像の階層によって、入力手段の機能割り付けを変化させてもよい。当該割り付け情報は、基礎画像の付加データとして各階層のデータに対応づけておいてもよいし、リンク設定ファイルにおいて各階層に対応する拡大率の範囲ごとに設定してもよい。いずれの場合もオブジェクト操作モードにおいてオブジェクト処理部１１０が参照することにより、要求信号からなすべき動作への変換を階層ごとに制御する。これにより、例えば拡大率の高い状態で現れた動画については早送り操作を受け付けない、といった、拡大率に応じた細かい割り付け制御が可能になる。

１ 情報処理システム、 １０ 情報処理装置、 １２ 表示装置、 ２０ 入力装置、 ３０ 第０階層、 ３２ 第１階層、 ３４ 第２階層、 ３６ 第３階層、 ３８ タイル画像、 ４４ 表示処理部、 ５０ ハードディスクドライブ、 ６０ メインメモリ、 ７０ バッファメモリ、 １００ 制御部、 １０２ 入力情報制御部、 １０４ 表示領域管理部、 １０６ リンク判定部、 １０８ 基礎画像処理部、 １１０ オブジェクト処理部、 １２０ 基礎画像データ、 １２２ リンク設定ファイル、 １２４ オブジェクトデータ。

Claims (11)

1. ユーザが入力装置を介して入力した、表示中の基礎画像における表示領域移動の要求信号を取得する入力情報制御部と、
   前記表示領域移動の要求信号を前記入力情報制御部から取得し、表示領域を逐次決定する表示領域管理部と、
   前記表示領域管理部が決定した表示領域が、前記基礎画像内に設定されたリンク領域との相対関係に対し設定したリンク条件を満たすか否かを判定するリンク判定部と、
   表示領域が前記リンク条件を満たしている期間、当該リンク領域に対応づけられた、動画またはオーディオを再生するオブジェクト処理部と、
   前記基礎画像のうち前記表示領域管理部が決定した表示領域を描画し、前記オブジェクト処理部が前記動画またはオーディオを再生している期間においては、当該再生結果とともに出力する表示画像処理部と、
   を備え、
   前記入力情報制御部は、前記オブジェクト処理部が前記動画またはオーディオを再生している期間において、ユーザが入力装置を介して入力した要求信号の供給先を、前記表示領域管理部から前記オブジェクト処理部へ切り替えることにより、表示領域移動操作を受け付けずに前記動画またはオーディオの再生動作に対する操作を受け付ける操作モードを設け、
   前記オブジェクト処理部は、前記操作モードにおいて、前記入力情報制御部から取得した要求信号に応じて再生動作を変化させることを特徴とする情報処理装置。
2. 前記入力情報制御部は、前記オブジェクト処理部が前記動画またはオーディオを再生している期間において、ユーザが前記操作モードを開始する旨の入力を行った時点で、前記要求信号の供給先を、前記表示領域管理部から前記オブジェクト処理部へ切り替えることを特徴とする請求項１に記載の情報処理装置。
3. 前記入力情報制御部は、前記操作モードの開始を、前記オブジェクト処理部が前記動画またはオーディオの再生を開始した時点とするか、当該再生が開始された後にユーザが前記操作モードを開始する旨の入力を行った時点とするかを、前記基礎画像ごと、または前記リンク領域ごとになされた設定に応じて決定することを特徴とする請求項１に記載の情報処理装置。
4. 前記基礎画像は前記リンク領域内に、前記動画に関連する静止画を表示した画像であり、
   前記表示画像処理部は、前記オブジェクト処理部が再生中の動画を、前記基礎画像内の前記静止画の領域に埋め込み、出力することを特徴とする請求項１から３のいずれかに記載の情報処理装置。
5. 前記入力情報制御部は、ユーザが前記入力装置のうち一つの入力手段に対して行った操作によって送信された要求信号の供給先を切り替えることにより、当該一つの入力手段を、前記表示領域移動操作および、前記再生動作に対する操作の双方に利用可能とすることを特徴とする請求項１から４のいずれかに記載の情報処理装置。
6. 前記入力情報制御部は、前記オブジェクト処理部における前記動画またはオーディオの再生が終了した時点で、入力された前記要求信号の供給先を、前記オブジェクト処理部から前記表示領域管理部へ切り替えることを特徴とする請求項１から５のいずれかに記載の情報処理装置。
7. 前記入力情報制御部は、前記オブジェクト処理部が前記動画またはオーディオの再生を開始した時点で、前記要求信号の供給先を、前記表示領域管理部から前記オブジェクト処理部へ切り替えることを特徴とする請求項１に記載の情報処理装置。
8. 前記表示画像処理部は、前記操作モードにおいて、前記動画またはオーディオの再生動作に対する操作を受け付けている旨を表す画像を、前記表示領域に重ねて描画することを特徴とする請求項１から７のいずれかに記載の情報処理装置。
9. ユーザが入力装置を介して入力した、表示中の基礎画像における表示領域移動の要求信号を取得するステップと、
   取得した前記要求信号に基づき、表示領域を逐次決定するステップと、
   決定した表示領域が、前記基礎画像内に設定されたリンク領域との相対関係に対し設定したリンク条件を満たすか否かを判定するステップと、
   表示領域が前記リンク条件を満たしている期間、当該リンク領域に対応づけられた、動画またはオーディオを再生するステップと、
   前記動画またはオーディオが再生されている期間において、ユーザが入力装置を介して入力した要求信号を、前記動画またはオーディオの再生動作に対する操作のための信号とすることにより、表示領域移動操作を受け付けずに前記再生動作に対する操作を受け付ける操作モードを開始するステップと、
   前記操作モードにおいて、前記要求信号に応じて前記動画またはオーディオの再生動作を変化させるステップと、
   前記基礎画像のうち前記表示領域を描画し、前記動画またはオーディオが再生されている期間においては、当該再生結果とともに出力するステップと、
   を含むことを特徴とする情報処理装置による情報処理方法。
10. ユーザが入力装置を介して入力した、表示中の基礎画像における表示領域移動の要求信号を取得する機能と、
    取得した前記要求信号に基づき、表示領域を逐次決定する機能と、
    決定した表示領域が、前記基礎画像内に設定されたリンク領域との相対関係に対し設定したリンク条件を満たすか否かを判定する機能と、
    表示領域が前記リンク条件を満たしている期間、当該リンク領域に対応づけられた、動画またはオーディオを再生する機能と、
    前記基礎画像のうち前記表示領域を描画し、前記動画またはオーディオが再生されている期間においては、当該再生結果とともに出力する機能と、
    をコンピュータに実現させることを特徴とするコンピュータプログラムであって、
    前記要求信号を取得する機能は、前記動画またはオーディオが再生されている期間において、ユーザが入力装置を介して入力した要求信号の供給先を、前記表示領域を逐次決定する機能から前記再生する機能へ切り替えることにより、表示領域移動操作を受け付けずに前記動画またはオーディオの再生動作に対する操作を受け付ける操作モードを設け、
    前記再生する機能は、前記操作モードにおいて、前記要求信号に応じて再生動作を変化させることを特徴とするコンピュータプログラム。
11. ユーザが入力装置を介して入力した、表示中の基礎画像における表示領域移動の要求信号を取得する機能と、
    取得した前記要求信号に基づき、表示領域を逐次決定する機能と、
    決定した表示領域が、前記基礎画像内に設定されたリンク領域との相対関係に対し設定したリンク条件を満たすか否かを判定する機能と、
    表示領域が前記リンク条件を満たしている期間、当該リンク領域に対応づけられた、動画またはオーディオを再生する機能と、
    前記基礎画像のうち前記表示領域を描画し、前記動画またはオーディオが再生されている期間においては、当該再生結果とともに出力する機能と、
    をコンピュータに実現させるコンピュータプログラムであって、
    前記要求信号を取得する機能は、前記動画またはオーディオが再生されている期間において、ユーザが入力装置を介して入力した要求信号の供給先を、前記表示領域を逐次決定する機能から前記再生する機能へ切り替えることにより、表示領域移動操作を受け付けずに前記動画またはオーディオの再生動作に対する操作を受け付ける操作モードを設け、
    前記再生する機能は、前記操作モードにおいて、前記要求信号に応じて再生動作を変化させるコンピュータプログラムを記録したことを特徴とするコンピュータにて読み取り可能な記録媒体。

Images