JP4931240B2

JP4931240B2 - 画像の認識を支援するシステム

Info

Publication number: JP4931240B2
Application number: JP2007237839A
Authority: JP
Inventors: 周一清水; 聰古関
Original assignee: International Business Machines Corp
Current assignee: International Business Machines Corp
Priority date: 2007-09-13
Filing date: 2007-09-13
Publication date: 2012-05-16
Anticipated expiration: 2027-09-13
Also published as: US20090109218A1; JP2009070139A

Description

本発明は、使用者による画像の認識を支援するシステムに関する。特に、本発明は、使用者の聴覚または触覚に作用するデバイスにより、画像の認識を支援するシステムに関する。

３次元画像を利用して仮想世界を体験するシステムが用いられている。仮想世界は、コンピュータを利用して擬似的に作り出される世界である。したがって、現実世界では実現が困難であったサービスを擬似的に作り出して提供する等、ビジネス的利用への期待が高まっている。例えば、遠隔ミーティングへの擬似参加、または、精神分裂病患者の視覚を疑似体験するための教育などへの利用が想定される。

空間内のオブジェクトを所定の視点から見た画像を生成する技術については、特許文献１−２を参照されたい。また、後述する触覚に作用する装置の一例については特許文献３を参照されたい。
特開平１１−２５９６８７号公報特開平１１−３０６３８３号公報特表２００５−５０６６１３号公報

このようなシステムにおいて、仮想世界を示すオブジェクトは立体形状を投影した２次元画像によって表される。使用者は、その２次元画像を見ることで、あたかも立体的形状を見ているような錯覚を感じ、オブジェクトの立体形状を認識する。従って、仮想世界を体験するためには、２次元画像を視覚により知覚し、なおかつ立体形状を感じ取れることが前提となる。このため、視覚障害者などの利用者が、視覚を用いることなくこのシステムを利用することは大変に困難であった。

そこで本発明は、上記の課題を解決することのできるシステム、方法およびプログラムを提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。

上記課題を解決するために、本発明の第１の形態においては、画像に描画されたオブジェクトの認識を支援するシステムであって、入力画像を分割した複数の領域のそれぞれに対応付けて、当該領域に描画されたオブジェクトの特徴量を記憶している記憶装置と、使用者の指示に基づいて、前記入力画像のうち使用者が認識する範囲を選択する選択部と、選択された前記範囲に含まれるそれぞれの領域に対応する前記特徴量を、前記記憶装置から読み出して、読み出したそれぞれの前記特徴量に基づき指標値を算出する算出部と、算出した前記指標値に基づき、使用者の聴覚または触覚に作用するデバイスを制御する制御部とを備え、前記入力画像は、立体形状をレンダリングしたオブジェクトを含み、前記記憶装置は、前記入力画像のピクセル毎に、前記立体形状のうち当該ピクセルに対応する部分の、レンダリングにおける視点からの距離を前記特徴量として記憶しており、前記算出部は、選択された前記範囲に含まれるそれぞれのピクセルに対応する前記距離を、前記記憶装置から読み出して、読み出したそれぞれの前記距離の合計値に基づいて前記指標値を算出し、前記制御部は、前記デバイスによる作用の強度を、当該指標値によって示される当該距離の合計値がより小さい場合に、当該指標値によって示される当該距離の合計値がより大きい場合と比較して、より強くする、システムを提供する。また、当該システムにより画像の認識を支援する方法およびプログラムを提供する。
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションもまた、発明となりうる。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではなく、また実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、本実施形態に係るコンピュータ・システム１０の全体構成を示す。コンピュータ・システム１０は、クライアント・コンピュータ１００と、サーバ・コンピュータ２００とを備える。サーバ・コンピュータ２００は、主要なハードウェアとして、例えばハードディスクドライブなどの記憶装置２０４と、ネットワークインターフェイスカードなどの通信インターフェイス２０６とを有する。そして、サーバ・コンピュータ２００は、記憶装置２０４に記憶されたプログラムを実行することで、仮想世界サーバ２２として機能する。記憶装置２０４は、仮想世界に存在するオブジェクトなどの立体的形状を示すデータ（例えば３Ｄ形状モデルと呼ばれるデータ）を記憶している。仮想世界サーバ２２は、このようなデータを含む各種の情報を、クライアント・コンピュータ１００から受けた要求に応じてクライアント・コンピュータ１００に対し送信する。

クライアント・コンピュータ１００は、主要なハードウェアとして、例えばハードディスクドライブなどの記憶装置１０４と、ネットワークインターフェイスカードなどの通信インターフェイス１０６と、例えばスピーカーなどの入出力インターフェイス１０８を備える。そして、クライアント・コンピュータ１００は、記憶装置１０４に記憶されたプログラムを実行することで、仮想世界ブラウザ１２、支援システム１５およびレンダリング・エンジン１８として機能する。

仮想世界ブラウザ１２は、例えば、インターネット４００を介して接続されたサーバ・コンピュータ２００から立体形状を示すデータを取得する。このデータの取得は、例えば通信インターフェイス１０６などのハードウェア、オペレーティング・システム、および、デバイスドライバの協働により実現される。レンダリング・エンジン１８は、取得したそのデータが示す立体形状をレンダリングすることにより２次元画像を生成し、仮想世界ブラウザ１２に提供する。仮想世界ブラウザ１２は、提供されたその画像を使用者に表示する。その画像が仮想世界を示す場合には、レンダリングされた画像はアバター（仮想世界における利用者の分身）の視界を表す。

即ち例えば、レンダリング・エンジン１８は、アバターの位置および向きとして入力されたデータに基づいて、レンダリングにおける視点座標および視線方向を決定して、サーバ・コンピュータ２００から取得した立体形状を平面にレンダリングする。この視点座標および視線方向は、キーボードまたはポインティングデバイスといった装置の他、使用者に装着されたプローブ装置から入力されてよい。プローブ装置に搭載されたＧＰＳ装置は、使用者の現実の位置情報をレンダリング・エンジン１８に対し出力する。レンダリング・エンジン１８は、その位置情報に基づき視点座標を算出して、レンダリングを行う。これにより、あたかも仮想世界の中を移動しているように使用者に感じさせることができる。

支援システム１５は、このようにして生成された画像について、その画像に描画されたオブジェクトの認識を支援する。例えば、支援システム１５は、この画像のうち使用者により選択された範囲の画像に基づき、視覚以外の感覚に作用する入出力インターフェイス１０８を制御する。この結果、使用者は、画像に描画されたオブジェクトの位置、大きさ、色彩、奥行き、各種属性、または、これらの組合せを視覚以外の感覚により知覚できる。

図２Ａは、本実施形態に係る仮想世界ブラウザ１２による画面の表示例を示す。図２Ｂは、本実施形態に係る仮想世界ブラウザ１２に表示される画像をレンダリングする処理の概念図である。この表示例において、画像には、円錐、四角柱、および、円柱の３つのオブジェクトが描画されている。これらのオブジェクトのそれぞれは、立体形状をレンダリングした２次元画像として描画されている。この描画には、立体形状の奥行きが反映されている。例えば、図２Ｂに示すように、仮想的な３次元空間において、四角柱は円錐よりもレンダリングにおける視点から離れている。従って、図２Ａにおいて、四角柱は円錐の影に隠れるように描画される。

このため、使用者はこれらの２次元画像を視覚により認識することで奥行きを感じ、あたかも立体形状を見ているかのように錯覚する。これにより使用者は例えば仮想世界などを疑似体験できる。
なお、図２Ａでは説明の明確化のため、各オブジェクトを線図により表し、かつ、説明の補助のため、陰に隠れて見えない線を点線で示した。実際には、この画像には、光線によりもたらされる艶や影が各オブジェクトの表面に描画されてもよい。また、そのような艶や影による色彩のグラデーションが各オブジェクトの表面に施されてよい。更には、例えばテクスチャ・マッピングによりオブジェクトの表面には所定の画像が貼付されてもよい。

図３は、本実施形態に係る記憶装置１０４が格納するデータの構成を示す。記憶装置１０４は、入力画像３００ＡおよびＺバッファ画像３００Ｂを記憶している。入力画像３００Ａは、サーバ・コンピュータ２００から入力してレンダリング・エンジン１８のレンダリングにより生成された画像を示し、その実体は、色彩を示すピクセル値をピクセルの配列順に配列したデータである。

Ｚバッファ画像３００Ｂは、入力画像３００Ａに含まれるそれぞれのピクセルに対応してその距離成分を記憶したデータである。あるピクセルについての距離成分とは、入力画像３００Ａに描画されたオブジェクトのうち当該ピクセルに対応する部分の、レンダリングにおける視点からの距離を示す。なお、図３において入力画像３００ＡおよびＺバッファ画像３００Ｂは別々のファイルに格納するが、これに代えてこれらは同一のファイル内に区別可能に格納されてもよい。

図４は、仮想世界ブラウザ１２に表示される画像のうち、入力画像３００ＡおよびＺバッファ画像３００Ｂの説明のために使用する部分を示す。座標（０，０）、座標（４，０）、座標（０，４）および座標（４，４）をそれぞれ頂点とする矩形の第１部分を、図５および図６の説明に使用する。

また、座標（１００，０）、座標（１０４，０）、座標（０，１５０）および座標（０，１５４）をそれぞれ頂点とする矩形の第２部分を、図５および図６の説明に使用する。さらに、座標（２５０，０）、座標（２５４，０）、座標（０，２５０）および座標（０，２５４）をそれぞれ頂点とする矩形の第３部分を、図５および図６の説明に使用する。

図５は、本実施形態に係る入力画像３００Ａのデータ構造の一例を示す。入力画像３００Ａは、色彩を示すピクセル値をピクセルの配列順に配列したデータを示す。例えば、上記第１部分の何れのピクセルについても、入力画像３００Ａは、ピクセル値として数値０を含んでいる。この数値０は、例えば、色彩のうち赤（Ｒ）、緑（Ｇ）および青（Ｂ）の何れの要素も含まれておらず、即ち色彩が黒であることを示す。実際、図４を参照すれば、この部分には如何なるオブジェクトも描画されていない。

他の例として、上記第２部分に含まれる各ピクセルに対応して、入力画像３００Ａは、数値１６０から数値２００程度までの数値を含んでいる。これらの数値は、色彩のある要素を０から２５５までの２５６段階で評価した場合における、その要素の強さを示す。従って、この図５の例では、これらの数値はそれぞれ微妙に異なる色彩を示す。図４を参照すれば、この部分にはレンダリングされた四角柱が描画されている。そしてその表面は、光源とその面との関係に基づきグラデーションされてもよく、これらの数値はそのグラデーションの一部を示す。

他の例として、上記第３部分に含まれる各ピクセルに対応して、入力画像３００Ａは、数値６５から数値１０５程度までの数値を含んでいる。これらの数値は、それぞれ微妙に異なる色彩を示す。そして、その色彩は上記第２部分とは異なっている。図４を参照すれば、この部分にはレンダリングされた円錐が描画されている。そしてその表面は、光源とその面との関係に基づきグラデーションされてもよく、これらの数値はそのグラデーションの一部を示す。

図６は、本実施形態に係るＺバッファ画像３００Ｂのデータ構造の一例を示す。Ｚバッファ画像３００Ｂは、それぞれのピクセルの距離成分をピクセルの配列順に配列したデータである。あるピクセルについての距離成分とは、本発明に係る特徴量の一例であり、上述のように、例えば、入力画像３００Ａに描画されたオブジェクトのうち当該ピクセルに対応する部分の、レンダリングにおける視点からの距離を示す。図６の例において、距離成分の数値が大きいほど距離が長いことを示す。なお、Ｚバッファはレンダリング中に隠面処理を実行する過程で副作用として生成されるので、本実施形態のために新たに作成する必要は無い。

例えば、上記第１部分の何れのピクセルについても、Ｚバッファ画像３００Ｂは、距離成分として数値−１を含んでいる。この数値−１は、例えば、無限遠という特別の距離を示し、他の如何なる数値よりも大きい数値を示す。実際、図４を参照すれば、この第１部分は何れのオブジェクトも描画されていない背景部分を示す。

他の例として、上記第２部分に含まれる各ピクセルに対応して、Ｚバッファ画像３００Ｂは、数値１５０程度の数値の数値を含んでいる。これらの数値は、それぞれ僅かに異なる距離を示す。図４を参照すれば、この部分にはレンダリングされた四角柱が描画されている。そしてその部分における四角柱の表面は、右方向に向かうにつれて手前側に傾いている。従って、第２部分に対応する各ピクセルの距離成分も、Ｘ座標の座標値が大きくなるにつれて小さくなっており、Ｙ座標の座標値の変化に対してはあまり変化しない。

他の例として、上記第３部分に含まれる各ピクセルに対応して、Ｚバッファ画像３００Ｂは、数値３０から数値４０程度の数値を含んでいる。これらの数値は、それぞれ僅かに異なる距離を示す。図４を参照すれば、この部分にはレンダリングされた円錐が描画されている。そしてその部分における円錐の表面は、右方向お呼び下方向に向かうにつれて手前側に傾いている。従って、第３部分に対応する各ピクセルの距離成分も、Ｘ座標の座標値が大きくなるにつれて、また、Ｙ座標の座標値が大きくなるにつれて小さくなっている。

以上、図５および図６には、本発明に係る特徴量の一例として、ピクセルごとのピクセル値および距離成分を示した。これに代えて、特徴量は、予め定められた数のピクセルを含む領域ごとに管理されて記憶されていてもよい。例えば、Ｚバッファ画像３００Ｂは、２×２ピクセルの領域ごとに、距離成分を記憶したデータであってもよいし、４×４ピクセルの領域ごとに距離成分を記憶したデータであってもよい。このように、特徴量は、入力画像３００Ａを分割した複数の領域のそれぞれに対応付けて記憶されていれば、その詳細は問わない。

さらに他の例として、特徴量は、距離成分およびピクセル値に限定されない。例えば特徴量は、オブジェクトの属性値を示してもよい。例えば、仮想世界のシナリオにおいて、各オブジェクトにはそのオブジェクトの持ち主または管理者を示す属性が対応付けられている場合がある。記憶装置１０４は、入力画像３００Ａを分割した複数の領域のそれぞれに対応付けて、その領域に描画されたオブジェクトについての、このような属性を記憶してもよい。但し以降の説明においては、記憶装置１０４が入力画像３００ＡおよびＺバッファ画像３００Ｂを記憶するものとする。

図７は、本実施形態に係る支援システム１５および入出力インターフェイス１０８の機能構成を示す。支援システム１５は、選択部７１０と、算出部７２０と、制御部７３０とを有する。また、入出力インターフェイス１０８は、視線入力装置７０５Ａと、視野入力装置７０５Ｂと、音出力デバイス７４０とを有する。選択部７１０は、使用者の指示に基づいて、入力画像３００Ａのうち使用者が認識する範囲を選択する。

具体的には、選択部７１０は、視線入力装置７０５Ａを用いて、使用者の仮想的な視線方向の入力を受け付ける。仮想的な視線方向とは、例えば、入力画像３００Ａの表示領域内のある点の座標である。そして、選択部７１０は、視野入力装置７０５Ｂを用いて、使用者の仮想的な視野の入力を受け付ける。仮想的な視野とは、例えば、受け付けたその座標を基準とした、認識する範囲の大きさである。そして、選択部７１０は、受け付けたその座標を基準とした、受け付けたその大きさの範囲を選択する。

一例として、選択部７１０は、視線入力装置７０５Ａを用いて、円状の範囲の中心座標の入力を受け付ける。また、選択部７１０は、視野入力装置７０５Ｂを用いて、その円状の範囲の半径または直径の入力を受け付ける。そして、選択部７１０は、受け付けたその座標を中心とした、受け付けたその半径または直径を有する円形の範囲を、使用者が認識する範囲として選択する。

他の例として、選択部７１０は、視線入力装置７０５Ａを用いて、矩形状の範囲についてある頂点の座標の入力を受け付ける。また、選択部７１０は、視野入力装置７０５Ｂを用いて、その矩形状の範囲の一辺の長さの入力を受け付ける。そして、選択部７１０は、受け付けたその座標を１つの頂点とする、受け付けたその長さを一辺の長さとする正方形の範囲を、使用者が認識する範囲として選択する。

視線入力装置７０５Ａは、例えば、タッチパネル、マウスまたはトラックボールなどの、ポインティングデバイスにより実現される。但し、視線入力装置７０５Ａは、平面上の座標値の入力を受け付け可能な、２自由度のデバイスであれば、これらに限定されない。視野入力装置７０５Ｂは、例えば、スライダーまたはホイールなどのデバイスにより実現される。但し、視野入力装置７０５Ｂは、範囲の大きさを示す数値の入力を受け付け可能な、１自由度のデバイスであれば、これらに限定されない。この１自由度のデバイスによって、使用者は、あたかもカメラのフォーカス範囲を変更するかのように、範囲の大きさを変更できる。

一般に、範囲の大きさを立体角（１自由度）Ωで調整可能とすると、方向ベクトルｒと面積ベクトルＳとの関係は以下の式（１）により表される。

算出部７２０は、選択されたこの範囲に含まれるそれぞれの領域（例えばピクセル）に対応する特徴量を、記憶装置１０４から読み出す。そして、算出部７２０は、読み出したそれぞれの特徴量に基づき指標値を算出する。例えば、算出部７２０は、記憶装置１０４のＺバッファ画像３００Ｂから、それぞれのピクセルに対応する距離成分を読み出して、読み出したそれぞれの距離成分の合計または平均に基づいて指標値を算出してよい。

制御部７３０は、算出した指標値に基づき、使用者の聴覚に作用する音出力デバイス７４０を制御する。例えば、制御部７３０は、音出力デバイス７４０の音の大きさを、当該指標値によって示される当該距離の平均がより小さい場合に、当該指標値によって示される当該距離の平均がより大きい場合と比較して、より大きくする。

但し、視野入力装置７０５Ｂにより入力される範囲の大きさが固定的な場合には、制御部７３０は、距離の合計に基づき音出力デバイス７４０を制御すれば充分である。例えば、制御部７３０は、音出力デバイス７４０の音の大きさを、当該指標値によって示される当該距離の平均がより小さい場合に、当該指標値によって示される当該距離の平均がより大きい場合と比較して、より大きくする。

また、本例において音出力デバイス７４０は、スピーカまたはヘッドフォンなどのデバイスにより実現されるが、使用者に作用するデバイスはこれらに限定されない。例えば、入出力インターフェイス１０８は、音出力デバイス７４０に代えて、振動子（バイブレータ）などの振動を発生するデバイスを有してよい。このように、制御部７３０により制御されるデバイスは、使用者の聴覚または触覚に作用するものであれば、音出力デバイス７４０に限定されるものではない。この場合、制御部７３０は、このようなデバイスによる作用の強度を制御する。作用の強度の種類としては、具体的には、音の大きさ、音の周波数の高さ、音の音圧、振動の大きさ、または、振動の周波数（振動数）の大きさなどである。

図８は、本実施形態に係るクライアント・コンピュータ１００が使用者に指定された範囲の画像に基づいて音出力デバイス７４０を制御する処理の流れを示す。まず、レンダリング・エンジン１８は、立体形状をレンダリングすることで画像を生成する（Ｓ８００）。生成された画像は入力画像３００Ａとして記憶装置１０４に格納される。これと共に、レンダリング・エンジン１８は、入力画像３００Ａのピクセル毎に、立体形状のうち当該ピクセルに対応する部分の、レンダリングにおける視点からの距離を生成して、記憶装置１０４に格納する。この距離の成分をピクセルの配列順に配列したデータがＺバッファ画像３００Ｂである。

次に、クライアント・コンピュータ１００は、視線入力装置７０５Ａまたは視野入力装置７０５Ｂが入力を受け付けるまで待機する（Ｓ８１０：ＮＯ）。視線入力装置７０５Ａまたは視野入力装置７０５Ｂが入力を受け付けると（Ｓ８１０：ＹＥＳ）、選択部７１０は、受け付けたその入力に基づいて、入力画像３００Ａのうち使用者が認識する範囲を選択する（Ｓ８２０）。あるいは、選択部７１０は、既に選択していた範囲をその入力に基づいて変更する。

次に、算出部７２０は、選択されるその範囲が変更される毎に、選択されたその範囲に含まれるそれぞれのピクセルに対応する特徴量を記憶装置１０４から読み出して、読み出したそれぞれの特徴量に基づき指標値を算出する（Ｓ８３０）。この処理の形態には、以下のような多様なバリエーションが考えられる。

（１）距離成分に基づく形態
算出部７２０は、選択されたこの範囲に含まれるそれぞれのピクセルに対応する距離成分を記憶装置１０４のＺバッファ画像３００Ｂから読み出して、読み出したそれぞれの距離成分に基づき指標値を算出する。座標（ｉ，ｊ）のピクセルについてその距離成分によって表される距離をＺ_ｉ，ｊとする。また、選択されたこの範囲をＳとする。この場合において、算出される指標値ｔは、例えば以下の式（２）により表される。

この場合の指標値ｔは、範囲Ｓに含まれる各ピクセルに対応するオブジェクトまでの距離の２乗に反比例し、かつ、範囲Ｓの面積に反比例する数値となる。即ち、視点から近い位置にあるオブジェクトがその範囲の占有する場合に、ｔはより大きい値となる。なお、距離の２乗の逆数の部分をｆ（Ｚ_ｉ，ｊ）とおいて一般化すると、指標値ｔは以下のように表される。

（２）エッジ成分に基づく形態
算出部７２０は、選択されたこの範囲に含まれるそれぞれのピクセルに対応するピクセル値を記憶装置１０４の入力画像３００Ａから読み出して、読み出したそれぞれのピクセル値に基づいて、選択されたこの範囲の画像に含まれるエッジ成分を示す指標値を算出する。具体的には、算出部７２０は、まず、ピクセル値のＲＧＢ要素に基づきルミナンス（輝度）成分を算出する。

座標（ｉ，ｊ）の赤成分をＲ_ｉ，ｊ、座標（ｉ，ｊ）の緑成分をＧ_ｉ，ｊ、座標（ｉ，ｊ）の青成分をＢ_ｉ，ｊとおくと、座標（ｉ，ｊ）のピクセルのルミナンス成分Ｌ_ｉ，ｊは、以下の式（４）により表される。

次に、算出部７２０は、このルミナンス成分をピクセルの配列順に配列したルミナンス画像に対し、たとえばＳｏｂｅｌオペレータを適用することで、垂直方向および水平方向のエッジ成分を算出する。垂直方向のエッジ成分をＥ^Ｖ _ｉ，ｊとおき、水平方向のエッジ成分をＥ^Ｈ _ｉ，ｊとおくと、この計算は、例えば以下の式（５）により表される。

そして、算出部７２０は、これらのエッジ成分の合成を以下の式（６）により算出する。

このようにして算出されるエッジ成分Ｅ_ｉ，ｊのうち、選択された範囲Ｓについてのエッジ成分の合計又は平均を指標値ｔとしてもよい。なお、エッジ成分の算出は、例えばラプラシアン・フィルタまたはプレヴィット・フィルタなどの、様々な画像処理手法を利用して実現できる。従って、本実施形態におけるエッジ成分の算出方法は、式（４）−（６）に示す方法には限定されない。
以上の例に代えて、以下に示すように、エッジ成分と距離成分との組合せに基づき指標値ｔを算出してもよい。

（３）距離成分およびエッジ成分の組合せ
例えば、算出部７２０は、式（７）に示すように、範囲Ｓに含まれる各ピクセルについて、そのピクセルのエッジ成分をそのピクセルについての距離の２乗で割り算して、それを範囲Ｓに含まれる各ピクセルについて合計した値を、指標値ｔとしてよい。なお、ここでいう距離Ｚ´_ｉ，ｊは、座標（ｉ，ｊ）を中心とする３×３ピクセルのうち最も大きい距離を示す。

これにより、範囲Ｓに含まれるエッジ成分が大きければより大きい指標値ｔを算出するとともに、範囲Ｓに含まれる距離成分がより小さければより大きい指標値ｔを算出することができる。

（４）Ｚバッファ画像のエッジ成分
距離成分およびエッジ成分の組合せには更に他のバリエーションが考えられる。例えば、算出部７２０は、範囲Ｓに含まれるそれぞれのピクセルに対応する距離を示す数値を当該ピクセルの配列順に配列したＺバッファ画像について、当該Ｚバッファ画像のエッジ成分を指標値として算出してもよい。これは即ち、距離変化の大きい部分を多く含む範囲について、より大きい指標値を算出することを示す。

さらに、算出部７２０は、範囲Ｓ内のこのＺバッファ画像のエッジ成分、および、範囲Ｓ内の画像のエッジ成分の双方を示す指標値を算出してよい。これにより算出される指標値ｔは、例えば以下の式（８）により表される。

ここで、Ｆ_ｉ，ｊは、Ｚバッファ画像３００Ｂの座標（ｉ，ｊ）におけるエッジ成分を示す。また、αはこれら２つのエッジ成分の混合比を示し、０から１までの実数値をとる。このように、Ｚバッファから得られた不連続成分を入力画像３００Ａのエッジ成分と組み合わせることで、オブジェクトと背景との境界（例えばオブジェクトの輪郭または稜線）を含む範囲について、指標値ｔをより大きくすることができる。

（５）その他
算出部７２０は、上記の多様な指標値のうち何れかではなく、複数の指標値を算出してもよい。算出された指標値は、後に説明するように、制御部７３０により音出力デバイス７４０の強度を制御するために使用される。

次に、制御部７３０について説明する。制御部７３０は、算出した当該指標値に基づき音出力デバイス７４０を制御する（Ｓ８４０）。例えば上記（１）の場合、制御部７３０は、指標値によって示される距離の平均値がより小さい場合に、当該指標値によって示される距離の平均値がより大きい場合と比較して、音出力デバイス７４０の作用の強度を強くする。

また、上記（２）の場合、制御部７３０は、指標値によって示されるエッジ成分がより大きい場合に、当該指標値によって示されるエッジ成分がより小さい場合と比較して、音出力デバイス７４０による作用の強度を強くする。上記（３）の場合にはこれらの組合せである。

また、上記（４）の場合、作用の強度には、入力画像３００Ａのエッジ成分およびＺバッファ画像３００Ｂのエッジ成分が複合的に影響する。但し、入力画像３００Ａの範囲Ｓについてのエッジ成分が一定ならば、制御部７３０は、Ｚバッファ画像３００Ｂの範囲Ｓについて当該指標値によって示されるエッジ成分がより大きい場合に、Ｚバッファ画像３００Ｂの範囲Ｓについて当該指標値によって示されるエッジ成分がより小さい場合と比較して、音出力デバイス７４０による作用の強度をより強くする。

反対に、Ｚバッファ画像３００Ｂの範囲Ｓについてのエッジ成分が一定ならば、制御部７３０は、入力画像３００Ａの範囲Ｓについて当該指標値によって示されるエッジ成分がより大きい場合に、入力画像３００Ａの範囲Ｓについて当該指標値によって示されるエッジ成分がより大きい場合と比較して、音出力デバイス７４０による作用の強度をより強くする。

より詳細には、制御部７３０は、指標値ｔを用いて、以下の式（９）により周波数ｆ、音圧ｐまたは振動の強さ（振幅）ａを算出してよい。但し、ｃ_ｆ、ｃ_ｐおよびｃ_ａは、それぞれ、調整のための所定の定数である。そして、制御部７３０は、これらの周波数ｆ、音圧ｐ若しくは振幅ａまたはこれらの組合せにより音出力デバイス７４０を振動させて、音出力デバイス７４０から音を発生させてよい。

これに代えて、算出部７２０が異なる複数の指標値を算出する場合において、制御部７３０は、音出力デバイス７４０の作用を制御するための異なる複数のパラメータを調節してもよい。一例として、制御部７３０は、ある第１の指標値に基づいて音出力デバイス７４０が出力する音の大きさを制御し、他の第２の指標値に基づいて音出力デバイス７４０が出力する音の高さを制御する。

より詳細には、第１の指標値は、選択された範囲Ｓに含まれるそれぞれのピクセルに対応する距離の合計又は平均に基づくことが望ましい。そして、第２の指標値は、選択された範囲Ｓに含まれるそれぞれのピクセルに対応するピクセル値のエッジ成分を示すことが望ましい。

そしてその場合、制御部７３０は、音出力デバイス７４０により出力される音の音圧を、当該第１指標値によって示される距離の合計又は平均がより小さい場合に、当該第１指標値によって示される距離の合計又は平均がより大きい場合と比較して、より大きくする。また、制御部７３０は、音出力デバイス７４０により出力される音の高さを、当該第２指標値によって示されるエッジ成分がより大きい場合に、当該第２指標値によって示されるエッジ成分がより小さい場合と比較して、より高くする。このようにすることで、聴覚という１つの感覚によって、距離成分およびエッジ成分という複数の異なる成分を認識できる。

更に他の例として、制御部７３０は、指標値ｔの変化に基づいて作用の強度を変更してもよい。例えば、制御部７３０は、選択する範囲の変更前に算出部７２０により算出された当該指標値が示す当該距離成分の平均値と、選択する当該範囲の変更後に算出部７２０により算出された当該指標値が示す当該距離成分の平均値との差分の大きさに基づいて、作用の強度を変更してもよい。この方法によっても、描画されたオブジェクトの輪郭や背景との境界を認識し易くすることができる。

次に、支援システム１５は、画像を認識する処理を終了する指示を受けたか否かを判断する（Ｓ８５０）。そのような指示を受けたことを条件に（Ｓ８５０：ＹＥＳ）、支援システム１５は、図８に示す処理を終了する。そのような指示を受けていなければ（Ｓ８５０：ＮＯ）、支援システム１５は、Ｓ８１０に処理を戻して視野および視線の入力を受け付ける。

以上、図１から図８を参照して説明した構成によれば、使用者は立体形状などで表された仮想世界を聴覚または触覚により認識することができる。図９から図１１を参照して、本実施形態を利用して使用者が仮想世界の立体形状を認識する更なる具体例を述べる。

図９Ａは、本実施形態に係る仮想世界ブラウザ１２に表示された画像のうち使用者が認識する範囲の第１例を示す。図９Ｂは、図９Ａに示す範囲に対応した使用者の視野の概念図である。図９Ａに示すように、この例において、選択部７１０は、使用者の指示に基づき、円錐全体を含み、四角柱および円柱の一部ずつを含む範囲を選択する。選択された範囲を点線で示す。この例においてこの範囲は矩形で表される。そしてこの例において、使用者の仮想的な視野は、例えば図９Ｂのように表される。

この第１例において、選択した範囲には、背景を含め様々なオブジェクトが含まれている。従って、算出部７２０は、これら様々なオブジェクトの様々な部分についての距離の平均に基づき指標値を算出する。そして制御部７３０は、この指標値に応じた強度で音出力デバイス７４０を作用させる。
この第１例のように、最初は視野を広く設定しておいて視線方向を変更すれば、あたかも手のひらを広げてオブジェクトを掴むようにして、表示領域内にある様々なオブジェクトを捉えることができる。

図１０Ａは、本実施形態に係る仮想世界ブラウザ１２に表示された画像のうち使用者が認識する範囲の第２例を示す。図１０Ｂは、図１０Ａに示す範囲に対応した使用者の視野の概念図である。第１例とは異なり、選択部７１０は、円錐のごく一部のみを含む範囲を選択する。この範囲に対応する視野は、図１０Ｂに示すように、四角柱の一部を含む。但し、四角柱は円錐の隠面にあるため、選択部７１０により選択される範囲には含まれない。

このため、算出部７２０は、最も手前側にある円錐までの距離に基づいて指標値を算出する。そして制御部７３０は、この指標値に応じた強度で音出力デバイス７４０を作用させる。第１例と比較すると、第２例において、制御部７３０による作用の強度は極めて強い。この作用の強度は、第１例の状態から視野を徐々に狭めてゆき、円錐が視野を占有するようになるまで徐々に強くなる。そして、第２例のようにそれよりも視野が狭くなった状態では作用の強度はあまり変化しない。

以上、この第２例のように、所望のオブジェクトのおおよその位置を把握した後は、視線方向を固定したまま視野を徐々に狭めてゆけば、表示されたオブジェクトのおおよその大きさを把握することができる。

次に、図１１を参照して、範囲Ｓの大きさを固定したまま範囲Ｓの位置を順次変更する場合における、音量変化を説明する。
図１１は、使用者の仮想的な視線を直線Ｘに沿って変更した場合における音量変化を示す。なお、この図１１の例において音出力デバイス７４０は、距離成分に基づき制御されるものとする。図１１に示す画像は図２Ａなどに示す画像に対応している。但し、図１１は、３つのオブジェクトを横断する直線Ｘを含む。この直線Ｘは、仮想的な視線の軌跡を表す。即ち、選択部７１０は、使用者から順次指示を受けることにより、極めて小さい大きさの範囲Ｓを、この直線Ｘに沿って移動させる。

すると、図１１の下側に示すような音量変化が生じる。即ち、視点からやや距離のある四角柱を横断する場合には中程度の音量が生じ、四角柱の頂点付近では音量も頂点を迎える。そして、視点から近い円柱に視線が達すると音量はそれまでと比較して突然大きくなる。円錐を通過して背景に差し掛かると音量は小さくなり、視点から距離のある円柱に差し掛かると音量は僅かに増加する。

このように、範囲Ｓの位置を順次変更すれば、まるで立体形状を指先で辿るかのように、奥行きを音量変化として聴覚により正確に把握できる。特に、立体形状と背景との境界や、立体形状の稜線においては音量が特徴的に変化するので、立体形状を正確に把握することもできる。例えば、この図１１の例のように直線的に視線を変更するのではなく、音量が変化しないように注意しながら視線を変更すれば、その視線の軌跡が形状を現すこととなる。

以上、図９−１１に示すように、使用者はその用途や状況によって認識するべき範囲の大きさを変更できるので、例えばオブジェクトの位置および大きさを把握し、又は、オブジェクトの形状や稜線を把握する、といったような、様々な操作を直感的な操作で実現することができる。この結果、３次元画像を利用した仮想世界というような、視覚による認識を前提とした世界を、聴覚または触覚などの視覚以外の感覚をもって認識することがえきる。

図１２は、本実施形態に係るクライアント・コンピュータ１００のハードウェア構成の一例を示す。クライアント・コンピュータ１００は、ホストコントローラ１０８２により相互に接続されるＣＰＵ１０００、ＲＡＭ１０２０、及びグラフィックコントローラ１０７５を有するＣＰＵ周辺部を備える。また、入出力コントローラ１０８４によりホストコントローラ１０８２に接続される通信インターフェイス１０６、記憶装置（たとえば、ハードディスクドライブ。図１２ではハードディスクドライブとする）１０４、及びＣＤ−ＲＯＭドライブ１０６０を有する入出力部を備える。また、入出力コントローラ１０８４に接続されるＲＯＭ１０１０、入出力インターフェイス１０８、フレキシブルディスクドライブ１０５０、及び入出力チップ１０７０を有するレガシー入出力部を備える。

ホストコントローラ１０８２は、ＲＡＭ１０２０と、高い転送レートでＲＡＭ１０２０をアクセスするＣＰＵ１０００及びグラフィックコントローラ１０７５とを接続する。ＣＰＵ１０００は、ＲＯＭ１０１０及びＲＡＭ１０２０に格納されたプログラムに基づいて動作し、各部の制御を行う。グラフィックコントローラ１０７５は、ＣＰＵ１０００等がＲＡＭ１０２０内に設けたフレームバッファ上に生成する画像データを取得し、表示装置１０８０上に表示させる。これに代えて、グラフィックコントローラ１０７５は、ＣＰＵ１０００等が生成する画像データを格納するフレームバッファを、内部に含んでもよい。

入出力コントローラ１０８４は、ホストコントローラ１０８２と、比較的高速な入出力装置である通信インターフェイス１０６、ハードディスクドライブ１０４、及びＣＤ−ＲＯＭドライブ１０６０を接続する。通信インターフェイス１０６は、ネットワークを介して外部の装置と通信する。ハードディスクドライブ１０４は、クライアント・コンピュータ１００が使用するプログラム及びデータを格納する。ＣＤ−ＲＯＭドライブ１０６０は、ＣＤ−ＲＯＭ１０９５からプログラム又はデータを読み取り、ＲＡＭ１０２０又はハードディスクドライブ１０４に提供する。

また、入出力コントローラ１０８４には、ＲＯＭ１０１０と、入出力インターフェイス１０８と、フレキシブルディスクドライブ１０５０や入出力チップ１０７０等の比較的低速な入出力装置とが接続される。ＲＯＭ１０１０は、クライアント・コンピュータ１００の起動時にＣＰＵ１０００が実行するブートプログラムや、クライアント・コンピュータ１００のハードウェアに依存するプログラム等を格納する。フレキシブルディスクドライブ１０５０は、フレキシブルディスク１０９０からプログラム又はデータを読み取り、入出力チップ１０７０を介してＲＡＭ１０２０またはハードディスクドライブ１０４に提供する。

入出力チップ１０７０は、フレキシブルディスク１０９０や、例えばパラレルポート、シリアルポート、キーボードポート、マウスポート等を介して各種の入出力装置を接続する。入出力インターフェイス１０８は、音声を出力したり振動することで、使用者の聴覚又は触覚に作用する。また、入出力インターフェイス１０８は、ポインティングデバイス又はスライダーにより使用者から入力を受け付ける。

クライアント・コンピュータ１００に提供されるプログラムは、フレキシブルディスク１０９０、ＣＤ−ＲＯＭ１０９５、又はＩＣカード等の記録媒体に格納されて利用者によって提供される。プログラムは、入出力チップ１０７０及び/又は入出力コントローラ１０８４を介して、記録媒体から読み出されクライアント・コンピュータ１００にインストールされて実行される。プログラムがクライアント・コンピュータ１００等に働きかけて行わせる動作は、図１から図１１において説明したクライアント・コンピュータ１００における動作と同一であるから、説明を省略する。

以上に示したプログラムは、外部の記憶媒体に格納されてもよい。記憶媒体としては、フレキシブルディスク１０９０、ＣＤ−ＲＯＭ１０９５の他に、ＤＶＤやＰＤ等の光学記録媒体、ＭＤ等の光磁気記録媒体、テープ媒体、ＩＣカード等の半導体メモリ等を用いることができる。また、専用通信ネットワークやインターネットに接続されたサーバシステムに設けたハードディスク又はＲＡＭ等の記憶装置を記録媒体として使用し、ネットワークを介してプログラムをクライアント・コンピュータ１００に提供してもよい。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることのできることが当業者にとって明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

図１は、本実施形態に係るコンピュータ・システム１０の全体構成を示す。図２Ａは、本実施形態に係る仮想世界ブラウザ１２による画面の表示例を示す。図２Ｂは、本実施形態に係る仮想世界ブラウザ１２に表示される画像をレンダリングする処理の概念図である。図３は、本実施形態に係る記憶装置１０４が格納するデータの構成を示す。図４は、仮想世界ブラウザ１２に表示される画像のうち、入力画像３００ＡおよびＺバッファ画像３００Ｂの説明のために使用する部分を示す。図５は、本実施形態に係る入力画像３００Ａのデータ構造の一例を示す。図６は、本実施形態に係るＺバッファ画像３００Ｂのデータ構造の一例を示す。図７は、本実施形態に係る支援システム１５および入出力インターフェイス１０８の機能構成を示す。図８は、本実施形態に係るクライアント・コンピュータ１００が使用者に指定された範囲の画像に基づいて音出力デバイス７４０を制御する処理の流れを示す。図９Ａは、本実施形態に係る仮想世界ブラウザ１２に表示された画像のうち使用者が認識する範囲の第１例を示す。図９Ｂは、図９Ａに示す範囲に対応した使用者の視野の概念図である。図１０Ａは、本実施形態に係る仮想世界ブラウザ１２に表示された画像のうち使用者が認識する範囲の第２例を示す。図１０Ｂは、図１０Ａに示す範囲に対応した使用者の視野の概念図である。図１１は、使用者の視線を直線Ｘに沿って変更した場合における音量変化を示す。図１２は、本実施形態に係るクライアント・コンピュータ１００のハードウェア構成の一例を示す。

符号の説明

１０コンピュータ・システム
１２仮想世界ブラウザ
１５支援システム
１８レンダリング・エンジン
２２仮想世界サーバ
１００クライアント・コンピュータ
１０４記憶装置
１０６通信インターフェイス
１０８入出力インターフェイス
２００サーバ・コンピュータ
２０４記憶装置
２０６通信インターフェイス
３００Ａ入力画像
３００ＢＺバッファ画像
４００インターネット
７０５Ａ視線入力装置
７０５Ｂ視野入力装置
７１０選択部
７２０算出部
７３０制御部
７４０音出力デバイス

Claims

画像に描画されたオブジェクトの認識を支援するシステムであって、
入力画像を分割した複数の領域のそれぞれに対応付けて、当該領域に描画されたオブジェクトの特徴量を記憶している記憶装置と、
使用者の指示に基づいて、前記入力画像のうち使用者が認識する範囲を選択する選択部と、
選択された前記範囲に含まれるそれぞれの領域に対応する前記特徴量を、前記記憶装置から読み出して、読み出したそれぞれの前記特徴量に基づき指標値を算出する算出部と、
算出した前記指標値に基づき、使用者の聴覚または触覚に作用するデバイスを制御する制御部と
を備え、
前記入力画像は、立体形状をレンダリングしたオブジェクトを含み、
前記記憶装置は、前記入力画像のピクセル毎に、前記立体形状のうち当該ピクセルに対応する部分の、レンダリングにおける視点からの距離を前記特徴量として記憶しており、
前記算出部は、選択された前記範囲に含まれるそれぞれのピクセルに対応する前記距離を、前記記憶装置から読み出して、読み出したそれぞれの前記距離の合計値に基づいて前記指標値を算出し、
前記制御部は、前記デバイスによる作用の強度を、当該指標値によって示される当該距離の合計値がより小さい場合に、当該指標値によって示される当該距離の合計値がより大きい場合と比較して、より強くする、
システム。
前記選択部は、前記入力画像の表示領域内の座標、および、当該座標を基準とした前記範囲の大きさの入力を受け付け、受け付けた前記座標を基準とした、受け付けた前記大きさの範囲を選択し、
前記算出部は、選択された前記範囲に含まれるそれぞれのピクセルに対応する距離の平均値に基づいて前記指標値を算出し、
前記制御部は、前記デバイスによる作用の強度を、当該指標値によって示される当該距離の平均値がより小さい場合に、当該指標値によって示される当該距離の平均値がより大きい場合と比較して、より強くする、請求項１に記載のシステム。
前記入力画像は、立体形状をレンダリングしたオブジェクトを含み、
前記記憶装置は、前記入力画像のピクセル毎に、前記立体形状のうち当該ピクセルに対応する部分の、レンダリングにおける視点からの距離を前記特徴量として記憶しており、
前記算出部は、選択された前記範囲に含まれるそれぞれのピクセルに対応する前記距離を示す数値を当該ピクセルの配列順に配列したＺバッファ画像について、当該Ｚバッファ画像のエッジ成分を前記指標値として算出し、
前記制御部は、前記デバイスによる作用の強度を、当該指標値によって示されるエッジ成分がより大きい場合に、当該指標値によって示されるエッジ成分がより小さい場合と比較して、より強くする、請求項１に記載のシステム。
画像に描画されたオブジェクトの認識を支援するシステムであって、
入力画像を分割した複数の領域のそれぞれに対応付けて、当該領域に描画されたオブジェクトの特徴量を記憶している記憶装置と、
使用者の指示に基づいて、前記入力画像のうち使用者が認識する範囲を選択する選択部と、
選択された前記範囲に含まれるそれぞれの領域に対応する前記特徴量を、前記記憶装置から読み出して、読み出したそれぞれの前記特徴量に基づき指標値を算出する算出部と、
算出した前記指標値に基づき、使用者の聴覚または触覚に作用するデバイスを制御する制御部と
を備え、
前記入力画像は、立体形状をレンダリングしたオブジェクトを含み、
前記記憶装置は、前記入力画像のピクセル毎に、前記立体形状のうち当該ピクセルに対応する部分の、レンダリングにおける視点からの距離を前記特徴量として記憶しており、
前記算出部は、選択された前記範囲に含まれるそれぞれのピクセルに対応する前記距離を示す数値を当該ピクセルの配列順に配列したＺバッファ画像について、当該Ｚバッファ画像のエッジ成分を前記指標値として算出し、
前記制御部は、前記デバイスによる作用の強度を、当該指標値によって示されるエッジ成分がより大きい場合に、当該指標値によって示されるエッジ成分がより小さい場合と比較して、より強くする、
システム。
前記記憶装置は、さらに、前記入力画像の各ピクセルのピクセル値を前記特徴量として記憶しており、
前記算出部は、選択された前記範囲に含まれるそれぞれのピクセルに対応するピクセル値にさらに基づいて、選択された前記範囲に対応する前記Ｚバッファ画像のエッジ成分、および、選択された前記範囲の画像に含まれるエッジ成分の双方を示す前記指標値を算出し、
前記制御部は、前記デバイスによる作用の強度を、前記Ｚバッファ画像について当該指標値によって示されるエッジ成分がより大きい場合に、前記Ｚバッファ画像について当該指標値によって示されるエッジ成分がより小さい場合と比較して、より強くし、さらに、前記入力画像について当該指標値によって示されるエッジ成分がより大きい場合に、前記入力画像について当該指標値によって示されるエッジ成分がより小さい場合と比較して、より強くする、請求項３または４に記載のシステム。
前記記憶装置は、前記入力画像の各ピクセルのピクセル値を前記特徴量として記憶しており、
前記算出部は、選択された前記範囲に含まれるそれぞれのピクセルに対応するピクセル値に基づいて、選択された前記範囲の画像に含まれるエッジ成分を示す前記指標値を算出し、
前記制御部は、前記デバイスによる作用の強度を、当該指標値によって示される当該エッジ成分がより大きい場合に、当該指標値によって示される当該エッジ成分がより小さい場合と比較して、より強くする、請求項１に記載のシステム。
画像に描画されたオブジェクトの認識を支援するシステムであって、
入力画像を分割した複数の領域のそれぞれに対応付けて、当該領域に描画されたオブジェクトの特徴量を記憶している記憶装置と、
使用者の指示に基づいて、前記入力画像のうち使用者が認識する範囲を選択する選択部と、
選択された前記範囲に含まれるそれぞれの領域に対応する前記特徴量を、前記記憶装置から読み出して、読み出したそれぞれの前記特徴量に基づき指標値を算出する算出部と、
算出した前記指標値に基づき、使用者の聴覚または触覚に作用するデバイスを制御する制御部と
を備え、
前記記憶装置は、前記入力画像の各ピクセルのピクセル値を前記特徴量として記憶しており、
前記算出部は、選択された前記範囲に含まれるそれぞれのピクセルに対応するピクセル値に基づいて、選択された前記範囲の画像に含まれるエッジ成分を示す前記指標値を算出し、
前記制御部は、前記デバイスによる作用の強度を、当該指標値によって示される当該エッジ成分がより大きい場合に、当該指標値によって示される当該エッジ成分がより小さい場合と比較して、より強くする、
システム。
前記入力画像は、前記オブジェクトである立体形状をレンダリングすることで生成され、
前記記憶装置は、前記入力画像のピクセル毎に、前記立体形状のうち当該ピクセルに対応する部分の、レンダリングにおける視点からの距離を前記特徴量として記憶しており、また、前記入力画像の各ピクセルのピクセル値を前記特徴量として記憶しており、
前記算出部は、選択された前記範囲に含まれるそれぞれのピクセルに対応する前記距離を、前記記憶装置から読み出して、読み出したそれぞれの前記距離の合計値に基づいて第１の指標値を算出し、また、選択された前記範囲に含まれるそれぞれのピクセルに対応するピクセル値に基づいて、選択された前記範囲の画像に含まれるエッジ成分を示す第２の指標値を算出し、
前記制御部は、前記デバイスにより出力される音の音圧を、当該第１の指標値によって示される当該距離の合計値がより小さい場合に、当該第１の指標値によって示される当該距離の合計値がより大きい場合と比較して、より大きくし、また、前記デバイスにより出力される音の高さを、当該第２の指標値によって示される当該エッジ成分がより大きい場合に、当該第２の指標値によって示される当該エッジ成分がより小さい場合と比較して、より高くする、請求項１に記載のシステム。
画像に描画されたオブジェクトの認識を支援するシステムであって、
入力画像を分割した複数の領域のそれぞれに対応付けて、当該領域に描画されたオブジェクトの特徴量を記憶している記憶装置と、
使用者の指示に基づいて、前記入力画像のうち使用者が認識する範囲を選択する選択部と、
選択された前記範囲に含まれるそれぞれの領域に対応する前記特徴量を、前記記憶装置から読み出して、読み出したそれぞれの前記特徴量に基づき指標値を算出する算出部と、
算出した前記指標値に基づき、使用者の聴覚または触覚に作用するデバイスを制御する制御部と
を備え、
前記入力画像は、前記オブジェクトである立体形状をレンダリングすることで生成され、
前記記憶装置は、前記入力画像のピクセル毎に、前記立体形状のうち当該ピクセルに対応する部分の、レンダリングにおける視点からの距離を前記特徴量として記憶しており、また、前記入力画像の各ピクセルのピクセル値を前記特徴量として記憶しており、
前記算出部は、選択された前記範囲に含まれるそれぞれのピクセルに対応する前記距離を、前記記憶装置から読み出して、読み出したそれぞれの前記距離の合計値に基づいて第１の指標値を算出し、また、選択された前記範囲に含まれるそれぞれのピクセルに対応するピクセル値に基づいて、選択された前記範囲の画像に含まれるエッジ成分を示す第２の指標値を算出し、
前記制御部は、前記デバイスにより出力される音の音圧を、当該第１の指標値によって示される当該距離の合計値がより小さい場合に、当該第１の指標値によって示される当該距離の合計値がより大きい場合と比較して、より大きくし、また、前記デバイスにより出力される音の高さを、当該第２の指標値によって示される当該エッジ成分がより大きい場合に、当該第２の指標値によって示される当該エッジ成分がより小さい場合と比較して、より高くする、
システム。
前記入力画像は、立体形状をレンダリングしたオブジェクトを含み、
前記記憶装置は、前記入力画像のピクセル毎に、前記立体形状のうち当該ピクセルに対応する部分の、レンダリングにおける視点からの距離を前記特徴量として記憶しており、
前記選択部は、選択する前記範囲を使用者の指示に基づいて変更し、
前記算出部は、選択する前記範囲が変更される毎に、選択する前記範囲に含まれるそれぞれのピクセルに対応する前記距離を、前記記憶装置から読み出して、読み出したそれぞれの距離の合計値に基づいて前記指標値を算出し、
前記制御部は、前記デバイスによる作用の強度を、選択する前記範囲の変更前に前記算出部により算出された当該指標値が示す当該距離の合計値と、選択する前記範囲の変更後に前記算出部により算出された当該指標値が示す当該距離の合計値との差分の大きさに基づいて制御する、請求項１に記載のシステム。
画像に描画されたオブジェクトの認識を支援するシステムであって、
入力画像を分割した複数の領域のそれぞれに対応付けて、当該領域に描画されたオブジェクトの特徴量を記憶している記憶装置と、
使用者の指示に基づいて、前記入力画像のうち使用者が認識する範囲を選択する選択部と、
選択された前記範囲に含まれるそれぞれの領域に対応する前記特徴量を、前記記憶装置から読み出して、読み出したそれぞれの前記特徴量に基づき指標値を算出する算出部と、
算出した前記指標値に基づき、使用者の聴覚または触覚に作用するデバイスを制御する制御部と
を備え、
前記入力画像は、立体形状をレンダリングしたオブジェクトを含み、
前記記憶装置は、前記入力画像のピクセル毎に、前記立体形状のうち当該ピクセルに対応する部分の、レンダリングにおける視点からの距離を前記特徴量として記憶しており、
前記選択部は、選択する前記範囲を使用者の指示に基づいて変更し、
前記算出部は、選択する前記範囲が変更される毎に、選択する前記範囲に含まれるそれぞれのピクセルに対応する前記距離を、前記記憶装置から読み出して、読み出したそれぞれの距離の合計値に基づいて前記指標値を算出し、
前記制御部は、前記デバイスによる作用の強度を、選択する前記範囲の変更前に前記算出部により算出された当該指標値が示す当該距離の合計値と、選択する前記範囲の変更後に前記算出部により算出された当該指標値が示す当該距離の合計値との差分の大きさに基づいて制御する、
システム。
前記デバイスは、音を出力するデバイスであり、
前記制御部は、前記デバイスが出力する音の大きさを制御する、請求項１から１１のいずれか一項に記載のシステム。
前記算出部は、選択された前記範囲に含まれる各領域に対応する特徴量に基づいて、複数の異なる指標値を算出し、
前記制御部は、算出した第１の指標値に基づいて、前記デバイスが出力する音の大きさを制御し、算出した第２の指標値に基づいて、前記デバイスが出力する音の高さを制御する、請求項１２に記載のシステム。
仮想世界を使用者に体験させるシステムであって、
記憶装置と、
使用者のアバターの位置および向きに基づいて仮想世界の立体形状をレンダリングすることで画像を生成すると共に、前記生成した画像のピクセル毎に、前記立体形状のうち当該ピクセルに対応する部分の、レンダリングにおける視点からの距離を生成して、前記記憶装置に格納するレンダリング・エンジンと、
使用者の指示に基づいて、前記生成した画像の表示領域のうち使用者が認識する範囲を選択する選択部と、
選択された前記範囲に含まれるそれぞれのピクセルに対応する距離を、前記記憶装置から読み出して、読み出したそれぞれの距離に基づいて指標値を算出する算出部と、
算出した前記指標値に基づき、使用者の聴覚または触覚に作用するデバイスを制御することで、使用者に仮想世界を認識させる制御部と
を備え、
前記算出部は、選択された前記範囲に含まれるそれぞれのピクセルに対応する前記距離を、前記記憶装置から読み出して、読み出したそれぞれの前記距離の合計値に基づいて前記指標値を算出し、
前記制御部は、前記デバイスによる作用の強度を、当該指標値によって示される当該距離の合計値がより小さい場合に、当該指標値によって示される当該距離の合計値がより大きい場合と比較して、より強くする、
システム。
仮想世界を使用者に体験させるシステムであって、
記憶装置と、
使用者のアバターの位置および向きに基づいて仮想世界の立体形状をレンダリングすることで画像を生成すると共に、前記生成した画像のピクセル毎に、前記立体形状のうち当該ピクセルに対応する部分の、レンダリングにおける視点からの距離を生成して、前記記憶装置に格納するレンダリング・エンジンと、
使用者の指示に基づいて、前記生成した画像の表示領域のうち使用者が認識する範囲を選択する選択部と、
選択された前記範囲に含まれるそれぞれのピクセルに対応する距離を、前記記憶装置から読み出して、読み出したそれぞれの距離に基づいて指標値を算出する算出部と、
算出した前記指標値に基づき、使用者の聴覚または触覚に作用するデバイスを制御することで、使用者に仮想世界を認識させる制御部と
を備え、
前記算出部は、選択された前記範囲に含まれるそれぞれのピクセルに対応する前記距離を示す数値を当該ピクセルの配列順に配列したＺバッファ画像について、当該Ｚバッファ画像のエッジ成分を前記指標値として算出し、
前記制御部は、前記デバイスによる作用の強度を、当該指標値によって示されるエッジ成分がより大きい場合に、当該指標値によって示されるエッジ成分がより小さい場合と比較して、より強くする、
システム。
仮想世界を使用者に体験させるシステムであって、
記憶装置と、
使用者のアバターの位置および向きに基づいて仮想世界の立体形状をレンダリングすることで画像を生成すると共に、前記生成した画像のピクセル毎に、ピクセル値を前記記憶装置に格納するレンダリング・エンジンと、
使用者の指示に基づいて、前記生成した画像の表示領域のうち使用者が認識する範囲を選択する選択部と、
選択された前記範囲に含まれるそれぞれのピクセルに対応するピクセル値を、前記記憶装置から読み出して、読み出したそれぞれのピクセル値に基づいて指標値を算出する算出部と、
算出した前記指標値に基づき、使用者の聴覚または触覚に作用するデバイスを制御することで、使用者に仮想世界を認識させる制御部と
を備え、
前記算出部は、選択された前記範囲に含まれるそれぞれのピクセルに対応するピクセル値に基づいて、選択された前記範囲の画像に含まれるエッジ成分を示す前記指標値を算出し、
前記制御部は、前記デバイスによる作用の強度を、当該指標値によって示される当該エッジ成分がより大きい場合に、当該指標値によって示される当該エッジ成分がより小さい場合と比較して、より強くする、
システム。
仮想世界を使用者に体験させるシステムであって、
記憶装置と、
使用者のアバターの位置および向きに基づいて仮想世界の立体形状をレンダリングすることで画像を生成すると共に、前記生成した画像のピクセル毎に、前記立体形状のうち当該ピクセルに対応する部分の、レンダリングにおける視点からの距離を生成して、ピクセル値と共に前記記憶装置に格納するレンダリング・エンジンと、
使用者の指示に基づいて、前記生成した画像の表示領域のうち使用者が認識する範囲を選択する選択部と、
選択された前記範囲に含まれるそれぞれのピクセルに対応する距離およびピクセル値を、前記記憶装置から読み出して、読み出したそれぞれの距離およびピクセル値に基づいて指標値を算出する算出部と、
算出した前記指標値に基づき、使用者の聴覚または触覚に作用するデバイスを制御することで、使用者に仮想世界を認識させる制御部と
を備え、
前記算出部は、選択された前記範囲に含まれるそれぞれのピクセルに対応する前記距離を、前記記憶装置から読み出して、読み出したそれぞれの前記距離の合計値に基づいて第１の指標値を算出し、また、選択された前記範囲に含まれるそれぞれのピクセルに対応するピクセル値に基づいて、選択された前記範囲の画像に含まれるエッジ成分を示す第２の指標値を算出し、
前記制御部は、前記デバイスにより出力される音の音圧を、当該第１の指標値によって示される当該距離の合計値がより小さい場合に、当該第１の指標値によって示される当該距離の合計値がより大きい場合と比較して、より大きくし、また、前記デバイスにより出力される音の高さを、当該第２の指標値によって示される当該エッジ成分がより大きい場合に、当該第２の指標値によって示される当該エッジ成分がより小さい場合と比較して、より高くする、
システム。
仮想世界を使用者に体験させるシステムであって、
記憶装置と、
使用者のアバターの位置および向きに基づいて仮想世界の立体形状をレンダリングすることで画像を生成すると共に、前記生成した画像のピクセル毎に、前記立体形状のうち当該ピクセルに対応する部分の、レンダリングにおける視点からの距離を生成して、前記記憶装置に格納するレンダリング・エンジンと、
使用者の指示に基づいて、前記生成した画像の表示領域のうち使用者が認識する範囲を選択する選択部と、
選択された前記範囲に含まれるそれぞれのピクセルに対応する距離を、前記記憶装置から読み出して、読み出したそれぞれの距離に基づいて指標値を算出する算出部と、
算出した前記指標値に基づき、使用者の聴覚または触覚に作用するデバイスを制御することで、使用者に仮想世界を認識させる制御部と
を備え、
前記選択部は、選択する前記範囲を使用者の指示に基づいて変更し、
前記算出部は、選択する前記範囲が変更される毎に、選択する前記範囲に含まれるそれぞれのピクセルに対応する前記距離を、前記記憶装置から読み出して、読み出したそれぞれの距離の合計値に基づいて前記指標値を算出し、
前記制御部は、前記デバイスによる作用の強度を、選択する前記範囲の変更前に前記算出部により算出された当該指標値が示す当該距離の合計値と、選択する前記範囲の変更後に前記算出部により算出された当該指標値が示す当該距離の合計値との差分の大きさに基づいて制御する、
システム。
画像に描画されたオブジェクトの認識をコンピュータにより支援する方法であって、
前記コンピュータは、入力画像を分割した複数の領域のそれぞれに対応付けて、当該領域に描画されたオブジェクトの特徴量を記憶している記憶装置を有し、
前記コンピュータにより、使用者の指示に基づいて、前記入力画像のうち使用者が認識する範囲を選択するステップと、
前記コンピュータにより、選択された前記範囲に含まれるそれぞれの領域に対応する前記特徴量を、前記記憶装置から読み出して、読み出したそれぞれの前記特徴量に基づき指標値を算出するステップと、
前記コンピュータにより、算出した前記指標値に基づき、使用者の聴覚または触覚に作用するデバイスを制御するステップと
を備え、
前記入力画像は、立体形状をレンダリングしたオブジェクトを含み、
前記記憶装置は、前記入力画像のピクセル毎に、前記立体形状のうち当該ピクセルに対応する部分の、レンダリングにおける視点からの距離を前記特徴量として記憶しており、
前記算出するステップは、選択された前記範囲に含まれるそれぞれのピクセルに対応する前記距離を、前記記憶装置から読み出して、読み出したそれぞれの前記距離の合計値に基づいて前記指標値を算出し、
前記制御するステップは、前記デバイスによる作用の強度を、当該指標値によって示される当該距離の合計値がより小さい場合に、当該指標値によって示される当該距離の合計値がより大きい場合と比較して、より強くする、
方法。
画像に描画されたオブジェクトの認識をコンピュータにより支援する方法であって、
前記コンピュータは、入力画像を分割した複数の領域のそれぞれに対応付けて、当該領域に描画されたオブジェクトの特徴量を記憶している記憶装置を有し、
前記コンピュータにより、使用者の指示に基づいて、前記入力画像のうち使用者が認識する範囲を選択するステップと、
前記コンピュータにより、選択された前記範囲に含まれるそれぞれの領域に対応する前記特徴量を、前記記憶装置から読み出して、読み出したそれぞれの前記特徴量に基づき指標値を算出するステップと、
前記コンピュータにより、算出した前記指標値に基づき、使用者の聴覚または触覚に作用するデバイスを制御するステップと
を備え、
前記入力画像は、立体形状をレンダリングしたオブジェクトを含み、
前記記憶装置は、前記入力画像のピクセル毎に、前記立体形状のうち当該ピクセルに対応する部分の、レンダリングにおける視点からの距離を前記特徴量として記憶しており、
前記算出するステップは、選択された前記範囲に含まれるそれぞれのピクセルに対応する前記距離を示す数値を当該ピクセルの配列順に配列したＺバッファ画像について、当該Ｚバッファ画像のエッジ成分を前記指標値として算出し、
前記制御するステップは、前記デバイスによる作用の強度を、当該指標値によって示されるエッジ成分がより大きい場合に、当該指標値によって示されるエッジ成分がより小さい場合と比較して、より強くする、
方法。
画像に描画されたオブジェクトの認識をコンピュータにより支援する方法であって、
前記コンピュータは、入力画像を分割した複数の領域のそれぞれに対応付けて、当該領域に描画されたオブジェクトの特徴量を記憶している記憶装置を有し、
前記コンピュータにより、使用者の指示に基づいて、前記入力画像のうち使用者が認識する範囲を選択するステップと、
前記コンピュータにより、選択された前記範囲に含まれるそれぞれの領域に対応する前記特徴量を、前記記憶装置から読み出して、読み出したそれぞれの前記特徴量に基づき指標値を算出するステップと、
前記コンピュータにより、算出した前記指標値に基づき、使用者の聴覚または触覚に作用するデバイスを制御するステップと
を備え、
前記記憶装置は、前記入力画像の各ピクセルのピクセル値を前記特徴量として記憶しており、
前記算出するステップは、選択された前記範囲に含まれるそれぞれのピクセルに対応するピクセル値に基づいて、選択された前記範囲の画像に含まれるエッジ成分を示す前記指標値を算出し、
前記制御するステップは、前記デバイスによる作用の強度を、当該指標値によって示される当該エッジ成分がより大きい場合に、当該指標値によって示される当該エッジ成分がより小さい場合と比較して、より強くする、
方法。
画像に描画されたオブジェクトの認識をコンピュータにより支援する方法であって、
前記コンピュータは、入力画像を分割した複数の領域のそれぞれに対応付けて、当該領域に描画されたオブジェクトの特徴量を記憶している記憶装置を有し、
前記コンピュータにより、使用者の指示に基づいて、前記入力画像のうち使用者が認識する範囲を選択するステップと、
前記コンピュータにより、選択された前記範囲に含まれるそれぞれの領域に対応する前記特徴量を、前記記憶装置から読み出して、読み出したそれぞれの前記特徴量に基づき指標値を算出するステップと、
前記コンピュータにより、算出した前記指標値に基づき、使用者の聴覚または触覚に作用するデバイスを制御するステップと
を備え、
前記入力画像は、前記オブジェクトである立体形状をレンダリングすることで生成され、
前記記憶装置は、前記入力画像のピクセル毎に、前記立体形状のうち当該ピクセルに対応する部分の、レンダリングにおける視点からの距離を前記特徴量として記憶しており、また、前記入力画像の各ピクセルのピクセル値を前記特徴量として記憶しており、
前記算出するステップは、選択された前記範囲に含まれるそれぞれのピクセルに対応する前記距離を、前記記憶装置から読み出して、読み出したそれぞれの前記距離の合計値に基づいて第１の指標値を算出し、また、選択された前記範囲に含まれるそれぞれのピクセルに対応するピクセル値に基づいて、選択された前記範囲の画像に含まれるエッジ成分を示す第２の指標値を算出し、
前記制御するステップは、前記デバイスにより出力される音の音圧を、当該第１の指標値によって示される当該距離の合計値がより小さい場合に、当該第１の指標値によって示される当該距離の合計値がより大きい場合と比較して、より大きくし、また、前記デバイスにより出力される音の高さを、当該第２の指標値によって示される当該エッジ成分がより大きい場合に、当該第２の指標値によって示される当該エッジ成分がより小さい場合と比較して、より高くする、
方法。
画像に描画されたオブジェクトの認識をコンピュータにより支援する方法であって、
前記コンピュータは、入力画像を分割した複数の領域のそれぞれに対応付けて、当該領域に描画されたオブジェクトの特徴量を記憶している記憶装置を有し、
前記コンピュータにより、使用者の指示に基づいて、前記入力画像のうち使用者が認識する範囲を選択するステップと、
前記コンピュータにより、選択された前記範囲に含まれるそれぞれの領域に対応する前記特徴量を、前記記憶装置から読み出して、読み出したそれぞれの前記特徴量に基づき指標値を算出するステップと、
前記コンピュータにより、算出した前記指標値に基づき、使用者の聴覚または触覚に作用するデバイスを制御するステップと
を備え、
前記入力画像は、立体形状をレンダリングしたオブジェクトを含み、
前記記憶装置は、前記入力画像のピクセル毎に、前記立体形状のうち当該ピクセルに対応する部分の、レンダリングにおける視点からの距離を前記特徴量として記憶しており、
前記選択するステップは、選択する前記範囲を使用者の指示に基づいて変更し、
前記算出するステップは、選択する前記範囲が変更される毎に、選択する前記範囲に含まれるそれぞれのピクセルに対応する前記距離を、前記記憶装置から読み出して、読み出したそれぞれの距離の合計値に基づいて前記指標値を算出し、
前記制御するステップは、前記デバイスによる作用の強度を、選択する前記範囲の変更前に算出された当該指標値が示す当該距離の合計値と、選択する前記範囲の変更後に算出された当該指標値が示す当該距離の合計値との差分の大きさに基づいて制御する、
方法。
画像に描画されたオブジェクトの認識を支援するシステムとして、コンピュータを機能させるプログラムであって、
前記コンピュータは、入力画像を分割した複数の領域のそれぞれに対応付けて、当該領域に描画されたオブジェクトの特徴量を記憶している記憶装置を有し、
前記コンピュータを、
使用者の指示に基づいて、前記入力画像のうち使用者が認識する範囲を選択する選択部と、
選択された前記範囲に含まれるそれぞれの領域に対応する前記特徴量を、前記記憶装置から読み出して、読み出したそれぞれの前記特徴量に基づき指標値を算出する算出部と、
算出した前記指標値に基づき、使用者の聴覚または触覚に作用するデバイスを制御する制御部と
して機能させ、
前記入力画像は、立体形状をレンダリングしたオブジェクトを含み、
前記記憶装置は、前記入力画像のピクセル毎に、前記立体形状のうち当該ピクセルに対応する部分の、レンダリングにおける視点からの距離を前記特徴量として記憶しており、
前記算出部は、選択された前記範囲に含まれるそれぞれのピクセルに対応する前記距離を、前記記憶装置から読み出して、読み出したそれぞれの前記距離の合計値に基づいて前記指標値を算出し、
前記制御部は、前記デバイスによる作用の強度を、当該指標値によって示される当該距離の合計値がより小さい場合に、当該指標値によって示される当該距離の合計値がより大きい場合と比較して、より強くする、
プログラム。
画像に描画されたオブジェクトの認識を支援するシステムとして、コンピュータを機能させるプログラムであって、
前記コンピュータは、入力画像を分割した複数の領域のそれぞれに対応付けて、当該領域に描画されたオブジェクトの特徴量を記憶している記憶装置を有し、
前記コンピュータを、
使用者の指示に基づいて、前記入力画像のうち使用者が認識する範囲を選択する選択部と、
選択された前記範囲に含まれるそれぞれの領域に対応する前記特徴量を、前記記憶装置から読み出して、読み出したそれぞれの前記特徴量に基づき指標値を算出する算出部と、
算出した前記指標値に基づき、使用者の聴覚または触覚に作用するデバイスを制御する制御部と
して機能させ、
前記入力画像は、立体形状をレンダリングしたオブジェクトを含み、
前記記憶装置は、前記入力画像のピクセル毎に、前記立体形状のうち当該ピクセルに対応する部分の、レンダリングにおける視点からの距離を前記特徴量として記憶しており、
前記算出部は、選択された前記範囲に含まれるそれぞれのピクセルに対応する前記距離を示す数値を当該ピクセルの配列順に配列したＺバッファ画像について、当該Ｚバッファ画像のエッジ成分を前記指標値として算出し、
前記制御部は、前記デバイスによる作用の強度を、当該指標値によって示されるエッジ成分がより大きい場合に、当該指標値によって示されるエッジ成分がより小さい場合と比較して、より強くする、
プログラム。
画像に描画されたオブジェクトの認識を支援するシステムとして、コンピュータを機能させるプログラムであって、
前記コンピュータは、入力画像を分割した複数の領域のそれぞれに対応付けて、当該領域に描画されたオブジェクトの特徴量を記憶している記憶装置を有し、
前記コンピュータを、
使用者の指示に基づいて、前記入力画像のうち使用者が認識する範囲を選択する選択部と、
選択された前記範囲に含まれるそれぞれの領域に対応する前記特徴量を、前記記憶装置から読み出して、読み出したそれぞれの前記特徴量に基づき指標値を算出する算出部と、
算出した前記指標値に基づき、使用者の聴覚または触覚に作用するデバイスを制御する制御部と
して機能させ、
前記記憶装置は、前記入力画像の各ピクセルのピクセル値を前記特徴量として記憶しており、
前記算出部は、選択された前記範囲に含まれるそれぞれのピクセルに対応するピクセル値に基づいて、選択された前記範囲の画像に含まれるエッジ成分を示す前記指標値を算出し、
前記制御部は、前記デバイスによる作用の強度を、当該指標値によって示される当該エッジ成分がより大きい場合に、当該指標値によって示される当該エッジ成分がより小さい場合と比較して、より強くする、
プログラム。
画像に描画されたオブジェクトの認識を支援するシステムとして、コンピュータを機能させるプログラムであって、
前記コンピュータは、入力画像を分割した複数の領域のそれぞれに対応付けて、当該領域に描画されたオブジェクトの特徴量を記憶している記憶装置を有し、
前記コンピュータを、
使用者の指示に基づいて、前記入力画像のうち使用者が認識する範囲を選択する選択部と、
選択された前記範囲に含まれるそれぞれの領域に対応する前記特徴量を、前記記憶装置から読み出して、読み出したそれぞれの前記特徴量に基づき指標値を算出する算出部と、
算出した前記指標値に基づき、使用者の聴覚または触覚に作用するデバイスを制御する制御部と
して機能させ、
前記入力画像は、前記オブジェクトである立体形状をレンダリングすることで生成され、
前記記憶装置は、前記入力画像のピクセル毎に、前記立体形状のうち当該ピクセルに対応する部分の、レンダリングにおける視点からの距離を前記特徴量として記憶しており、また、前記入力画像の各ピクセルのピクセル値を前記特徴量として記憶しており、
前記算出部は、選択された前記範囲に含まれるそれぞれのピクセルに対応する前記距離を、前記記憶装置から読み出して、読み出したそれぞれの前記距離の合計値に基づいて第１の指標値を算出し、また、選択された前記範囲に含まれるそれぞれのピクセルに対応するピクセル値に基づいて、選択された前記範囲の画像に含まれるエッジ成分を示す第２の指標値を算出し、
前記制御部は、前記デバイスにより出力される音の音圧を、当該第１の指標値によって示される当該距離の合計値がより小さい場合に、当該第１の指標値によって示される当該距離の合計値がより大きい場合と比較して、より大きくし、また、前記デバイスにより出力される音の高さを、当該第２の指標値によって示される当該エッジ成分がより大きい場合に、当該第２の指標値によって示される当該エッジ成分がより小さい場合と比較して、より高くする、
プログラム。
画像に描画されたオブジェクトの認識を支援するシステムとして、コンピュータを機能させるプログラムであって、
前記コンピュータは、入力画像を分割した複数の領域のそれぞれに対応付けて、当該領域に描画されたオブジェクトの特徴量を記憶している記憶装置を有し、
前記コンピュータを、
使用者の指示に基づいて、前記入力画像のうち使用者が認識する範囲を選択する選択部と、
選択された前記範囲に含まれるそれぞれの領域に対応する前記特徴量を、前記記憶装置から読み出して、読み出したそれぞれの前記特徴量に基づき指標値を算出する算出部と、
算出した前記指標値に基づき、使用者の聴覚または触覚に作用するデバイスを制御する制御部と
して機能させ、
前記入力画像は、立体形状をレンダリングしたオブジェクトを含み、
前記記憶装置は、前記入力画像のピクセル毎に、前記立体形状のうち当該ピクセルに対応する部分の、レンダリングにおける視点からの距離を前記特徴量として記憶しており、
前記選択部は、選択する前記範囲を使用者の指示に基づいて変更し、
前記算出部は、選択する前記範囲が変更される毎に、選択する前記範囲に含まれるそれぞれのピクセルに対応する前記距離を、前記記憶装置から読み出して、読み出したそれぞれの距離の合計値に基づいて前記指標値を算出し、
前記制御部は、前記デバイスによる作用の強度を、選択する前記範囲の変更前に前記算出部により算出された当該指標値が示す当該距離の合計値と、選択する前記範囲の変更後に前記算出部により算出された当該指標値が示す当該距離の合計値との差分の大きさに基づいて制御する、
プログラム。