WO2004056153A1

WO2004056153A1 - 音声情報支援システム

Info

Publication number: WO2004056153A1
Application number: PCT/JP2003/016110
Authority: WO
Inventors: Takuichi Nishimura; Hideyuki Nakashima; Ikuko Yairi; Seiji Igi
Original assignee: National Institute Of Advanced Industrial Science And Technology; National Institute Of Information And Communications Technology, Incorporated Administrative Agency
Priority date: 2002-12-16
Filing date: 2003-12-16
Publication date: 2004-07-01
Also published as: EP1583392A1; KR20060028757A; US8073155B2; JP2004200815A; AU2003289362A1; JP4228069B2; EP1583392A4; CN1754404A; US20080025548A1; AU2003289362A8

Abstract

画像を表示する画像表示装置(1)、画像表示装置(1)により表示されている画像中の任意位置に向けて、音声情報を基に変調した電磁波を出力する音声出力装置(2)、および前記画像中の位置にて前記電磁波を受信して電気信号に変換し、当該電気信号を音声再生する音声再生端末(3)を具備し、映像を見ているユーザ一人一人に個別に対応した音声情報支援を実現することのできる音声情報支援システムを提供する。

Description

明細書音声情報支援システム技術分野

この出願の発明は、音声情報支援システムに関するものである。さらに詳しくは、この出願の発明は、スクリーン等に表示されている画像を見ているユーザー人一人に個別に対応した音声情報支援を実現することのできる、新しい音声情報支援システムに関するものである。

従来、テーブル天板部にスクリーンを組み込み、その背面下方からプロジェクタにより映像を投射するようにした情報システムが知られている（特許文献 1参照)。この情報システムによれば、テーブルを囲んで多くのユーザが同時に映像を見ることが可能になるとしている。

特許文献 1 ：特開 2 0 0 1— 7 5 7 3 3号公報

しかしながら、上記特許文献 1記載の情報システムでは、ユーザはテーブル上に映し出される映像を見ることができるだけで、その映像に関連した音声（声や音楽、信号音など。以下同じ）については各ユーザが個別に好きなときに好きな音声情報を聞けるようにはなっていない。もちろん映像とともに音声を出力する態様も上記特許文献 1では提案されているが、テ一ブルを囲んだユーザ全員に対して音声情報をスピーカから流しており、常に全員が同じ音声を聞くことになるだけである。

すなわち、映像を見ているユーザ一人一人が「いま、ここで、私が」欲しい音声情報を取得できるといった、各ユーザに個別に対応した音声情報支援は実現されていないのである。発明の開示そこで、この出願の発明は、以上のとおりの事情に鑑み、スクリーンや各種デイスプレイ上の画像（静止画および動画を問わない。以下同じ）を見ているュ一ザ一人一人に個別に対応した音声情報支援を実現することのできる、全く新しい音声情報支援システムを提供することを課題としている。

この出願の発明は、上記の課題を解決するものとして、第 1には、図 1にその機能ブロック図を例示したような、画像を表示する画像表示装置（1)、画像表示装置（1) により表示されている画像中の 1つまたは複数の位置に向けて、音声情報を基に変調した電磁波を出力する音声出力装置（2)、および、前記画像中の位置にて前記電磁波を受信し電気信号に変換する変換手段 (31) と、当該変換手段 (31) により得られた電気信号を音声再生する音声再生手段 (32) とを有する音声再生端末（3)、を備えたことを特徴とする音声情報支援システムを提供する。

第 2には、図 2にその機能ブロック図を例示したような、画像を表示する画像表示装置（1)、画像表示装置（1)により表示されている画像中の 1つまたは複数の位置に向けて、音声情報を基に変調した電磁波を出力する音声出力装置 (2 )、前記画像中の位置にて前記電磁波を受信し電気信号に変換する変換手段 (31 ) と、当該変換手段（31) により得られた電気信号を音声再生する音声再生手段（32) と、 IDを発信する ID発信手段（33) とを有する音声再生端末 ( 3)、および、音声再生端末 (3) の ID発信手段（33) により発信された ID を検出する I D検出装置（4)、を備えたことを特徴とする音声情報支援システムを提供する。

第 3には、図 3にその機能ブロック図を例示したような、画像を表示する画像表示装置（1)、画像表示装置 (1)により表示されている画像中の 1つまたは複数の位置に向けて、音声情報を基に変調した電磁波を出力する音声出力装置 (2 )、前記画像中の位置にて前記電磁波を受信し電気信号に変換する変換手段 ( 31 ) と、当該変換手段（31) により得られた電気信号を音声再生する音声再生手段（32) とを有する音声再生端末（3)、および'、音声再生端末 (3)の位置を検出する位置検出装置（5)、を備えたことを特徵とする音声情報支援システムを提供する。

第 4には、図 4にその機能ブロック図を例示したような、画像を表示する画像表示装置（1)、画像表示装置 (1)により表示されている画像中の 1つまたは複数の位置に向けて、音声情報を基に変調した電磁波を出力する音声出力装置（2 )、前記画像中の位置にて前記電磁波を受信し電気信号に変換する変換手段 (31 ) と、当該変換手段（31) により得られた電気信号を音声再生する音声再生手段（32) と、 IDを発信する ID発信手段（33) とを有する音声再生端末（ 3)、音声再生端末 (3)の ID発信手段（33)により発信された IDを検出する I D検出装置（4)、および、音声再生端末 (3)の位置を検出する位置検出装置（5)、を備えたことを特徵とする音声情報支援システムを提供する。

また、第 5には、図 5にその機能ブロック図を例示したような、前記画像表示装置（1) は、画像を表示するスクリーン手段（11) と、当該スクリーン手段に対して画像を投射する画像投射手段（12) とを有していることを特徴とする音声情報支援システム、第 6には、前記スクリーン手段（11) は、その画像表示面が平面状、曲面状または凹凸面状のものであることを特徵とする音声情報支援システム、第 7には、前記スクリーン手段（11) は、その画像表示面が透光性のものであることを特徵とする音声情報支援システム、第 8には、前記画像投射手段（12) は、前記スクリーン手段 (11) に対してその画像表示面側から画像を投射することを特徴とする音声情報支援システム、第 9には、前記画像投射手段 (12) は、前記スクリーン手段 (11) に対してその画像表示面とは反対面側から画像を投射することを特徴とする音声情報支援システム。

また、第 10には、前記画像表示装置 (1) は、ブラウン管ディスプレイであることを特徴とする音声情報支援システム、第 11には、前記画像表示装置 (1

) は、フラットパネルディスプレイであることを特徴とする音声情報支援システム、第 12には、前記フラットパネルディスプレイは、液晶ディスプレイ、ブラズマディスプレイ、エレクトロルミネセンスディスプレイ、発光ダイオードディスプレイ、蛍光表示管ディスプレイ、電解放出ディスプレイのいずれかであることを特徴とする音声情報支援システムを提供する。また、第 13には、図 6にその機能ブロック図を例示したような、前記音声出力装置 (2) は、音声情報を基に電磁波を変調する変調手段（21) と、変調手段（21) により変調された電磁波を前記画像中の位置に向けて照射する電磁波照射手段（22) とを有していることを特徵とする音声情報支援システム、第 1 4には、前記電磁波照射手段（22) は、電磁波を出力する電磁波源を有していることを特徵とする音声倩報支援システム、第 15には、前記電磁波源は、前記画像中の複数位置それぞれに対応して配設されている複数のものであることを特徵とする音声情報支援システム、第 16には、前記電磁波源は、前記画像中の複数位置に向けて照射方向を変更することのできる 1つまたは複数のものであることを特徵とする音声情報支援システム、第 17には、前記電磁波源は、電磁波としての光を出力する光源であることを特徵とする音声情報支援システム、第 18 には、前記光源は、発光ダイオードまたはレーザであることを特徴とする音声情報支援システム、第 19には、前記光源からの光を光ケーブルを通して前記画像中の位置に照射することを特徵とする音声情報支援システムを提供する。

また、第 20には、前記音声再生端末 (3) の前記変換手段（31) は、前記電磁波照射手段の前記光源からの光を受光して光電変換する光電変換手段であることを特徴とする音声情報支援システム、第 21には、前記光電変換手段は、太陽電池であることを特徴とする音声情報支援システム、第 22には、前記音声再生端末 (3) の前記変換手段（31) は、端末ュ一ザの身体の一部に装着可能となっていることを特徵とする音声情報支援システム、第 23には、前記身体の一部が手または足であることを特徴とする音声情報支援システム、第 24には、前記音声再生端末 (3) の前記変換手段（31) は、端末ユーザが持つ指示棒に装着可能となっているまたは組み込まれていることを特徵とする音声情報支援システム、第 25には、前記音声再生端末 (3) の前記音声再生手段（32) は、ィャホンもしくはへッドホンまたはスピーカであることを特徵とする音声情報支援システム、第 26には、前記音声再生端末 (3) は、別体の駆動電源を必要としない無電源端末であることを特徴とする音声情報支援システムを提供する。また、第 27には、図 7にその機能ブロック図を例示したような、前記音声再生端末 (3) の前記 ID発信手段（33) は、 RFIDタグ（34) であり、前記 ID検出装置 (4) は、当該 RF IDタグ（34) との間で I D認証通信を行うリーダライタ（41) であることを特徴とする音声情報支援システム、第 28 には、図 8にその機能ブロック図を例示したような、前記音声再生端末 (3) の ID発信手段（33) は、光 IDタグ（35) であり、前記 I D検出装置 (4) は、当該光 IDタグ（35) が発する ID用赤外光を受光して IDデ一夕を出力する赤外線センサ（42) であることを特徴とする音声情報支援システム、第 2 9には、図 9にその機能ブロック図を例示したような、前記光 IDタグ（35) は、 ID用赤外光の赤外線光源（35 a) と、 IDデータを記憶する ID記憶手段（35 b) と、 I Dデータに応じて I D用赤外光を変調する変調手段 (35c ) とを有しており、前記赤外線センサ (42) は、当該光 IDタグ（35) により変調されて発信された I D用赤外光を受光して I Dデータを出力する、ことを特徵とする音声情報支援システムを提供する。

そして、第 30には、図 10にその機能ブロック図を例示したような、前記位置検出装置 (5) は、位置用赤外光の赤外線光源（51) と、前記音声再生端末 (3) により反射されて戻されてきた位置用赤外光を撮像する赤外線撮像手段（ 52) と、赤外線撮像手段（52) により撮像された位置用赤外光像に基づいて音声再生端末 (3) の位置を検出する位置検出手段（53) とを有しており、前記音声再生端末. (3) は、前記位置検出装置 (5) により発信された位置用赤外光を反射させる反射手段 (36) を有している、ことを特徴とする音声情報支援システム、第 31には、前記位置検出装置 (5) は、前記画像表示装置（1) の画像表示面に設けられたタッチパネルと、端末ユーザが蝕れた当該夕ッチパネルの位置に基づいて前記音声再生端末 (3) の位置を検出する位置検出手段とを有していることを特徵とする音声情報支援システムを提供する。図面の簡単な説明

図 1は、この出願の発明を説明するための機能ブロック図である。

図 2は、この出願の発明を説明するための機能ブロック図である。図 3は、この出願の発明を説明するための機能ブロック図である。

図 4は、この出願の発明を説明するための機能プロック図である。

図 5は、この出願の発明を説明するための機能ブロック図である。

図 6は、この出願の発明を説明するための機能プロック図である。

図 7は、この出願の発明を説明するための機能ブロック図である。

図 8は、この出願の発明を説萌するための機能プロック図である。

図 9は、この出願の発明を説明するための機能プロック図である。

図 1 0は、この出願の発明を説明するための機能ブロック図である。

図 1 1は、この出願の発明の一実施形態を示した模式図である。

図 1 2は、この出願の発明の別の一実施形態を示した模式図である。

図 1 3は、 I D認証を行う場合のこの出願の発明の一実施形態を示した模式図である。

図 1 4は、 I D認証を行う場合のこの出願の発明の別の一実施形態を示した模式図である。

図 1 5は、位置認証を行う場合のこの出願の発明の一実施形態を示した模式図である。

図 1 6は、 I D認証および位置認証を行う場合のこの出願の発明の一実施形態を示した模式図である。

図 1 7は、図 1 6の実施形態を説明するための図である。

図 1 8は、 I D認証および位置認証を行う場合のこの出願の発明の別の一実施形態を示した模式図である。

図 1 9は、位置認証を行うこの出願の発明のさらに別の一実施形態を示した模式図である。

図 2 0は、球面スクリーン体を用いる場合の一例を示した模式図である。図 2 1は、ブラウン管ディスプレイを用いる場合の一例を示した模式図である図 2 2は、液晶ディスプレイを用いる場合の一例を示した模式図である。図 2 3は、プラズマディスプレイを用いる場合の一例を示した模式図である。図 24は、エレクトロルミネセントディスプレイを用いる場合の一例を示した模式図である。

図 25 (a) (b) は、各々、平面体および求面体発光ダイオードディスプレイを用いる場合の一例を示した模式図である。

図 26は、赤外線光源を天板スクリーン部の上方に配設した場合の一例を示した模式図である。

図 27は、赤外線光源を天板スクリーン部の上方に配設した場合の別の一例を示した模式図である。

図 28は、指示棒の一例を示した模式図である。

図 29は、画像表示面の一例を示した模式図である。

図 30は、位置認証の別の一実施形態を示した模式図である。

図 31は、立体スクリーン体の一例を示した模式図である。発明を実施するための最良の形態

[第 1の実施形態]

図 11および図 12はこの出願の発明の一実施形態を示したものである。

これら図 11および図 12に示した実施形態では、まず、前記画像表示装置（ 1) として、前記スクリーン手段（11) に相当するテーブル状体（100) と前記画像投射手段 (12) に相当するプロジェクタ装置 (102) とを備えている。

より具体的には、テーブル状体（100) は平面で且つ透光性の天板スクリ一ン部（101) を有し、プロジェクタ装置（102) は、この天板スクリーン部 (101) の画像表示面とは反対の背面側から画像を投射するように、天板スクリーン部（101) の下方に設置されている。図 11では、プロジェクタ装置 ( 102) を一つ用いて、天板スクリーン部（101) —面に画像を投射するものとなっており、図 12では、プロジェクタ装置（102) を二つ配設し、天板スクリーン部（101) を二画面に分割してそれぞれに画像投射するものとなっている。図 12におけるプロジェクタ装置（102) は、プロジェクタ本体（10 3) およびそれからの投射画像を上方へ屈折させて天板スクリーン部（101) 背面へ導く鏡等の光学系（104) を有している。

次いで、前記音声出力装置（2) としては、前記電磁波照射手段（22) に相当する複数の赤外線光源（201) 力^なる赤外線光源アレイ（200) を、天板スクリーン部 (101) の下方に備え、また前記変調手段 ( 1) に相当する機能を有する音声コントロール部（202) を備えている。

より具体的には、赤外線光源アレイ（200) の各赤外線光源（201) は、天板スクリーン部（101) に表示されている画像中の複数の位置それぞれに対応してアレイ状に配設されており、天板スクリーン部（101) の背面から画像中の各位置へ、音声コントロール部（202) により音声情報を基に変調された赤外線を照射するようになっている。図 12では、天板スクリーン部（101) に分割表示されている二つの画像合わせて 6 X 16のスポット位置を設定して、これら各スポット位置に対応させた 6 X 16の赤外線光源（201) を配設してレる。また、プロジェクタ装置 (102) (プロジェクタ本体 (103) および光学系（104)) による天板スクリーン部（101)への画像投射の邪魔にならないように、投射領域を空けている。

このような赤外線光源（201) から出射される赤外光は、音声コントロール部（202) によって出力すべき音声情報を基に変調されたものとなっている。より具体的には、たとえば、音声信号の電圧レベルに応じて赤外線光源（20.1 ). の駆動電圧を変化させることにより、出射赤外光の強度を変調制御すればよいさて、以上のように天板スクリーン部（101) にプロジェクタ装置 (102 ) からの投射画像が表示され、且つその画像中の複数スポット位置に赤外線光源アレイ（200) 力らの音声変調赤外光が照射されている状態において、前記音声再生端末 (3) の前記変換手段（31)および前記音声再生手段（32) (図 1 参照）を用いることで、音声変調赤外光を受信して光電変換し、得られた電気信号を音声として再生できるようになる。

本実施形態では、この変換手段（31) に相当する太陽電池（302) を備えた指装着端末部（301) を端末ユーザ（600) の指に装着させ、その太陽電池（302) にケーブル（図示なし）等を介して結線させた音声再生手段 (32 ) に相当するイヤホン（300) を端末ユーザの耳に装着させるようにしている。これにおいて、端末ユーザ（600) が自分の指を画像中の任意のスポット位置に近づける、より具体的には指に装着している太陽電池（302) をスポット位置に近づけると、太陽電池（302) がそのスポット位置に照射されている上記音声変調赤外光を受光して光電変換する。光電変換により得られた電気信号はイヤホン（300) に送られてそのまま音声出力され、端末ユーザ（600) はその音声を聞くことになる。この音声は、当然元の音声情報と同じものである。以上の本実施形態の音声情報支援システムによれば、複数の端末ユーザ (60 0) がテーブル状体 (100) の天板スクリーン部 (101) 上に映し出される画像を見ることができるだけでなく、端末ユーザ（600) —人一人がその画像に関連した好きな音声情報を好きなときに聞くことができるようになる。すなわち、各端末ユーザ（600) に個別に対応した音声情報支援が実現されているのである。

[第 2の実施形態]

この音声情報支援システムにおいては、各ユーザに対する音声情報支援の個別化（プライベート化とも呼べる）をさらに推し進めるべく、端末ユーザまたは端末自体の I Dおよび位置に基づいた音声情報支援を行うようにもシステム構成でさる。

まず、図 13は、 IDに基づく音声情報支援についての一実施形態を示したものである。

この図 13の実施形態では、上記太陽電池 (302) と前記 ID発信手段 (3 3) (図 2、 7参照）に相当する RF IDタグ（303) とが一体配置された指装着端末部（301) (図中の拡大概念図を参照）が用いられており、一方でテ一ブル状体 (100) には、その天板上の天板スクリーン部（101) での画像表示の邪魔にならない 4隅部にリーダライタ（401) が配設されており、且つ各リ一ダライタ（401) の出力は ID認証部 (400) に結線されている。本実施形態ではこれらリーダライタ（401) および ID認証部 (400) が前記 ID 検出装置 (4) (図 2、 7参照）に相当する。指装着端末部（301) において、太陽電池（302) は、上記赤外線光源アレイ（200) によって天板スクリーン部 (101) の背面から照射される音声変調赤外光を天板スクリーン部 (10 1) 上にて受光するために、受光面が下方を向くように配置されていることが好ましく、また RF I Dタグ（303) は、リ一ダライタ（401) との I D認証通信が可能であればよいので、たとえば太陽電池（302) とは反対側に設けられていても同じ側に設けられていてもよい（図中の拡大概念図を参照)。反対側配置の場合、端末ユーザ (600) はリーダライタ（401) 上で指装着端末部 ( 301) を裏返せばよい。

これにおいて、端末ユーザ（600) が、指装着端末部（301) を指に装着した状態でその RF IDタグ（303) をリ一ダライタ（401) に近づけると、 RFIDタグ（303) とリーダライタ（401) との間で必要なデータ通信が行われて、リーダライタ（401) で読み取られた IDデ一夕が ID認証部 ( 400) に送られる。そして、 ID認証部（400) で認証された IDデータに基づいて、現在どのような端末ユーザ（600) が画像を見ているのかなどを自動判別することができ、さらにはその判別に従って音声コントロール部 (202 ) を介して端末ユーザ（600) に適した音声情報を発信するようにすることもできる。

このとき、たとえば、所定の IDデータに対応させた音声情報を記憶した音声情報データベースと、 ID認証部（400) により認証された IDデータに対応した音声情報を音声情報データベースから検索選出する音声情報選出手段とを構築しておけば、その IDデータを持つ端末ユーザ（600) にのみ対応した音声情報による個別支援を実現できる。

[第 3の実施形態]

図 14は、 IDに基づく音声情報支援についての別の一実施形態を示したものである。

本実施形態では、指装着端末部 (301) は、上記 RF IDタグ（303) の代わりに、光 IDタグ（304) が太陽電池（302) と一体配置されたものとなっている（図中の拡大概念図を参照)。この光 I Dタグ（304) は、前記図 9 に示したように I D用赤外光を発する赤外線 LEDビーコン等の赤外線光源 (3 5 a) と、 IDデータを記憶する IDメモリ等の ID記憶手段（35 b) と、 I Dデ一夕に応じて I D用赤外光を変調する変調回路等の変調手段 (35 c) とを有している。一方、テーブル状体 (100) の上方には、光 IDタグ（304) からの ID用赤外光を受光して IDデータを出力する赤外線センサ（402) 複数が適宜位置に配設されており、且つ各赤外線センサ（402) の出力は ID認証部 (400) に結線されている。

これにおいては、端末ユーザ（600) が指装着端末部（301) を指に装着した状態にて、その光 IDタグ（304) が記憶している自己の IDデータに応じて変調した ID用赤外光を発光すると、赤外線センサ（42) がそれを受光し復調して I Dビット列を取り出す。後は上記図 13の実施形態と同様に、この I Dビット列を受けた ID認証部 (400) が IDデータを認証し、この IDデ一夕を持つ端末ユーザ (600) にのみ適した音声情報が音声コントロール部 ( 2 02) を介して発信される。

[第 4の実施形態]

続いて、図 15は、位置に基づく音声情報支援についての一実施形態を示したものである。

本実施形態においては、指装着端末部（301) は、前記反射手段 (36) (図 10参照）に相当する再帰型の反射シート（305) が太陽電池（302) と一体配置されたものとなっている（図中の拡大概念図を参照)。

一方、テープレ状体（100) の上方には、赤外線 LED (502) および赤外線カメラ（501) を一体に備えたものが適宜位置に配設されている。赤外線 LED (502) は位置用赤外光を発光する前記赤外線光源（ 51 ) (図 10参照 ) に相当し、赤外線カメラ（501) は上記指装着端末部（301) の反射シート（305) により反射されて戻されてきた位置用赤外光を撮像する前記赤外線撮像手段（52) (図 10参照）に相当するものである。再帰型の反射シート（3 05) は受光した光を入射方向と同方向に反射するものであるので、反射されて戻されてきた赤外光を的確に撮像するために赤外線カメラ（501) と赤外線 L ED (502) とは近接配置させて一体構成〖こしている。そして赤外線カメラ（ 501) の出力は、赤外線カメラ（501) により撮像された位置用赤外光像に基づいて音声再生端末 (3)の位置を検出する前記位置検出手段（53) (図 10 参照）に相当する位置認証部 (500) に結線されている。位置認証部 (500 ) は、赤外線カメラ（501) と赤外線 LED (502) の一体型筐体の中に組み込まれていても、外部別体として設けられていてもよい。

これにおいて、赤外線 LED (502) からは位置用赤外光が天板スクリーン部（101) の略全面に対して常時出射されており、この出射領域内に指装着端末部 (301) が入ると、つまり端末ユーザ（600) が自己の指に装着した指装着端末部 (301) を天板スクリーン部（101) 上に持っていくと、その再帰型の反射シート（305) が位置用赤外光を受光して入射方向とほぼ同方向に反射する。この反射赤外光は赤外線カメラ（501) に再帰する。赤外線カメラ (501) は可視光カツトフィルタを通して位置用赤外光を輝点として撮像し、この画像データを受けた位置認証部（500) がフレーム座標から輝点のカメラ相対位置を画像処理により検出する。この検出位置が天板スクリーン部（101 ) 上での指装着端末部 (301) の位置として認証されて、現在画像中のどの位置に指装着端末部（301) があるかを自動判別することができる。そして、赤外線光源アレイ（200) が音声変調赤外光を照射している天板スクリーン部（ 101) 上の位置の座標を予め音声コント口一ル部（202) に記憶させておき、その照射位置の中から上記指装着端末部（301) の位置座標と一致するものを選択し、選択した照射位置に対して音声変調赤外光を照射するようにすれば、端末ュ一ザ（600) がその指装着端末部 (301) でつまり自分の指で指し示している画像中の位置に対して音声情報を発信できるようになる。

なお、再帰型の反射シート（305) については、たとえば、再帰型コーナーキューブをシ一ト状に複数配置したもので構成することができ、上記のとおり赤外線 LED (502) による上方からの位置用赤外光を受光するために、赤外線光源アレイ（200) による下方からの音声変調赤外光をする太陽電池 (3 02) とは反対側に、つまり受光反射面が上方を向くように、配置されていることが好ましい。

[第 5の実施形態]

この音声情報支援システムではさらに、上記 IDに基づく音声情報支援および位置に基づく音声情報支援を組み合わせることで、より一層優れた個別音声情報支援を実現することもできる。

図 16は、上記図 13および図 15の実施形態を組み合わせて、 I Dおよび位置の両方に基づく音声情報支援を行う一実施形態を示したものである。なお図 1 7は本実施形態をさらに説明するための概念図であり、下記説明にて適宜参照する。

本実施形態では、まず、赤外線 LED (502) から位置用赤外光が常時出射されており、それが天板スクリーン部 (101) 上の指装着端末部（301) の反射シート（305) により赤外線カメラ（501) へ再帰反射されて撮像され、位置認証部 (500) にてその撮像データに基づいた位置認証が行われる。すなわち、再帰反射された位置用赤外光を撮像している限り、指装着端末部（30 1) を追跡つまりトラッキングできるのである（図 17参照)。

一方、端末ユーザ（600) が指装着端末部（301) の RF I Dタグ (30 3) を天板上のある一つのリーダライタ（401) に近づけると、上記のとおりに ID認証が行われる。このとき、赤外線カメラ（501) および位置認証部 ( 500) により検出認証された指装着端末部（301) の位置座標はリーダライ夕（401) の位置座標と一致することになるので、各リーダライタ（401) の配設位置座標を予め記憶させておけば、どのリーダライタ（401) で ID認証が行われたかを自動判別でき、トラッキングしている指装着端末部 (301) と IDデータとを対応付けることができる（図 17参照)。

そして、上記認証された IDデータに対応した音声情報を検索選択し、それに基づいて変調した赤外光を、上記認証された指装着端末部（301) の位置座標と一致する画像中の位置へ照射させることで、当該 I Dデータを持つ端末ユーザ (600) がまさに興味を示している画像中の位置に対してその端末ユーザ（6 00) にのみ適した音声情報を発信することができ、かつ、この個別音声情報支援を指装着端末部（301) のトラッキング中、常に的確に行うことができる（図 17参照)。

図 17の一例について説明すると、ある一人が日本人で、ある一人が外国人であると I D認証により判別された場合、それぞれが I D認証通信を行ったリーダライタ（401) の位置からトラッキングを行い（ID認証とトラッキング開始 (撮像開始）を同期させればよい)、日本人に対してはその指装着端末部（301 ) を天板スクリーン部（101) 上を動かしている間常に画像中のどのスポット位置でも日本語音声情報が提供され、外国人に対しては同様に外国語音声情報が提供されるようになる。

[第 6の実施形態]

図 18は、上記図 14および図 15の実施形態を組み合わせて、 I Dおよび位置の両方に基づく音声情報支援を行う一実施形態を示したものである。

本実施形態では、まず、指装着端末部（301) が、光 IDタグ (304) から I D用赤外光を予め設定した時間間隔で断続的に出射する。この I D用赤外光は、別々の経路を経て二つの異なるセンサつまり赤外線センサ（402) および赤外線カメラ（501) に到達する。赤外線センサ（402) では上記のとおりに ID用赤外光を復調して IDビット列を取り出し、 ID認証部 (400) にて I D認証が行われる。赤外線カメラ（501) では可視光カツトフィルタを通して ID用赤外光を輝点として捕らえ、位置認証部（500) にて位置認証が行われる。このとき、赤外光発光は上記既定時間間隔をおいて繰り返されているので、輝点の変化からその出力タイミングを知ることができる。すなわち、赤外線センサ（402) の出力と赤外線カメラ（501) によるカメラ画像を同期させることか'できるのである。

一方、上記のとおり、赤外線 LED (502) からは位置用赤外光を常時出射しており、これを天板スクリーン部（101) 上の指装着端末部.（301) の反射シート（305) が赤外線カメラ（501) へ再帰反射させ、その撮像データに基づき位置認証部 (500) にて位置認証が行われる。この位置用赤外光つまり反射シート（305) の輝点は上記 ID用赤外光のものとは異なりロストしにくいので、反射シート（305) の位置つまり指装着端末部（301) の位置を常に追跡しておくことができる。したがって、反射シート（305) の輝点の近傍に光 I Dタグ（304) の輝点が現れれば、上記赤外線センサ (402) および ID認証部 (400) によって認証された IDを上記赤外線カメラ（501) および位置認証部（500) によって認証された位置に対応付けることができる。すなわち、指装着端末部（301) を常に追跡つまりトラッキングしながら、断続的に検出される I D情報と位置情報とを対応付けることができるのである。そして、上記認証された IDデータに対応した音声情報を検索選択し、それに基づいて変調した赤外光を、上記認証された指装着端末部（301) の位置座標と一致する画像中の位置へ照射させることで、当該 I Dデータを持つ端末ユーザ (600) がまさに興味を示している画像中の位置に対してその端末ユーザ（6 00) にのみ適した音声情報を発信することができ、かつ、この個別音声情報支援を指装着端末部 (301) のトラッキング中、常に的確に行うことができる。

[第 7の実施形態]

ところで、位置認証については、上記 RF IDタグ（303) や光 IDタグ（ 304) 以外にも、夕ツチパネルを用いることを考慮できる。

図 19は、この夕ツチパネルを用いた位置認証に基づいて音声情報支援を行う一実施形態を示したものである。

本実施形態では、テーブル状体（100) の天板スクリーン部（101) 上に夕ツチパネル（503) を設けている。タツチパネル（503) は、天板スクリ —ン部（101) に表示されている画像が夕ツチパネル（503) を通しても端末ユーザ（600) に見えるように、透明なものとする。これにおいて、端末ュ一ザ（600) が夕ツチパネル（503) に触れると、その位置が指装着端末部 (301) の位置として検出されることになる。

後は、その夕ツチ位置座標と音声変調赤外光の照射位置座標との一致を判断することで、上記と同様に、一致した照射位置への個別音声情報支援を行うことができる。もちろん上記 ID認証との組み合わせもできることは言うまでもない。

[他の実施形態]

この出願の発明は以上の実施形態に限定されるものではなく、さらに様々な態様が可能である。

[1] たとえば、上記図 11〜図 19の実施形態では、画像表示装置（1) のスクリーン手段 (11) として、平面形状の天板スクリーン部（101) を有するテ一ブル状体（100) を用いているが、曲面形状のスクリーン部を利用することもでき、この場合ではたとえば球面や半球面等のスクリーン体にその背面から画像投射する形態を考慮できる。

図 20は、透光性の球面スクリーン体 (700) とプロジェクタ装置 (701 ) との一例を示したものである。 360度の球面スクリーン体 (700) の内部に複数個のプロジェク装置（701) を配設し、各プロジェクタ装置（701) が各々に割り当てられた球面領域に対して画像投射を行うようになっている。この場合、前記赤外線光源（201) は、画像中の贿のスポット位置へ音声変調赤外光を照射できるように、適宜個数を適宜位置に配設させておけばよい。

[2] また、上記図 11〜図 19の実施形態はスクリーン手段（11) および画像投射手段 (12)からなる画像表示装置 (1) (図 5参照）についてのものとなっているが、画像表示装置 (1) としては、ブラウン管ディスプレイ（-CR Tディスプレイ）や、液晶ディスプレイ（=LCD)、プラズマディスプレイ (== PDP), エレクトロルミネセントディスプレイ（=ELD)、発光ダイォ一ドデイスプレイ（=LEDディスプレイ）、蛍光表示管ディスプレイ（=VFD)、電解放出ディスプレイ（FED)等のフラットパネルディスプレイ（-FPD) など、様々な装置を用いることができる。いずれの表示装置を用いる場合でも、上記音声変調赤外光を代表とする音声電磁波を画像表示面の適宜位置へ照射できるようにすればよい。

図 21は、ブラウン管ディスプレイ（801) と赤外線光源 (800) との一例を示したものである。この場合、赤外線光源（800) は、ブラウン管デイスプレイ（801) の蛍光面（802) を透過して画像中の適宜のスポット位置へ音声変調赤外光を照射できるように、適宜個数をブラウン管（803) の外側の ¾ϋ位置に配設させておけばよい。このとき、ブラウン管（803) には通常外部コーティングおよび内部コーティングが施されているので、たとえば赤外光を通したい部分のコーティングを削ったり、また赤外光透過性の材料を用いたりして、赤外光が両コ一ティングを十分に透過できるようにレておくことが必要となる。もちろんこの図 21の例に限定されるものではない。

図 22は、透過型の液晶ディスプレイ（805) と赤外線光源 (804) との —例を示したものである。図 22中の（806) はバックライト光源、（807) は偏光フィ Jレタ、（808) はガラス基板、 (809) は透明電極、 (810) は液晶層、（811) はカラーフィルタ、（812) はガラス基板、 (813) は偏光フィル夕、（814) は表示面である。この場合、赤外線光源 (804) は、各層を透過して表示面 (814) 上の適宜のスポット位置へ音声変調赤外光を照射できるように、適宜個数を適宜位置に配設させておけばよい。各層の適宜部位に赤外光透過性の材料を用いたりしてもよい。もちろんこの図 22の例に限定されるものではない。

図 23は、プラズマディスプレイ（816) と赤外線光源（815) との一例を示したものである。図 23中の（817) は背面のガラス基板、（818) はァドレス電極（データ電極とも呼ぶ)、（819) は蛍光体、 (820) は隔壁、 (8 21) は表示電極（走査電極および維持電極との対)、（822)誘電体層、 (82 3) は前面のガラス基板である。この場合、赤外線光源（815) は、画像表示されるガラス基板（823) 上の適宜のスポット位置へ音声変調赤外光を各層を透過して照射できるように、適宜個数を適宜位置に配設させておけばよい。各層の Ml部位に赤外光透過性の材料を用いたりしてもよい。もちろんこの図 23の例に限定されるものではない。

図 24は、透明のエレクトロルミネセントディスプレイ（825) と赤外線光源（824) との一例を示したものである。図 24中の（826) はガラス基板、（827) は透明電極、 (828) は繊層、（829) は発光層、（830) は繊層、（831) はガラス基板である。この場合、赤外線光源 (824) は、各層を透過してガラス基板（8 3 1 ) 上の適宜のスポット位置へ音声変調赤外光を照射できるように、適宜個数を適宜位置に配設させておけばよい。各層の適宜部位に赤外光透過性の材料を用いたりしてもよい。もちろんこの図 2 4の例に限定されるものではない。

図 2 5 ( a) (b) は、各々、発光ダイオードパネル（8 3 4) を複数配設してなる平面体および球体の発光ダイオードディスプレイ（8 3 3 ) と赤外線光源 ( 8 3 2 ) との一例を示したものである。発光ダイオードパネル（8 3 4) は複数の小型 L ED ( 8 3 5 ) をアレイ状に有するパネル体となっており、これを複数個連設させて平面体または球体の発光ダイオードディスプレイ（8 3 3 ) が構成されている。この場合、赤外線光源（8 3 2 ) は、各発光ダイオードパネル（8 3 4) 自体に他の小型 L EDとともに組み込んだり、発光ダイオードパネル（8 3 4) 同士の間隙に組み込んだりして、適宜位置へ音声変調赤外光を照射できるようにすればよい。もちろんこの図 2 5の例に限定されるものではない。

他のフラットパネルディスプレイについては図示しないが、同様に、画像表示面の適宜スポット位置へ音声変調赤外光を照射できるように、適宜個数の赤外線光源を適宜位置に配設させておけばよい。

また、.上記図示した例では一つ一つが別体の赤外線光源（8 0 0 ) ( 8 0 4) ( 8 1 5 ) ( 8 2 4) を複数個配置しているが、面発光 L EDを代表とする面発光光源を ¾g位置に設けるようにしてもよい。

[3 ] また、上記実施形態では、各赤外線光源は、照射すべき画像中の各位置と同じ数で配設しているが、それぞれの赤外線の照射方向を画像中の各位置に向けるように変更制御可能であれば、画像中の照射位置数と光源数とが同じでなくてもよく、位置数より少ない光源数としても、 1つのみの光源数としても対応でさる。

[4] また、上記実施形態では、画像表示面の背面つまり画像表示面とは反対面側から音声変調赤外光を照射しているが、画像表示面側から照射するようにしてもよい。図 2 6および図 2 7は各々この場合の一例を示したものであり、天板スクリーン部（1 0 1 ) の上方に赤外線光源 ( 2 0 1 ) を配設している。なお、図 26は照射位置数と同じ光源数としているが、図 27は上記のとおりに各赤外線光源（201) がパン'チルト駆動して照射方向を変更制御可能なものとなつており、照射位置数よりも少ない光源数となっている。

[4] 赤外線光源 (201) としては、たとえば赤外発光ダイオード（=赤外 LED) を用いることができる。

[5] 各種画像表示装置の画像表示面までの距離に応じて光量をより多くしたい場合には、個々の赤外線光源（201) 自体を複数の赤外 LEDを集めたものとすることもできる。

[6] 音声出力装置（2) の電磁波照射手段（22) としては、上記赤外線光源（201) のほかにも、可視光線等の他の光を出力する各種光源を利用することもできる。

171 また、光源には、 LEDだけでなく、レーザを用いることができ、さらには、これらからの光を光ファイバ等の光ケ一ブルを通して画像中の各スポット位置に照射する態様も考慮できる。

[8] もちろん、光以外の電波等の各種電磁波の使用も考慮でき、この場合ではそれぞれに対応した電磁波源を用いることになる。また、上記各種実施形態についても各電磁波に対応した構成にする必要があることは言うまでもない。

[9] また、上記図 11から図 19の実施形態では、太陽馳 (302)、 RF IDタグ（303)、光 IDタグ（304)、反射シート（305) を有する指装着端末部 (301) を端末ユーザ (600) の指に装着可能なものとしているが、指でなくても、手や足などの身体の一部に装着可能な身体装着端末部なるものとしてもよい。表示されている画像中のスポット位置に触れるまたは近づけることができるものであればよいのである。したがって、このように身体の一部に装着可能なものだけでなく、たとえば図 28に例示したような、端末ユーザ（60 0) が持つ指示棒（900) に装着可能なもの若しくは予め組み込まれたものなども考慮できる。

図 28では、伸縮自在な指示棒 (900) の先端に棒装着端末部（901) が取付け取外し自在に装着されており、この棒装着端末部（901) は指示棒 (9 00)内を通った導線 (902) (外側を通ってもよい）を介してイヤホンやへッドホン、スピーカ等の音声再生端末部（903) に結線されており、太陽電池 ( 図示なし）からの出力電気信号が音声として再生されるようになっている。また、たとえば、音声再生端末部（903) としてのイヤホンやヘッドホンは端末ュ一ザ（600) の耳に装着可能であり、スピーカは端末ユーザ（600) が携帯可能である。

[10] また、この音声情報支援システムは、視覚障害者用の音声ガイドシステムとしても適用することができる。この場合、画像中のどの位置に赤外光等の電磁波が照射されているかわからないので、たとえば図 29に例示したように、画像表示面の各照射位置に小さな穴（1000) を配設するようにしてもよい。これによれば、視覚障害者は穴 (1000) に触れることで照射位置を知ることができ、音声情報支援を的確に受けられるようになる。

また、 I Dデータに視覚障害者であることを示すビット列を埋め込んでおけば、 ID認証時に判別でき、その判別に従って視覚障害者に適した音声情報を提供することもできる。このとき、たとえば、位置認証と組み合わせることで、れている画像中の照射位置または上記穴 (1000) からどの方向に指や指示棒等を動かせば次の照射位置または穴 (1000) があるかなどをナビゲーシヨンすることもできる。たとえば、「そこから少し右に次の穴があります」「そこから少し前方に · · 'についての説明音声を流している穴があります」などの音声指示を出せるようになる。もちろんこのナビゲ一シヨンは健常者にも適用できるものである。

[11] また、上記図 15、図 16、図 18の実施形態では、位置認証を行うための赤外線カメラ（501) および赤外線 LED (502) を天板スクリーン部（101) の上方に配設しているが、たとえば図 30に例示したように下方に配設することも考慮できる。この場合では、反射シート（305) は太陽電池 ( 301) と同じ側に設けて、下方からの位置用赤外光を受光し再帰反射させるようにすることが好ましい（図中の拡大図参照)。

[12] また、上記図 11〜図 20の実施形態では、画像表示装置（1) のスクリーン手段（11) に相当するもの（天板スクリーン部（101) を有するテ —ブル状体 (100)や球面スクリーン体 (700))が、何ら凹凸のないきれいな平面状または曲面状の画像表示面を有しているが、平面や曲面等を組み合わせた凹凸状の画像表示面を有するスクリーン手段（11) を用いることもできる。図 31はこの場合の一例を示したものであり、凹凸画像表示面を有する立体スクリーン体 (1100) に対してプロジェクタ装置 (1101) から画像投射して立体地図などを表示し、その立体地図中の適宜位置に対して赤外線光源 (110 2) から音声変調赤外光を照射している。

[13] なお、画像表示装置 (1) については、上記実施形態のような各種のスクリーン手段 (11) およぴ像投射手段 (12) からなるものに限られるのではなく、画像を表示する装置であればよいので、たとえば、スクリ一ン体自体に画像が塗布や印刷等されており、上記赤外光を代表とする電磁波を透過できるものなども、この出願の発明の音声情報支援システムに適用することができる。産業上の利用可能性

以上詳しく説明したとおり、この出願の発明によれば、スクリーン上に表示されている画像中の任意の位置にて、ユーザがその位置を指し示すまたは触れるなどするだけで、表示画像に関連する音声情報を容易に聞くことができ、画像を見ているユーザ一人一人に個別に対応した音声情報支援を実現することのできる、全く新しい音声情報支援システムが提供される。

Claims

請求の範囲

1 · 画像を表示する画像表示装置、

画像表示装置により表示されている画像中の 1つまたは複数の位置に向けて、音声情報を基に変調した電磁波を出力する音声出力装置、および、

前記画像中の位置にて前記電磁波を受信し電気信号に変換する変換手段と、当該変換手段により得られた電気信号を音声再生する音声再生手段とを有する音声再生端末、

を備えたことを特徴とする音声情報支援システム。

2. 画像を表示する画像表示装置、

画像表示装置により表示されている画像中の 1つまたは複数の位置に向けて、音声情報を基に変調した電磁波を出力する音声出力装置、

前記画像中の位置にて前記電磁波を受信し電気信号に変換する変換手段と、当該変換手段により得られた電気信号を音声再生する音声再生手段と、 I Dを発信する I D発信手段とを有する音声再生端末、および、

音声再生端末の I D発信手段により発信された I Dを検出する I D検出装置、を備えたことを特徴とする音声情報支援システム。

3 . 画像を表示する画像表示装置、

前記画像中の位置にて前記電磁波を受信し電気信号に変換する変換手段と、当該変換手段により得られた電気信号を音声再生する音声再生手段とを有する音声再生端末、および、

音声再生端末の位置を検出する位置検出装置、

を備えたことを特徴とする音声情報支援システム。

4. 画像を表示する画像表示装置、

画像表示装置により表示されている画像中の 1つまたは複数の位置に向けて、音声情報を基に変調した電磁波を出力する音声出力装置、前記画像中の位置にて前記電磁波を受信し電気信号に変換する変換手段と、当該変換手段により得られた電気信号を音声再生する音声再生手段と、 I Dを発信する I D発信手段とを有する音声再生端末、

音声再生端末の I D発信手段により発信された I Dを検出する I D検出装置、および、

音声再生端末の位置を検出する位置検出装置、 - を備えたことを特徴とする音声情報支援システム。

5. 画像表示装置は、画像を表示するスクリーン手段と、当該スクリーン手段に対して画像を投射する画像投射手段とを有していることを特徴とする請求項 1 ないし 4のいずれかに記載の音声情報支援システム。

6. スクリーン手段は、その画像表示面が平面状、曲面状または凹凸面状のものであることを特徵とする請求項 5記載の音声情報支援システム。

7. スクリーン手段は、その画像表示面が透光性のものであることを特徴とする請求項 5記載の音声情報支援システム。

8. 画像投射手段は、スクリーン手段に対してその画像表示面側から画像を投射することを特徵とする請求項 5記載の音声情報支援システム。

9. 画像投射手段は、スクリーン手段に対してその画像表示面とは反対面側から画像を投射することを特徵とする請求項 5記載の音声情報支援システム。

1 0. 画像表示装置は、ブラウン管ディスプレイであることを特徵とする請求項 1ないし 4のいずれかに記載の音声情報支援システム。

1 1 . 画像表示装置は、フラットパネルディスプレイであることを特徴とする請求項 1ないし 4のいずれかに記載の音声情報支援システム。

1 2. フラットパネルディスプレイは、液晶ディスプレイ、プラズマディスプレイ、エレクトロルミネセントディスプレイ、発光ダイオードディスプレイ、蛍光表示管ディスプレイ、電解放出ディスプレイのいずれかであることを特徴とする請求項 1 1記載の音声情報支援システム。

1 3. 音声出力装置は、音声情報を基に電磁波を変調する変調手段と、変調手段により変調された電磁波を前記画像中の位置に向けて照射する電磁波照射手段とを有していることを特徵とする請求項 1ないし 4のいずれかに記載の音声情報支援システム。

1 4. 電磁波照射手段は、電磁波を出力する電磁波源を有していることを特徴とする請求項 1 3記載の音声情報支援システム。

1 5. 電磁波源は、前記画像中の複数位置それぞれに対応して配設されている複数のものであることを特徵とする請求項 1 4記載の音声情報支援システム。

1 6. 電磁波源は、前記画像中の複数位置に向けて照射方向を変更することのできる 1つまたは複数のものであることを特徵とする請求項 1 4記載の音声情報支援システム。

1 7. 電磁波源は、電磁波としての光を出力する光源であることを特徴とする請求項 1 4記載の音声情報支援システム。

1 8. 光源は、発光ダイオードまたはレーザであることを特徵とする請求項 1 7記載の音声情報支援システム。

1 9. 光源からの光を光ケーブルを通して前記画像中の位置に照射することを特徴とする請求項 1 7記載の音声情報支援システム。

2 0. 音声再生端末の変換手段は、電磁波照射手段の光源からの光を受光して光電変換する光電変換手段であることを特徴とする請求項 1 7記載の音声情報支援システム。

2 1 . 光電変換手段は、太陽電池であることを特徴とする請求項 2 0記載の音声情報支援システム。

2 2. 音声再生端末の変換手段は、端末ュ一ザの身体の一部に装着可能となつていることを特徵とする請求項 1ないし 4のいずれかに記載の音声情報支援システム。

2 3. 身体の一部が手または足であることを特徴とする請求項 2 2記載の音声情報支援システム。

2 4. 音声再生端末の変換手段は、端末ユーザが持つ指示棒に装着可能となつているまたは組み込まれていることを特徵とする請求項 1ないし 4のいずれかに記載の音声情報支援システム。

2 5. 音声再生端末の音声再生手段は、イヤホンもしくはへッドホンまたはスピー力であることを特徴とする請求項 1ないし 4のいずれかに記載の音声情報支援システム。

2 6. 音声再生端末は、別体の駆動電源を必要としない無電源端末であることを特徴とする請求項 1ないし 4のいずれかに記載の音声情報支援システム。

2 7 . 音声再生端末の I D発信手段は、 R F I Dタグであり、 I D検出装置は、当該 R F I Dタグとの間で I D認証通信を行うリーダライタであることを特徴とする請求項 1ないし 4のいずれかに記載の音声情報支援システム。

2 8 . 音声再生端末の I D発信手段は、光 I Dタグであり、 I D検出装置は、当該光 I Dタグが発する I D用赤外光を受光して I Dデータを出力する赤外線センサであることを特徵とする請求項 1ないし 4のいずれかに記載の音声情報支援システム。

2 9 . 光 I Dタグは、 I D用赤外光の赤外線光源と、 I Dデータを記憶する I D記憶手段と、 I Dデータに応じて I D用赤外光を変調する変調手段とを有しており、

赤外線センサは、当該光 I Dタグにより変調されて発信された I D用赤外光を受光して I Dデータを出力する、

ことを特徵とする請求項 2 8記載の音声情報支援システム。

3 0 . 位置検出装置は、位置用赤外光の赤外線光源と、音声再生端末により反射されて戻されてきた位置用赤外光を撮像する赤外線撮像手段と、赤外線撮像手段により撮像された位置用赤外光像に基づいて音声再生端末の位置を検出する位置検出手段とを有しており、

音声再生端末は、位置検出装置により発信された位置用赤外光を反射させる反射手段を有している、

ことを特徴とする請求項 1ないし 4のいずれかに記載の音声情報支援システム。

3 1 . 位置検出装置は、画像表示装置の画像表示面に設けられたタツチパネルと、端末ユーザが触れた当該夕ツチパネルの位置に基づいて音声再生端末の位置を検出する位置検出手段とを有していることを特徵とする請求項 1ないし 4のいずれかに記載の音声情報支援システム。