JP5533311B2 - 展示物用情報提示装置および提示方法 - Google Patents

展示物用情報提示装置および提示方法 Download PDF

Info

Publication number
JP5533311B2
JP5533311B2 JP2010136818A JP2010136818A JP5533311B2 JP 5533311 B2 JP5533311 B2 JP 5533311B2 JP 2010136818 A JP2010136818 A JP 2010136818A JP 2010136818 A JP2010136818 A JP 2010136818A JP 5533311 B2 JP5533311 B2 JP 5533311B2
Authority
JP
Japan
Prior art keywords
exhibit
information
gaze
viewer
exhibits
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010136818A
Other languages
English (en)
Other versions
JP2012003442A (ja
Inventor
豪紀 原
哲也 上田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dai Nippon Printing Co Ltd
Original Assignee
Dai Nippon Printing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dai Nippon Printing Co Ltd filed Critical Dai Nippon Printing Co Ltd
Priority to JP2010136818A priority Critical patent/JP5533311B2/ja
Publication of JP2012003442A publication Critical patent/JP2012003442A/ja
Application granted granted Critical
Publication of JP5533311B2 publication Critical patent/JP5533311B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

本発明は、複数の展示物のうち閲覧者が注意を向けた特定の展示物について、音声や画像による情報を選択的に提示する情報提示技術に関する。
美術館や博物館などでは、閲覧者に対して展示物の内容説明を行うために様々な情報提示装置が利用されている。また、工場見学や観光施設案内などを行う場合も、見学者に対して様々な説明を行うための情報提示装置が利用されている。
このような環境において、従来から一般的に利用されている情報提示装置は、展示物の近傍に設置された固定型音声解説装置や画像表示装置である。また、閲覧者が携帯しながらイヤホンなどで解説を聞くことができる小型の音声ガイド再生装置も広く利用されている。
最近では、入館時に、個々の閲覧者に専用の携帯端末装置を貸与するシステムも普及している。このようなシステムでは、携帯端末装置を利用して閲覧者の位置を検出し、その近くにある展示物の解説を自動的に提示することが可能になる。たとえば、下記の特許文献1には、携帯端末装置に各展示物用情報を無線送信する技術が開示され、特許文献2には、携帯端末装置に各展示物用情報を光信号として送信する技術が開示されている。また、特許文献3には、展示物近傍に設置された赤外線送信装置から発せられるID信号を受信して、当該展示物についての解説音声を選択的に再生する機能をもった携帯端末装置が開示されており、特許文献4には、一般の携帯電話機を利用して案内音声を再生させることにより、専用の携帯端末装置の貸し出しを不要とする技術が開示されている。
一方、インタラクティブな方式を採り入れることにより、閲覧者の意向を反映した情報提示を行う機能をもったマルチメディアガイドシステムの導入も進んでいる。たとえば、特許文献5には、閲覧者が興味をもった展示物の番号を携帯端末装置に入力すると、当該展示物の解説を選択的に視聴することができるシステムも提案されている。
更に、最近では、特許文献6に開示されている景色表示装置のように、AR(Augument Reality:拡張現実)の技術が実用化されてきており、このARの技術を利用して、撮影した展示物の映像上に提示情報を重畳して表示するガイドシステムや、展示物と閲覧者との間に配置された透明ディスプレイ上に提示情報を表示するガイドシステムなども提案されている。
特開2006−352900号公報 特開平7−154322号公報 特開2003−309484号公報 特開2006−113678号公報 特開2005−316851号公報 特開平8−201076号公報
上述したように、個々の閲覧者に携帯端末装置をもたせるシステムでは、閲覧者の位置を考慮した情報の提示が可能になる。しかしながら、情報提示を受けるためには、常に携帯端末装置を保持しながら展示室をまわる必要があり、閲覧者に対して余分な手荷物の負荷を課することになる。また、専用の携帯端末装置は比較的高価であり、多くの台数を導入するには多大なコストがかかる。導入した携帯端末装置は、通常、入館時に貸与する運用を行うことになるが、導入コストを回収するためには、貸与料金も高額にならざるを得ない。しかも、同じ装置を多数の閲覧者が使い回すことになるので、衛生管理のための労力や費用も必要になる。更に、退館時に装置の持ち去りを防止するためには、貸与時に、保証金を一時的に預けてもらう方式や、クレジットカードによる登録を課する方式などを採用せざるを得ず、事務処理が煩雑になるという問題もある。
これに対して、固定型の情報提示装置を展示物の近傍に設置するシステムを導入した場合、閲覧者に携帯端末装置を保持させる必要はないので、上述のような問題は生じない。しかしながら、展示物の脇に解説を表示するためのモニタ装置を設置した場合、展示物の実物が目の前にあるにも拘わらず、解説を読むには、脇のモニタ装置の画面に目を向ける必要があるため、わざわざ実物を見にきた意味が薄れ、満足な体験を得ることができない。もちろん、展示物と閲覧者との間に透明ディスプレイを配置し、この透明ディスプレイ上に解説を表示するシステムを導入すれば、展示物から解説表示への視線移動はわずかに抑えられるものの、ディスプレイが透明なため、解説表示に対して焦点を合わせずらく、読みにくいという問題がある。更に、肝心の展示物を、邪魔な透明ディスプレイを通して見る必要があるため、実物を見やすく陳列するという本来の趣旨に反した展示にならざるを得ない。
また、固定型の情報提示装置を展示物の近傍に設置するシステムでは、通常、複数の展示物が陳列された場所に、1台の兼用情報提示装置を設置せざるを得ないので、現在、閲覧者が注視している特定の展示物についての情報を、自動的に選択して都合良く提示することは困難である。このため、複数の展示物について、ひととおりの画一的な解説を行うことしかできない。
そこで本発明は、閲覧者に高価な端末装置を携帯させることなく、閲覧者が注視している特定の展示物についての情報を、自動的に選択して提示することが可能な展示物用情報提示装置および提示方法を提供することを目的とする。
(1) 本発明の第1の態様は、複数の展示物のうち閲覧者が注意を向けた特定の展示物についての情報を選択的に提示する情報提示装置において、
複数の展示物について、それぞれ三次元空間上での配置位置を示す配置位置情報を格納した配置位置情報格納部と、
複数の展示物について、それぞれ提示対象情報を格納した提示対象情報格納部と、
閲覧者によって携帯されるツールであって、点を指し示す構造を有し、閲覧者による配置動作によって三次元空間上の所定の参照点を指し示す機能を有する位置指定ツールと、
閲覧者の頭部もしくはその近傍に定められた所定の基準点の位置と、位置指定ツールによって指し示された参照点の位置と、を検出する位置検出手段と、
位置検出手段の検出結果に基づき、基準点から参照点へ向かう注視ベクトルの方向を、閲覧者が注意を向けていると推定される注視方向と予測する注視方向予測手段と、
配置位置情報格納部内に格納されている配置位置情報を参照することにより、注視方向もしくはその近傍に配置されている展示物を注視展示物として特定する注視展示物特定手段と、
提示対象情報格納部から、注視展示物についての提示対象情報を読み出し、これを閲覧者に提示する情報提示手段と、
を設けたものである。
(2) 本発明の第2の態様は、上述の第1の態様に係る展示物用情報提示装置において、
位置指定ツールが、尖点をもった形状を含む構造体からなり、尖点の位置として、三次元空間上の所定の参照点を指し示す機能を有するようにしたものである。
(3) 本発明の第3の態様は、上述の第2の態様に係る展示物用情報提示装置において、
位置指定ツールが、尖点をもった不透明な指示図形を透明な媒体上に配置した構造を有するようにしたものである。
(4) 本発明の第4の態様は、上述の第3の態様に係る展示物用情報提示装置において、
位置指定ツールが、尖点をもった不透明な多角形が描かれた透明な板状媒体からなるようにしたものである。
(5) 本発明の第5の態様は、上述の第2の態様に係る展示物用情報提示装置において、
位置指定ツールが、尖点をもった外郭平面形状を有する物体からなるようにしたものである。
(6) 本発明の第6の態様は、上述の第2の態様に係る展示物用情報提示装置において、
位置指定ツールが、先端が尖った棒状の物品からなるようにしたものである。
(7) 本発明の第7の態様は、上述の第1〜第6の態様に係る展示物用情報提示装置において、
配置位置情報格納部が、個々の展示物の代表点の三次元座標値をそれぞれの配置位置情報として格納しており、
注視展示物特定手段が、「注視ベクトルからの距離が基準値以下となる」という条件を満たす代表点をもつ展示物を注視展示物として特定するようにしたものである。
(8) 本発明の第8の態様は、上述の第1〜第6の態様に係る展示物用情報提示装置において、
配置位置情報格納部が、個々の展示物の代表点の三次元座標値をそれぞれの配置位置情報として格納しており、
注視展示物特定手段が、「基準点を頂点、注視ベクトルを中心軸とし、所定の頂角をもった注視円錐内に位置する」という条件を満たす代表点をもつ展示物を注視展示物として特定するようにしたものである。
(9) 本発明の第9の態様は、上述の第7または第8の態様に係る展示物用情報提示装置において、
注視展示物特定手段が、条件を満たす展示物が複数存在する場合に、注視ベクトルと代表点との距離が最短となる代表点をもつ1つの展示物を注視展示物として特定するようにしたものである。
(10) 本発明の第10の態様は、上述の第1〜第6の態様に係る展示物用情報提示装置において、
配置位置情報格納部が、個々の展示物に対応する三次元仮想物体の三次元座標系上における立体形状データをそれぞれの配置位置情報として格納しており、
注視展示物特定手段が、「物体の注視ベクトルに対する最近接箇所と、注視ベクトルと、の距離が基準値以下となる」という条件を満たす三次元仮想物体に対応する展示物を注視展示物として特定するようにしたものである。
(11) 本発明の第11の態様は、上述の第10の態様に係る展示物用情報提示装置において、
注視展示物特定手段が、条件を満たす展示物が複数存在する場合に、「物体の注視ベクトルに対する最近接箇所」と「注視ベクトル」との距離が最短となる三次元仮想物体に対応する1つの展示物を注視展示物として特定するようにしたものである。
(12) 本発明の第12の態様は、上述の第1〜第6の態様に係る展示物用情報提示装置において、
配置位置情報格納部が、個々の展示物に対応する三次元仮想物体の三次元座標系上における立体形状データをそれぞれの配置位置情報として格納しており、
注視展示物特定手段が、「物体のいずれかの箇所が、基準点を頂点、注視ベクトルを中心軸とし、所定の頂角をもった注視円錐内に位置する」という条件を満たす三次元仮想物体に対応する展示物を注視展示物として特定するようにしたものである。
(13) 本発明の第13の態様は、上述の第12の態様に係る展示物用情報提示装置において、
注視展示物特定手段が、条件を満たす展示物が複数存在する場合に、注視円錐内に含まれる体積が最大となる三次元仮想物体に対応する1つの展示物を注視展示物として特定するようにしたものである。
(14) 本発明の第14の態様は、複数の展示物のうち閲覧者が注意を向けた特定の展示物についての情報を選択的に提示する情報提示装置において、
複数の展示物について、それぞれ三次元空間上での配置位置を示す配置位置情報を格納した配置位置情報格納部と、
複数の展示物について、それぞれ提示対象情報を格納した提示対象情報格納部と、
閲覧者によって携帯されるツールであって、領域を指し示す構造を有し、閲覧者による配置動作によって三次元空間上の所定の参照領域を指し示す機能を有する位置指定ツールと、
閲覧者の頭部もしくはその近傍に定められた所定の基準点の位置と、位置指定ツールによって指し示された参照領域の位置と、を検出する位置検出手段と、
位置検出手段の検出結果に基づき、基準点と参照領域の輪郭線上の各点とを結ぶ線で囲まれた注視錐状体の延びる方向を、閲覧者が注意を向けていると推定される注視方向と予測する注視方向予測手段と、
配置位置情報格納部内に格納されている配置位置情報を参照することにより、注視方向もしくはその近傍に配置されている展示物を注視展示物として特定する注視展示物特定手段と、
提示対象情報格納部から、注視展示物についての提示対象情報を読み出し、これを閲覧者に提示する情報提示手段と、
を設けるようにしたものである。
(15) 本発明の第15の態様は、上述の第1または第14の態様に係る展示物用情報提示装置において、
位置指定ツールが、二次元閉領域の輪郭線を画定させる構造体からなり、輪郭線の内部の点もしくは領域として、三次元空間上の所定の参照点もしくは参照領域を指し示す機能を有するようにしたものである。
(16) 本発明の第16の態様は、上述の第15の態様に係る展示物用情報提示装置において、
位置指定ツールが、媒体の一部に、媒体の透明度よりも高い透明度をもった閉領域を配置した構造を有するようにしたものである。
(17) 本発明の第17の態様は、上述の第16の態様に係る展示物用情報提示装置において、
位置指定ツールが、不透明な媒体の一部をくりぬいて開口窓を形成した構造を有するようにしたものである。
(18) 本発明の第18の態様は、上述の第17の態様に係る展示物用情報提示装置において、
位置指定ツールを、一部分に開口窓が形成されたパンフレットによって構成したものである。
(19) 本発明の第19の態様は、上述の第17または第18の態様に係る展示物用情報提示装置において、
情報提示手段が、提示対象となる画像を、投影装置を用いて位置指定ツールの開口窓以外の部分へ投影するようにしたものである。
(20) 本発明の第20の態様は、上述の第15の態様に係る展示物用情報提示装置において、
位置指定ツールを、内部を通じて展示物を覗くのに適した形状および大きさをもった筒状体によって構成したものである。
(21) 本発明の第21の態様は、上述の第14の態様に係る展示物用情報提示装置において、
配置位置情報格納部が、個々の展示物の代表点の三次元座標値をそれぞれの配置位置情報として格納しており、
注視展示物特定手段が、「注視錐状体の内部に位置する」という条件を満たす代表点をもつ展示物を注視展示物として特定するようにしたものである。
(22) 本発明の第22の態様は、上述の第21の態様に係る展示物用情報提示装置において、
注視展示物特定手段が、条件を満たす展示物が複数存在する場合に、基準点と参照領域の重心点とを結ぶ錐状体中心線を定義し、この錐状体中心線と代表点との距離が最短となる代表点をもつ1つの展示物を注視展示物として特定するようにしたものである。
(23) 本発明の第23の態様は、上述の第14の態様に係る展示物用情報提示装置において、
配置位置情報格納部が、個々の展示物に対応する三次元仮想物体の三次元座標系上における立体形状データをそれぞれの配置位置情報として格納しており、
注視展示物特定手段が、「物体のいずれかの箇所が、注視錐状体の内部に位置する」という条件を満たす三次元仮想物体に対応する展示物を注視展示物として特定するようにしたものである。
(24) 本発明の第24の態様は、上述の第23の態様に係る展示物用情報提示装置において、
注視展示物特定手段が、条件を満たす展示物が複数存在する場合に、注視錐状体の内部に含まれる体積が最大となる三次元仮想物体に対応する1つの展示物を注視展示物として特定するようにしたものである。
(25) 本発明の第25の態様は、上述の第1〜第24の態様に係る展示物用情報提示装置において、
位置検出手段が、閲覧者をそれぞれ異なる方向から撮影する複数のカメラを有し、これら複数のカメラの撮影画像を解析することにより、「基準点の位置」および「参照点もしくは参照領域の位置」を検出するようにしたものである。
(26) 本発明の第26の態様は、上述の第25の態様に係る展示物用情報提示装置において、
位置検出手段が、
閲覧者の顔および手を正面から撮影する第1のカメラと、
閲覧者の顔および手を下方から撮影する第2のカメラと、
第1のカメラで撮影された第1の撮影画像と、第2のカメラで撮影された第2の撮影画像と、に基づいて、「基準点の位置」および「参照点もしくは参照領域の位置」を検出する画像解析部と、
を有するようにしたものである。
(27) 本発明の第27の態様は、上述の第26の態様に係る展示物用情報提示装置において、
展示物の背景を構成する壁面をXY平面とし、床面をXZ平面とし、鉛直方向にY軸をとったXYZ三次元座標系を定義したときに、第1のカメラの撮像面がXY平面に平行になり、第2のカメラの撮像面がXZ平面に平行になるように、各カメラを配置し、第1の撮影画像がXY平面に平行な投影面への投影画像となり、第2の撮影画像がXZ平面に平行な投影面への投影画像となるようにしたものである。
(28) 本発明の第28の態様は、上述の第27の態様に係る展示物用情報提示装置において、
画像解析部が、第1の撮影画像を解析することにより、所定の特徴点のX座標値およびY座標値を求め、第2の撮影画像を解析することにより、この特徴点のZ座標値を求めるようにしたものである。
(29) 本発明の第29の態様は、上述の第28の態様に係る展示物用情報提示装置において、
画像解析部が、
第1の撮影画像上に定義されたxy二次元座標系において、所定の特徴点の座標値(xg,yg)を求める第1解析部と、
第2の撮影画像上に定義されたxz二次元座標系において、特徴点のz座標値zgを求める第2解析部と、
第1のカメラの設置位置および光学系の倍率に基づいて定まるxy二次元座標系の座標値(x,y)とXYZ三次元座標系の座標値(X,Y)との関係式に基づいて、xy二次元座標系上の座標値(xg,yg)を、それぞれXYZ三次元座標系の座標値(Xq,Yq)に変換し、第2のカメラの設置位置および光学系の倍率に基づいて定まるxz二次元座標系の座標値(x,z)とXYZ三次元座標系の座標値(X,Z)との関係式に基づいて、xz二次元座標系上の座標値zgを、XYZ三次元座標系の座標値Zqに変換する座標変換部と、
を備え、XYZ三次元座標系における特徴点の三次元座標値(Xq,Yq,Zq)を求めるようにしたものである。
(30) 本発明の第30の態様は、上述の第29の態様に係る展示物用情報提示装置において、
第1解析部が、第1の撮影画像上に定義されたxy二次元座標系において、画像上の閲覧者の右眼の白目領域の重心点と左眼の白目領域の重心点とを求め、これら両重心点の中点Gの座標値(xg,yg)を求める処理を行い、
第2解析部が、第2の撮影画像上に定義されたxz二次元座標系において、画像上の閲覧者の顔に対応する肌色領域を認識し、当該肌色領域の最小のz座標値zgを求める処理を行い、
座標変換部が、座標値(xg,yg,zg)を、XYZ三次元座標系における座標値(Xq,Yq,Zq)に変換する処理を行い、閲覧者の頭部近傍に定められた基準点Qの座標値(Xq,Yq,Zq)を求めるようにしたものである。
(31) 本発明の第31の態様は、上述の第29の態様に係る展示物用情報提示装置において、
第1解析部が、第1の撮影画像上に定義されたxy二次元座標系において、画像上の参照点もしくは参照領域の輪郭線上の特徴点の座標値(xa,ya)を求める処理を行い、
第2解析部が、第2の撮影画像上に定義されたxz二次元座標系において、画像上の参照点もしくは特徴点のz座標値zbを求める処理を行い、
座標変換部が、座標値(xa,ya,zb)を、XYZ三次元座標系における座標値(Xp,Yp,Zp)に変換する処理を行い、参照点もしくは参照領域の輪郭線上の特徴点の座標値(Xp,Yp,Zp)を求めるようにしたものである。
(32) 本発明の第32の態様は、上述の第31の態様に係る展示物用情報提示装置において、
第1解析部および第2解析部が、それぞれ画像上で直線の認識を行い、特定の位置関係にある2直線の交点を参照点もしくは参照領域の輪郭線上の特徴点と認識するようにしたものである。
(33) 本発明の第33の態様は、上述の第1〜第32の態様に係る展示物用情報提示装置において、
情報提示手段が、提示対象となる画像を、プロジェクタを用いて位置指定ツール上に設けられた投影面へ投影するようにしたものである。
(34) 本発明の第34の態様は、上述の第33の態様に係る展示物用情報提示装置において、
位置検出手段が、位置指定ツールの位置および姿勢を検出する機能を更に有し、
情報提示手段が、
提示対象情報格納部から提示対象情報を読み出し、提示対象となる投影画像を作成する投影画像作成部と、
位置検出手段が検出した位置指定ツールの位置および姿勢に基づいて、位置指定ツール上に設けられた投影面の位置を認識し、当該位置に対する投影を行った場合に投影面上に正しい投影画像が得られるように、投影画像を変形して変形投影画像を生成する投影画像変形部と、
変形投影画像を投影面に対して投影するプロジェクタと、
を有するようにしたものである。
(35) 本発明の第35の態様は、上述の第1〜第34の態様に係る展示物用情報提示装置において、
位置検出手段が、位置指定ツール上に存在する閲覧者の指の位置を検出する機能を更に有し、
情報提示手段が、位置検出手段が検出した閲覧者の指の位置に応じて、閲覧者に提示する情報の内容もしくはその提示形態を変えるようにしたものである。
(36) 本発明の第36の態様は、上述の第1〜第34の態様に係る展示物用情報提示装置において、
位置指定ツールが、閲覧者の操作に基づいて変形する構造もしくは材質を有し、
位置検出手段が、位置指定ツールの変形態様を検出する機能を更に有し、
情報提示手段が、位置検出手段が検出した変形態様に応じて、閲覧者に提示する情報の内容もしくはその提示形態を変えるようにしたものである。
(37) 本発明の第37の態様は、上述の第1〜第34の態様に係る展示物用情報提示装置において、
位置検出手段が、位置指定ツールの位置もしくは姿勢を検出する機能を更に有し、
情報提示手段が、位置検出手段が検出した位置指定ツールの位置もしくは姿勢に応じて、閲覧者に提示する情報の内容もしくはその提示形態を変えるようにしたものである。
(38) 本発明の第38の態様は、上述の第1〜第34の態様に係る展示物用情報提示装置において、
位置指定ツールが、複数n通りの言語で記述された合計n通りの異なるパンフレットからなり、
提示対象情報格納部が、n通りの言語の中から選択された任意の言語で情報提示を行うことができるように、n通りの異なる言語でそれぞれ用意された合計n通りの提示対象情報を格納しており、
位置検出手段が、パンフレットを撮影するカメラと、このカメラによる撮影画像を解析することによりパンフレットに記述されている言語を認識する言語認識手段と、を有し、
情報提示手段が、位置検出手段が認識した言語に合致する言語で用意された提示対象情報を選択して、これを提示するようにしたものである。
(39) 本発明の第39の態様は、上述の第1〜第38の態様に係る展示物用情報提示装置において、
配置位置情報格納部が、第i番目の展示物Ei(i=1,2,3,...)の配置位置を示す配置位置情報L(i)を、当該第i番目の展示物Eiを特定するための展示物識別コードE(i)に対応づけて格納し、
提示対象情報格納部が、第i番目の展示物Eiについての提示対象情報I(i)を、展示物識別コードE(i)に対応づけて格納し、
注視展示物特定手段が、情報提示手段に対して注視展示物の展示物識別コードを与え、
情報提示手段が、与えられた展示物識別コードに対応する提示対象情報を読み出し、これを閲覧者に提示するようにしたものである。
(40) 本発明の第40の態様は、上述の第1〜第38の態様に係る展示物用情報提示装置において、
提示対象情報格納部が、音声もしくは画像、またはこれらの双方を提示するためのコンテンツデータを提示対象情報として格納し、
情報提示手段が、スピーカ、イヤホン、ヘッドホン、ディスプレイ装置、または投影装置を用いて提示対象情報の提示を行うようにしたものである。
(41) 本発明の第41の態様は、上述の第1〜第38の態様に係る展示物用情報提示装置において、
展示物を収容する透明ケースを更に備え、
位置検出手段が、透明ケースの板面に位置指定ツールが接触した状態になっているとの前提で、参照点もしくは参照領域の位置を検出する処理を行うようにしたものである。
(42) 本発明の第42の態様は、上述の第1〜第38の態様に係る展示物用情報提示装置において、
展示物の手前に配置された透明なボードを有するスタンドを更に備え、
位置検出手段が、透明なボード上に位置指定ツールが接触した状態になっているとの前提で、参照点もしくは参照領域の位置を検出する処理を行うようにしたものである。
(43) 本発明の第43の態様は、上述の第1〜第42の態様に係る展示物用情報提示装置において、
配置位置情報格納部、提示対象情報格納部、位置検出手段の一部、注視方向予測手段、注視展示物特定手段、情報提示手段の一部、をコンピュータにプログラムを組み込むことによって構成したものである。
(44) 本発明の第44の態様は、複数の展示物のうち閲覧者が注意を向けた特定の展示物についての情報を選択的に提示する情報提示方法において、
コンピュータが、複数の展示物について、それぞれ三次元空間上での配置位置を示す配置位置情報を格納する段階と、
コンピュータが、複数の展示物について、それぞれ提示対象情報を格納する段階と、
閲覧者の手に保持された物品によって、三次元空間上の所定の参照点が指し示されたときに、コンピュータが、閲覧者の頭部もしくはその近傍に定められた所定の基準点の位置と、参照点の位置と、を検出する段階と、
コンピュータが、検出された基準点から参照点へ向かう注視ベクトルの方向を、閲覧者が注意を向けていると推定される注視方向と予測する段階と、
コンピュータが、格納中の配置位置情報を参照することにより、注視方向もしくはその近傍に配置されている展示物を注視展示物として特定する段階と、
コンピュータが、注視展示物についての提示対象情報を音声もしくは画像の提示装置に対して出力し、閲覧者に提示する段階と、
を行うようにしたものである。
(45) 本発明の第45の態様は、複数の展示物のうち閲覧者が注意を向けた特定の展示物についての情報を選択的に提示する情報提示方法において、
コンピュータが、複数の展示物について、それぞれ三次元空間上での配置位置を示す配置位置情報を格納する段階と、
コンピュータが、複数の展示物について、それぞれ提示対象情報を格納する段階と、
閲覧者の手に保持された物品によって、三次元空間上の所定の参照領域が指し示されたときに、コンピュータが、閲覧者の頭部もしくはその近傍に定められた所定の基準点の位置と、参照領域の位置と、を検出する段階と、
コンピュータが、検出された基準点と検出された参照領域の輪郭線上の各点とを結ぶ線で囲まれた注視錐状体の延びる方向を、閲覧者が注意を向けていると推定される注視方向と予測する段階と、
コンピュータが、格納中の配置位置情報を参照することにより、注視方向もしくはその近傍に配置されている展示物を注視展示物として特定する段階と、
コンピュータが、注視展示物についての提示対象情報を音声もしくは画像の提示装置に対して出力し、閲覧者に提示する段階と、
を行うようにしたものである。
本発明に係る展示物用情報提示装置は、展示物の近傍に設置して利用することが可能であるため、閲覧者に携帯端末装置を保持させる必要はない。したがって、導入時に、高価な携帯端末装置を用意する必要はなく、導入コストや運用コストを低減させることができる。閲覧者が、位置指定ツールを利用して、注視している特定の展示物が置かれている方向を、注視方向として指定する操作を行うと、当該注視方向が自動的に認識され、当該特定の展示物についての情報が選択的に提示されることになる。ここで、注視方向は、閲覧者の頭部の概略位置と、位置指定ツールによって指し示された空間上の参照点もしくは参照領域の位置と、の相互位置関係を解析することによって認識される。このように、本発明では、注視方向は閲覧者の視線に基づいて決定されるのではなく、閲覧者の頭部の概略位置と位置指定ツールの位置とに基づいて決定されるので、閲覧者の視線が注視対象物から一時的に逸れた場合にも、注視対象物を正しく認識することができる。
一方、位置指定ツールは、空間上の点もしくは領域を指し示す構造を有していればよいので、たとえば、パンフレット、筆記用具など、安価な道具を利用して構成することができる。開口窓を有する位置指定ツールを用いれば、閲覧者は、この開口窓内に所望の展示物が見えるように、位置指定ツールを空間上の所定位置に配置する動作を行うだけで、参照領域の指定を行うことができる。また、閲覧者の手によって参照点や参照領域を指定させる運用を採れば、閲覧者の手を位置指定ツールとして利用することも可能である。
かくして、本発明によれば、閲覧者に高価な端末装置を携帯させることなく、閲覧者が注視している特定の展示物についての情報を、自動的に選択して提示することが可能になる。
注視方向は、ベクトルとして一直線に沿った方向に設定したり、錐状に広がる方向に設定したりできるので、注視展示物か否かを判定する基準を、状況に応じて任意に設定することができる。また、複数の展示物を同時に注視展示物と認識し、これらに関する情報を同時に提示したり、順番に提示したりすることも可能である。
閲覧者の頭部の概略位置を示す基準点の位置や、この基準点を基準とした注視方向を示す参照点もしくは参照領域の位置を検出するための位置検出手段として、閲覧者を異なる方向から撮影する複数のカメラを用いるようにすれば、比較的単純な装置によって位置検出手段を構成することができる。すなわち、これらカメラから得られた複数の二次元撮影画像を解析するようにすれば、基準点、参照点、参照領域の三次元空間上での位置を把握することができる。基準点の位置認識方法として、撮影画像上で閲覧者の両目位置および鼻の頂点位置を認識する方法を採ると、比較的簡単な演算処理で基準点を決定することができ、また、参照点や参照領域の位置認識方法として、撮影画像上で位置指定ツール上の直線を認識する方法を採ると、比較的簡単な演算処理で参照点や参照領域を決定することができる。
更に、注視展示物についての情報提示をプロジェクタを用いた画像投影という方法で行うようにすると、閲覧者が所持しているパンフレットなどの表面に情報提示を行うことが可能になり、利便性に富む情報提示形態が可能になる。更に、当該パンフレットを位置指定ツールとして利用すれば、閲覧者は、パンフレットで位置指定を行い、当該パンフレット上の投影画像として情報提示を受けることができるので、非常に使い勝手が良くなる。
また、位置検出手段としてカメラを用い、得られた撮影画像を解析することにより閲覧者からの指示を認識するようにすれば、インタラクティブな方式で、閲覧者が希望する情報を適宜提示することが可能になる。
更に、展示物の近傍に、位置指定ツールを支持するための透明ケースやスタンドを配置すれば、位置指定ツールが配置される空間上の位置を特定の平面内に制限することができるので、参照点や参照領域を検出するための演算処理が著しく軽減される。
本発明に係る展示物用情報提示装置の一般的な利用環境を示す図である。 本発明に係る展示物用情報提示装置で利用される位置指定ツール10の一例を示す平面図である。 図1に示す環境において、閲覧者Mが、図2に示す位置指定ツール10を用いて展示物E2を指し示している状態を示す図である。 図1に示す環境において、閲覧者Mが、図2に示す位置指定ツール10を用いて展示物E3を指し示している状態を示す図である。 図1に示す環境において、各展示物E1〜E4,位置指定ツール10,閲覧者Mが配置された空間上に定義されたXYZ三次元座標系を示す図である。 本発明の基本的な実施形態に係る展示物用情報提示装置の構成を示すブロック図である。 図6に示す装置における位置検出手段20の具体的な構成例を示す側面図(一部はブロック図)である。 図7に示す2台のカメラ21,22による撮影画像S21,S22を示す平面図である。 図8に示す撮影画像S21の部分拡大図である。 図9に示す画像から白目領域を認識し、中点Gを決定するプロセスを示す平面図である。 図8(b) に示す画像から肌色領域を認識し、鼻の先端位置の座標値zgを決定するプロセスを示す平面図である。 図10および図11のプロセスで得られた座標値に基づいて、XYZ三次元座標系における基準点Q(Xq,Yq,Zq)の座標値を求めた例を示す側面図である。 図8(a) ,(b) に示す画像から、指示図形12a,12bの尖点Pa,Pbを認識するプロセスを示す平面図である。 図13に示すプロセスを直線認識の手法によって行う原理を示す平面図である。 基準点Qから参照点Pへ向かう注視ベクトルVと、各展示物の代表点L1〜L4との位置関係を示す側面図である。 基準点Qから参照点Pへ向かう注視ベクトルVを中心軸とする注視円錐Cと、各展示物の代表点L1〜L4との位置関係を示す側面図である。 基準点Qから参照点Pへ向かう注視ベクトルVと、各展示物に対応する三次元仮想物体E1〜E4との位置関係を示す側面図である。 基準点Qから参照点Pへ向かう注視ベクトルVを中心軸とする注視円錐Cと、各展示物に対応する三次元仮想物体E1〜E4との位置関係を示す側面図である。 本発明に係る展示物用情報提示装置において、参照点Pを指し示すために利用可能な道具の具体例を示す図である。 本発明に係る展示物用情報提示装置において、参照点Pもしくは参照領域PPを指し示すために利用可能な道具の具体例を示す図である(図20(a) におけるハッチングは、断面を示すためのものではなく、媒体上に形成された開口窓の周囲に位置する不透明な領域を示すためのものである)。 図1に示す環境において、閲覧者が、図20(a) に示す位置指定ツール10Dを用いて展示物E2を指し示している状態を示す図である。 本発明に係る展示物用情報提示装置において、点もしくは二次元閉領域を指し示すために利用可能な道具の更に別な具体例を示す図である。 図1に示す環境において、閲覧者が、図22(a) に示す位置指定ツール10Fを用いて展示物E2を指し示している状態を示す図である。 本発明に係る展示物用情報提示装置において、情報提示手段が、提示対象となる画像を、プロジェクタ61を用いて位置指定ツール10上に設けられた投影面へ投影した状態を示す側面図である。 基準点Qと参照領域PPの輪郭線上の各点とを結ぶ線で囲まれた注視錐状体CCと、各展示物の代表点L1〜L4との位置関係を示す側面図である。 基準点Qと参照領域PPの輪郭線上の各点とを結ぶ線で囲まれた注視錐状体CCと、各展示物に対応する三次元仮想物体E1〜E4との位置関係を示す側面図である。 本発明に係る展示物用情報提示装置における位置指定ツールを、開口窓を有するパンフレット10Hにより構成した例を示す平面図である。 情報提示手段としてプロジェクタを用いる実施形態に係る展示物用情報提示装置の構成を示すブロック図である。 図28に示す装置における提示対象情報格納部70内に格納されている提示対象情報の一例を示す図である。 図28に示す装置において、位置指定ツールとして機能するパンフレット10H上に投影像として情報が提示された状態を示す平面図である。 図28に示す装置において、閲覧者とのインタラクティブ性をもたせるために、一部を指でタッチさせるための投影像をパンフレット10H上に表示させた例を示す平面図である。 図31に示す状態において、「作者」ボタンにタッチした場合の表示内容の変化を示す平面図である。 図28に示す装置において、閲覧者とのインタラクティブ性をもたせるために、パンフレット10Hの3箇所の角部分に指示領域を形成した例を示す平面図である。 図33に示すパンフレット10Hの左上角の指示領域に指示を与える操作を行った例を示す平面図である。 図28に示す装置において、閲覧者とのインタラクティブ性をもたせるために、情報提示が必要な展示物を選択するためのタッチ入力を求める投影像をパンフレット10H上に表示させた例を示す平面図である。 図35に示す状態において、「左側の壺」にタッチした場合の表示内容の変化を示す平面図である。 図28に示す装置において、閲覧者とのインタラクティブ性をもたせるために、パンフレット(位置指定ツール10)の位置を検出する態様を示す側面図である。 図28に示す装置において、閲覧者とのインタラクティブ性をもたせるために、パンフレット(位置指定ツール10)の姿勢(向き)を検出する態様を示す平面図である。 展示物を透明ケースに収容して用いる本発明の変形例を示す図である。 展示物の手前にスタンドを配置して用いる本発明の変形例を示す図である。
以下、本発明を図示する実施形態に基づいて説明する。
<<< §1. 本発明の基本原理 >>>
図1は、本発明の一般的な利用環境を示す図である。ここでは、説明の便宜上、社会科見学のために博物館を訪問した学生に対して、個々の展示物の情報を提示する場合を具体例にとって、本発明の基本原理を説明する。
もっとも、本発明に係る展示物用情報提示装置は、必ずしも博物館や美術館における利用に限定されるものではなく、たとえば、工場見学に来訪した見学者に工場施設、機械設備、生産製品などの情報を提示する用途にも利用でき、あるいは、家具や電化製品などを販売する小売店を来訪した顧客に展示中の商品情報を提示する用途にも利用できる。したがって、本願にいう「閲覧者」とは、いわゆる美術館や博物館の入館者のみを意味するものではなく、工場や様々な施設の見学者や、小売店に来訪した顧客、観光名所を訪問した観光客など、何らかの展示物(人工的な展示物に限らず、自然が提供する展示物も含む)を閲覧する者を広く意味するものである。また、本願にいう「展示物」とは、絵画や工芸品といった美術的な展示品のみを意味するものではなく、設備、機械、商品、観光対象物など、人工的もしくは自然界により展示されている万物を広く意味するものである。
図1は、本発明に係る展示物用情報提示装置を、博物館において利用する場合の典型例を示すものである。図1には、この博物館の1つの展示室の壁面に、4つの展示物E1〜E4が陳列されている状態において、閲覧者Mが、特定の展示物E2を注視し、観察している状態が示されている。頭部Hから展示物E2へ向かう破線は、閲覧者Mの視線方向を示すものである。
本発明に係る展示物用情報提示装置は、展示物の近傍に設置して利用することが可能であるため、閲覧者Mに特別な携帯端末装置をもたせる必要はない。ただ、ここに示す実施形態では、図2に示すような位置指定ツール10を用意し、閲覧者Mに携帯させている。図示する位置指定ツール10は、透明な支持媒体11上に矢印の形状をした指示図形12が描かれたものであり、たとえば、アクリル板に矢印を印刷したような単純な道具によって実現できる。したがって、携帯端末装置に比較して、極めて安価であるから、入館者に無料配布して退館時に回収しない運用形態を採っても、実用上の問題は生じない。なお、本願図面上では、説明の便宜上、矢印先端の尖点Pに黒丸を付して示すことにするが、実際には、指示図形12として、先頭が尖った矢印が描かれていれば足り、先端に黒丸を描く必要はない。
さて、図3および図4は、図1に示す環境において、閲覧者Mが、図2に示す位置指定ツール10を用いて、情報提示を受けたい所望の展示物を指し示している状態を示している。すなわち、図3は、閲覧者Mが、頭部Hと展示物E2との間に位置指定ツール10を保持して、透明な位置指定ツール10を通して展示物E2を観察し、矢印(指示図形12)の尖点Pによって展示物E2を指し示す動作を行っている状態を示している。このような動作は、閲覧者Mが展示物E2の情報提示を求めていることを示す。一方、図4は、閲覧者Mが、頭部Hと展示物E3との間に位置指定ツール10を保持して、透明な位置指定ツール10を通して展示物E3を観察し、矢印の尖点Pによって展示物E3を指し示す動作を行っている状態を示している。このような動作は、閲覧者Mが展示物E3の情報提示を求めていることを示す。
本発明に係る情報提示装置では、閲覧者Mが図3に示す動作を行うと、近くに設置された情報提示手段(たとえば、スピーカ)から、展示物E2に関する解説情報が提示され、閲覧者Mが図4に示す動作を行うと、展示物E3に関する解説情報が提示される。なお、閲覧者Mが指し示している展示物が、展示物E2からE3に変わった場合、提示される情報も展示物E2の解説情報から展示物E3の解説情報に即座に切り替わるようにしてもよいが、提示される情報が音声情報や動画情報の場合のように、途中で中断すると好ましくない情報の場合は、区切りの良い部分まで展示物E2の解説情報を流した後、展示物E3の解説情報に切り替えるようにすればよい。
図5は、図1に示す環境において、各展示物E1〜E4,位置指定ツール10,閲覧者Mが配置された空間上に定義されたXYZ三次元座標系を示す図である。ここでは、説明の便宜上、図示のとおり、展示物E1〜E4の背景を構成する壁面をXY平面とし、床面をXZ平面とし、鉛直方向にY軸をとったXYZ三次元座標系を定義することにする。閲覧者Mは、図示のとおり、Z軸の正側の位置に立って、Z軸の負側方向に受かって各展示物E1〜E4を観察することになる。このとき、閲覧者Mの頭部Hと各展示物E1〜E4との間に、閲覧者Mが保持した位置指定ツール10を配置し、図3もしくは図4に示すように、位置指定ツール10を特定の位置へもってゆくと、特定の展示物についての解説情報が選択的に提示されることになる。
このような選択的な提示を行うための基本原理は次のとおりである。まず、各展示物E1〜E4について、それぞれ解説用の音声データや画像データを、提示対象情報として用意する。一方、各展示物E1〜E4を展示室内に実際に陳列する際に、その代表点L1〜L4の位置(XYZ三次元座標系での座標値)を配置位置情報として求めておく。代表点L1〜L4の位置は、たとえば、各展示物の重心位置のように厳密に定義することも可能であるが、実用上は、それほど厳密な精度は必要ないので、ほぼ中心の点を代表点とする取り扱いをすればよい。XYZ三次元座標系のとり方やスケーリングは任意であるので、実用上は、各展示物のおよその位置をメジャーなどで測定することにより、各代表点L1〜L4の位置座標を決定することができる。
このような環境において、閲覧者Mの頭部Hの近傍に定義された基準点Qの位置と、位置指定ツール10によって指し示されている参照点P(ここでは、便宜上、指示図形12の尖点Pと同じ符号Pで示す)の位置とを認識することができれば、基準点Qから参照点Pへ向かう注視ベクトルVの方向にある特定の展示物を、代表点L1〜L4の位置座標に基づいて認識し、当該特定の展示物を注視展示物とする取り扱いができる。したがって、当該注視展示物について予め用意されていた解説用の音声データや画像データを、閲覧者Mに自動的に提示するようにすればよい。
なお、基準点Qや参照点Pの座標値を求めるには、閲覧場所の近傍に複数台のカメラを設置し、異なる方向から閲覧者Mおよび位置指定ツール10を撮影し、得られた複数の撮影画像を解析する方法を採ればよい。個々の撮影画像は二次元画像であるが、同一の被写体を異なる向きから撮影した複数枚の撮影画像を解析すれば、被写体の三次元空間上での位置を把握することができる。このような具体的な方法については後述する。
ところで、図5に示す注視ベクトルVは、閲覧者Mの視線方向を示す視線ベクトルではない。本発明において、基準点Qは、閲覧者の頭部Hのおおよその位置を示す点でよいので、必ずしも視線上の点である必要はない。すなわち、本発明における基準点Qは、閲覧者Mの頭部Hの内部に定義された点であってもよいし、図示する例のように、頭部Hの外部近傍に定義された点であってもよい。別言すれば、本発明では、「閲覧者Mが実際にどの方向を見ているか」という視線の向きを認識する必要はなく、「閲覧者Mの頭部Hがどの位置にあるのか」を認識できれば足りる。
これは、本発明では、閲覧者Mの注視方向を、基準点Qと参照点Pとの2点で把握する方法を採っているためである。図5に示す例の場合、頭部Hのおおよその位置を基準点Qの座標値として取得することができ、閲覧者Mが指し示している参照点Pの位置を位置指定ツール10上の矢印先端部の座標値として取得することができるので、これら2点QPを結ぶ方向として、注視方向を把握することができる。
このため、たとえば、図3に示す状態において、閲覧者Mが一時的に頭部Hを右側へ回転し、視線を展示物E4に向けたとしても、基準点Qの変位はわずかなので、位置指定ツール10の空間上の位置に代わりがなければ、展示物E2が注視展示物として取り扱われ、展示物E2に関する情報提示が選択的に行われることになる。このように、閲覧者の実際の視線方向に拘わらず、頭部Hの位置と参照点Pの位置とに基づいて注視方向を決定するようにすれば、閲覧者Mが実際に注視対象としている展示物を正確に予測することができる。これは、図3に示す例における頭部Hおよび位置指定ツール10の空間上の位置は、閲覧者の注視対象が展示物E2であることをより正確に示していると考えられるからである。
このように、視線ベクトルの代わりに、注視ベクトルV(基準点Qから参照点Pへ向かうベクトル)を用いると、閲覧者の実際の注視対象となる展示物を正確に予測できるメリットが得られるとともに、演算負担を軽減するという付加的なメリットも得られることになる。上述したとおり、同一の被写体を異なる向きから撮影した複数枚の撮影画像を解析すれば、被写体の三次元空間上での位置を把握することができる。したがって、閲覧者Mの頭部Hを様々な方向から撮影した複数枚の撮影画像を解析すれば、頭部Hの三次元立体像を復元することが可能であり、視線ベクトルの向きを決定することも可能であるが、そのような処理には、通常、多大な演算負担が課せられる。これに対して、頭部Hのおおよその位置を決定する処理は、後述する例のように、比較的軽い演算負担で行うことができる。
なお、本願における「注視」という文言は、必ずしも「閲覧者が視線を向けている」ことを意味するものではない。上述したとおり、図3に示す状態において、閲覧者Mが頭部Hを右側へ回転し、視線を展示物E4に向けたとしても、位置指定ツール10の空間上の位置に代わりがなければ、閲覧者Mの注視方向はあくまでも展示物E2の方向である。したがって、本願における「注視」とは、「閲覧者Mが関心を向け、何らかの情報を要求している」ことと同義であり、「注視方向」とは、「閲覧者Mが関心を向け、何らかの情報を要求している対象物が存在する方向」を意味する。
<<< §2. 本発明の基本的な実施形態に係る装置 >>>
図6は、本発明の基本的な実施形態に係る展示物用情報提示装置の構成を示すブロック図である。図示のとおり、この装置は、位置指定ツール10,位置検出手段20,注視方向予測手段30,注視展示物特定手段40,配置位置情報格納部50,情報提示手段60,提示対象情報格納部70によって構成されており、図5に示すようなXYZ三次元座標系上に陳列された複数の展示物E1〜E4のうち、閲覧者Mが注意を向けた特定の展示物についての情報を選択的に提示する情報提示装置として機能する。
ここで、位置指定ツール10は、図2に示すように、透明な支持媒体11上に矢印の形状をした指示図形12が描かれた板状の構造体であり、点を指し示す構造を有し、閲覧者Mによる配置動作によって三次元空間上の所定の参照点Pを指し示す機能を有する。
位置検出手段20は、閲覧者Mの頭部Hもしくはその近傍に定められた所定の基準点Qの位置と、位置指定ツール10によって指し示された参照点Pの位置と、を検出するための構成要素である。すなわち、図5に示すXYZ三次元座標系上において、基準点Qと参照点Pの座標値が検出される。具体的には、この位置検出手段20は、後述するように、複数台のカメラと、これらのカメラによって得られた複数枚の撮影画像を解析する画像解析部と、によって構成することができる。
こうして検出された基準点Qと参照点Pの位置は、注視方向予測手段30へ与えられる。注視方向予測手段30は、位置検出手段20によって検出された「基準点Qの位置」と「参照点Pの位置」とに基づいて、閲覧者Mが注意を向けていると推定される注視方向を予測する処理を行う。最も簡単な予測方法は、図5に例示するように、基準点Qから参照点Pへ向かう注視ベクトルVの方向を注視方向とする方法である。
注視展示物特定手段40は、配置位置情報格納部50内に格納されている配置位置情報を参照することにより、注視方向もしくはその近傍に配置されている展示物を注視展示物として特定する処理を行う。
配置位置情報格納部50は、個々の展示物E1〜E4について、それぞれ三次元空間上での配置位置を示す配置位置情報L(1)〜L(4)を格納している。たとえば、前述したように、各展示物E1〜E4を展示室内に実際に陳列する際に、その代表点L1〜L4の位置を示すXYZ三次元座標系での座標値を測定しておき、これら座標値を配置位置情報L(1)〜L(4)として格納しておけばよい。予めこのような座標値を格納しておけば、注視展示物特定手段40は、注視ベクトルVの方向もしくはその近傍に存在する代表点を認識し、当該代表点をもつ展示物を注視展示物と特定することができる。
提示対象情報格納部70は、個々の展示物E1〜E4について、それぞれ提示対象情報I(1)〜I(4)を格納している。これらの提示対象情報は、個々の展示物E1〜E4の解説を行うための音声データや画像データである。
情報提示手段60は、提示対象情報格納部70から、注視展示物についての提示対象情報を読み出し、これを閲覧者Mに提示する。たとえば、提示対象情報が音声データによって構成されている場合、情報提示手段60は、展示場所の近傍に配置されたスピーカを含む装置として構成され、このスピーカから、注視展示物についての解説音声が流れることになる。
なお、実用上は、配置位置情報格納部50には、第i番目の展示物Ei(i=1,2,3,...)の配置位置を示す配置位置情報L(i)を、当該第i番目の展示物Eiを特定するための展示物識別コードE(i)に対応づけて格納しておくようにし、提示対象情報格納部70には、第i番目の展示物Eiについての提示対象情報I(i)を、当該展示物Eiについての展示物識別コードE(i)に対応づけて格納しておくようにするとよい。図6に示す配置位置情報格納部50および提示対象情報格納部70の構成は、このような格納を行った例である。
この場合、注視展示物特定手段40は、配置位置情報格納部50内の各配置位置情報L(1)〜L(4)を参照することにより、注視方向もしくはその近傍に配置されている展示物を注視展示物Eiとして特定し、当該注視展示物Eiの展示物識別コードE(i)を読み出し、これを情報提示手段60に対して与える処理を行えばよい。情報提示手段60は、与えられた展示物識別コードE(i)に対応する提示対象情報I(i)を読み出し、これを閲覧者Mに提示することができる。
ここで、提示対象情報は、個々の展示物に関連して閲覧者に提示する情報であれば、どのような内容の情報でもよく、また、どのような形態の情報でもよい。たとえば、閲覧者に音声として情報提示を行うのであれば、音声データからなる提示対象情報を用意しておけばよい。また、閲覧者に画像として情報提示を行うのであれば、画像データからなる提示対象情報を用意しておけばよい。ここで、画像データは、文字データ、静止画データ、動画データなど、ディスプレイ画面上で提示可能なものであれば、どのような形式のデータであってもよい。要するに、提示対象情報格納部70は、音声もしくは画像、またはこれらの双方を提示するためのコンテンツデータを提示対象情報として格納していればよい。
一方、情報提示手段60は、提示対象情報格納部70内に用意されているコンテンツデータを再生するためのハードウエア装置を備えており、このハードウエア装置を用いて提示対象情報の提示を行うことになる。具体的には、スピーカ、イヤホン、ヘッドホン、ディスプレイ装置、または投影装置を用いて提示対象情報の提示を行うことができる。
なお、この図6に示す展示物用情報提示装置は、実際には、コンピュータを利用して構成される。すなわち、配置位置情報格納部50および提示対象情報格納部70は、コンピュータのハードディスク装置などに配置位置情報や提示対象情報を構成するデータを格納することによって構成することができる。また、注視方向予測手段30や注視展示物特定手段40は、コンピュータに専用の処理プログラムを組み込むことによって構成することができる。更に、位置検出手段20の一部(たとえば、後述する画像解析部23(図7)の部分)や情報提示手段60の一部(たとえば、後述する投影画像変形部62や投影画像作成部63(図28)の部分)も、コンピュータに専用の処理プログラムを組み込むことによって構成することができる。
結局、この図6に示す展示物用情報提示装置を用いると、複数の展示物のうち閲覧者が注意を向けた特定の展示物についての情報を選択的に提示する情報提示方法をコンピュータに実行させることが可能になる。
具体的には、この情報提示方法は、コンピュータが、複数の展示物E1〜E4について、それぞれ三次元空間上での配置位置を示す配置位置情報L(1)〜L(4)を格納する段階と、コンピュータが、これら複数の展示物E1〜E4について、それぞれ提示対象情報I(1)〜I(4)を格納する段階と、閲覧者Mの手に保持された物品によって、三次元空間上の所定の参照点が指し示されたときに、コンピュータが、閲覧者Mの頭部Hもしくはその近傍に定められた所定の基準点Qの位置と、参照点Pの位置と、を検出する段階と、コンピュータが、検出された「基準点Qの位置」と「参照点Pの位置」とに基づいて、閲覧者Mが注意を向けていると推定される注視方向(たとえば、注視ベクトルVの方向)を予測する段階と、コンピュータが、格納中の配置位置情報L(1)〜L(4)を参照することにより、注視方向もしくはその近傍に配置されている展示物を注視展示物Eiとして特定する段階と、コンピュータが、注視展示物Eiについての提示対象情報I(i)を音声もしくは画像の提示装置に対して出力し、閲覧者Mに提示する段階と、によって構成される。
<<< §3. 位置検出手段の具体的構成例 >>>
続いて、ここでは、図6に示す位置検出手段20の具体的な構成例を説明する。図7は、この位置検出手段20の具体的な構成例を示す側面図である。図示のとおり、この構成例では、位置検出手段20は、第1のカメラ21,第2のカメラ22,画像解析部23によって構成され、画像解析部23は、更に、第1解析部23A,第2解析部23B,座標変換部23Cによって構成される。
既に述べたとおり、位置検出手段20の基本的な機能は、閲覧者の頭部Hもしくはその近傍に定められた所定の基準点Qの位置と、位置指定ツール10によって指し示された参照点Pの位置と、を検出することであり、より具体的には、図7に示すようなXYZ三次元座標系において、基準点Qの座標値Q(Xq,Yq,Zq)と参照点Pの座標値P(Xp,Yp,Zp)を検出することである。
図7に示すように、第1のカメラ21は、閲覧者の顔(頭部H)および手Tを正面から撮影するカメラであり、そのような撮影を行うのに適した位置に設置される。一方、第2のカメラ22は、閲覧者の顔(頭部Hの少なくとも顔面部分)および手Tを下方から撮影するカメラであり、そのような撮影を行うのに適した位置に設置される。図に一点鎖線で示す領域は、第1のカメラ21の撮影領域であり、図に破線で示す領域は、第2のカメラ22の撮影領域である。画像解析部23は、第1のカメラ21で撮影された第1の撮影画像S21と、第2のカメラ22で撮影された第2の撮影画像S22と、に基づいて、「基準点Qの位置」および「参照点Pの位置」を検出する。
図8(a) は、第1のカメラ21による撮影によって得られた第1の撮影画像S21の例を示し、図8(b) は、第2のカメラ22による撮影によって得られた第2の撮影画像S22の例を示す。
図8(a) に示す第1の撮影画像S21は、閲覧者の頭部Hおよび位置指定ツール10を保持した手Tを正面から撮影した画像であり、第1のカメラ21は、このような画像を撮影するのに適した位置に設置される。閲覧者の身長には個人差があり、閲覧時の立ち位置も様々であるから、第1のカメラ21は、ある程度広い視野を捉えることができるように設定しておくのが好ましい。もっとも、閲覧者が展示物E1〜E4を閲覧している状態にあることを前提とすればよいので、そのような前提で閲覧者を正面から撮影できる位置に設置すればよい。
一方、図8(b) に示す第2の撮影画像S22は、閲覧者の頭部Hおよび位置指定ツール10を保持した手Tを下方から撮影した画像であり、第2のカメラ22は、このような画像を撮影するのに適した位置に設置される。やはり閲覧者の身長には個人差があり、閲覧時の立ち位置も様々であるから、第2のカメラ22は、ある程度広い視野を捉えることができるように設定しておくのが好ましいが、閲覧者が展示物E1〜E4を閲覧している状態にあることを前提とすればよいので、そのような前提で閲覧者を下方から撮影できる位置に設置すればよい。
ここに示す実施形態の場合、図5に示すように、展示物E1〜E4の背景を構成する壁面をXY平面とし、床面をXZ平面とし、鉛直方向にY軸をとったXYZ三次元座標系が定義されている。そして、図7に示すように、第1のカメラ21は、その撮像面がXY平面に平行になり、第2のカメラ22は、その撮像面がXZ平面に平行になるように配置されている。結局、第1のカメラ21の撮像面は鉛直面になり、第2のカメラ22の撮像面は水平面になる。そこで、ここでは、第1のカメラ21の撮像面上にxy二次元座標系を定義し、第2のカメラ22の撮像面上にxz二次元座標系を定義する。ここで、xy二次元座標系およびxz二次元座標系は、それぞれ各カメラについて定義されたローカル座標系であり、x,y,z軸は、XYZ三次元座標系(図5に示すグローバル座標系)のそれぞれX,Y,Z軸に平行な座標軸である。
したがって、図8(a) に示す第1の撮影画像S21は、XY平面に平行な投影面(xy二次元座標系)への投影画像となり、図8(b) に示す第2の撮影画像S22は、XZ平面に平行な投影面(xz二次元座標系)への投影画像となる。2台のカメラ21,22をこのような条件を満たす位置に配置すると、画像解析部23による解析処理の演算負担を大幅に軽減させることができる。すなわち、画像解析部23は、第1の撮影画像S21を解析することにより、所定の特徴点のX座標値およびY座標値を求め、第2の撮影画像S22を解析することにより、当該特徴点のZ座標値を求めることができる。
ここでは、基準点Qを特徴点として捉え、その座標値を求める方法を例示する。本発明における基準点Qは、閲覧者の頭部Hもしくはその近傍に定められた所定の点として定義される点であるが、ここでは、より具体的に、「顔面を正面から撮影したときに、右目の中心点と左目の中心点から等距離にあり、顔面を下方から撮影したときに、鼻の先端位置にある点」と定義することにする。図7に示されている基準点Qは、このような定義に基づいて定まる点である。もちろん、基準点Qの定義は、このような定義に限定されるものではなく、たとえば、「頭部Hの重心点」,「鼻の頂点」のような定義を行うことも可能である。
さて、図8(a) に示す第1の撮影画像S21において、上述の定義に基づく基準点Qの位置を求めるには、まず、右目の中心点を求め、左目の中心点を求めた上で、両中心点の中点Gを求めればよい。第1解析部23Aは、そのような点Gのxy座標系上での座標値(xg,yg)を求める処理を行う。一方、図8(b) に示す第2の撮影画像S22において、上述の定義に基づく基準点Qの位置を求めるには、鼻の先端位置の点を求めればよい。第2解析部23Bは、そのような点のxz座標系上での座標値(xg,zg)を求める処理を行う(実際には、zgだけ求めれば足りる)。
座標変換部23Cは、こうして得られた、同一の基準点Qについての「xy二次元座標系上での座標値(xg,yg)」と「xz二次元座標系上での座標値zg」とに基づいて、XYZ三次元座標系における三次元座標値(Xq,Yq,Zq)を求める処理を行う。上述したとおり、xy二次元座標系は、XYZ三次元座標系内に定義されたローカル座標系であり、XY平面(鉛直面)に平行な座標系になっているので、座標値xg,ygに対して、所定のオフセット値を加減したり、所定のスケーリングファクタを乗じる補正を行うことにより、座標値(xg,yg)を座標値(Xq,Yq)に変換することが可能である。同様に、xz二次元座標系は、XYZ三次元座標系内に定義されたローカル座標系であり、XZ平面(水平面)に平行な座標系になっているので、座標値zgに対して、所定のオフセット値を加減したり、所定のスケーリングファクタを乗じる補正を行うことにより、座標値zgを座標値Zqに変換することが可能である。座標変換部23Cは、このような変換処理を行う機能を有する。
ここでは、上述の例のように定義された基準点Qを求める場合のより具体的な処理の一例を述べておく。まず、第1解析部23Aが、図8(a) に示す第1の撮影画像S21を解析して、基準点Qに相当する中点Gの座標値(xg,yg)を求める際には、一般に「白目認識法」と呼ばれている手法を用いることができる。この手法は、第1の撮影画像S21上に定義されたxy二次元座標系において、画像上の閲覧者の右眼の白目領域の重心点と左眼の白目領域の重心点とを求め、これら両重心点の中点Gの座標値(xg,yg)を求める処理が実行される。
図9は、図8に示す撮影画像S21の部分拡大図である。一般に、人間の顔面写真のうち、白目領域は、他の領域に比べて特有の色彩的な特徴(白を主成分とした色)を有しており、人種によっても、それほど大きな違いはない。したがって、撮影画像を構成する個々の画素の色成分を解析する処理を行うと、人間の白目領域を構成する画素を抽出することができる。このような解析処理を行うと、図9に示す例の場合、4箇所に存在する白目領域W1〜W4を抽出することができる。
図10は、こうして抽出された白目領域W1〜W4(ハッチングを施した部分)を示す平面図である。この4つの白目領域W1〜W4は、横方向(x軸方向)に並んでいるので、左側の2組W1,W2を右眼の白目領域と認識することができ、右側の2組W3,W4を左眼の白目領域と認識することができる。そこで、まず、右眼の白目領域W1,W2の重心点G1と左眼の白目領域W3,W4の重心点G2とを求める(各白目領域を構成する個々の画素のx座標値の平均値とy座標値の平均値を求める演算を行えばよい)。そして、最後に、これら両重心点G1,G2の中点Gの座標値(xg,yg)を求める演算を行えばよい。中点G(xg,yg)は、実際の基準点Qをxy平面上に正射影した点ということになる。
一方、第2解析部23Bが、図8(b) に示す第2の撮影画像S22を解析して、基準点Qの座標値zgを求めるには、xz二次元座標系において、第2の撮影画像S22上の閲覧者の顔に対応する肌色領域Kを認識し、当該肌色領域Kの最小のz座標値zgを求める処理が実行される。
図11は、図8(b) に示す第2の撮影画像S22から肌色領域K(図にハッチングを施した部分)を認識し、鼻の先端位置の座標値zgを決定するプロセスを示す平面図である。肌色領域Kの色彩には、人種も含めた個人差があるが、図7に示す位置に設置された第2のカメラ22で、展示物Eを閲覧中の閲覧者Mを撮影するという前提では、第2の撮影画像S22上に現れる肌色領域Kの位置や面積はある程度予想がつくので、このような予想位置に予想面積をもった類似した色彩の画素群が存在した場合に、当該画素群からなる領域を肌色領域Kと認識することができる。より具体的には、色空間をRGB系からHSV系へ変換し、人の肌の色が人種にかかわらず統計的にH=6〜38の範囲にあることを利用した肌色領域の認識方法が知られている。そこで、第2解析部23Bは、このような肌色領域Kを構成する画素群の中で、最も小さなz座標値をもつ画素の当該z座標値を、鼻の先端位置にある点のz座標値zgと決定する。
最後に、座標変換部23Cによって、座標値(xg,yg,zg)を、XYZ三次元座標系における座標値(Xq,Yq,Zq)に変換する処理を行えば、閲覧者の頭部近傍に定められた基準点Qの座標値(Xq,Yq,Zq)を求めることができる。図12は、図10および図11のプロセスで得られた座標値(xg,yg,zg)に基づいて、XYZ三次元座標系における基準点Q(Xq,Yq,Zq)の座標値を求めた例を示す側面図である。
このようにして求められた基準点Qは、あくまでも閲覧者の頭部Hの近傍の1点であり、頭部Hのおおよその位置を示す機能しかもたず、いわゆる視線ベクトルのように、閲覧者の視線の向きを示すものではない。しかしながら、本発明では、この基準点Qと参照点Pとの2点を用いて、閲覧者Mの注視方向を予測する手法を採るので、閲覧者Mの頭部Hに関しては、このような基準点Qの位置が求まれば十分である。そして、たとえば上例のように基準点Qを定義すれば、比較的単純なプロセスで、基準点Qの座標値(Xq,Yq,Zq)を求めることができる。
以上、第1の撮影画像S21および第2の撮影画像S22を解析することにより、基準点QのXYZ三次元座標系における座標値(Xq,Yq,Zq)を求める例を述べたが、画像解析部23は、両撮影画像S21,S22に共通して写っている任意の特徴点について、同様の処理を実行することにより、当該特徴点のXYZ三次元座標系における座標値(Xq,Yq,Zq)を求めることができる。すなわち、一般論で説明すれば、第1解析部23Aは、第1の撮影画像S21上に定義されたxy二次元座標系において、所定の特徴点の座標値(xg,yg)を求める処理を行い、第2解析部23Bは、第2の撮影画像S22上に定義されたxz二次元座標系において、当該特徴点のz座標値zgを求める処理を行い、座標変換部23Cは、これらの座標値を、XYZ三次元座標系における座標値(Xq,Yq,Zq)に変換する処理を行う。
ここで、座標変換部23Cによる座標変換は、第1のカメラ21の設置位置および光学系の倍率に基づいて定まるxy二次元座標系の座標値(x,y)とXYZ三次元座標系の座標値(X,Y)との関係式に基づいて、xy二次元座標系上の座標値(xg,yg)を、それぞれXYZ三次元座標系の座標値(Xq,Yq)に変換する処理と、第2のカメラ22の設置位置および光学系の倍率に基づいて定まるxz二次元座標系の座標値(x,z)とXYZ三次元座標系の座標値(X,Z)との関係式に基づいて、xz二次元座標系上の座標値zgを、XYZ三次元座標系の座標値Zqに変換する処理と、によってなされることになる。
この基本原理に従えば、画像解析部23は、図8(a) ,(b) に示す2枚の撮影画像S21,S22に基づいて、基準点Qの座標値Q(Xq,Yq,Zq)のみならず、参照点Pの座標値P(Xp,Yp,Zp)を求めることができる。
具体的には、まず、第1解析部23Aが、図13(a) に示すように、第1の撮影画像S21上に定義されたxy二次元座標系において、画像上の参照点Paの座標値(xa,ya)を求める処理を行い、第2解析部23Bが、図13(b) に示すように、第2の撮影画像S22上に定義されたxz二次元座標系において、画像上の参照点Pbの座標値(xb,zb)を求める処理を行う(実際には、z座標値zbのみを求めれば十分である)。そして、最後に、座標変換部23Cが、座標値(xa,ya,zb)を、XYZ三次元座標系における座標値(Xp,Yp,Zp)に変換する処理を行えば、図7に示す位置指定ツール10上の参照点Pの座標値(Xp,Yp,Zp)が得られる。
なお、図13(a) に示すように、第1の撮影画像S21上で参照点Paを特定したり、図13(b) に示すように、第2の撮影画像S22上で参照点Pbを特定したりするには、参照点Pを特徴点として、その幾何学的な特徴を予め設定しておき、画像上でそのような特徴を満足する特徴点を認識する処理を行えばよい。このような特徴点を認識する画像処理には、さまざまな手法が知られているが、最も簡単な方法は、画像上の直線を認識する方法である。
通常、デジタルデータで示される画像は、縦横に配列された画素の集合体によって構成され、個々の画素は所定の画素値を有している。そこで、この画素値の空間的な分布を解析すれば(たとえば、画素値変化の所定方向に関する微分をとる処理を行えば)、画像として表現されているパターンが含む直線成分を検出することができる。図14は、このような方法で検出された直線成分の一例を示す平面図である。たとえば、図示のL11〜L15は、いずれも画像上に検出された直線成分であり、個々の直線成分を跨ぐことにより、画素値の急激な変化が生じている。
このように、画像に含まれる直線成分を検出することができれば、これら直線成分が特定の条件を満たす点として、特徴点の認識が可能である。たとえば、図14に示す例の場合、第1の撮影画像S21上において、2本の直線成分が所定の角度θで交差する点として、特徴点Pa(すなわち、矢印からなる指示図形12aの尖点Paによって指し示された参照点Pa)を認識することができる。同様の方法により、第2の撮影画像S22上において、特徴点Pb(すなわち、矢印からなる指示図形12bの尖点Pbによって指し示された参照点Pb)を認識することもできる。要するに、第1解析部23Aおよび第2解析部23Bは、それぞれ画像S21,S22上で直線の認識を行い、特定の位置関係にある2直線の交点を参照点Pa,Pbと認識すればよい。
もちろん、指示図形12としては様々な図形を採用することができるので、参照点Pを認識するアルゴリズムは、採用した図形に応じて適宜変える必要がある。また、指示図形12や参照点Pを認識するアルゴリズムには、直線を認識する方法だけでなく、色彩を認識する方法なども組み合わせることができる。このように、画像上に含まれる特定の図形や特徴点を認識するアルゴリズムは、様々なものが公知であるため、本願では、これ以上の詳しい説明は省略する。
以上、図7に例示するように、2台の固定カメラ21,22と、画像解析部23とによって位置検出手段20の具体的構成例を示したが、本発明に用いる位置検出手段20は、必ずしもこのような構成例に限定されるものではない。
たとえば、カメラ21,22の位置は必ずしも固定する必要はなく、必要に応じて移動するような構成をとってもかまわない。具体的には、閲覧者Mの大まかな位置を検出する赤外線センサなどを天井に設置しておき、この赤外線センサの検出結果に基づいて、閲覧者Mが立っていると推定される位置まで、カメラ21,22を自動的に移動させるような構成をとることも可能である。また、閲覧者Mの位置に応じて、カメラのズーム倍率を自動調整することも可能である。もちろん、カメラの位置やズーム倍率を変更した場合は、xy二次元座標系やxz二次元座標系と、XYZ三次元座標系との関係式も変わるので、座標変換部23Cは、毎回、カメラの位置やズーム倍率に応じた正しい関係式を用いて座標変換処理を実行する必要がある。
また、設置するカメラの台数も、必ずしも2台に限定されるものではない。一般に、二次元平面画像に基づいて、三次元画像情報を得る手法は、イメージベースドモデリングとして知られている手法であり、三次元空間に配置された同一の被写体を、それぞれ異なる方向から撮影した複数の二次元平面画像が用意できれば、当該被写体の三次元画像情報を復元することができる。したがって、一般論としては、本発明に用いる位置検出手段20は、閲覧者Mをそれぞれ異なる方向から撮影する複数のカメラと、これら複数のカメラの撮影画像を解析することにより、「基準点Qの位置」および「参照点Pの位置」を検出する画像解析部(専用プログラムを組み込んだコンピュータ)によって構成することが可能である。
あるいは、複数台のカメラを用いる代わりに、レーザレンジファインダなどの三次元位置測定装置を用いて、位置検出手段20を構成することも可能である。レーザレンジファインダは、被写体をレーザビームでスキャンしながら、被写体の各点までの距離を計測する機能をもった測定装置である。このレーザレンジファインダを用いれば、たとえば、図8(a) に示すようなxy二次元座標系上に二次元画像を得るとともに、当該二次元画像上の被写体を構成する各点までの距離rの情報(いわば、奥行きに関する情報)を得ることができるので、(x,y,r)なる情報に基づいて、被写体を構成する各点のXYZ三次元座標系上の座標値(X,Y,Z)を求めることができる(距離rを、奥行きのZ座標値に変換する処理を行えばよい)。
<<< §4. 注視方向の予測および注視展示物の特定 >>>
ここでは、図6に示す基本的な実施形態に係る装置における注視方向予測手段30による注視方向の予測処理および注視展示物特定手段40による注視展示物の特定処理の具体的な方法を述べる。
既に述べたとおり、注視方向予測手段30によって注視方向を予測する最も単純な方法は、図5に例示するように、基準点Qから参照点Pへ向かう注視ベクトルVの方向を注視方向と予測する方法である。注視方向予測手段30には、位置検出手段20から、基準点Qの座標値Q(Xq,Yq,Zq)と参照点Pの座標値P(Xp,Yp,Zp)が与えられているので、単純な幾何学演算によって、これらの座標値からXYZ三次元座標系上における注視ベクトルVを示す式を求めることができる。
一方、注視展示物特定手段40は、配置位置情報格納部50内に格納されている配置位置情報L(1)〜L(4)を参照することにより、この注視ベクトルVの方向もしくはこの注視ベクトルVの近傍に配置されている展示物を注視展示物として特定する処理を行うことができる。たとえば、配置位置情報格納部50が、個々の展示物E1〜E4の代表点L1〜L4の三次元座標値をそれぞれの配置位置情報L(1)〜L(4)として格納している場合であれば、注視展示物特定手段40は、「注視ベクトルVからの距離が基準値以下となる」という条件を満たす代表点をもつ展示物を注視展示物として特定することができる。
図15は、基準点Qから参照点Pへ向かう注視ベクトルVと、各展示物E1〜E4の代表点L1〜L4との位置関係を示す側面図である。各代表点L1〜L4の位置座標は、それぞれ配置位置情報L(1)〜L(4)として配置位置情報格納部50に格納されているので、注視展示物特定手段40は、各代表点L1〜L4と注視ベクトルVとの距離をそれぞれ幾何学的な演算によって求めることができる。そこで、予め所定の基準値を定めておき、「注視ベクトルVからの距離が基準値以下となる」という条件を満たす代表点を探し、当該代表点をもつ展示物を注視展示物として特定すればよい。たとえば、図15に示す例において、代表点L2と注視ベクトルとの距離が基準値以下であった場合、展示物E2が注視展示物として特定され、注視展示物特定手段40によって、展示物識別コードE(2)が読み出され、情報提示手段60へと与えられることになる。この特定方法では、基準値を増減することにより、注視展示物として特定される条件を絞ったり緩めたりする調整が可能である。
一方、図16は、別な条件に基づいて注視展示物の特定を行う例を示すものである。この例の場合も、基準点Qから参照点Pへ向かうベクトルとして、注視ベクトルVが定義される点に変わりはないが、更に、図示のとおり、基準点Qを頂点、注視ベクトルVを中心軸とし、所定の頂角をもった注視円錐Cが定義されている。そして、この例では、注視円錐Cの内部に位置する代表点をもつ展示物が、注視展示物として特定される。具体的には、図示の例の場合、代表点L2が注視円錐Cの内部に位置するため、展示物E2が注視展示物として特定されることになる。
要するに、この図16に示す特定方法を採る場合、配置位置情報格納部50内には、図15に示す特定方法を採る場合と同様に、個々の展示物E1〜E4の代表点L1〜L4の三次元座標値をそれぞれの配置位置情報L(1)〜L(4)として格納しておき、注視展示物特定手段40が、「基準点Qを頂点、注視ベクトルVを中心軸とし、所定の頂角をもった注視円錐C内に位置する」という条件を満たす代表点をもつ展示物を注視展示物として特定すればよい。
このように、注視円錐Cを用いた特定方法を採ると、基準点Qから遠くなればなるほど、注視円錐Cの内部領域が広がることになる。このため、基準点Qから遠くなればなるほど、「注視円錐C内に位置する」という条件を満足しやすくなる。これは、閲覧者Mが、図3や図4に示すような方法で注視対象となる展示物を指示する操作を行うことを考えると、より閲覧者Mの意向に近い結果が得られる特定方法であることが理解できよう。この特定方法では、注視円錐Cの頂角の設定を変えることにより、注視展示物として特定される条件を絞ったり緩めたりする調整が可能である。
もちろん、図15,図16のいずれの特定方法を採る場合でも、条件を満たす展示物が複数存在する場合があり得る。たとえば、図15に示す例では、基準値をより大きく設定すれば、2つの代表点L2,L3が条件を満足し、2つの展示物E2,E3が注視展示物として特定されることになる。同様に、図16に示す例では、注視円錐Cの頂角をより大きく設定すれば、2つの代表点L2,L3が条件を満足し、2つの展示物E2,E3が注視展示物として特定されることになる。
本発明に係る装置では、このように複数の展示物を注視展示物として特定してもかまわない。この場合、注視展示物特定手段40から情報提示手段60に対して、複数の展示物識別コードが与えられることになるので、情報提示手段60は、複数の注視展示物についての提示対象情報を読み出し、これを提示することになる。具体的には、音声からなる提示対象情報の場合は、順番にこれを提示すればよい。画像からなる提示対象情報の場合は、順番にこれを提示してもよいし、両者を同時に提示してもよい。また、後述するように、インタラクティブな方式で、閲覧者が希望する情報を適宜提示する方法を採る場合は、閲覧者が選択した一方の提示対象情報を提示すればよい。
もっとも、実用上は、常に1つの展示物のみを注視展示物として特定し、同時に複数の注視展示物が特定されないような運用が好ましい場合もある。このような運用を採れば、情報提示手段60は、常に1つの注視展示物についての情報提示を行えばよい。このように、常に1つの展示物のみを注視展示物として特定する運用を採る場合には、注視展示物特定手段40は、条件を満たす展示物が複数存在する場合に、注視ベクトルVと代表点との距離が最短となる代表点をもつ1つの展示物のみを注視展示物として特定する処理を行えばよい。こうすれば、たとえば図15や図16に示す例の場合、距離の基準値をどのような大きな値に設定しても、あるいは注視円錐Cの頂角をどのような大きな値に設定しても、常に、注視ベクトルVとの距離が最短となる代表点L2をもつ展示物E2のみが注視展示物として特定される。
以上、配置位置情報格納部50が、個々の展示物E1〜E4の代表点L1〜L4の三次元座標値をそれぞれの配置位置情報L(1)〜L(4)として格納している場合について、注視展示物特定手段40が行う注視展示物の特定処理の具体的な方法を述べた。しかしながら、配置位置情報L(1)〜L(4)としては、必ずしも代表点L1〜L4の三次元座標値を用いる必要はない。たとえば、配置位置情報格納部50には、個々の展示物E1〜E4に対応する三次元仮想物体の三次元座標系上における立体形状データをそれぞれの配置位置情報L(1)〜L(4)として格納しておいてもよい。
一般に、三次元のコンピュータグラフィックスの技術を利用すれば、様々な形状をもつ物品に対応する三次元仮想物体の立体形状データを作成することが可能であり、バーチャルな三次元空間に、この立体形状データで表現される三次元仮想物体を配置することが可能である。通常、このような立体形状データは、多数の微小な多角形の集合体からなるポリゴンデータという形式で用意される。このような技術を利用すれば、実在の各展示物E1〜E4に対応する三次元仮想物体の立体形状データ(ポリゴンデータ)をコンピュータ上に用意することができ、配置位置情報格納部50には、個々の展示物E1〜E4に対応する三次元仮想物体の三次元座標系上における立体形状データをそれぞれの配置位置情報L(1)〜L(4)として格納しておくことができる。このような立体形状データからなる配置位置情報L(1)〜L(4)を用意しておけば、注視展示物特定手段40は、よりきめの細かな注視展示物の特定処理を行うことができる。
図17は、基準点Qから参照点Pへ向かう注視ベクトルVと、各展示物に対応する三次元仮想物体E1〜E4との位置関係を示す側面図である。注視展示物特定手段40は、配置位置情報格納部50に配置位置情報L(1)〜L(4)として格納されている個々の三次元仮想物体E1〜E4の立体形状データを用いて、個々の三次元仮想物体E1〜E4と注視ベクトルVとの位置関係を把握することができる。そこで、「物体の注視ベクトルVに対する最近接箇所と、注視ベクトルVと、の距離が基準値以下となる」という条件を満たす三次元仮想物体に対応する展示物を注視展示物として特定することが可能になる。
たとえば、図17に示す例の場合、注視ベクトルVは、三次元仮想物体E2を突き抜けている。したがって、三次元仮想物体E2(壺)の注視ベクトルVに対する最近接箇所は、注視ベクトルVが貫通している箇所であり、「当該最近接箇所と注視ベクトルVとの距離」は0になる。一方、三次元仮想物体E1(掛け軸)の注視ベクトルVに対する最近接箇所は、図示された掛け軸の右上部分であり、三次元仮想物体E3(絵皿)の注視ベクトルVに対する最近接箇所は、図示された絵皿の手前部分である。よって、「物体の注視ベクトルVに対する最近接箇所と、注視ベクトルVと、の距離が基準値以下となる」という条件において、基準値=0に設定しておけば、当該条件を満たす三次元仮想物体はE2のみということになり、展示物E2が注視展示物として特定されることになる。
なお、基準値をより大きな値に設定すると、上記条件を満足する三次元仮想物体が複数存在することになる。そこで、常に1つの展示物のみを注視展示物として特定する運用を採る場合には、注視展示物特定手段40は、条件を満たす展示物が複数存在する場合に、「物体の注視ベクトルに対する最近接箇所」と「注視ベクトル」との距離が最短となる三次元仮想物体に対応する1つの展示物を注視展示物として特定するようにすればよい。そうすれば、図17に示す例の場合、基準値をどのような大きな値に設定しても、常に、「物体の注視ベクトルに対する最近接箇所」と「注視ベクトル」との距離=0になる三次元仮想物体E2に対応する展示物E2のみが注視展示物として特定される。
一方、図18は、基準点Qから参照点Pへ向かう注視ベクトルVを中心軸とする注視円錐Cと、各展示物に対応する三次元仮想物体E1〜E4との位置関係を示す側面図である。この例の場合も、注視展示物特定手段40は、配置位置情報格納部50に配置位置情報L(1)〜L(4)として格納されている個々の三次元仮想物体E1〜E4の立体形状データを用いて、個々の三次元仮想物体E1〜E4と注視円錐Cとの位置関係を把握することができる。そこで、「物体のいずれかの箇所が、基準点Qを頂点、注視ベクトルVを中心軸とし、所定の頂角をもった注視円錐C内に位置する」という条件を満たす三次元仮想物体に対応する展示物を注視展示物として特定することが可能になる。あるいは、「注視円錐Cの内部に位置する部分の体積が所定以上」という付加条件を設定してもよい。
たとえば、図18に示す例の場合、三次元仮想物体E2(壺)の大部分が注視円錐C内に含まれているので、三次元仮想物体E2は上記条件を満足する。これに対して、他の三次元仮想物体E1,E3,E4は、いずれも注視円錐Cの外部に位置するため、上記条件を満足しない。よって、図18に示す例の場合、条件を満たす三次元仮想物体はE2のみということになり、展示物E2が注視展示物として特定されることになる。
もちろん、このような条件を満たす展示物が複数存在するケースもあり得る。たとえば、図18において、三次元仮想物体E3(絵皿)の陳列位置が若干図の下方にずれていたとすると、その一部が注視円錐C内に含まれるようになるため、三次元仮想物体E3も条件を満たすことになる。そこで、常に1つの展示物のみを注視展示物として特定する運用を採る場合には、注視展示物特定手段40は、条件を満たす展示物が複数存在する場合に、注視円錐C内に含まれる体積が最大となる三次元仮想物体に対応する1つの展示物を注視展示物として特定するようにすればよい。上例の場合、たとえ三次元仮想物体E3(絵皿)の陳列位置が若干図の下方にずれていたとしても、注視円錐C内に含まれる体積は、三次元仮想物体E2(壺)の方が大きいので、展示物E2のみが注視展示物として特定されることになる。
<<< §5. 位置指定ツールのバリエーション >>>
これまで述べた実施形態では、閲覧者Mが、図2に示すような位置指定ツール10を利用して、注視対象となる展示物を指し示す動作を行う例を述べた。具体的には、閲覧者Mは、図3あるいは図4に示す例のように、矢印の尖点Pが所望の注視対象物を指し示すように、位置指定ツール10を空間上の所定位置に配置する動作を行うことになる。もちろん、本発明に利用可能な位置指定ツール10の形態は、図2に示す例に限定されるものではなく、所望の注視対象物を指し示すことができれば、どのような形態のものであってもかまわない。
図2に示す位置指定ツール10は、尖点Pをもった不透明な指示図形12を透明な支持媒体11上に配置した構造を有する例である。このように、透明な支持媒体11上に不透明な指示図形12を配置した構造を採ると、図3および図4に示すように、透明な支持媒体11を通して展示物の位置を確認することができるので、閲覧者の利便性を向上させることができる。指示図形12は、どのような形状の図形でもかまわないが、図14に示すような手法で直線成分の検出を行い、尖点Pの位置を特定するためには、多角形にするのが好ましい。したがって、実用上は、尖点をもった不透明な多角形が描かれた透明な板状媒体を用いるのが好ましい。
ここでは、本発明で利用可能な位置指定ツール10のバリエーションをいくつか述べておく。これまで述べてきた本発明の基本原理に利用するためには、位置指定ツール10は、点を指し示す構造を有し、閲覧者Mによる配置動作によって三次元空間上の所定の参照点Pを指し示す機能を有する道具であればよい。図19は、本発明に係る展示物用情報提示装置において、参照点Pを指し示すために利用可能な道具の具体例を示す図である。
図19(a) は、尖点Pをもった外郭平面形状を有する物体(この例ではパンフレット)からなる位置指定ツール10Aを示している。図示の例では、パンフレットの外郭平面形状は五角形をなし、その上端点が尖点Pを形成しているため、この尖点Pにより空間上の所望の参照点Pを指し示すことが可能である。多くの博物館や美術館では、入館時に閲覧者にパンフレットを配布しているので、パンフレットを位置指定ツール10として利用する形態を採れば、改めて特別な道具を閲覧者に配布する必要はなくなる。
図19(b) は、一般的な筆記具をそのまま位置指定ツール10Bとして利用した例である。多くの筆記具は尖点Pを有しているので、やはり、この尖点Pにより空間上の所望の参照点Pを指し示すことが可能である。もちろん、筆記具に限らず、先端が尖った棒状の物品であれば、同等の機能を果たすことができる。
図19(c) は、閲覧者の手Tを位置指定ツール10Cとして利用した例である。図示のように、たとえば人差し指を伸ばした状態にすれば、指の先端部分が尖点Pとして機能し、指先により所望の参照点Pを指し示すことが可能である。このように、閲覧者の手Tを位置指定ツールとして利用すれば、本発明を実施するにあたり、特別な位置指定ツールを閲覧者に配布する必要はなくなる。
結局、本発明に用いる位置指定ツールは、尖点Pをもった形状を含む構造体からなり、この尖点Pの位置として、三次元空間上の所定の参照点を指し示す機能を有する物体であれば足りる。
このように、本発明の実施にあたっては、任意の物を利用して位置指定ツールを構成することが可能であるが、閲覧者が利用する位置指定ツールの形態は予め定めておき、その情報(特に、尖点P付近の特徴)を位置検出手段20(より具体的には、画像解析部23)に組み込んでおく必要がある。これは、図13(a) ,(b) に例示するように、画像解析部23が各撮影画像S21,S22を解析して参照点12a,12bを認識するために、参照点の特徴(たとえば、図14に示す例の場合は、角度θで交差する2直線の交点)を示す情報が必要になるためである。たとえば、図19(c) に示すように、閲覧者の手Tを位置指定ツール10Cとして利用するためには、画像解析部23は、撮影画像上で閲覧者の手Tの部分を検出し、人差し指の先の点の座標値を求め、この指先によって指し示された三次元空間上の所定の参照点Pの位置を検出する処理を行う必要がある。
ところで、三次元空間上の所定の参照点Pを指し示す構造体としては、必ずしも尖点Pを有する構造体を用いる必要はなく、二次元閉領域PPの輪郭線を画定させる構造体を用いることも可能である。図20は、そのような構造体によって、位置指定ツールを構成した例である。
たとえば、図20(a) に示す位置指定ツール10Dは、板状の媒体の一部に、当該支持媒体の透明度よりも高い透明度をもった閉領域PPを配置した構造を有する。ここで、ハッチングは、断面を示すものではなく、媒体上に形成された開口窓の周囲に位置する不透明な領域を示すためのものである。より具体的には、この位置指定ツール10Dは、不透明な板状媒体の中央部分に、円形の開口窓を形成したものである。一方、図20(b) に示す位置指定ツール10Eは、不透明な媒体の一部をくりぬいて、閉領域PPを構成する開口窓を形成した構造を有する。より具体的には、一部分に開口窓が形成されたパンフレットにより、位置指定ツールを構成したものである。
この図20(a) ,(b) に示す例は、いずれも、二次元閉領域PPの輪郭線を画定させる構造体からなり、この輪郭線の内部の点(たとえば、重心点)として、三次元空間上の所定の参照点Pを指し示す機能を有する。たとえば、図20(a) に示す位置指定ツール10Dを用いる場合、円形の閉領域PPの中心点を、参照点Pを指し示す点として取り扱うことにすれば、この円の中心点Pが、これまで述べてきた例における位置指定ツールの尖点Pと同等の機能を果たすことができる。同様に、図20(b) に示す位置指定ツール10Eを用いる場合、矩形の閉領域PPの中心点を、参照点Pを指し示す点として取り扱うことにすれば、この矩形の中心点Pが、これまで述べてきた例における位置指定ツールの尖点Pと同等の機能を果たすことができる。
図21は、図1に示す環境において、閲覧者が、図20(a) に示す位置指定ツール10Dを用いて展示物E2を指し示している状態を示す図である。閲覧者Mは、ちょうど、円形の開口窓の部分を通して展示物E2を観察できるような位置に、位置指定ツール10Dを配置する動作を行えばよい。位置検出手段20は、撮影画像から、円形の閉領域PPを検出し、その中心点を参照点Pとして認識することができる。したがって、実質的に、図2に示す位置指定ツール10を図3に示す位置に配置する動作が行われたときと同様に、展示物E2についての情報提示を行うことができる。要するに、図3に示す例の場合、閲覧者Mは、矢印の先端点で対象となる展示物E2を指し示す動作を行うのに対して、図21に示す例の場合、閲覧者Mは、円形の開口窓から展示物E2が観察できるようにして、開口窓の中心点で展示物E2を指し示す動作を行うことになる。
図20(b) に示す位置指定ツール10Eを用いた場合も全く同様である。この場合も、位置検出手段20は、撮影画像から、矩形の閉領域PPを検出し、その中心点を参照点Pとして認識すればよい。もちろん、参照点Pは、必ずしも閉領域PPの中心点に設定する必要はないが、実用上は、閉領域PPの中心を参照点Pとして取り扱うようにすれば、閲覧者Mは、対象となる展示物が開口窓の真ん中にくるように、位置指定ツールの配置調節を行えばよいので、使い勝手が向上する。
二次元閉領域PPの輪郭線を画定させる構造体は、必ずしも平面的な構造体に限定されるものではない。たとえば、図22(a) は、内部を通じて展示物を覗くのに適した形状および大きさをもった筒状体によって構成された位置指定ツール10Fの一例を示す。また、図22(b) は、閲覧者の手Tを位置指定ツール10Gとして利用した例である。図示のように、親指と人差し指で輪を形成すれば、この輪の部分が二次元閉領域PPの輪郭線を画定させる構造体として機能し、この輪の中心点を参照点Pとして取り扱うことが可能になる。この場合、閲覧者の手Tが位置指定ツールとして機能するので、本発明を実施するにあたり、特別な位置指定ツールを閲覧者に配布する必要はなくなる。
図23は、図1に示す環境において、閲覧者が、図22(a) に示す位置指定ツール10F(筒状体)を用いて展示物E2を指し示している状態を示す図である。閲覧者Mは、ちょうど、この筒状体の内部を通して展示物E2を観察できるような位置に、位置指定ツール10Fを配置する動作を行えばよい。位置指定ツール10Fの両端には、円形の端部PP1,PP2が設けられているが、この筒状体端部PP1,PP2が、二次元閉領域の輪郭線を画定させる機能を果たす。図23に示す例の場合、展示物E2側の筒状体端部PP2を二次元閉領域の輪郭線を画定させる構造体として取り扱えば、図21に示す開口窓と同様の機能を果たすことになる。
図23に示す例の場合、位置検出手段20は、撮影画像から、円形の閉領域PP2を検出し、その中心点を参照点Pとして認識することができる。たとえば、筒状体端部PP2の縁部を特定色で塗装しておくようにすれば、撮影画像上では、当該特定色からなる円もしくは楕円として、筒状体端部PP2を検出することができるので、その中心点となる参照点Pの座標を求める処理を容易に行うことができる。一方、図22(b) に示すように、閲覧者の手Tによって形成された輪を位置指定ツールとして利用する場合、位置検出手段20は、撮影画像上において、肌色の環状領域を検出する処理を行い、その中心点を参照点Pとして認識する処理を行えばよい。
なお、図19(c) や図22(b) に示すように、閲覧者の手Tを位置指定ツールとして利用すれば、閲覧者に特別な位置指定ツールを配布する必要がなく便利であるが、位置検出手段20による画像解析(手Tの部分の検出)処理は複雑にならざるを得ない。この処理を軽減するためには、たとえば、入館時に蛍光スタンプなどを用いて、閲覧者の利き手の必要な箇所に蛍光塗料を塗布する工夫を施してもよい。たとえば、図19(c) に示す指先P点や、図22(b) に示す輪を形成する指の部分に蛍光塗料が付着していれば、位置検出手段20は、撮影画像を解析する際に、当該蛍光塗料に固有の色成分をもつ画素領域を、参照点Pや閉領域PPの輪郭部分として容易に検出することができる。必要なら、展示場所にブラックライトなどを設置し、蛍光塗料の発光を増進させるとより効果的である。あるいは、特定の色の指サックを着用してもらってもよい。
以上、位置指定ツールのバリエーションをいくつか述べた。この位置指定ツールの基本機能は、参照点Pの位置を指定することにあるが、情報提示手段60による情報提示方式として、提示対象となる画像を投影装置を用いて投影する方式を利用する場合には、位置指定ツールを、投影像を形成するための投影スクリーンとして利用することも可能である。
図24は、情報提示手段60が、提示対象となる画像を、プロジェクタ61を用いて位置指定ツール10上に設けられた投影面へ投影した状態を示す側面図である。図示の例の場合、図20(b) に示すパンフレット10Eを位置指定ツール10として用いている。このパンフレット10Eの中央部には閉領域PPを画定するための開口窓が設けられており、前述したとおり、閲覧者Mが、この開口窓を通して、展示物E2を観察すると、閉領域PPの中心点として参照点Pの認識が行われ、情報提示手段60により、注視展示物E2についての情報提示が行われる。このとき、情報提示手段60は、プロジェクタ61を用いて、注視展示物E2についての画像情報を、パンフレット10Eの上部に設けられた投影面PJ(位置指定ツール10の開口窓以外の部分であればどこでもよい)に投影する。
このように、位置指定ツール10をパンフレットなどの平面的な媒体によって構成すると、「情報提示手段60によって位置指定ツール10の表面に画像を投影する」という方式で、情報提示を行うことが可能になる。このように、提示画像を投影する実施形態については、§7で詳述する。
<<< §6. 参照点の代わりに参照領域を指し示す実施形態 >>>
これまでの実施形態では、閲覧者Mが、位置指定ツール10によって三次元空間上の参照点Pを指し示し、位置検出手段20が、この参照点Pの位置と、閲覧者の頭部Hもしくはその近傍に定められた基準点Qの位置と、を検出し、これら2点P,Qによって注視方向を予測する、という手順が実行されている。たとえば、図15,図17に示す例では、2点P,Qを結ぶ方向に注視ベクトルVが定義され、更に、図16,図18に示す例では、この注視ベクトルVを中心軸とする注視円錐Cが定義され、注視ベクトルVの方向もしくは注視円錐Cが延びる方向を注視方向として取り扱っている。
しかしながら、注視方向は、必ずしも「基準点Qと参照点P」という組み合わせで決定する必要はなく、「基準点Qと参照領域PP」という組み合わせで決定することもできる。§5では、位置指定ツールのバリエーションを述べたが、このうち、図20(a) ,(b) や図22(a) ,(b) に示されている位置指定ツール10D〜10Gは、いずれも、二次元領域PPを指し示す構造を有し、閲覧者Mによる配置動作によって三次元空間上の所定の参照領域PPを指し示す機能を有している。§5では、これら位置指定ツール10D〜10Gを利用した場合は、二次元領域PP内の1点(たとえば、中心点)を参照点Pとして取り扱えばよい旨の説明を行ったが、二次元領域PPをそのまま参照領域PPとして取り扱い、「基準点Qと参照領域PP」という組み合わせで注視方向を決定してもかまわない。
図25は、基準点Qと参照領域PPの輪郭線上の各点とを結ぶ線で囲まれた注視錐状体CCと、各展示物の代表点L1〜L4との位置関係を示す側面図である。たとえば、図21に示す例のように、閲覧者Mが位置指定ツール10Dの開口窓を通して展示物E2を観察している場合、位置検出手段20は、参照点Pの代わりに、この開口窓に対応する閉領域を参照領域PPと認識し、その位置を検出することになる。また、図22(b) に示す例のように、閲覧者が、指によって形成された輪を通して展示物を観察している場合、位置検出手段20は、参照点Pの代わりに、この指の輪に対応する閉領域を参照領域PPと認識し、その位置を検出することになる。そして、注視方向予測手段30は、位置検出手段20によって検出された「基準点Qの位置」と「参照領域PPの位置」とに基づいて、閲覧者が注意を向けていると推定される注視方向を予測する。
図15に示す例では、基準点Qから参照点Pに向かうベクトルとして注視ベクトルVの定義が行われていたが、図25に示す例では、基準点Qと参照領域PPの輪郭線上の各点とを結ぶ線で囲まれた注視錐状体CCが定義され、注視方向予測手段30は、この注視錐状体CCの延びる方向を注視方向と予測する。ここで、注視錐状体CCの形状は、「参照領域PPの形状」と「参照領域PPと基準点Qとの位置関係」とに基づいて決まり、参照領域PPが円形の場合、注視錐状体CCの形状は円錐もしくは楕円錐になる。
この場合も、注視展示物特定手段40は、配置位置情報格納部50内に格納されている配置位置情報L(1)〜L(4)を参照することにより、注視方向もしくはその近傍に配置されている展示物を注視展示物として特定する処理を行う点に変わりはないが、その具体的な処理方法は、§4で述べた方法と若干異なってくる。
まず、配置位置情報格納部50が、個々の展示物E1〜E4の代表点L1〜L4の三次元座標値をそれぞれの配置位置情報L(1)〜L(4)として格納している場合、注視展示物特定手段40は、「注視錐状体CCの内部に位置する」という条件を満たす代表点をもつ展示物を注視展示物として特定する処理を行えばよい。図25に示す例の場合、上記条件を満たす代表点は点L2のみであるから、展示物E2が注視展示物として特定されることになる。もちろん、上記条件を満たす代表点が複数存在する場合には、複数の展示物が注視展示物として特定される。
なお、常に1つの展示物のみを注視展示物として特定する運用を採る場合には、注視展示物特定手段40は、条件を満たす展示物が複数存在する場合に、基準点Qと参照領域PPの重心点とを結ぶ錐状体中心線Dを定義し、この錐状体中心線Dと代表点との距離が最短となる代表点をもつ1つの展示物を注視展示物として特定すればよい。
一方、配置位置情報格納部50が、個々の展示物に対応する三次元仮想物体E1〜E4の三次元座標系上における立体形状データをそれぞれの配置位置情報L(1)〜L(4)として格納している場合、注視展示物特定手段40は、「物体のいずれかの箇所が、注視錐状体CCの内部に位置する」という条件を満たす三次元仮想物体に対応する展示物を注視展示物として特定する処理を行えばよい。あるいは「注視錐状体CCの内部に位置する部分の体積が所定以上」という付加条件を設定してもよい。図26に示す例の場合、上記条件を満たす三次元仮想物体は、物体E2のみであるから、展示物E2が注視展示物として特定されることになる。もちろん、上記条件を満たす物体が複数存在する場合には、複数の展示物が注視展示物として特定される。
ここでも、常に1つの展示物のみを注視展示物として特定する運用を採る場合には、注視展示物特定手段40は、条件を満たす展示物が複数存在する場合に、注視錐状体CCの内部に含まれる体積が最大となる三次元仮想物体に対応する1つの展示物を注視展示物として特定すればよい。
<<< §7. インタラクティブ方式を採用した実施形態>>>
§3で述べたとおり、本発明の基本的な実施形態に係る装置では、位置検出手段20として、2台のカメラ21,22を含む装置を用いており、図8(a) ,(b) に示すように、閲覧者周辺の画像をリアルタイムで撮影することができる。したがって、この2台のカメラ21,22の撮影画像をリアルタイムで解析すれば、閲覧者の動作を認識することが可能になる。この§7で述べる実施形態は、このような点に着目し、閲覧者の動作に基づいて、閲覧者からの指示を入力し、当該指示に応じて、情報提示手段60によって提示する情報の内容やその提示形態を変えるものである。いわば、閲覧者との間でインタラクティブ方式を採用した実施形態ということになる。
閲覧者からの指示は、閲覧者による何らかのジェスチャーを認識することによって取り込むことが可能である。たとえば、複数頁の画像から構成される提示情報が用意されている場合に、「閲覧者が右手でVサインのポーズをとると、画像を次の頁に送る処理を行う」という取り決めをしておけば、位置検出手段20によって閲覧者の「Vサイン」が認識された時点で情報提示手段60にその旨の信号を送り、情報提示手段60が、提示対象となる画像を次の頁の画像に更新する処理を行うことが可能である。あるいは、右手を右回りにクルクル回した場合は音量増加、左回りにクルクル回した場合は音量減少、といったような取り決めをしておき、2台のカメラ21,22の撮影画像に基づいて、これらのジェスチャーを認識できるようにしておけば、情報提示手段60による提示情報の音量調節を行うようにすることも可能である。
ただ、実用上は、このような閲覧者のジェスチャーを正確に認識するための処理プロセスはかなり複雑であり、比較的大がかりなコンピュータプログラムが必要になる。また、個々の閲覧者に対して、入館時に、正しいジェスチャーができるように訓練を行うことも現実的ではない。そこで、ここでは、次の2つの工夫を更に盛り込むことにより、非常に実用性をもったインタラクティブ方式を採用した実施形態を述べることにする。
第1の工夫は、情報提示手段60として、閲覧者が手に持っている何らかの物体の投影面上に画像を投影することにより、情報提示を行う装置を用いる点である。上述したとおり、2台のカメラ21,22は、閲覧者の顔と手を撮影する機能を有している。したがって、閲覧者が手に持っている何らかの物体の投影面上に画像を投影すれば、この投影面はカメラによって撮影されることになる。そこで、この投影面上に、閲覧者の指による選択枝入力を促すメッセージを表示すれば、閲覧者の選択枝入力をカメラの撮影画像から認識することができるようになる。
このような方式では、画像を投影することによって情報提示が行われるため、閲覧者には、投影面を形成する何らかの物体(たとえば、1枚の紙でも十分である)を保持させておけば足り、液晶ディスプレイなどを備えた高価な携帯端末装置を持たせる必要はない。
そして、第2の工夫は、当該「投影面を形成する何らかの物体」として、位置指定ツールの表面を用いる点である。本発明では、閲覧者が、位置指定ツールを用いて注視対象となる展示物を指し示す動作を行うことになるので、この位置指定ツールの表面を投影面として利用すれば、極めて効率的である。
結局、情報提示手段60が、提示対象となる画像を、プロジェクタ61を用いて位置指定ツール10上に設けられた投影面へ投影する構成を採ればよい。このような構成については、既に§5において、図24を参照しながら簡単に述べた。すなわち、図24に示す例では、閲覧者Mが位置指定ツール10に設けられた開口窓から展示物E2を観察すると、この展示物E2に関する情報を示す画像が、プロジェクタ61から、位置指定ツール10上の投影面に投影されることになる。展示物E2の観察窓と投影像とが、位置指定ツール10上で隣接しているため、閲覧者Mは、最小限の視点移動で、展示物E2を観察しながら、投影像として提示された解説を見ることができる。以下に述べる実施形態は、この図24に示す実施形態に、更に、インタラクティブ性を付加したものである。
もちろん、本発明において、インタラクティブ性を付加するには、必ずしも上記第1の工夫や第2の工夫を必須要件に入れる必要はないが、実用上は、これらの工夫を採り入れ、位置指定ツール10上に投影像として情報提示を行う形態を採るのが好ましい。
ここでは、個々の閲覧者に対して、入館時に図27に示すような位置指定ツール10Hを配布した場合を例にとって、以下の説明を行うことにする。この位置指定ツール10Hは、閉領域PPを構成する開口窓を有するパンフレットによって構成されており、開口窓の下には「ここから覗くと解説が投影されます。」とのガイド文が記載されている。また、開口窓の上には、白紙状態の投影面PJが形成されており、ここにプロジェクタ61から画像が投影されることになる。このパンフレットの裏面は、特に発明の実施には利用されないので、美術館の宣伝文や写真などを自由に掲載してかまわない。なお、ここでは、1枚の厚紙からなるパンフレットの例を示すが、もちろん、図20(b) に示す位置指定ツール10Eのように、小冊子からなるパンフレットを用いてもかまわない。
図28は、情報提示手段60としてプロジェクタ61を用いる実施形態に係る展示物用情報提示装置の構成を示すブロック図である。この図28のブロック図に示されている構成は、ほぼ図6のブロック図に示されている構成と同様である。ただ、位置指定ツールとしては、図27に示すツール10H(1枚の厚紙からなるパンフレット)が用いられている。このため、位置検出手段20は、基準点Qの位置と参照領域PPの位置とを検出し、注視方向予測手段30は、注視ベクトルVの代わりに、注視錐状体CCの延びる方向を注視方向として予測する。また、注視展示物特定手段40は、図25,図26で述べた方法によって、注視展示物の特定を行うことになる。
この図28に示す装置の重大な特徴の1つは、位置検出手段20が、位置指定ツール10Hの位置および姿勢を検出する機能を更に有する点である。ここに示す実施形態においても、位置検出手段20は、図7に示すとおり、2台のカメラ21,22と、画像解析部23とによって構成されている。ただ、画像解析部23は、位置指定ツール10Hの位置および姿勢を検出する機能を更に有している。上述のとおり、各撮影画像S21,S22から直線成分を検出することができるので、これら直線成分の組み合わせの中から、図27に示すパンフレット10Hの特徴(4つの直線で囲まれた矩形の中に、4つの直線で囲まれた小さな矩形が含まれている)に合致する組み合わせを選択することにより、位置指定ツール10Hの位置および姿勢を検出することができる。具体的には、XYZ三次元座標系において、現時点でパンフレット10Hが置かれた幾何学的な位置を把握することができる。なお、このような検出処理のプロセスを簡略するためには、パンフレット10H上に天地を認識するためのマークなどを印刷しておくと効果的である。
この機能により、パンフレット10H上の投影面PJのXYZ三次元座標系上での位置を把握することができるので、情報提示手段60は、正しい位置に正しい状態で投影を行うことができる。図示のとおり、情報提示手段60は、プロジェクタ61,投影画像変形部62,投影画像作成部63によって構成されている。
ここで、投影画像作成部63は、提示対象情報格納部70から提示対象情報I(i)を読み出し、提示対象となる投影画像を作成する処理を行う。また、投影画像変形部62は、この投影画像作成部63によって作成された投影画像を変形して変形投影画像を生成する処理を行い、プロジェクタ61は、この変形投影画像を位置指定ツール10H(パンフレット)の投影面PJに投影する処理を行う。
図29は、図28に示す装置における提示対象情報格納部70内に格納されている提示対象情報の一例を示す図である。図示のとおり、4つの展示物E1〜E4のそれぞれについての提示対象情報I(i)が、展示物識別コードE(i)に対応づけて格納されている。この例では、各提示対象情報I(i)は、「作品名」,「作者」,「年代」,「由来」なる4つの項目に分けて、それぞれ文字列データとして用意されている(「由来」の内容については図示省略)。たとえば、展示物E1に関しては、展示物識別コードE(1)に対応づけて、「梅樹佳人図(作品名)」,「山崎龍女(作者)」,「江戸中期(年代)」,「----------(由来)」なる文字列データからなる提示対象情報I(1)が用意されている。ここでは、説明の便宜上、文字列データからなる提示対象情報を例示しているが、もちろん、実際には、展示物の写真画像データ、動画データ、音声データなどを提示対象情報として用意してかまわない。
図30は、図28に示す装置において、位置指定ツールとして機能するパンフレット10H上に投影像として情報が提示された状態を示す平面図である。ここで、投影面PJに示されている解説文が、プロジェクタ61から投影された提示情報である。この例では、図示のとおり、パンフレット10Hの開口窓PPを通して、閲覧者Mが展示物E2を観察している状態が示されている。この場合、投影画像作成部63は、提示対象情報格納部70から、展示物E2に関する提示対象情報I(2)を構成する文字列データを読み出し、投影画像を作成する(厳密に言えば、提示対象情報I(2)に、「作品名:」,「作者:」,「年代:」,「由来:」なる4つのタイトル文字を付加して投影画像を作成している)。図30の投影面PJに示されている画像は、こうして作成された投影画像に対応するものである。
ただ、プロジェクタ61が、こうして作成された投影画像をそのまま投影すると、投影面PJ上には正しい投影像が得られないケースがある。すなわち、一般的なプロジェクタ61は、投影画像をスクリーン上に正射影することを前提とした投影装置であるため、投影面が光軸に直交していれば、正しい投影像が得られるものの、投影面が光軸に対して傾斜している場合は、正しい投影像は得られない。パンフレット10Hは、閲覧者Mが手で保持しているため、投影面PJは、必ずしもプロジェクタ61の光軸に直交する面にはならない。投影面PJが光軸に対して傾斜している場合は、投影画像に対していわゆる台形補正を行う必要がある。また、投影面PJの位置には回転のファクターも入るため、図30に示すように、パンフレット10Hの上下の辺に平行な方向に文字列を並べるためには、投影画像に対していわゆる回転補正を行う必要がある。
投影画像変形部62は、このような台形補正や回転補正を投影画像に対して行う機能を有している。すなわち、図28のブロック図に矢印のルートで示されているとおり、投影画像変形部62には、位置検出手段20が検出した位置指定ツール10Hの位置および姿勢に関する情報がリアルタイムで伝達される。そこで、投影画像変形部62は、この伝達された情報に基づいて、位置指定ツール10H上に設けられた投影面PJの位置を認識し、当該位置に対する投影を行った場合に投影面PJ上に正しい投影画像が得られるように、投影画像作成部63が作成した投影画像を変形して変形投影画像を生成する処理を行う。
こうして作成された変形投影画像自体は、歪んだ画像になるかもしれないが、当該変形投影画像を、プロジェクタ61によって投影面PJ上に投影すると、投影面PJ上には、図30に示す例のように、正しい投影画像が得られることになる。このような投影画像に対する台形補正や回転補正の具体的な方法は、画像投影装置の分野において公知な技術であるため、ここでは詳しい説明は省略する。なお、必要があれば、プロジェクタ61を可動式とし、投影画像変形部62によって、その位置制御を行うようにしてもかまわない。
以上、位置指定ツール10H上に画像投影するために必要な基本機能についての説明を行った。続いて、インタラクティブ性を付加するために必要な基本機能についての説明を行う。インタラクティブ性を付加すると、閲覧者とのコミュニケーションに基づいて、情報提示手段60によって提示する情報の内容やその提示形態を変えることができる。たとえば、図30に示す例では、図29に示されている展示物E2に関する提示対象情報I(2)のすべてが同時に提示されているが、インタラクティブ性を付加すると、階層構造をもった情報提示を行うことが可能になる。
図31,図32は、このような階層構造をもった情報提示の一例を示す平面図である。すなわち、投影画像作成部63は、注視展示物特定手段40から、E(2)なる展示物識別コードを受け取ると、図29に示されている展示物E2に関する提示対象情報I(2)を提示する準備を行うことができるが、このとき、提示対象情報I(2)のすべてを同時に提示する代わりに、図31に例示するように、まず、作品名の「有田焼壺」なる文字列と、「作者」,「年代」,「由来」なるタッチボタンと、「タッチしてください」というガイド文字列と、を含む頁からなる投影画像を作成するのである。
閲覧者Mが、開口窓PPを通して展示物E2を観察すると、その上の投影面PJ上には、図31に示すような投影画像が提示されることになる。ここで、「作者」,「年代」,「由来」なるタッチボタンは、単なる映像上のボタンではあるが、閲覧者Mがいずれかのボタンにタッチすると、当該ボタンがタッチされた事実が位置検出手段20によって検出され、当該事実が投影画像作成部63に報知される(図28において、位置検出手段20から投影画像作成部63へ向かう矢印は、この報知ルートを示すものである)。たとえば、「作者」ボタンがタッチされた事実が報知されると、投影画像作成部63は、作品名の「有田焼壺」なる文字列と、「作者」に関する文字列と、「戻る」なるタッチボタンと、を含む新たな頁からなる投影画像を作成することになる。図32は、このような新たな頁からなる投影画像が、投影面PJ上に提示された状態を示している。閲覧者Mが、今度は「戻る」ボタンをタッチすると、再び、図31に示すような投影画像の提示が行われる。
このように、閲覧者Mのボタンタッチ動作を検出するためには、位置検出手段20に、位置指定ツール(パンフレット)10H上に置かれた閲覧者Mの指の位置を検出する機能をもたせておくようにすればよい。この場合、撮影画像上から閲覧者の指と推定される領域を検出するプロセスを実行してもよいが、上述したとおり、既に撮影画像上でパンフレット10Hの位置が特定できているので、撮影画像上で、個々のタッチボタンを認識し、いずれかのタッチボタン上に指があるか否かを判定するプロセスを実行すれば、容易にボタンタッチ動作を検出することが可能である。
たとえば、各タッチボタンを緑色で表示するようにし、撮影画像上で本来タッチボタンが表示されているべき領域内の画素の色を調べ、緑色以外の色を示す画素が所定の割合以上存在する状態が所定時間以上にわたって継続した場合に、当該タッチボタンが指でタッチされたと認識することができる。この方法では、直接的に指を認識しているわけではないが、本来存在しているべきタッチボタンが何らかの物体で隠されていることを検出することにより、間接的に、閲覧者Mの指の位置を検出したことになる。
図31,図32では、閲覧者Mのボタンタッチ動作によって、閲覧者Mに提示する情報の内容(提示する頁)を変える例を示したが、情報の提示形態を変えるようにしてもかまわない。たとえば、「明るい」・「暗い」というタッチボタンを表示しておき、「明るい」ボタンがタッチされた場合には、表示画像をより明るくし、「暗い」ボタンがタッチされた場合には、表示画像をより暗くする制御を行うようなことも可能である。あるいは、画像とともに音声を提示している場合、「音量大」・「音量小」というタッチボタンを表示しておき、「音量大」ボタンがタッチされた場合には、音声の音量を増大し、「音量小」ボタンがタッチされた場合には、音声の音量を減少させる制御を行うようなことも可能である。
また、タッチボタンは、必ずしも投影画像として表示する必要はなく、位置指定ツール10H上に印刷するなどの方法で設けるようにしてもよい。図33は、位置指定ツール10H(パンフレット)の3箇所の角部分に指示領域を形成し、これらの指示領域を上例におけるタッチボタンの代わりに用いるようにしたものである。具体的には、パンフレットの左上角には「作者」と印刷された指示領域が設けられ、右上角には「年代」と印刷された指示領域が設けられ、右下角には「由来」と印刷された指示領域が設けられている。
このようなパンフレットを利用する場合、まず、作品名の「有田焼壺」なる文字列のみを含む頁からなる投影画像を作成し、これを投影像として提示すればよい。図33に示す例の場合、「有田焼壺」なる文字列が投影画像として提示された情報である。閲覧者Mが、開口窓PPを通して展示物E2を観察すると、とりあえず、その作品名の情報のみが投影画像として提示されることになる。閲覧者Mは、より詳しい情報が必要な場合には、パンフレットの3箇所の角部分のいずれかを指で押さえる動作を行えばよい。たとえば、「作者」に関する情報が必要な場合には、図34に示すように、パンフレットの左上角の指示領域を指で押さえればよい。すると、「有田焼壺」なる作品名を示す文字列に加えて、「作者:酒井田柿右衛門」なる文字列が付加された画像からなる新たな頁が、投影面PJ上に投影される。
この図34に示す頁の提示は、たとえば、閲覧者がパンフレットの左上角の指示領域を指で押さえている間は、ずっと継続するようにし、指を離した場合には、再び図33に示す頁に戻るようにしてもよい。あるいは、パンフレットの左下角に「戻る」と印刷された指示領域を追加し、この左下角が押さえられたときに、図33に示す頁に戻るようにしてもよい。
このようなインタラクティブな操作を行うためには、やはり位置検出手段20に、位置指定ツール(パンフレット)10H上に置かれた閲覧者Mの指の位置を検出する機能をもたせておくようにすればよい。この場合も、既に撮影画像上でパンフレット10Hの位置が特定できているので、撮影画像上で、パンフレットの四隅について、指があるか否かを判定するプロセスを実行すればよい。タッチボタンの場合と同様に、たとえば、この四隅の指定領域内を緑色にしておけば、この四隅の位置に緑色以外の色を示す画素が所定の割合以上存在する状態が所定時間以上にわたって継続した場合に、当該指定領域が指で押さえられていると認識することができる。
要するに、位置検出手段20に、位置指定ツール10H上に存在する閲覧者の指の位置を検出する機能をもたせておけば、情報提示手段60は、この位置検出手段20が検出した閲覧者の指の位置に応じて、閲覧者に提示する情報の内容もしくはその提示形態を変えることが可能になる。
このようなインタラクティブな操作は、注視展示物特定手段40によって、複数の展示物が特定された場合に、閲覧者に選択を促す場合にも役立つ。既に述べたとおり、注視展示物特定手段40は、配置位置情報格納部50内に格納されている個々の展示物についての配置位置情報を参照しながら、所定の条件に合致する展示物を注視展示物として特定する処理を行うが、このとき、複数の注視展示物の特定を許すような条件設定を行うことも可能である(もちろん、常に単一の注視展示物のみが特定されるようにすることも可能である)。
注視展示物特定手段40が複数の展示物を注視展示物として特定した場合、これら複数の注視展示物の展示物識別コードが情報提示装置60に与えられるので、情報提示装置60は、この複数の注視展示物についての提示対象情報を同時に、あるいは、順番に提示することができる。この場合も、上述したインタラクティブな操作を利用すれば、複数の注視展示物のうち、閲覧者が指定した展示物の情報を選択的に提示することが可能になる。
たとえば、図35は、複数の注視展示物が特定された場合に、情報提示が必要な展示物を選択するためのタッチ入力を求める投影画像をパンフレット10H上に表示させた例を示す平面図である。すなわち、この例では、パンフレット10Hの開口窓PP内には、2つの展示物E2,E3が観察できる状態になっている。このような状態において、注視展示物特定手段40が、展示物E2,E3をともに注視展示物として特定したとすると、情報提示装置60には、2つの展示物識別コードE(2),E(3)が与えられることになる。
このような場合、情報提示装置60は、まず、いずれか一方の展示物を選択するためのタッチ入力を求める投影画像を提示する。図35に示す例では、展示物E2,E3の縮小画像と、「タッチしてください」というガイド文字列と、を含む頁からなる投影画像が投影面PJに提示されている(もちろん、このような投影画像を作成するには、予め提示対象情報格納部70内に、各展示物の縮小画像を提示対象情報の一部として格納しておく必要がある)。
この図35に示すような情報提示を受けた閲覧者は、開口窓PPを通して見えている2つの展示物E2,E3のいずれか一方の選択を促す表示であることを認識し、投影面PJに提示されている2つの縮小画像のうちの一方を指でタッチする選択動作を行えばよい。たとえば、閲覧者が、図35に示す状態において、「左側の壺」にタッチした場合、当該タッチ動作は、前述したボタンタッチ動作の検出処理と同様の手法を用いて、位置検出手段20によって検出され、その結果が、情報提示装置60に報知される。そこで、情報提示装置60は、展示物E2が選択されたことを認識し、図36に示すように、投影面PJに新たな頁(図31に提示されている頁と同じ)の提示を行うことになる。その後の処理は、既に述べたとおりである。
以上、位置検出手段20が、位置指定ツール10H上に存在する閲覧者の指の位置を検出し、その結果に応じて、閲覧者に提示する情報の内容もしくはその提示形態を変える例を示したが、閲覧者からの何らかの意志表示を入力して、インタラクティブな操作を行う手法は、必ずしも閲覧者の指の位置を検出する手法に限定されるものではない。以下、閲覧者からの意志表示を入力する別な手法をいくつか述べておく。
第1の手法は、位置指定ツール10Hとして、閲覧者の操作に基づいて変形する構造もしくは材質を有する物品を利用するようにし、位置指定ツールの変形態様に基づいて、閲覧者からの意志表示を入力する方法である。たとえば、紙製のパンフレットにより位置指定ツール10Hを構成した場合、閲覧者による「折り曲げ操作」によって、このパンフレットを変形させることができる。具体的には、図33に示す例において、閲覧者がパンフレットの左上角に設けられた「作者」なる三角形の指示領域を折り曲げる操作を行うと、パンフレットの外形形状は、長方形から、左上角が欠損した五角形に変化する。
そこで、位置検出手段20に、このパンフレットの変形態様を検出する機能を更に設けておけば、パンフレットの四隅のどの部分が折り曲げられたかを認識することができる。そこで、情報提示手段60は、この位置検出手段が検出した変形態様に応じて、閲覧者に提示する情報の内容もしくはその提示形態を変えることが可能になる。具体的には、「作者」なる指示領域が折り曲げられたことが認識できた場合には、図34の投影面PJに示されているとおり、「作者」に関する情報提示が行われる。もちろん、折り曲げ操作が容易になるように、パンフレットの各指示領域の境界線にミシン目などを入れた構造にしておいてもよい。
第2の手法は、位置指定ツールの位置に基づいて、閲覧者からの意志表示を入力する方法である。図37は、図28に示す装置において、閲覧者とのインタラクティブ性をもたせるために、パンフレット(位置指定ツール10)の位置を検出する態様を示す側面図である。位置指定ツール10−1は、展示物に近づけた状態、位置指定ツール10−2は、展示物から遠ざけた状態を示している(10−1,10−2は、それぞれ同一の位置指定ツール10の異なる位置を示すものであり、2組の位置指定ツール10が存在するわけではない)。位置検出手段20は、位置指定ツール10のXYZ三次元座標系上での位置を検出する機能を有しているので、図示の例の場合、位置指定ツール10が、10−1の位置に配置されたときには、Z軸上の座標値Z1〜Z2の区間に配置され、10−2の位置に配置されたときには、Z軸上の座標値Z3〜Z4の区間に配置されていることが認識できる。
そこで、情報提示手段60は、この位置検出手段20が検出した位置指定ツール10の位置に応じて、閲覧者Mに提示する情報の内容もしくはその提示形態を変えることが可能である。たとえば、位置指定ツール10が配置されたZ軸上の座標値に応じて、ある区間では「作者」の情報を提示し、ある区間では「年代」の情報を提示し、ある区間では「由来」の情報を提示する、というように、提示する情報の内容を変えることができる。あるいは、提示する情報の内容は同一であるが、Z軸上の座標値に応じて、提示形態を変えてもよい。たとえば、音声による情報提示を行っている場合、位置指定ツール10を展示物に近づけると音量が増加し、展示物から遠ざけると音量が減少するような音量制御が可能になる。
第3の手法は、位置指定ツールの姿勢に基づいて、閲覧者からの意志表示を入力する方法である。図38は、図28に示す装置において、閲覧者とのインタラクティブ性をもたせるために、位置指定ツールの姿勢を検出する態様を示す側面図である。この例では、鉛直線Uに対してなす、パンフレット(位置指定ツール10H)の左辺の角度φを、パンフレットの姿勢を示すパラメータとして定義している。
既に述べたとおり、投影画像変形部62は、パンフレットの姿勢に応じて、台形補正や回転補正を行う機能を有しているので、閲覧者がパンフレットをどのような向きに保持しても、当該パンフレットの投影面PJ上に、正しい向きで、正しい内容の情報提示が行われる。図38に示す例では、パンフレットが鉛直線Uに対して傾斜した状態で保持されているのに、投影面PJ上の投影画像も同じように傾斜した状態になっているのは、投影画像変形部62による補正が行われたためである。
位置検出手段20は、位置指定ツール10のXYZ三次元座標系上での位置を検出する機能を有しているので、図38に示す角度φ(位置指定ツールの姿勢)を検出することができる。そこで、情報提示手段60は、この位置検出手段20が検出した位置指定ツール10の姿勢に応じて、閲覧者Mに提示する情報の内容もしくはその提示形態を変えることが可能である。たとえば、図示する角度φに応じて、提示する情報の内容を変えたり、音声の提示速度を変えたりする制御を行うことができる。
なお、本発明において、提示する情報の内容もしくはその提示形態を変えるインタラクティブ性をもたせる場合、必ずしも閲覧者の積極的な意志表示動作を利用する必要はない。たとえば、位置指定ツールとして、複数通りの異なるパンフレットを用意しておき、入館時に各閲覧者が希望するパンフレットを配布するようにすれば、各閲覧者が所持するパンフレットに応じて、提示する情報の内容もしくはその提示形態を変えることが可能になる。
最も典型的な例は、位置指定ツールとして、複数n通りの言語で記述された合計n通りの異なるパンフレットを用意しておく例である。この場合、各閲覧者には、入館時に希望する言語で記述されたパンフレットを選んでもらう。一方、提示対象情報格納部70には、このn通りの言語の中から選択された任意の言語で情報提示を行うことができるように、n通りの異なる言語でそれぞれ用意された合計n通りの提示対象情報を格納しておくようにする。更に、位置検出手段20には、パンフレットを撮影するカメラと、このカメラによる撮影画像を解析することによりパンフレットに記述されている言語を認識する言語認識手段と、を用意しておく。そうすれば、情報提示手段60は、位置検出手段20が認識した言語に合致する言語で用意された提示対象情報を選択して、これを提示することができる。
なお、撮影画像からパンフレットに記述されている言語を認識する言語認識手段としては、OCRを備えた高度な言語解析ユニットを用いることも可能であるが、実用上は、個々のパンフレット上に使用言語を示す識別マーク(たとえば、バーコードなど)を印刷しておけば、識別マークを読み取る単純な機能によって言語認識手段を構成することが可能である。
<<< §8. その他の変形例 >>>
最後に、本発明を実施する上で、位置検出手段20の処理負担を軽減するために有用な変形例を述べておく。
図39は、展示物を透明ケースに収容して用いる変形例を示す図である。図示のとおり、複数の展示物E1〜E4が、透明ケース80内に収容されている。透明ケース80は、土台81,ケース側板82,ケース上板83によって構成されており、この透明ケース80の背後の壁面には第1のカメラ21が取り付けられ、土台81の内部には第2のカメラ22が取り付けられている。また、天井には、プロジェクタ61が取り付けられている。ケース側板82およびケース上板83は、ガラス板などの透明な板によって構成されている。
この変形例では、図示のとおり、閲覧者Mは、位置指定ツール10をケース上板83の上面に載せて利用することになる。たとえば、図27に示すようなパンフレットを位置指定ツール10として用いる場合、閲覧者Mは、このパンフレットをケース上板83の上面に載せ、開口窓PPおよびケース上板83を通して、所望の展示物を観察する。プロジェクタ61から、パンフレット上の投影面PJに画像が投影される点は、既に述べたとおりである。
この変形例の利点は、位置検出手段20が、透明ケースの板面(具体的には、ケース上板83)に位置指定ツール10が接触した状態になっているとの前提で、参照点Pもしくは参照領域PPの位置を検出する処理を行うことができる点である。閲覧者の指を位置指定ツールとして利用する場合も同様である。このような前提では、XYZ三次元座標系上での位置指定ツール10の位置が限定されることになる。すなわち、図39に示す例の場合、位置指定ツール10の位置は、ケース上板83の上面に限定されるので(すなわち、Y座標値は固定されるので)、2台のカメラ21,22によって、たとえば、図8(a) ,(b) に例示するような撮影画像S21,S22が得られた場合に、これらの画像を解析して、参照点Pもしくは参照領域PPの位置を求めるプロセスの負担は大幅に軽減される。
実際、図39に示す例の場合、位置指定ツール10は、第2のカメラ22による撮影画像S22のみに写っていれば足りる。別言すれば、参照点Pもしくは参照領域PPの位置を検出するには、第2のカメラ22による撮影画像S22のみが得られれば十分である。したがって、この例では、第2のカメラ22は、閲覧者の顔と位置指定ツール10との双方を撮影する必要があるが、第1のカメラ21は、閲覧者の顔のみを撮影できればよい。
一方、図40は、展示物の手前にスタンド90を配置して用いる変形例を示す図である。この例でも、複数の展示物E1〜E4が、透明ケース80内に収容されているが、透明ケース80は特に設けなくてもかまわない。この変形例で重要な点は、展示物E1〜E4の手前に、透明なボードを有するスタンド90を配置した点である。スタンド90は、底板91,脚部92,透明なボード93によって構成されている。また、透明ケース80の壁面には第1のカメラ21が取り付けられ、スタンド90の底板91の上面には第2のカメラ22が取り付けられている。
この変形例では、閲覧者Mは、位置指定ツール10をスタンド90の透明なボード93の上面に載せて利用することになる。たとえば、図27に示すようなパンフレットを位置指定ツール10として用いる場合、閲覧者Mは、このパンフレットを透明なボード93の上面に載せ、開口窓PP,透明なボード93,透明ケース80を通して、所望の展示物を観察する。
この変形例の利点は、やはり位置検出手段20が、透明なボード93上に位置指定ツール10が接触した状態になっているとの前提で、参照点Pもしくは参照領域PPの位置を検出する処理を行うことができる点である。閲覧者の指を位置指定ツールとして利用する場合も同様である。図39に示す変形例と同様に、このような前提では、XYZ三次元座標系上での位置指定ツール10の位置が限定されることになるので、2台のカメラ21,22によって得られた画像を解析して、参照点Pもしくは参照領域PPの位置を求めるプロセスの負担は大幅に軽減される。
実際、この図40に示す例の場合も、位置指定ツール10は、第2のカメラ22による撮影画像S22のみに写っていれば足りる。すなわち、参照点Pもしくは参照領域PPの位置を検出するには、第2のカメラ22による撮影画像S22のみが得られれば十分である。したがって、この例では、第2のカメラ22は、閲覧者の顔と位置指定ツール10との双方を撮影する必要があるが、第1のカメラ21は、閲覧者の顔のみを撮影できればよい。
10,10A〜10H:位置指定ツール
10−1,10−2:位置指定ツールの位置
11:支持媒体
12,12a,12b:指示図形
20:位置検出手段
21:第1のカメラ
22:第2のカメラ
23:画像解析部
23A:第1解析部
23B:第2解析部
23C:座標変換部
30:注視方向予測手段
40:注視展示物特定手段
50:配置位置情報格納部
60:情報提示手段
61:プロジェクタ
62:投影画像変形部
63:投影画像作成部
70:提示対象情報格納部
80:透明ケース
81:土台
82:ケース側板
83:ケース上板
90:スタンド
91:底板
92:脚部
93:透明なボード
C:注視円錐
CC:注視錐状体
D:錐状体中心線
E,E1〜E4:展示物/展示物に対応する三次元仮想物体
E(1)〜E(4),E(i):展示物識別コード
G1,G2:重心点
G(xg,yg):中点
H:閲覧者の頭部
I(1)〜I(4),I(i):提示対象情報
K:肌色領域
L1〜L4:展示物E1〜E4の代表点
L11〜L15:直線成分
L(1)〜L(4):配置位置情報
M:閲覧者
O:座標系の原点
P,Pa,Pb:指示図形の尖点/この尖点によって指し示される参照点
PP:開口窓/この開口窓によって指し示される閉領域(参照領域)
PP1,PP2:筒状体端部
PJ:投影面
Q:基準点
S21:第1の撮影画像
S22:第2の撮影画像
T:閲覧者の手
U:鉛直線
V:注視ベクトル
W1〜W4:白目領域
X:XYZ三次元座標系の座標軸
Xq:X軸上の座標値
x:xy二次元座標系の座標軸/xz二次元座標系の座標軸
xa,xb,xg:x軸上の座標値
Y:XYZ三次元座標系の座標軸
Yq:X軸上の座標値
y:xy二次元座標系の座標軸
ya,yg:y軸上の座標値
Z:XYZ三次元座標系の座標軸
Z1〜Z4,Zq:Z軸上の座標値
z:xz二次元座標系の座標軸
zb,zg:z軸上の座標値
θ:二直線のなす角度
φ:回転角

Claims (45)

  1. 複数の展示物のうち閲覧者が注意を向けた特定の展示物についての情報を選択的に提示する情報提示装置であって、
    前記複数の展示物について、それぞれ三次元空間上での配置位置を示す配置位置情報を格納した配置位置情報格納部と、
    前記複数の展示物について、それぞれ提示対象情報を格納した提示対象情報格納部と、
    閲覧者によって携帯されるツールであって、点を指し示す構造を有し、閲覧者による配置動作によって三次元空間上の所定の参照点を指し示す機能を有する位置指定ツールと、
    閲覧者の頭部もしくはその近傍に定められた所定の基準点の位置と、前記位置指定ツールによって指し示された参照点の位置と、を検出する位置検出手段と、
    前記位置検出手段の検出結果に基づき、前記基準点から前記参照点へ向かう注視ベクトルの方向を、閲覧者が注意を向けていると推定される注視方向と予測する注視方向予測手段と、
    前記配置位置情報格納部内に格納されている配置位置情報を参照することにより、前記注視方向もしくはその近傍に配置されている展示物を注視展示物として特定する注視展示物特定手段と、
    前記提示対象情報格納部から、前記注視展示物についての提示対象情報を読み出し、これを閲覧者に提示する情報提示手段と、
    を備えることを特徴とする展示物用情報提示装置。
  2. 請求項1に記載の展示物用情報提示装置において、
    位置指定ツールが、尖点をもった形状を含む構造体からなり、前記尖点の位置として、三次元空間上の所定の参照点を指し示す機能を有することを特徴とする展示物用情報提示装置。
  3. 請求項2に記載の展示物用情報提示装置において、
    位置指定ツールが、尖点をもった不透明な指示図形を透明な媒体上に配置した構造を有することを特徴とする展示物用情報提示装置。
  4. 請求項3に記載の展示物用情報提示装置において、
    位置指定ツールが、尖点をもった不透明な多角形が描かれた透明な板状媒体からなることを特徴とする展示物用情報提示装置。
  5. 請求項2に記載の展示物用情報提示装置において、
    位置指定ツールが、尖点をもった外郭平面形状を有する物体からなることを特徴とする展示物用情報提示装置。
  6. 請求項2に記載の展示物用情報提示装置において、
    位置指定ツールが、先端が尖った棒状の物品からなることを特徴とする展示物用情報提示装置。
  7. 請求項1〜6のいずれかに記載の展示物用情報提示装置において、
    配置位置情報格納部が、個々の展示物の代表点の三次元座標値をそれぞれの配置位置情報として格納しており、
    注視展示物特定手段が、「注視ベクトルからの距離が基準値以下となる」という条件を満たす代表点をもつ展示物を注視展示物として特定することを特徴とする展示物用情報提示装置。
  8. 請求項1〜6のいずれかに記載の展示物用情報提示装置において、
    配置位置情報格納部が、個々の展示物の代表点の三次元座標値をそれぞれの配置位置情報として格納しており、
    注視展示物特定手段が、「基準点を頂点、注視ベクトルを中心軸とし、所定の頂角をもった注視円錐内に位置する」という条件を満たす代表点をもつ展示物を注視展示物として特定することを特徴とする展示物用情報提示装置。
  9. 請求項7または8に記載の展示物用情報提示装置において、
    注視展示物特定手段が、条件を満たす展示物が複数存在する場合に、注視ベクトルと代表点との距離が最短となる代表点をもつ1つの展示物を注視展示物として特定することを特徴とする展示物用情報提示装置。
  10. 請求項1〜6のいずれかに記載の展示物用情報提示装置において、
    配置位置情報格納部が、個々の展示物に対応する三次元仮想物体の三次元座標系上における立体形状データをそれぞれの配置位置情報として格納しており、
    注視展示物特定手段が、「物体の注視ベクトルに対する最近接箇所と、注視ベクトルと、の距離が基準値以下となる」という条件を満たす三次元仮想物体に対応する展示物を注視展示物として特定することを特徴とする展示物用情報提示装置。
  11. 請求項10に記載の展示物用情報提示装置において、
    注視展示物特定手段が、条件を満たす展示物が複数存在する場合に、「物体の注視ベクトルに対する最近接箇所」と「注視ベクトル」との距離が最短となる三次元仮想物体に対応する1つの展示物を注視展示物として特定することを特徴とする展示物用情報提示装置。
  12. 請求項1〜6のいずれかに記載の展示物用情報提示装置において、
    配置位置情報格納部が、個々の展示物に対応する三次元仮想物体の三次元座標系上における立体形状データをそれぞれの配置位置情報として格納しており、
    注視展示物特定手段が、「物体のいずれかの箇所が、基準点を頂点、注視ベクトルを中心軸とし、所定の頂角をもった注視円錐内に位置する」という条件を満たす三次元仮想物体に対応する展示物を注視展示物として特定することを特徴とする展示物用情報提示装置。
  13. 請求項12に記載の展示物用情報提示装置において、
    注視展示物特定手段が、条件を満たす展示物が複数存在する場合に、注視円錐内に含まれる体積が最大となる三次元仮想物体に対応する1つの展示物を注視展示物として特定することを特徴とする展示物用情報提示装置。
  14. 複数の展示物のうち閲覧者が注意を向けた特定の展示物についての情報を選択的に提示する情報提示装置であって、
    前記複数の展示物について、それぞれ三次元空間上での配置位置を示す配置位置情報を格納した配置位置情報格納部と、
    前記複数の展示物について、それぞれ提示対象情報を格納した提示対象情報格納部と、
    閲覧者によって携帯されるツールであって、領域を指し示す構造を有し、閲覧者による配置動作によって三次元空間上の所定の参照領域を指し示す機能を有する位置指定ツールと、
    閲覧者の頭部もしくはその近傍に定められた所定の基準点の位置と、前記位置指定ツールによって指し示された参照領域の位置と、を検出する位置検出手段と、
    前記位置検出手段の検出結果に基づき、前記基準点と前記参照領域の輪郭線上の各点とを結ぶ線で囲まれた注視錐状体の延びる方向を、閲覧者が注意を向けていると推定される注視方向と予測する注視方向予測手段と、
    前記配置位置情報格納部内に格納されている配置位置情報を参照することにより、前記注視方向もしくはその近傍に配置されている展示物を注視展示物として特定する注視展示物特定手段と、
    前記提示対象情報格納部から、前記注視展示物についての提示対象情報を読み出し、これを閲覧者に提示する情報提示手段と、
    を備えることを特徴とする展示物用情報提示装置。
  15. 請求項1または14に記載の展示物用情報提示装置において、
    位置指定ツールが、二次元閉領域の輪郭線を画定させる構造体からなり、前記輪郭線の内部の点もしくは領域として、三次元空間上の所定の参照点もしくは参照領域を指し示す機能を有することを特徴とする展示物用情報提示装置。
  16. 請求項15に記載の展示物用情報提示装置において、
    位置指定ツールが、媒体の一部に、前記媒体の透明度よりも高い透明度をもった閉領域を配置した構造を有することを特徴とする展示物用情報提示装置。
  17. 請求項16に記載の展示物用情報提示装置において、
    位置指定ツールが、不透明な媒体の一部をくりぬいて開口窓を形成した構造を有することを特徴とする展示物用情報提示装置。
  18. 請求項17に記載の展示物用情報提示装置において、
    位置指定ツールが、一部分に開口窓が形成されたパンフレットからなることを特徴とする展示物用情報提示装置。
  19. 請求項17または18に記載の展示物用情報提示装置において、
    情報提示手段が、提示対象となる画像を、投影装置を用いて位置指定ツールの開口窓以外の部分へ投影することを特徴とする展示物用情報提示装置。
  20. 請求項15に記載の展示物用情報提示装置において、
    位置指定ツールが、内部を通じて展示物を覗くのに適した形状および大きさをもった筒状体からなることを特徴とする展示物用情報提示装置。
  21. 請求項14に記載の展示物用情報提示装置において、
    配置位置情報格納部が、個々の展示物の代表点の三次元座標値をそれぞれの配置位置情報として格納しており、
    注視展示物特定手段が、「注視錐状体の内部に位置する」という条件を満たす代表点をもつ展示物を注視展示物として特定することを特徴とする展示物用情報提示装置。
  22. 請求項21に記載の展示物用情報提示装置において、
    注視展示物特定手段が、条件を満たす展示物が複数存在する場合に、基準点と参照領域の重心点とを結ぶ錐状体中心線を定義し、この錐状体中心線と代表点との距離が最短となる代表点をもつ1つの展示物を注視展示物として特定することを特徴とする展示物用情報提示装置。
  23. 請求項14に記載の展示物用情報提示装置において、
    配置位置情報格納部が、個々の展示物に対応する三次元仮想物体の三次元座標系上における立体形状データをそれぞれの配置位置情報として格納しており、
    注視展示物特定手段が、「物体のいずれかの箇所が、注視錐状体の内部に位置する」という条件を満たす三次元仮想物体に対応する展示物を注視展示物として特定することを特徴とする展示物用情報提示装置。
  24. 請求項23に記載の展示物用情報提示装置において、
    注視展示物特定手段が、条件を満たす展示物が複数存在する場合に、注視錐状体の内部に含まれる体積が最大となる三次元仮想物体に対応する1つの展示物を注視展示物として特定することを特徴とする展示物用情報提示装置。
  25. 請求項1〜24のいずれかに記載の展示物用情報提示装置において、
    位置検出手段が、閲覧者をそれぞれ異なる方向から撮影する複数のカメラを有し、これら複数のカメラの撮影画像を解析することにより、「基準点の位置」および「参照点もしくは参照領域の位置」を検出することを特徴とする展示物用情報提示装置。
  26. 請求項25に記載の展示物用情報提示装置において、
    位置検出手段が、
    閲覧者の顔および手を正面から撮影する第1のカメラと、
    閲覧者の顔および手を下方から撮影する第2のカメラと、
    前記第1のカメラで撮影された第1の撮影画像と、前記第2のカメラで撮影された第2の撮影画像と、に基づいて、「基準点の位置」および「参照点もしくは参照領域の位置」を検出する画像解析部と、
    を有することを特徴とする展示物用情報提示装置。
  27. 請求項26に記載の展示物用情報提示装置において、
    展示物の背景を構成する壁面をXY平面とし、床面をXZ平面とし、鉛直方向にY軸をとったXYZ三次元座標系を定義したときに、第1のカメラの撮像面がXY平面に平行になり、第2のカメラの撮像面がXZ平面に平行になるように、各カメラを配置し、第1の撮影画像がXY平面に平行な投影面への投影画像となり、第2の撮影画像がXZ平面に平行な投影面への投影画像となるようにしたことを特徴とする展示物用情報提示装置。
  28. 請求項27に記載の展示物用情報提示装置において、
    画像解析部が、第1の撮影画像を解析することにより、所定の特徴点のX座標値およびY座標値を求め、第2の撮影画像を解析することにより、前記特徴点のZ座標値を求めることを特徴とする展示物用情報提示装置。
  29. 請求項28に記載の展示物用情報提示装置において、
    画像解析部が、
    第1の撮影画像上に定義されたxy二次元座標系において、所定の特徴点の座標値(xg,yg)を求める第1解析部と、
    第2の撮影画像上に定義されたxz二次元座標系において、前記特徴点のz座標値zgを求める第2解析部と、
    第1のカメラの設置位置および光学系の倍率に基づいて定まる前記xy二次元座標系の座標値(x,y)とXYZ三次元座標系の座標値(X,Y)との関係式に基づいて、前記xy二次元座標系上の座標値(xg,yg)を、それぞれXYZ三次元座標系の座標値(Xq,Yq)に変換し、第2のカメラの設置位置および光学系の倍率に基づいて定まる前記xz二次元座標系の座標値(x,z)とXYZ三次元座標系の座標値(X,Z)との関係式に基づいて、前記xz二次元座標系上の座標値zgを、XYZ三次元座標系の座標値Zqに変換する座標変換部と、
    を備え、XYZ三次元座標系における前記特徴点の三次元座標値(Xq,Yq,Zq)を求めることを特徴とする展示物用情報提示装置。
  30. 請求項29に記載の展示物用情報提示装置において、
    第1解析部が、第1の撮影画像上に定義されたxy二次元座標系において、画像上の閲覧者の右眼の白目領域の重心点と左眼の白目領域の重心点とを求め、これら両重心点の中点Gの座標値(xg,yg)を求める処理を行い、
    第2解析部が、第2の撮影画像上に定義されたxz二次元座標系において、画像上の閲覧者の顔に対応する肌色領域を認識し、当該肌色領域の最小のz座標値zgを求める処理を行い、
    座標変換部が、前記座標値(xg,yg,zg)を、XYZ三次元座標系における座標値(Xq,Yq,Zq)に変換する処理を行い、閲覧者の頭部近傍に定められた基準点Qの座標値(Xq,Yq,Zq)を求めることを特徴とする展示物用情報提示装置。
  31. 請求項29に記載の展示物用情報提示装置において、
    第1解析部が、第1の撮影画像上に定義されたxy二次元座標系において、画像上の参照点もしくは参照領域の輪郭線上の特徴点の座標値(xa,ya)を求める処理を行い、
    第2解析部が、第2の撮影画像上に定義されたxz二次元座標系において、画像上の前記参照点もしくは前記特徴点のz座標値zbを求める処理を行い、
    座標変換部が、前記座標値(xa,ya,zb)を、XYZ三次元座標系における座標値(Xp,Yp,Zp)に変換する処理を行い、前記参照点もしくは前記参照領域の輪郭線上の特徴点の座標値(Xp,Yp,Zp)を求めることを特徴とする展示物用情報提示装置。
  32. 請求項31に記載の展示物用情報提示装置において、
    第1解析部および第2解析部が、それぞれ画像上で直線の認識を行い、特定の位置関係にある2直線の交点を参照点もしくは参照領域の輪郭線上の特徴点と認識することを特徴とする展示物用情報提示装置。
  33. 請求項1〜32のいずれかに記載の展示物用情報提示装置において、
    情報提示手段が、提示対象となる画像を、プロジェクタを用いて位置指定ツール上に設けられた投影面へ投影することを特徴とする展示物用情報提示装置。
  34. 請求項33に記載の展示物用情報提示装置において、
    位置検出手段が、位置指定ツールの位置および姿勢を検出する機能を更に有し、
    情報提示手段が、
    提示対象情報格納部から提示対象情報を読み出し、提示対象となる投影画像を作成する投影画像作成部と、
    前記位置検出手段が検出した位置指定ツールの位置および姿勢に基づいて、位置指定ツール上に設けられた投影面の位置を認識し、当該位置に対する投影を行った場合に前記投影面上に正しい投影画像が得られるように、前記投影画像を変形して変形投影画像を生成する投影画像変形部と、
    前記変形投影画像を前記投影面に対して投影するプロジェクタと、
    を有することを特徴とする展示物用情報提示装置。
  35. 請求項1〜34のいずれかに記載の展示物用情報提示装置において、
    位置検出手段が、位置指定ツール上に存在する閲覧者の指の位置を検出する機能を更に有し、
    情報提示手段が、前記位置検出手段が検出した閲覧者の指の位置に応じて、閲覧者に提示する情報の内容もしくはその提示形態を変えることを特徴とする展示物用情報提示装置。
  36. 請求項1〜34のいずれかに記載の展示物用情報提示装置において、
    位置指定ツールが、閲覧者の操作に基づいて変形する構造もしくは材質を有し、
    位置検出手段が、前記位置指定ツールの変形態様を検出する機能を更に有し、
    情報提示手段が、前記位置検出手段が検出した前記変形態様に応じて、閲覧者に提示する情報の内容もしくはその提示形態を変えることを特徴とする展示物用情報提示装置。
  37. 請求項1〜34のいずれかに記載の展示物用情報提示装置において、
    位置検出手段が、位置指定ツールの位置もしくは姿勢を検出する機能を更に有し、
    情報提示手段が、前記位置検出手段が検出した位置指定ツールの位置もしくは姿勢に応じて、閲覧者に提示する情報の内容もしくはその提示形態を変えることを特徴とする展示物用情報提示装置。
  38. 請求項1〜34のいずれかに記載の展示物用情報提示装置において、
    位置指定ツールが、複数n通りの言語で記述された合計n通りの異なるパンフレットからなり、
    提示対象情報格納部が、前記n通りの言語の中から選択された任意の言語で情報提示を行うことができるように、n通りの異なる言語でそれぞれ用意された合計n通りの提示対象情報を格納しており、
    位置検出手段が、前記パンフレットを撮影するカメラと、このカメラによる撮影画像を解析することにより前記パンフレットに記述されている言語を認識する言語認識手段と、を有し、
    情報提示手段が、前記位置検出手段が認識した言語に合致する言語で用意された提示対象情報を選択して、これを提示することを特徴とする展示物用情報提示装置。
  39. 請求項1〜38のいずれかに記載の展示物用情報提示装置において、
    配置位置情報格納部が、第i番目の展示物Ei(i=1,2,3,...)の配置位置を示す配置位置情報L(i)を、当該第i番目の展示物Eiを特定するための展示物識別コードE(i)に対応づけて格納し、
    提示対象情報格納部が、第i番目の展示物Eiについての提示対象情報I(i)を、前記展示物識別コードE(i)に対応づけて格納し、
    注視展示物特定手段が、情報提示手段に対して注視展示物の展示物識別コードを与え、
    情報提示手段が、与えられた展示物識別コードに対応する提示対象情報を読み出し、これを閲覧者に提示することを特徴とする展示物用情報提示装置。
  40. 請求項1〜38のいずれかに記載の展示物用情報提示装置において、
    提示対象情報格納部が、音声もしくは画像、またはこれらの双方を提示するためのコンテンツデータを提示対象情報として格納し、
    情報提示手段が、スピーカ、イヤホン、ヘッドホン、ディスプレイ装置、または投影装置を用いて提示対象情報の提示を行うことを特徴とする展示物用情報提示装置。
  41. 請求項1〜38のいずれかに記載の展示物用情報提示装置において、
    展示物を収容する透明ケースを更に備え、
    位置検出手段が、前記透明ケースの板面に位置指定ツールが接触した状態になっているとの前提で、参照点もしくは参照領域の位置を検出する処理を行うことを特徴とする展示物用情報提示装置。
  42. 請求項1〜38のいずれかに記載の展示物用情報提示装置において、
    展示物の手前に配置された透明なボードを有するスタンドを更に備え、
    位置検出手段が、前記透明なボード上に位置指定ツールが接触した状態になっているとの前提で、参照点もしくは参照領域の位置を検出する処理を行うことを特徴とする展示物用情報提示装置。
  43. 請求項1〜42のいずれかに記載の展示物用情報提示装置における配置位置情報格納部、提示対象情報格納部、位置検出手段の一部、注視方向予測手段、注視展示物特定手段、情報提示手段の一部、としてコンピュータを機能させるためのプログラム。
  44. 複数の展示物のうち閲覧者が注意を向けた特定の展示物についての情報を選択的に提示する情報提示方法であって、
    コンピュータが、前記複数の展示物について、それぞれ三次元空間上での配置位置を示す配置位置情報を格納する段階と、
    コンピュータが、前記複数の展示物について、それぞれ提示対象情報を格納する段階と、
    閲覧者の手に保持された物品によって、三次元空間上の所定の参照点が指し示されたときに、コンピュータが、前記閲覧者の頭部もしくはその近傍に定められた所定の基準点の位置と、前記参照点の位置と、を検出する段階と、
    コンピュータが、検出された基準点から参照点へ向かう注視ベクトルの方向を、閲覧者が注意を向けていると推定される注視方向と予測する段階と、
    コンピュータが、格納中の前記配置位置情報を参照することにより、前記注視方向もしくはその近傍に配置されている展示物を注視展示物として特定する段階と、
    コンピュータが、前記注視展示物についての前記提示対象情報を音声もしくは画像の提示装置に対して出力し、閲覧者に提示する段階と、
    を有することを特徴とする展示物用情報提示方法。
  45. 複数の展示物のうち閲覧者が注意を向けた特定の展示物についての情報を選択的に提示する情報提示方法であって、
    コンピュータが、前記複数の展示物について、それぞれ三次元空間上での配置位置を示す配置位置情報を格納する段階と、
    コンピュータが、前記複数の展示物について、それぞれ提示対象情報を格納する段階と、
    閲覧者の手に保持された物品によって、三次元空間上の所定の参照領域が指し示されたときに、コンピュータが、前記閲覧者の頭部もしくはその近傍に定められた所定の基準点の位置と、前記参照領域の位置と、を検出する段階と、
    コンピュータが、検出された基準点と検出された参照領域の輪郭線上の各点とを結ぶ線で囲まれた注視錐状体の延びる方向を、閲覧者が注意を向けていると推定される注視方向と予測する段階と、
    コンピュータが、格納中の前記配置位置情報を参照することにより、前記注視方向もしくはその近傍に配置されている展示物を注視展示物として特定する段階と、
    コンピュータが、前記注視展示物についての前記提示対象情報を音声もしくは画像の提示装置に対して出力し、閲覧者に提示する段階と、
    を有することを特徴とする展示物用情報提示方法。
JP2010136818A 2010-06-16 2010-06-16 展示物用情報提示装置および提示方法 Expired - Fee Related JP5533311B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010136818A JP5533311B2 (ja) 2010-06-16 2010-06-16 展示物用情報提示装置および提示方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010136818A JP5533311B2 (ja) 2010-06-16 2010-06-16 展示物用情報提示装置および提示方法

Publications (2)

Publication Number Publication Date
JP2012003442A JP2012003442A (ja) 2012-01-05
JP5533311B2 true JP5533311B2 (ja) 2014-06-25

Family

ID=45535356

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010136818A Expired - Fee Related JP5533311B2 (ja) 2010-06-16 2010-06-16 展示物用情報提示装置および提示方法

Country Status (1)

Country Link
JP (1) JP5533311B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016212297A (ja) * 2015-05-11 2016-12-15 大日本印刷株式会社 工場見学支援装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2501066Y2 (ja) * 1989-12-13 1996-06-12 三田工業株式会社 オ―バ―ヘッドプロジェクタの原稿指示棒
JPH0741802U (ja) * 1993-12-28 1995-07-21 株式会社東伸精工 光指示棒
JP2002269298A (ja) * 2001-03-13 2002-09-20 Matsushita Electric Ind Co Ltd 展示物解説システム
JP2003084229A (ja) * 2001-09-14 2003-03-19 Takenaka Komuten Co Ltd 指示位置表示装置及び方法

Also Published As

Publication number Publication date
JP2012003442A (ja) 2012-01-05

Similar Documents

Publication Publication Date Title
US20220084279A1 (en) Methods for manipulating objects in an environment
US10295826B2 (en) Shape recognition device, shape recognition program, and shape recognition method
CN105659295B (zh) 用于在移动设备上的真实环境的视图中表示兴趣点的方法以及用于此方法的移动设备
US10186084B2 (en) Image processing to enhance variety of displayable augmented reality objects
JP5762892B2 (ja) 情報表示システム、情報表示方法、及び情報表示用プログラム
US9165381B2 (en) Augmented books in a mixed reality environment
CN116724285A (zh) 用于控制虚拟和图形元素的微手势
US9979946B2 (en) I/O device, I/O program, and I/O method
US9933853B2 (en) Display control device, display control program, and display control method
US20150379770A1 (en) Digital action in response to object interaction
CN108431729A (zh) 用以增大显示区域的三维对象跟踪
US9906778B2 (en) Calibration device, calibration program, and calibration method
TW201214266A (en) Three dimensional user interface effects on a display by using properties of motion
JP2011128220A (ja) 情報提示装置、情報提示方法及びプログラム
CN102792255A (zh) 图像处理设备、图像处理方法和程序
JP2012128779A (ja) 仮想物体表示装置
KR100971667B1 (ko) 증강 책을 통한 실감 콘텐츠를 제공하는 방법 및 장치
US10171800B2 (en) Input/output device, input/output program, and input/output method that provide visual recognition of object to add a sense of distance
Agarwal et al. The evolution and future scope of augmented reality
US10296098B2 (en) Input/output device, input/output program, and input/output method
JP5533311B2 (ja) 展示物用情報提示装置および提示方法
EP3088991B1 (en) Wearable device and method for enabling user interaction
WO2022176450A1 (ja) 情報処理装置、情報処理方法、およびプログラム
CN113434046A (zh) 三维交互系统、方法、计算机设备及可读存储介质
KR101591038B1 (ko) 홀로그래피 터치 방법 및 프로젝터 터치 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130419

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131224

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140108

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140305

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140401

R150 Certificate of patent or registration of utility model

Ref document number: 5533311

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140414

LAPS Cancellation because of no payment of annual fees