JP5533311B2 - 展示物用情報提示装置および提示方法 - Google Patents
展示物用情報提示装置および提示方法 Download PDFInfo
- Publication number
- JP5533311B2 JP5533311B2 JP2010136818A JP2010136818A JP5533311B2 JP 5533311 B2 JP5533311 B2 JP 5533311B2 JP 2010136818 A JP2010136818 A JP 2010136818A JP 2010136818 A JP2010136818 A JP 2010136818A JP 5533311 B2 JP5533311 B2 JP 5533311B2
- Authority
- JP
- Japan
- Prior art keywords
- exhibit
- information
- gaze
- viewer
- exhibits
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Description
複数の展示物について、それぞれ三次元空間上での配置位置を示す配置位置情報を格納した配置位置情報格納部と、
複数の展示物について、それぞれ提示対象情報を格納した提示対象情報格納部と、
閲覧者によって携帯されるツールであって、点を指し示す構造を有し、閲覧者による配置動作によって三次元空間上の所定の参照点を指し示す機能を有する位置指定ツールと、
閲覧者の頭部もしくはその近傍に定められた所定の基準点の位置と、位置指定ツールによって指し示された参照点の位置と、を検出する位置検出手段と、
位置検出手段の検出結果に基づき、基準点から参照点へ向かう注視ベクトルの方向を、閲覧者が注意を向けていると推定される注視方向と予測する注視方向予測手段と、
配置位置情報格納部内に格納されている配置位置情報を参照することにより、注視方向もしくはその近傍に配置されている展示物を注視展示物として特定する注視展示物特定手段と、
提示対象情報格納部から、注視展示物についての提示対象情報を読み出し、これを閲覧者に提示する情報提示手段と、
を設けたものである。
位置指定ツールが、尖点をもった形状を含む構造体からなり、尖点の位置として、三次元空間上の所定の参照点を指し示す機能を有するようにしたものである。
位置指定ツールが、尖点をもった不透明な指示図形を透明な媒体上に配置した構造を有するようにしたものである。
位置指定ツールが、尖点をもった不透明な多角形が描かれた透明な板状媒体からなるようにしたものである。
位置指定ツールが、尖点をもった外郭平面形状を有する物体からなるようにしたものである。
位置指定ツールが、先端が尖った棒状の物品からなるようにしたものである。
配置位置情報格納部が、個々の展示物の代表点の三次元座標値をそれぞれの配置位置情報として格納しており、
注視展示物特定手段が、「注視ベクトルからの距離が基準値以下となる」という条件を満たす代表点をもつ展示物を注視展示物として特定するようにしたものである。
配置位置情報格納部が、個々の展示物の代表点の三次元座標値をそれぞれの配置位置情報として格納しており、
注視展示物特定手段が、「基準点を頂点、注視ベクトルを中心軸とし、所定の頂角をもった注視円錐内に位置する」という条件を満たす代表点をもつ展示物を注視展示物として特定するようにしたものである。
注視展示物特定手段が、条件を満たす展示物が複数存在する場合に、注視ベクトルと代表点との距離が最短となる代表点をもつ1つの展示物を注視展示物として特定するようにしたものである。
配置位置情報格納部が、個々の展示物に対応する三次元仮想物体の三次元座標系上における立体形状データをそれぞれの配置位置情報として格納しており、
注視展示物特定手段が、「物体の注視ベクトルに対する最近接箇所と、注視ベクトルと、の距離が基準値以下となる」という条件を満たす三次元仮想物体に対応する展示物を注視展示物として特定するようにしたものである。
注視展示物特定手段が、条件を満たす展示物が複数存在する場合に、「物体の注視ベクトルに対する最近接箇所」と「注視ベクトル」との距離が最短となる三次元仮想物体に対応する1つの展示物を注視展示物として特定するようにしたものである。
配置位置情報格納部が、個々の展示物に対応する三次元仮想物体の三次元座標系上における立体形状データをそれぞれの配置位置情報として格納しており、
注視展示物特定手段が、「物体のいずれかの箇所が、基準点を頂点、注視ベクトルを中心軸とし、所定の頂角をもった注視円錐内に位置する」という条件を満たす三次元仮想物体に対応する展示物を注視展示物として特定するようにしたものである。
注視展示物特定手段が、条件を満たす展示物が複数存在する場合に、注視円錐内に含まれる体積が最大となる三次元仮想物体に対応する1つの展示物を注視展示物として特定するようにしたものである。
複数の展示物について、それぞれ三次元空間上での配置位置を示す配置位置情報を格納した配置位置情報格納部と、
複数の展示物について、それぞれ提示対象情報を格納した提示対象情報格納部と、
閲覧者によって携帯されるツールであって、領域を指し示す構造を有し、閲覧者による配置動作によって三次元空間上の所定の参照領域を指し示す機能を有する位置指定ツールと、
閲覧者の頭部もしくはその近傍に定められた所定の基準点の位置と、位置指定ツールによって指し示された参照領域の位置と、を検出する位置検出手段と、
位置検出手段の検出結果に基づき、基準点と参照領域の輪郭線上の各点とを結ぶ線で囲まれた注視錐状体の延びる方向を、閲覧者が注意を向けていると推定される注視方向と予測する注視方向予測手段と、
配置位置情報格納部内に格納されている配置位置情報を参照することにより、注視方向もしくはその近傍に配置されている展示物を注視展示物として特定する注視展示物特定手段と、
提示対象情報格納部から、注視展示物についての提示対象情報を読み出し、これを閲覧者に提示する情報提示手段と、
を設けるようにしたものである。
位置指定ツールが、二次元閉領域の輪郭線を画定させる構造体からなり、輪郭線の内部の点もしくは領域として、三次元空間上の所定の参照点もしくは参照領域を指し示す機能を有するようにしたものである。
位置指定ツールが、媒体の一部に、媒体の透明度よりも高い透明度をもった閉領域を配置した構造を有するようにしたものである。
位置指定ツールが、不透明な媒体の一部をくりぬいて開口窓を形成した構造を有するようにしたものである。
位置指定ツールを、一部分に開口窓が形成されたパンフレットによって構成したものである。
情報提示手段が、提示対象となる画像を、投影装置を用いて位置指定ツールの開口窓以外の部分へ投影するようにしたものである。
位置指定ツールを、内部を通じて展示物を覗くのに適した形状および大きさをもった筒状体によって構成したものである。
配置位置情報格納部が、個々の展示物の代表点の三次元座標値をそれぞれの配置位置情報として格納しており、
注視展示物特定手段が、「注視錐状体の内部に位置する」という条件を満たす代表点をもつ展示物を注視展示物として特定するようにしたものである。
注視展示物特定手段が、条件を満たす展示物が複数存在する場合に、基準点と参照領域の重心点とを結ぶ錐状体中心線を定義し、この錐状体中心線と代表点との距離が最短となる代表点をもつ1つの展示物を注視展示物として特定するようにしたものである。
配置位置情報格納部が、個々の展示物に対応する三次元仮想物体の三次元座標系上における立体形状データをそれぞれの配置位置情報として格納しており、
注視展示物特定手段が、「物体のいずれかの箇所が、注視錐状体の内部に位置する」という条件を満たす三次元仮想物体に対応する展示物を注視展示物として特定するようにしたものである。
注視展示物特定手段が、条件を満たす展示物が複数存在する場合に、注視錐状体の内部に含まれる体積が最大となる三次元仮想物体に対応する1つの展示物を注視展示物として特定するようにしたものである。
位置検出手段が、閲覧者をそれぞれ異なる方向から撮影する複数のカメラを有し、これら複数のカメラの撮影画像を解析することにより、「基準点の位置」および「参照点もしくは参照領域の位置」を検出するようにしたものである。
位置検出手段が、
閲覧者の顔および手を正面から撮影する第1のカメラと、
閲覧者の顔および手を下方から撮影する第2のカメラと、
第1のカメラで撮影された第1の撮影画像と、第2のカメラで撮影された第2の撮影画像と、に基づいて、「基準点の位置」および「参照点もしくは参照領域の位置」を検出する画像解析部と、
を有するようにしたものである。
展示物の背景を構成する壁面をXY平面とし、床面をXZ平面とし、鉛直方向にY軸をとったXYZ三次元座標系を定義したときに、第1のカメラの撮像面がXY平面に平行になり、第2のカメラの撮像面がXZ平面に平行になるように、各カメラを配置し、第1の撮影画像がXY平面に平行な投影面への投影画像となり、第2の撮影画像がXZ平面に平行な投影面への投影画像となるようにしたものである。
画像解析部が、第1の撮影画像を解析することにより、所定の特徴点のX座標値およびY座標値を求め、第2の撮影画像を解析することにより、この特徴点のZ座標値を求めるようにしたものである。
画像解析部が、
第1の撮影画像上に定義されたxy二次元座標系において、所定の特徴点の座標値(xg,yg)を求める第1解析部と、
第2の撮影画像上に定義されたxz二次元座標系において、特徴点のz座標値zgを求める第2解析部と、
第1のカメラの設置位置および光学系の倍率に基づいて定まるxy二次元座標系の座標値(x,y)とXYZ三次元座標系の座標値(X,Y)との関係式に基づいて、xy二次元座標系上の座標値(xg,yg)を、それぞれXYZ三次元座標系の座標値(Xq,Yq)に変換し、第2のカメラの設置位置および光学系の倍率に基づいて定まるxz二次元座標系の座標値(x,z)とXYZ三次元座標系の座標値(X,Z)との関係式に基づいて、xz二次元座標系上の座標値zgを、XYZ三次元座標系の座標値Zqに変換する座標変換部と、
を備え、XYZ三次元座標系における特徴点の三次元座標値(Xq,Yq,Zq)を求めるようにしたものである。
第1解析部が、第1の撮影画像上に定義されたxy二次元座標系において、画像上の閲覧者の右眼の白目領域の重心点と左眼の白目領域の重心点とを求め、これら両重心点の中点Gの座標値(xg,yg)を求める処理を行い、
第2解析部が、第2の撮影画像上に定義されたxz二次元座標系において、画像上の閲覧者の顔に対応する肌色領域を認識し、当該肌色領域の最小のz座標値zgを求める処理を行い、
座標変換部が、座標値(xg,yg,zg)を、XYZ三次元座標系における座標値(Xq,Yq,Zq)に変換する処理を行い、閲覧者の頭部近傍に定められた基準点Qの座標値(Xq,Yq,Zq)を求めるようにしたものである。
第1解析部が、第1の撮影画像上に定義されたxy二次元座標系において、画像上の参照点もしくは参照領域の輪郭線上の特徴点の座標値(xa,ya)を求める処理を行い、
第2解析部が、第2の撮影画像上に定義されたxz二次元座標系において、画像上の参照点もしくは特徴点のz座標値zbを求める処理を行い、
座標変換部が、座標値(xa,ya,zb)を、XYZ三次元座標系における座標値(Xp,Yp,Zp)に変換する処理を行い、参照点もしくは参照領域の輪郭線上の特徴点の座標値(Xp,Yp,Zp)を求めるようにしたものである。
第1解析部および第2解析部が、それぞれ画像上で直線の認識を行い、特定の位置関係にある2直線の交点を参照点もしくは参照領域の輪郭線上の特徴点と認識するようにしたものである。
情報提示手段が、提示対象となる画像を、プロジェクタを用いて位置指定ツール上に設けられた投影面へ投影するようにしたものである。
位置検出手段が、位置指定ツールの位置および姿勢を検出する機能を更に有し、
情報提示手段が、
提示対象情報格納部から提示対象情報を読み出し、提示対象となる投影画像を作成する投影画像作成部と、
位置検出手段が検出した位置指定ツールの位置および姿勢に基づいて、位置指定ツール上に設けられた投影面の位置を認識し、当該位置に対する投影を行った場合に投影面上に正しい投影画像が得られるように、投影画像を変形して変形投影画像を生成する投影画像変形部と、
変形投影画像を投影面に対して投影するプロジェクタと、
を有するようにしたものである。
位置検出手段が、位置指定ツール上に存在する閲覧者の指の位置を検出する機能を更に有し、
情報提示手段が、位置検出手段が検出した閲覧者の指の位置に応じて、閲覧者に提示する情報の内容もしくはその提示形態を変えるようにしたものである。
位置指定ツールが、閲覧者の操作に基づいて変形する構造もしくは材質を有し、
位置検出手段が、位置指定ツールの変形態様を検出する機能を更に有し、
情報提示手段が、位置検出手段が検出した変形態様に応じて、閲覧者に提示する情報の内容もしくはその提示形態を変えるようにしたものである。
位置検出手段が、位置指定ツールの位置もしくは姿勢を検出する機能を更に有し、
情報提示手段が、位置検出手段が検出した位置指定ツールの位置もしくは姿勢に応じて、閲覧者に提示する情報の内容もしくはその提示形態を変えるようにしたものである。
位置指定ツールが、複数n通りの言語で記述された合計n通りの異なるパンフレットからなり、
提示対象情報格納部が、n通りの言語の中から選択された任意の言語で情報提示を行うことができるように、n通りの異なる言語でそれぞれ用意された合計n通りの提示対象情報を格納しており、
位置検出手段が、パンフレットを撮影するカメラと、このカメラによる撮影画像を解析することによりパンフレットに記述されている言語を認識する言語認識手段と、を有し、
情報提示手段が、位置検出手段が認識した言語に合致する言語で用意された提示対象情報を選択して、これを提示するようにしたものである。
配置位置情報格納部が、第i番目の展示物Ei(i=1,2,3,...)の配置位置を示す配置位置情報L(i)を、当該第i番目の展示物Eiを特定するための展示物識別コードE(i)に対応づけて格納し、
提示対象情報格納部が、第i番目の展示物Eiについての提示対象情報I(i)を、展示物識別コードE(i)に対応づけて格納し、
注視展示物特定手段が、情報提示手段に対して注視展示物の展示物識別コードを与え、
情報提示手段が、与えられた展示物識別コードに対応する提示対象情報を読み出し、これを閲覧者に提示するようにしたものである。
提示対象情報格納部が、音声もしくは画像、またはこれらの双方を提示するためのコンテンツデータを提示対象情報として格納し、
情報提示手段が、スピーカ、イヤホン、ヘッドホン、ディスプレイ装置、または投影装置を用いて提示対象情報の提示を行うようにしたものである。
展示物を収容する透明ケースを更に備え、
位置検出手段が、透明ケースの板面に位置指定ツールが接触した状態になっているとの前提で、参照点もしくは参照領域の位置を検出する処理を行うようにしたものである。
展示物の手前に配置された透明なボードを有するスタンドを更に備え、
位置検出手段が、透明なボード上に位置指定ツールが接触した状態になっているとの前提で、参照点もしくは参照領域の位置を検出する処理を行うようにしたものである。
配置位置情報格納部、提示対象情報格納部、位置検出手段の一部、注視方向予測手段、注視展示物特定手段、情報提示手段の一部、をコンピュータにプログラムを組み込むことによって構成したものである。
コンピュータが、複数の展示物について、それぞれ三次元空間上での配置位置を示す配置位置情報を格納する段階と、
コンピュータが、複数の展示物について、それぞれ提示対象情報を格納する段階と、
閲覧者の手に保持された物品によって、三次元空間上の所定の参照点が指し示されたときに、コンピュータが、閲覧者の頭部もしくはその近傍に定められた所定の基準点の位置と、参照点の位置と、を検出する段階と、
コンピュータが、検出された基準点から参照点へ向かう注視ベクトルの方向を、閲覧者が注意を向けていると推定される注視方向と予測する段階と、
コンピュータが、格納中の配置位置情報を参照することにより、注視方向もしくはその近傍に配置されている展示物を注視展示物として特定する段階と、
コンピュータが、注視展示物についての提示対象情報を音声もしくは画像の提示装置に対して出力し、閲覧者に提示する段階と、
を行うようにしたものである。
コンピュータが、複数の展示物について、それぞれ三次元空間上での配置位置を示す配置位置情報を格納する段階と、
コンピュータが、複数の展示物について、それぞれ提示対象情報を格納する段階と、
閲覧者の手に保持された物品によって、三次元空間上の所定の参照領域が指し示されたときに、コンピュータが、閲覧者の頭部もしくはその近傍に定められた所定の基準点の位置と、参照領域の位置と、を検出する段階と、
コンピュータが、検出された基準点と検出された参照領域の輪郭線上の各点とを結ぶ線で囲まれた注視錐状体の延びる方向を、閲覧者が注意を向けていると推定される注視方向と予測する段階と、
コンピュータが、格納中の配置位置情報を参照することにより、注視方向もしくはその近傍に配置されている展示物を注視展示物として特定する段階と、
コンピュータが、注視展示物についての提示対象情報を音声もしくは画像の提示装置に対して出力し、閲覧者に提示する段階と、
を行うようにしたものである。
図1は、本発明の一般的な利用環境を示す図である。ここでは、説明の便宜上、社会科見学のために博物館を訪問した学生に対して、個々の展示物の情報を提示する場合を具体例にとって、本発明の基本原理を説明する。
図6は、本発明の基本的な実施形態に係る展示物用情報提示装置の構成を示すブロック図である。図示のとおり、この装置は、位置指定ツール10,位置検出手段20,注視方向予測手段30,注視展示物特定手段40,配置位置情報格納部50,情報提示手段60,提示対象情報格納部70によって構成されており、図5に示すようなXYZ三次元座標系上に陳列された複数の展示物E1〜E4のうち、閲覧者Mが注意を向けた特定の展示物についての情報を選択的に提示する情報提示装置として機能する。
続いて、ここでは、図6に示す位置検出手段20の具体的な構成例を説明する。図7は、この位置検出手段20の具体的な構成例を示す側面図である。図示のとおり、この構成例では、位置検出手段20は、第1のカメラ21,第2のカメラ22,画像解析部23によって構成され、画像解析部23は、更に、第1解析部23A,第2解析部23B,座標変換部23Cによって構成される。
ここでは、図6に示す基本的な実施形態に係る装置における注視方向予測手段30による注視方向の予測処理および注視展示物特定手段40による注視展示物の特定処理の具体的な方法を述べる。
これまで述べた実施形態では、閲覧者Mが、図2に示すような位置指定ツール10を利用して、注視対象となる展示物を指し示す動作を行う例を述べた。具体的には、閲覧者Mは、図3あるいは図4に示す例のように、矢印の尖点Pが所望の注視対象物を指し示すように、位置指定ツール10を空間上の所定位置に配置する動作を行うことになる。もちろん、本発明に利用可能な位置指定ツール10の形態は、図2に示す例に限定されるものではなく、所望の注視対象物を指し示すことができれば、どのような形態のものであってもかまわない。
これまでの実施形態では、閲覧者Mが、位置指定ツール10によって三次元空間上の参照点Pを指し示し、位置検出手段20が、この参照点Pの位置と、閲覧者の頭部Hもしくはその近傍に定められた基準点Qの位置と、を検出し、これら2点P,Qによって注視方向を予測する、という手順が実行されている。たとえば、図15,図17に示す例では、2点P,Qを結ぶ方向に注視ベクトルVが定義され、更に、図16,図18に示す例では、この注視ベクトルVを中心軸とする注視円錐Cが定義され、注視ベクトルVの方向もしくは注視円錐Cが延びる方向を注視方向として取り扱っている。
§3で述べたとおり、本発明の基本的な実施形態に係る装置では、位置検出手段20として、2台のカメラ21,22を含む装置を用いており、図8(a) ,(b) に示すように、閲覧者周辺の画像をリアルタイムで撮影することができる。したがって、この2台のカメラ21,22の撮影画像をリアルタイムで解析すれば、閲覧者の動作を認識することが可能になる。この§7で述べる実施形態は、このような点に着目し、閲覧者の動作に基づいて、閲覧者からの指示を入力し、当該指示に応じて、情報提示手段60によって提示する情報の内容やその提示形態を変えるものである。いわば、閲覧者との間でインタラクティブ方式を採用した実施形態ということになる。
最後に、本発明を実施する上で、位置検出手段20の処理負担を軽減するために有用な変形例を述べておく。
10−1,10−2:位置指定ツールの位置
11:支持媒体
12,12a,12b:指示図形
20:位置検出手段
21:第1のカメラ
22:第2のカメラ
23:画像解析部
23A:第1解析部
23B:第2解析部
23C:座標変換部
30:注視方向予測手段
40:注視展示物特定手段
50:配置位置情報格納部
60:情報提示手段
61:プロジェクタ
62:投影画像変形部
63:投影画像作成部
70:提示対象情報格納部
80:透明ケース
81:土台
82:ケース側板
83:ケース上板
90:スタンド
91:底板
92:脚部
93:透明なボード
C:注視円錐
CC:注視錐状体
D:錐状体中心線
E,E1〜E4:展示物/展示物に対応する三次元仮想物体
E(1)〜E(4),E(i):展示物識別コード
G1,G2:重心点
G(xg,yg):中点
H:閲覧者の頭部
I(1)〜I(4),I(i):提示対象情報
K:肌色領域
L1〜L4:展示物E1〜E4の代表点
L11〜L15:直線成分
L(1)〜L(4):配置位置情報
M:閲覧者
O:座標系の原点
P,Pa,Pb:指示図形の尖点/この尖点によって指し示される参照点
PP:開口窓/この開口窓によって指し示される閉領域(参照領域)
PP1,PP2:筒状体端部
PJ:投影面
Q:基準点
S21:第1の撮影画像
S22:第2の撮影画像
T:閲覧者の手
U:鉛直線
V:注視ベクトル
W1〜W4:白目領域
X:XYZ三次元座標系の座標軸
Xq:X軸上の座標値
x:xy二次元座標系の座標軸/xz二次元座標系の座標軸
xa,xb,xg:x軸上の座標値
Y:XYZ三次元座標系の座標軸
Yq:X軸上の座標値
y:xy二次元座標系の座標軸
ya,yg:y軸上の座標値
Z:XYZ三次元座標系の座標軸
Z1〜Z4,Zq:Z軸上の座標値
z:xz二次元座標系の座標軸
zb,zg:z軸上の座標値
θ:二直線のなす角度
φ:回転角
Claims (45)
- 複数の展示物のうち閲覧者が注意を向けた特定の展示物についての情報を選択的に提示する情報提示装置であって、
前記複数の展示物について、それぞれ三次元空間上での配置位置を示す配置位置情報を格納した配置位置情報格納部と、
前記複数の展示物について、それぞれ提示対象情報を格納した提示対象情報格納部と、
閲覧者によって携帯されるツールであって、点を指し示す構造を有し、閲覧者による配置動作によって三次元空間上の所定の参照点を指し示す機能を有する位置指定ツールと、
閲覧者の頭部もしくはその近傍に定められた所定の基準点の位置と、前記位置指定ツールによって指し示された参照点の位置と、を検出する位置検出手段と、
前記位置検出手段の検出結果に基づき、前記基準点から前記参照点へ向かう注視ベクトルの方向を、閲覧者が注意を向けていると推定される注視方向と予測する注視方向予測手段と、
前記配置位置情報格納部内に格納されている配置位置情報を参照することにより、前記注視方向もしくはその近傍に配置されている展示物を注視展示物として特定する注視展示物特定手段と、
前記提示対象情報格納部から、前記注視展示物についての提示対象情報を読み出し、これを閲覧者に提示する情報提示手段と、
を備えることを特徴とする展示物用情報提示装置。 - 請求項1に記載の展示物用情報提示装置において、
位置指定ツールが、尖点をもった形状を含む構造体からなり、前記尖点の位置として、三次元空間上の所定の参照点を指し示す機能を有することを特徴とする展示物用情報提示装置。 - 請求項2に記載の展示物用情報提示装置において、
位置指定ツールが、尖点をもった不透明な指示図形を透明な媒体上に配置した構造を有することを特徴とする展示物用情報提示装置。 - 請求項3に記載の展示物用情報提示装置において、
位置指定ツールが、尖点をもった不透明な多角形が描かれた透明な板状媒体からなることを特徴とする展示物用情報提示装置。 - 請求項2に記載の展示物用情報提示装置において、
位置指定ツールが、尖点をもった外郭平面形状を有する物体からなることを特徴とする展示物用情報提示装置。 - 請求項2に記載の展示物用情報提示装置において、
位置指定ツールが、先端が尖った棒状の物品からなることを特徴とする展示物用情報提示装置。 - 請求項1〜6のいずれかに記載の展示物用情報提示装置において、
配置位置情報格納部が、個々の展示物の代表点の三次元座標値をそれぞれの配置位置情報として格納しており、
注視展示物特定手段が、「注視ベクトルからの距離が基準値以下となる」という条件を満たす代表点をもつ展示物を注視展示物として特定することを特徴とする展示物用情報提示装置。 - 請求項1〜6のいずれかに記載の展示物用情報提示装置において、
配置位置情報格納部が、個々の展示物の代表点の三次元座標値をそれぞれの配置位置情報として格納しており、
注視展示物特定手段が、「基準点を頂点、注視ベクトルを中心軸とし、所定の頂角をもった注視円錐内に位置する」という条件を満たす代表点をもつ展示物を注視展示物として特定することを特徴とする展示物用情報提示装置。 - 請求項7または8に記載の展示物用情報提示装置において、
注視展示物特定手段が、条件を満たす展示物が複数存在する場合に、注視ベクトルと代表点との距離が最短となる代表点をもつ1つの展示物を注視展示物として特定することを特徴とする展示物用情報提示装置。 - 請求項1〜6のいずれかに記載の展示物用情報提示装置において、
配置位置情報格納部が、個々の展示物に対応する三次元仮想物体の三次元座標系上における立体形状データをそれぞれの配置位置情報として格納しており、
注視展示物特定手段が、「物体の注視ベクトルに対する最近接箇所と、注視ベクトルと、の距離が基準値以下となる」という条件を満たす三次元仮想物体に対応する展示物を注視展示物として特定することを特徴とする展示物用情報提示装置。 - 請求項10に記載の展示物用情報提示装置において、
注視展示物特定手段が、条件を満たす展示物が複数存在する場合に、「物体の注視ベクトルに対する最近接箇所」と「注視ベクトル」との距離が最短となる三次元仮想物体に対応する1つの展示物を注視展示物として特定することを特徴とする展示物用情報提示装置。 - 請求項1〜6のいずれかに記載の展示物用情報提示装置において、
配置位置情報格納部が、個々の展示物に対応する三次元仮想物体の三次元座標系上における立体形状データをそれぞれの配置位置情報として格納しており、
注視展示物特定手段が、「物体のいずれかの箇所が、基準点を頂点、注視ベクトルを中心軸とし、所定の頂角をもった注視円錐内に位置する」という条件を満たす三次元仮想物体に対応する展示物を注視展示物として特定することを特徴とする展示物用情報提示装置。 - 請求項12に記載の展示物用情報提示装置において、
注視展示物特定手段が、条件を満たす展示物が複数存在する場合に、注視円錐内に含まれる体積が最大となる三次元仮想物体に対応する1つの展示物を注視展示物として特定することを特徴とする展示物用情報提示装置。 - 複数の展示物のうち閲覧者が注意を向けた特定の展示物についての情報を選択的に提示する情報提示装置であって、
前記複数の展示物について、それぞれ三次元空間上での配置位置を示す配置位置情報を格納した配置位置情報格納部と、
前記複数の展示物について、それぞれ提示対象情報を格納した提示対象情報格納部と、
閲覧者によって携帯されるツールであって、領域を指し示す構造を有し、閲覧者による配置動作によって三次元空間上の所定の参照領域を指し示す機能を有する位置指定ツールと、
閲覧者の頭部もしくはその近傍に定められた所定の基準点の位置と、前記位置指定ツールによって指し示された参照領域の位置と、を検出する位置検出手段と、
前記位置検出手段の検出結果に基づき、前記基準点と前記参照領域の輪郭線上の各点とを結ぶ線で囲まれた注視錐状体の延びる方向を、閲覧者が注意を向けていると推定される注視方向と予測する注視方向予測手段と、
前記配置位置情報格納部内に格納されている配置位置情報を参照することにより、前記注視方向もしくはその近傍に配置されている展示物を注視展示物として特定する注視展示物特定手段と、
前記提示対象情報格納部から、前記注視展示物についての提示対象情報を読み出し、これを閲覧者に提示する情報提示手段と、
を備えることを特徴とする展示物用情報提示装置。 - 請求項1または14に記載の展示物用情報提示装置において、
位置指定ツールが、二次元閉領域の輪郭線を画定させる構造体からなり、前記輪郭線の内部の点もしくは領域として、三次元空間上の所定の参照点もしくは参照領域を指し示す機能を有することを特徴とする展示物用情報提示装置。 - 請求項15に記載の展示物用情報提示装置において、
位置指定ツールが、媒体の一部に、前記媒体の透明度よりも高い透明度をもった閉領域を配置した構造を有することを特徴とする展示物用情報提示装置。 - 請求項16に記載の展示物用情報提示装置において、
位置指定ツールが、不透明な媒体の一部をくりぬいて開口窓を形成した構造を有することを特徴とする展示物用情報提示装置。 - 請求項17に記載の展示物用情報提示装置において、
位置指定ツールが、一部分に開口窓が形成されたパンフレットからなることを特徴とする展示物用情報提示装置。 - 請求項17または18に記載の展示物用情報提示装置において、
情報提示手段が、提示対象となる画像を、投影装置を用いて位置指定ツールの開口窓以外の部分へ投影することを特徴とする展示物用情報提示装置。 - 請求項15に記載の展示物用情報提示装置において、
位置指定ツールが、内部を通じて展示物を覗くのに適した形状および大きさをもった筒状体からなることを特徴とする展示物用情報提示装置。 - 請求項14に記載の展示物用情報提示装置において、
配置位置情報格納部が、個々の展示物の代表点の三次元座標値をそれぞれの配置位置情報として格納しており、
注視展示物特定手段が、「注視錐状体の内部に位置する」という条件を満たす代表点をもつ展示物を注視展示物として特定することを特徴とする展示物用情報提示装置。 - 請求項21に記載の展示物用情報提示装置において、
注視展示物特定手段が、条件を満たす展示物が複数存在する場合に、基準点と参照領域の重心点とを結ぶ錐状体中心線を定義し、この錐状体中心線と代表点との距離が最短となる代表点をもつ1つの展示物を注視展示物として特定することを特徴とする展示物用情報提示装置。 - 請求項14に記載の展示物用情報提示装置において、
配置位置情報格納部が、個々の展示物に対応する三次元仮想物体の三次元座標系上における立体形状データをそれぞれの配置位置情報として格納しており、
注視展示物特定手段が、「物体のいずれかの箇所が、注視錐状体の内部に位置する」という条件を満たす三次元仮想物体に対応する展示物を注視展示物として特定することを特徴とする展示物用情報提示装置。 - 請求項23に記載の展示物用情報提示装置において、
注視展示物特定手段が、条件を満たす展示物が複数存在する場合に、注視錐状体の内部に含まれる体積が最大となる三次元仮想物体に対応する1つの展示物を注視展示物として特定することを特徴とする展示物用情報提示装置。 - 請求項1〜24のいずれかに記載の展示物用情報提示装置において、
位置検出手段が、閲覧者をそれぞれ異なる方向から撮影する複数のカメラを有し、これら複数のカメラの撮影画像を解析することにより、「基準点の位置」および「参照点もしくは参照領域の位置」を検出することを特徴とする展示物用情報提示装置。 - 請求項25に記載の展示物用情報提示装置において、
位置検出手段が、
閲覧者の顔および手を正面から撮影する第1のカメラと、
閲覧者の顔および手を下方から撮影する第2のカメラと、
前記第1のカメラで撮影された第1の撮影画像と、前記第2のカメラで撮影された第2の撮影画像と、に基づいて、「基準点の位置」および「参照点もしくは参照領域の位置」を検出する画像解析部と、
を有することを特徴とする展示物用情報提示装置。 - 請求項26に記載の展示物用情報提示装置において、
展示物の背景を構成する壁面をXY平面とし、床面をXZ平面とし、鉛直方向にY軸をとったXYZ三次元座標系を定義したときに、第1のカメラの撮像面がXY平面に平行になり、第2のカメラの撮像面がXZ平面に平行になるように、各カメラを配置し、第1の撮影画像がXY平面に平行な投影面への投影画像となり、第2の撮影画像がXZ平面に平行な投影面への投影画像となるようにしたことを特徴とする展示物用情報提示装置。 - 請求項27に記載の展示物用情報提示装置において、
画像解析部が、第1の撮影画像を解析することにより、所定の特徴点のX座標値およびY座標値を求め、第2の撮影画像を解析することにより、前記特徴点のZ座標値を求めることを特徴とする展示物用情報提示装置。 - 請求項28に記載の展示物用情報提示装置において、
画像解析部が、
第1の撮影画像上に定義されたxy二次元座標系において、所定の特徴点の座標値(xg,yg)を求める第1解析部と、
第2の撮影画像上に定義されたxz二次元座標系において、前記特徴点のz座標値zgを求める第2解析部と、
第1のカメラの設置位置および光学系の倍率に基づいて定まる前記xy二次元座標系の座標値(x,y)とXYZ三次元座標系の座標値(X,Y)との関係式に基づいて、前記xy二次元座標系上の座標値(xg,yg)を、それぞれXYZ三次元座標系の座標値(Xq,Yq)に変換し、第2のカメラの設置位置および光学系の倍率に基づいて定まる前記xz二次元座標系の座標値(x,z)とXYZ三次元座標系の座標値(X,Z)との関係式に基づいて、前記xz二次元座標系上の座標値zgを、XYZ三次元座標系の座標値Zqに変換する座標変換部と、
を備え、XYZ三次元座標系における前記特徴点の三次元座標値(Xq,Yq,Zq)を求めることを特徴とする展示物用情報提示装置。 - 請求項29に記載の展示物用情報提示装置において、
第1解析部が、第1の撮影画像上に定義されたxy二次元座標系において、画像上の閲覧者の右眼の白目領域の重心点と左眼の白目領域の重心点とを求め、これら両重心点の中点Gの座標値(xg,yg)を求める処理を行い、
第2解析部が、第2の撮影画像上に定義されたxz二次元座標系において、画像上の閲覧者の顔に対応する肌色領域を認識し、当該肌色領域の最小のz座標値zgを求める処理を行い、
座標変換部が、前記座標値(xg,yg,zg)を、XYZ三次元座標系における座標値(Xq,Yq,Zq)に変換する処理を行い、閲覧者の頭部近傍に定められた基準点Qの座標値(Xq,Yq,Zq)を求めることを特徴とする展示物用情報提示装置。 - 請求項29に記載の展示物用情報提示装置において、
第1解析部が、第1の撮影画像上に定義されたxy二次元座標系において、画像上の参照点もしくは参照領域の輪郭線上の特徴点の座標値(xa,ya)を求める処理を行い、
第2解析部が、第2の撮影画像上に定義されたxz二次元座標系において、画像上の前記参照点もしくは前記特徴点のz座標値zbを求める処理を行い、
座標変換部が、前記座標値(xa,ya,zb)を、XYZ三次元座標系における座標値(Xp,Yp,Zp)に変換する処理を行い、前記参照点もしくは前記参照領域の輪郭線上の特徴点の座標値(Xp,Yp,Zp)を求めることを特徴とする展示物用情報提示装置。 - 請求項31に記載の展示物用情報提示装置において、
第1解析部および第2解析部が、それぞれ画像上で直線の認識を行い、特定の位置関係にある2直線の交点を参照点もしくは参照領域の輪郭線上の特徴点と認識することを特徴とする展示物用情報提示装置。 - 請求項1〜32のいずれかに記載の展示物用情報提示装置において、
情報提示手段が、提示対象となる画像を、プロジェクタを用いて位置指定ツール上に設けられた投影面へ投影することを特徴とする展示物用情報提示装置。 - 請求項33に記載の展示物用情報提示装置において、
位置検出手段が、位置指定ツールの位置および姿勢を検出する機能を更に有し、
情報提示手段が、
提示対象情報格納部から提示対象情報を読み出し、提示対象となる投影画像を作成する投影画像作成部と、
前記位置検出手段が検出した位置指定ツールの位置および姿勢に基づいて、位置指定ツール上に設けられた投影面の位置を認識し、当該位置に対する投影を行った場合に前記投影面上に正しい投影画像が得られるように、前記投影画像を変形して変形投影画像を生成する投影画像変形部と、
前記変形投影画像を前記投影面に対して投影するプロジェクタと、
を有することを特徴とする展示物用情報提示装置。 - 請求項1〜34のいずれかに記載の展示物用情報提示装置において、
位置検出手段が、位置指定ツール上に存在する閲覧者の指の位置を検出する機能を更に有し、
情報提示手段が、前記位置検出手段が検出した閲覧者の指の位置に応じて、閲覧者に提示する情報の内容もしくはその提示形態を変えることを特徴とする展示物用情報提示装置。 - 請求項1〜34のいずれかに記載の展示物用情報提示装置において、
位置指定ツールが、閲覧者の操作に基づいて変形する構造もしくは材質を有し、
位置検出手段が、前記位置指定ツールの変形態様を検出する機能を更に有し、
情報提示手段が、前記位置検出手段が検出した前記変形態様に応じて、閲覧者に提示する情報の内容もしくはその提示形態を変えることを特徴とする展示物用情報提示装置。 - 請求項1〜34のいずれかに記載の展示物用情報提示装置において、
位置検出手段が、位置指定ツールの位置もしくは姿勢を検出する機能を更に有し、
情報提示手段が、前記位置検出手段が検出した位置指定ツールの位置もしくは姿勢に応じて、閲覧者に提示する情報の内容もしくはその提示形態を変えることを特徴とする展示物用情報提示装置。 - 請求項1〜34のいずれかに記載の展示物用情報提示装置において、
位置指定ツールが、複数n通りの言語で記述された合計n通りの異なるパンフレットからなり、
提示対象情報格納部が、前記n通りの言語の中から選択された任意の言語で情報提示を行うことができるように、n通りの異なる言語でそれぞれ用意された合計n通りの提示対象情報を格納しており、
位置検出手段が、前記パンフレットを撮影するカメラと、このカメラによる撮影画像を解析することにより前記パンフレットに記述されている言語を認識する言語認識手段と、を有し、
情報提示手段が、前記位置検出手段が認識した言語に合致する言語で用意された提示対象情報を選択して、これを提示することを特徴とする展示物用情報提示装置。 - 請求項1〜38のいずれかに記載の展示物用情報提示装置において、
配置位置情報格納部が、第i番目の展示物Ei(i=1,2,3,...)の配置位置を示す配置位置情報L(i)を、当該第i番目の展示物Eiを特定するための展示物識別コードE(i)に対応づけて格納し、
提示対象情報格納部が、第i番目の展示物Eiについての提示対象情報I(i)を、前記展示物識別コードE(i)に対応づけて格納し、
注視展示物特定手段が、情報提示手段に対して注視展示物の展示物識別コードを与え、
情報提示手段が、与えられた展示物識別コードに対応する提示対象情報を読み出し、これを閲覧者に提示することを特徴とする展示物用情報提示装置。 - 請求項1〜38のいずれかに記載の展示物用情報提示装置において、
提示対象情報格納部が、音声もしくは画像、またはこれらの双方を提示するためのコンテンツデータを提示対象情報として格納し、
情報提示手段が、スピーカ、イヤホン、ヘッドホン、ディスプレイ装置、または投影装置を用いて提示対象情報の提示を行うことを特徴とする展示物用情報提示装置。 - 請求項1〜38のいずれかに記載の展示物用情報提示装置において、
展示物を収容する透明ケースを更に備え、
位置検出手段が、前記透明ケースの板面に位置指定ツールが接触した状態になっているとの前提で、参照点もしくは参照領域の位置を検出する処理を行うことを特徴とする展示物用情報提示装置。 - 請求項1〜38のいずれかに記載の展示物用情報提示装置において、
展示物の手前に配置された透明なボードを有するスタンドを更に備え、
位置検出手段が、前記透明なボード上に位置指定ツールが接触した状態になっているとの前提で、参照点もしくは参照領域の位置を検出する処理を行うことを特徴とする展示物用情報提示装置。 - 請求項1〜42のいずれかに記載の展示物用情報提示装置における配置位置情報格納部、提示対象情報格納部、位置検出手段の一部、注視方向予測手段、注視展示物特定手段、情報提示手段の一部、としてコンピュータを機能させるためのプログラム。
- 複数の展示物のうち閲覧者が注意を向けた特定の展示物についての情報を選択的に提示する情報提示方法であって、
コンピュータが、前記複数の展示物について、それぞれ三次元空間上での配置位置を示す配置位置情報を格納する段階と、
コンピュータが、前記複数の展示物について、それぞれ提示対象情報を格納する段階と、
閲覧者の手に保持された物品によって、三次元空間上の所定の参照点が指し示されたときに、コンピュータが、前記閲覧者の頭部もしくはその近傍に定められた所定の基準点の位置と、前記参照点の位置と、を検出する段階と、
コンピュータが、検出された基準点から参照点へ向かう注視ベクトルの方向を、閲覧者が注意を向けていると推定される注視方向と予測する段階と、
コンピュータが、格納中の前記配置位置情報を参照することにより、前記注視方向もしくはその近傍に配置されている展示物を注視展示物として特定する段階と、
コンピュータが、前記注視展示物についての前記提示対象情報を音声もしくは画像の提示装置に対して出力し、閲覧者に提示する段階と、
を有することを特徴とする展示物用情報提示方法。 - 複数の展示物のうち閲覧者が注意を向けた特定の展示物についての情報を選択的に提示する情報提示方法であって、
コンピュータが、前記複数の展示物について、それぞれ三次元空間上での配置位置を示す配置位置情報を格納する段階と、
コンピュータが、前記複数の展示物について、それぞれ提示対象情報を格納する段階と、
閲覧者の手に保持された物品によって、三次元空間上の所定の参照領域が指し示されたときに、コンピュータが、前記閲覧者の頭部もしくはその近傍に定められた所定の基準点の位置と、前記参照領域の位置と、を検出する段階と、
コンピュータが、検出された基準点と検出された参照領域の輪郭線上の各点とを結ぶ線で囲まれた注視錐状体の延びる方向を、閲覧者が注意を向けていると推定される注視方向と予測する段階と、
コンピュータが、格納中の前記配置位置情報を参照することにより、前記注視方向もしくはその近傍に配置されている展示物を注視展示物として特定する段階と、
コンピュータが、前記注視展示物についての前記提示対象情報を音声もしくは画像の提示装置に対して出力し、閲覧者に提示する段階と、
を有することを特徴とする展示物用情報提示方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010136818A JP5533311B2 (ja) | 2010-06-16 | 2010-06-16 | 展示物用情報提示装置および提示方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010136818A JP5533311B2 (ja) | 2010-06-16 | 2010-06-16 | 展示物用情報提示装置および提示方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012003442A JP2012003442A (ja) | 2012-01-05 |
JP5533311B2 true JP5533311B2 (ja) | 2014-06-25 |
Family
ID=45535356
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010136818A Expired - Fee Related JP5533311B2 (ja) | 2010-06-16 | 2010-06-16 | 展示物用情報提示装置および提示方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5533311B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016212297A (ja) * | 2015-05-11 | 2016-12-15 | 大日本印刷株式会社 | 工場見学支援装置 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2501066Y2 (ja) * | 1989-12-13 | 1996-06-12 | 三田工業株式会社 | オ―バ―ヘッドプロジェクタの原稿指示棒 |
JPH0741802U (ja) * | 1993-12-28 | 1995-07-21 | 株式会社東伸精工 | 光指示棒 |
JP2002269298A (ja) * | 2001-03-13 | 2002-09-20 | Matsushita Electric Ind Co Ltd | 展示物解説システム |
JP2003084229A (ja) * | 2001-09-14 | 2003-03-19 | Takenaka Komuten Co Ltd | 指示位置表示装置及び方法 |
-
2010
- 2010-06-16 JP JP2010136818A patent/JP5533311B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2012003442A (ja) | 2012-01-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20220084279A1 (en) | Methods for manipulating objects in an environment | |
US10295826B2 (en) | Shape recognition device, shape recognition program, and shape recognition method | |
CN105659295B (zh) | 用于在移动设备上的真实环境的视图中表示兴趣点的方法以及用于此方法的移动设备 | |
US10186084B2 (en) | Image processing to enhance variety of displayable augmented reality objects | |
JP5762892B2 (ja) | 情報表示システム、情報表示方法、及び情報表示用プログラム | |
US9165381B2 (en) | Augmented books in a mixed reality environment | |
CN116724285A (zh) | 用于控制虚拟和图形元素的微手势 | |
US9979946B2 (en) | I/O device, I/O program, and I/O method | |
US9933853B2 (en) | Display control device, display control program, and display control method | |
US20150379770A1 (en) | Digital action in response to object interaction | |
CN108431729A (zh) | 用以增大显示区域的三维对象跟踪 | |
US9906778B2 (en) | Calibration device, calibration program, and calibration method | |
TW201214266A (en) | Three dimensional user interface effects on a display by using properties of motion | |
JP2011128220A (ja) | 情報提示装置、情報提示方法及びプログラム | |
CN102792255A (zh) | 图像处理设备、图像处理方法和程序 | |
JP2012128779A (ja) | 仮想物体表示装置 | |
KR100971667B1 (ko) | 증강 책을 통한 실감 콘텐츠를 제공하는 방법 및 장치 | |
US10171800B2 (en) | Input/output device, input/output program, and input/output method that provide visual recognition of object to add a sense of distance | |
Agarwal et al. | The evolution and future scope of augmented reality | |
US10296098B2 (en) | Input/output device, input/output program, and input/output method | |
JP5533311B2 (ja) | 展示物用情報提示装置および提示方法 | |
EP3088991B1 (en) | Wearable device and method for enabling user interaction | |
WO2022176450A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
CN113434046A (zh) | 三维交互系统、方法、计算机设备及可读存储介质 | |
KR101591038B1 (ko) | 홀로그래피 터치 방법 및 프로젝터 터치 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130419 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131224 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140108 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140305 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140401 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5533311 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140414 |
|
LAPS | Cancellation because of no payment of annual fees |