JPH07261913A - 情報表示方法及び情報表示装置 - Google Patents

情報表示方法及び情報表示装置

Info

Publication number
JPH07261913A
JPH07261913A JP4823494A JP4823494A JPH07261913A JP H07261913 A JPH07261913 A JP H07261913A JP 4823494 A JP4823494 A JP 4823494A JP 4823494 A JP4823494 A JP 4823494A JP H07261913 A JPH07261913 A JP H07261913A
Authority
JP
Japan
Prior art keywords
image
information
display
designated
displayed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP4823494A
Other languages
English (en)
Other versions
JP3198783B2 (ja
Inventor
Koji Oga
幸治 大賀
Hiroyuki Yuji
弘幸 湯地
Setsuo Arita
節男 有田
Koichi Kawaguchi
幸一 川口
Akira Kaji
明 鍛治
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP4823494A priority Critical patent/JP3198783B2/ja
Priority to US08/301,141 priority patent/US5712658A/en
Priority to US08/484,814 priority patent/US5835078A/en
Publication of JPH07261913A publication Critical patent/JPH07261913A/ja
Priority to US09/061,113 priority patent/US6188388B1/en
Application granted granted Critical
Publication of JP3198783B2 publication Critical patent/JP3198783B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/66Trinkets, e.g. shirt buttons or jewellery items

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

(57)【要約】 【目的】撮影手段の設置位置及び撮影手段のレンズの収
差に起因した歪みを反映した位置校正情報を容易に作成
できる。 【構成】表示装置1の表示面内で指定された位置にマー
クの表示情報を表示する。テレビカメラ2によって撮影
された表示面の画像を画像処理装置3に入力する。画像
処理装置3において、表示面の画像内に含まれているマ
ークの画像の位置を求める。複数のマークに対する表示
面内の指定表示位置、及びこれと対応する、複数のマー
クの画像の位置の各情報を用いて校正データを、指示位
置校正装置5で作成する。複数の指定表示位置の情報
と、表示面内における複数のマークの画像の位置とを用
いて校正データを作成しているので、テレビカメラ2の
設置位置及びそのレンズの収差に起因した前記領域の画
像の歪みを反映した位置校正情報を容易に作成できる。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、情報表示方法及び情報
表示装置に係り、特に、ポインタより投影されたレーザ
光の、表示装置の表示面内における位置を認識し、その
位置での表示対象物を特定して該当する情報を表示装置
に提供する情報表示方法及び情報表示装置に関する。
【0002】
【従来の技術】近年、発電プラントや化学プラント等の
運転制御,金融機関及び証券会社での情報提供,会議な
どのプレゼンテーションにおいては、大きな表示面をも
つ表示装置を用いた情報の提供が計画あるいは実施され
ている。しかしながら、大画面表示装置をより有効に利
用するためには、大画面表示装置の表示面に表示される
情報を遠隔で指差することにより、入力操作を実施可能
とすることが望まれている。
【0003】この要望に答えられる技術として、例え
ば、特開平3−179517 号公報に示されたポインティング
デバイス装置、特開平4−37922号公報に示されたプレゼ
ンテーション装置が知られている。
【0004】特開平3−179517 号公報は、1台の赤外線
投光器で遠隔で大画面表示装置の表示面内を指示し、こ
の表示面を監視するモニタカメラの出力信号をもとに指
示点を検出し、表示面内のその指示点の位置にカーソル
を表示することを開示している。更に、特開平3−17951
7 号公報は、指示された表示対象物に対して、別途用意
された命令処理手段を用いて、入力される命令を処理す
ることについても開示している。その表示面全体が、画
像が映し出される領域となる。
【0005】また、特開平4−37922号公報は、スクリー
ンまたは壁面に投影された画像(投影画像という)内の
所用の部分を、発光器を取り付けた指示棒(またはポイ
ンタ)で指示した場合、その画像を監視しているテレビ
カメラの出力信号に基づいて、その投影画像内での指示
点を検出することについて言及する。本装置は、指示さ
れた位置に表示されている表示対象物に関する詳細な情
報をそのスクリーンまたは壁面に表示することを示す。
この特開平4−37922号公報は、4頁下部右欄1行から5
頁上部右欄16行は、投影画像を監視するテレビカメラ
から出力された投影画像(第2投影画像という)内での指
示点の位置を、投影器にてスクリーンに移し出された投
影画像(第1投影画像という)内の指示点の位置に変換
し、第1投影画像内での指示点の位置を求めることを説
明する。第1投影画像は長方形であり、第2投影画像は
長方形が有する特徴を備えていない四角形となる。上記
のような指示点の位置変換には、座標の変換式を用い
る。この座標変換式は、第2投影画像の外形を構成する
4本の直線の方程式を解いて得られる4つの頂点の座標
と、長方形である第1投影画像の4つの頂点の座標とを
用いて作成される。
【0006】
【発明が解決しようとする課題】特開平3−179517 号公
報に示されたポインティングデバイス装置は、大画面表
示装置の表示面内におけるポインタによる指示位置を、
表示面の周辺部に設けられている塗料または赤外光を出
すマーカの位置情報を基に特定しているため、モニタカ
メラの設置位置及びそのカメラのレンズの収差等に起因
したカメラから出力された画像に歪みが生じる。この歪
は、その画像内の位置によって異なっている。このた
め、情報表示装置は、表示面内での指示点の位置を正確
に認識できなく、ユーザが必要とする情報を提供できな
いおそれがある。
【0007】特開平4−37922号公報は、長方形である第
1投影画像の4つの頂点の座標と、第2投影画像の外形
を構成する4本の直線の方程式を解いて得られる4つの
頂点の座標とを用いて作成された座標変換式を用いて、
第2投影画像内での指示点の位置を、第1投影画像内の
指示点の位置に変換している。第2投影画像は、前述し
たように、モニタカメラの設置位置及びそのカメラのレ
ンズの収差等に起因した歪みを生じている。この歪は、
第2投影画像内の位置によって異なっている。従って、
上記の座標変換式は、第1投影画像の4つの頂点の座標
と、第2投影画像の外形の4つの頂点の座標とを用いて
作成するので、そのような第2投影画像内の歪を考慮し
ていない。このため、その座標変換式を用いて得られた
第1投影画像内の指示点は、ユーザが実際に第1投影画
像内で指示した位置と異なる可能性がある。
【0008】本発明の目的は、撮影手段の設置位置及び
撮影手段のレンズの収差に起因した歪みを反映した位置
校正情報を容易に作成できる情報表示方法及び情報表示
装置を提供することにある。
【0009】本発明の他の目的は、撮影手段の設置位置
及び撮影手段のレンズの収差に起因した歪みの影響を低
減し、指示位置を精度良く求めることができる情報表示
方法及び情報表示装置を提供することにある。
【0010】本発明の他の目的は、少ない撮影手段で位
置構成情報を作成できかつ指示位置を精度良く求めるこ
とができる情報表示方法を提供することにある。
【0011】
【課題を解決するための手段】上記目的を達成する本発
明の特徴は、表示装置の表示面の画像が映し出される領
域内で指定された位置にマークの表示情報を表示し、撮
影手段によって撮影された前記領域の画像内における前
記マークの画像の位置を求め、複数の前記指定位置、及
びこれと対応する、複数の前記マークの画像の位置の各
情報を用いて位置校正情報を作成することにある。
【0012】上記の他の目的を達成する請求項6の発明
の特徴は、上記特徴の構成要件に、以下の構成要件、す
なわち指示手段から出力された指示信号によって前記領
域内が指示された場合に、撮影手段で撮影された前記領
域の画像内での指示信号による指示点の画像の位置を、
前記位置校正情報を用いて補正することにより、前記領
域内での前記指示点の位置を求めることを付加したもの
である。
【0013】上記の他の目的を達成する請求項7の発明
の特徴は、前記表示面内の前記可視光を撮影するときと
前記赤外光を撮影するときで撮影手段の感度を変えるこ
とである。
【0014】
【作用】表示装置の表示面の画像が映し出される領域内
において指定された複数の位置の情報と、撮影手段によ
って撮影された前記領域の画像内における複数のマーク
の画像の位置とを用いて位置校正情報を作成しているの
で、撮影手段の設置位置及び撮影手段のレンズの収差に
起因した前記領域の画像の歪みを反映した位置校正情報
を容易に作成できる。特に、表示装置の表示面の画像が
映し出される領域内にマークの表示情報を表示するの
で、領域内の任意の位置をマークの表示情報の表示位置
として指定でき、前記領域の画像の歪みを反映した位置
校正情報の作成が容易になる。請求項8の発明も、同様
な作用を生じる。
【0015】指示手段から出力された指示信号によって
前記領域内が指示された場合に、前記領域の画像内での
指示信号による指示点の画像の位置を、位置校正情報を
用いて補正することにより、前記領域内での前記指示点
の位置を求めているので、前記領域内での前記指示点の
位置は、撮影手段の設置位置及び撮影手段のレンズの収
差に起因した前記領域の画像の歪みを反映して補正でき
る。従って、補正によって求められた、前記領域内での
前記指示点の位置は、撮影手段の設置位置及び撮影手段
のレンズの収差に起因した歪みの影響が少なくなり、精
度が向上する。請求項9の発明も、同様な作用を生じ
る。
【0016】表示面内の可視光の画像を撮影するときと
赤外光の画像を撮影するときで撮影手段の感度を変える
ので、可視光及び赤外光の画像の撮影を同じ撮影手段で
行うことができ、必要とする撮影手段を少なくできる。
【0017】
【実施例】以下、本発明の第1実施例である情報表示装
置を図1を用いて説明する。
【0018】本実施例の情報表示装置は、表示装置1,
撮影手段であるテレビカメラ(例えば、赤外線カメラ)
2,画像処理装置3,指示入力認識装置4,指示位置校
正装置5,対象物特定装置6,命令認識装置7,表示制
御装置8,プラント制御装置9,メモリ10,11及び
入力装置(キーボード,マウス及び音声入力装置等)1
2を備える。表示装置1は、表示面を有するブラウン管
または液晶を備えた表示装置、またはスクリーン及びこ
のスクリーンに画像を投射する画像投射器を備えた表示
装置(例えば、特開平4−37922号公報の図1に示す投射
表示装置7)を用いてもよい。本実施例は、表示装置1
として前者の表示面を有するブラウン管を備えた表示装
置を用いている。このタイプの表示装置では、表示面の
全部が、即ち、画像が映し出される領域である。13
は、表示装置1の表示面に指示信号である赤外レーザ光
を出力する携帯型のポインタである。
【0019】ポインタ13から出射される赤外レーザ光
(指示信号)によって、表示装置1の表示面が指示され
る。本実施例は、ポインタ13の赤外レーザ光出射のス
イッチを入れてそのスイッチを切ることにより、指示点
の入力が行われたとみなす。テレビカメラ2は、表示装
置1の表示面を撮影する。画像処理装置3は、テレビカ
メラ2で撮影された映像を画像処理し、赤外線レーザ光
で指示された指示点の座標を求める。指示位置認識装置
4は、画像処理装置3によって得られた指示点の座標
を、メモリ10に記憶されている校正データ(例えば座
標変換データ)を用いて補正することにより、表示装置
1の表示面内における実際の指示点の位置(座標)を求
め、その指示点の位置を認識する。対象物特定装置6
は、ポインタ13で指示した時点で表示装置1の表示面
に表示されている情報のデータ(メモリ11に記憶)を
用い、表示装置1の表示面に表示されている対象物のう
ち指示位置認識装置4によって認識された指示位置にあ
る対象物(ポインタ13で指示した表示対象物)を特定
する。対象物特定装置6は、特定した対象物を示す文字
列の情報を出力する。命令認識装置7は、その文字列情
報と、入力装置12より入力された情報(例えば音声情
報、またはキーボードによる入力情報等)を統合して一
つの入力文とする。更に、命令認識装置7は、この入力
文を解析して、表示制御装置8または/及びプラント制
御装置8への指令を作成する。命令認識装置7による認
識によって得られた指令信号は、表示制御装置8(場合
によってはプラント制御装置9)に入力される。表示制
御装置8は、指令信号に基づいて表示装置1に表示する
情報を、メモリ11内の情報を用いて作成する。作成さ
れた情報は、表示装置1に入力され、表示される。
【0020】指示位置校正装置5は、校正命令信号を入
力したとき、表示面に表示したマーカの指定表示位置
と、テレビカメラ2にて撮影された表示面内におけるマ
ーカの画像の位置情報とを対応させた校正データを作成
する。指示位置認識装置4は、入力装置12から出力さ
れた校正命令信号を入力したとき、メモリ10内の校正
データを用いた指示点の補正は行わない。校正命令信号
は、ユーザの操作により入力装置12から出力される。
【0021】本実施例の情報表示装置を使用する所定の
場所に設置した後、表示面のマーカの位置と、テレビカ
メラ2にて撮影されたマーカの画像より認識されたマー
カの位置との校正は、テレビカメラ2のレンズの収差及
びテレビカメラ2の設置位置に起因する撮影された映像
の歪に基づく指示点位置の認識への悪影響を少なくする
ために、情報表示装置の使用前に行われる。このような
校正モードが、本実施例の指示位置校正装置5及び画像
処理装置3等を用いて行われる。
【0022】まず、校正モードについて説明する。
【0023】校正命令信号が指示位置校正装置5に入力
されることにより、指示位置校正装置5は、図2に示す
処理を実行する。指示位置校正装置5は、ステップ14
で校正命令信号が入力されたかを判定する。この判定が
「Yes」の場合に、指示位置校正装置5はメモリ10内
の校正命令信号記憶エリアに「1」のフラグを記憶する。
更に、i=0及びj=0と設定する(ステップ15)。次
に、i=i+1(ステップ16),j=j+1(ステッ
プ17)とする。指示位置校正装置5は、表示装置1の
表示面における校正用マーカの指定表示位置の座標
(Xi,Yj)を表示制御装置8に出力する(ステップ1
8)。この指定表示位置の座標が、n個(i行j列に配
置)、予めメモリ10に記憶されている。指定表示位置
の座標は、図11のように表示面内においてその周辺部
及び中央部にばらまかれるように設定される。これらの
指定表示位置は、ユーザが入力装置12を用いて指定し
てもよい。
【0024】表示制御装置8は、座標(Xi,Yj)を入力
する校正モードにおいて所定の処理を実行する、校正用
マーカの図形情報を作成する手段と、そのマーカの輝度
情報を作成する手段と、命令認識装置から出力される指
令信号に基づいて表示情報を作成する手段とを有する。
校正用マーカ図形情報作成手段は、表示面内の指定表示
位置に校正用マーカ(例えば●)を表示させるために、校
正用マーカの図形情報を作成する。更に、校正用マーカ
図形情報作成手段は、校正用マーカの図形情報と共に指
定表示位置の情報(座標(Xi,Yj))を表示装置1に出力
する。表示装置1は、図3のように、座標(Xi,Yj)の
位置で校正用のマーカ23を表示する。このマーカ23
の映像は、可視光の映像である。マーカ輝度情報作成手
段は、画像処理装置3の画像処理においてマーカ23の
画像の識別が容易となりマーカ23の表示位置を容易に
認識するために、表示面の背景(実質的にはマーカ23
以外の映像が表示されていない)の輝度よりもマーカ2
3の輝度を高くする情報を、マーカ23の図形情報に付
加する処理を行う。マーカ輝度情報作成手段において、
マーカ23の輝度を背景の輝度よりも低くする情報がマ
ーカ23の図形情報に付加されるようにしてもよい。
【0025】テレビカメラ2は、マーカ23が表示され
た表示面を撮影する。テレビカメラ2により得られた表
示面の画像情報は、画像処理装置3に入力される。
【0026】画像処理装置3で実行される処理手順が、
図4に示される。
【0027】画像処理装置3は、まずテレビカメラ2か
ら出力された映像情報を入力する(ステップ24)。こ
の映像情報から雑音を除去するために映像情報を2値化
して表示面の2値画像を得る(ステップ25)。2値画像
を画像処理装置3内の画像メモリ(図示せず)に記憶する
(ステップ26)。
【0028】画像メモリ内の2値画像を基に2値画像の
特徴量が抽出される(ステップ27)。2値画像の特徴量
抽出は、図5のように、表示装置1の表示面におけるx
軸,y軸方向に対する2値画像のそれぞれの濃度の投影
分布を計算して行う。この投影分布は、マーカ23の2
値画像の濃度をx軸方向及びy軸方向にそれぞれ加算し
て求められる。この処理により、図5のように、x軸,
y軸に沿った2値画像の濃度分布(2値画像の特徴量)が
得られる。
【0029】テレビカメラ2で撮影された表示面の画像
内におけるマーカ23の画像の位置の座標(xi,yj)
が、この2値画像の特徴量を用いて計算される(ステッ
プ28)。座標(xi,yj)は、表示装置1の表示面の画
像のx軸及びy軸に対するものである。座標(xi,yj)
は、マーカ23の2値画像の濃度が予め定めた判定基準
値(図5参照)を超える部分の中心の座標である。すなわ
ち、図5の例では、xi が(x1+x2)/2であり、yj
が(y1+y2)/2である。得られた座標(xi,yj)は、
指示入力認識装置4及び指示位置校正装置5に出力され
る(ステップ29)。指示入力認識装置4は、メモリ10
内の校正命令信号記憶エリアを検索しこの記憶エリアに
「1」のフラッグが記憶されている場合には座標(xi,y
j)を入力しない。
【0030】上記の例では、マーカ23の輝度、すなわ
ち2値画像でのマーカ23の濃度が背景部の濃度に比べ
て高い場合の処理について示した。しかし、マーカの輝
度が背景部の濃度に比べて低い場合には、通常の画像処
理装置に用意されている濃度の反転処理を行えば、上記
と同様にして処理することが可能である。なお、本実施
例の情報表示装置は画像処理装置によりマーカの画像の
座標を求めているが、専用の画像処理装置ではなく、通
常の計算機を使用しても、同様の処理が可能である。
【0031】指示位置校正装置5は、画像処理装置3か
ら出力された座標(xi,yj)を取り込む(ステップ1
9)。座標(xi,yj)は、該当する指定表示位置の座標
(Xi,Yj)と対応させてメモリ10に記憶される(ステ
ップ20)。次に、j>Jを判定する(ステップ21)。
この判定が、「no」であればステップ17に戻り、「ye
s」であればi>Iの判定が実行される(ステップ22)。
この判定が、「no」であればステップ16に戻る。ステ
ップ22の判定が「yes」の場合には、指示位置校正装
置5は、校正終了の情報を表示制御装置8に出力すると
共に、メモリ10内の校正命令信号記憶エリアのフラグ
「1」を「0」にクリアする。その校正終了の情報は表示装
置1に表示され、ユーザは校正が終了したことを知る。
【0032】指示位置校正装置5は、ステップ18の処
理を実行する校正用信号発生手段と、ステップ19及び
20の処理を実行する校正データ作成手段を有する。
【0033】本実施例は、指示位置校正装置5を設けて
いるので、表示面における真の位置を示す校正用マーカ
の座標(Xi,Yj)と、テレビカメラ2のレンズの収差及
びテレビカメラ2の設置位置に起因する歪を有する撮影
された表示面の画像内での校正用マーカの画像の位置の
座標(xi,yj)とを対応させた校正データ(座標変換
表)を容易に得ることができる。特に、表示装置1の表
示面、すなわち画像が映し出される領域内にマーカを表
示するので、表示面内の任意の位置をマーカに対する指
定表示位置として指定でき、前述した表示面の画像の歪
みを反映した校正データの作成が容易になる。メモリ1
0に記憶された校正データの一例を図6に示す。
【0034】本実施例は、表示装置1の表示面に表示さ
れた情報のうちポインタ13から出力される指示信号に
よって指示された情報に関する詳細な情報をその表示面
に表示することが本来の機能である。このためには、指
示信号によって指示された対象となる情報を認識する必
要がある。この処理を実行するモードが認識モードであ
り、このモードの処理を以下に説明する。
【0035】ユーザは、表示面へのポインタ13の赤外
レーザ光での遠隔指示入力と、入力装置12等による音
声入力などにより、表示面に表示されている情報の切換
要求、及びプラントへの操作命令等の入力を行う。
【0036】まず、テレビカメラ2によって撮影した表
示面の映像が、画像処理装置3に取り込まれる。この映
像は、ポインタ13から出力され表示面内での指示信号
の画像を含む。ここで、指示信号は赤外レーザ光である
ため、テレビカメラ2は可視光に対する感度を下げた状
態で使用する。これにより、表示面に表示された系統図
等(可視光)の影響を除き、指示信号に対する画像処理を
簡単に実施することが可能となる。校正モード及び認識
モードでのテレビカメラ状態の変更は、可視光遮断フィ
ルタの着脱,レンズの絞りの調整、かつ/またはテレビ
カメラのシャッター速度の調整により実施することが可
能である。
【0037】テレビカメラ2の出力である映像信号を入
力した画像処理装置3は、図4の処理を実行する。ここ
で、表示面内での赤外レーザ光の画像の位置の座標
(xr,yr)(図4での座標(xi,yj)に相当)が求められ
る。この座標値は、指示入力認識装置4及び指示位置校
正装置5に入力される。指示位置校正装置5は、メモリ
10内の校正命令信号記憶エリアのフラグが「0」になっ
ているので、図2のステップ14の判定が「No」とな
り、ステップ15以降の処理を実行しない。
【0038】指示入力認識装置4は、図7の処理を実行
する。まず、「校正命令信号が入力されたか」が判定さ
れる(ステップ31)。認識モードではメモリ10内の校
正命令信号記憶エリアのフラグが「0」になっているの
で、その判定は「No」となる。従って、ステップ32以
降の処理が実行される。ステップ32で、画像処理装置
3の出力である座標(xr,yr)が、指示入力認識装置4
に入力される。入力した座標(xr,yr)が、メモリ10
に記憶されている校正データ(校正用マーカの画像の位
置の座標(xi,yj)とこれに対応する校正用マーカの座
標(Xi,Yj))を用いて補正される(ステップ34)。座
標(xr,yr)とこの座標(xr,yr)の近くに位置する4
つの座標(xi,yj)との位置関係を用いてこれら4つの
座標(xi,yj)に対応する4つの座標(Xi,Yj)間を内
挿することによって求められる。この補正によって、ポ
インタ13からの指示信号によって実際に指示された位
置の座標(Xr,Yr)を精度良く求めることができる。そ
の補正は、テレビカメラ2のレンズの収差及びテレビカ
メラ2の設置位置に起因するテレビカメラ2で撮影され
た映像の歪に基づいた、指示信号の画像の位置座標
(xr,yr)の誤差を減少させる。
【0039】補正によって得た座標(Xr,Yr)が、指示
信号によって実際に指示された表示面内の位置であると
認識される(ステップ35)。本実施例は、校正データに
よる補正によって、指示信号により指示された表示面内
における指示点の位置を精度良く認識できる。
【0040】その座標(Xr,Yr)は表示制御装置8に出
力される(ステップ36)。表示制御装置8は、座標
(Xr,Yr)の位置におけるカーソルの図形情報を作成
し、表示装置1に出力する。表示装置1が、座標(Xr
r)の位置にカーソルの図形を表示する。ユーザは、ポ
インタ13から出力された赤外レーザ光を見ることがで
きないが、実質的にポインタ13で指示した位置を確認
できる。このため、間違って指示した場合でも自分が意
図する表示面内の位置にポインタ13の指示信号を容易
に向けることができる。これにより、ユーザが指示した
位置と、指示位置認識装置4が指示されていると認識す
る点とが一致することになる。
【0041】指示位置認識装置4で実行されるステップ
31及び指示位置校正装置5で実行されるステップ14
の判定処理は、校正命令信号の有無に基づいて指示位置
認識装置4と指示位置校正装置5との処理を切替る一種
の切替手段である。このような機構を設けることによっ
て、校正命令信号が入力されない認識モードにおいて、
指示位置校正装置5が指示信号の画像の位置座標(xr
r)を用いて校正データを作成することを防止できる。
従って、校正モードにおいて作成された正規の校正デー
タ(メモリ10に記憶)が、悪影響を受けることがない。
もし、位置座標(xr,yr)を用いて校正データが作成さ
れた場合は、認識モードにおける位置座標(xr,yr)の
補正が意味のないものになってしまう。
【0042】本実施例は、表示面を含む範囲をテレビカ
メラで撮影するが、表示面の一部のみを撮影することも
可能である。この場合、ポインタ13による指示が可能
な範囲は、テレビカメラの撮影領域により限定される。
【0043】次に、対象物特定装置6での処理が、図8
を用いて説明される。補正によって得た座標(Xr,Yr)
が入力される(ステップ38)。表示装置1に表示されて
いる表示データを用いて、座標(Xr,Yr)の位置に表示
されている表示対象物を特定する(ステップ39)。この
表示データは、メモリ11から呼び出される。表示デー
タは、図9のように、各図面ごとに用意されている。図
9は、一例として給水系系統図についてのデータを示し
た。このデータは、指示領域の起点(座標(Xr,Yr)の
位置),指示領域の範囲及び出力文字列を含む。表示対
象物の特定は、指示位置である座標(Xr,Yr)で定まる
領域に表示されている表示対象物の出力文字列を得るこ
とである。得られた文字列は、命令認識装置7に出力さ
れる(ステップ40)。第1実施例は、ポインタ13の
赤外レーザ光出射のスイッチを切ったとき指示入力があ
ったと判定する。従って、そのスイッチを入れた後にそ
れを切った場合でも、次にスイッチが入るまではそのス
イッチを入れたときに得られた座標(Xr,Yr)が用い
られる。
【0044】マルチウィンドウにより情報を表示する表
示制御装置を用いる場合には、現在、表示装置で情報を
表示している対象ウィンドウを、入力した座標(Xr,Y
r)を用いて判定する。次に、座標(Xr,Yr)対するウィ
ンドウ内での相対座標(XW,YW)を計算する。ステップ
39における表示対象物の特定は、相対座標(XW
W)を用いて行われる。
【0045】命令認識装置7は、図10の処理手順によ
って入力命令の認識処理を実行する。図10に示す具体
的な処理例は、ポインタ13により「原子炉水位」が指
示され、音声入力により「トレンド図示せ」が入力され
た場合を示している。
【0046】まず、命令認識装置7の情報統合手段は、
対象物特定装置6から出力された文字列及び入力装置1
2より入力された音声情報を統合し、入力文を得る。具
体的には命令認識装置7内の入力文解析手段が、図10
の処理を実行する。すなわち、入力文が取り込まれる
(ステップ41)。命令認識装置7のメモリ(図示せず)に
記憶されている文法及び辞書のデータを用いて分かち書
きし、図10に示すように「意味」と「意味カテゴリ」を対
応付ける(ステップ42)。ここで、意味カテゴリとは、
表示情報に関する技術の世界で使用される単語の意味を
カテゴリ分けしたものである。図10の例では、「系統」
及び「状態量」等がそれにあたる。
【0047】次に、ステップ42で得られた結果を用い
て入力文の意味を解析する(ステップ43)。意味解析
は、図10のように及びの二つのステップで実施す
る。まず、入力文の要求内容の種類を同定する。命令認
識装置7は、同定のために、要求の種類ごとに標準的な
文型を上記メモリ内に用意している。標準的な文型は、
「意味」あるいは「意味カテゴリ」を用いて、ルールの形
で記述されている。この文型と入力文の「意味」あるいは
「意味カテゴリ」をマッチングすることにより、その要求
内容の種類を同定する。図の例では、文型“〈trend_gr
aph 〉□ 提示せよ”がマッチングして、要求の種類が
トレンド図提示要求“trend ”であると同定される。こ
こで、記号“〈 〉”は意味カテゴリをマッチングに使
用すること、“□”は任意の数の単語が含まれても良い
ことを示すものである。
【0048】以上のの処理が終了した後、の処理
(要求内容の実行に必要な情報の取得)が行われる。必要
な情報及びその取得方法は、命令認識装置7のメモリ
に、フレーム型の知識として用意されている。この知識
を用いて、要求内容の実行に必要な情報を取得する。図
10の例は、必要な情報である、系統機器名と状態量名
をいずれも入力文から得ている。必要な情報が入力文に
含まれていない場合は、プラント関連知識,対話履歴の
利用、あるいは、運転員への問い合わせにより、情報を
取得する。
【0049】入力文の意味の解析が終了すると、処理命
令を対応する装置に出力する(ステップ44)。この例
では、表示制御装置8に、原子炉水位トレンド図の表示
要求“(trend 原子炉 水位)”が出力される。
【0050】表示制御装置8は、その処理命令に基づい
てを表示情報を作成し、表示装置1に出力する。
【0051】以上説明したごとく、本実施例によれば、
指示位置校正装置5の機能により、ポインタ13により
指示された表示装置1の表示面内での指示点の座標と撮
影された表示面の画像内での指示点の画像の位置の座標
とを対応させた校正データを自動的に生成できる。すな
わち、この校正データの作成が極めて容易になる。
【0052】この校正データを用いた補正により、テレ
ビカメラ2の設置位置及びレンズの収差などの影響を減
少でき、表示面内におけるポインタによる指示点の位置
が精度よく求まる。これは、テレビカメラ2の設置位置
に制限がなくテレビカメラ2の設置位置及びテレビカメ
ラ2のレンズの選択の自由度を大きくする。情報表示装
置の使い勝手が、それだけ向上する。
【0053】表示装置として大画面表示装置を用いた場
合は、大画面表示装置のケースの小型化に伴い、そのケ
ース内部へのテレビカメラの設置位置,レンズの選択な
どがより限定される傾向にある。しかし、本実施例のよ
うな校正を行い指示位置の補正に校正データを用いるこ
とによって、この状況にも容易に対応できる。
【0054】更に、本実施例は、装置の製造及び保守の
省力化を可能にする。すなわち、特別の位置補正用マー
カを表示装置に設置する必要がない。
【0055】また、実際の指示点を直接に示すのではな
く、装置が認識した指示点を、カーソルにより表示する
ことにより、手振れの影響による指示点の位置の微小変
動の影響を受けることなく、ユーザは指示入力を実施す
ることが可能となる。
【0056】本実施例は、テレビカメラに設けられる機
構を調節しまたはフイルタの交換により、校正モードで
はテレビカメラの可視光に対する感度を高くし、認識モ
ードではそのテレビカメラの赤外光に対する感度を高く
する。このような感度の変更は、カメラ台数を増やすこ
となく一台のテレビカメラで両モードでの処理を実施可
能である。また、校正及び認識の各モードで別々のテレ
ビカメラを使用する場合は、それらのテレビカメラの位
置の調整も必要となる。本実施例は、このような問題も
発生しない。ブラウン管型及び投射型の各表示装置は、
通常、ユーザに表示情報が見えるように可視光で情報を
表示する仕組みになっている。このため、校正モードで
は、表示装置に表示するマーカは可視光にならざるをえ
ない。他方、認識モードにおいては、表示装置に種々の
情報が可視光で表示されるので、ポインタから指示信号
として可視光を出力したのでは、その指示信号を画像認
識装置で認識する処理が複雑になる。指示信号として赤
外光を用いた場合は、画像認識装置での認識処理が簡単
になる。従って、上記のようにテレビカメラにおける可
視光及び赤外光に対する感度の変更は、可視光及び赤外
光を使いわけるシステムの要求にもマッチングする。
【0057】また、表示装置の表示面の背景に対して、
校正用マーカの輝度を変えることによりマーカの画像位
置特定のための画像処理を簡単化できる。また、本実施
例は、表示面内の予め定められた位置にマーカを順次表
示し、校正データを生成するというステップをくり返
す。このため、各ステップでは1つのマーカについての
処理を実施すれば良く、画像処理を簡単化できる。ま
た、校正データを表形式で用意することにより、認識モ
ードでの指示点の座標を求める処理が、校正データの表
の内挿により簡単に実施できる。
【0058】また、ポインタによる指示入力を基に、他
の入力手段による入力を状況に応じて使用することによ
り、プラントへの制御指令,表示情報の切換要求などを
迅速に入力することができる。さらに、指示入力のみ、
あるいは音声入力を組み合わせて使用することにより、
ユーザは、遠隔での場所の限定の少ない入力を実行する
ことが可能となる。
【0059】第1実施例の考え方は、図1の構成におい
て表示装置の代わりに、特開平4−37922 号公報の図1
に示す画像投射器及び映写スクリーンを含む投射表示装
置を用いた情報表示装置にも適用可能である。この場
合、第1実施例の表示制御装置8が画像投射器に接続さ
れる。このため、表示制御装置8で作成された表示情報
が、画像投射器から出射され、映写スクリーンに映し出
される。映写スクリーンに映し出された画像は、テレビ
カメラ2で撮影され、画像処理装置3に入力される。こ
のような構成においても、第1実施例と同様な作用効果
を得ることができる。ただし、画像が映し出される領域
は、第1実施例では表示装置1の表示面の全部であった
のに対し、本実施例では映写スクリーンの一部になる場
合もある。すなわち、本実施例では、映写スクリーン内
における画像が映し出される領域の大きさは、画像投射
器と映写スクリーンとの間の距離によって変わる。
【0060】本発明の第2実施例である情報表示装置
が、図11,図12,図13及び図14により説明され
る。第2実施例は、図1の実施例と同じ構成を有する。
しかしながら、第2実施例の指示位置校正装置5での処
理が、図1の実施例における指示位置校正装置5でのそ
れと異なっている。以下に、第2実施例の指示位置校正
装置5での処理を説明する。校正モードにおいて、図1
2の処理が本実施例の指示位置校正装置5で実行され
る。
【0061】本実施例は、図11に示すように複数の校
正用マーカ23Aを同時に表示装置1に表示させるもの
である。本実施例は、具体的に9個の校正用マーカ23
Aを表示する。
【0062】校正モードでは、ステップ14が「Yes」
となり、表示装置1の表示面におけるn個(例えば、n
=9)の校正用マーカ23Ai(例えば、i=1,2,
……,9)の指定表示位置の座標(Xi,Yi)を同時に表
示制御装置8に出力する(ステップ18A)。n個の座
標(Xi,Yi)は、表示面のx軸及びy軸において、Xの
座標値がそれぞれ異なるように、更にYの座標値もそれ
ぞれ異なるように設定されている。これらの座標(Xi
i)は、メモリ10に記憶されている。表示制御装置8
は、n個の校正用マーカ23Ai の図形情報(例えば、
□)を作成する。表示制御装置8は、これらの図形情報
を該当するn個の指定表示位置の座標(Xi,Yi)に表示
させるために、表示装置1に出力する。
【0063】画像処理装置3は、テレビカメラ2で撮影
された表示面の画像に対して図1の実施例と実質的に同
様な図14の画像処理を行う。すなわち、ステップ2
4,25,26及び27Aの処理を実行した後に、i=
0と設定される(ステップ15A)。更にステップ16
の実行後に、ステップ28Aの処理がマーカ23Aの画
像1つ1つに対してステップ22Aの判定が「Yes」に
なるまで順次繰り返される。ここで、Iは(n+1)であ
る。ステップ27A及び28Aの処理は、図4のステッ
プ27及び28のそれと同じである。ただし、ステップ
27Aは、複数のマーカ23Aに対する特徴量を一度に
抽出する。図13はステップ27Aで得られた9個のマ
ーカ23Aに対して得られた特徴量をまとめて表わした
ものである。上記のようにXの座標値及びYの座標値が
異なっているので、複数のマーカ23Aを同時に表示面
に表示したとしても、個々のマーカ23Aに対する特徴
量及び座標(xi,yi)が求められる。
【0064】指示位置校正装置5は、表示面内における
n個のマーカ23Ai の画像の各位置での各々の座標
(xi,yi)を入力する(ステップ19A)。n個の座標
(xi,yi)は、メモリ10に記憶されている該当する指
定表示位置の座標座標(Xi,Yi)と対応させて校正デー
タを作成する(ステップ20A)。この校正データは、座
標変換表としてメモリ10に記憶される(ステップ21
A)。
【0065】以上述べた第2実施例は、図1の実施例と
同様な効果を得ることができる。更に、第2実施例は、
複数のマーカ23Aを同時に表示面に表示し、かつこれ
らのマーカ23Aの画像を同時に画像処理装置3に取り
込んで画像処理を行うので、校正モードに要する時間を
短縮できる。また、複数のマーカ23Aの同時表示を複
数回繰り返すことにより、詳細な校正データを短時間の
うちに得ることができる。
【0066】本発明の第3実施例である情報表示装置を
図15を用いて説明する。第3実施例は、図1の実施例
の指示位置校正装置5を指示位置校正装置5Aに替えた
ほかは図1の実施例と同じ構成を有する。
【0067】本実施例の作用を、図1の実施例と異なる
部分、すなわち指示位置校正装置5Aにおける処理を中
心に説明する。指示位置校正装置5Aは、図2に示す処
理を実行し、その後に図17に示す処理を実行する。図
2のステップ20において、得られた校正データのうち
画像内における座標(xi,yi)は、図16のように整
理されてメモリ10に記憶される。図17の処理は、校
正用マーカ23の追加及び追加したマーカ23の画像に
対する座標を求める各処理を示している。特に、図17
に示す処理は、y軸方向における校正用マーカ23の追
加に対する処理を示している。なお、x軸方向における
校正用マーカ23の追加に対しても、同様な処理が行わ
れる。
【0068】図17の処理は、図16の校正データを用
いて実行される。i=1及びj=1が設定される(ステ
ップ45及び46)。メモリ10に記憶されている座標
(xi,yj)及び(xi,yj+1)を取り込む(ステップ4
7)。これらの座標間におけるy軸方向の差Δy(=y
j+1−yj)を計算する(ステップ48)。このΔyが、予
め定められた値εy以上であるかが判定される(ステップ
49)。εyは、y軸方向での2つのy座標値間の所定の
間隔を示す。Δyがεy以上ある場合には、座標(xi
j)及び(xi,yj+1)に対応する座標(Xi,Yj)及び
(Xi,Yj+1)を取り込む(ステップ50)。座標(Xi
j)及び(Xi,Yj+1)を用いて、新たな校正用マーカ2
3の表示位置を決定する(ステップ51)。新たな校正用
マーカ23の表示位置は、y軸方向における座標(Xi
j)と座標(Xi,Yj+1)との中間点の座標(Xi,(Yj
j+1)/2)である。以上の処理を、j>J−1(ステッ
プ52),i>I−1(ステップ53)となるまで繰り返
す。このようにして新たな校正用マーカ23の指定表示
位置が全て決定される。以上の処理はx軸方向に対して
も行われ、木目細かい校正用マーカの表示が可能にな
る。以上の処理によって追加された指定表示位置の座標
に対しても、図2の処理が実行される。
【0069】テレビカメラのレンズの収差,テレビカメ
ラの設定位置などの影響により、表示面内に均等に表示
されるように最初に設定した指定表示位置が、テレビカ
メラ2で撮影した表示面の画像内で均等になるとは限ら
ない。第3実施例は、表示面の画像内において各マーカ
23の画像の配置が荒くなる部分で校正用マーカを増や
すことにより、より狭い校正用マーカの間隔での校正デ
ータを作成することができる。従って、ポインタ13に
よる指示点の検出精度を、更に向上させることができ
る。第3実施例は、図1の実施例と同じ効果を得ること
ができる。また、第3実施例の図17の処理は、第2実
施例の指示位置校正装置5に適用可能である。
【0070】次に、本発明の第4実施例である情報表示
装置を図18を用いて説明する。
【0071】本実施例は、表示装置として、大画面表示
装置1A(ブラウン管を備えた表示装置)、及び操作盤
57に設置された小画面を有するCRT1B1〜1Bn
用いる。マンマシン用計算機59は、画像処理装置3の
出力を入力して表示情報を作成してこの情報を大画面表
示装置1A、及びCRT1B1〜1Bnに出力する。運転
員U0〜Unは、それぞれポインタ#0〜#n及びヘッド
セットマイクM0〜Mnを用いる。23Bはポインタから
の指示点に表示されたカーソル、58はポインタから出
力される赤外レーザ光である。ポインタ#0〜#nによ
る指示は、大画面表示装置1Aに対して行われる。ポイ
ンタ#0〜#nは、可視領域の各々波長を変えたレーザ
光を指示信号として出射する。
【0072】マンマシン用計算機59は、図19に示す
機能を有する。マンマシン用計算機59内の指示位置認
識部4A,指示位置校正部5B,対象物特定部6A及び
表示制御部8Aは、図1の指示位置認識装置4,指示位
置校正装置5,対象物特定装置6及び表示制御装置8と
実質的に同じ機能を有する。マンマシン用計算機59内
の入力制御部7A,入力文解析部7B,提供情報決定部
7C及びメモリ7D及び7Eは、図1の命令認識装置7
に相当する。メモリ3Aは、テレビカメラ2から出力さ
れて画像処理装置3に入力された画像データを記憶す
る。表示制御部8Aで作成された表示情報は、大画面表
示装置1A及びCRT1B1〜1Bnに表示される。マイ
クM0〜Mnに入力された音声情報は、音声入力装置を介
して入力制御部7Aに入力される。提供情報決定部7C
から出力された音声情報は、音声出力装置60に出力さ
れる。
【0073】第4実施例の校正モードにおいて、指示位
置校正部5Bは、図20の処理を実行する。図20に示
す処理のうちステップ14〜22の処理は、図2の該当
する処理と同じである。入力装置12Aから校正命令信
号が入力されることによって図20の処理が実行され
る。ステップ18の処理により出力された指定表示位置
の座標(Xi,Yj)に基づいて、表示制御部8Aは、その
位置に表示すべきマーカ23の図形情報を作成し、大画
面表示装置1Aに出力する。
【0074】マーカ23が表示された大画面表示装置1
Aの表示面をテレビカメラ2で撮影する。画像処理装置
3は、この撮影で得られた画像信号を入力し、図4に示
す処理を実行する。画像処理装置3は、この処理で得ら
れた座標(xi,yj)を指示位置校正部5Bに出力する。
指示位置校正部5Bは、図20のステップ19〜22及
び61の処理を実行する。ステップ20で得られた校正
データは、メモリ10に一時的に記憶される。
【0075】ステップ61では、指定表示位置の座標
(Xi,Yj)及び画像処理によって得られた座標(xi,y
j)を用いて、(数1)及び(数2)の座標変換式の係数
3,a2,a1,a0,b3,b2,b1,b0,c3,c2
1,c0,d3,d2,d1及びd0を最少二乗法により決
定する。
【0076】 X=a33+a22+a1x+a0+b33+b22+b1y+b0 …(数1) Y=c33+c22+c1x+c0+d33+d22+d1y+d0 …(数2) ここで、Xは大画面表示装置1Aの表示面内におけるポ
インタによる実際の指示点のX座標の値、Yは大画面表
示装置1Aの表示面内におけるポインタによる実際の指
示点のY座標の値、xは画像処理装置3で得られた、そ
の表示面内におけるその指示点の画像に対するx座標の
値、及びyは画像処理装置3で得られた、その表示面内
におけるその指示点の画像に対するy座標の値である。
【0077】なお、第4実施例は、座標変換式として3
次式を用いたが、状況に応じて、より高次、あるいは低
次の数式、もしくは指数関数など異なる関数を用いるこ
とも可能である。係数a3,a2,a1,a0,b3,b2
1,b0,c3,c2,c1 ,c0,d3,d2,d1及びd
0 が決定された(数1)及び(数2)は、メモリ10に記憶
される。
【0078】画像処理装置3は、テレビカメラ2から出
力されたカラーの画像信号を取込み、ポインタ13から
出射される光の波長毎(例えば、赤色光,緑色光等の順)
に画像処理を行う。すなわち、画像処理装置3はポイン
タ13の種別毎に座標(xr,yr)を求める。
【0079】ステップ61の処理が終了したとき図1の
実施例と同様に大画面表示装置1Aに表示されると共
に、メモリ10内の校正命令信号記憶エリアのフラグ
「1」を「0」にクリアする。
【0080】図21は、認識モードにおいて、指示位置
認識部4Aで実行される処理を示す。校正命令信号記憶
エリアのフラグが「0」のとき、図21のステップ62の
処理が実行される。すなわち、画像処理装置3より、ポ
インタの種別に関する情報を入力し、ポインタ13を認
識する(例えば、赤色光を出射するポインタ13)。n
個のポインタは出力する指示信号(可視光)の波長が異
なる。波長の大きさに応じて該当するポインタを認識す
る。その後、ステップ32の処理が実行される。そし
て、画像処理装置3で得られた座標(xr,yr)が、座標
変換式を用いて補正される(ステップ34A)。ポインタ
からの指示信号によって実際に指示された、大画面表示
装置1Aの表示面内での位置の座標(Xr,Yr)が、その
ような補正により求められる。座標の値Xr は、座標
(xr,yr)のx座標の値xr 及びy座標の値yrを(数
1)の変数x及びyに代入して得られるXである。座標
の値Yrは、x座標の値xr 及びy座標の値yr を(数
2)の変数x及びyに代入して得られるYである。ステ
ップ34Aにおける補正により得られた座標(Xr,Yr)
が、指示信号によって実際に指示された、大画面表示装
置1Aの表示面内での位置であると認識される。
【0081】ポインタは、指示信号として可視光を出力
しているので、この可視光が大画面表示装置1Aの表示
面に表示される。このため、本実施例は、図7のステッ
プ36の処理が不要になる。
【0082】対象物特定部6Aは、図8の処理を実行
し、指示位置認識部4Aのステップ35で認識された座
標(Xr,Yr)の位置に表示されている対象物を特定す
る。更に、対象物特定部6Aは、特定された対象物に関
する文字列を出力する。
【0083】入力制御部7Aは、特定された対象物に関
する文字列(例えば「給水ポンプ」)、及び音声入力装置
12Bから出力された音声による単語を統合し、メモリ
7Dに記憶する。次に、入力制御部7Aは、入力終了を
示す信号が入力されると、メモリ7D内の統合された情
報を一つの文として入力文解析部7Bに出力する。入力
文解析部7Bは、図10に示す処理を実行し、この入力
文の解析を行う。提供情報決定部7Cは、解析によって
得られた処理命令に基づいて、情報選択用知識を利用
し、大画面表示装置1Aに提供すべき情報を決定する。
この提供すべき情報は、音声出力装置60及び表示制御
部8Aに出力される。表示制御部8Aは、提供すべき情
報に基づいて表示情報を作成し、この表示情報を認識し
たポインタに対応する表示装置に出力する。今回の例で
は、ステップ62でポインタ#0が認識されたので、そ
の表示情報はその認識されたポインタ#0に対応する大
画面表示装置1Aに出力される。
【0084】第4実施例の作用の概要を図22に示す。
例えば、大画面表示装置1Aに表示されたプラントの全
体系統図の給水ポンプ部分をポインタから出力された指
示信号で指示し、音声入力により「系統図示せ」と入力
した場合、ポインタが大画面表示装置制御用のポインタ
#0であれば大画面表示装置1Aに、CRT1B1 用の
ポインタ#1であればCRT1B1 に、給水ポンプ系統
図が表示される。同様に、給水ポンプを指示し、「流量
トレンド表示」と音声で入力すれば、ポインタの種別に
応じて、大画面表示装置あるいはCRT#1上に給水ポ
ンプ流量のトレンド図が表示される。
【0085】以上説明したように、第4実施例によれ
ば、指定表示位置の座標と、テレビカメラ2で撮影した
映像の画像処理により得られる校正用マーカの座標との
関係を与える補正用の座標変換式を自動的に生成するこ
とができる。この座標変換式に画像処理により得られる
座標値を代入することによって、簡単に、表示面内にお
ける指示点に対する座標が求められる。また、その座標
変換式により、撮影映像に含まれる対象物の表示画面内
での位置を特定することが可能となる。本実施例では波
長の異なるレーザ光により、表示面上を指示した。しか
し、光に限定することなく、例えば、指示棒により指示
入力を実施する場合でも、指示棒の先端部の検出を画像
処理等により実施すれば、それによる表示画面内での指
示位置を、同様の方法により認識することができる。
【0086】更に、第4実施例は、波長の異なるレーザ
光を出射する複数のポインタの使用により、複数運転員
の使用を可能としている。ポインタの種別に応じて、情
報の表示箇所を変更するなど、運転員クルーでのプラン
ト監視などを容易にする環境を提供することができる。
また、これに際して、座標変換式は、1種のみ用意すれ
ば良いので、ポインタの種別を変更しても新たな数式を
準備する必要はなく、ポインタの追加などを容易に実施
可能である。
【0087】第4実施例は、図1の実施例と同じ効果を
得ることができる。
【0088】本発明の第5実施例である情報表示装置
を、図23に基づいて説明する。本実施例は、投影型の
情報表示装置を対象としたもので、第4実施例までの構
成とは異なり、要素色の投影器の位置制御に第4実施例
までの校正方法を適用したものである。
【0089】第5実施例は、大画面表示装置のスクリー
ン1B(表示面)を撮影するテレビカメラ2,画像処理装
置3,表示制御装置8,メモリ10,投影器操作台63
A,63B及び63C,赤色の光をスクリーン1Bに投
影する赤色投影器64A,緑色の光をスクリーン1Bに
投影する緑色投影器64B,青色の光をスクリーン1B
に投影する青色投影器64C,位置校正装置66,操作
指令信号発生装置67及び表示情報発生装置65を備え
る。赤色,緑色,青色の光は、要素光である。
【0090】通常、表示制御装置8は、表示情報発生装
置65から出力された表示情報をスクリーン1Bに表示
すべく、赤色投影器64A,緑色投影器64B及び青色
投影器64Cに該当する要素光の表示情報を出力する。
赤色投影器64A,緑色投影器64B及び青色投影器6
4Cは、該当する要素光の情報を同時にスクリーン1B
に重ねて表示する。このため、情報が、カラーでスクリ
ーン1Bに写し出される。赤色投影器64Aは投影器操
作台63Aに取り付けられる。緑色投影器64Bは投影
器操作台63Bに取り付けられる。青色投影器64Cは
投影器操作台63Cに取り付けられる。投影器操作台6
3A,63B及び63Cは、カメラの三脚のように水平
方向及び垂直方向に回転可能になっている。このため、
投影器操作台を回転操作することによって、投影器操作
台に取り付けられた投影器の向きを自由に変えることが
できる。第5実施例の構成のうち少なくとも投影器操作
台63A,63B及び63C,赤色投影器64A,緑色
投影器64B及び青色投影器64Cは、大画面表示装置
1Bのケース内でスクリーン1Bの裏側に設置される。
すなわち、各投影器からの映像は、裏側からスクリーン
1Bに映し出される。本実施例では、スクリーン1Bの
全体が、即ち、画像を映し出す領域となる。
【0091】しかしながら、投影器64A,64B及び
64Cから出射される赤色光,緑色光及び青色光の位置
がずれると、スクリーン1Bには各色の映像がずれて表
示される。このため、ユーザはスクリーンに表示された
画像が見づらくなる。このような事態を避けるために、
事前に各投影器64A,64B及び64Cの出射方向を
調節し、各要素光の映像がずれて表示されないようにす
る必要がある。
【0092】この調節操作を以下に説明する。
【0093】ユーザは図示していない入力装置から校正
命令信号を入力する。この校正命令信号は、位置校正装
置66に入力される。位置校正装置66は、図12の処
理を実行する。ステップ14の判定が「Yes」となるの
で、ステップ18A,19A,20A及び29の処理が
順次実行される。ステップ18Aの処理により図11の
複数のマーカ23Aの指定表示位置の座標(Xi,Yi)
が、表示制御装置8に出力される。本実施例では、指定
表示位置の座標(Xi,Yi)は、赤色投影器64Aに対し
て設定されている。しかし、指定表示位置の座標(Xi
i)は、他の投影器64Bまたは64Cに対して設定し
てもよい。表示制御装置8は、複数の座標(Xi,Yi)に
対してそれぞれマーカ23Aの図形情報を作成し、赤色
投影器64Aに出力する。赤色投影器64Aは、各座標
(Xi,Yi)に位置するように赤色のマーカ23Aの図形
情報をスクリーン1Bに出射する。スクリーン1Bは、
図11のように複数の赤色のマーカ23Ai を表示す
る。画像処理装置3は、入力したテレビカメラ2で撮影
した画像に対して図14の処理を実行し、得られた複数
の座標(xi,yi)を出力する。
【0094】位置校正装置66は、ステップ19A及び
20Aを実行することにより、複数の座標(Xi,Yi)と
これらの各々に該当する、赤色のマーカ23Aiの座標
(xi,yi)とを対応させた校正データを作成する。そし
て、ステップ29が実行される。ステップ29の処理が
終了したとき、位置校正装置66は、操作指令信号発生
装置67に対して調節開始信号を出力する。
【0095】第5実施例でも、テレビカメラ2で撮影さ
れた大画面表示装置1Bの表示面の画像は、図1の実施
例と同様に、テレビカメラ2のレンズの収差及びテレビ
カメラ2の設置位置に起因する歪を有する。従って、そ
の表示面の画像内における校正用マーカ23Ai の画像
の位置も、指定表示位置の座標(Xi,Yi)とずれてい
る。第5実施例は、指定表示位置の座標(Xi,Yi)と、
そのような表示面の画像の歪の影響を受けている校正用
マーカ23Ai の画像の位置の座標(xi,yi)とを対応
させた校正データ(座標変換表)を容易に作成することが
できる。
【0096】調節開始信号を入力した操作指令信号発生
装置67は、図24の処理を実行する。
【0097】操作指令信号発生装置67は、ステップ1
5A,16及び18Aの各処理を実行する。図24のス
テップ18A,19A,68,69及び70の各処理
は、まず緑色投影器64Bに対して行われ、次に青色投
影器64Cに対して行われる。表示制御装置8は、緑色
投影器64Bに出力する、複数の座標(Xi,Yi)に対す
るマーカ23Aの図形情報を作成する。緑色投影器64
Bは、各座標(Xi,Yi)に位置するように緑色のマーカ
23Aの図形情報をスクリーン1Bに出射する。画像処
理装置3は、入力したテレビカメラ2で撮影した画像に
対して図14の処理を実行し、緑色のマーカ23Aに対
して得られた複数の座標B(xi,yi)を出力する。
【0098】操作指令信号発生装置67は、座標B
(xi,yi)を入力し(ステップ19A)、メモリ10より
座標(Xi,Yi)に対する赤色のマーカ23Aiの座標(x
i,yi)を入力する(ステップ68)。同じ座標(Xi
i)に対する緑色のマーカ23Aiの座標B(xi,yi)
と赤色のマーカ23Ai の座標(xi,yi)が一致するか
判定する(ステップ69)。この判定が、「Yes」であれ
ばステップ22Aを実行し、「No」であればステップ7
0を実行する。座標B(xi,yi)と座標(xi,yi)とを
一致させるように操作指令信号を発生させる(ステップ
70)。この操作指令信号は、投影器操作台63Bの駆
動装置に出力される。この駆動装置は、操作指令信号に
基づいて、座標B(xi,yi)と座標(xi,yi)とを一致
させるように投影器操作台63Bを水平方向及び垂直方
向に回転させ、緑色投影器64Bのスクリーン1Bに対
する向きを調節する。ステップ22Aの判定が「Ye
s」になったとき、各緑色のマーカに対する緑色投影器
64Bの映像の出射方向の調節が終了する。
【0099】このような調節を行うことにより、全ての
緑色のマーカに対する座標B(xi,yi)を全ての赤色の
マーカに対する座標(xi,yi)に一致させることができ
る。従って、大画面表示装置1Bの表示面内の同じ位置
に表示する赤色投影器64Aからの映像と緑色投影器6
4Bからの映像がずれない。
【0100】次に同様な処理が青色投影器64Cに対し
て行われ、緑色投影器64Bに対する場合と同様に投影
器操作台63Cにより青色投影器64Cが向いている方
向が調節される。従って、大画面表示装置1Bの表示面
内の同じ位置に表示するために赤色投影器64A,緑色
投影器64B及び青色投影器64Cからそれぞれ出射さ
れた映像は、互いにずれることはない。
【0101】赤色投影器64A,緑色投影器64B及び
青色投影器64Cは、情報表示装置の製造段階で映像の
出射方向が好ましい状態にすでに調節されている。しか
しながら、製造元からユーザに引き渡した後の設置場所
までの移動及び設置場所の変更等によりそれらの映像の
出射方向が微妙に違ってくる。本実施例は、特に、その
ような場合において、各投影器の向きの調節に威力を発
揮する。
【0102】なお、本実施例は、毎回、1つのマーカを
表示して、投影器操作台への操作指令信号を出力する処
理を繰り返す。しかしながら、操作指令信号発生装置6
7は、複数のマーカに対して、指定表示位置の座標
(X,Y)と校正データを用いた補正により得られた座標
(Xr,Yr)とを基に、総合的に演算することにより、投
影器操作台の駆動装置への操作指令信号を生成すること
も可能である。この処理は、予め作成した知識を用い
て、表示面内の複数の位置でのマーカのずれを総合的に
判断して操作指令信号を生成する。
【0103】以上述べたように、本実施例は、要素色の
各投影器の向きの調整を自動的に実施することが可能と
なる。従来、この調整作業は熟練の保守員により長時間
を要していたが、本実施例ではその調整作業を短時間で
かつ簡単に実施することが可能となる。
【0104】
【発明の効果】本発明によれば、表示装置の表示面の画
像が映し出される領域内において指定された複数の位置
の情報と、撮影手段によって撮影された前記領域の画像
内における複数のマークの画像の位置とを用いて位置校
正情報を作成しているので、撮影手段の設置位置及び撮
影手段のレンズの収差に起因した前記領域の画像の歪み
を反映した位置校正情報を容易に作成できる。特に、表
示装置の表示面の画像が映し出される領域内にマークの
表示情報を表示するので、領域内の任意の位置をマーク
の表示情報の表示位置として指定でき、前記領域の画像
の歪みを反映した位置校正情報の作成が容易になる。
【0105】本発明の他の特徴によれば、指示手段から
出力された指示信号による指示点の画像の位置を、位置
校正情報を用いて補正しているので、補正によって求め
られた、前記領域内での前記指示点の位置は、撮影手段
の設置位置及び撮影手段のレンズの収差に起因した歪み
の影響が少なくなり、精度が向上する。
【0106】本発明の他の特徴によれば、表示面内の可
視光の画像を撮影するときと赤外光の画像を撮影すると
きで撮影手段の感度を変えるので、可視光及び赤外光の
画像の撮影を同じ撮影手段で行うことができ、必要とす
る撮影手段を少なくできる。
【図面の簡単な説明】
【図1】本発明の第1実施例である情報表示装置の構成
図である。
【図2】図1の指示位置校正装置で実行される処理手順
の説明図である。
【図3】表示装置に表示された校正用マーカの状態を示
す説明図である。
【図4】図1の画像処理装置で実行される処理手順の説
明図である。
【図5】マーカ画像の投影分布及び中心座標の求め方を
示した説明図である。
【図6】指示位置校正装置で得られた構成データの一例
を示す説明図である。
【図7】図1の指示位置認識装置で実行される処理手順
の説明図である。
【図8】図1の対象物特定装置で実行される処理手順の
説明図である。
【図9】表示装置に表示される表示情報の一例を示す説
明図である。
【図10】図1の命令認識装置で実行される入力解析の
処理手順を示した説明図である。
【図11】本発明の第2実施例である情報表示装置にお
ける表示装置での校正用マーカの他の表示状態を示す説
明図である。
【図12】図11の校正用マーカの表示状態に対して第
2実施例の指示位置校正装置で実行される処理手順の説
明図である。
【図13】図11の校正用マーカの表示状態に対して行
われる投影分布及びマーカ画像の中心座標の求め方を示
した説明図である。
【図14】図11の校正用マーカの表示状態に対して第
2実施例の画像処理装置で実行される処理手順の説明図
である。
【図15】本発明の第3実施例である情報表示装置の構
成図である。
【図16】図15の指示位置校正装置で作成した構成デ
ータの一例を示す説明図である。
【図17】指示位置校正装置で実行される処理手順の一
部を示す説明図である。
【図18】本発明の第3実施例である情報表示装置の構
成図である。
【図19】図18のマンマシン用計算機の機能的な構成
を示した説明図である。
【図20】図19の指示位置校正部で実行される処理手
順を示した説明図である。
【図21】図19の指示位置認識部で実行される処理手
順を示した説明図である。
【図22】第3実施例の作用の概要を示す説明図であ
る。
【図23】本発明の第5実施例の構成図である。
【図24】図23の操作指令信号発生装置で実行される
処理手順を示した説明図である。
【符号の説明】
1…表示装置、1A…大画面表示措置、2…テレビカメ
ラ、3…画像処理装置、4…指示位置認識装置、4A…
指示位置認識部、5,5A…指示位置校正装置、5B…
指示位置校正部、6…対象物特定装置、6A…対象物特
定部、7…命令認識装置、7A…入力制御部、7B…入
力文解析部、7C…提供情報決定部、8…表示制御装
置、9…プラント制御装置、10,11…メモリ、13
…ポインタ、63A,63B,63C…投影器操作台、
64A…赤色投影器、64B…緑色投影器、64C…青
色投影器、66…位置校正装置、67…操作指令信号発
生装置。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 川口 幸一 茨城県日立市大みか町五丁目2番1号 株 式会社日立製作所大みか工場内 (72)発明者 鍛治 明 茨城県日立市大みか町五丁目2番1号 株 式会社日立製作所大みか工場内

Claims (9)

    【特許請求の範囲】
  1. 【請求項1】表示装置の表示面の画像が映し出される領
    域内において指定された位置にマークの表示情報を表示
    し、撮影手段によって撮影された前記領域の画像内にお
    ける前記マークの画像の位置を求め、複数の前記指定位
    置、及びこれと対応する、複数の前記マークの画像の位
    置の各情報を用いて位置校正情報を作成することを特徴
    とする情報表示方法。
  2. 【請求項2】前記位置校正情報は複数の前記指定位置と
    これらにそれぞれに対応した前記マークの画像の位置と
    の対応表である請求項1の情報表示方法。
  3. 【請求項3】前記位置校正情報は複数の前記指定位置
    と、これらにそれぞれに対応した前記マークの画像の位
    置との情報に基づいて作成された変換式である請求項1
    の情報表示方法。
  4. 【請求項4】前記領域内において複数のマークの表示情
    報を同時に表示する請求項1の情報表示方法。
  5. 【請求項5】前記マークの画像の位置に基づいて前記領
    域内における新たなマークについての新たな指定位置を
    求め、この新たな指定位置におけるマークの表示情報を
    前記表示面に表示する請求項1の情報表示方法。
  6. 【請求項6】表示装置の表示面の画像が映し出される領
    域内において指定された位置にマークの表示情報を表示
    し、撮影手段によって撮影された前記領域の画像内にお
    ける前記マークの画像の位置を求め、複数の前記指定位
    置、及びこれと対応する、複数の前記マークの画像の位
    置の各情報を用いて位置校正情報を作成し、指示手段か
    ら出力された指示信号によって前記領域内が指示された
    場合に、撮影手段で撮影された前記領域の画像内での指
    示信号による指示点の画像の位置を、前記位置校正情報
    を用いて補正することにより、前記領域内での前記指示
    点の位置を求めることを特徴とする情報表示方法。
  7. 【請求項7】表示装置の表示面の画像が映し出される領
    域内において指定された位置に可視光のマークの表示情
    報を表示し、撮影手段によって撮影された前記領域の画
    像内における前記マークの画像の位置を求め、複数の前
    記指定位置、及びこれと対応する、複数の前記マークの
    画像の位置の各情報を用いて位置校正情報を作成し、指
    示手段から出力された赤外光である指示信号によって前
    記領域内が指示された場合に、撮影手段で撮影された前
    記領域の画像内での指示信号による指示点の画像の位置
    を、前記位置校正情報を用いて補正することにより、前
    記領域内での前記指示点の位置を求め、前記表示面内の
    前記可視光を撮影するときと前記赤外光を撮影するとき
    で撮影手段の感度を変えることを特徴とする情報表示方
    法。
  8. 【請求項8】表示面を有する表示装置と、前記表示面を
    撮影する撮影手段と、前記表示面の画像が映し出される
    領域内における指定された位置に表示するマークの表示
    情報を作成し前記表示装置に出力する手段と、前記撮影
    手段によって撮影された前記領域の画像内における前記
    マークの画像の位置を求める手段と、複数の前記指定位
    置、及びこれと対応する、複数の前記マークの画像の位
    置の各情報を用いて位置校正情報を作成する手段とを備
    えたことを特徴とする情報表示装置。
  9. 【請求項9】表示面を有する表示装置と、前記表示面を
    撮影する撮影手段と、前記表示面の画像が映し出される
    領域内における指定された位置に表示するマークの表示
    情報を作成し前記表示装置に出力する手段と、前記領域
    内に前記マークが表示された場合には前記撮影手段によ
    って撮影された前記領域の画像内における前記マークの
    画像の位置を、指示手段から出力された指示信号によっ
    て前記領域内が指示された場合には前記撮影手段で撮影
    された前記領域の画像内での指示信号による前記指示点
    の画像の位置をそれぞれ求める手段と、複数の前記指定
    位置、及びこれと対応する、複数の前記マークの画像の
    位置の各情報を用いて位置校正情報を作成する手段と、
    前記指示点の画像の位置を、前記位置校正情報を用いて
    補正することにより、前記領域内での前記指示点の位置
    を求める手段とを備えたことを特徴とする情報表示装
    置。
JP4823494A 1993-12-28 1994-03-18 情報表示装置 Expired - Fee Related JP3198783B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP4823494A JP3198783B2 (ja) 1994-03-18 1994-03-18 情報表示装置
US08/301,141 US5712658A (en) 1993-12-28 1994-09-06 Information presentation apparatus and information display apparatus
US08/484,814 US5835078A (en) 1993-12-28 1995-06-07 Information presentation apparatus and information display apparatus
US09/061,113 US6188388B1 (en) 1993-12-28 1998-04-16 Information presentation apparatus and information display apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP4823494A JP3198783B2 (ja) 1994-03-18 1994-03-18 情報表示装置

Publications (2)

Publication Number Publication Date
JPH07261913A true JPH07261913A (ja) 1995-10-13
JP3198783B2 JP3198783B2 (ja) 2001-08-13

Family

ID=12797761

Family Applications (1)

Application Number Title Priority Date Filing Date
JP4823494A Expired - Fee Related JP3198783B2 (ja) 1993-12-28 1994-03-18 情報表示装置

Country Status (1)

Country Link
JP (1) JP3198783B2 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003037855A (ja) * 2001-07-26 2003-02-07 Clarion Co Ltd 画像校正用データの計測装置及び計測方法
JP2007322429A (ja) * 2006-06-01 2007-12-13 Micro-Nits Co Ltd ポイント入力システムのイメージ処理における校正方法とポイント入力システムのイメージ処理における追跡方法
JP2008134793A (ja) * 2006-11-28 2008-06-12 Fujifilm Corp 電子的手書入力装置
CN103472825A (zh) * 2013-08-23 2013-12-25 黄涌 一种基于摄像头的亮点追踪系统及其方法
JP2015031817A (ja) * 2013-08-02 2015-02-16 セイコーエプソン株式会社 プロジェクター、及び、プロジェクターの制御方法
JP2015053734A (ja) * 2014-12-05 2015-03-19 セイコーエプソン株式会社 プロジェクター、画像投写システムおよび画像投写方法
US9733552B2 (en) 2011-08-09 2017-08-15 Seiko Epson Corporation Image pickup device and projector

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5853394B2 (ja) 2011-04-07 2016-02-09 セイコーエプソン株式会社 カーソル表示システム、カーソル表示方法、及び、プロジェクター

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003037855A (ja) * 2001-07-26 2003-02-07 Clarion Co Ltd 画像校正用データの計測装置及び計測方法
JP2007322429A (ja) * 2006-06-01 2007-12-13 Micro-Nits Co Ltd ポイント入力システムのイメージ処理における校正方法とポイント入力システムのイメージ処理における追跡方法
JP2008134793A (ja) * 2006-11-28 2008-06-12 Fujifilm Corp 電子的手書入力装置
US9733552B2 (en) 2011-08-09 2017-08-15 Seiko Epson Corporation Image pickup device and projector
JP2015031817A (ja) * 2013-08-02 2015-02-16 セイコーエプソン株式会社 プロジェクター、及び、プロジェクターの制御方法
CN103472825A (zh) * 2013-08-23 2013-12-25 黄涌 一种基于摄像头的亮点追踪系统及其方法
JP2015053734A (ja) * 2014-12-05 2015-03-19 セイコーエプソン株式会社 プロジェクター、画像投写システムおよび画像投写方法

Also Published As

Publication number Publication date
JP3198783B2 (ja) 2001-08-13

Similar Documents

Publication Publication Date Title
US11625876B2 (en) Presentation system and display device for use in the presentation system
EP1087327B1 (en) Interactive display presentation system
JP3846592B2 (ja) 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法
US10506207B2 (en) Projection system, method for controlling projection system, and projector
CN100426129C (zh) 图像处理系统、投影机及图像处理方法
US5835078A (en) Information presentation apparatus and information display apparatus
US8251524B2 (en) Projection display apparatus and display method
US7119833B2 (en) Monitoring and correction of geometric distortion in projected displays
US20100053569A1 (en) Projection display apparatus and display method
US20090278999A1 (en) Video Projector
KR101691880B1 (ko) 자동 캘리브레이션 기능이 구비된 인터액티브 시스템 및 인터액티브 시스템의 자동 캘리브레이션 방법
JP2003234983A (ja) プロジェクタ
JP3198783B2 (ja) 情報表示装置
US7651027B2 (en) Remote instruction system and method thereof
US8413341B2 (en) Vehicle measurement system with user interface
CN113160049B (zh) 一种基于拼接融合系统的多投影仪无缝拼接融合方法
US20220309967A1 (en) Projection image adjustment method, information processing device, and projection system
CN114885140A (zh) 一种多屏拼接沉浸式投影画面处理方法及系统
CN112672123B (zh) 用于多个投影机进行投影拼接校正的网格数据生成方法
JP5159194B2 (ja) 液晶プロジェクタ、制御方法及び制御プログラム
JP3470170B2 (ja) 遠隔指示入力方法及び装置
US20200310589A1 (en) Position detection method, position detection device, and interactive projector
KR0138336B1 (ko) 프로젝션 텔레비젼의 중앙점 위치 조정방법 및 그 장치
JP2005310699A (ja) 電子顕微鏡の絞り補正方法及び装置
WO2021256112A1 (ja) 情報処理装置、情報処理方法、およびプログラム

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080615

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080615

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090615

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100615

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100615

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110615

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110615

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120615

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120615

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130615

Year of fee payment: 12

LAPS Cancellation because of no payment of annual fees