JP3198783B2

JP3198783B2 - 情報表示装置

Info

Publication number: JP3198783B2
Application number: JP4823494A
Authority: JP
Inventors: 幸治大賀; 弘幸湯地; 節男有田; 幸一川口; 明鍛治
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1994-03-18
Filing date: 1994-03-18
Publication date: 2001-08-13
Anticipated expiration: 2016-08-13
Also published as: JPH07261913A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、情報表示装置に係り、
特に、ポインタから出力された指示信号の表示面におけ
る位置を精度良く求めることができる情報表示装置に関
する。

【０００２】

【従来の技術】近年、発電プラントや化学プラント等の
運転制御，金融機関及び証券会社での情報提供，会議な
どのプレゼンテーションにおいては、大きな表示面をも
つ表示装置を用いた情報の提供が計画あるいは実施され
ている。しかしながら、大画面表示装置をより有効に利
用するためには、大画面表示装置の表示面に表示される
情報を遠隔で指差することにより、入力操作を実施可能
とすることが望まれている。

【０００３】この要望に答えられる技術として、例え
ば、特開平3−179517 号公報に示されたポインティング
デバイス装置、特開平4−37922号公報に示されたプレゼ
ンテーション装置が知られている。

【０００４】特開平3−179517 号公報は、１台の赤外線
投光器で遠隔で大画面表示装置の表示面内を指示し、こ
の表示面を監視するモニタカメラの出力信号をもとに指
示点を検出し、表示面内のその指示点の位置にカーソル
を表示することを開示している。更に、特開平3−17951
7 号公報は、指示された表示対象物に対して、別途用意
された命令処理手段を用いて、入力される命令を処理す
ることについても開示している。その表示面全体が、画
像が映し出される領域となる。

【０００５】また、特開平4−37922号公報は、スクリー
ンまたは壁面に投影された画像（投影画像という)内の
所用の部分を、発光器を取り付けた指示棒(またはポイ
ンタ)で指示した場合、その画像を監視しているテレビ
カメラの出力信号に基づいて、その投影画像内での指示
点を検出することについて言及する。本装置は、指示さ
れた位置に表示されている表示対象物に関する詳細な情
報をそのスクリーンまたは壁面に表示することを示す。
この特開平4−37922号公報は、４頁下部右欄１行から５
頁上部右欄１６行は、投影画像を監視するテレビカメラ
から出力された投影画像(第２投影画像という)内での指
示点の位置を、投影器にてスクリーンに移し出された投
影画像(第１投影画像という)内の指示点の位置に変換
し、第１投影画像内での指示点の位置を求めることを説
明する。第１投影画像は長方形であり、第２投影画像は
長方形が有する特徴を備えていない四角形となる。上記
のような指示点の位置変換には、座標の変換式を用い
る。この座標変換式は、第２投影画像の外形を構成する
４本の直線の方程式を解いて得られる４つの頂点の座標
と、長方形である第１投影画像の４つの頂点の座標とを
用いて作成される。

【０００６】

【発明が解決しようとする課題】特開平3−179517 号公
報に示されたポインティングデバイス装置は、大画面表
示装置の表示面内におけるポインタによる指示位置を、
表示面の周辺部に設けられている塗料または赤外光を出
すマーカの位置情報を基に特定しているため、モニタカ
メラの設置位置及びそのカメラのレンズの収差等に起因
したカメラから出力された画像に歪みが生じる。この歪
は、その画像内の位置によって異なっている。このた
め、情報表示装置は、表示面内での指示点の位置を正確
に認識できなく、ユーザが必要とする情報を提供できな
いおそれがある。

【０００７】特開平4−37922号公報は、長方形である第
１投影画像の４つの頂点の座標と、第２投影画像の外形
を構成する４本の直線の方程式を解いて得られる４つの
頂点の座標とを用いて作成された座標変換式を用いて、
第２投影画像内での指示点の位置を、第１投影画像内の
指示点の位置に変換している。第２投影画像は、前述し
たように、モニタカメラの設置位置及びそのカメラのレ
ンズの収差等に起因した歪みを生じている。この歪は、
第２投影画像内の位置によって異なっている。従って、
上記の座標変換式は、第１投影画像の４つの頂点の座標
と、第２投影画像の外形の４つの頂点の座標とを用いて
作成するので、そのような第２投影画像内の歪を考慮し
ていない。このため、その座標変換式を用いて得られた
第１投影画像内の指示点は、ユーザが実際に第１投影画
像内で指示した位置と異なる可能性がある。

【０００８】本発明の目的は、カメラの設置位置及びカ
メラのレンズの収差に起因した歪みの影響を低減し、表
示面における指示信号の位置を精度良く求めることがで
きる情報表示装置を提供することにある。

【０００９】

【００１０】

【００１１】

【課題を解決するための手段】上記目的を達成する本発
明の特徴は、表示面を有する表示装置と、前記表示面を
撮影するカメラと、前記表示面の中央部及び周辺部のそ
れぞれに複数のマーカを表示させる手段と、前記カメラ
が撮影した画像における前記複数のマーカの位置を求め
る手段と、前記複数のマーカの前記表示面における位置
と前記画像における位置とを前記マーカ毎に記憶する手
段と、ポインタから前記表示面に対して出力された指示
信号の前記画像における位置を求める手段と、前記複数
のマーカのうち前記画像において前記指示信号の近傍に
あるマーカの、記憶された前記表示面における位置と前
記画像における位置とに基づいて、前記指示信号の前記
画像における位置から、前記指示信号の前記表示面にお
ける位置を求める手段とを備えたことにある。

【００１２】

【００１３】

【００１４】

【作用】表示面の中央部及び周辺部のそれぞれに複数の
マーカを表示させ、複数のマーカのうち指示信号の近傍
にあるマーカの表示面における位置と画像における位置
とに基づいて、指示信号の表示面における位置を求める
ので、カメラの設置位置及びカメラのレンズの収差に起
因した画像における歪みの影響を低減して、表示面にお
ける指示信号の位置を求めることができる。従って、表
示面における指示信号の位置を精度良く求めることがで
きる。

【００１５】

【００１６】

【００１７】

【実施例】以下、本発明の第１実施例である情報表示装
置を図１を用いて説明する。

【００１８】本実施例の情報表示装置は、表示装置１，
撮影手段であるテレビカメラ（例えば、赤外線カメラ）
２，画像処理装置３，指示入力認識装置４，指示位置校
正装置５，対象物特定装置６，命令認識装置７，表示制
御装置８，プラント制御装置９，メモリ１０，１１及び
入力装置（キーボード，マウス及び音声入力装置等）１
２を備える。表示装置１は、表示面を有するブラウン管
または液晶を備えた表示装置、またはスクリーン及びこ
のスクリーンに画像を投射する画像投射器を備えた表示
装置（例えば、特開平4−37922号公報の図１に示す投射
表示装置７）を用いてもよい。本実施例は、表示装置１
として前者の表示面を有するブラウン管を備えた表示装
置を用いている。このタイプの表示装置では、表示面の
全部が、即ち、画像が映し出される領域である。１３
は、表示装置１の表示面に指示信号である赤外レーザ光
を出力する携帯型のポインタである。

【００１９】ポインタ１３から出射される赤外レーザ光
(指示信号)によって、表示装置１の表示面が指示され
る。本実施例は、ポインタ１３の赤外レーザ光出射のス
イッチを入れてそのスイッチを切ることにより、指示点
の入力が行われたとみなす。テレビカメラ２は、表示装
置１の表示面を撮影する。画像処理装置３は、テレビカ
メラ２で撮影された映像を画像処理し、赤外線レーザ光
で指示された指示点の座標を求める。指示位置認識装置
４は、画像処理装置３によって得られた指示点の座標
を、メモリ１０に記憶されている校正データ（例えば座
標変換データ）を用いて補正することにより、表示装置
１の表示面内における実際の指示点の位置（座標）を求
め、その指示点の位置を認識する。対象物特定装置６
は、ポインタ１３で指示した時点で表示装置１の表示面
に表示されている情報のデータ（メモリ１１に記憶）を
用い、表示装置１の表示面に表示されている対象物のう
ち指示位置認識装置４によって認識された指示位置にあ
る対象物（ポインタ１３で指示した表示対象物）を特定
する。対象物特定装置６は、特定した対象物を示す文字
列の情報を出力する。命令認識装置７は、その文字列情
報と、入力装置１２より入力された情報（例えば音声情
報、またはキーボードによる入力情報等）を統合して一
つの入力文とする。更に、命令認識装置７は、この入力
文を解析して、表示制御装置８または／及びプラント制
御装置８への指令を作成する。命令認識装置７による認
識によって得られた指令信号は、表示制御装置８（場合
によってはプラント制御装置９）に入力される。表示制
御装置８は、指令信号に基づいて表示装置１に表示する
情報を、メモリ１１内の情報を用いて作成する。作成さ
れた情報は、表示装置１に入力され、表示される。

【００２０】指示位置校正装置５は、校正命令信号を入
力したとき、表示面に表示したマーカの指定表示位置
と、テレビカメラ２にて撮影された表示面内におけるマ
ーカの画像の位置情報とを対応させた校正データを作成
する。指示位置認識装置４は、入力装置１２から出力さ
れた校正命令信号を入力したとき、メモリ１０内の校正
データを用いた指示点の補正は行わない。校正命令信号
は、ユーザの操作により入力装置１２から出力される。

【００２１】本実施例の情報表示装置を使用する所定の
場所に設置した後、表示面のマーカの位置と、テレビカ
メラ２にて撮影されたマーカの画像より認識されたマー
カの位置との校正は、テレビカメラ２のレンズの収差及
びテレビカメラ２の設置位置に起因する撮影された映像
の歪に基づく指示点位置の認識への悪影響を少なくする
ために、情報表示装置の使用前に行われる。このような
校正モードが、本実施例の指示位置校正装置５及び画像
処理装置３等を用いて行われる。

【００２２】まず、校正モードについて説明する。

【００２３】校正命令信号が指示位置校正装置５に入力
されることにより、指示位置校正装置５は、図２に示す
処理を実行する。指示位置校正装置５は、ステップ１４
で校正命令信号が入力されたかを判定する。この判定が
「Ｙｅｓ」の場合に、指示位置校正装置５はメモリ１０内
の校正命令信号記憶エリアに「１」のフラグを記憶する。
更に、ｉ＝０及びｊ＝０と設定する(ステップ１５)。次
に、ｉ＝ｉ＋１（ステップ１６），ｊ＝ｊ＋１(ステッ
プ１７)とする。指示位置校正装置５は、表示装置１の
表示面における校正用マーカの指定表示位置の座標
(Ｘ_i，Ｙ_j)を表示制御装置８に出力する(ステップ１
８)。この指定表示位置の座標が、ｎ個（ｉ行ｊ列に配
置）、予めメモリ１０に記憶されている。指定表示位置
の座標は、図１１のように表示面内においてその周辺部
及び中央部にばらまかれるように設定される。これらの
指定表示位置は、ユーザが入力装置１２を用いて指定し
てもよい。

【００２４】表示制御装置８は、座標(Ｘ_i，Ｙ_j)を入力
する校正モードにおいて所定の処理を実行する、校正用
マーカの図形情報を作成する手段と、そのマーカの輝度
情報を作成する手段と、命令認識装置から出力される指
令信号に基づいて表示情報を作成する手段とを有する。
校正用マーカ図形情報作成手段は、表示面内の指定表示
位置に校正用マーカ(例えば●)を表示させるために、校
正用マーカの図形情報を作成する。更に、校正用マーカ
図形情報作成手段は、校正用マーカの図形情報と共に指
定表示位置の情報(座標(Ｘ_i，Ｙ_j))を表示装置１に出力
する。表示装置１は、図３のように、座標(Ｘ_i，Ｙ_j)の
位置で校正用のマーカ２３を表示する。このマーカ２３
の映像は、可視光の映像である。マーカ輝度情報作成手
段は、画像処理装置３の画像処理においてマーカ２３の
画像の識別が容易となりマーカ２３の表示位置を容易に
認識するために、表示面の背景（実質的にはマーカ２３
以外の映像が表示されていない）の輝度よりもマーカ２
３の輝度を高くする情報を、マーカ２３の図形情報に付
加する処理を行う。マーカ輝度情報作成手段において、
マーカ２３の輝度を背景の輝度よりも低くする情報がマ
ーカ２３の図形情報に付加されるようにしてもよい。

【００２５】テレビカメラ２は、マーカ２３が表示され
た表示面を撮影する。テレビカメラ２により得られた表
示面の画像情報は、画像処理装置３に入力される。

【００２６】画像処理装置３で実行される処理手順が、
図４に示される。

【００２７】画像処理装置３は、まずテレビカメラ２か
ら出力された映像情報を入力する（ステップ２４）。こ
の映像情報から雑音を除去するために映像情報を２値化
して表示面の２値画像を得る(ステップ２５)。２値画像
を画像処理装置３内の画像メモリ(図示せず)に記憶する
(ステップ２６)。

【００２８】画像メモリ内の２値画像を基に２値画像の
特徴量が抽出される(ステップ２７)。２値画像の特徴量
抽出は、図５のように、表示装置１の表示面におけるｘ
軸，ｙ軸方向に対する２値画像のそれぞれの濃度の投影
分布を計算して行う。この投影分布は、マーカ２３の２
値画像の濃度をｘ軸方向及びｙ軸方向にそれぞれ加算し
て求められる。この処理により、図５のように、ｘ軸，
ｙ軸に沿った２値画像の濃度分布(２値画像の特徴量)が
得られる。

【００２９】テレビカメラ２で撮影された表示面の画像
内におけるマーカ２３の画像の位置の座標(ｘ_i，ｙ_j)
が、この２値画像の特徴量を用いて計算される(ステッ
プ２８)。座標(ｘ_i，ｙ_j)は、表示装置１の表示面の画
像のｘ軸及びｙ軸に対するものである。座標(ｘ_i，ｙ_j)
は、マーカ２３の２値画像の濃度が予め定めた判定基準
値(図５参照)を超える部分の中心の座標である。すなわ
ち、図５の例では、ｘ_iが(ｘ₁＋ｘ₂)／２であり、ｙ_j
が(ｙ₁＋ｙ₂)／２である。得られた座標(ｘ_i，ｙ_j)は、
指示入力認識装置４及び指示位置校正装置５に出力され
る(ステップ２９)。指示入力認識装置４は、メモリ１０
内の校正命令信号記憶エリアを検索しこの記憶エリアに
「１」のフラッグが記憶されている場合には座標(ｘ_i，ｙ
_j)を入力しない。

【００３０】上記の例では、マーカ２３の輝度、すなわ
ち２値画像でのマーカ２３の濃度が背景部の濃度に比べ
て高い場合の処理について示した。しかし、マーカの輝
度が背景部の濃度に比べて低い場合には、通常の画像処
理装置に用意されている濃度の反転処理を行えば、上記
と同様にして処理することが可能である。なお、本実施
例の情報表示装置は画像処理装置によりマーカの画像の
座標を求めているが、専用の画像処理装置ではなく、通
常の計算機を使用しても、同様の処理が可能である。

【００３１】指示位置校正装置５は、画像処理装置３か
ら出力された座標(ｘ_i，ｙ_j)を取り込む(ステップ１
９)。座標(ｘ_i，ｙ_j)は、該当する指定表示位置の座標
(Ｘ_i，Ｙ_j)と対応させてメモリ１０に記憶される(ステ
ップ２０)。次に、ｊ＞Ｊを判定する(ステップ２１)。
この判定が、「ｎｏ」であればステップ１７に戻り、「ye
s」であればｉ＞Ｉの判定が実行される(ステップ２２)。
この判定が、「ｎｏ」であればステップ１６に戻る。ステ
ップ２２の判定が「ｙｅｓ」の場合には、指示位置校正装
置５は、校正終了の情報を表示制御装置８に出力すると
共に、メモリ１０内の校正命令信号記憶エリアのフラグ
「１」を「０」にクリアする。その校正終了の情報は表示装
置１に表示され、ユーザは校正が終了したことを知る。

【００３２】指示位置校正装置５は、ステップ１８の処
理を実行する校正用信号発生手段と、ステップ１９及び
２０の処理を実行する校正データ作成手段を有する。

【００３３】本実施例は、指示位置校正装置５を設けて
いるので、表示面における真の位置を示す校正用マーカ
の座標(Ｘ_i，Ｙ_j)と、テレビカメラ２のレンズの収差及
びテレビカメラ２の設置位置に起因する歪を有する撮影
された表示面の画像内での校正用マーカの画像の位置の
座標(ｘ_i，ｙ_j)とを対応させた校正データ（座標変換
表）を容易に得ることができる。特に、表示装置１の表
示面、すなわち画像が映し出される領域内にマーカを表
示するので、表示面内の任意の位置をマーカに対する指
定表示位置として指定でき、前述した表示面の画像の歪
みを反映した校正データの作成が容易になる。メモリ１
０に記憶された校正データの一例を図６に示す。

【００３４】本実施例は、表示装置１の表示面に表示さ
れた情報のうちポインタ１３から出力される指示信号に
よって指示された情報に関する詳細な情報をその表示面
に表示することが本来の機能である。このためには、指
示信号によって指示された対象となる情報を認識する必
要がある。この処理を実行するモードが認識モードであ
り、このモードの処理を以下に説明する。

【００３５】ユーザは、表示面へのポインタ１３の赤外
レーザ光での遠隔指示入力と、入力装置１２等による音
声入力などにより、表示面に表示されている情報の切換
要求、及びプラントへの操作命令等の入力を行う。

【００３６】まず、テレビカメラ２によって撮影した表
示面の映像が、画像処理装置３に取り込まれる。この映
像は、ポインタ１３から出力され表示面内での指示信号
の画像を含む。ここで、指示信号は赤外レーザ光である
ため、テレビカメラ２は可視光に対する感度を下げた状
態で使用する。これにより、表示面に表示された系統図
等(可視光)の影響を除き、指示信号に対する画像処理を
簡単に実施することが可能となる。校正モード及び認識
モードでのテレビカメラ状態の変更は、可視光遮断フィ
ルタの着脱，レンズの絞りの調整、かつ／またはテレビ
カメラのシャッター速度の調整により実施することが可
能である。

【００３７】テレビカメラ２の出力である映像信号を入
力した画像処理装置３は、図４の処理を実行する。ここ
で、表示面内での赤外レーザ光の画像の位置の座標
(ｘ_r，ｙ_r)(図４での座標(ｘ_i，ｙ_j)に相当)が求められ
る。この座標値は、指示入力認識装置４及び指示位置校
正装置５に入力される。指示位置校正装置５は、メモリ
１０内の校正命令信号記憶エリアのフラグが「０」になっ
ているので、図２のステップ１４の判定が「Ｎｏ」とな
り、ステップ１５以降の処理を実行しない。

【００３８】指示入力認識装置４は、図７の処理を実行
する。まず、「校正命令信号が入力されたか」が判定さ
れる(ステップ３１)。認識モードではメモリ１０内の校
正命令信号記憶エリアのフラグが「０」になっているの
で、その判定は「Ｎｏ」となる。従って、ステップ３２以
降の処理が実行される。ステップ３２で、画像処理装置
３の出力である座標(ｘ_r，ｙ_r)が、指示入力認識装置４
に入力される。入力した座標(ｘ_r，ｙ_r)が、メモリ１０
に記憶されている校正データ（校正用マーカの画像の位
置の座標(ｘ_i，ｙ_j)とこれに対応する校正用マーカの座
標(Ｘ_i，Ｙ_j)）を用いて補正される(ステップ３４)。座
標(ｘ_r，ｙ_r)とこの座標(ｘ_r，ｙ_r)の近くに位置する４
つの座標(ｘ_i，ｙ_j)との位置関係を用いてこれら４つの
座標(ｘ_i，ｙ_j)に対応する４つの座標(Ｘ_i，Ｙ_j)間を内
挿することによって求められる。この補正によって、ポ
インタ１３からの指示信号によって実際に指示された位
置の座標(Ｘ_r，Ｙ_r)を精度良く求めることができる。そ
の補正は、テレビカメラ２のレンズの収差及びテレビカ
メラ２の設置位置に起因するテレビカメラ２で撮影され
た映像の歪に基づいた、指示信号の画像の位置座標
(ｘ_r，ｙ_r)の誤差を減少させる。

【００３９】補正によって得た座標(Ｘ_r，Ｙ_r)が、指示
信号によって実際に指示された表示面内の位置であると
認識される(ステップ３５)。本実施例は、校正データに
よる補正によって、指示信号により指示された表示面内
における指示点の位置を精度良く認識できる。

【００４０】その座標(Ｘ_r，Ｙ_r)は表示制御装置８に出
力される(ステップ３６)。表示制御装置８は、座標
(Ｘ_r，Ｙ_r)の位置におけるカーソルの図形情報を作成
し、表示装置１に出力する。表示装置１が、座標(Ｘ_r，
Ｙ_r)の位置にカーソルの図形を表示する。ユーザは、ポ
インタ１３から出力された赤外レーザ光を見ることがで
きないが、実質的にポインタ１３で指示した位置を確認
できる。このため、間違って指示した場合でも自分が意
図する表示面内の位置にポインタ１３の指示信号を容易
に向けることができる。これにより、ユーザが指示した
位置と、指示位置認識装置４が指示されていると認識す
る点とが一致することになる。

【００４１】指示位置認識装置４で実行されるステップ
３１及び指示位置校正装置５で実行されるステップ１４
の判定処理は、校正命令信号の有無に基づいて指示位置
認識装置４と指示位置校正装置５との処理を切替る一種
の切替手段である。このような機構を設けることによっ
て、校正命令信号が入力されない認識モードにおいて、
指示位置校正装置５が指示信号の画像の位置座標(ｘ_r，
ｙ_r)を用いて校正データを作成することを防止できる。
従って、校正モードにおいて作成された正規の校正デー
タ(メモリ１０に記憶)が、悪影響を受けることがない。
もし、位置座標(ｘ_r，ｙ_r)を用いて校正データが作成さ
れた場合は、認識モードにおける位置座標(ｘ_r，ｙ_r)の
補正が意味のないものになってしまう。

【００４２】本実施例は、表示面を含む範囲をテレビカ
メラで撮影するが、表示面の一部のみを撮影することも
可能である。この場合、ポインタ１３による指示が可能
な範囲は、テレビカメラの撮影領域により限定される。

【００４３】次に、対象物特定装置６での処理が、図８
を用いて説明される。補正によって得た座標(Ｘ_r，Ｙ_r)
が入力される(ステップ３８)。表示装置１に表示されて
いる表示データを用いて、座標(Ｘ_r，Ｙ_r)の位置に表示
されている表示対象物を特定する(ステップ３９)。この
表示データは、メモリ１１から呼び出される。表示デー
タは、図９のように、各図面ごとに用意されている。図
９は、一例として給水系系統図についてのデータを示し
た。このデータは、指示領域の起点(座標(Ｘ_r,Ｙ_r）の
位置)，指示領域の範囲及び出力文字列を含む。表示対
象物の特定は、指示位置である座標(Ｘ_r，Ｙ_r)で定まる
領域に表示されている表示対象物の出力文字列を得るこ
とである。得られた文字列は、命令認識装置７に出力さ
れる（ステップ４０）。第１実施例は、ポインタ１３の
赤外レーザ光出射のスイッチを切ったとき指示入力があ
ったと判定する。従って、そのスイッチを入れた後にそ
れを切った場合でも、次にスイッチが入るまではそのス
イッチを入れたときに得られた座標（Ｘ_r，Ｙ_r)が用い
られる。

【００４４】マルチウィンドウにより情報を表示する表
示制御装置を用いる場合には、現在、表示装置で情報を
表示している対象ウィンドウを、入力した座標(Ｘ_r，Ｙ
_r)を用いて判定する。次に、座標(Ｘ_r，Ｙ_r)対するウィ
ンドウ内での相対座標(Ｘ_W，Ｙ_W)を計算する。ステップ
３９における表示対象物の特定は、相対座標(Ｘ_W，
Ｙ_W）を用いて行われる。

【００４５】命令認識装置７は、図１０の処理手順によ
って入力命令の認識処理を実行する。図１０に示す具体
的な処理例は、ポインタ１３により「原子炉水位」が指
示され、音声入力により「トレンド図示せ」が入力され
た場合を示している。

【００４６】まず、命令認識装置７の情報統合手段は、
対象物特定装置６から出力された文字列及び入力装置１
２より入力された音声情報を統合し、入力文を得る。具
体的には命令認識装置７内の入力文解析手段が、図１０
の処理を実行する。すなわち、入力文が取り込まれる
(ステップ４１)。命令認識装置７のメモリ(図示せず)に
記憶されている文法及び辞書のデータを用いて分かち書
きし、図１０に示すように「意味」と「意味カテゴリ」を対
応付ける(ステップ４２)。ここで、意味カテゴリとは、
表示情報に関する技術の世界で使用される単語の意味を
カテゴリ分けしたものである。図１０の例では、「系統」
及び「状態量」等がそれにあたる。

【００４７】次に、ステップ４２で得られた結果を用い
て入力文の意味を解析する（ステップ４３）。意味解析
は、図１０のように及びの二つのステップで実施す
る。まず、入力文の要求内容の種類を同定する。命令認
識装置７は、同定のために、要求の種類ごとに標準的な
文型を上記メモリ内に用意している。標準的な文型は、
「意味」あるいは「意味カテゴリ」を用いて、ルールの形
で記述されている。この文型と入力文の「意味」あるいは
「意味カテゴリ」をマッチングすることにより、その要求
内容の種類を同定する。図の例では、文型“〈trend_gr
aph 〉□ 提示せよ”がマッチングして、要求の種類が
トレンド図提示要求“trend ”であると同定される。こ
こで、記号“〈〉”は意味カテゴリをマッチングに使
用すること、“□”は任意の数の単語が含まれても良い
ことを示すものである。

【００４８】以上のの処理が終了した後、の処理
(要求内容の実行に必要な情報の取得)が行われる。必要
な情報及びその取得方法は、命令認識装置７のメモリ
に、フレーム型の知識として用意されている。この知識
を用いて、要求内容の実行に必要な情報を取得する。図
１０の例は、必要な情報である、系統機器名と状態量名
をいずれも入力文から得ている。必要な情報が入力文に
含まれていない場合は、プラント関連知識，対話履歴の
利用、あるいは、運転員への問い合わせにより、情報を
取得する。

【００４９】入力文の意味の解析が終了すると、処理命
令を対応する装置に出力する（ステップ４４）。この例
では、表示制御装置８に、原子炉水位トレンド図の表示
要求“(trend 原子炉水位)”が出力される。

【００５０】表示制御装置８は、その処理命令に基づい
てを表示情報を作成し、表示装置１に出力する。

【００５１】以上説明したごとく、本実施例によれば、
指示位置校正装置５の機能により、ポインタ１３により
指示された表示装置１の表示面内での指示点の座標と撮
影された表示面の画像内での指示点の画像の位置の座標
とを対応させた校正データを自動的に生成できる。すな
わち、この校正データの作成が極めて容易になる。

【００５２】この校正データを用いた補正により、テレ
ビカメラ２の設置位置及びレンズの収差などの影響を減
少でき、表示面内におけるポインタによる指示点の位置
が精度よく求まる。これは、テレビカメラ２の設置位置
に制限がなくテレビカメラ２の設置位置及びテレビカメ
ラ２のレンズの選択の自由度を大きくする。情報表示装
置の使い勝手が、それだけ向上する。

【００５３】表示装置として大画面表示装置を用いた場
合は、大画面表示装置のケースの小型化に伴い、そのケ
ース内部へのテレビカメラの設置位置，レンズの選択な
どがより限定される傾向にある。しかし、本実施例のよ
うな校正を行い指示位置の補正に校正データを用いるこ
とによって、この状況にも容易に対応できる。

【００５４】更に、本実施例は、装置の製造及び保守の
省力化を可能にする。すなわち、特別の位置補正用マー
カを表示装置に設置する必要がない。

【００５５】また、実際の指示点を直接に示すのではな
く、装置が認識した指示点を、カーソルにより表示する
ことにより、手振れの影響による指示点の位置の微小変
動の影響を受けることなく、ユーザは指示入力を実施す
ることが可能となる。

【００５６】本実施例は、テレビカメラに設けられる機
構を調節しまたはフイルタの交換により、校正モードで
はテレビカメラの可視光に対する感度を高くし、認識モ
ードではそのテレビカメラの赤外光に対する感度を高く
する。このような感度の変更は、カメラ台数を増やすこ
となく一台のテレビカメラで両モードでの処理を実施可
能である。また、校正及び認識の各モードで別々のテレ
ビカメラを使用する場合は、それらのテレビカメラの位
置の調整も必要となる。本実施例は、このような問題も
発生しない。ブラウン管型及び投射型の各表示装置は、
通常、ユーザに表示情報が見えるように可視光で情報を
表示する仕組みになっている。このため、校正モードで
は、表示装置に表示するマーカは可視光にならざるをえ
ない。他方、認識モードにおいては、表示装置に種々の
情報が可視光で表示されるので、ポインタから指示信号
として可視光を出力したのでは、その指示信号を画像認
識装置で認識する処理が複雑になる。指示信号として赤
外光を用いた場合は、画像認識装置での認識処理が簡単
になる。従って、上記のようにテレビカメラにおける可
視光及び赤外光に対する感度の変更は、可視光及び赤外
光を使いわけるシステムの要求にもマッチングする。

【００５７】また、表示装置の表示面の背景に対して、
校正用マーカの輝度を変えることによりマーカの画像位
置特定のための画像処理を簡単化できる。また、本実施
例は、表示面内の予め定められた位置にマーカを順次表
示し、校正データを生成するというステップをくり返
す。このため、各ステップでは１つのマーカについての
処理を実施すれば良く、画像処理を簡単化できる。ま
た、校正データを表形式で用意することにより、認識モ
ードでの指示点の座標を求める処理が、校正データの表
の内挿により簡単に実施できる。

【００５８】また、ポインタによる指示入力を基に、他
の入力手段による入力を状況に応じて使用することによ
り、プラントへの制御指令，表示情報の切換要求などを
迅速に入力することができる。さらに、指示入力のみ、
あるいは音声入力を組み合わせて使用することにより、
ユーザは、遠隔での場所の限定の少ない入力を実行する
ことが可能となる。

【００５９】第１実施例の考え方は、図１の構成におい
て表示装置の代わりに、特開平4−37922 号公報の図１
に示す画像投射器及び映写スクリーンを含む投射表示装
置を用いた情報表示装置にも適用可能である。この場
合、第１実施例の表示制御装置８が画像投射器に接続さ
れる。このため、表示制御装置８で作成された表示情報
が、画像投射器から出射され、映写スクリーンに映し出
される。映写スクリーンに映し出された画像は、テレビ
カメラ２で撮影され、画像処理装置３に入力される。こ
のような構成においても、第１実施例と同様な作用効果
を得ることができる。ただし、画像が映し出される領域
は、第１実施例では表示装置１の表示面の全部であった
のに対し、本実施例では映写スクリーンの一部になる場
合もある。すなわち、本実施例では、映写スクリーン内
における画像が映し出される領域の大きさは、画像投射
器と映写スクリーンとの間の距離によって変わる。

【００６０】本発明の第２実施例である情報表示装置
が、図１１，図１２，図１３及び図１４により説明され
る。第２実施例は、図１の実施例と同じ構成を有する。
しかしながら、第２実施例の指示位置校正装置５での処
理が、図１の実施例における指示位置校正装置５でのそ
れと異なっている。以下に、第２実施例の指示位置校正
装置５での処理を説明する。校正モードにおいて、図１
２の処理が本実施例の指示位置校正装置５で実行され
る。

【００６１】本実施例は、図１１に示すように複数の校
正用マーカ２３Ａを同時に表示装置１に表示させるもの
である。本実施例は、具体的に９個の校正用マーカ２３
Ａを表示する。

【００６２】校正モードでは、ステップ１４が「Ｙｅｓ」
となり、表示装置１の表示面におけるｎ個(例えば、ｎ
＝９）の校正用マーカ２３Ａ_i（例えば、ｉ＝１，２，
……，９）の指定表示位置の座標(Ｘ_i，Ｙ_i)を同時に表
示制御装置８に出力する（ステップ１８Ａ）。ｎ個の座
標(Ｘ_i，Ｙ_i)は、表示面のｘ軸及びｙ軸において、Ｘの
座標値がそれぞれ異なるように、更にＹの座標値もそれ
ぞれ異なるように設定されている。これらの座標(Ｘ_i，
Ｙ_i)は、メモリ１０に記憶されている。表示制御装置８
は、ｎ個の校正用マーカ２３Ａ_iの図形情報(例えば、
□)を作成する。表示制御装置８は、これらの図形情報
を該当するｎ個の指定表示位置の座標(Ｘ_i，Ｙ_i)に表示
させるために、表示装置１に出力する。

【００６３】画像処理装置３は、テレビカメラ２で撮影
された表示面の画像に対して図１の実施例と実質的に同
様な図１４の画像処理を行う。すなわち、ステップ２
４，２５，２６及び２７Ａの処理を実行した後に、ｉ＝
０と設定される（ステップ１５Ａ）。更にステップ１６
の実行後に、ステップ２８Ａの処理がマーカ２３Ａの画
像１つ１つに対してステップ２２Ａの判定が「Ｙｅｓ」に
なるまで順次繰り返される。ここで、Ｉは(ｎ＋１)であ
る。ステップ２７Ａ及び２８Ａの処理は、図４のステッ
プ２７及び２８のそれと同じである。ただし、ステップ
２７Ａは、複数のマーカ２３Ａに対する特徴量を一度に
抽出する。図１３はステップ２７Ａで得られた９個のマ
ーカ２３Ａに対して得られた特徴量をまとめて表わした
ものである。上記のようにＸの座標値及びＹの座標値が
異なっているので、複数のマーカ２３Ａを同時に表示面
に表示したとしても、個々のマーカ２３Ａに対する特徴
量及び座標(ｘ_i，ｙ_i)が求められる。

【００６４】指示位置校正装置５は、表示面内における
ｎ個のマーカ２３Ａ_iの画像の各位置での各々の座標
(ｘ_i，ｙ_i)を入力する(ステップ１９Ａ)。ｎ個の座標
(ｘ_i，ｙ_i)は、メモリ１０に記憶されている該当する指
定表示位置の座標座標(Ｘ_i，Ｙ_i)と対応させて校正デー
タを作成する(ステップ２０Ａ)。この校正データは、座
標変換表としてメモリ１０に記憶される(ステップ２１
Ａ)。

【００６５】以上述べた第２実施例は、図１の実施例と
同様な効果を得ることができる。更に、第２実施例は、
複数のマーカ２３Ａを同時に表示面に表示し、かつこれ
らのマーカ２３Ａの画像を同時に画像処理装置３に取り
込んで画像処理を行うので、校正モードに要する時間を
短縮できる。また、複数のマーカ２３Ａの同時表示を複
数回繰り返すことにより、詳細な校正データを短時間の
うちに得ることができる。

【００６６】本発明の第３実施例である情報表示装置を
図１５を用いて説明する。第３実施例は、図１の実施例
の指示位置校正装置５を指示位置校正装置５Ａに替えた
ほかは図１の実施例と同じ構成を有する。

【００６７】本実施例の作用を、図１の実施例と異なる
部分、すなわち指示位置校正装置５Ａにおける処理を中
心に説明する。指示位置校正装置５Ａは、図２に示す処
理を実行し、その後に図１７に示す処理を実行する。図
２のステップ２０において、得られた校正データのうち
画像内における座標（ｘ_i，ｙ_i）は、図１６のように整
理されてメモリ１０に記憶される。図１７の処理は、校
正用マーカ２３の追加及び追加したマーカ２３の画像に
対する座標を求める各処理を示している。特に、図１７
に示す処理は、ｙ軸方向における校正用マーカ２３の追
加に対する処理を示している。なお、ｘ軸方向における
校正用マーカ２３の追加に対しても、同様な処理が行わ
れる。

【００６８】図１７の処理は、図１６の校正データを用
いて実行される。ｉ＝１及びｊ＝１が設定される(ステ
ップ４５及び４６)。メモリ１０に記憶されている座標
(ｘ_i，ｙ_j)及び(ｘ_i，ｙ_j+1)を取り込む(ステップ４
７)。これらの座標間におけるｙ軸方向の差Δｙ(＝ｙ
_j+1−ｙ_j)を計算する(ステップ４８)。このΔｙが、予
め定められた値ε_y以上であるかが判定される(ステップ
４９)。ε_yは、ｙ軸方向での２つのｙ座標値間の所定の
間隔を示す。Δｙがε_y以上ある場合には、座標（ｘ_i，
ｙ_j)及び(ｘ_i，ｙ_j+1)に対応する座標(Ｘ_i，Ｙ_j)及び
(Ｘ_i，Ｙ_j+1)を取り込む（ステップ５０）。座標(Ｘ_i，
Ｙ_j)及び(Ｘ_i，Ｙ_j+1)を用いて、新たな校正用マーカ２
３の表示位置を決定する(ステップ５１)。新たな校正用
マーカ２３の表示位置は、ｙ軸方向における座標(Ｘ_i，
Ｙ_j)と座標(Ｘ_i，Ｙ_j+1)との中間点の座標(Ｘ_i，(Ｙ_j＋
Ｙ_j+1)／２)である。以上の処理を、ｊ＞Ｊ−１(ステッ
プ５２），ｉ＞Ｉ−１(ステップ５３)となるまで繰り返
す。このようにして新たな校正用マーカ２３の指定表示
位置が全て決定される。以上の処理はｘ軸方向に対して
も行われ、木目細かい校正用マーカの表示が可能にな
る。以上の処理によって追加された指定表示位置の座標
に対しても、図２の処理が実行される。

【００６９】テレビカメラのレンズの収差，テレビカメ
ラの設定位置などの影響により、表示面内に均等に表示
されるように最初に設定した指定表示位置が、テレビカ
メラ２で撮影した表示面の画像内で均等になるとは限ら
ない。第３実施例は、表示面の画像内において各マーカ
２３の画像の配置が荒くなる部分で校正用マーカを増や
すことにより、より狭い校正用マーカの間隔での校正デ
ータを作成することができる。従って、ポインタ１３に
よる指示点の検出精度を、更に向上させることができ
る。第３実施例は、図１の実施例と同じ効果を得ること
ができる。また、第３実施例の図１７の処理は、第２実
施例の指示位置校正装置５に適用可能である。

【００７０】次に、本発明の第４実施例である情報表示
装置を図１８を用いて説明する。

【００７１】本実施例は、表示装置として、大画面表示
装置１Ａ（ブラウン管を備えた表示装置）、及び操作盤
５７に設置された小画面を有するＣＲＴ１Ｂ₁〜１Ｂ_nを
用いる。マンマシン用計算機５９は、画像処理装置３の
出力を入力して表示情報を作成してこの情報を大画面表
示装置１Ａ、及びＣＲＴ１Ｂ₁〜１Ｂ_nに出力する。運転
員Ｕ₀〜Ｕ_nは、それぞれポインタ＃０〜＃ｎ及びヘッド
セットマイクＭ₀〜Ｍ_nを用いる。２３Ｂはポインタから
の指示点に表示されたカーソル、５８はポインタから出
力される赤外レーザ光である。ポインタ＃０〜＃ｎによ
る指示は、大画面表示装置１Ａに対して行われる。ポイ
ンタ＃０〜＃ｎは、可視領域の各々波長を変えたレーザ
光を指示信号として出射する。

【００７２】マンマシン用計算機５９は、図１９に示す
機能を有する。マンマシン用計算機５９内の指示位置認
識部４Ａ，指示位置校正部５Ｂ，対象物特定部６Ａ及び
表示制御部８Ａは、図１の指示位置認識装置４，指示位
置校正装置５，対象物特定装置６及び表示制御装置８と
実質的に同じ機能を有する。マンマシン用計算機５９内
の入力制御部７Ａ，入力文解析部７Ｂ，提供情報決定部
７Ｃ及びメモリ７Ｄ及び７Ｅは、図１の命令認識装置７
に相当する。メモリ３Ａは、テレビカメラ２から出力さ
れて画像処理装置３に入力された画像データを記憶す
る。表示制御部８Ａで作成された表示情報は、大画面表
示装置１Ａ及びＣＲＴ１Ｂ₁〜１Ｂ_nに表示される。マイ
クＭ₀〜Ｍ_nに入力された音声情報は、音声入力装置を介
して入力制御部７Ａに入力される。提供情報決定部７Ｃ
から出力された音声情報は、音声出力装置６０に出力さ
れる。

【００７３】第４実施例の校正モードにおいて、指示位
置校正部５Ｂは、図２０の処理を実行する。図２０に示
す処理のうちステップ１４〜２２の処理は、図２の該当
する処理と同じである。入力装置１２Ａから校正命令信
号が入力されることによって図２０の処理が実行され
る。ステップ１８の処理により出力された指定表示位置
の座標(Ｘ_i，Ｙ_j)に基づいて、表示制御部８Ａは、その
位置に表示すべきマーカ２３の図形情報を作成し、大画
面表示装置１Ａに出力する。

【００７４】マーカ２３が表示された大画面表示装置１
Ａの表示面をテレビカメラ２で撮影する。画像処理装置
３は、この撮影で得られた画像信号を入力し、図４に示
す処理を実行する。画像処理装置３は、この処理で得ら
れた座標(ｘ_i，ｙ_j)を指示位置校正部５Ｂに出力する。
指示位置校正部５Ｂは、図２０のステップ１９〜２２及
び６１の処理を実行する。ステップ２０で得られた校正
データは、メモリ１０に一時的に記憶される。

【００７５】ステップ６１では、指定表示位置の座標
(Ｘ_i，Ｙ_j)及び画像処理によって得られた座標(ｘ_i，ｙ
_j)を用いて、(数１)及び(数２)の座標変換式の係数
ａ₃，ａ₂，ａ₁，ａ₀，ｂ₃，ｂ₂，ｂ₁，ｂ₀，ｃ₃，ｃ₂，
ｃ₁，ｃ₀，ｄ₃，ｄ₂，ｄ₁及びｄ₀を最少二乗法により決
定する。

【００７６】Ｘ＝ａ₃ｘ³＋ａ₂ｘ²＋ａ₁ｘ＋ａ₀＋ｂ₃ｙ³＋ｂ₂ｙ²＋ｂ₁ｙ＋ｂ₀…（数１）Ｙ＝ｃ₃ｘ³＋ｃ₂ｘ²＋ｃ₁ｘ＋ｃ₀＋ｄ₃ｙ³＋ｄ₂ｙ²＋ｄ₁ｙ＋ｄ₀…（数２）ここで、Ｘは大画面表示装置１Ａの表示面内におけるポ
インタによる実際の指示点のＸ座標の値、Ｙは大画面表
示装置１Ａの表示面内におけるポインタによる実際の指
示点のＹ座標の値、ｘは画像処理装置３で得られた、そ
の表示面内におけるその指示点の画像に対するｘ座標の
値、及びｙは画像処理装置３で得られた、その表示面内
におけるその指示点の画像に対するｙ座標の値である。

【００７７】なお、第４実施例は、座標変換式として３
次式を用いたが、状況に応じて、より高次、あるいは低
次の数式、もしくは指数関数など異なる関数を用いるこ
とも可能である。係数ａ₃，ａ₂，ａ₁，ａ₀，ｂ₃，ｂ₂，
ｂ₁，ｂ₀，ｃ₃，ｃ₂，ｃ₁，ｃ₀，ｄ₃，ｄ₂，ｄ₁及びｄ
₀が決定された(数１)及び(数２)は、メモリ１０に記憶
される。

【００７８】画像処理装置３は、テレビカメラ２から出
力されたカラーの画像信号を取込み、ポインタ１３から
出射される光の波長毎(例えば、赤色光，緑色光等の順)
に画像処理を行う。すなわち、画像処理装置３はポイン
タ１３の種別毎に座標（ｘ_r，ｙ_r）を求める。

【００７９】ステップ６１の処理が終了したとき図１の
実施例と同様に大画面表示装置１Ａに表示されると共
に、メモリ１０内の校正命令信号記憶エリアのフラグ
「１」を「０」にクリアする。

【００８０】図２１は、認識モードにおいて、指示位置
認識部４Ａで実行される処理を示す。校正命令信号記憶
エリアのフラグが「０」のとき、図２１のステップ６２の
処理が実行される。すなわち、画像処理装置３より、ポ
インタの種別に関する情報を入力し、ポインタ１３を認
識する（例えば、赤色光を出射するポインタ１３）。ｎ
個のポインタは出力する指示信号（可視光）の波長が異
なる。波長の大きさに応じて該当するポインタを認識す
る。その後、ステップ３２の処理が実行される。そし
て、画像処理装置３で得られた座標(ｘ_r，ｙ_r)が、座標
変換式を用いて補正される(ステップ３４Ａ)。ポインタ
からの指示信号によって実際に指示された、大画面表示
装置１Ａの表示面内での位置の座標(Ｘ_r，Ｙ_r)が、その
ような補正により求められる。座標の値Ｘ_rは、座標
(ｘ_r，ｙ_r)のｘ座標の値ｘ_r及びｙ座標の値ｙ_rを(数
１)の変数ｘ及びｙに代入して得られるＸである。座標
の値Ｙ_rは、ｘ座標の値ｘ_r及びｙ座標の値ｙ_rを(数
２)の変数ｘ及びｙに代入して得られるＹである。ステ
ップ３４Ａにおける補正により得られた座標(Ｘ_r，Ｙ_r)
が、指示信号によって実際に指示された、大画面表示装
置１Ａの表示面内での位置であると認識される。

【００８１】ポインタは、指示信号として可視光を出力
しているので、この可視光が大画面表示装置１Ａの表示
面に表示される。このため、本実施例は、図７のステッ
プ３６の処理が不要になる。

【００８２】対象物特定部６Ａは、図８の処理を実行
し、指示位置認識部４Ａのステップ３５で認識された座
標(Ｘ_r，Ｙ_r)の位置に表示されている対象物を特定す
る。更に、対象物特定部６Ａは、特定された対象物に関
する文字列を出力する。

【００８３】入力制御部７Ａは、特定された対象物に関
する文字列(例えば「給水ポンプ」)、及び音声入力装置
１２Ｂから出力された音声による単語を統合し、メモリ
７Ｄに記憶する。次に、入力制御部７Ａは、入力終了を
示す信号が入力されると、メモリ７Ｄ内の統合された情
報を一つの文として入力文解析部７Ｂに出力する。入力
文解析部７Ｂは、図１０に示す処理を実行し、この入力
文の解析を行う。提供情報決定部７Ｃは、解析によって
得られた処理命令に基づいて、情報選択用知識を利用
し、大画面表示装置１Ａに提供すべき情報を決定する。
この提供すべき情報は、音声出力装置６０及び表示制御
部８Ａに出力される。表示制御部８Ａは、提供すべき情
報に基づいて表示情報を作成し、この表示情報を認識し
たポインタに対応する表示装置に出力する。今回の例で
は、ステップ６２でポインタ＃０が認識されたので、そ
の表示情報はその認識されたポインタ＃０に対応する大
画面表示装置１Ａに出力される。

【００８４】第４実施例の作用の概要を図２２に示す。
例えば、大画面表示装置１Ａに表示されたプラントの全
体系統図の給水ポンプ部分をポインタから出力された指
示信号で指示し、音声入力により「系統図示せ」と入力
した場合、ポインタが大画面表示装置制御用のポインタ
＃０であれば大画面表示装置１Ａに、ＣＲＴ１Ｂ₁用の
ポインタ＃１であればＣＲＴ１Ｂ₁に、給水ポンプ系統
図が表示される。同様に、給水ポンプを指示し、「流量
トレンド表示」と音声で入力すれば、ポインタの種別に
応じて、大画面表示装置あるいはＣＲＴ＃１上に給水ポ
ンプ流量のトレンド図が表示される。

【００８５】以上説明したように、第４実施例によれ
ば、指定表示位置の座標と、テレビカメラ２で撮影した
映像の画像処理により得られる校正用マーカの座標との
関係を与える補正用の座標変換式を自動的に生成するこ
とができる。この座標変換式に画像処理により得られる
座標値を代入することによって、簡単に、表示面内にお
ける指示点に対する座標が求められる。また、その座標
変換式により、撮影映像に含まれる対象物の表示画面内
での位置を特定することが可能となる。本実施例では波
長の異なるレーザ光により、表示面上を指示した。しか
し、光に限定することなく、例えば、指示棒により指示
入力を実施する場合でも、指示棒の先端部の検出を画像
処理等により実施すれば、それによる表示画面内での指
示位置を、同様の方法により認識することができる。

【００８６】更に、第４実施例は、波長の異なるレーザ
光を出射する複数のポインタの使用により、複数運転員
の使用を可能としている。ポインタの種別に応じて、情
報の表示箇所を変更するなど、運転員クルーでのプラン
ト監視などを容易にする環境を提供することができる。
また、これに際して、座標変換式は、１種のみ用意すれ
ば良いので、ポインタの種別を変更しても新たな数式を
準備する必要はなく、ポインタの追加などを容易に実施
可能である。

【００８７】第４実施例は、図１の実施例と同じ効果を
得ることができる。

【００８８】本発明の第５実施例である情報表示装置
を、図２３に基づいて説明する。本実施例は、投影型の
情報表示装置を対象としたもので、第４実施例までの構
成とは異なり、要素色の投影器の位置制御に第４実施例
までの校正方法を適用したものである。

【００８９】第５実施例は、大画面表示装置のスクリー
ン１Ｂ(表示面)を撮影するテレビカメラ２，画像処理装
置３，表示制御装置８，メモリ１０，投影器操作台６３
Ａ，６３Ｂ及び６３Ｃ，赤色の光をスクリーン１Ｂに投
影する赤色投影器６４Ａ，緑色の光をスクリーン１Ｂに
投影する緑色投影器６４Ｂ，青色の光をスクリーン１Ｂ
に投影する青色投影器６４Ｃ，位置校正装置６６，操作
指令信号発生装置６７及び表示情報発生装置６５を備え
る。赤色，緑色，青色の光は、要素光である。

【００９０】通常、表示制御装置８は、表示情報発生装
置６５から出力された表示情報をスクリーン１Ｂに表示
すべく、赤色投影器６４Ａ，緑色投影器６４Ｂ及び青色
投影器６４Ｃに該当する要素光の表示情報を出力する。
赤色投影器６４Ａ，緑色投影器６４Ｂ及び青色投影器６
４Ｃは、該当する要素光の情報を同時にスクリーン１Ｂ
に重ねて表示する。このため、情報が、カラーでスクリ
ーン１Ｂに写し出される。赤色投影器６４Ａは投影器操
作台６３Ａに取り付けられる。緑色投影器６４Ｂは投影
器操作台６３Ｂに取り付けられる。青色投影器６４Ｃは
投影器操作台６３Ｃに取り付けられる。投影器操作台６
３Ａ，６３Ｂ及び６３Ｃは、カメラの三脚のように水平
方向及び垂直方向に回転可能になっている。このため、
投影器操作台を回転操作することによって、投影器操作
台に取り付けられた投影器の向きを自由に変えることが
できる。第５実施例の構成のうち少なくとも投影器操作
台６３Ａ，６３Ｂ及び６３Ｃ，赤色投影器６４Ａ，緑色
投影器６４Ｂ及び青色投影器６４Ｃは、大画面表示装置
１Ｂのケース内でスクリーン１Ｂの裏側に設置される。
すなわち、各投影器からの映像は、裏側からスクリーン
１Ｂに映し出される。本実施例では、スクリーン１Ｂの
全体が、即ち、画像を映し出す領域となる。

【００９１】しかしながら、投影器６４Ａ，６４Ｂ及び
６４Ｃから出射される赤色光，緑色光及び青色光の位置
がずれると、スクリーン１Ｂには各色の映像がずれて表
示される。このため、ユーザはスクリーンに表示された
画像が見づらくなる。このような事態を避けるために、
事前に各投影器６４Ａ，６４Ｂ及び６４Ｃの出射方向を
調節し、各要素光の映像がずれて表示されないようにす
る必要がある。

【００９２】この調節操作を以下に説明する。

【００９３】ユーザは図示していない入力装置から校正
命令信号を入力する。この校正命令信号は、位置校正装
置６６に入力される。位置校正装置６６は、図１２の処
理を実行する。ステップ１４の判定が「Ｙｅｓ」となるの
で、ステップ１８Ａ，１９Ａ，２０Ａ及び２９の処理が
順次実行される。ステップ１８Ａの処理により図１１の
複数のマーカ２３Ａの指定表示位置の座標(Ｘ_i，Ｙ_i)
が、表示制御装置８に出力される。本実施例では、指定
表示位置の座標(Ｘ_i，Ｙ_i)は、赤色投影器６４Ａに対し
て設定されている。しかし、指定表示位置の座標(Ｘ_i，
Ｙ_i)は、他の投影器６４Ｂまたは６４Ｃに対して設定し
てもよい。表示制御装置８は、複数の座標(Ｘ_i，Ｙ_i)に
対してそれぞれマーカ２３Ａの図形情報を作成し、赤色
投影器64Ａに出力する。赤色投影器６４Ａは、各座標
(Ｘ_i，Ｙ_i)に位置するように赤色のマーカ２３Ａの図形
情報をスクリーン１Ｂに出射する。スクリーン１Ｂは、
図１１のように複数の赤色のマーカ２３Ａ_iを表示す
る。画像処理装置３は、入力したテレビカメラ２で撮影
した画像に対して図１４の処理を実行し、得られた複数
の座標(ｘ_i，ｙ_i)を出力する。

【００９４】位置校正装置６６は、ステップ１９Ａ及び
２０Ａを実行することにより、複数の座標(Ｘ_i，Ｙ_i)と
これらの各々に該当する、赤色のマーカ２３Ａ_iの座標
(ｘ_i,ｙ_i)とを対応させた校正データを作成する。そし
て、ステップ２９が実行される。ステップ２９の処理が
終了したとき、位置校正装置６６は、操作指令信号発生
装置６７に対して調節開始信号を出力する。

【００９５】第５実施例でも、テレビカメラ２で撮影さ
れた大画面表示装置１Ｂの表示面の画像は、図１の実施
例と同様に、テレビカメラ２のレンズの収差及びテレビ
カメラ２の設置位置に起因する歪を有する。従って、そ
の表示面の画像内における校正用マーカ２３Ａ_iの画像
の位置も、指定表示位置の座標(Ｘ_i，Ｙ_i)とずれてい
る。第５実施例は、指定表示位置の座標(Ｘ_i，Ｙ_i)と、
そのような表示面の画像の歪の影響を受けている校正用
マーカ２３Ａ_iの画像の位置の座標(ｘ_i，ｙ_i)とを対応
させた校正データ(座標変換表)を容易に作成することが
できる。

【００９６】調節開始信号を入力した操作指令信号発生
装置６７は、図２４の処理を実行する。

【００９７】操作指令信号発生装置６７は、ステップ１
５Ａ，１６及び１８Ａの各処理を実行する。図２４のス
テップ１８Ａ，１９Ａ，６８，６９及び７０の各処理
は、まず緑色投影器６４Ｂに対して行われ、次に青色投
影器６４Ｃに対して行われる。表示制御装置８は、緑色
投影器６４Ｂに出力する、複数の座標(Ｘ_i，Ｙ_i)に対す
るマーカ２３Ａの図形情報を作成する。緑色投影器６４
Ｂは、各座標(Ｘ_i，Ｙ_i)に位置するように緑色のマーカ
２３Ａの図形情報をスクリーン１Ｂに出射する。画像処
理装置３は、入力したテレビカメラ２で撮影した画像に
対して図１４の処理を実行し、緑色のマーカ２３Ａに対
して得られた複数の座標Ｂ(ｘ_i，ｙ_i)を出力する。

【００９８】操作指令信号発生装置６７は、座標Ｂ
(ｘ_i，ｙ_i)を入力し(ステップ１９Ａ)、メモリ１０より
座標(Ｘ_i，Ｙ_i)に対する赤色のマーカ２３Ａ_iの座標(ｘ
_i，ｙ_i)を入力する(ステップ６８)。同じ座標(Ｘ_i，
Ｙ_i)に対する緑色のマーカ２３Ａ_iの座標Ｂ(ｘ_i，ｙ_i)
と赤色のマーカ２３Ａ_iの座標(ｘ_i，ｙ_i)が一致するか
判定する(ステップ６９)。この判定が、「Ｙｅｓ」であれ
ばステップ２２Ａを実行し、「Ｎｏ」であればステップ７
０を実行する。座標Ｂ(ｘ_i，ｙ_i)と座標(ｘ_i，ｙ_i)とを
一致させるように操作指令信号を発生させる(ステップ
７０)。この操作指令信号は、投影器操作台６３Ｂの駆
動装置に出力される。この駆動装置は、操作指令信号に
基づいて、座標Ｂ(ｘ_i，ｙ_i)と座標(ｘ_i，ｙ_i)とを一致
させるように投影器操作台６３Ｂを水平方向及び垂直方
向に回転させ、緑色投影器６４Ｂのスクリーン１Ｂに対
する向きを調節する。ステップ２２Ａの判定が「Ｙｅ
ｓ」になったとき、各緑色のマーカに対する緑色投影器
６４Ｂの映像の出射方向の調節が終了する。

【００９９】このような調節を行うことにより、全ての
緑色のマーカに対する座標Ｂ(ｘ_i，ｙ_i)を全ての赤色の
マーカに対する座標(ｘ_i，ｙ_i)に一致させることができ
る。従って、大画面表示装置１Ｂの表示面内の同じ位置
に表示する赤色投影器６４Ａからの映像と緑色投影器６
４Ｂからの映像がずれない。

【０１００】次に同様な処理が青色投影器６４Ｃに対し
て行われ、緑色投影器６４Ｂに対する場合と同様に投影
器操作台６３Ｃにより青色投影器６４Ｃが向いている方
向が調節される。従って、大画面表示装置１Ｂの表示面
内の同じ位置に表示するために赤色投影器６４Ａ，緑色
投影器６４Ｂ及び青色投影器６４Ｃからそれぞれ出射さ
れた映像は、互いにずれることはない。

【０１０１】赤色投影器６４Ａ，緑色投影器６４Ｂ及び
青色投影器６４Ｃは、情報表示装置の製造段階で映像の
出射方向が好ましい状態にすでに調節されている。しか
しながら、製造元からユーザに引き渡した後の設置場所
までの移動及び設置場所の変更等によりそれらの映像の
出射方向が微妙に違ってくる。本実施例は、特に、その
ような場合において、各投影器の向きの調節に威力を発
揮する。

【０１０２】なお、本実施例は、毎回、１つのマーカを
表示して、投影器操作台への操作指令信号を出力する処
理を繰り返す。しかしながら、操作指令信号発生装置６
７は、複数のマーカに対して、指定表示位置の座標
(Ｘ，Ｙ)と校正データを用いた補正により得られた座標
(Ｘ_r，Ｙ_r)とを基に、総合的に演算することにより、投
影器操作台の駆動装置への操作指令信号を生成すること
も可能である。この処理は、予め作成した知識を用い
て、表示面内の複数の位置でのマーカのずれを総合的に
判断して操作指令信号を生成する。

【０１０３】以上述べたように、本実施例は、要素色の
各投影器の向きの調整を自動的に実施することが可能と
なる。従来、この調整作業は熟練の保守員により長時間
を要していたが、本実施例ではその調整作業を短時間で
かつ簡単に実施することが可能となる。

【０１０４】

【発明の効果】本発明によれば、カメラの設置位置及び
カメラのレンズの収差に起因した画像における歪みを低
減して、表示面における指示信号の位置を求めることが
できる。従って、表示面における指示信号の位置を精度
良く求めることができる。

【０１０５】

【０１０６】

【図面の簡単な説明】

【図１】本発明の第１実施例である情報表示装置の構成
図である。

【図２】図１の指示位置校正装置で実行される処理手順
の説明図である。

【図３】表示装置に表示された校正用マーカの状態を示
す説明図である。

【図４】図１の画像処理装置で実行される処理手順の説
明図である。

【図５】マーカ画像の投影分布及び中心座標の求め方を
示した説明図である。

【図６】指示位置校正装置で得られた構成データの一例
を示す説明図である。

【図７】図１の指示位置認識装置で実行される処理手順
の説明図である。

【図８】図１の対象物特定装置で実行される処理手順の
説明図である。

【図９】表示装置に表示される表示情報の一例を示す説
明図である。

【図１０】図１の命令認識装置で実行される入力解析の
処理手順を示した説明図である。

【図１１】本発明の第２実施例である情報表示装置にお
ける表示装置での校正用マーカの他の表示状態を示す説
明図である。

【図１２】図１１の校正用マーカの表示状態に対して第
２実施例の指示位置校正装置で実行される処理手順の説
明図である。

【図１３】図１１の校正用マーカの表示状態に対して行
われる投影分布及びマーカ画像の中心座標の求め方を示
した説明図である。

【図１４】図１１の校正用マーカの表示状態に対して第
２実施例の画像処理装置で実行される処理手順の説明図
である。

【図１５】本発明の第３実施例である情報表示装置の構
成図である。

【図１６】図１５の指示位置校正装置で作成した構成デ
ータの一例を示す説明図である。

【図１７】指示位置校正装置で実行される処理手順の一
部を示す説明図である。

【図１８】本発明の第３実施例である情報表示装置の構
成図である。

【図１９】図１８のマンマシン用計算機の機能的な構成
を示した説明図である。

【図２０】図１９の指示位置校正部で実行される処理手
順を示した説明図である。

【図２１】図１９の指示位置認識部で実行される処理手
順を示した説明図である。

【図２２】第３実施例の作用の概要を示す説明図であ
る。

【図２３】本発明の第５実施例の構成図である。

【図２４】図２３の操作指令信号発生装置で実行される
処理手順を示した説明図である。

【符号の説明】

１…表示装置、１Ａ…大画面表示措置、２…テレビカメ
ラ、３…画像処理装置、４…指示位置認識装置、４Ａ…
指示位置認識部、５，５Ａ…指示位置校正装置、５Ｂ…
指示位置校正部、６…対象物特定装置、６Ａ…対象物特
定部、７…命令認識装置、７Ａ…入力制御部、７Ｂ…入
力文解析部、７Ｃ…提供情報決定部、８…表示制御装
置、９…プラント制御装置、１０，１１…メモリ、１３
…ポインタ、６３Ａ，６３Ｂ，６３Ｃ…投影器操作台、
６４Ａ…赤色投影器、６４Ｂ…緑色投影器、６４Ｃ…青
色投影器、６６…位置校正装置、６７…操作指令信号発
生装置。

───────────────────────────────────────────────────── フロントページの続き (72)発明者有田節男茨城県日立市大みか町七丁目２番１号株式会社日立製作所エネルギー研究所内 (72)発明者川口幸一茨城県日立市大みか町五丁目２番１号株式会社日立製作所大みか工場内 (72)発明者鍛治明茨城県日立市大みか町五丁目２番１号株式会社日立製作所大みか工場内 (56)参考文献特開平６−35607（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06F 3/03 G06F 3/033 H04N 5/225

Claims

(57)【特許請求の範囲】

【請求項１】表示面を有する表示装置と、前記表示面を
撮影するカメラと、前記表示面の中央部及び周辺部のそ
れぞれに複数のマーカを表示させる手段と、前記カメラ
が撮影した画像における前記複数のマーカの位置を求め
る手段と、前記複数のマーカの前記表示面における位置
と前記画像における位置とを前記マーカ毎に記憶する手
段と、ポインタから前記表示面に対して出力された指示
信号の前記画像における位置を求める手段と、前記複数
のマーカのうち前記画像において前記指示信号の近傍に
あるマーカの、記憶された前記表示面における位置と前
記画像における位置とに基づいて、前記指示信号の前記
画像における位置から、前記指示信号の前記表示面にお
ける位置を求める手段とを備えたことを特徴とする情報
表示装置。
【請求項２】前記指示信号の前記表示面における位置を
求める手段は、内挿することによって前記指示信号の前
記表示面における位置を求めることを特徴とする請求項
１記載の情報表示装置。
【請求項３】前記マーカは可視光で、かつ前記指示信号
は赤外光であって、前記マーカが表示された表示面を撮
影する場合と前記指示信号が入力された表示面を撮影す
る場合とで前記カメラの感度を変化させる手段を備えた
ことを特徴とする請求項１及び２のいずれかに記載の情
報表示装置。
【請求項４】前記画像において隣り合う２つのマーカの
間隔が予め設定された値以上である場合に、前記表示面
において隣り合う前記２つのマーカ間に新たにマーカを
表示させる手段を備えたことを特徴とする請求項１乃至
３のいずれかに記載の情報表示装置。