JP2813555B2 - パネルシミュレーション用画像作成装置およびこれにおける画像の貼り付け先位置決定方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、画像を用いたパネルシ
ミュレーション用画像作成装置における画像の貼り付け
方法に関する。

【０００２】

【従来の技術】従来、各種システムの保守等において、
保守員は、ランプ、スイッチ、ＬＥＤ、液晶ディスプレ
イ等で構成された保守用の操作パネルを用いることが多
い。

【０００３】迅速かつ適正な保守を行なうには、保守員
がその保守作業に習熟している必要がある。このような
保守員を短期間に養成するには、一般に、実機での実習
では現実的ではなく、種々の場面を疑似的に体験できる
シミュレーションが適している。

【０００４】操作パネルのシミュレーションでは、コン
ピュータの表示画面上に、パネルの画像を表示して、画
面上で実際のパネルに対すると同様の操作指示等が行な
えるようにする。パネル上では、種々の場面でその状態
（外観）が変化する。たとえば、ランプやＬＥＤが点灯
したり消灯したりする。したがって、シミュレーション
においても、その種々の場面におけるパネルの異なる外
観を画像として保持しておく必要がある。

【０００５】シミュレーション時には、種々の状態に応
じて、これらの異なる画像を切り換えて表示する。

【０００６】

【発明が解決しようとする課題】ところで、シミュレー
ション画面をより現実的（リアル）なものとするために
は、カラーカメラ等により実際のパネル面を撮影したフ
ルカラーの画像を用いることが好ましい。

【０００７】しかし、フルカラーの画像はデータ量が多
いため（例えば画像１枚が約１メガバイト）、メモリ容
量の点だけでなく処理速度の点でも問題がある。

【０００８】この問題を解決するために、基本的なパネ
ルの全体画面を１枚用意しておき、変化する部分のみを
画像処理により修正することが考えられるが、フルカラ
ーの画面においては修正部分が現実的ではなくなり、違
和感が生じる。なおかつ、パネルの全体画面は撮影され
た画像であるため、各部の位置座標等が不明であるとい
う問題がある。

【０００９】一方、基本的なパネルの全体画面１枚に対
して、ランプ等の表示状態が変化する部分については、
異なる変化状態ごとにその部品画像（部分画像とも呼
ぶ）を別に用意しておき、必要時に該当する部品画像を
全体画面の対応部分に貼り付ける方法が考えられる。そ
のためには、予め貼り付けの位置を決定しておく必要が
ある。この方法によれば、画像のリアリティーが阻害さ
れない利点がある。

【００１０】しかし、その貼り付け先位置を予め確認し
ておく際には、手作業により部品画像を全体画像の対応
部分に完全に一致させる必要があった。これには、手作
業による細かな美調整を必要とし、作業効率が悪いだけ
でなく、その精度にもバラツキが生じる。

【００１１】したがって、本発明は、部品画像の貼り付
け先位置を容易にかつ確実に求めることができるパネル
シミュレーション用画像作成装置およびこれにおける画
像の貼り付け先位置決定方法を提供することにある。

【００１２】

【課題を解決するための手段】上記目的を達成するため
に、本発明のパネルシミュレーション用画像作成装置に
おける画像の貼り付け先位置決定方法は、カラー撮像手
段で撮影した操作パネル全体の画像をメモリに記録し、
前記カラー撮影手段で前記操作パネルの各部品部分の変
化した状態を撮影した複数の部品画像をメモリに記録
し、前記全体画像内の各部品の輪郭を検出してその特徴
情報を求め、前記複数の部品画像のうち、使用者の指示
に応じて、全体画像内に貼り付けるべき部品画像を選択
し、該選択された部品画像内の部品の輪郭を検出してそ
の特徴情報を求め、該求められた部品画像内の部品の特
徴情報を前記全体画像内の各部品の特徴情報と比較し、
該比較により部品画像内の部品と一致した特徴情報を有
する全体画像内の部品の位置を貼り付け先位置として決
定することを特徴とする。

【００１３】この方法において、前記比較の結果、全体
画像内に特徴情報が一致する部品が複数存在するとき、
使用者による指示に応じて、そのうちの１つを特定す
る。

【００１４】本発明によるパネルシミュレーション用画
像作成装置は、カラー撮像手段により撮影した操作パネ
ルの画像を利用してパネルシミュレーション用の画像を
作成する装置において、前記カラー撮像手段により撮影
された前記操作パネルの１枚の全体画像および外観の変
化した操作パネルの複数の部品画像を記録するメモリ
と、全体画像および部品画像を表示画面上に表示する表
示手段と、表示画面上の操作対象に対して部品画像の選
択を含む各種指示を行なうポインティング手段と、前記
全体画像および部品画像内の部品の輪郭を検出し、その
特徴情報を求める輪郭検出解析手段と、選択された部品
画像内の部品の特徴情報と全体画像内の部品の特徴情報
とを比較して、一致を検出する比較手段と、該比較手段
の比較結果に基づいて、部品画像を貼付るべき全体画像
内の貼り付け先位置を求める位置決定手段とを備える。

【００１５】この装置において、前記特徴情報は、例え
ば、形状ベクトルである。

【００１６】さらに、前記操作パネルの外観の変化毎
に、部品画像を特定する情報と、全体画像内の貼り付け
先位置とを定義するデータテーブルを作成する手段を備
えてもよい。

【００１７】なお、本明細書において、貼り付けとは、
ビットマップ形式の表示メモリに格納された画像に対し
て部分的な上書きを行なうことを意味する。

【００１８】

【作用】本発明によれば、撮影手段により撮影された、
元々部品等の座標情報を持たない画像について、部品画
像の正確な貼り付け先位置を求めることが可能になる。
また、貼り付ける部品画像も撮影したものを用いるの
で、フルカラーの画像であっても、貼り付けによる画質
の変化がなく、リアリティの高いシミュレーション用画
像を作成することができる。

【００１９】

【実施例】以下、図面を参照して、本発明の実施例を詳
細に説明する。

【００２０】まず、図１に本実施例に係るシミュレーシ
ョン用画像作成装置の構成を示す。この装置は、画像を
表示する表示装置１０と、使用者から指示を受け付ける
ためのマウス付きキーボードの如き入力装置１４と、コ
ンピュータ１１と、外部記憶装置としてのハードディス
ク装置１５とからなる。コンピュータ１１は、画像内の
部品の輪郭を求める輪郭検出部１２と、この輪郭のパタ
ーンを解析する輪郭解析部１３と、解析により得られた
特徴情報を比較する比較部１７と、この比較の結果によ
り貼り付け先位置を決定する位置決定部１８として機能
する。なお、図示しないが、コンピュータは、ＣＰＵ、
内部メモリであるＲＡＭ（およびＲＯＭ）、表示メモ
リ、ハードディスク装置、入出力インタフェース等の周
知のハードウエア構成を有する。表示メモリは、内部メ
モリの一部であっても、あるいは専用の描画プロセッサ
によりアクセスされるようなメモリであってもよい。パ
ネルの基本画面を表わす全体画像および各部分（部品）
の画像を表わす複数の部品画像は、予めカラーデジタル
カメラ１６等の撮像装置で撮影してハードディスク装置
１５に格納しておく。撮影の際、ランプ点灯等のパネル
の外観の変化以外は、全体画像と部品画像の撮影の条件
を同一にしておく。

【００２１】図２に、本実施例における処理の流れを表
わすフローチャートを示す。ここでは、まず、この全体
フローの概略を説明し、その後、主として使用者の関与
する処理ステップの具体例について他の説明図を参照し
ながら説明する。

【００２２】まず、全体画像を取りだし、その各部の輪
郭を検出し、コンピュータ１１の内部メモリに記録する
（２１）。輪郭の検出には、例えば、森俊二・板倉栂子
共著「画像認識の基礎Ｉ」オーム社発行、第２２９〜２
４４頁に記載の「ストリームホロイング法」を用いるこ
とができる。

【００２３】次に、全体画像の輪郭から、その特徴を表
わす１組の形状ベクトルを検出し、内部メモリに記録す
る（２２）。形状ベクトルとは、図７に示すように、輪
郭の角Ｐ１〜Ｐ８を検出し、隣接する頂点間の線分の長
さと角度（すなわちベクトル）の集合で表わしたもので
ある。この角の検出方法に関しては、上記「画像認識の
基礎Ｉ」の第１４７〜１６２頁に記載されている。一般
に、形状ベクトルは、長さをｒ、角度をθ、角の数をｉ
とすると、次のように表わされる。

【００２４】（ｒ，θ）₁，…，（ｒ，θ）_i 次に、目的の部品画像を含む部品画像ファイルを読みだ
し、マウス等のポインティングデバイスを用いて、必要
な表示状態の当該部分像の範囲を選択する（２３）。こ
の範囲の選択は、目的の部品を内包する範囲を指定すれ
ばよく、厳密な指定は不要である。次いで、全体画像に
ついてと同様に、この部品画像の輪郭を検出し、コンピ
ュータ１１の内部メモリに記録する（２４）。さらに、
この部品画像の輪郭から形状ベクトルを検出し、内部メ
モリに記録する（２５）。

【００２５】そこで、部品画像の形状ベクトルを全体画
像の複数の形状ベクトルと比較して、一致する形状を検
索する（２６）。この一致する形状は複数存在しうるの
で、それらのうちどれに対して貼り付けを行なうか（す
なわち貼り付け先候補）をマウスで指定する（２７）。
この貼り付け先候補の輪郭（座標情報）はすでに検出さ
れているので、貼り付け先の位置が得られる（２８）。
ステップ２３〜２８を必要なだけ繰り返す。輪郭には複
数の座標情報が含まれており、そのいずれの座標（また
は重心座標等）を貼り付け先の位置（座標）として採用
するかは予め定めておく。

【００２６】図３により、図２のステップ２６の形状ベ
クトルの一致検索の詳細例を説明する。

【００２７】まず、部品画像の形状ベクトル３１を内部
メモリから読みだし（３１）、次に、全体画像の形状ベ
クトルを１組（Ｒ，Θ）_Iを読み出す（３２）。そこ
で、角の数を比較し（３３）、不一致ならばステップ３
２に戻る。一致したら、ベクトルの比較基準点を取得す
る（３４）。ベクトルの比較基準点とは、比較を開始す
る角のベクトルをいう。この比較基準点の取得は、例え
ば次のように行なう。

【００２８】部品画像の形状ベクトルのなかから、他の
角と一致しない角を取得し、これを部品画像の比較基準
点とする。次に、全体画像の形状ベクトルの中から、部
品画像の比較基準点のベクトルと一致する角を取得し、
これを全体画像の比較基準点とする。部品、全体画像の
形状ベクトルの比較（３５）の際に、この比較基準点か
ら比較を開始する。そこで、ベクトルの組同士を比較し
（３５）、いずれか一つでも不一致であればステップ３
２に戻る。尚、前記ステップ３４において、部品画像の
形状ベクトルの中に、他の角と一致しない角がない場合
は、最も一致する角が少ないものを部品画像の比較基準
点とし、複数の比較基準点があるものとする。この場
合、部品、全体画像の形状ベクトルの比較（３５）の際
には、部品画像の比較基準点の数だけ、比較基準点を切
り替えて比較（３５）を行なう。すべてのベクトルが一
致したら、その形状ベクトルの位置を内部メモリに記録
する（３６）。以上の処理を全体画像の形状ベクトルの
すべての組が終了するまで繰り返す。一致する複数の形
状があれば、それらのすべての位置の情報が得られる。

【００２９】次に、予告したように、使用者の関与する
ステップの処理を具体例を用いて説明する。

【００３０】図５に、シミュレーション用画像作成装置
の初期画面の例を示す。この例では、説明の便宜上、４
個のランプと８個のスイッチからなる簡単な構造の操作
パネルについて、その全体画像を画面の左半分に表示し
ている。画面の右半分は部品画像用の領域であり、その
上部には、部品画像の画像ファイル名のリストを表示し
ている。その下部には指定された部品画像ファイルの画
像を表示する領域がある。

【００３１】ステップ２１により求められた各部の輪郭
は、図６に示すように内部メモリ６１に示す。ここで
は、輪郭を模式的に図で表わしているが、実際には前述
したようなデータ形式で表わされる。また、正円で示し
ているが、実際には、正多角形で近似されている。

【００３２】そこで、使用者は、図８に示すように部品
画像のリスト領域から目的の部品画像ファイルをマウス
ポインタで指定する。これに応じて、そのファイルが読
みだされ、目的の部品を含む部品画像が表示される。こ
の部品画像に対して、使用者は、貼り付けを行なおうと
する目的の表示状態の部品の部品画像の範囲をマウスで
選択する。図の例ではＬａｍｐ４を選択している。

【００３３】これに応答して、装置は、図１０に示すよ
うに、当該選択された部品画像の輪郭を検出し、内部メ
モリに記録する。さらに、この形状ベクトルも算出され
て記録される。

【００３４】次に、使用者は、貼り付け先候補を全体画
像の中からマウスで指定する。ここでは、その方法とし
て次の２つの方法を示す。

【００３５】まず、第１の方法を図１１および図１２で
説明する。この方法は、まず図１１に示すように、部品
画像をマウスにより、貼り付け先候補の位置付近へ移動
（ドラッグ）していくものである。図の例では、全体画
像中のＬａｍｐ４に対してドラッグしている。これによ
って、図１２に示すように、装置は、複数の貼り付け先
候補のうち、最も近いものを貼り付け先と判断して、そ
こに部品画像が完全に重なるように貼り付ける。この判
断は、例えば、全体画像内の各部品について、その近傍
の予め定めた領域内にマウスポインタが入ったことを認
識することにより行なえる。

【００３６】第２の方法を図１３及び図１４で説明す
る。この場合、まず、図１３に示すように、全体画像内
の複数の貼り付け先候補のうちの目的の部品位置をマウ
スポインタで指し示す。図の例ではＬａｍｐ２を指して
いる。装置は、その位置がその部品の位置であるかを判
断して、目的の部品位置を認識し、図１４に示すように
その位置に部品画像の貼り付けを行なう。

【００３７】このようにして、ある部品画像ファイル内
の特定の部品画像範囲の部品画像を特定の貼り付け先位
置へ貼り付ける、というデータがシミュレーション表示
制御用データとして得られる。これは、シミュレーショ
ン時のある場面のパネルの外観の変化に対応するもので
ある。パネルの外観の変化ごとにこのようなシミュレー
ション表示制御用データを予め求めて、図１５に示すよ
うなシミュレーション用のデータテーブル１５０を作成
する。シミュレーション時には、このデータテーブル１
５０を用いて、画像全体を切り換えることなく、一部の
画像の貼り付けにより、各種の変化画面を得ることがで
きる。

【００３８】

【発明の効果】本発明によれば、撮影したパネル画像内
に貼付るべき部品画像の貼り付け先位置を容易にかつ確
実に求めることができる。

【図面の簡単な説明】

【図１】本発明を実施するためのシステムの構成を示す
ブロック図。

【図２】実施例における全体フローを示すフローチャー
ト。

【図３】図２の一部の詳細フローを示すフローチャー
ト。

【図４】図３の一部の処理の説明図。

【図５】実施例における初期画面の説明図。

【図６】コンピュータ内メモリに全体画像の輪郭情報が
格納された状態を示す説明図。

【図７】形状ベクトルの説明図。

【図８】部分画像ファイルを選択する様子を示す説明
図。

【図９】貼り付けの対象となる部品の選択の様子を示す
説明図。

【図１０】コンピュータ内メモリに部品画像の輪郭情報
が格納された状態を示す説明図。

【図１１】貼り付け先候補の選択（その１）を示す説明
図。

【図１２】図１１の貼り付け結果を示す説明図。

【図１３】貼り付け先候補の選択（その２）を示す説明
図。

【図１４】図１３の貼り付け結果を示す説明図。

【図１５】シミュレーション表示制御用のデータテーブ
ルの説明図。

【符号の説明】

１０…表示装置、１１コンピュータ、１２…輪郭検出
部、１３…輪郭解析部、１４…入力装置、１５…ハード
ディスク装置、１６…カラーデジタルカメラ、１７…比
較部、１８…位置決定部。

フロントページの続き (58)調査した分野(Int.Cl.⁶，ＤＢ名) G06T 1/00 - 11/80 G06F 17/00

Claims (5)

(57)【特許請求の範囲】
1. 【請求項１】カラー撮像手段で撮影した操作パネル全体
   の画像をメモリに記録し、 前記カラー撮影手段で前記操作パネルの各部品部分の変
   化した状態を撮影した複数の部品画像をメモリに記録
   し、 前記全体画像内の各部品の輪郭を検出してその特徴情報
   を求め、 前記複数の部品画像のうち、使用者の指示に応じて、全
   体画像内に貼り付けるべき部品画像を選択し、 該選択された部品画像内の部品の輪郭を検出してその特
   徴情報を求め、 該求められた部品画像内の部品の特徴情報を前記全体画
   像内の各部品の特徴情報と比較し、 該比較により部品画像内の部品と一致した特徴情報を有
   する全体画像内の部品の位置を貼り付け先位置として決
   定することを特徴とするパネルシミュレーション用画像
   作成装置における画像の貼り付け先位置決定方法。
2. 【請求項２】前記比較の結果、全体画像内に特徴情報が
   一致する部品が複数存在するとき、使用者による指示に
   応じて、そのうちの１つを特定する請求項１記載のパネ
   ルシミュレーション用画像作成装置における画像の貼り
   付け先位置決定方法。
3. 【請求項３】カラー撮像手段により撮影した操作パネル
   の画像を利用してパネルシミュレーション用の画像を作
   成する装置において、 前記カラー撮像手段により撮影された前記操作パネルの
   １枚の全体画像および外観の変化した操作パネルの複数
   の部品画像を記録するメモリと、 全体画像および部品画像を表示画面上に表示する表示手
   段と、 表示画面上の操作対象に対して部品画像の選択を含む各
   種指示を行なうポインティング手段と、 前記全体画像および部品画像内の部品の輪郭を検出し、
   その特徴情報を求める輪郭検出解析手段と、 選択された部品画像内の部品の特徴情報と全体画像内の
   部品の特徴情報とを比較して、一致を検出する比較手段
   と、 該比較手段の比較結果に基づいて、部品画像を貼付るべ
   き全体画像内の貼り付け先位置を求める位置決定手段と
   を備えるパネルシミュレーション用画像作成装置。
4. 【請求項４】前記特徴情報は、形状ベクトルである請求
   項３記載のパネルシミュレーション用画像作成装置。
5. 【請求項５】前記操作パネルの外観の変化毎に、部品画
   像を特定する情報と、全体画像内の貼り付け先位置とを
   定義するデータテーブルを作成する手段を備える請求項
   ３または４記載のパネルシミュレーション用画像作成装
   置。