JPH07271818A

JPH07271818A - ハイパーメディアシステム

Info

Publication number: JPH07271818A
Application number: JP6063755A
Authority: JP
Inventors: Hiroyoshi Dobashi; 浩慶土橋; Seiichi Hashiya; 誠一橋谷
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 1994-03-31
Filing date: 1994-03-31
Publication date: 1995-10-20
Also published as: US5687333A

Abstract

(57)【要約】【目的】この発明は、指示の入力を簡単かつ容易に行
うことができ、また用語の詳しい説明を、辞書を引くこ
となく、簡単に表示することができる。【構成】この発明は、用紙Ｐを撮像装置１で撮像し、
上記用紙Ｐの所定位置を指Ａで指示し、上記撮像装置１
により上記指Ａによる指示を行う前の上記用紙Ｐの第１
の撮像画像を記憶し、上記撮像装置１により上記指Ａに
よる指示を行っている際の上記用紙Ｐの第２の撮像画像
を記憶し、上記第２の撮像画像から上記第１の撮像画像
を差引くことにより、上記指Ａによる上記用紙Ｐ上の指
示位置を検出するようにしたものである。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、意味の分からない用
語などの詳しい説明を人間が指示することによってディ
スプレイなどの表示装置に表示するハイパーメディアシ
ステムに関する。

【０００２】

【従来の技術】従来、意味の分からない用語などの詳し
い説明を人間が指示することによってディスプレイなど
の表示装置に表示するシステムとしては、タッチパネル
上で指やライトペンを用いるもの、あるいは表示装置
（ディスプレイなど）上でマウスを用いるものなどがあ
った。

【０００３】タッチパネル上での指示や表示装置上での
マウスによる指示では、指示可能な用語は各分野ごとに
分かれており、さらに、手が自由に動かせないなど過度
に障害を持つ身障者には指で指示したり、マウスを操作
することは非常に困難であった。そこで、指示の入力を
簡単かつ容易に行うことができ、また用語の詳しい説明
を、辞書を引くことなく、簡単に表示することができる
ものが要望されていた。

【０００４】

【発明が解決しようとする課題】上記したように、指示
の入力を簡単かつ容易に行うことができ、また用語の詳
しい説明を、辞書を引くことなく、簡単に表示すること
ができるものが要望されていたもので、指示の入力を簡
単かつ容易に行うことができ、また用語の詳しい説明
を、辞書を引くことなく、簡単に表示することができる
ハイパーメディアシステムを提供することを目的とす
る。

【０００５】

【課題を解決するための手段】この発明のハイパーメデ
ィアシステムは、被撮像媒体を撮像する撮像手段、上記
被撮像媒体の所定位置を指示する指示手段、上記撮像手
段により撮像された上記被撮像媒体全体の撮像画像を記
憶する第１の記憶手段、上記撮像手段により上記指示手
段による指示を行っている際の上記被撮像媒体の撮像画
像を記憶する第２の記憶手段、および上記第１の記憶手
段に記憶された撮像画像と上記第２の記憶手段に記憶さ
れた撮像画像に基づいて、上記指示手段による上記被撮
像媒体上の指示位置を検出する検出手段から構成され
る。

【０００６】この発明のハイパーメディアシステムは、
被撮像媒体を撮像する撮像手段、上記被撮像媒体の所定
位置を指示する指示手段、上記撮像手段により撮像され
た上記被撮像媒体全体の撮像画像を記憶する第１の記憶
手段、上記撮像手段により上記指示手段による指示を行
っている際の上記被撮像媒体の撮像画像を記憶する第２
の記憶手段、上記第１の記憶手段に記憶された撮像画像
と上記第２の記憶手段に記憶された撮像画像に基づい
て、上記指示手段による上記被撮像媒体上の指示位置を
検出する検出手段、この検出手段により検出された指示
位置に対応する用語を上記第１の記憶手段の第１の撮像
画像から抽出する抽出手段、およびこの抽出手段により
抽出された用語の各文字の認識を行う認識手段から構成
される。

【０００７】この発明のハイパーメディアシステムは、
被撮像媒体を撮像する撮像手段、上記被撮像媒体の所定
位置を指示する指示手段、上記撮像手段により撮像され
た上記被撮像媒体全体の撮像画像を記憶する第１の記憶
手段、上記撮像手段により上記指示手段による指示を行
っている際の上記被撮像媒体の撮像画像を記憶する第２
の記憶手段、上記第１の記憶手段に記憶された撮像画像
と上記第２の記憶手段に記憶された撮像画像に基づい
て、上記指示手段による上記被撮像媒体上の指示位置を
検出する検出手段、この検出手段により検出された指示
位置に対応する用語を上記第１の記憶手段の第１の撮像
画像から抽出する抽出手段、この抽出手段により抽出さ
れた用語の各文字の認識を行う認識手段、複数の用語に
対応して、これら複数の用語各々の説明文を記憶してい
る第３の記憶手段、上記認識手段により認識した用語に
対する説明文を上記第３の記憶手段から読出す読出手
段、およびこの読出手段により読出した説明文を出力す
る出力手段から構成される。

【０００８】

【作用】この発明は、被撮像媒体を撮像手段で撮像し、
上記被撮像媒体の所定位置を指示手段で指示し、上記撮
像手段により撮像された上記被撮像媒体全体の撮像画像
を第１の記憶手段で記憶し、上記撮像手段により上記指
示手段による指示を行っている際の上記被撮像媒体の撮
像画像を第２の記憶手段で記憶し、上記第１の記憶手段
に記憶された撮像画像と上記第２の記憶手段に記憶され
た撮像画像に基づいて、上記指示手段による上記被撮像
媒体上の指示位置を検出するようにしたものである。

【０００９】

【実施例】以下、この発明の一実施例について図面を参
照して説明する。図１はこの発明のハイパーメディアシ
ステムの概略構成図である。ハイパーメディアシステム
は、例えばカメラなどの被撮像媒体としての用紙Ｐを撮
影する撮像装置１、この撮像装置１で撮影された用紙Ｐ
の画像を画像データに変換する画像入力部２、この画像
入力部２と撮像装置１に命令をあたえ画像データを取り
込む外部信号制御部３、上記撮像装置１で撮影された用
紙Ｐの画像データ（用紙画像データ；第１の記憶画像）
を記憶する画像データ記憶部４、人間が指Ａで指示した
状態における上記撮像装置１で撮影された用紙Ｐの画像
データ（指示画像データ；第２の記憶画像）を記憶する
画像データ記憶部５、上記画像データ記憶部４と上記画
像データ記憶部５に記憶されている用紙画像データと指
示画像データとを用いて、画像データ上の指Ａの画像の
みを抽出し、この抽出された画像から指Ａの先端の位置
（座標値）を検出することにより、用紙Ｐ内の用語Ｐ１
付近の画像データの位置を検出する位置検出部６、この
位置検出部６により検出された位置の画像から目的とす
る用語Ｐ１を１文字ずつ切り出す文字切り出し部７、こ
の文字切り出し部７で切り出された１文字ごとを複合類
似度法を用いて認識する文字認識部８、この文字認識部
８で認識した用語に対応する用語説明が記憶されている
用語説明記憶部９、およびこの用語説明記憶部９から読
出された用語説明が表示されるディスプレイなどの表示
装置で構成され、説明を必要とする用語の詳しい説明を
表示する用語説明表示部１０によって構成されている。

【００１０】外部信号制御部３は、例えば制御ボタン
（スイッチ）、あるいは音声などを示しており、人間が
この動作を行うようになっている。次に、上記のような
構成において、図２、図４に示すフローチャートを参照
しつつ、用語の指示から用語説明表示までの動作を説明
する。

【００１１】すなわち、用紙Ｐの画像データを入力する
際に外部信号制御部３を制御することにより、画像入力
部２と撮像装置１に命令をあたえ画像データを取り込む
（ＳＴ１、ＳＴ１２）。取り込まれた用紙画像データ
（ＳＴ２）は、画像データ記憶部４で、例えばＭ×Ｎ
（画素）の大きさで記憶される（ＳＴ３）。その後、用
紙Ｐ内の用語Ｐ１の先頭の文字の左上部付近を人間が指
Ａで指示した状態の画像を、前記同様に外部信号制御部
３を制御することにより撮像装置１と画像入力部２から
入力し（ＳＴ４、ＳＴ５）、画像データ記憶部５で指示
画像データとして記憶する（ＳＴ６、ＳＴ１３）。

【００１２】そして、位置検出部６で画像データ記憶部
４と画像データ記憶部５に記憶されている用紙画像デー
タと指示画像データとを用いて、まず前記、例えばＭ×
Ｎ（画素）の大きさにおける画像データ上の指Ａの画像
のみを抽出し（ＳＴ１４）、この抽出された画像から指
Ａの先端の位置（座標値）を検出し（ＳＴ７、ＳＴ１
５）、位置検出部６内のメモリに蓄えておく。

【００１３】次に、画像データ記憶部５のメモリを解放
し、用紙Ｐ内の用語Ｐ１の末尾の文字の右下部付近を人
間が指Ａで指示した状態の画像を、前記同様に外部信号
制御部３を制御することにより撮像装置１と画像入力部
２から入力し（ＳＴ４、ＳＴ５）、画像データ記憶部５
で指示画像データとして新たに記憶する（ＳＴ６、ＳＴ
１６）。

【００１４】さらに、位置検出部６で画像データ記憶部
４と画像データ記憶部５に記憶されている用紙画像デー
タと指示画像データとを用いて、前記同様、例えばＭ×
Ｎ（画素）の大きさにおける画像データ上の指Ａの画像
のみを抽出し（ＳＴ１７）、この抽出された画像から指
Ａの先端の位置（座標値）を検出し（ＳＴ７、ＳＴ１
８）、前記位置検出部６内の別のメモリに蓄えておく。

【００１５】用紙Ｐ内の用語Ｐ１の先頭付近及び末尾付
近の指Ａの先端の位置（座標値）がそれぞれ検出される
と、それぞれの位置から用紙Ｐ内の用語Ｐ１付近の画像
データを、画像データ記憶部４に記憶されている用紙画
像データから切り出す。

【００１６】そして、前記画像から目的とする用語Ｐ１
を文字切り出し部７によって切り出し（ＳＴ８）、その
用語Ｐ１の各文字を抽出し、文字認識部８で複合類似度
法を用いて各文字ごとに認識する（ＳＴ９）。

【００１７】そして、用語Ｐ１の先頭の文字と、用語説
明記憶部９の用語部に記憶されている各用語の先頭の文
字と比較・参照して一致する用語を抽出し、その用語群
の中から、用語Ｐ１の２番目の文字と、用語群の各用語
の２番目の文字と比較・参照して、一致する用語を抽出
する、というように用語Ｐ１のすべての文字が一致する
用語を用語説明記憶部９の用語部から抽出する（ＳＴ１
０）。

【００１８】そして、その一致した用語の説明を用語説
明表示部１０に表示する（ＳＴ１１）。また該当する用
語が用語説明記憶部９に存在しない場合は、その旨
（「該当する用語は登録されていません。」など）を用
語説明表示部１０に表示する。

【００１９】ここで、用紙Ｐは撮像装置１に対して傾か
ないように置かれており、また、用紙Ｐは新聞・雑誌・
教材などあらゆる用紙を示しており、その用紙に書かれ
ている用語もあらゆる分野で使われている用語を対象と
している。すなわち、用語説明記憶部９に記憶されてい
る用語及びその説明もあらゆる分野で使われている用語
とその説明である。

【００２０】また、用紙Ｐの画像データは濃淡画像に限
らずカラー画像の場合でも良い。さらに、最初に用紙画
像データを画像データ記憶部４に記憶しておき、その後
用紙Ｐ内の用語Ｐ１の先頭の文字の左上部付近を指Ａで
指示した状態の画像データ、あるいは用紙Ｐ内の用語Ｐ
１の末尾の文字の右下部付近を指Ａで指示した状態の画
像データを画像データ記憶部５に記憶し、用語Ｐ１の画
像データを前記画像データ記憶部４から抽出するのは、
指Ａで用紙Ｐ内の用語Ｐ１を指示することによって、例
えば用紙Ｐ内の用語Ｐ１が指Ａで隠れてしまった場合に
も適用できるように、２枚の画像データを画像データ記
憶部４、５に記憶しているのである。

【００２１】まず、画像データの入力方法及び記憶方法
について説明する。用紙画像データは外部信号制御部３
からの信号により撮像装置１と画像入力部２によって読
み取られ、画像データ記憶部４に一定の大きさ、例えば
Ｍ×Ｎ（画素）で用紙画像データとして記憶される。

【００２２】その後、用紙Ｐ内の用語Ｐ１の先頭の文字
の左上部付近を指Ａで指示し、その指Ａで指示した状態
（指Ａは静止している状態）の用紙画像データを、外部
信号制御部３からの信号により撮像装置１と画像入力部
２によって読み取り、画像データ記憶部５に用紙Ｐの用
語Ｐ１の指示画像データとして前記同様同一の大きさ、
Ｍ×Ｎ（画素）で記憶される。

【００２３】次に、位置検出部６について述べる。位置
検出部６は図３のような構成である。位置検出部６で
は、用紙Ｐ内の用語Ｐ１の画像データ上での位置の検出
するが、その方法について説明する。最初に、画像デー
タ記憶部４に記憶されている用紙画像データと、画像デ
ータ記憶部５に記憶されている最初に指Ａで指示した状
態（指Ａは静止している状態）の用紙Ｐ内の用語Ｐ１の
指示画像データとを用いて、指Ａのみの画像を抽出す
る。

【００２４】例えば画像データの大きさをＭ×Ｎ（画
素）とし、用紙画像データの各画素における濃度値をＦ
ｉｊ（０≦ｉ＜Ｍ、０≦ｊ＜Ｎ）、用紙Ｐ内の用語Ｐ１
の先頭の文字付近の指示画像データの各画素における濃
度値をＧｉｊ（０≦ｉ＜Ｍ、０≦ｊ＜Ｎ）とすると、次
式（１）で定義されるＤｉｊ（０≦ｉ＜Ｍ、０≦ｊ＜
Ｎ）が、Ｄｉｊ＝ＧｉｊーＦｉｊ≧Ｋ（１）一定の値Ｋより大きい場合、Ｆｉｊ＝１、それ以外をＦ
ｉｊ＝０として指Ａの画像を抽出する（図５）。

【００２５】その後、上記方法により得られた指Ａのみ
の画像に対して、連結性を失わないようにして細線化を
施す（図６の（ａ）（ｂ））。細線化については公知で
ある。

【００２６】次に、指Ａの先端の位置を検出するが、こ
の検出方法について以下で説明する。上記方法により得
られた指Ａの細線化後の画像は画像データ上の四辺のい
ずれか一辺から画像の中央に向かって存在しているため
（図７（ａ）〜（ｄ））、画像の存在している四辺のい
ずれか一辺から中央に向かって走査していくことによ
り、指Ａの先端の位置（座標値）が検出できる。

【００２７】例えば図７の（ａ）のように画像の左辺か
ら中央に向かって存在している場合の四辺のいずれか一
辺の検出方法及び先端の位置の検出方法について述べ
る。画像データの大きさをＭ×Ｎ（画素）とし、各画素
における濃度値をＦｉｊ（０≦ｉ＜Ｍ、０≦ｊ＜Ｎ、Ｆ
ｉｊ＝「１」ｏｒ「０」）とすると、図８に示すよう
に、まず、画像の左上から右方向と下方向に、一列だけ
検索し、Ｆｉｊ＝１なる上部あるいは左部のいずれか一
辺の位置（以下、開始位置と呼ぶ）を検出する。

【００２８】もし検出されなければ、次に右下から左方
向と上方向に前記同様に検索し、開始位置を検出する。
前記「一列だけ検索する」とは、例えば左上から右方向
に検索する場合、Ｆｉｊのｉとｊの値を、ｊ＝０とし
て、０≦ｉ＜Ｍと変化させていくことを意味している。

【００２９】例えば図７の（ａ）、および図１０の場合
その開始位置は左辺であり、この開始位置から画像の中
央に向かって先端の位置を検索していく。先端の検索方
法は、例えばこの場合、図９に示すように、今注目の画
素Ｆｉｊとすると８近傍の画素値を用いてＦｉｊ+ １か
ら反時計回りに検索し、Ｆ＝１なる画素が検出されると
その画素の値をＦ＝２とし、順にＦ＝１なる画素が８近
傍に存在しない、すなわち検出されなくなったとき、そ
の位置でのｉとｊの値を先端の位置として算出し、位置
検出部６内のメモリに蓄える。

【００３０】また、図７の（ｂ）の場合はＦｉｊ- １か
ら反時計回りに、図７の（ｃ）の場合はＦｉ- １ｊから
反時計回りに、図７の（ｄ）の場合はＦｉ+ １ｊから反
時計回りに、それぞれ先端の位置を検索する。

【００３１】その後、画像データ記憶部５のメモリを解
放し、次に指Ａで指示した状態（用紙Ｐ内の用語Ｐ１の
末尾の文字の右下部付近を指Ａで指示した状態で、指Ａ
は静止している）の用紙Ｐの画像データを前記同様に外
部信号制御部３からの信号により撮像装置１と画像入力
部２によって読み取り、画像データ記憶部５に新たに用
語Ｐ１の指示画像データとして記憶する。

【００３２】そして、前記同様に用紙Ｐの画像データと
新たに取り込んだ用紙Ｐ内の用語Ｐ１の指示画像データ
（用語Ｐ１の末尾付近）との各画素の濃度値の差分をと
り２値化することにより指Ａの画像を抽出し、細線化処
理を施し、前記同様の方法により用紙Ｐ内の用語Ｐ１の
末尾の文字の右下部付近の位置（次に指示した指Ａの先
端の位置）を検出し、そのｉとｊの値を位置検出部６内
の別のメモリに蓄える。

【００３３】次に、画像データの処理方法について、図
１３に示すフローチャートを参照しつつ説明する。前記
抽出された、指Ａで指示した用紙Ｐ内の用語Ｐ１の先頭
文字の左上部の位置（始点（ｉ１、ｊ１））と末尾の文
字の右下部の位置（終点（ｉ２、ｊ２））をもとに（Ｓ
Ｔ１９）、図１２に示すように用語Ｐ１の画像データ抽
出範囲を決定し、画像データ記憶部４に記憶されている
用紙Ｐの画像データから用紙Ｐ内の用語Ｐ１付近の画像
データを抽出する（図１１）。そして、文字切り出し部
７によって用紙Ｐ内の用語Ｐ１を切り出し、文字認識部
８で用紙Ｐ内の用語Ｐ１の各文字ごとに認識する。

【００３４】文字切り出し部７では、例えば模様など複
雑な背景上に印刷されている用紙中の用語を切り出した
い場合、濃淡画像では、濃度ヒストグラムを作成する
と、一般に図１４のように文字領域および模様領域を示
す２つの山があらわれる。ここで例えば濃度ヒストグラ
ムを解析することにより２つの山（極大値）間でのヒス
トグラムの極小値を与える濃度値ｔｍを求め（ＳＴ２
０）、この濃度値ｔｍにより濃淡画像をしきい値処理
し、用紙Ｐ内の用語Ｐ１を２値画像として抽出する（Ｓ
Ｔ２１）。

【００３５】そして、抽出した２値画像データについて
横方向及び縦方向に抽出画素で累積し、図１５のような
周辺分布を求める（ＳＴ２２）。横方向に累積した周辺
分布から、例えば「非０」分布の範囲（つまり、文字画
像にかかわる画素が１画素でも存在する範囲）を文字領
域の縦方向とし、また同様に縦方向に累積したときの分
布から、例えば複数の「非０」分布の範囲を各文字の横
方向として図１６に示すように各文字の領域を検出し
て、文字抽出、すなわち用紙Ｐ内の用語Ｐ１の切り出し
を行い（ＳＴ２３）、文字認識部８で複合類似度法を用
いて文字認識を行う。

【００３６】ここで、用語説明の記憶方法について説明
する。図１７に示すように用語説明記憶部９には、５０
音順にさまざまな用語とそれらの詳しい説明文（意味や
内容など）が記憶されている。

【００３７】次に、指Ａで指示した用紙Ｐ内の用語Ｐ１
用語と用語説明記憶部９に記憶されている用語との比較
・参照方法について説明する。上記方法により切り出さ
れた用紙Ｐ内の用語Ｐ１の先頭の文字から順に用語説明
記憶部９の各用語部の用語の先頭の文字と比較・参照し
ていき、すべての文字が一致するまで各文字ごとにこれ
を行う。

【００３８】比較・参照の方法は、図１８に示すよう
に、まず用紙Ｐ内の用語Ｐ１の先頭の文字が一致する用
語を抽出し（第１分類用語群）、次に２番目の文字が一
致する用語を第１分類用語群から取り出す（第２分類用
語群）。以下同様にｎ番目の文字が位置する用語を第
（ｎ−１）分類用語群から取り出し、用紙Ｐ内の用語Ｐ
１のすべての文字と一致する用語を用語説明記憶部９の
用語部から抽出する。

【００３９】最後に、用語説明の表示方法について説明
する。切り出された用紙Ｐ内の用語Ｐ１の各文字がすべ
て一致した場合、用語説明記憶部９の該当する用語説明
から抽出し、用語説明表示部１０、例えばディスプレイ
に表示する。また、一致しない場合、すなわち該当する
用語が存在しない場合はその旨（「該当する用語は登録
されていません。」など）を用語説明表示部１０に表示
する。

【００４０】この発明はこのように用紙に書かれた用語
の意味など詳しい説明を、人間が辞書などを引くことな
しに得られるようにするため、例えば指Ａでその用語の
左上部と右下部を指示し、ディスプレイなどの表示装置
に表示することによって、指Ａで指示した用語について
の知識を得ることができるようにすることを目的とした
システムである。

【００４１】この発明は、用紙内の用語を指Ａで指示す
ること（用紙と指Ａという組み合わせ）により実現され
たシステムであるが、他にもさまざまな媒体対象と指示
道具の組み合わせでも実現できる。

【００４２】この発明の第２の実施（変形）例としてデ
ィスプレイと棒（鉛筆やペンなど）あるいは指の組み合
わせが挙げられる。用紙Ｐの代わりにディスプレイなど
の表示装置を用い、ディスプレイ上に表示された用語Ｐ
２を例えば棒（鉛筆やペンなど）を用いて指示し、その
用語Ｐ２の詳しい説明をディスプレイに表示するシステ
ムである。

【００４３】以下に図面を参照して詳しく述べる。図１
９はこの発明の第２の実施（変形）例のハイパーメディ
アシステムの概略構成図、図２０はそのハイパーメディ
アシステムの動作を説明するためのフローチャートであ
る。ただし、図１と同一部位には同一符号を付し、説明
を省略する。

【００４４】図１９において、用紙Ｐの代りに用いる被
撮像媒体としてのディスプレイなどの表示装置２０と、
このディスプレイ２０に表示される文字から用語を指示
する棒あるいは鉛筆やペンなど（指示手段）２１が設け
られている。

【００４５】すなわち、用紙Ｐの画像データを入力する
際に外部信号制御部３を制御することにより画像入力部
２と撮像装置１に命令をあたえ、ディスプレイ２０から
の画像データを取り込む（ＳＴ２４、ＳＴ２５）。外部
信号制御部３は例えば制御ボタン（スイッチ）、あるい
は音声などを示しており人間がこの動作を行う。取り込
まれたディスプレイ２０の画像データは、画像データ記
憶部４で、例えばＭ×Ｎ（画素）の大きさで記憶される
（ＳＴ２６）。

【００４６】その後、ディスプレイ２０内の用語Ｐ２の
先頭の文字の左上部付近を人間が例えば棒（鉛筆やペン
など）２１で指示した状態の画像を、前記同様に外部信
号制御部３を制御することにより撮像装置１と画像入力
部２から入力し（ＳＴ２７、ＳＴ２８）、画像データ記
憶部５で指示画像データとして記憶する（ＳＴ２９）。

【００４７】そして、位置検出部６で画像データ記憶部
４と画像データ記憶部５に記憶されているディスプレイ
２０の画像データと指示画像データとを用いて、まず前
記、例えばＭ×Ｎ（画素）の大きさにおける画像データ
上の棒（鉛筆やペンなど）の画像のみを抽出し、この画
像から棒（鉛筆やペンなど）２２の先端の位置を検出し
（ＳＴ３０）、位置検出部６内のメモリに蓄えておく。

【００４８】次に、画像データ記憶部５のメモリを解放
し、ディスプレイ２０内の用語Ｐ１の末尾の文字の右下
部付近を人間が棒（鉛筆やペンなど）で指示した状態の
画像を、前記同様に外部信号制御部３を制御することに
より撮像装置１と画像入力部２から入力し（ＳＴ２７、
ＳＴ２８）、画像データ記憶部５で指示画像データとし
て新たに記憶する（ＳＴ２９）。

【００４９】さらに、位置検出部６で画像データ記憶部
４と画像データ記憶部５に記憶されているディスプレイ
２０の画像データと指示画像データとを用いて、前記同
様、例えばＭ×Ｎ（画素）の大きさにおける画像データ
２０上の棒（鉛筆やペンなど）２１の画像のみを抽出
し、この画像から棒（鉛筆やペンなど）２１の先端の位
置を検出し（ＳＴ３０）、前記位置検出部６内の別のメ
モリに蓄えておく。

【００５０】ディスプレイ２０内の用語Ｐ２の先頭付近
及び末尾付近の指の先端の位置がそれぞれ検出される
と、ディスプレイ２０上の検出された位置（範囲）のコ
ード情報により用語Ｐ２の各文字を文字切り出し部７に
よって切り出し（ＳＴ３１）、その用語Ｐ１の各文字を
抽出し、用語Ｐ２の先頭の文字と、用語説明記憶部８の
用語部に記憶されている各用語の先頭の文字と比較・参
照して一致する用語を抽出し、その用語群の中から、用
語Ｐ２の２番目の文字と、用語群の各用語の２番目の文
字と比較・参照して、一致する用語を抽出する、という
ように用語Ｐ２のすべての文字が一致する用語を用語説
明記憶部８の用語部から抽出する（ＳＴ３２）。

【００５１】そして、その一致した用語の説明をディス
プレイ２０上のある位置に表示する（ＳＴ３３）。また
該当する用語が用語説明記憶部８に存在しない場合はそ
の旨（「該当する用語は登録されていません。」など）
をディスプレイ２０に表示する。

【００５２】この発明の第３の実施（変形）例としてス
クリーンとレーザー投射の組み合わせが挙げられる。用
紙Ｐの代わりにスクリーンに撮影されている用語Ｐ３
を、撮像装置１及び画像入力部２によってレーザー投射
あるいは棒を用いて指示し、その用語Ｐ３の詳しい説明
を表示装置１０に表示するシステムである。

【００５３】以下に図面を参照して詳しく述べる。図２
１はこの発明の第３の実施（変形）例のハイパーメディ
アシステムの概略構成図、図２２はそのハイパーメディ
アシステムの動作を説明するためのフローチャートであ
る。ただし、図１と同一部位には同一符号を付し、説明
を省略する。

【００５４】図２１において、用紙Ｐの代りに用いる被
撮像媒体としてのスクリーン２２と、このスクリーン２
２に撮影される文字から用語を指示するレーザを発生す
るレーザー投射機２３が設けられている。

【００５５】すなわち、用紙Ｐの画像データを入力する
際に外部信号制御部３を制御することにより画像入力部
２と撮像装置１に命令をあたえ（ＳＴ３４）、スクリー
ン２２からの画像データを取り込む（ＳＴ３５）。外部
信号制御部３は例えば制御ボタン（スイッチ）、あるい
は音声などを示しており人間がこの動作を行う。画像入
力部２より取り込まれたスクリーン２２の画像データ
は、画像データ記憶部４で、例えばＭ×Ｎ（画素）の大
きさで記憶される（ＳＴ３６）。その後、スクリーン２
２内の用語Ｐ３の先頭の文字の左上部付近を人間がレー
ザー投射した状態の画像を、前記同様に外部信号制御部
３を制御することにより撮像装置１と画像入力部２から
入力し（ＳＴ３７、３８）、画像データ記憶部５で指示
画像データとして記憶する（ＳＴ３９）。ここで、レー
ザーの光路は必ず画像上に写ることを条件としており、
前記第１の実施例における（１）式による２値化処理
は、次式（１’）により行うこととする。

【００５６】Ｄｉｊ＝｜ＧｉｊーＦｉｊ｜≧Ｋ（１’）また、棒で指示する場合はこの限りではない。そして、
位置検出部６で画像データ記憶部４と画像データ記憶部
５に記憶されているスクリーン２２の画像データとレー
ザー投射画像データとを用いて、まず前記、例えばＭ×
Ｎ（画素）の大きさにおける画像データ上のレーザーの
画像のみを抽出し、この画像からレーザーの先端の位置
を検出し（ＳＴ４０）、位置検出部６内のメモリに蓄え
ておく。

【００５７】次に、画像データ記憶部５のメモリを解放
し、スクリーン２２内の用語Ｐ３の末尾の文字の右下部
付近を人間がレーザー投射した状態の画像を、前記同様
に外部信号制御部３を制御することにより撮像装置１と
画像入力部２から入力し、画像データ記憶部５で指示画
像データとして新たに記憶する（ＳＴ３９）。

【００５８】さらに、位置検出部６で画像データ記憶部
（１）３と画像データ記憶部（２）４に記憶されている
スクリーン２２の画像データとレーザー投射画像データ
とを用いて、前記同様、例えばＭ×Ｎ（画素）の大きさ
における画像データ上のレーザーの画像のみを抽出し、
この画像からレーザーの先端の位置を検出し（ＳＴ４
０）、前記位置検出部６内の別のメモリに蓄えておく。

【００５９】スクリーン２２内の用語Ｐ３の先頭付近及
び末尾付近のレーザーの先端の位置がそれぞれ検出され
ると、それぞれの位置からスクリーン２２内の用語Ｐ３
付近の画像データを、画像データ記憶部４に記憶されて
いるスクリーン２２の画像データから切り出す。そし
て、前記画像から目的とする用語Ｐ３を文字切り出し部
７によって切り出し（ＳＴ４１）、その用語Ｐ３の各文
字を抽出し、文字認識部８で複合類似度法を用いて各文
字ごとに認識する（ＳＴ４２）。

【００６０】そして、用語Ｐ３の先頭の文字と、用語説
明記憶部９の用語部に記憶されている各用語の先頭の文
字と比較・参照して一致する用語を検出し、その用語群
の中から、用語Ｐ３の２番目の文字と、用語群の各用語
の２番目の文字と比較・参照して、一致する用語を検出
する、というように用語Ｐ３のすべての文字が一致する
用語を用語説明記憶部９の用語部から検出する（ＳＴ４
３）。

【００６１】そして、その一致した用語の説明を用語説
明表示部１０に表示する（ＳＴ４４）。用語説明表示部
１０は、説明を必要とする用語の詳しい説明を表示する
もので、ディスプレイなどの表示装置である。また該当
する用語が用語説明記憶部９に存在しない場合はその旨
（「該当する用語は登録されていません。」など）を用
語説明表示部１０に表示する。

【００６２】ここで、スクリーン２２に投影されている
用語Ｐ３はあらゆる分野で使われている用語を対象とし
ており、用語説明記憶部９に記憶されている用語及びそ
の説明もあわゆる分野で使われている用語とその説明で
ある。

【００６３】また、スクリーン２２の画像データは濃淡
画像に限らずカラー画像の場合でも良い。さらに、最初
にスクリーン２２の画像データを画像データ記憶部４に
記憶しておき、その後スクリーン２２内の用語Ｐ３の先
頭の文字の左上部付近をレーザー投射した状態の画像デ
ータ、あるいはスクリーン２２内の用語Ｐ３の末尾の文
字の右下部付近をレーザー投射した状態の画像データを
画像データ記憶部５に記憶し、用語Ｐ３の画像データを
前記画像データ記憶部４から抽出するのは、レーザー投
射によりスクリーン２２内の用語Ｐ３を指示することに
よって、例えばスクリーン２２内の用語Ｐ３がレーザー
で隠れてしまった場合にも適用できるように、２枚の画
像データを画像データ記憶部４、５に記憶しているので
ある。

【００６４】また、この場合の用語Ｐ３の指示方法も、
例えば用語Ｐ３の下側に下線を引くようにしてレーザー
投射する、あるいは用語Ｐ３を囲むようにして指示す
る、など数種類考えられる。

【００６５】この発明の第４の実施（変形）例として看
板と差し棒の組み合わせが挙げられる。用紙Ｐ内の用語
Ｐ１の代わりに看板２４などに書かれている用語Ｐ４
を、撮像装置１及び画像入力部２によって差し棒を用い
て指示し、その用語Ｐ４の詳しい説明を表示装置１０に
表示するシステムである。

【００６６】以下に図面を参照して詳しく述べる。図２
３はこの発明の第４の実施（変形）例のハイパーメディ
アシステムの概略構成図、図２４はそのハイパーメディ
アシステムの動作を説明するためのフローチャートであ
る。ただし、図１と同一部位には同一符号を付し、説明
を省略する。

【００６７】図２３において、用紙Ｐの代りに用いる被
撮像媒体としての看板２４と、この看板２４に表示され
る文字から用語を指示する差し棒２５（指示手段）２１
が設けられている。

【００６８】すなわち、用紙Ｐの画像データを入力する
際に外部信号制御部３を制御することにより画像入力部
２と撮像装置１に命令をあたえ（ＳＴ４５）、看板２４
からの画像データを取り込む（ＳＴ４６）。外部信号制
御部３は例えば制御ボタン（スイッチ）、あるいは音声
などを示しており人間がこの動作を行う。画像入力部２
より取り込まれた看板２４の画像データは、画像データ
記憶部４で、例えばＭ×Ｎ（画素）の大きさで記憶され
る（ＳＴ４７）。

【００６９】その後、看板２４内の用語Ｐ４の先頭の文
字の左上部付近を人間が差し棒２５で指示した状態の画
像を、前記同様に外部信号制御部３を制御することによ
り撮像装置１と画像入力部２により入力し（ＳＴ４８、
４９）、画像データ記憶部５で指示画像データとして記
憶する（ＳＴ５０）。

【００７０】そして、位置検出部６で画像データ記憶部
４と画像データ記憶部５に記憶されている看板２４の画
像データと指示画像データとを用いて、まず前記、例え
ばＭ×Ｎ（画素）の大きさにおける画像データ上の差し
棒２５の画像のみを抽出し、この画像から差し棒２５の
先端の位置を検出し（ＳＴ５１）、位置検出部６内のメ
モリに蓄えておく。

【００７１】次に、画像データ記憶部５のメモリを解放
し、看板２４内の用語Ｐ４の末尾の文字の右下部付近を
人間が差し棒２５で指示した状態の画像を、前記同様に
外部信号制御部３を制御することにより撮像装置１と画
像入力部２により入力し（ＳＴ４９）、画像データ記憶
部５で指示画像データとして新たに記憶する（ＳＴ５
０）。

【００７２】さらに、位置検出部６で画像データ記憶部
４と画像データ記憶部５に記憶されている看板２４の画
像データと指示画像データとを用いて、前記同様、例え
ばＭ×Ｎ（画素）の大きさにおける画像データ上の差し
棒２５の画像のみを抽出し、この画像から差し棒２５の
先端の位置を検出し（ＳＴ５１）、前記位置検出部６内
の別のメモリに蓄えておく。

【００７３】看板２４内の用語Ｐ４の先頭付近及び末尾
付近の差し棒２５の先端の位置がそれぞれ検出される
と、それぞれの位置から看板２４内の用語Ｐ４付近の画
像データを、画像データ記憶部４に記憶されている看板
２４の画像データから切り出す。

【００７４】そして、前記画像から目的とする用語Ｐ４
を文字切り出し部７によって切り出し（ＳＴ５２）、そ
の用語Ｐ４の各文字を抽出し、文字認識部８で複合類似
度法を用いて各文字ごとに認識する（ＳＴ５３）。

【００７５】そして、用語Ｐ４の先頭の文字と、用語説
明記憶部９の用語部に記憶されている各用語の先頭の文
字と比較・参照して一致する用語を抽出し、その用語群
の中から、用語Ｐ４の２番目の文字と、用語群の各用語
の２番目の文字と比較・参照して、一致する用語を抽出
する、というように用語Ｐ４のすべての文字が一致する
用語を用語説明記憶部９の用語部から抽出する（ＳＴ５
４）。

【００７６】そして、その一致した用語の説明を用語説
明表示部９に表示する（ＳＴ５５）。用語説明表示部１
０は、説明を必要とする用語の詳しい説明を表示するも
ので、ディスプレイなどの表示装置である。また該当す
る用語が用語説明記憶部９に存在しない場合はその旨
（「該当する用語は登録されていません。」など）を用
語説明表示部１０に表示する。

【００７７】ここで、看板２４に書かれている用語Ｐ４
はあらゆる分野で使われている用語を対象としており、
用語説明記憶部９に記憶されている用語及びその説明も
あわゆる分野で使われている用語とその説明である。

【００７８】また、看板２４の画像データは濃淡画像に
限らずカラー画像の場合でも良い。さらに、最初に看板
２４の画像データを画像データ記憶部４に記憶してお
き、その後看板２４内の用語Ｐ４の先頭の文字の左上部
付近を差し棒２５で指示した状態の画像データ、あるい
は看板２４内の用語Ｐ４の末尾の文字の右下部付近を差
し棒２５で指示した状態の画像データを画像データ記憶
部５に記憶し、用語Ｐ４の画像データを前記画像データ
記憶部４から抽出するのは、差し棒２５で看板２４内の
用語Ｐ４を指示することによって、例えば看板２４内の
用語Ｐ４が差し棒で隠れてしまった場合にも適用できる
ように、２枚の画像データを画像データ記憶部に記憶し
ているのである。

【００７９】前記別の実施例同様に、用語Ｐ４の指示方
法は、用語Ｐ４の先頭付近と末尾付近を指示する、ある
いは用語Ｐ４の下側を下線を引くようにして指示する、
用語Ｐ４を囲むようにして指示する、などが考えられ
る。

【００８０】前記第４の実施例の変形例としては、例え
ば、近くに表示装置１０がない場合、あるいは看板２４
に書かれている用語Ｐ４についての詳しい説明をその場
で知る必要のない場合、その場で看板２４の画像をカメ
ラなどの撮像装置１で撮影しておき、その後前記撮影し
た画像をディスプレイなどの表示装置１０に再度表示
し、上記第２の実施（変形）例同様に棒あるいは指で指
示し、その用語Ｐ４の詳しい説明をディスプレイ１０に
表示するシステムが挙げられる。

【００８１】上記したように、新聞・雑誌・教材などあ
らゆる用紙に書かれている、あらゆる分野の用語、人間
が分からないと思った用語の詳しい説明を、辞書を引く
ことなく指で指示することによって、ディスプレイなど
の表示装置に簡単に表示することができる。

【００８２】また、手が自由に動かせないなど過度に障
害を持つ身障者に対しても、わずかな指の動きにより
（指で指示する）、分からない、詳しく知りたいと思っ
た用語の詳しい説明を知ることができる。

【００８３】

【発明の効果】以上詳述したように、この発明によれ
ば、指示の入力を簡単かつ容易に行うことができ、また
用語の詳しい説明を、辞書を引くことなく、簡単に表示
することができるハイパーメディアシステムを提供を提
供できる。

【図面の簡単な説明】

【図１】この発明の一実施例におけるハイパーメディア
システムの構成を概略的に示すブロック図。

【図２】用語の指示から用語説明表示までの動作を説明
するためのフローチャート。

【図３】位置検出部における処理を説明するための図。

【図４】指で指示した用語の始点と終点の位置を検出す
る動作を説明するためのフローチャート。

【図５】指画像の抽出の例を示す図。

【図６】指画像の細線化処理の例を示す図。

【図７】細線化後の指画像の例を示す図。

【図８】細線化後の指画像の四辺のいずれか一辺を検出
する方法を示す図。

【図９】指の先端の位置を検出する８近傍画素を示す
図。

【図１０】指の先端の位置の例を示す図。

【図１１】用語の切り出しの例を示す図。

【図１２】用語の切り出し範囲の決定の例を示す図。

【図１３】用語の切り出しの動作を説明するためのフロ
ーチャート。

【図１４】用語の濃淡ヒストグラムの例を示す図。

【図１５】用語の切り出し方法を示す図。

【図１６】用語の切り出し結果の例を示す図。

【図１７】用語説明記憶部の記憶例を示す図。

【図１８】指示した用語と用語説明記憶部の用語との比
較・参照の方法を示す図。

【図１９】他の実施例に係るハイパーメディアシステム
の構成を概略的に示すブロック図。

【図２０】図１９のシステムの用語の指示から用語説明
表示までの動作を説明するためのフローチャート。

【図２１】他の実施例に係るハイパーメディアシステム
の構成を概略的に示すブロック図。

【図２２】図２１のシステムの用語の指示から用語説明
表示までの動作を説明するためのフローチャート。

【図２３】他の実施例に係るハイパーメディアシステム
の構成を概略的に示すブロック図。

【図２４】図２３のシステムの用語の指示から用語説明
表示までの動作を説明するためのフローチャート。

【符号の説明】

Ｐ…用紙（被撮像媒体）Ｐ１…用語Ａ…指（指示手段）１…撮像装置（撮像手段）２…画像入力部３…外部信号制御部４、５…画像データ記憶部（第１、第２の記憶手段）６…位置検出部（検出手段）７…文字切り出し部（抽出手段）８…文字認識部（認識手段）９…用語説明記憶部（第３の記憶手段）１０…用語説明表示部（報知手段）

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号庁内整理番号ＦＩ技術表示箇所Ｇ０６Ｆ 15/62 ３８０

Claims

【特許請求の範囲】

【請求項１】被撮像媒体を撮像する撮像手段と、上記被撮像媒体の所定位置を指示する指示手段と、上記撮像手段により撮像された上記被撮像媒体全体の撮
像画像を記憶する第１の記憶手段と、上記撮像手段により上記指示手段による指示を行ってい
る際の上記被撮像媒体の撮像画像を記憶する第２の記憶
手段と、上記第１の記憶手段に記憶された撮像画像と上記第２の
記憶手段に記憶された撮像画像に基づいて、上記指示手
段による上記被撮像媒体上の指示位置を検出する検出手
段と、を具備したことを特徴とするハイパーメディアシステ
ム。
【請求項２】被撮像媒体を撮像する撮像手段と、上記被撮像媒体の所定位置を指示する指示手段と、上記撮像手段により撮像された上記被撮像媒体全体の撮
像画像を記憶する第１の記憶手段と、上記撮像手段により上記指示手段による指示を行ってい
る際の上記被撮像媒体の撮像画像を記憶する第２の記憶
手段と、上記第１の記憶手段に記憶された撮像画像と上記第２の
記憶手段に記憶された撮像画像に基づいて、上記指示手
段による上記被撮像媒体上の指示位置を検出する検出手
段と、この検出手段により検出された指示位置に対応する用語
を上記第１の記憶手段の第１の撮像画像から抽出する抽
出手段と、この抽出手段により抽出された用語の各文字の認識を行
う認識手段と、を具備したことを特徴とするハイパーメディアシステ
ム。
【請求項３】被撮像媒体を撮像する撮像手段と、上記被撮像媒体の所定位置を指示する指示手段と、上記撮像手段により撮像された上記被撮像媒体全体の撮
像画像を記憶する第１の記憶手段と、上記撮像手段により上記指示手段による指示を行ってい
る際の上記被撮像媒体の撮像画像を記憶する第２の記憶
手段と、上記第１の記憶手段に記憶された撮像画像と上記第２の
記憶手段に記憶された撮像画像に基づいて、上記指示手
段による上記被撮像媒体上の指示位置を検出する検出手
段と、この検出手段により検出された指示位置に対応する用語
を上記第１の記憶手段の第１の撮像画像から抽出する抽
出手段と、この抽出手段により抽出された用語の各文字の認識を行
う認識手段と、複数の用語に対応して、これら複数の用語各々の説明文
を記憶している第３の記憶手段と、上記認識手段により認識した用語に対する説明文を上記
第３の記憶手段から読出す読出手段と、この読出手段により読出した説明文を出力する出力手段
と、を具備したことを特徴とするハイパーメディアシステ
ム。