以下、図面を参照して本発明の実施形態を説明する。
図1は本発明の一実施形態に係る辞書検索装置として用いられる電子辞書装置の外観構成を示す正面図である。なお、本実施形態における電子辞書装置10は、電子辞書専用の携帯型電子機器として構成されているものである。
図1に示すように、この電子辞書装置10は、本体ケース11と蓋体ケース12とがヒンジ部13を介して展開/閉塞可能な折り畳み型ケースとして構成される。この折り畳み型ケースを展開した本体ケース11の表面には、キー入力部14および手書き入力部(サブ画面)16が設けられている。
キー入力部14には、文字入力キー14a、辞書指定キー14b、[訳/決定]キー14c、[戻る/リスト]キー14d、カーソルキー14e、[ジャンプ]キー14f、スピーカ15などが配置されている。
手書き入力部(サブ画面)16は、ユーザがペンや指等でタッチした位置を検出するタッチ位置検出装置と表示装置が一体となった構造であり、キー入力部14の中央手前側において例えば256×64ドットの液晶表示画面16dに透明タッチパネル16tを重ねて構成される。この手書き入力部(サブ画面)16の入力領域は、必要に応じて、手書き文字を入力するための手書き文字(漢字)入力領域や各種機能のアイコン入力領域、あるいは各入力領域が混在する領域に切り替えられる。
そして、前記手書き入力部(サブ画面)16が手書き文字入力領域に切り替えられた状態での手書き入力に伴う軌跡はその液晶表示画面16dにエコーバックして表示される。
また、蓋体ケース12の表面には、そのほぼ全面を対象に例えば480×320ドットのバックライト付きのタッチパネル式カラー表示部(メイン画面)17が設けられる。このタッチパネル式カラー表示部(メイン画面)17も、前記手書き入力部(サブ画面)16と同様に、ユーザがペンや指等でタッチした位置を検出するタッチ位置検出装置と表示装置が一体となった構造であり、カラー液晶表示画面17dに透明タッチパネル17tを重ねて構成される。
そして、前記タッチパネル式カラー表示部(メイン画面)17の右端には、前記キー入力部14における一部のキーの押下操作をタッチ操作により行うための、キー表記(例えば[メニュー]や[保存]キー等)が表示されるタッチキーエリア17Aが設けられる。
図2は電子辞書装置10の電子回路の構成を示すブロック図である。
この電子辞書装置10は、各種の記憶媒体に記録されたプログラム、又は、伝送されたプログラムを読み込んで、その読み込んだプログラムによって動作が制御されるコンピュータによって構成される。
この電子辞書装置10には、CPU(central processing unit)21が備えられる。CPU21は、メモリ(フラッシュROM)22内に予め記憶された制御プログラム、あるいはROMカード等の記録媒体23あるいはインターネット等の通信媒体を介して提供された制御プログラムを読み込むことにより、回路各部の動作を制御する。
このCPU21には、メモリ22、記録媒体読取部24、通信制御部25、キー入力部14、手書き入力部(サブ画面)16、タッチパネル式カラー表示部(メイン画面)17などが接続される。
メモリ22に記憶される制御プログラムとしては、装置全体の動作を司るシステムプログラムや、通信制御部25を介して外部のPC(Personal Computer)26などとデータ通信するための通信プログラムが含まれる。
このメモリ22には、検索文字列の入力に応じて見出し語を検索する見出し語検索処理、検索された見出し語に対応した説明情報(訳語・語義など)の読み出し表示処理、表示された説明情報の中で指定された文字列を他の辞書にジャンプして検索するためのジャンプ検索処理などに関わる種々の情報表示を制御するための情報表示制御プログラム22aが記憶される。
また、このメモリ22には、辞書データベース22b、辞書内蔵画像ファイル22c、ユーザ画像ファイル22d、図データ検索用テーブル22eが記憶される。
辞書データベース22bには、「英和辞典」,「英和大辞典」,「英英辞典」,「国語辞典」…などの各種の辞書・辞典類が電子データ化されて記憶されている。これらの辞書・辞典類には、複数の見出し語とこれらの見出し語の語義毎の説明情報とが対応付けられている。例えば、「英和辞典」であれば、アルファベットの見出し語に対応付けて日本語の説明情報が記述されている。また、「国語辞典」であれば、漢字/かなの見出し語に対応付けて日本語の説明情報が記述されている。
辞書内蔵画像ファイル22cは、これらの辞書・辞典類の説明情報に用いられている画像データがファイル化されて内蔵画像として記憶されている。
ユーザ画像ファイル22dは、記録媒体23や外部のPC26から得られた画像データがファイル化されてユーザ画像として記憶されている。
後に詳しく説明するように、この電子辞書装置10では、これらの画像データ(辞書の内蔵画像やユーザ画像)の中の任意の領域を指定し、その指定領域内の画像に対してキーワードを設定して辞書検索を行う辞書検索機能を備えている。
図データ検索用テーブル22eは、上述した電子辞書装置10に備えられた辞書検索機能(画像中の任意領域内の画像に対するキーワード設定とそのキーワードを検索文字列とした辞書検索機能)を実現するためのテーブルである。
図3に示すように、この図データ検索用テーブル22eには、キーワードとそのキーワードに対応した画像の領域を示す座標情報、その画像のファイル名、辞書の種別と見出し語、さらに、語義番号が関連付けられている。
図中の*マークはユーザによって任意に設定されたキーワードであることを示す。*マークが付されていないキーワードは、予めデフォルト設定されているものであり、画像全体に対応付けられている。なお、図3の例では、X=(0,0),Y=(0,0)が画像全体を示すものとする。例えば、キーワード「elephant」は、ファイル名「elephant.bmp」の画像データの全体に対応している。
一方、*マーク付きのキーワードである「trunks」は、ファイル名「sportsware.bmp」の画像データの中の指定領域X=(0,135),Y=(57,148)の部分に対応しており、その画像部分は[英和辞典]の見出し語「trunk」に対応した説明情報の中の語義番号10(1)に対応付けられている。語義番号10(1)とは、説明情報の中の10番目の語義の(1)項目の説明という意味である。
図2において、記録媒体読取部24は、記録媒体23に記録されたデータの読み取りを行う。記録媒体23としては、例えばメモリカードなどが用いられ、プログラムや画像などが記録されている。
通信制御部25は、図示せぬUSB(Universal Serial Bus)を介して接続されたPC26との間のデータ通信、あるいは所定の通信回線を介して無線により接続される外部端末との間のデータ通信を行う。
図4は電子辞書装置10に備えられたCPU21が情報表示制御プログラム22aを実行することにより果たす機能構成を示すブロック図である。
CPU21は、画像データを用いた辞書検索においては、画像表示部21aと、範囲指定部21bと、キーワード設定部21cと、語義指定部21dと、辞書検索部21eと、検索結果表示手部21fと、画像登録部21gと、指定領域確認部21hと、修正部21iと、キーワード検索部21jと、図検索部21kとして機能する。
画像表示部21aは、ユーザ操作によりメモリ22の辞書内蔵画像ファイル22c、ユーザ画像ファイル22dに記憶された各画像の中の任意の画像を表示する。
範囲指定部21bは、ユーザ操作により画像表示部21aによって表示された画像の中の任意の部分を範囲指定する。
キーワード設定部21cは、ユーザ操作により範囲指定部21bによって範囲指定された部分画像に対してキーワードを設定する。
語義指定部21dは、ユーザ操作により辞書データベース22bに記憶された辞書の各見出し語の中からキーワード設定部21cによって設定されたキーワードに対応した見出し語とその中の語義を指定する。
辞書検索部21eは、辞書データベース22bに記憶された辞書の中から検索対象として指定された見出し語を検索する。
検索結果表示手部21fは、辞書検索部21eによって検索された見出し語の語義毎の説明情報を前記辞書から読み出して検索結果として表示すると共に、その見出し語が図データ検索用テーブル22eに登録されている場合には、前記指定された語義に画像有りを示すマークを対応付けて表示し、このマークの指定に伴い、図データ検索用テーブル22eに基づいて辞書内蔵画像ファイル22cまたはユーザ画像ファイル22dから該当する画像の中の前記部分画像を表示する。
画像登録部21gは、外部から任意の画像を取得し、その画像を前記キーワードの設定対象の1つとして前記画像記憶手段に登録する。
指定領域確認部21hは、範囲指定部21bによって範囲指定された領域を識別表示すると共に、キーワード設定部21cによって設定されたキーワードを前記範囲指定された領域内に表示する。
修正部21iは、ユーザ操作によりキーワード設定部21cによって設定されたキーワードの文字列を修正する。前記語義指定部21dは、この修正部21iによって修正された文字列を検索文字列として辞書データベース22bに記憶された辞書を検索し、その検索結果として得られた見出し語とその中の語義を指定する。
キーワード検索部21jは、ユーザ操作によりキーワードが入力された際に、図データ検索用テーブル22eを参照して該当する画像を辞書内蔵画像ファイル22cまたはユーザ画像ファイル22dから読み出し、その画像を検索結果として表示する。
図検索部21kは、ユーザ操作により予め設定された複数の分類項目を階層的に表示し、図データ検索用テーブル22eを参照して、前記各分類項目の中で指定された分類項目に対応した画像を辞書内蔵画像ファイル22cまたはユーザ画像ファイル22dから読み出し、検索結果として表示する。
次に、同実施形態の動作を説明する。
以下では、画像データを用いた辞書検索に関する処理として、(a)画像保存処理、(b)キーワード登録処理、(c)辞書検索処理に分けて説明する。なお、以下の各フローチャートで示される処理は、コンピュータであるCPU21がメモリ22に記憶された情報表示制御プログラム22aを読み込むことにより実行されるものである。
(a)画像保存処理
図5は電子辞書装置10に備えられたCPU21によって実行される画像保存処理の動作を示すフローチャートであり、PC26から電子辞書装置10へ任意の画像データをユーザ画像として登録する場合の処理の流れが示されている。
まず、ユーザがPC26と電子辞書装置10を図示せぬUSBケーブルを介して接続した状態で(ステップA11)、所定の操作により電子辞書装置10のメモリ22に設けられたユーザ画像ファイル22dの記憶エリアの内容をタッチパネル式カラー表示部(メイン画面)17に表示する(ステップA12)。
ここで、ユーザがPC26の中から保存対象とする画像ファイルを指定すると共に(ステップA13)、その保存先を電子辞書装置10のユーザ画像ファイル22dに指定すると(ステップA14)、PC26から前記指定された画像ファイルが読み出され、通信制御部25を介してユーザ画像ファイル22dの記憶エリアに保存される(ステップA15)。
なお、ここではPC26から取得した任意の画像をユーザ画像として登録する場合について説明したが、記録媒体23などを介して取得した任意の画像をユーザ画像として登録することも可能である。
(b)キーワード登録処理
図6は電子辞書装置10に備えられたCPU21によって実行されるキーワード登録処理の動作を示すフローチャートであり、画像データの中の指定領域に対してキーワードを登録する場合の処理の流れが示されている。
まず、ユーザが所定の操作により画像ファイルの表示を指示すると、電子辞書装置10のメモリ22に記憶されているユーザ画像ファイル22dの内容がタッチパネル式カラー表示部(メイン画面)17に表示される(ステップB11)。この中で任意の画像ファイル名を指定すると(ステップB12)、その指定された画像ファイル名の画像データがタッチパネル式カラー表示部(メイン画面)17に表示される(ステップB13)。
ここで、図9乃至図22に具体例を挙げて説明する。
今、PC26から電子辞書装置10に転送された各種の画像ファイル(「trunk.bmp」,「tree.bmp」,「sportwere.bmp」,「body.bmp」等)がユーザ画像ファイル22dとして保存されているものとする。
図9は、「body.bmp」の画像データ41が表示された状態を示している。このとき、タッチパネル式カラー表示部(メイン画面)17の右端に設けられたタッチキーエリア17Aには、[メニュー]キー31と[編集]キー32が操作可能なキーとして表示されている。
ここで、ユーザがタッチキーエリア17Aの[編集]キー32をタッチすると(ステップB14のYes)、編集モードに切り替わり、図10に示すように、画面左下付近に編集ツール33が表示されると共に、タッチキーエリア17Aの中の[編集]キー32が[保存]キー33に変わる。
ユーザはペンPを操作して、編集ツール33の中のパーツを取り出し、現在表示されている画像データ41(元画像)の中の任意の部分に当て嵌めて、枠43や線44を入力すると共に(ステップB15)、矢印45を入力する(ステップB16)
矢印45の入力に伴い、手書き入力部(サブ画面)16に「キーワードを入力してください!」といったメッセージ46が表示される。このメッセージ46に従い、ユーザがペンPの筆記操作あるいはキー入力部14の文字入力キー14aを押下操作して、キーワード47を入力すると(ステップB17)、その入力されたキーワード47が画像データ41(元画像)の中の枠43や線44で囲まれた対象画像部分に対応したキーワードとして、図3に示した図データ検索用テーブル22eに登録される(ステップB18)。
図11の例では、「trunk」といったキーワード47が入力されている。なお、ユーザがペンPの筆記操作によりキーワード47を手書き入力した場合には、タッチパネル式カラー表示部(メイン画面)17の上部に表示された操作項目の中の「認識」キー16aをタッチすることで、その手書き入力されたキーワード47が文字認識される。
また、図12に示すように、キーワード47の入力に伴い、画像データ41の中に矢印45に対応付けて当該キーワード47が追加表示される(ステップB19)。詳しくは、キーワード47を構成する文字列の幅が計算され、画像データ41の中の矢印45の近傍にその文字列の幅分の座標が確保されて、そこにキーワード47が追加表示されることになる。
キーワード47が追加表示されると、画像データ41(元画像)の中の枠43や線44、キーワード47を含むエリアが範囲指定領域48として認識され、その範囲指定領域48が所定の色(例えば緑色)で識別表示される(ステップB20)。このとき、ユーザがペンPを操作して範囲指定領域48を任意に修正することができる(ステップB21)。
ここで、ユーザがタッチパネル式カラー表示部(メイン画面)17のタッチキーエリア17Aに設けられた[保存]キー33をタッチすると(ステップB22のYes)、枠43や線44、キーワード47が追加された画像データ41(元画像)がメモリ22のユーザ画像ファイル22dに上書き保存される(ステップB23)。
また、[保存]キー33のタッチ操作に伴い、図13に示すように、手書き入力部(サブ画面)16に「見出し語の説明に追加しますか?」といったメッセージ49が表示される。このメッセージ49に対し、ユーザが手書き入力部(サブ画面)16の上部に表示された操作項目の中の「訳/決定」キー16bをタッチすると、範囲指定領域48内の部分画像を見出し語の説明に追加するものと判断され、前記入力されたキーワード47を検索文字列50として用いて複数の辞書が検索される(ステップB24)。
その際、検索文字列50として、前記入力されたキーワード47の文字列をそのまま用いても良いし、ユーザが必要に応じて任意に修正することもできる。例えば「trunk」といったキーワード47を入力した場合であれば、「trunks」といったように文字列に修正すれば、「trunks」を検索文字列50として辞書検索が行われることになる。
なお、ユーザが手書き入力部(サブ画面)16の上部に表示された操作項目の中の「戻る/リスト」キー16cをタッチすると、見出し語の説明に追加しないものと判断され、前記ステップB23の画像登録のみで終了となる。
このようにして、検索文字列50に基づいて辞書データベース22b内の各種辞書が検索されると、図14に示すように、辞書・見出し語の一覧51がタッチパネル式カラー表示部(メイン画面)17に表示される(ステップB25)。この辞書・見出し語の一覧51の左側には、当該検索文字列50がヒットした辞書の一覧が表示され、右側にはその辞書の一覧の中で選択された辞書の見出し語の説明情報が表示される。
図14の例では、「trunk」を見出し語として有する辞書として「英和辞典」,「英和大辞典」,「英英辞典」…が表示され、その中の「英和辞典」から得られた「trunk」の説明情報の一部が表示された状態が示されている。
ここで、ユーザがペンPの操作等により任意の辞書の見出し語を選択すると(ステップB26)、図15に示すように、その選択された辞書の見出し語の語義毎の説明情報52がタッチパネル式カラー表示部(メイン画面)17に表示される(ステップB27)。
図15は、[英和辞典]の中の見出し語「trunk」に関する説明情報52が表示された例を示している。この場合、「trunk」が多義語であり、1.幹,樹…,2.大型旅行かばん…,3荷物入れ…,4.躯幹,胴体…といった意味を持つ。これらを記述した説明情報52がタッチパネル式カラー表示部(メイン画面)17に表示されることになる。また、手書き入力部(サブ画面)16には、「語義に追加する位置を指定してください」といったメッセージ53が表示される。
ここで、ユーザはペンタッチあるいはカーソル操作により、語義に追加する位置を指定すると(ステップB28)、その指定位置の語義番号が認識され、当該見出し語と共に画像ファイル名、キーワードと対応付けられて、図3に示した図データ検索用テーブル22eに登録される(ステップB29)。
具体的に説明すると、図15の例で、ユーザが見出し語「trunk」に関する説明情報52の中の4番目の第1項の語義を指定したとすると、下記のような情報が図データ検索用テーブル22eに登録されることになる。
キーワード:「trunk」
座標 :X=(45,270),Y=(142,310)
ファイル名:「body.bmp」
辞書種別 :[英和]
見出し語 :「trunk」
語義番号 :4(1)。
なお、キーワードの「trunk」は、図13で入力された検索文字列50に対応している。上述したように、この検索文字列50は、図11で入力されたキーワード47と同じでも良いし、ユーザが必要に応じて適宜変更したものであっても良い。また、座標のX=(45,270),Y=(142,310)は、図12で画像データ41の中で指定された範囲指定領域43に対応している。
また、タッチパネル式カラー表示部(メイン画面)17に表示された説明情報52の中で語義が指定されたときに、図16に示すように、その指定された語義の部分に画像有りマーク([図→解説]マーク)54が表示される(ステップB30)。この画像有りマーク54の表示により、ユーザは語義に関する画像の存在を知ることができ、その部分をペンタッチすれば、当該画像を確認することができる。
また、手書き入力部(サブ画面)16には、「図から検索に設定しますか?」といったメッセージ55が表示される。「図から検索」とは、図(画像)を利用した辞書検索機能のことである。
ユーザが手書き入力部(サブ画面)16の上部に表示された操作項目の中の「訳/決定」キー16bをタッチして、[図から検索」機能に設定することを指示すると(ステップB31のYes)、図17に示すように、タッチパネル式カラー表示部(メイン画面)17の画面が切り替わり、[図から検索」機能の大分類画面56が表示される。また、手書き入力部(サブ画面)16には、「図を指定してください」といったメッセージ58が表示される。
この大分類画面56には、[動物],[植物],[地図]…などの分類項目57a,57b,57c…が設けられており、この中でユーザが登録したい分類項目をペンタッチにより指定することにより(ステップB32)、その指定された分類項目の画像が当該キーワードに対応付けられて図データ検索用テーブル22eに登録される(ステップB33)。なお、分類項目が複数階層ある場合には、目的とする分類項目の画像が表示されるまでペンタッチを繰り返すといった操作を行うことになる。
ユーザが手書き入力部(サブ画面)16の上部に表示された操作項目の中の「戻る/リスト」キー16cをタッチすると、元の画像表示画面(図9)に戻り、他の画像データについても、前記同様に範囲指定された画像にキーワードを設定でき、さらに、辞書の見出し語に対応した説明情報の語義とリンクさせることができる。
図3に示した図データ検索用テーブル22eの例では、「sportwere.bmp」,「body.bmp」,「tree.bmp」の各画像データの部分画像にキーワード「trunk」あるは「trunks」を設定して、さらに、そのキーワードを[英和辞典]の見出し語「trunk」に対応した説明情報52の中で指定された語義にリンクさせた状態が示されている。
また、これらの設定操作に伴い、図18に示すように、見出し語「trunk」に対応した説明情報62の中の指定の語義の部分に画像有りマーク54が適宜表示されることになる。
なお、前記の説明では、ユーザ画像ファイル22dに記憶されたユーザ画像を用いて、その中で範囲指定した領域内の部分画像に対してキーワードを設定する場合を想定して説明したが、辞書内蔵画像ファイル22cに記憶された内蔵画像に対しても前記同様にして範囲指定した領域内の部分画像に対してキーワードを設定することができる。
また、辞書の見出し語の説明情報から画像データを表示し、その画像データの範囲指定領域内の部分画像にキーワードを設定することも可能である。
図19乃至図22にその場合の例を示す。
今、図19に示すように、タッチパネル式カラー表示部(メイン画面)17に[英和大辞典]から得られた見出し語「elephant」に関する説明情報61が表示されているものとする。
ユーザがこの説明情報61の中の画像有りマーク62をペンタッチすると、図20に示すように、辞書内蔵画像ファイル22cから当該画像有りマーク62に対した画像データ63が読み出されて、タッチパネル式カラー表示部(メイン画面)17に表示される。図20の例では、象の画像が画像データ63として表示されている。
ここで、ユーザがタッチキーエリア17Aの[編集]キー32をタッチすると、編集モードに切り替わり、画面左下付近に編集ツール33が表示される。図21に示すように、ユーザはペンPを操作して、編集ツール33の中のパーツを取り出し、現在表示されている画像データ63の中の任意の部分に当て嵌めて範囲指定領域64を設定する。
そして、前記図11と同様に手書き入力部(サブ画面)16でキーワード「trunk」を入力すると、画像データ63の前記範囲指定領域64内の画像(ここでは象の鼻の部分)とキーワード「trunk」とが対応付けられて図データ検索用テーブル22eに登録される。
同様にして、図22に示すように、ユーザがペンPを操作し、画像データ63の中の「象の耳」の部分と「象の牙」の部分に相当する画像をそれぞれ範囲指定して、その範囲指定領域65、66内の部分画像に対し、手書き入力部(サブ画面)16でキーワード「Ears」,「Tusk」を入力することにより、これらが対応付けられて図データ検索用テーブル22eに登録される。図3にこれらのキーワードの登録結果を示す。
(c)辞書検索処理
図7および図8は電子辞書装置10に備えられたCPU21によって実行される辞書検索処理の動作を示すフローチャートである。
まず、ユーザがキー入力部14を操作して検索対象とする辞書を指定する(ステップC11)。その際、例えば図示せぬ検索設定画面がタッチパネル式カラー表示部(メイン画面)17に表示され、そこで画像検索する/しないを任意選択的に設定できるものとする。
ここで、画像検索が選択されなかった場合には(ステップC12のYes)、ユーザが文字入力キー14aの操作により検索文字列を入力する(ステップC13)。これにより、入力された検索文字列に基づいて辞書データベース22bの中の指定辞書が検索され、該当する見出し語の一覧がタッチパネル式カラー表示部(メイン画面)17に表示される(ステップC14)。なお、電子辞書装置10が複数辞書検索機能を備えている場合には、該当する見出し語を有する辞書の一覧も含めて表示される。
この見出し語の一覧の中でユーザが所望の見出し語をカーソルキー14eの操作あるいはペンタッチ等により選択すると(ステップC15)、その選択された見出し語の語義毎の説明情報が表示される(ステップC16)。
その際、図データ検索用テーブル22eが参照され、前記選択された見出し語の語義に画像が対応付けられているか否かが判断される(ステップC17)。語義に画像が対応付けられている場合には(ステップC17のYes)、その語義部分に図16に示したような画像有りマーク([図→解説]マーク)54が追加表される(ステップC18)。なお、ユーザが登録した画像ではなく、辞書に最初から登録されている画像であれば、前記ステップC16で説明情報が表示されたときに、該当する語義の部分に画像有りマーク([図→解説]マーク)54が固定表示されることになる。
ここで、ユーザにより画像有りマーク([図→解説]マーク)54がペンタッチ等により指定された際に(ステップC19のYes)、それが固定表示されたマークであった場合には(ステップC20のYes)、辞書内蔵画像ファイル22cから該当する画像データが読み出されてタッチパネル式カラー表示部(メイン画面)17に表示される(ステップC21)。
一方、前記指定された画像有りマーク([図→解説]マーク)54が追加表示されたマークであった場合には(ステップC20のNo)、ユーザ画像ファイル22dから該当する画像データが読み出されてタッチパネル式カラー表示部(メイン画面)17に表示される(ステップC22)。
このとき、図9などに示したように、タッチパネル式カラー表示部(メイン画面)17のタッチキーエリア17Aに設けられた[編集]キー32のタッチ操作により画像データの編集が指示された場合には(ステップC23のYes)、図6のステップB15に飛び、上述したキーワードの登録処理が実行される。これにより、辞書検索時であっても、画像データが表示された場合には、いつでも、画像編集を行ってキーワードを設定することできる。
また、画像データが表示された場合に、その画像データのファィル名が図データ検索用テーブル22eに登録されているか否かが判断される(ステップC24)。登録されている場合には(ステップC24のYes)、図データ検索用テーブル22eから当該画像データの部分画像に対応したキーワードのすべてが読み出され、これらのキーワードが所定の形態でその部分画像の近傍に表示される(ステップC25)。なお、「所定の形態で表示」とは、キーワードに枠や矢印を付加して表示することであり、その具体例については後に図28を参照して説明する。
ここで、画像へのタッチ操作があると(ステップC26のYes)、そのタッチ操作された画像のキーワードに基づいて図データ検索用テーブル22eから該当する辞書の見出し語、語義番号が読み出され(ステップC27)、その見出し語、語義番号に対応した説明情報が辞書データベース22bから読み出されてタッチパネル式カラー表示部(メイン画面)17に表示される(ステップC28)。
ユーザによる終了操作が行われるまで、このような辞書検索処理が繰り返し実行される(ステップC29)。
次に、前記ステップC12において、画像検索が選択された場合の処理動作について、図23乃至図27に示す具体例を参照しながら説明する。
所定の操作により画像検索が選択された場合、図23に示すような画像検索設定画面71がタッチパネル式カラー表示部(メイン画面)17に表示される。この画像検索設定画面71には、キーワードを入力するためのキーワード入力部72と、「図から検索」を選択するためのアイコン73が設けられている。
ここで、ユーザが「図から検索」を選択せずに(ステップC30のNo)、キーワード入力部72にキーワードを入力した場合には(ステップC31)、その入力されたキーワードに基づいて辞書内蔵画像ファイル22cおよびユーザ画像ファイル22dが検索され、該当する画像データ(キーワードが設定された部分画像)が読み出されてタッチパネル式カラー表示部(メイン画面)17に検索結果として表示される(ステップC32)。
例えば、図23の画像検索設定画面71において、キーワード入力部72のキーワード1に「trunk」と入力すると、図24のような検索結果画面74にキーワード「trunk」を含んだ部分画像75a〜75eが表示される。
これらの部分画像75a〜75eは、キーワード「trunk」に関連した画像である。すなわち、部分画像75aは「象の鼻」、部分画像75bは「旅行カバン」、部分画像75cは「木の幹」、部分画像75dは「競技用パンツ」、部分画像75eは「身体の胴体」であり、英単語では「trunk」と表現されるものである。
なお、前記画像検索設定画面71において、例えばキーワード2に「elephant」と入力するか、あるいは、ファイル名の「elephant.bmp」と入力すると、画像検索に絞り込みがかけられ、図24の検索結果画面74に部分画像75aだけが表示される。
また、検索結果画面74が表示された際に、ユーザがタッチパネル式カラー表示部(メイン画面)17のタッチキーエリア17Aに設けられた「全体」キー76をタッチ操作すると、図25のように全体画像77a〜77eに切り替えられる。これにより、キーワード「trunk」に関連した画像をその部分だけでなく、全体的に確認することができ、任意の画像をタッチすれば、図26のように当該画像が拡大表示される。
図26の例では、「競技用パンツ」の全体画像77dを拡大表示した状態が示されている。このとき、タッチパネル式カラー表示部(メイン画面)17のキーワード入力部72に設けられた[編集]キー32をタッチ操作すれば、画像編集を行うことができる(ステップC23→図6のステップB15)
また、ユーザがキー入力部14の[訳/決定]キー14cの操作により決定指示を行うと、図27に示すように、タッチパネル式カラー表示部(メイン画面)17に当該キーワード「trunk」を見出し語とした辞書の説明情報52が語義毎に画像有りマーク([図→解説]マーク)54を含めて表示される(ステップC23→ステップC24〜28)。
一方、前記ステップC30において、ユーザにより画像検索設定画面71に設けられた「図から検索」のアイコン73がタッチ操作されると、[図から検索」機能が起動され、図17で示したような大分類画面56がタッチパネル式カラー表示部(メイン画面)17に表示される。
ユーザは、まず、この大分類画面56で目的とする分類項目(大分類)をペンタッチ等により指定した後(ステップC33)、その下階層分類として表示される小分類画面にて、目的とする分類項目(小分類)をペンタッチ等により指定するといった操作を行う(ステップC34)。
なお、分類項目がさら多層に分けられている場合には、目的とする分類項目の画像が表示されるまでペンタッチを繰り返すといった操作を行うことになる。
ここで、ユーザによって最終的な分類項目(小分類)が指定された際に、図データ検索用テーブル22eが参照されて、その指定された分類項目にキーワードを有する部分画像が対応付けられているか否かが判断される(ステップC35)。
指定された分類項目にキーワードを有する部分画像が対応付けられていた場合には(ステップC35のYes)、その部分画像を含む画像データが辞書内蔵画像ファイル22cまたはユーザ画像ファイル22dから読み出され、その画像データの一覧が検索結果としてタッチパネル式カラー表示部(メイン画面)17に表示される(ステップC36)。
また、指定された分類項目にキーワードを有する部分画像が対応付けられていない場合には(ステップC35のNo)、該当する画像データが辞書内蔵画像ファイル22cまたはユーザ画像ファイル22dから読み出され、その画像データの一覧が検索結果としてタッチパネル式カラー表示部(メイン画面)17に表示される(ステップC37)。
以後の処理は前記ステップC23からの処理と同様である。その際、何らかの画像データが表示されている場合には、画像編集を行ってキーワードを適宜設定できることは既に述べた通りである。
また、部分画像を含む画像データの場合、前記ステップC25で説明したように、図データ検索用テーブル22eから当該画像データの部分画像に対応したキーワードのすべてが読み出され、これらのキーワードが所定の形態でその部分画像の近傍に表示される。なお、「所定の形態で表示」とは、キーワードに枠や矢印を付加して表示することである。
図28乃至図30に具体例を示す。
いま、図28に示すように、キーワード入力あるいは[図から検索」の検索結果として、辞書内蔵画像ファイル22cから象の画像データ63が読み出されて、タッチパネル式カラー表示部(メイン画面)17に表示されたものとする。
この画像データ63には、図22で説明したように、ユーザによって指定された範囲領域64,65,66内の部分画像に対して、キーワード「trunk」,「Ears」,「Tusk」が設定されている。図4の図データ検索用テーブル22eには、そのキーワードの設定情報が登録されている。
このような場合、画像データ63の中に前記指定範囲領域64,65,66に対応した枠と、その枠内に矢印を付したキーワード「trunk」,「Ears」,「Tusk」が視認可能に表示される。これにより、ユーザは画像データ63の各部分画像に他の意味があることを知ることができる。
ここで、図7のステップC24〜C28で説明したように、ユーザが例えば指定範囲領域64内の部分画像をペンタッチすれば、図29に示すように、その部分画像のみが抽出されてタッチパネル式カラー表示部(メイン画面)17に拡大表示される。その際、手書き入力部(サブ画面)16には、「図の別の見出し語の説明を表示?」といったようなメッセージ81が表示される。
このメッセージ81に対し、ユーザが手書き入力部(サブ画面)16の上部に表示された操作項目の中の「訳/決定」キー16bをタッチすると、見出し語の説明を表示するものと判断される。そして、図30に示すように、前記指定範囲領域64内の部分画像に付されたキーワード「trunk」を見出し語として辞書検索が行われ、該当する辞書(ここでは「英和辞典」)から説明情報82が語義番号と共に読み出されて、タッチパネル式カラー表示部(メイン画面)17に表示される。その際、当該部分画像に対応した語義に画像有りマーク83が付されて、その語義を先頭にして説明情報82が表示されることになる。
以上のように本実施形態によれば、画像中の任意の部分に対してキーワードを設定して辞書検索を行うことができ、画像を用いた視覚的な語学学習に有効利用できる。
また、PC26などの外部から取得した画像についても、キーワードの設定対象の1つとして登録することができる。これにより、電子辞書装置10に予め内蔵された固定的な画像に限らず、ユーザが持ってきた様々な画像も同様に扱って辞書検索に利用することができる。
また、図12に例示したように、現在表示中の画像データ41の中で、ユーザによって範囲指定された領域48を識別表示すると共に、キーワード47をその範囲指定領域48内に表示することで、設定対象となった部分画像の範囲とそこに設定されたキーワード47の文字列を容易に確認することができる。
また、図13に例示したように、範囲指定領域48内の部分画像を見出し語の説明に追加する際に、入力されたキーワード47を修正することにより、その修正後の文字列(検索文字列50)に対応した見出し語の説明に追加することができる。
また、図23乃至図27に例示したように、画像に対してキーワードを設定してくことにより、そのキーワードから該当する画像を検索結果として表示でき、さらに、その画像からキーワードに対応した辞書の見出し語の説明情報にジャンプして表示することができる。
また、図28乃至図30に例示したように、電子辞書装置10が「図から検索」機能を備えている場合に、ユーザが指定した分類項目に対応した画像を検索結果として表示した際に、その画像にキーワードが設定されていれば、そのキーワードに対応した辞書の見出し語の説明情報にジャンプして表示することができる。
なお、前記実施形態では、電子辞書装置を例にして説明したが、本発明はこれに限らず、例えば辞書機能を備えたPDA(personal digital assistants)、PC(personal computer)、携帯電話、電子ブック、携帯ゲーム機等にも適用可能である。
また、前記実施形態において記載した電子辞書装置10による各動作手法、すなわち、図5乃至図8の各フローチャートで示した手法は、コンピュータに実行させることのできるプログラムとして、メモリカード(ROMカード、RAMカード等)、磁気ディスク(フレシキプルディスク、ハードディスク等)、光ディスク(CD−ROM、DVD等)、半導体メモリ等の記録媒体23に記録して配布することができる。そして、電子辞書装置10のコンピュータ(CPU21)は、この記録媒体23に記録されたプログラムを読み込みことで、前述した手法による同様の処理を実行することができる。
また、前記手法を実現するためのプログラムのデータは、プログラムコードの形態として通信ネットワーク(公衆回線)を介して伝送させることができる。そして、電子辞書装置10のコンピュータ(CPU21)は、このプログラムを通信ネットワークに接続された通信装置(通信制御部18)にて受信することにより、前述した手法による同様の処理を実行することができる。
なお、本発明は前記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、前記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。