JPH10289243A

JPH10289243A - データ検索システム

Info

Publication number: JPH10289243A
Application number: JP9096209A
Authority: JP
Inventors: Toru Yamakita; 徹山北
Original assignee: Casio Computer Co Ltd
Current assignee: Casio Computer Co Ltd
Priority date: 1997-04-14
Filing date: 1997-04-14
Publication date: 1998-10-27

Abstract

(57)【要約】【課題】データベース検索のユーザインタフェースを
向上させる。【解決手段】データベース７には、複数の人物の画像
データ、およびそれら各人物に関連する情報とが互いに
対応づけられて格納されている。携帯端末１のユーザ
は、ある人物に関連する情報を得たい場合には、携帯端
末１が備える電子カメラ（画像入力部３）を用いてその
人物を撮影し、検索依頼とともにその画像データをホス
ト装置６に送る。検索部９は、受信した画像データを検
索キーとしてデータベース７にアクセスし、受信した画
像データと一致または類似する画像データに対応する情
報を取り出す。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、データベース検索
に係わり、特にデータベース検索のユーザインタフェー
スを向上させる技術に係わる。

【０００２】

【従来の技術】近年、様々な分野においてデータベース
システムが普及してきている。データベースシステム
は、膨大な情報を所定の規則に従って格納しており、検
索キーを入力すると、その検索キーに関連する情報が得
られる。

【０００３】データベースシステムは、通常、情報を格
納する大型記憶装置と、ユーザからの検索依頼に従って
上記記憶装置からその検索依頼に関連する情報を取り出
す情報処理装置とから構成される。また、近年では、デ
ータベースをネットワーク上に設け、ユーザがネットワ
ークを介してそのデータベースにアクセスできるように
した構成が広く利用されている。

【０００４】データベースに格納される情報は、テキス
トデータ等の文字情報が最も一般的であったが、近年で
は、画像データや場合によっては音声データも格納され
ている。

【０００５】

【発明が解決しようとする課題】既存のデータベースシ
ステムでは、通常、キーボード、マウス、または手書き
ペン等を用いて検索キーを入力していた。即ち、検索キ
ーを入力する際には、キーボードや手書きペンを用いて
キーワードや検索範囲を入力したり、あるいは、対話形
式で表示されるメニューに従ってその中の所望の項目を
マウスで選択したりすることが一般的であった。

【０００６】ところが、キーボードやマウスによる操作
は必ずしもすべてのユーザにとって容易とは言えず、そ
の操作が不得手なユーザもいる。また、検索キーとして
何を入力したら良いのかがわからない場合も多々ある。
このため、データベースシステムをより広く普及させる
ためには、そのユーザインタフェースの向上（操作性の
改良）が必要になると考えられる。

【０００７】本発明の課題は、データベース検索のユー
ザインタフェースを向上させることである

【０００８】

【課題を解決するための手段】本発明のデータ検索シス
テムは、画像を読み取る読取手段と、画像データとその
画像データに関連する情報とを互いに対応づけて格納す
る格納手段と、上記読取手段によって読み取られた画像
の画像データに基づいて上記格納手段からその読取手段
によって読み取られた画像の画像データに対応する情報
を取り出す検索手段とを有する。

【０００９】上記検索手段は、上記読取手段によって読
み取られた画像の画像データと、上記格納手段に格納さ
れている画像データとを比較し、類似度が高ければ、そ
の格納手段に格納されている画像データに対応づけられ
て格納されている情報を取りす。このことにより、上記
読取手段によって読み取られた画像の画像データを検索
キーとしてその画像データに関連する情報を上記格納手
段から取り出すことができる。

【００１０】上記格納手段に予め格納しておく画像デー
タとして、上記読取手段を用いて読み取った画像の画像
データを用いてもよい。このように、上記格納手段に予
め格納しておく画像データと、検索キーとしての画像デ
ータとを同じ装置で取り込むと、対象物が同一であれ
ば、類似度が高い画像データが得られ、検索精度が向上
する。

【００１１】

【発明の実施の形態】以下、本発明の実施形態について
図面を参照しながら説明する。図１は、本実施形態のシ
ステム構成図である。携帯端末１は、通信機能を備えて
おり、ネットワーク５に接続された他の装置にデータ処
理を依頼し、その結果を受け取って例えば液晶ディスプ
レイからなる表示部２に表示できる。携帯端末１は、最
寄りの基地局を介して無線でデータを送受信する方式、
通信機能を持った装置（光リンクユニット）との間でＩ
ｒ（赤外線）通信等でデータを送受信する方式、または
有線でデータを送受信する方式でネットワーク５に接続
される。また、携帯端末１は、たとえば電子カメラ等か
らなる画像入力部３を備え、それを用いて取り込んだ画
像データをネットワーク５に接続された他の装置（たと
えば、ホスト装置６）に検索キーとして送ってデータベ
ース検索を依頼する機能を持っている。ネットワーク５
とのインタフェースは、送受信部４によってなされる。

【００１２】ネットワーク５は、公衆網（公衆電話網、
ＰＨＳ網など）、またはＬＡＮであり、ホスト装置６を
収容している。ホスト装置６は、サーバマシンであり、
携帯端末１から転送されてくる依頼（検索依頼）に従っ
てデータ処理（データベース検索）を実行する。データ
ベース７には、画像データとその画像データに関連する
情報とが予め対応づけられて格納されている。画像処理
部８は、携帯端末１から送られてくる画像データに対し
てパターン認識処理を実行し、受信した画像データの特
徴を抽出する。検索部９は、画像処理部８によって抽出
された画像の特徴を用いてデータベース７にアクセスし
て検索結果を得る。ホスト装置６は、検索結果を携帯端
末１に送出する。

【００１３】上記構成において、携帯端末１のユーザ
は、ある対象物（たとえば、人物）に関連する情報を得
たいときには、まず、画像入力部３を用いてその対象物
の画像データを取り込む。たとえば、画像入力部３が電
子カメラである場合には、ユーザは、その対象物を撮影
する。そして、その画像入力部３で取り込んだ画像デー
タを検索キーとしてホスト装置６へ送出することによ
り、データベース検索を依頼する。

【００１４】ホスト装置６は、携帯端末１から検索依頼
とともに画像データを受信すると、画像処理部８は、そ
の対象物の画像の特徴を抽出する。たとえば、対象物が
人物であれば、画像処理部８は、その人物の顔の輪郭
や、目、鼻、口等の形状を検出し、その検出した特徴パ
ターンを検索部９に渡す。なお、画データからその特徴
を抽出する処理は必須ではないが、データベース検索の
効率や精度を高める上で有用である。

【００１５】検索部９は、携帯端末１から受信した画像
データを検索キーとしてデータベース７をサーチする。
ここで、データベース７には、上述したように、画像デ
ータとその画像データに関連する情報とが予め対応づけ
られて格納されており、検索部９は、その画像データと
一致または類似する画像データを抽出し、その抽出した
画像データに関連する情報を取り出す。

【００１６】このように、本実施形態の検索システム
は、画像データをキーとしてデータベースを検索する構
成であり、ある対象物に関連する情報を得たいときに
は、ユーザは、その対象物の画像を電子カメラ等を用い
て取り込んでその画像データをホスト装置に送って検索
を依頼するだけでよい。即ち、ユーザの操作としては、
対象物の画像を電子カメラ等で読み取るだけであり、非
常に簡単である。また、検索の効率や精度を高めるため
の特徴抽出処理は、高性能のプロセッサや大きなメモリ
領域を必要とするが、本実施形態のシステムでは、この
特徴抽出処理はホスト装置側で実行される。このため、
携帯端末１は、画像を読み取る機能および通信機能のみ
を備えればよく、携帯端末１の軽量化、低コスト化が計
れる。

【００１７】なお、検索結果は、ホスト装置６に保存し
てもよいし、自動的にあるいは必要に応じて携帯端末１
に転送してもよい。また、検索結果を予め指定されてい
る所定の端末装置に転送してもよい。携帯端末１は、ホ
スト装置６から検索結果を受信すると、その検索結果を
表示部２に表示する。

【００１８】また、データベース７は、ホスト装置６内
に設けてもよいし、ホスト装置６の外部に設けてネット
ワーク５を介してホスト装置６に接続される構成であっ
てもよい。

【００１９】図２は、携帯端末１の外観図である。携帯
端末１は、ＬＣＤ表示部１１、カメラ１２、ＩＣカード
用スロット１３、無線通信用アンテナ１４を備えてい
る。また、他の通信方式をサポートするために、Ｉｒ通
信のためのソケット１５や、有線通信用のソケット１６
なども備えている。ＬＣＤ表示部１１は、タッチパネル
構成であり、携帯端末１は手書き入力情報を処理するこ
とができる。スイッチ１７はカメラ１２より画像を取り
込む撮影用のスイッチである。

【００２０】図３は、携帯端末１の構成図である。ＣＰ
Ｕ２１は、記憶装置２２（ＲＯＭおよびＲＡＭ）に格納
されているプログラムを実行する。ＣＰＵ２１と記憶装
置２２とはバス２３を介して互いに接続されている。

【００２１】記憶装置２２は、半導体メモリ、磁気的記
録媒体、あるいは光学的記録媒体で構成され、プログラ
ムおよびデータ等を格納している。記憶装置２２は、携
帯端末１に固定的に設けたものであってもよいし、着脱
自在に装着するものであってもよい。

【００２２】記録媒体ドライバ２４は、バス２３に接続
されており、可搬性記録媒体（半導体メモリ、磁気ディ
スク、光ディスク、光磁気ディスクを含む）２５に格納
されているデータを読み出したり、あるいは可搬性記録
媒体２５にデータを書き込む装置である。可搬性記録媒
体２５の一例としては、ＩＣカードを想定する。ＣＰＵ
２１は、可搬性記録媒体２５に格納されているプログラ
ムを実行することもできる。

【００２３】なお、記憶装置２２に記録するプログラム
およびデータ等は、通信回線などを介して接続された他
の機器から受信して記録する構成にしてもよく、さら
に、ＣＰＵ２１が他の機器側に設けられた記憶装置に格
納されているプログラムおよびデータ等を通信回線など
を介して使用するようにしてもよい。

【００２４】ＬＣＤ表示部１１に対応するユニットは、
液晶ディスプレイ（ＬＣＤ）３１、液晶ディスプレイ３
１に表示すべき情報を格納するメモリ３２、ＬＣＤ制御
部３４の制御に従ってメモリ３２に格納されている情報
を液晶ディスプレイ３１に出力するＬＣＤドライバ３
３、メモリ３２およびＬＣＤドライバ３３を制御するＬ
ＣＤ制御部３４、タッチパネル部３５、およびタッチパ
ネル部３５が検出した入力情報をＣＰＵ２１に通知する
タッチパネル制御部３６から構成される。

【００２５】カメラ１２は、たとえばＣＣＤカメラであ
り、その出力はＡ／Ｄコンバータ３７によってビットマ
ップ形式のデジタルデータに変換されてメモリ３８に書
き込まれる。カメラ制御部３９は、ＣＰＵ２１の指示に
従って、メモリ３８に保持されている画像データをバス
２３に出力する。

【００２６】マイク４５は、携帯端末１の周囲の音声等
を入力する。マイク４５によって取り込まれた音声デー
タは、Ａ／Ｄコンバータ４６によってデジタル信号に変
換される。マイク制御部４７は、ＣＰＵ２１の指示に従
い、Ａ／Ｄコンバータ４６の出力をバス２３に送出す
る。

【００２７】ＧＰＳ装置４８は、人工衛星からの信号に
基づいて携帯端末１の現在位置を検出する。ＧＰＳ装置
４８の出力は、ＣＰＵ２１の指示に従って、汎用コネク
タ４９を介してバス２３に出力される。

【００２８】通信制御部４０は、携帯端末１からデータ
を送出する際には、ＣＰＵ２１の指示に従って送信パケ
ットを生成して無線トランシーバ４１、４２または有線
トランシーバ４３に渡す。また、データを受信する際に
は、無線トランシーバ４１、４２、または有線トランシ
ーバ４３を介して受信したパケットに格納されているデ
ータをバス２４上に出力する。無線トランシーバ４１
は、図３に示した無線通信用アンテナ１４に接続されて
おり、無線基地局４との間で無線データを授受する。無
線トランシーバ４２は、Ｉｒ通信を行うための送受信機
であり、また、有線トランシーバ４３は例えばモデムで
ある。無線トランシーバ４２および有線トランシーバ４
３は、オプションで着脱される。なお、携帯端末１は、
さらに時計４４を備えている。

【００２９】図４は、携帯端末１においてカメラ撮影に
より読み取った画像データをホスト装置６に転送してデ
ータベースの作成またはデータベースの検索を依頼する
処理のフローチャートである。このフローチャートに示
す各機能を実現するプログラムは、ＣＰＵ２１が読み取
り可能なプログラムコードの形態で記憶装置２２に格納
されている。

【００３０】また、図４のフローチャートは、携帯端末
１が入力待ち状態において何らかの入力を検出した後の
処理を示している。以下の説明では、ユーザが対象物を
電子カメラで撮影することによってその画像を読み取る
例を説明する。

【００３１】ステップＳ１では、スイッチ１７の操作に
よってカメラ１２から画像データが入力された場合であ
るかを調べ、カメラ１２からの入力であればステップＳ
２以降の処理を実行し、他の入力であれば、ステップＳ
２１においてその入力に対応する他の処理を実行する。
このように、ユーザが携帯端末１のカメラ１２を用いて
撮影すると、ステップＳ２以降の処理が開始される。な
お、カメラ入力があったときには、ＧＰＳ装置４８の出
力を保持しておく。

【００３２】ステップＳ２では、カメラ１２によって取
り込まれた画像データをＬＣＤ表示部１１に表示する。
すなわち、カメラ１２によって取り込まれた画像データ
をＬＣＤ表示部１１のメモリ３２に書き込み、その画像
データを液晶ディスプレイ３１に表示する。続いて、ス
テップＳ３では、ユーザ指示入力画面を表示する。ユー
ザ指示入力画面は、カメラ撮影により読み取った画像を
ホスト装置６に送って処理を依頼するのか否かをユーザ
に指定させるための画面であり、カメラ撮影により読み
取った画面上にウィンドウ表示する。この場合、記憶装
置２２に格納されているユーザ指示入力画面の画像デー
タを読み込んで表示する。ユーザ指示入力画面は、例え
ば「データベースに保存」、「データベース検索」、
「自端末に保存」、及び「キャンセル」というボタンを
含む。従って、ステップＳ２およびＳ３により、ＬＣＤ
表示部１１には、撮影対象物の画像に加え、その画像の
上に上記４つのボタンが設けられた状態が表示される。

【００３３】上記ユーザ指示入力画面に対してユーザが
指示を入力すると、すなわち、ユーザが表示されたボタ
ンの中の１つのボタンを押圧すると、ステップＳ４以下
の処理が実行される。まず、ステップＳ４においてユー
ザの指示を認識する。この処理は、ユーザがどのボタン
を押圧したかを検出するものである。つづいて、ステッ
プＳ５では、ユーザの指示が、ホスト装置６への処理依
頼であるか否かを調べる。「データベースに保存」また
は「データベース検索」が押圧されたのであれば、ユー
ザの指示がホスト装置６への処理依頼であると見なして
ステップＳ６へ進み、他のボタンが押圧されたのであれ
ば、ステップＳ１０へ進む。

【００３４】ステップＳ６では、カメラ１２を用いて取
り込んだ画像データをホスト装置６に転送するためのパ
ケットを作成する。ステップＳ６の処理については後述
説明する。そして、ステップＳ７において、ホスト装置
６との間にリンクが確立されているか否かを調べ、既に
リンクが確立されていた場合には、作成したパケットを
ステップＳ８において図１に示すネットワーク５に送出
する。一方、ホスト装置６との間にリンクが確立されて
いなければ、ステップＳ９でリンクを確立した後にステ
ップＳ８へ進む。

【００３５】ユーザの指示がホスト装置６への処理依頼
ではないと判断された場合には（ステップＳ５：Ｎ
ｏ）、ステップＳ１０において、「自端末に保存」が押
圧されたか否かを判断する。「自端末に保存」が押圧さ
れたのであれば、ステップＳ１１において携帯端末１側
で画像データを保存する。一方、「自端末に保存」が押
圧されたのでなければ、「キャンセル」が押圧されたも
のと見なし、ステップＳ１２においてその画像データを
廃棄する。

【００３６】このように、携帯端末１は、対象物の画像
を読み取ると、その画像データをパケットに格納してホ
スト装置６に送る。図５(a) は、携帯端末１から送出さ
れるパケットの構造を示す図である。このパケットは、
図４に示すステップＳ６において作成される。

【００３７】各パケットは、ヘッダ部およびデータ部か
ら構成される。ヘッダ部は、送信元アドレスおよび着信
先アドレスなどを格納する。送信元アドレスおよび着信
先アドレスとしてどのようなアドレス体系のアドレスを
格納するのかは、本実施形態が適用されるネットワーク
構成によって決まり、たとえば、TCP/IP通信では、ＩＰ
アドレスが格納される。

【００３８】データ部には、アプリケーション識別情
報、端末ＩＤ、画像データ、ＧＰＳデータ等が格納され
る。アプリケーション識別情報は、着信先の端末（ここ
では、ホスト装置６）において起動すべきアプリケーシ
ョンプログラムを識別する情報である。すなわち、着信
先の端末において所定のプログラムを起動するためのコ
マンドである。本実施形態においては、アプリケーショ
ン識別情報は、図４のステップＳ４において検出したユ
ーザ指示（すなわち、「データベースの作成」または
「データベースの検索」）に従って設定される。なお、
アプリケーション識別情報は、TCP/IP通信では、ポート
番号として指定してもよい。

【００３９】端末ＩＤは、送信元を識別する情報であ
り、ここでは、携帯端末１の識別番号である。画像デー
タは、カメラ１２により取り込まれた画像データであ
り、パケットに格納されるときには圧縮される。ＧＰＳ
データは、ＧＰＳ装置４８の出力であり、このパケット
に格納される画像データの画像が撮影されたときの携帯
端末１の位置を表す情報である。

【００４０】図５(b) は、図４に示すステップＳ６パケ
ット作成処理の詳細フローチャートである。ステップＳ
３１では、ホスト装置６へ転送する画像データを圧縮
し、データ部に格納する。圧縮方式は、例えばＪＰＥＧ
である。ステップＳ３２では、ＧＰＳデータを格納す
る。ステップＳ３３では、アプリケーション識別情報と
して、「データベースの作成」または「データベースの
検索」を設定する。ステップＳ３４では、携帯端末１を
識別する情報（自機を識別する情報）として端末ＩＤを
設定する。さらに、ステップＳ３５においてヘッダ部を
作成する。ヘッダ部には、少なくとも、送信元アドレス
として携帯端末１のアドレス（自機のアドレス）、およ
び着信先アドレスとしてホスト装置６のアドレスを設定
する。

【００４１】上述のようにして作成されたパケットは、
ネットワーク５に送出される。ネットワーク５は、パケ
ットの着信先アドレスに従ってそのパケットをホスト装
置６へ転送する。以下に、このパケットを受信して処理
するホスト装置６について説明する。

【００４２】図６は、ホスト装置６の構成図である。記
憶装置５１は、半導体メモリ、磁気的記録媒体、あるい
は光学的記録媒体で構成され、プログラムおよびデータ
等を格納している。記憶装置５１は、ホスト装置６に固
定的に設けたものであってもよいし、着脱自在に装着す
るものであってもよい。

【００４３】記録媒体ドライバ５２は、可搬性記録媒体
（半導体メモリ、磁気ディスク、光ディスク、光磁気デ
ィスク等を含む）５３に格納されているデータを読み出
したり、あるいは可搬性記録媒体５３にデータを書き込
む装置である。通信制御部５４は、ネットワークとの間
でのデータの授受を制御するユニットである。携帯端末
１との間のパケットの送受信もここで制御される。

【００４４】ＣＰＵ５５は、記憶装置５１または可搬性
記録媒体５３からプログラム等をメモリ５６にロードし
て実行する。なお、記憶装置５１に記録するプログラム
およびデータ等は、可搬性記録媒体５３に格納されてい
たものを書き込んだものであってもよく、また、通信回
線などを介してネットワーク上の他の機器から受信して
記録する構成にしてもよい。さらに、ＣＰＵ５５は、ネ
ットワーク上に設けられた他の記憶装置に格納されてい
るプログラムおよびデータ等を通信回線などを介して使
用するようにしてもよい。

【００４５】図７は、ホスト装置６の処理を説明するフ
ローチャートである。ここでは、ホスト装置６が携帯端
末１から送出されたパケット（図４のフローチャートの
処理によって作成されたパケット）をネットワーク５か
ら受信した場合の動作を説明する。

【００４６】ステップＳ４１でパケットを受信すると、
ステップＳ４２でそのパケットに設定されている端末Ｉ
Ｄを調べることによってそのパケットを送出した端末を
認識する。ステップＳ４３では、受信したパケットに設
定されているアプリケーション識別情報によって指定さ
れているアプリケーションを起動する。ステップＳ４４
では、起動されたアプリケーションが「データベースの
作成」であるか否かを調べる。「データベースの作成」
であれば、ステップＳ４５において、データベース作成
処理を実行する。なお、データベース作成処理について
は後述詳しく説明する。

【００４７】起動されたアプリケーションが「データベ
ースの作成」でなかった場合は（ステップＳ４４：Ｎ
ｏ）、ステップＳ４６において、そのアプリケーション
が「データベースの検索」であるか否か調べる。「デー
タベースの検索」であれば、ステップＳ４７において、
データベース検索処理を実行する。なお、データベース
検索処理についても後述詳しく説明する。もし、起動さ
れたアプリケーションが「データベースの作成」または
「データベースの検索」のいずれでもなかった場合に
は、ステップＳ４８において他の処理を実行する。

【００４８】図８は、データベースの構成図である。デ
ータベース７は、本実施例では、端末ＩＤごとに情報を
格納する。すなわち、各端末ごとに（各端末のユーザ毎
に）データベースが構築される。そして、ホスト装置６
は、データベース７の検索依頼を受け取ると、上記ステ
ップＳ４２で検出した端末ＩＤに対応する領域にアクセ
スする。

【００４９】各端末ＩＤごとに割り当てられた領域に
は、それぞれ、画像データ格納領域６１、テンプレート
格納領域６２、関連情報格納領域６３が設けられる。こ
れらの領域６１〜６３に格納される情報の例を図９に示
す。ここでは、画像データの対象物として人物を扱う例
を示している。

【００５０】画像データ格納領域６１には、カメラ等を
用いて撮影した画像の画像データが格納される。また、
テンプレート格納領域６２には、画像データ格納領域６
１に格納される各画像データから特徴を抽出することに
よって得られたテンプレートが格納される。このテンプ
レートは、対象物（ここでは、人物）の画像に対して特
徴抽出処理を施すことによって得られた輪郭や線の情報
などである。さらに、関連情報格納領域６３には、画像
データ格納領域６１に格納される各画像データに関連す
る情報が格納される。ここでは、画像データとして格納
されている各人物に関する住所録等のデータベース情報
が格納されている。なお、これらの関連情報は、たとえ
ば、テキスト形式、ＣＳＶ形式等として格納されてい
る。

【００５１】各端末ＩＤごとに割り当てられた領域に
は、さらにそれぞれアドレステーブル６４が設けられて
いる。アドレステーブル６４には、画像データ格納領域
６１に格納されている各画像データの格納アドレスと、
テンプレート格納領域６２に格納されている各テンプレ
ートの格納アドレスと、関連情報格納領域６３に格納さ
れている関連情報の格納アドレスとが互いに対応づけら
れて格納されている。

【００５２】図１０は、データベース作成処理のフロー
チャートである。このフローチャートは、携帯端末１か
ら転送されてきた画像データをデータベース７に格納す
る際の処理を示す。なお、以下では、図７のステップＳ
４２で認識した端末ＩＤ（携帯端末１の端末ＩＤ）に対
して割り当てられている領域内にその端末ＩＤの端末か
ら転送されてきた画像データを格納するものとする。

【００５３】ステップＳ５１では、受信パケットから画
像データを抽出する。この画像データは、この時点で
は、圧縮されたままの状態である。ステップＳ５２で
は、ステップＳ５１で抽出した画像データを画像データ
格納領域６１に格納する。なお、この画像データ格納領
域６１は、図７のステップＳ４２で認識した端末ＩＤに
対して割り当てられている領域内に設けられているもの
である。

【００５４】ステップＳ５３では、上記端末ＩＤに対し
て設けられているアドレステーブル６４を参照し、未使
用の画像ＩＤを１つハントする。図８に示す例では、た
とえば画像ＩＤ＝３をハントする。そして、ステップＳ
５４において、ステップＳ５２で画像データを格納した
アドレスをステップＳ５３でハントした画像ＩＤに対応
づけてアドレステーブル６４に保持する。

【００５５】ステップＳ５５では、ステップＳ５１で抽
出した画像データを解凍する。ステップＳ５６では、こ
の解凍した画像データに対してノイズ除去などの前処理
を実行する。ステップＳ５７では、上記画像データの特
徴を抽出する処理として、その画像データに含まれる線
およびエッジを検出する。線・エッジを検出する処理
は、既知の技術である。たとえば、画像データの濃度分
布あるいは色分布を調べたときに、「線」または「エッ
ジ」は、その分布の変化率の大きい点を連続させたもの
として検出可能である。なお、「線」と「エッジ：ある
領域と他の領域との境界」とを識別する技術も既知であ
る。そして、ステップＳ５８において、ステップＳ５７
の処理によって得られた線およびエッジ等に基づいてテ
ンプレートを作成する。

【００５６】ステップＳ５９では、作成したテンプレー
トをテンプレート格納領域６２に格納する。なお、この
テンプレート格納領域６２も、図７のステップＳ４２で
認識した端末ＩＤに対して割り当てられている領域内に
設けられているものである。そして、ステップＳ６０に
おいて、ステップＳ５９でテンプレートを格納したアド
レスをステップＳ５３でハントした画像ＩＤに対応づけ
てアドレステーブル６４に保持する。

【００５７】上記手順により、携帯端末１からデータベ
ースの作成依頼とともに画像データが転送されてくる
と、データベース７内の携帯端末１に割り当てられた領
域内にその画像データとその画像データに基づいて作成
されたテンプレートとが対応づけられて格納される。

【００５８】図１１は、データベース作成処理のフロー
チャートであり、図１０の処理により格納してある画像
データに関連する情報をその画像データに対応づけて書
き込む処理を示す。なお、同図のフローチャートは、ユ
ーザに対話型のデータ入力インタフェースを提供してユ
ーザがそれに従って関連情報を入力する場合のホスト装
置６の動作を示している。また、ここでは、ユーザがホ
スト端末６において関連情報を入力するものとするが、
ネットワーク５に接続された任意の端末装置からその関
連情報を入力することも可能である。

【００５９】ステップＳ７１では、ユーザに端末ＩＤを
入力させるための画面をホスト装置６のディスプレイに
表示する。ここでは、ユーザが携帯端末１の端末ＩＤを
入力したものとする。ステップＳ７２では、入力された
端末ＩＤに対して割り当てられている領域内に格納され
ている画像データを表示する。複数の画像データが格納
されている場合には、それらを縮小してホスト装置６の
ディスプレイに同時に表示してもよいし、ユーザからの
指示に従って順次表示してもよい。

【００６０】ユーザが所望の画像データを選択すると、
ステップＳ７３において、選択された画像データに関す
る情報を入力させるための領域をホスト装置６のディス
プレイに表示する。この入力領域にユーザが文字列など
を入力すると、ステップＳ７４において、その入力され
た情報（文字列など）をデータベース情報として関連情
報格納領域６３に格納する。なお、ユーザは、対象物が
人物の場合、例えば、その人物の氏名、住所、電話番
号、以前に会ったときの会話の内容など入力する。そし
て、ステップＳ７５において、ユーザによって選択され
た画像データに対応させて、ユーザによって入力された
情報を格納したアドレスをアドレステーブル６４に保持
する。

【００６１】上記手順により、各画像ごとにその画像デ
ータと、その画像データから特徴を抽出したテンプレー
トと、その画像に対応する関連情報とがそれぞれ互いに
対応づけられてデータベース７に格納される。

【００６２】図１２は、データベース検索処理のフロー
チャートである。このフローチャートは、図７のステッ
プＳ４７の詳細説明であり、ホスト装置６が携帯端末１
から検索依頼とともに画像データを受信したときに実行
されるホスト装置６における処理である。

【００６３】ステップＳ８１〜Ｓ８４は、図１０のステ
ップＳ５１、Ｓ５５〜Ｓ５７と同じ処理であり、受信パ
ケットから抽出した画像データから線およびエッジ等を
検出する。そして、ステップＳ８５では、ステップＳ８
４において得られた線およびエッジ等に基づいて輪郭・
線抽出画像を作成する。この処理は、基本的な動作とし
ては、図１０のステップＳ５８のテンプレート作成処理
と同じである。

【００６４】ステップＳ８６では、テンプレートマッチ
ング処理を実行する。すなわち、ステップＳ８５で作成
した輪郭・線抽出画像をキーとしてデータベース７にア
クセスし、テンプレート格納領域６２に格納されている
各テンプレートとの類似度を調べる。なお、このテンプ
レートマッチング処理では、図７のステップＳ４２で検
出した端末ＩＤに対して割り当てられた領域内に設けら
れたテンプレート格納領域６２においてサーチするもの
とする。

【００６５】ステップＳ８７では、最も類似度の高いテ
ンプレートに対応する関連情報を関連情報格納領域６３
から読み出す。たとえば、ステップＳ８５で作成した輪
郭・線抽出画像とテンプレート７１との類似度が最も高
かった場合には、アドレステーブル６４を参照し、関連
情報格納領域６３のアドレス＝p0001 に格納されている
関連情報を読み出す。

【００６６】ステップＳ８８では、ステップＳ８７で読
み出した関連情報を格納するパケットを作成する。この
パケットは、その送信先アドレスとして図７のステップ
Ｓ４２で検出した端末ＩＤ（ここでは、携帯端末１の端
末ＩＤ）に対応する端末のアドレスを設定する。そし
て、ステップＳ８９において、パケット送出先の端末と
の間にリンクが確立されているかを調べ、確立されてい
れば、ステップＳ９０においてそのリンクを介してステ
ップＳ８８で作成したパケットを送出する。リンクが確
立されていなければ、ステップＳ９１でリンクを確立し
た後にステップＳ９０へ進む。

【００６７】本実施形態の検索システムでは、データベ
ース７に予め格納しておく画像データと、検索キーとし
ての画像データとを同じ装置（実施例では、携帯端末１
のカメラ１２）で取り込むので、対象物が同一であれ
ば、その類似度が高いと考えられる。ただし、データベ
ース作成のためのカメラ撮影と検索キーを取り込む際の
カメラ撮影とでは、たとえば対象物を撮影する際の撮影
角度等を正確に一致させることは困難なので、そのこと
が画像データを検索キーとした検索精度を低下させる要
因となる。

【００６８】このため、上記実施例では、図１２のステ
ップＳ８８において、最も類似度が高いテンプレートに
対応する関連情報を読み出しているが、類似度の高いも
のから順番に複数のテンプレートを選択し、それらのテ
ンプレートにそれぞれ対応する関連情報を読み出して携
帯端末１に送出するような構成としてもよい。

【００６９】また、上記実施例では、画像データの対象
物として人物を扱っているが、本発明は、様々な対象物
に適用できる。たとえば、データベースに予め様々な建
造物の画像データとそれら各建造物の名称、建築様式、
歴史などを対応づけて格納しておき、ユーザは、ある建
造物に関する情報を得たいときには、携帯端末１を用い
てその建造物を撮影して、検索依頼とともにその画像デ
ータをホスト装置６に送ることにより、その建造物に関
する情報が得られる。

【００７０】ところが、建造物のように、検索対象の数
が膨大な場合には、それに伴ってデータベースに格納し
ておく画像データの情報量も膨大になるが、データベー
スに格納される情報量が増えると、検索時間が長くな
り、データベースとしては実用的でなくなる恐れがあ
る。このため、例えば、建造物を対象とする場合には、
図１３に示すように、地域ごとに分割してデータベース
を作成しておく。そして、撮影した建造物の画像データ
をキーとして検索を依頼するときには、携帯端末１は、
図５に示すように、その画像データを撮影したときに検
出したＧＰＳデータもいっしょにホスト装置６へ送る。
あるいは、携帯端末１の最寄りの基地局を識別する情報
がホスト装置６へ転送されるようにしておく。

【００７１】ホスト装置６は、位置情報（ＧＰＳデータ
など）に従って撮影された建造物が存在する地域を認識
し、その地域のデータベースを検索する。以降の処理
は、対象物を人物としたときと同じである。

【００７２】また、上記実施例では、画像データをキー
としてデータベースを検索しているが、対象物を人物と
した場合には、検索補助情報として音声データを併用し
てもよい。この場合、データベースには、各人物の画像
データに対応づけて、その人物の音声を予め録音して格
納しておく。この音声情報は、その人物の音声の特徴を
抽出した状態（たとえば、声紋、フォルマント）で格納
しておく。そして、ユーザは、ある人物に関する情報を
得たいときには、携帯端末１を用いてその人物を撮影す
るとともに、その人物の声を録音し、検索依頼とともに
その画像データおよび音声データをホスト装置６に送出
する。

【００７３】なお、上述したように、検索結果を即座に
携帯端末１に返送することなく、ホスト装置６に保存し
てもよい。この場合、検索結果は、携帯端末１の端末Ｉ
Ｄに対応づけて保存する。また、この検索結果を予め指
定されている所定の端末装置に転送してもよい。

【００７４】上記実施形態において、ホスト装置６によ
って実行される処理プログラム、すなわち図７および図
１０〜図１２に示すフローチャートで示す各機能を実現
するプログラム、およびネットワークを介して転送され
てくる情報を解釈して処理するプログラム等は、ＣＰＵ
５５が読み取り可能なプログラムコードの形態で記憶装
置５１あるいは可搬性記録媒体５３に格納されている。
あるいは、ネットワークを介して接続される他の装置に
格納されているものを利用する。

【００７５】

【発明の効果】本発明の検索システムでは、携帯端末が
備えるカメラ等で対象物の画像データを取り込み、その
画像データをホスト装置に送出することによりその画像
データに関連する情報が得られる。このように、本発明
によれば、データ検索システムにおいて操作が簡単なユ
ーザインタフェースが提供される。

【００７６】また、携帯端末としては、画像を読み取っ
てホスト装置へ転送する機能、およびホスト装置に処理
を依頼する機能を備えていればよく、大容量のメモリや
高性能プロセッサは必要ないので、小型・軽量・低コス
ト化が計れる。

【図面の簡単な説明】

【図１】本実施形態のシステム構成図である。

【図２】携帯端末の外観図である。

【図３】携帯端末の構成図である。

【図４】携帯端末においてカメラ撮影により取り込んだ
画像データをホスト装置に転送する処理のフローチャー
トである。

【図５】(a) は、携帯端末から送出されるパケットの構
造を示す図であり、(b) は、パケット作成処理の詳細フ
ローチャートである。

【図６】ホスト装置の構成図である。

【図７】ホスト装置の処理を説明する概略フローチャー
トである。

【図８】データベースの構成図である。

【図９】データベースに格納される情報の例である。

【図１０】データベース作成処理のフローチャート（そ
の１）である。

【図１１】データベース作成処理のフローチャート（そ
の２）である。

【図１２】データベース検索処理のフローチャートであ
る。

【図１３】他の実施例におけるデータベースの構成図で
ある。

【符号の説明】

１携帯端末２表示部３画像入力部４送受信部５ネットワーク６ホスト装置７データベース８画像処理部９検索部１２カメラ２１ＣＰＵ２２記憶装置２４記録媒体ドライバ２５可搬性記録媒体３１液晶ディスプレイ４０通信制御部５１記憶装置５２記録媒体ドライバ５３可搬性記録媒体５４通信制御部５５ＣＰＵ５６メモリ

Claims

【特許請求の範囲】

【請求項１】画像を読み取る読取手段と、画像データとその画像データに関連する情報とを互いに
対応づけて格納する格納手段と、上記読取手段によって読み取られた画像の画像データに
基づいて上記格納手段からその読取手段によって読み取
られた画像の画像データに対応する情報を取り出す検索
手段と、を有するデータ検索システム。
【請求項２】上記格納手段に格納されている画像デー
タは、上記読取手段を用いて予め読み取っておいた画像
の画像データである請求項１に記載のデータ検索システ
ム。
【請求項３】上記格納手段は、当該格納手段が格納し
ている画像データからその特徴を抽出することによって
得られた画像特徴データをその画像データに対応づけて
格納しており、上記検索手段は、上記読取手段によって読み取られた画
像の画像データからその特徴を抽出し、その抽出した特
徴と上記画像特徴データとの類似度に基づいて上記読取
手段によって読み取られた画像の画像データに対応する
情報を取り出す請求項１に記載のデータ検索システム。
【請求項４】携帯端末からホスト装置に検索を依頼す
る構成のデータ検索システムであって、上記携帯端末は、画像を読み取る読取手段と、該読取手段が画像を読み取った位置を検出する位置検出
手段と、を備え、上記ホスト装置は、対象物が存在する地域ごとに各対象物の画像データとそ
の対象物に関連する情報とを互いに対応づけて格納する
格納手段と、上記位置検出手段によって検出された位置データおよび
上記読取手段によって読み取られた画像の画像データに
基づいて上記格納手段からその読取手段によって読み取
られた画像の画像データに対応する情報を取り出す検索
手段と、を備えたデータ検索システム。