JP4251101B2 - 画像情報処理システム - Google Patents

Description

本発明は、大量の画像データが蓄積された画像データベースから、画像および画像上に撮影された目標物の情報を取得するための画像情報処理システムに関わる。

近年、計算機の処理性能向上により、サイズの大きい大容量の画像データが広く利用されるようになってきた。例えば、衛星画像や監視カメラ画像、観測記録画像、医療画像などの分野である。特に衛星画像はその典型的な例であり、センサ高性能化に伴う高分解能化、バンド数の増加、輝度階調拡張に伴うビット数の増加などにより、データ容量が飛躍的に増大しつつある。

また、大容量ストレージや大容量ネットワークなどのハードウェア技術、または大規模システムの構築技術などの開発により、上記大容量画像データを自動的に蓄積していくような、大規模かつ時系列の画像データベース・システムの構築が可能となってきた。特に衛星画像については、衛星が地球上空を周回して時々刻々と画像を撮影し続けるため、それら時系列データの蓄積によりデータベースは成長し続けることとなる。さらに近年、商用高解像度衛星などの打ち上げが盛んとなり、データソースの衛星数自体も増大していることから、データベースの大規模化は避けられない状況にある。

そのような大規模な画像データベースを活用するためには、ユーザーが必要とする画像データを効率良く取得する技術が必要である。例えば、特開平１１−２８２８６１号公報には、衛星画像の属性情報および地図を用いた画像検索ナビゲーション機能に関する従来技術が開示されている。また、特開２００１−１９５５６５号公報には、目標物の情報をキーとして衛星画像を検索する従来技術が開示されている。

特開平１１−２８２８６１号公報

特開２００１−１９５５６５号公報 特開２００１−３０７１０６号公報 特開平１１−３１２２３３号公報

時系列画像データベースの中には、画像上に撮影された様々な目標物の情報、すなわち画像情報が暗示的に蓄積されている。そのような画像情報を効率良く抽出し検索利用できれば、広域環境調査や意思決定支援など、画像データベースの高度な応用が可能になる。しかしながら従来技術では、属性情報を用いて検索対象画像データを絞り込んだり、単一画像上の個別の目標物については検索できたが、目標物の知識情報を用いて、画像上の複数目標物の「状況（コンテキスト）」や、複数撮影時期の画像にまたがる変化状況など「時系列パターン」については情報取得が難しかった。すなわち、大容量の画像データが多数登録されている大規模な画像データベースから、ユーザーが必要とする多種多様な画像情報を効率良く取得することが難しい、という問題があった。本発明では、これらの問題を解決する画像データベース利用技術および画像情報処理システムを提供することを目的とする。

上記目的を解決するため、本願で開示する発明の概要を説明すれば以下の通りである。画像と該画像の位置情報および時間情報を含む属性情報とを対応付けて管理する画像データベースと、目標物の名称と目標物知識とを対応付けて管理する目標物知識データベースと、該目標物知識データベースを用いて該画像上の目標物の情報を抽出する手段と、該画像と該目標物情報とを対応付けて管理する手段と、該目標物情報のインデックスを構築する手段と、検索クエリーを登録する手段と、該目標物知識データベースを用いて該検索クエリーと該目標物情報とを対応付ける手段と、該目標物情報インデックスを用いて該目標物情報を検索する手段と、該目標物情報の検索結果を出力する手段と、該検索結果に対応付けられた該画像を出力する手段とを備えることを特徴とする。

さらに本発明の目標物情報検索手段は、上記目標物知識データベースと上記目標物情報抽出手段とを用いて検索対象の目標物情報を抽出して上記目標物情報インデックスを構築し、該目標物情報インデックスを用いて該目標物情報を検索する手段を備えることを特徴とする。さらに本発明の目標物情報検索手段は、空間解析手段または時空間解析手段を備え、本発明の検索クエリー登録手段は、画像上における目標物の状況に関するクエリー、複数撮影時期の画像にまたがる目標物の時系列パターンに関するクエリー、およびそれらの予約クエリーを登録する手段を備えることを特徴とする。
これらの構成により、画像データベースから画像および画像上の目標物の情報を効率良く取得可能な画像情報処理システムが実現できる。

本発明によれば、画像上における目標物の状況および時系列パターンをキーとして画像情報および画像データを取得でき、大規模画像データベースに蓄積された多数の画像データの効率的な利用が可能となる。また、予約クエリーの登録により、ユーザーが必要とするシーンが得られた場合のみ画像データを精査することができ、広大な画像範囲を効率的に確認することができる。また、一般に大規模な画像データベースでは目標物情報の検索に膨大な処理時間を要するが、本発明によれば、目標物情報インデックスの活用により高速な情報検索が可能となる。これらの効果により、最新状況の把握や過去の類似事例の概観などが可能となり、ユーザーの高度な分析および意思決定を支援できる。

以下、本発明の一実施形態について図面を参照しながら詳細に説明する。ここで、本願で「目標物」とは地物および移動物体およびそれらの時系列パターンをいい、「地物」とは建築物や道路、植生、海岸線など、「移動物体」とは飛行機や船舶、列車、車両など、「時系列パターン」とは森林伐採や交通量（移動物体の数）の増減などをいうこととする。

図１は、本発明の一実施形態における機能構成の例を示す図である。システムは２つの基本構成要素、すなわちユーザー端末１００と画像情報処理システム１０１からなる。画像情報処理システム１０１はさらに、処理管理部１１０、検索処理部１２０、知識処理部１３０、抽出処理部１４０およびいくつかのデータベースなどの手段からなる。画像情報処理システム１０１は、ユーザー端末１００からの検索クエリー１０２を処理管理部１１０にて受け、知識処理部１３０を経由してクエリー１０２を解釈し、検索処理部１２０にて対応する検索処理を実行して、その処理結果１０３をユーザー端末１００に返す。

処理管理部１１０はユーザー情報管理部１１１、データ入出力管理部１１２、処理履歴管理部１１３からなる。ユーザー情報管理部１１１では、ユーザー毎のカスタマイズ状況や処理状況などの情報を管理する。データ入出力管理部１１２では、ユーザー端末１００からの操作入力やクエリー入力を受け付け、それに伴う処理を起動したり、ユーザー端末１００への処理結果出力などを行う。さらに、画像データや知識データの投入や更新なども行う。処理履歴管理部１１３では、抽出処理部１４０での抽出処理などに関する処理履歴情報を管理し、抽出処理済み時空間範囲および抽出処理に用いた抽出手法または抽出手段のバージョン情報などを一括管理する。これにより、新しい画像データの投入時に、抽出実行すべき処理があるか確認できる。処理履歴情報には、抽出処理のバージョン情報の他、処理実行した時間やユーザー名などを管理しても良い。

検索処理部１２０は管理部１２１、クエリー処理部１２２、検索処理エンジン１２３からなる。これら機能は相互に連携して目標物情報インデックス１５０の検索処理を実行する。管理部１２１では、目標物情報インデックス１５０や検索処理の状況などを管理する。クエリー処理部１２２では、ユーザー端末１００からの検索要求としてクエリーを受け、検索処理内容を適切に解釈して、検索処理エンジン１２３を起動する。検索処理エンジン１２３では、目標物情報インデックス１５０を検索処理して検索結果を返す。ここで、目標物の情報は直接画像から得るのではなく、主に目標物情報インデックス１５０を用いて検索するため、いわゆる画像検索エンジンではなく、地理情報システム（ＧＩＳ：Ｇｅｏｇｒａｐｈｉｃ Ｉｎｆｏｒｍａｔｉｏｎ Ｓｙｓｔｅｍ）などの空間解析エンジン、または４次元地理情報システム（４Ｄ−ＧＩＳ：４ Ｄｉｍｅｎｓｉｏｎａｌ−ＧＩＳ）などの時空間解析エンジンを検索処理エンジン１２３としても良い。時空間解析エンジンをバックエンドに持つ画像検索機能の構成により、強力な時空間解析機能が得られ、目標物の状況や時系列パターンなどをキーとする高度な検索処理が可能となる。

知識処理部１３０は管理部１３１、クエリー処理部１３２、知識処理エンジン１３３からなる。管理部１３１では、知識データベース１５１や知識処理の状況などを管理する。クエリー処理部１３２では、ユーザーから入力されたクエリーの解釈などを行い、ユーザーが意図している目標物を特定して、当該目標物の知識データを取得すべく、知識処理エンジン１３３を起動する。知識処理エンジン１３３では、知識データベース１５１や各種推論エンジンなどを用いてユーザーが必要としている目標物の知識データを特定し、目標物情報インデックス１５０における適切な検索キーワードを特定して検索処理部１２０を起動したり、あるいは当該目標物の抽出に適した抽出方法を特定して抽出処理部１４０を起動するなど、システムの複数機能を連携した処理を実現する。

抽出処理部１４０は管理部１４１、クエリー処理部１４２、抽出処理エンジン１４３からなる。これら機能は相互に連携して目標物情報の抽出処理と目標物情報インデックス１５０の構築処理を実現する。管理部１４１では、抽出処理の状況などを管理する。クエリー処理部１４２では、クエリーの解釈により、知識処理部１３０などと連携して、ユーザーが必要としている目標物情報の抽出に適した抽出処理方法などを取得して、抽出処理エンジン１４３を起動する。抽出処理エンジン１４３では、目標物情報の抽出処理、目標物情報インデックス１５０の構築処理を実行して抽出結果を返す。また、検索処理部１２０からの検索依頼だけでなく、ユーザー端末１００から直接抽出指示を受けても良い。もちろん、自動の抽出処理だけでなく、手動や半自動の抽出処理を実行しても良い。

またデータベース手段では、複数データベースを連携して用いる。目標物情報インデックス１５０は、各種インデックス情報を効率的に管理する。特に検索処理部１２０による検索処理では、目標物情報インデックス１５０を用いて高速な処理を実現する。知識データベース１５１は、目標物の知識データを蓄積して、抽出処理や検索処理などの基盤情報を提供する。また画像データベース１５２は大量の画像データを管理できるよう、大規模なデータベースであっても良い。

上記構成により、効率的な画像検索システムを実現できる。一般に、画像データの大容量化に伴い、直接画像から目標物情報を抽出して検索処理しようとすると、抽出処理だけで膨大な処理時間が必要となってしまう。また、データベースが大規模になればなるほど、アクセス性能の低下なども問題となる。そこで、目標物情報を抽出した際に目標物情報インデックス１５０を構築して格納しておき、以降は目標物情報インデックス１５０のみを用いて検索処理を実行して、画像データ自体には毎回アクセスしないで済む構成とする。これにより、大規模な画像データベース１５２であっても、必要最小限のアクセスのみで効率的な検索処理が可能となり、システム全体としての処理性能を向上できる。

また、知識データベース１５１および知識処理部１３０を共通基盤とする構成により、検索処理部１２０と抽出処理部１４０を連携させ、高度なシステム機能を実現することができる。ユーザーは検索処理と抽出処理の統合について意識することなく、クエリー１０２のみをインタフェースとして検索処理および抽出処理をシームレスに実行できる。例えば、検索対象データが存在しない場合、検索処理部１２０は知識処理部１３０を介して抽出処理部１４０に画像データからの目標物情報抽出処理を依頼し、抽出処理部１４０にて抽出処理し動的に生成した目標物情報インデックス１５０を用いて検索処理することもできる。もちろん、必要に応じて処理管理部１１０に処理設定情報などを付与し、検索処理のみを実行して抽出処理は実行しないなど、処理制御しても良い。

なお、上記システム構成は概念的なものであって、実際には物理的に分割された複数の計算機に限定されるものではなく、同様の構成を備えていれば、一つの計算機上の二つのプロセスとしても良いし、さらには同一計算機上の同一プロセス内の異なるコンポーネントとして実現しても良い。逆に、二つ以上の複数のプロセスまたは計算機に機能を分割して実現することもできる。

図２は、本発明の一実施形態におけるクエリー登録と検索処理結果の例を示す図である。図２（ａ）は、「２隻以上の大型船舶が写っている画像」など、画像上における目標物の状況（コンテキスト）をクエリーとした検索処理結果２００の例である。目標物情報インデックス１５０の空間解析により、あたかも画像データそのものを検索したかのように、要求された状況（クエリー条件）を満たす画像を検索できる。この例からも明らかなように、画像上の目標物２１０とは、空間データにおける地図または図形オブジェクトそのものである。よって、ＧＩＳなど強力な空間解析機能を持つ検索処理エンジン１２３をバックエンドで持つ本発明により、目標物の多種多様な状況をキーとした検索処理が可能となる。その他、「大型船舶と小型船舶が同時に写っている画像」や「密集して規則正しく並んでいる建物」など、複雑な状況をキーとした検索処理も可能となる。

また図２（ｂ）は、「船舶交通量が増加した画像」など、複数撮影時期の画像にまたがる目標物の時系列パターンをクエリーとした検索処理結果２０１の例である。目標物情報インデックス１５０の時空間解析により、あたかも複数画像そのものを検索したかのように、要求された時系列パターンを満たす画像群を検索することができる。ここで、画像上の時系列パターンは、同一領域を撮影した旧画像と新画像を見つけて、それらを比較評価することで得られる。ＧＩＳなど強力な時空間解析エンジンをバックエンドで持つ本発明により、目標物の多種多様な時系列パターンをキーとした検索が可能となる。その他、船舶交通量調査を目的とした「一年で船舶が最も多い○○湾の画像」や、「○○が△△になった地域（例：森林が道路に）」や「伐採面積○○ヘクタール以上の森林伐採地域」など、目標物のモデル化を含む複雑なクエリーによる検索処理も可能となる。

また図２（ｃ）は、「今後○週間以内で、船舶交通量が増加した画像」など、予約クエリーによる検索処理結果２０２の例である。ここで、クエリーの有効期限を設定することで、有効期限が終了したらユーザーに情報提供して、検索処理内容の見直しやシステム負荷を管理できる。また、ダイアログボックスやメールなどユーザーの利用環境に適したアラーム情報提示方法を、クエリー登録時にあらかじめ設定しても良い。以上のようなクエリーの利用により、ユーザーは目標物や地域状況に関する画像情報を効率良く取得できる。

図３は、本発明の一実施形態における検索処理内容のイメージの例を示す図である。図３（ａ）はデータベース空間３００と画像データ３０１の模式図である。データベース空間３００は、横方向の空間軸と、縦方向の時間軸からなり、仮想的な時空間を形成している。画像データ３０１は撮影された地球上の位置や時間に応じて、データベース空間３００における適切な場所に対応付けられ管理される。もちろん、ここで示した画像データ３０１は、上記の目標物情報インデックス１５０上の目標物情報の集合により代替できる。図３（ｂ）は、本発明の特徴の一つである、状況クエリーによる検索結果３０２である画像データを強調表示した模式図である。また、図３（ｃ）は、状況検索の概念をさらに拡張して、時系列パターンを検索し、検索された時系列パターン３０３とパターンを構成する画像データを強調表示した模式図である。

以上の例では、データベース全体から画像を検索しているため、思いもかけない結果が思いもかけない時間や場所で偶然得られる可能性がある。しかしながら、データベースが大規模になればなるほど処理に膨大な時間を要する、という問題がある。そこで、図３（ｄ）から（ｆ）を用いて、本発明の特徴の一つである、優先順位の指定による検索処理のイメージを説明する。図３（ｄ）は、時間優先３０４を指定し、検索対象となるデータベース範囲と画像データを強調表示した模式図である。これにより、「過去一年間での画像データ検索」などが可能となる。図３（ｅ）は、時間優先のなかでも特に「各地域における最新の画像データのみ」という最新優先３０５を指定し、検索対象となるデータベース範囲と画像データを強調表示した模式図である。最新の画像情報を必要とする用途は多く、それをサポートすることで、効率的なデータベース利用が可能となる。図３（ｆ）は、空間優先３０６を指定し、検索対象となるデータベース範囲と画像データを強調して表示した模式図である。例えば「日本、アジア地域、世界」あるいは「世界中の空港から」などと地図データまたはユーザー作図データなどを用いて優先設定できる。なお、従来技術のＳＱＬ（Ｓｔｒｕｃｔｕｒｅｄ Ｑｕｅｒｙ Ｌａｎｇｕａｇｅ）のように「処理結果の並び換え順」を規定するのではなく、「処理自体の順序」を規定可能とし、さらに任意のユーザー制御を可能とすることで、大規模なデータベースを用いた長時間処理を必要とするアプリケーションについても、実利用に耐える処理とすることができる。

図４は、本発明の一実施形態における知識データベースの構成の例を示す図である。知識データベース１５１は、目標物に関する知識を蓄積して管理するデータベースである。知識は知識データ４０２として記述され、対象とする目標物に関する様々な情報を関連付けて管理する。例えて言えば、知識データベースとは辞書のようなものであり、知識データは単語に相当するものであるといえる。知識データ４０２は、目標物の分類体系やクラス構成により相互に関連付けられ、ツリー構造またはグラフ構造などとして体系的に管理される４０１。さらに、子ノードの知識データを集約して新たな知識データを生成でき、それを拡張知識データ４０３として親ノードに付与することで、目標物に関する知識の拡張が可能となる。例えば、個別目標物の特徴量を平均化した共通知識データを生成して、親ノードの知識データとして保持しても良い。これにより、抽出処理の際に親ノードの知識データをチェックするだけで、全ての子ノードをたどって試行錯誤することなしに、当該目標物に該当するか否かを判断でき、処理効率化が可能となる。

さらに、親ノードの知識データを直接利用した抽出処理なども可能となる。例えば、全航空機をキーにして検索または抽出する、などである。ここで、知識データベース１５１および知識データ４０２は、可変長レコードに対応したデータベースとデータとする。例えば、容易に拡張が可能なＸＭＬ形式のデータを扱うデータベースとすれば良い。固定長ではなく可変長とすることで、新しい知識が追加または獲得された場合に、その知識を自由にデータベースに追加拡張できる。また、知識データは汎用のデータ形式で記述されているため、その解釈方法によっては異なるツリー構造やグラフ構造として構成できる。ユーザーが指定した任意の分類体系に応じて動的に構造を変更し、ユーザーの理解しやすい形式で情報提示を行うことで、様々な利用形態に即したシステムを提供できる。また、知識データベースは、独自のデータベースとして構築しても良いが、判読見本などを蓄積した既存の判読データベースなどを用いても良い。この場合、判読見本を抽出処理のモデルとして用いることができる。もちろん、単に複数画像を蓄積しただけのデータベースや、抽出ルールを格納したルール・ベースのような、シンプルな構成としても良い。

図５は、本発明の一実施形態における知識データの構成の例を示す図である。知識データ４０２では、目標物の名前やキーワードまたはＩＤなどのクラス情報５０１と、目標物の詳細を示す属性情報５０２などを対応付けて管理できる。さらに本発明の特徴として、当該目標物の抽出処理を実現するルールや、当該ルールに含まれるテンプレートなどのモデルなど、抽出手段５０３も知識として管理することができる。これにより、目標物とその抽出処理に適した処理方法またはプログラムを関連付けることができ、知識データベース１５１を各種処理に利用可能な基盤機能とすることができる。例えば、検索処理部１２０や抽出処理部１４０では、ユーザーからのクエリーを解釈して、名前やキーワードなどから実際の処理にマッピングする必要があるが、本知識データにて名前を共通管理することで、全ての処理の一貫性を保つことができる。また、サンプル画像も複数管理でき、これらを用いて目標物に関する知識を獲得して、モデルを更新しても良い。例えば、目標物の輝度特徴量などは、比較的簡単に獲得できる知識であるが、抽出処理においては有効な手がかりとなる。

さらに、本発明では、画像データの種別毎に特有のルールおよびモデルおよびサンプル画像などを目標物知識として個別に管理することができる。これにより、様々な種別の画像データに応じた最適な抽出処理を実現できる。モデルについて例を挙げると、光学系画像および全種別の画像に共通するモデルとして、目標物の詳細形状を示すＣＡＤ（Ｃｏｍｐｕｔｅｒ Ａｉｄｅｄ Ｄｅｓｉｇｎ）データや図面データなどの非画像データや、それらをスキャンした画像データなどを用いることができる。モデルの実例としては、特許文献３のテンプレートなどを用いても良い。また、ハイパースペクトル画像などに対しては、目標物の表面物質に関するスペクトルライブラリのデータを保持しても良い。あるいは、スペクトルライブラリを別個のデータベースとして管理し、そのデータに対するポインタやＩＤなどを保持しても良い。また、ＳＡＲ（Ｓｙｎｔｈｅｔｉｃ Ａｐｅｒｔｕｒｅ Ｒａｄａｒ）などのレーダー画像に対しては統計モデルなど、全く異なるモデルを統一的に扱うことができる。もちろん、シンプルなモデルとして抽出処理のパラメータなどを記述しても良い。

また、特に時系列パターンについては、移動物体と地物では、「移動」と「形状変化」など時間の解釈または意味の観点からモデルが異なるため、目標物の種別毎に適切なモデルを区別して扱える知識データ構成とする。また、単なるモデルの集合ではなく、ルールによりモデルの利用方法まで記述することで、より有効な知識データを構成できる。例えば、移動物体など形状を特定できる目標物については、図面やサンプル画像からテンプレートを生成し、それをモデルとして画像データ上をテンプレート探索するというルールにより、抽出処理を実現できる。また、地物など形状に幅がある目標物については、図面やサンプル画像から特徴量（形状、スペクトル、テクスチャ、コンテキストなど）を生成し、それをモデルとして画像データ上を特徴量マッチングするというルールとすれば良い。また、モデル側からのアプローチだけでなく、画像データ側についても、撮影時の属性情報などを用いて太陽方位や太陽高度から影の状況を推定し、それらも考慮して抽出処理するなど、より高度なモデルまたはルールとしても良い。

ここで、自動またはユーザーが手動で目標物を抽出したり認定する際に、その状況をモニタリングして、必要に応じてサンプル画像やルール、あるいはモデルを更新しても良い。これにより、シンプルな構成ながら、ユーザーが利用すればするほど知識が蓄積されていき、成長する知識データベース１５１を実現できる。例えば、サンプル画像更新の例としては、抽出した目標物領域の輝度特徴量から画像が明瞭であると判断された場合や、これまで取得した目標物と異なる色（スペクトル）特性を持っていた場合など、抽出処理の参考になりやすい画像を取得できる。ルール更新の例としては、地域毎の特徴量を取得して蓄積することで、環境が全く異なる地域に適した目標物抽出ルールを構築できる。例えば、ＡＡ地域の道路はアスファルトからなり、ＢＢ地域の道路は土壌からなる、などである。モデル更新の例としては、モデルをテンプレートとして用いた処理におけるエッジ特徴量のマッチングの度合いによって、特に一致度が高いエッジ領域の重み係数を増加する、などである。もちろん、ユーザーが手動で知識を更新しても良いことは言うまでもない。

また、処理結果に対してユーザーが評価レベル（Ａ：最適、Ｂ：適当、Ｃ：参考、Ｄ：不適）などを付与し、次回以降の処理において、この情報を処理結果と合わせて出力することで、判断材料として活用しても良い。これにより、不適が多発する場合は、知識データ（抽出処理パラメータ、ルール等）を見直して更新したり、最適な場合はその結果を次回も優先して参照するようなフィルタ効果が得られる。また、知識データ４０２の更新については、知識データベース１５１自体を直接更新しても良いが、ユーザー毎に独自に更新情報を保持しても良い。具体的には、ユーザー毎に設定情報を保持できる手段を設け、その設定情報上で、更新処理により生じた知識データベースとの差分情報を管理していく。これにより、ユーザー毎にカスタマイズされた知識データベースを用いることができ、検索または抽出の処理内容も個別にカスタマイズできる。ユーザー設定情報については、知識データベース側（管理部１３１など）で管理しても良いが、知識データベース１５１は全ユーザー共通のものとし、処理管理部１１０のユーザー情報管理部１１１にて管理しても良い。以上のような構成により、抽出処理実験など試行錯誤の過程を経て、ルールやモデルを拡張していくことで、ユーザーのニーズに適合した画像情報処理システムを実現することができる。

図６は、本発明の一実施形態における目標物情報インデックス１５０の例を示す図である。大別して、目標物情報を蓄積するテーブル６００と、テーブル内の各項目に関するインデックスから構成される。画像および目標物のデータ蓄積が進むにつれテーブル６００は大規模になっていくため、検索に頻繁に利用される各種項目についてインデックスを付与する。これにより、各種項目の昇順または降順など、適切な順序で効率的に処理実行できる。例えば、目標物種別についてインデックス６０１を付与すれば、特定目標物に着目した検索処理を高速化できる。また、画像ＩＤについてインデックス６０２を付与すれば、画像単位での状況や時系列パターンに着目した検索処理を高速化できる。また、目標物の位置に関するインデックス６０３を付与すれば、特定の領域や国などに着目した検索処理を高速化できる。具体的には、経度昇順などのシンプルなインデックスとしても良いし、４分木などの空間検索インデックスを構築しても良い。さらに、国別や地域別など、頻繁に使われる特殊なインデックスを構築しても良い。また、目標物時間についてインデックス６０４を付与すれば、時間に着目した検索処理を高速化できる。ここで、目標物が撮影された時間などの情報は、画像ＩＤから画像属性情報をたどれば取得できるが、頻繁に検索利用するため、ここで示したように、あらかじめ目標物情報側でインデックス化して保持しても良い。その他、いずれの項目についても、インデックス付与しておいても良い。

さらに、目標物の位置と時間の情報については、テーブルおよびインデックスを時空間地理情報システム（４Ｄ−ＧＩＳ）により管理しても良い。例えば、特許文献４に開示された図形データ管理方法などを採用することで、データ容量を圧縮しつつ、かつ時間変化解析などに利用しやすい地図データベースを構築することができる。逆に、インデックス全体を４Ｄ−ＧＩＳにて構築し、ＩＤやその他の非地図要素などは地図図形データの属性情報として実装しても良い。これにより、時空間解析エンジンをインデックスに含む構成とすることができ、複雑な空間解析の実行時におけるメモリ空間の節約などにより、検索処理の高性能化が可能となる。また、ユーザーおよび他処理部にとっては、複雑な空間解析処理が隠蔽され、処理および操作の実施が簡便になるというメリットがある。

ここで、目標物ＩＤや画像ＩＤはＵＲＩ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｉｄｅｎｔｉｆｉｅｒｓ）などとして記述することで、複数の計算機やデータベースに分散して管理できるようにしても良い。これにより、項目毎に別個の計算機やデータベースに分散して管理し、処理要求内容に応じて複数データベースにて分散処理することも容易に可能となる。また、計算機またはデータベースの資源追加などシステム構成を一部変更しなければならない場合でも、変更箇所に対応するＵＲＩを適切に置き換えるだけで済み、スケーラビリティの高いシステムを提供できる。もちろん、置き換えが生じないＵＲＩ設計としても良いことは言うまでもない。

図７は、本発明の一実施形態における目標物抽出確度情報の例を示す図である。抽出確度情報７００は、目標物の抽出が完全ではなく、人が目視で確認しても認識に誤りがあり得る、という前提に立ち、複数の目標物である可能性を記述できるようにしたものである。これにより、航空機目標物において、「ＡＡ社のＢＢ機種であることは間違いないが、ＣＣ型番かＤＤ型番か詳細については不明。もしかするとＥＥ機種の可能性もある」といった非常に詳細な目標物状況を記述できる。また、人手で認定作業を行い、「これは間違いなくＣＣ型番である」と認定された場合には、以降の目標物抽出処理では、当該領域は処理スキップしても良い。構成としては、複数の目標物情報を関連付けて管理できる仕組みと、目標物抽出の際の抽出確度情報（特許文献３参照）を保持する仕組み、さらに認定情報を保持する仕組みを備えれば良い。認定情報については、認定されたことを示すフラグ情報や、認定したユーザーの情報や認定日、抽出処理のバージョン情報などを記述しておいても良い。

図８は、本発明の一実施形態における処理画面の例を示す図である。処理画面８００は処理に関する情報をユーザーに提供するもので、複数のサブ・ウィンドウから構成される。処理操作ウィンドウ８０１は、処理開始や処理終了などのユーザー操作を受け付けるマンマシン・インタフェースを提供する。また、長い時間を要する処理に対し、一時停止や処理再開などのユーザー操作を受け付けるマンマシン・インタフェースを提供しても良い。ユーザー操作の入力は、主にマウスなどのポインティング・デバイスにより実行されるが、もちろんキーボードや各種入力インタフェースを用いても良い。処理内容ウィンドウ８０２は、検索要求（クエリー）や抽出処理コマンドなど、現在実行中あるいは実行しようとしている処理の内容を示す情報をユーザーに提供する。また、処理内容を提供するだけでなく、ユーザーからの処理内容の入力やその修正などを受け付けても良い。処理状況ウィンドウ８０３は、処理の進行状況などを示す情報をユーザーに提供する。これにより、長い時間を要する処理の過程でも、処理状況の適切な把握が可能となる。処理結果ウィンドウ８０４は、処理の結果を示す情報をユーザーに提供する。特に、長い時間を要する処理では、処理の過程で得られた処理結果を逐次追加し出力しても良い。処理結果の追加出力による処理結果ウィンドウのサイズ拡大に対応するため、スクロール・バーなどのマンマシン・インタフェース８０５を備えても良い。

以上述べた複数ウィンドウを組み合わせた処理画面８００の構成により、処理の過程における各種処理情報のユーザーによる閲覧と、それに対応した臨機応変なユーザー操作が可能となる。例えば、全体状況など処理状況を把握しつつ、処理結果を閲覧することができる。これにより、必要に応じて処理を一時停止または停止して処理内容を修正し、さらに処理再開したり再度最初から処理開始するなど、思考錯誤を伴う処理の選択実行が可能となる。例えば、あるクエリーを短期間かつ狭い範囲に対してテスト実行して、得られた結果を即座にチェックし、満足のいく処理結果であれば、残りの画像データベース全体についてのジョブを追加投入できる。また、得られた結果が満足のいかない結果であった場合には、すぐにジョブをキャンセルし、モデルやルールなどを微調整して、再度テストすることができる。また、複数ウィンドウの組み合わせ構成については、必要に応じて任意の組み合わせを選択して画面構成を整理したり、利用シーンに応じてユーザーが必要と思われるウィンドウのみに絞って提供しても良い。例えば、システム利用状況の監視のため処理状況ウィンドウのみ表示して処理操作ウィンドウは表示しない、または処理結果ウィンドウなど特定のウィンドウのみを表示する、などである。

図９は、本発明の一実施形態におけるクエリー生成の例を示す図である。以下の説明により得られたクエリーを前述の処理内容ウィンドウ８０２に表示すれば、処理内容を的確に把握できるようになる。クエリーは、従来技術のＳＱＬのような文字列形式のクエリー９００としても良いが、検索キーのサムネイル画像９０２などを含むビジュアル形式のクエリー９０１としても良い。これは、ＸＭＬやＨＴＭＬなどの記述形式により容易に実現可能だが、複雑なクエリーを明瞭に表現でき、検索キー画像の誤りなども未然に発見しやすくなるなどの効果がある。さらに、モデリング・ツールを提供して、例えばユーザーがリストボックスから候補を選択するだけで、高度なクエリーを簡便に設定できる選択ツール９０３を用意しても良い。これはサムネイル画像９０２だけでなく、頻繁に利用されるキーワード９０４などにも利用しても良い。特に、状況（コンテキスト）や時系列パターンなどパターンクエリー９１０の記述は複雑になりやすいため、状況の選択ツール９１４や、時系列パターンの選択ツール９１１などを用意しても良い。状況選択ツール９１４については、状況関数選択ツール９１５などを用意しても良い。

例えば、「Ｎｕｍ（＊）」は目標物＊の数を取得する関数、「Ａｒｅａ（＊）」は目標物＊の面積を取得する関数、「Ｗｉｔｈｉｎ（＊）」は目標物＊が他の地図データなどに含まれているか否かを示す関数、などである。具体的には、画像上の船舶数をクエリーに用いる場合には、「船舶数（＊）：：＝Ｎｕｍ（Ｍｏｄｅｌ：Ｓｈｉｐ）」のように船舶モデルの数を取得するよう定義して用いても良い。また、時系列パターンの場合には、上記状況選択ツール９１４に加え、さらに２画像間の関係設定ツール９１２や、その時間間隔の設定ツール９１３などを用意しても良い。特に関係設定ツール９１２については、上記状況関数選択ツール９１５の「Ｎｕｍ（船舶）」などの定義を利用して、さらに「船舶数（旧）＜船舶数（新）」（船舶数が増加）や「船舶数（旧）＞船舶数（新）」（船舶数が減少）などの時系列パターンのクエリーを選択設定により記述可能とする。ここで、「旧」は旧画像データ、「新」は新画像データを示す。

また、それらの間にあるのは「演算子」で、例えば、「＜」は目標物の増加、「＞」は目標物の減少、「≒」は目標物がほぼ同等、「Ｍａｘ」は目標物の数が最大、「Ｍｉｎ」は目標物の数が最小、などのシーンまたは時系列パターンを表す。また、「＜モデル＞」などとして、知識データベースに格納された特定のモデルを利用しても良い。例えば、「森林伐採：：＝植生指数が著しく減少」などの定義モデルを用いれば、「旧＜森林伐採＞新」は２時期画像間の植生指数を比較して著しく減少している場合に条件を満たし、検索結果に追加される。もちろん、上記の例は、複数内容を組み合わせて、より高度なクエリーとしても良い。また、時系列パターンの検索など、結果に複数画像が含まれる可能性のあるクエリーでは、新旧いずれの画像データを出力するかなども、クエリーに記述しても良い。また、必要に応じて、ビジュアル形式クエリー９０１を文字列形式クエリー９００に変換して利用しても良い。

図１０は、本発明の一実施形態における優先順位設定画面の例を示す図である。図９ではクエリー処理の内容について設定したが、さらに以下の手段によりクエリー処理の優先順位を設定できる。優先順位の設定には煩雑な時空間操作が必要となるため、ここで示すような、ユーザーにとって理解しやすい設定手段を提供することが重要である。優先順位設定画面１０００は、詳細設定ウィンドウ１００１、コマンド操作ウィンドウ１００６、設定リスト・ウィンドウ１００７の３つの画面からなる。

詳細設定ウィンドウ１００１は、時間または空間または属性情報を用いた優先順位の設定を効率良く実現する。時間設定ウィンドウ１００２は、特に本発明の特徴である、各領域における「最新データ」を指定可能とする。これにより、煩雑な設定操作なしに、地域の最新状況のみを検索対象とすることができる。ここで、本機能を効率的に実現するため、画像データを画像データベース１５２に投入する際に、対象地域の最新データであるか否かを判定して、最新データであることを示すフラグ情報をあらかじめ画像データベース１５２上に保持しても良い。また、特定の開始時間または終了時間または時区間などを指定したり、屋外の画像で重要な「日中のみの画像を用いる」といった処理設定を指定できる手段を提供しても良い。また、図中には年月日のみの例を示したが、もちろん時間を入力可能としても良い。その際、世界標準時間と地方標準時間の変換機能を設けても良い。また、上記複数機能は組み合わせて用いても良い。

例えば、「最新データかつ過去一年間の画像」といった設定を可能とすれば、「ここ数年間、画像が撮影されていない地域があるが、そこの画像は最新であっても処理対象としない」といった応用が可能となる。空間設定ウィンドウ１００３は、地図上でのユーザー作図１００４により、グラフィカルに処理対処範囲を設定できる。また、後述の地図データベース１３０２に登録された地図データなどをリスト化し、それを選択可能とすることで、簡便な空間設定が可能となる。例えば、「自国、近隣諸国、○○地域」「世界の主要空港」「世界の主要港」など、頻繁に利用する地図データを登録しておけば良い。以上述べたように、画像システムと地図システムの情報を統合することで、検索や抽出の処理精度を向上させることができる。属性設定ウィンドウ１００５は、属性情報を元に、リストの選択といった簡便な操作により、優先的に処理したいデータに関する情報を設定できる。また、処理対象データの絞り込みにも有効であることは言うまでもない。

コマンド操作ウィンドウ１００６は、前述の詳細設定ウィンドウ１００１で選択設定した内容を、後述の設定リスト・ウィンドウ１００７のリストに追加したり、逆にリストから削除したり、設定処理終了およびキャンセルするマンマシン・インタフェースを備える。ここで、複雑な優先順位設定に対応するため、設定処理終了時に自動で設定内容に矛盾がないかチェックする機能を設けて、矛盾が検出された場合にはユーザーに警告情報を提示しても良い。また、設定リスト・ウィンドウ１００７は、前述の設定や操作により登録されたリストを表示する。また、リスト中の各項目をマウスドラッグにより移動して優先順位を上下したり、コマンド操作ウィンドウ１００６や詳細設定ウィンドウ１００１と連動して内容修正しても良い。ここで、複数の項目が登録された長いリストのような複雑な優先順位設定であっても、誤って同じ画像データに対して重複処理しないよう、処理履歴管理部１１３にて処理済み画像については処理ログ情報を保持し、処理実行前にこれらをチェックして処理済みの場合にはスキップする機能を設けるなど、適切に処理管理しても良い。これらの機能により、大規模な画像データベースであっても、効率的な処理が可能となる。

図１１は、本発明の一実施形態における処理状況ウィンドウの例を示す図である。処理状況ウィンドウ８０３は、処理の進行状況や残り処理量など処理状況情報を把握しやすい形態でユーザーに提供する。例えば、図１１（ａ）に示す処理済データベース範囲１１００の例は、画像データベース１５２または目標物情報インデックス１５０の全体に対する処理済み割合などを出力することで、処理済み量を明示した例である。また、図１１（ｂ）に示す処理時間１１０１の例は、非常に長い処理であってもユーザーが効率良く作業できるよう、予想処理時間を明示した例である。また、図１１（ｃ）に示すキャラクター画面イメージ１１０２の例は、処理済み時空間範囲を整理して出力することで、処理の全体状況把握を可能とする例である。キャラクター端末などで状況を表示する場合にも適用可能である。また、図１１（ｄ）に示すグラフィック画面イメージ１１０３の例は、グラフィカルで理解しやすい情報提示により、処理結果の概観性を高めた例である。以上述べた処理状況ウィンドウの構成により、処理済み空間範囲や時間範囲、またはデータベース範囲に関する情報を適切に把握でき、以後の処理や操作に関する適切な意志決定が可能となる。

図１２は、本発明の一実施形態における処理結果ウィンドウの例を示す図である。処理結果ウィンドウ８０４は、処理結果の数や内容など、処理結果情報を把握しやすい形態でユーザーに提供する。図１２（ａ）に示す処理結果サムネイル出力１２００の例は、サムネイル画像１２０１を含めて処理結果を出力することで、特に画像データ単位での処理状況把握を可能とする例である。もちろん、サムネイル画像のみを出力しても良いし、得られた目標物のシンボル１２０２や範囲１２０３などの情報をサムネイル画像上に合わせて出力しても良い。また、当該画像データの属性情報などを用いて関連情報１２０４を出力しても良い。また、画像属性情報から位置情報を取得し、地図データとの重畳解析により、地域名称などの関連情報１２０４を出力しても良い。また、図１２（ｂ）に示す処理結果リスト出力１２０５の例は、テキスト形式で処理結果を出力することで、処理結果の一覧性を高めた出力例である。画像取得センサや撮影日時、撮影場所など画像に関する情報、あるいは目標物の数や状況などの情報を出力しても良い。

また、図１２（ｃ）に示す処理結果地図出力１２０６の例は、地域状況に着目した処理結果把握を可能とする例である。地図は自由に拡大縮小でき、任意の範囲について表示できる。特に、現在登録している空間優先の設定に応じて、ウィンドウ範囲を自動で変更しても良い。これらは、従来のクエリー言語と同様に、全ての処理が終わってから最後にまとめて結果を出力しても良いが、処理途中でも結果を順次出力して閲覧可能としても良い。これにより、処理結果の数が不明となるため、処理結果をスクロールするマンマシン・インタフェース８０５を用意し、ウィンドウのサイズを可変としても良い。また、処理途中でも処理結果を詳細に確認できるよう、各処理結果に選択インタフェース１２０７を設け、ユーザーの選択操作により詳細結果を別ウィンドウなどで表示しても良い。ここで、個々の処理結果が得られ次第、順次出力していくと、時間優先や空間優先など、処理実行時に指定された処理優先順位に応じた結果出力が得られる。または、検索クエリーへの適合度順により処理結果を並べ替えるなどして出力しても良い。

図１３は、本発明の一実施形態におけるデータベース・ハードウェア構成の例を示す図である。画像データベース１５２が大規模化していくと、単独のデータベースでは容量が不足してしまう状況が想定され、スケーラビリティを考慮したシステム基本設計とする必要がある。本発明では、目標物情報インデックス１５０など複数のデータベースを連携して用いることで、画像データベース本体への負荷を分散させることができ、システム構成の面からも望ましい性質を備えている。一般に、ディスク系など高速な画像データベース１３００は比較的容量が小さいという制約があり、逆に媒体系など大容量の画像データベース１３０１は処理が低速であるという制約があることが多い。これらハードウェアを適切に組み合わせてシステムを実現するため、頻繁に使う画像データは高速な画像データベース１３００に格納し、それ以外のあまり使われないデータは大容量データベース１３０１に格納しておく、といった運用が必要である。

本特許の特徴の一つとして、目標物情報インデックス１５０を画像データベース検索のフロントエンドに用いるため、これも高速なデータベースに格納することで、高スループットのシステムとすることができる。ただし、目標物情報インデックス１５０のみを用いて検索処理できても、最終的には画像データベースにアクセスして画像データ自体を閲覧することが必要になる。そこで、目標物情報インデックス１５０において、検索結果と関連付けられている画像データが大容量データベース１３０１中に格納されていると検知した場合、該大容量画像データベース１３０１に対しメッセージ１３１０を送信し、高速データベース１３００へ画像データをあらかじめ転送１３１１しておいても良い。ただし、高速画像データベース１３００のディスク容量には上限があるため、データベースが飽和状態となることが予想される場合、逆に大容量データベース１３０１側にバックアップを転送１３１２しておくことができる。

これを検索処理が進む過程で自動的に実行することで、ユーザーが利用する際には既に高速アクセスが可能なデータベース位置に画像データが存在している、という高性能な画像情報処理システムとすることができる。また、その他の地図データベース１３０２なども画像データと同様の構成としても良い。また、ネットワークを介して遠隔地にある複数データベースを用いても良い。その際には、ネットワーク的に遠い位置にあるデータベースを低速なデータベースとして扱っても良い。

図１４は、本発明の一実施形態におけるネットワーク・サービスの例を示す図である。これまで述べたシステムをネットワーク１４００に接続して入出力機能を設ければ、ネットワーク・サービスを提供可能となる。例えば、ネットワーク・ブラウザなどからの操作入力によりクエリー１４０１を受け付けて検索処理結果を閲覧提供しても良いし、または予約クエリー１４０１を受け付けて、処理結果の出力はメールなどによる通知１４０２として送付しても良い。これにより、ネットワーク接続が確立されていないユーザーからの予約クエリーに対しても、適切な出力が可能となる。その際、クエリーの数や長さ、あるいは画像一枚あたりの予想処理時間などを基に、ユーザーの利用状況を概算できる。該ユーザー利用状況は単なるシステム統計情報として用いても良いが、その情報を基に計算資源の利用制限を設けたり、ユーザーに課金しても良い。 最後に、本発明の主な処理の流れを示す。

図１５は、本発明の一実施形態における目標物情報検索処理と目標物情報抽出処理の連携処理フローの例を示す図である。検索クエリーが入力されると、まず最初に処理結果を初期化するＳ１１０。クエリー内容を解釈しＳ１１１、さらに知識処理部に問い合わせて目標物情報およびそのインデックスを特定するＳ１１２。以降、検索対象データが有りキャンセル指示が無い限り、サブルーチンＳｕｂ１をループ処理するＳ１１３。サブルーチンＳｕｂ１では、優先順位のリストをたどり、処理対象となる現在の優先順位の設定を取得しＳ１２０、処理対象となるデータが有る限り、サブルーチンＳｕｂ２をループ処理するＳ１２１。なお、複雑な優先順位の内容解釈を毎回回実行しないで済むよう、クエリー解釈Ｓ１１１の時点であらかじめ優先順位データをリスト化しておき、ここではそのリストを順番にたどるのみとしても良い。サブルーチンＳｕｂ２では、処理履歴情報および目標物情報インデックスのデータを確認しＳ１３０、抽出処理が必要か判定するＳ１３１。

目標物情報が未抽出でインデックスが未構築の場合のみ、図１６にて後述する目標物情報抽出処理を実行しＳ１３２、処理履歴情報を格納するＳ１３３。そして、目標物情報インデックスをたどって入力クエリーの条件に合うデータを時空間解析エンジンなどを用いて検索処理しＳ１３４、その処理履歴を格納してＳ１３５、処理結果を返す。以上のフローにより、目標物情報抽出処理との連携による目標物情報検索処理が実現可能となる。これにより、目標物情報インデックスが存在しない画像データが画像データベース中にあった場合でも、動的にインデックス構築して処理継続でき、システム全体としての挙動および検索機能を安定化できる。なお、抽出処理などの過程で問題が生じた画像については、無理に自動処理せず、一時待機キューまたは処理キューの最後尾などにデータを移動して、ユーザー判断をあおいでも良い。

図１６は、本発明の一実施形態における目標物情報抽出処理フローの例を示す図である。抽出クエリーが入力されると、まず最初に知識処理部に問い合わせて対象となる目標物の抽出手法を取得しＳ２００、得られた抽出手法を用いて抽出処理を実行するＳ２０１。例えば、特許文献３に記載の抽出方法などを用いることができる。さらに、目標物情報テーブルを更新しＳ２０２、目標物情報インデックスを更新するＳ２０３。また、認定作業を行う設定が登録されている場合にはＳ２０４、認定情報を付与する処理を行うＳ２０５。なお、認定情報の付与については、処理管理部にてユーザーの設定状況を管理し、必要に応じて作業するようにできる。これにより、通常は認定不要として処理自動化したり、時間ができた際などにまとめて認定作業することができる。以上のフローにより、目標物情報検索処理との連携が可能な目標物情報抽出処理が実現可能となる。

図１７は、本発明の一実施形態における目標物情報検索処理フローの例を示す図である。ここでは、状況（コンテキスト）と時系列パターンの両検索フローに対応する時空間解析エンジンの処理フローについてまとめて説明する。検索クエリーが入力されると、まず最初に各種インデックスを参照して検索対象となるデータを特定し、その画像ＩＤまたは目標物ＩＤを取得するＳ３００。なお、時系列パターンの検索処理の場合、空間インデックスなどを参照して得た同一地域の画像データの中から、設定された時間間隔の条件に適合するペア画像データを特定し、その新旧２つの画像ＩＤ、またはそれに属する目標物ＩＤなどを検索対象データとする。複数の検索対象データが取得された場合には、検索対象データが有る限りループ処理するＳ３０１。ループ内では、時空間解析エンジンなどを用いて現在の検索対象データがクエリー条件に適合するか判定しＳ３０２、適合する場合には画像ＩＤまたは目標物ＩＤを処理結果データに追加処理しＳ３０３、得られた処理結果データを返す。以上のフローにより、目標物情報インデックスを用いた目標物情報検索処理が実現できる。

図１８は、本発明の一実施形態における画像データ追加処理フローの例を示す図である。画像データベースに新しい画像データが投入されると、画像属性情報を解析してその時空間位置を特定するＳ４００。処理履歴管理部にて該当する時空間位置における処理履歴情報を検索しＳ４０１、対応が必要な目標物情報抽出処理のリストを取得するＳ４０２。リスト上の未実行処理が無くなるまでループ処理しＳ４０３、図１６で説明した目標物情報抽出処理を実行しＳ４０４、その処理履歴情報を格納するＳ４０５。以上のフローにより、新しい画像データが次々に投入される画像データベースであっても、どの時空間範囲でどの目標物抽出処理（処理バージョンも含む）が実行されたか、といったデータベース状況を自動的に維持更新でき、さらに目標物情報インデックスをも自動更新することができる。また、処理キャンセルや再開時にも、同様のフローにて処理継続することができる。

以上、主に移動物体を目標物とした実施例について説明したが、本発明はこの実施形態に限定されるものではない。知識データベースをコアとして用いることで、各種地物や自然現象など、画像に撮影され観測される様々な事物・事象についても同様の効果が得られることは言うまでもない。

また、主に衛星画像を用いた実施例について説明したが、本発明はこの実施形態に限定されるものではない。航空機より取得された画像はもちろん、衛星画像と同じく時空間情報を扱う監視カメラ画像や観測記録画像など、様々な種別の画像を蓄積した画像データベースにて利用できる。また、定期診断画像など画像データベースが蓄積されていく医療画像の分野でも、国別・地域別＝患者別、場所・位置＝部位、目標物＝患部または疾患、などと置き換えれば、上述した衛星画像の実施例を適用できることは明らかである。
また、本発明を実現する手段は、上記機能を有するハードウェアまたはプログラムまたは当該プログラムを格納した媒体のいずれであってもよい。

本発明の一実施形態における機能構成の例。 本発明の一実施形態におけるクエリー登録と検索処理結果の例。 本発明の一実施形態における検索処理内容のイメージの例。 本発明の一実施形態における知識データベースの構成の例。 本発明の一実施形態における知識データの構成の例。 本発明の一実施形態における目標物情報インデックスの例。 本発明の一実施形態における目標物抽出確度情報の例。 本発明の一実施形態における処理画面の例。 本発明の一実施形態におけるクエリー生成の例。 本発明の一実施形態における優先順位設定画面の例。 本発明の一実施形態における処理状況ウィンドウの例。 本発明の一実施形態における処理結果ウィンドウの例。 本発明の一実施形態におけるデータベース・ハードウェアの例。 本発明の一実施形態におけるネットワーク・サービスの例。 本発明の一実施形態における目標物情報検索処理と目標物情報抽出処理の連携処理フローの例。 本発明の一実施形態における目標物情報抽出処理フローの例。 本発明の一実施形態における目標物情報検索処理フローの例。 本発明の一実施形態における画像データ追加処理フローの例。

符号の説明

１００…ユーザー端末、１０１…画像情報処理システム、１０２…クエリー、１０３…処理結果、１１０…処理管理部、１１１…ユーザー情報管理部、１１２…データ入出力管理部、１１３…処理履歴管理部、１２０…検索処理部、１２１…管理部、１２２…クエリー処理部、１２３…検索処理エンジン、１３０…知識処理部、１３１…管理部、１３２…クエリー処理部、１３３…知識処理エンジン、１４０…抽出処理部、１４１…管理部、１４２…クエリー処理部、１４３…抽出処理エンジン、１５０…目標物情報インデックス、１５１…知識データベース、１５２…画像データベース、２００…状況クエリー処理結果、２０１…時系列パターンクエリー処理結果、２０２…予約クエリー処理結果、２１０…目標物、３００…データベース空間、３０１…画像データ、３０２…検索結果、３０３…時系列パターン、３０４…時間優先、３０５…最新優先、３０６…空間優先、４０１…知識体系管理、４０２…知識データ、４０３…拡張知識データ、５０１…クラス情報、５０２…属性情報、５０３…抽出手段、６００…目標物情報テーブル、６０１…目標物種別インデックス、６０２…画像ＩＤインデックス、６０３…目標物位置インデックス、６０４…目標物時間インデックス、７００…目標物抽出確度情報、８００…処理画面、８０１…処理操作ウィンドウ、８０２…処理内容ウィンドウ、８０３…処理状況ウィンドウ、８０４…処理結果ウィンドウ、８０５…マンマシン・インタフェース、９００…文字列形式クエリー、９０１…ビジュアル形式クエリー、９０２…サムネイル画像、９０３…選択ツール、９０４…キーワード、９１０…パターンクエリー、９１１…時系列パターン選択ツール、９１２…関係設定ツール、９１３…時間間隔設定ツール、９１４…状況選択ツール、９１５…状況関数選択ツール、１０００…優先順位設定画面、１００１…詳細設定ウィンドウ、１００２…時間設定ウィンドウ、１００３…空間設定ウィンドウ、１００４…ユーザー作図、１００５…属性設定ウィンドウ、１００６…コマンド操作ウィンドウ、１００７…設定リスト・ウィンドウ、１１００…処理済みデータベース範囲、１１０１…処理時間、１１０２…キャラクター画面イメージ、１１０３…グラフィック画面イメージ、１２００…処理結果サムネイル出力、１２０１…サムネイル画像、１２０２…目標物シンボル、１２０３…目標物範囲、１２０４…関連情報、１２０５…処理結果リスト出力、１２０６…処理結果地図出力、１２０７…選択インタフェース、１３００…高速画像データベース、１３０１…大容量画像データベース、１３０２…地図データベース、１３１０…メッセージ、１３１１…画像データ転送、１３１２…バックアップ転送、１４００…ネットワーク、１４０１…クエリー、１４０２…通知。

Claims (17)

1. 画像データベースから画像および画像上の目標物の情報を取得する画像情報処理システムであって、画像と該画像の位置情報および時間情報を含む属性情報とを対応付けて管理する画像データベースと、目標物の名称と目標物知識とを対応付けて管理する目標物知識データベースと、該目標物知識データベースを用いて該画像上の目標物の情報を抽出する手段と、該画像と該目標物情報とを対応付けて管理する手段と、該目標物情報のインデックスを構築する手段と、検索クエリーを登録する手段と、該目標物知識データベースを用いて該検索クエリーと該目標物情報とを対応付ける手段と、該目標物情報インデックスを用いて該目標物情報を検索する手段と、該目標物情報の検索結果を出力する手段と、該検索結果に対応付けられた該画像を出力する手段とを備えることを特徴とする画像情報処理システム。
2. 上記目標物情報検索手段は、上記目標物知識データベースと上記目標物情報抽出手段とを用いて検索対象の目標物情報を抽出して上記目標物情報インデックスを構築し、該目標物情報インデックスを用いて該目標物情報を検索する手段を備えることを特徴とする請求項１に記載の画像情報処理システム。
3. 上記目標物情報検索手段は、空間解析手段を備え、上記検索クエリー登録手段は、画像上における目標物の状況に関するクエリーを登録する手段を備えることを特徴とする請求項１乃至２の何れかに記載の画像情報処理システム。
4. 上記目標物情報検索手段は、時空間解析手段を備え、上記検索クエリー登録手段は、複数撮影時期の画像にまたがる目標物の時系列パターンに関するクエリーを登録する手段を備えることを特徴とする請求項１乃至３の何れかに記載の画像情報処理システム。
5. 上記検索クエリー登録手段は、予約クエリーを登録する手段を備えることを特徴とする請求項１乃至４の何れかに記載の画像情報処理システム。
6. 上記目標物情報抽出手段または上記目標物情報検索手段は、時間優先または空間優先または属性情報優先またはそれらの組み合わせによる処理優先順位の指定手段を備えることを特徴とする請求項１乃至５の何れかに記載の画像情報処理システム。
7. 上記検索結果出力手段は、上記優先順位に従い処理した結果を処理途中に順次出力する手段を備えることを特徴とする請求項１乃至６の何れかに記載の画像情報処理システム。
8. 上記時間優先指定手段は、各領域における最新の画像データを指定する手段を備えることを特徴とする請求項１乃至７の何れかに記載の画像情報処理システム。
9. 上記空間優先指定手段は、地図データを用いて注目領域を指定する手段を備えることを特徴とする請求項１乃至８の何れかに記載の画像情報処理システム。
10. 上記目標物情報抽出手段または上記目標物情報検索手段は、上記処理優先順位における処理済み範囲またはデータベース全体に対する処理済み割合またはそれらの組み合わせを出力する手段を備えることを特徴とする請求項１乃至９の何れかに記載の画像情報処理システム。
11. 上記目標物情報抽出手段または上記目標物情報検索手段は、処理履歴情報を出力する手段と、処理をキャンセルする手段と、該処理履歴情報を参照して処理を継続する手段とを備えることを特徴とする請求項１乃至１０の何れかに記載の画像情報処理システム。
12. 上記画像データベースは、画像データの投入時に上記処理履歴情報を参照する手段と、対応する処理履歴情報が存在する場合には上記目標物情報抽出手段により当該処理を実行する手段とを備えることを特徴とする請求項１乃至１１の何れかに記載の画像情報処理システム。
13. 上記目標物知識データベースは、複数目標物の知識データを集約して新たな知識データを生成する手段を備えることを特徴とする請求項１乃至１２の何れかに記載の画像情報処理システム。
14. 上記目標物知識データベースは、目標物情報検索処理または目標物情報抽出処理に関する設定情報をユーザー毎に管理する手段と、目標物情報検索処理または目標物情報抽出処理の結果に対するユーザーからのフィードバック情報を受け付ける手段と、該フィードバック情報を用いて該ユーザー設定情報を更新する手段とを備えることを特徴とする請求項１乃至１３の何れかに記載の画像情報処理システム。
15. 上記目標物情報は、複数の目標物情報を関連付けて管理する手段と、各目標物情報について抽出確度情報と認定情報とを対応付けて管理する手段とを備えることを特徴とする請求項１乃至１４の何れかに記載の画像情報処理システム。
16. 上記データベースは、高速なハードウェアおよび低速なハードウェアからなり、上記目標物情報インデックスは高速なハードウェアに格納して上記検索処理に用い、上記検索結果に対応付けられた画像が低速なハードウェアに格納されている場合に該画像を該低速なハードウェアから高速なハードウェアにデータ転送する手段を備えることを特徴とする請求項１乃至１５の何れかに記載の画像情報処理システム。
17. 上記検索クエリー登録手段および上記検索結果出力手段は、ネットワークを介して入出力を行う手段を備えることを特徴とする請求項１乃至１６の何れかに記載の画像情報処理システムおよびそれを用いた画像情報処理サービス。

Images