JP5788781B2

JP5788781B2 - 撮影対象検索システム

Info

Publication number: JP5788781B2
Application number: JP2011275569A
Authority: JP
Inventors: 正笹川; 陽一杉本
Original assignee: Pasco Corp
Current assignee: Pasco Corp
Priority date: 2011-12-16
Filing date: 2011-12-16
Publication date: 2015-10-07
Anticipated expiration: 2031-12-16
Also published as: JP2013125506A

Description

本発明は、撮影対象検索システムに関するものである。

カメラ等により撮影した撮影対象の名称等を検索する検索システムとしては、特許文献１に記載のものが知られている。この従来例において、システムは、カメラを有する携帯端末と、携帯端末から送信される撮影画像から特徴部分を抽出してデータベースから検索し、検索結果を携帯端末に出力するサーバとから構成される。

特開２００６-３０９６００号公報

しかし、上述した従来例において、画像に示された形状等の特徴部分のみで対象を正確に検索するには、画像の抽出精度等の限界から高い検索精度が望めないという問題がある。

本発明は以上の欠点を解消すべくなされたものであって、検索精度を飛躍的に高めることのできる撮影対象検索システムの提供を目的とする。

本発明によれば上記目的は、
検索サーバ１と、
撮影画像２とともに撮影位置を検索サーバ１に出力する撮影装置３とを有し、
前記検索サーバ１は、
検索対象物の特定情報を該検索対象物が観察可能な地理的分布範囲、および撮影画像２から得られる所定の画像属性とともに格納したデータベース４と、
撮影画像２から焦点合致領域を抽出し、抽出された領域に対して前記データベース４の画像属性に定義される画像属性を付与する画像解析手段５と、
画像解析手段５において付与された画像属性の一致、および撮影位置の地理的分布範囲への帰属を条件として前記データベース４を検索して撮影対象を特定する検索手段６とを有し、
かつ、前記撮影装置２への出力データを生成する出力データ生成手段１６を有するとともに、
前記出力データには、予め撮影されてデータベース４に格納された、検索手段６により特定される対象物についての正否確認用の画像が含まれる撮影対象検索システムを提供することにより達成される。

本発明において、撮影装置３は撮影位置を取得するＧＰＳ等の撮影位置取得手段９を備えており、撮影画像２は、該撮影位置取得手段９により取得した撮像位置情報とともに検索サーバ１に出力される。検索サーバ１は、先ず、撮影位置情報が地理的分布範囲に合致する対象をデータベース４から一次検索した後、抽出された対象をさらに撮影画像２の解析により取得した画像属性の一致を条件に絞り込んで最終結果を抽出することができる。

撮影装着から出力される撮影位置情報を一次検索条件に使用することのできる本発明において、利用者による格別の検索条件の指定操作を要求することなく、データの絞り込みをできるので、検索効率を高めることが可能になる上に、検索エンジンへの負荷を軽減することが可能になる。

また、２次検索は撮影した画像の解析により行われるために、利用者による格別の検索条件の指定操作を要求することなくデータの検索ができるために、使い勝手を低下させることなく検索精度を高めることができる。

さらに近時、スマートフォンを初めとするカメラ付き携帯電話等にはＧＰＳが標準装備されるに至っているために、撮影装置３への変更も要することがない。

また、前記データベース４は画像属性として大きさ情報を含むとともに、
画像解析手段５は、撮影画像２、および撮影画像２とともに撮影装置３から送信される撮影時カメラ諸元情報に基づいて撮影対象の大きさを演算するサイズ演算部７を有する撮影対象検索システムを構成すると、撮影装置３から出力される情報に基づいて算出される大きさの情報を検索キーとして利用することかできる。

さらに、前記撮影装置３は利用者により指定されるカテゴリ指定信号を出力可能に形成されるとともに、
検索サーバ１は、前記カテゴリ指定信号に基づく一次検索が可能な撮影対象検索システムを構成すると、検索精度をより高くすることが可能になる。

また、検索サーバ１からの検索結果の出力は最適一致結果のみでなく、複数の候補を出力するように構成することも可能であり、候補の出力には、特定情報の出力に加え、あるいは特定情報に代えて、撮影画像２を使用することが可能であり、この場合、利用者は画像と撮影対象とを比較することによってより正確に撮影対象を特定することができる。

また、上記撮影対象検索システムには、
撮影装置３との交信手段８と、
検索対象物の特定情報を該検索対象物が観察可能な地理的分布範囲、および撮影画像２から得られる所定の画像属性とともに格納したデータベース４と、
撮影画像２から焦点合致領域を抽出し、抽出された領域に対して前記データベース４の画像属性に定義される画像属性を付与する画像解析手段５と、
画像解析手段５において付与された画像属性の一致、および撮影位置の地理的分布範囲への帰属を条件として前記データベース４を検索して撮影対象を特定する検索手段６とを有し、
かつ、前記撮影装置２への出力データを生成する出力データ生成手段１６を有するとともに、
前記出力データには、予め撮影されてデータベース４に格納された、検索手段６により特定される対象物についての正否確認用の画像が含まれる検索サーバ１を使用することができる。
なお、本発明によれば、
検索サーバ１と、
撮影画像２とともに撮影位置を検索サーバ１に出力する撮影装置３とを有し、
前記検索サーバ１は、
検索対象物の特定情報を該検索対象物が観察可能な地理的分布範囲、および撮影画像２から得られる所定の画像属性とともに格納したデータベース４と、
撮影画像２から焦点合致領域を抽出し、抽出された領域に対して前記データベース４の画像属性に定義される画像属性を付与する画像解析手段５と、
画像解析手段５において付与された画像属性の一致、および撮影位置の地理的分布範囲への帰属を条件として前記データベース４を検索して撮影対象を特定する検索手段６とを有する撮影対象検索システムや、あるいは、
撮影装置３との交信手段８と、
検索対象物の特定情報を該検索対象物が観察可能な地理的分布範囲、および撮影画像２から得られる所定の画像属性とともに格納したデータベース４と、
撮影画像２から焦点合致領域を抽出し、抽出された領域に対して前記データベース４の画像属性に定義される画像属性を付与する画像解析手段５と、
画像解析手段５において付与された画像属性の一致、および撮影位置の地理的分布範囲への帰属を条件として前記データベース４を検索して撮影対象を特定する検索手段６とを有する検索サーバ１を提供することも可能である。

本発明によれば、検索精度を飛躍的に高めることができる。

本発明のブロック図である。画像解析手段の動作を示す説明図である。

図１に示すように、撮影対象検索システムは、検索サーバ１と撮影装置３とから構成される。本例において撮影装置３にはカメラ部１０に加えて情報処理、および通信機能が組み込まれたカメラ付き携帯電話（スマートフォンを含む）が使用され、撮影装置３の装置筐体には、比較的広いＬＣＤ等の表示部１１と、情報処理時のメニュー選択等に使用する操作部１２とが配置される。

操作部１２は、検索サーバ１との交信開始時、あるいは適宜のタイミングで検索サーバ１から送信されて表示部１１に表示されるカテゴリ情報の選択にも使用される。

また、検索結果が複数候補として表示された場合には、これらの中から選択することができる。

また、撮影装置３には、上記表示部１１、操作部１２、カメラ部１０に加え、制御部３ａにより制御されて撮影時の撮影位置を取得する撮影位置取得手段９（ＧＰＳ）と、大きさ情報取得手段１３と、撮影が接写モードで撮影されたときにセットされる接写フラグ１４とが設けられる。後述するように、本例において撮影対象の大きさは、撮影画像２の撮影時のカメラ諸元から求めるように構成されることに対応し、大きさ情報取得手段１３は、焦点合致状態におけるカメラ部１０の焦点距離を検出する焦点距離検出手段１３ａと、ＣＣＤの大きさ等、カメラの基本仕様を取得するカメラ諸元取得手段１３ｂとからなる。

撮影装置３は、撮影画像２とともに、上記撮影位置情報、焦点距離、カメラ諸元、接写フラグ状態、および利用者により選択されたカテゴリ情報を交信手段８、インターネット等のネットワーク１５を経由して検索サーバ１に送信する。

一方、検索サーバ１は、制御部１ａにより制御されて動作するデータベース４、検索手段６、画像解析手段５、および出力データ生成手段１６を有し、交信手段１ｂを介してネットワーク１５に接続される。

データベース４には、検索対象物の名称、説明等からなる対象物特定情報と、地理的分布範囲、カテゴリ、および画像属性が格納される。対象物特定情報には、予め撮影した対象物の画像を含めることができる。検索対象物の説明には、例えば、当該対象が絶滅種、あるいは絶滅危惧種である等の情報を含めることができる。

地理的分布範囲欄には、検索対象物が観察可能な範囲、すなわち、検索対象物が生物の場合には生息範囲、建築物等の地物の場合には、該地物を撮影することのできる範囲が経緯度により格納される。地理的分布範囲には、都市部におけるＧＰＳの精度低下を見越した値を設定しておくことができる。

カテゴリ欄には、検索対象物の種別が格納され、本例において検索対象物は、植物、動物、昆虫、鳥、魚、岩石、建築物等に区分され、各々カテゴリとしてこれらのいずれかが振り当てられる。

画像属性は、撮影画像２に所定の処理を施して得られる属性が格納され、本例では、大きさ、色彩、および形状が格納される。大きさは、撮影対象を外接する矩形枠に収まるように撮影した場合の横、縦寸法で与えられ、色彩は、全体の色調が表現できるデータ形式、例えば、所定の画素数で対象物を撮影した際の平均ＲＧＢ階調数、あるいはＲＧＢ分布等が使用される。

画像解析手段５は、撮影装置３から送信された撮影画像２の解析を行い、画像のコントラスト等を使用して焦点合致領域を抽出する焦点合致領域抽出部５ａ、抽出された部分画像の画素構成に基づいて上述したデータベース４の色彩の定義に基づく値を演算する色彩分析部５ｂ、焦点合致領域抽出部５ａにおいて抽出された部分画像に対する細線化、あるいは輪郭抽出を行って部分画像の輪郭（形状）を求める輪郭抽出部５ｃ、および輪郭抽出部５ｃにより求めた輪郭から撮影対象の大きさを求めるサイズ演算部７とを有する。

図２（ｃ）に示すように、サイズ演算部７は、図２（ｂ）に示す撮影画像２から上記焦点合致領域抽出部５ａにより抽出した領域に外接する矩形枠１７の縦横寸法ｙ、ｘ、正確には、矩形枠１７の縦横方向の画素数（ｐ_ｙ，ｐ_ｘ）に１画素当たりの実寸（Ｒ_ｐｙ，Ｒ_ｐｘ）を掛け合わせて撮影対象の大きさ（ｙ，ｘ）を求める。

図２（ａ）に示すように、撮影装置３のＣＣＤの縦方向寸法を（Ｖ）、縦方向画素数を（ｐ_ｙ）、撮影装置３のレンズ１０ａから撮影対象までの距離（対物距離）を（Ｌ）、焦点距離を（ｆ）、レンズ１０ａからＣＣＤまでの距離を（ａ）とすると、縦方向の撮影範囲（Ｒ_ｙ）は、
Ｒ_ｙ＝Ｌ×Ｖ／ａ
が成立し、上述した縦方向における１画素当たりの撮影対象の実寸（Ｒ_ｐｙ）および撮影対象の大きさ（ｙ）は、
Ｒ_ｐｙ＝Ｒ_ｙ／ｐ_ｙ
_＝（Ｌ×（Ｖ／ｐ_ｙ））／ａ
＝（ＬＶ）／（ａｐ_ｙ）
ｙ＝ｐ_ｙ×Ｒ_ｐｙ・・・（１）
で与えられる。

同様に、撮影装置３のＣＣＤの横方向寸法を（Ｈ）、横方向画素数を（ｐ_ｘ）とすると、横方向の撮影範囲（Ｒ_ｘ）は、
Ｒ_ｘ＝Ｌ×Ｈ／ａ
が成立し、上述した横方向における１画素当たりの撮影対象の実寸（Ｒ_ｐｘ）及び撮影対象の大きさ（ｘ）は、
Ｒ_ｐｘ＝Ｒ_ｘ／ｐ_ｘ
＝（Ｌ×（Ｈ／ｐ_ｘ））／ａ
＝（ＬＨ）／（ａｐ_ｘ）
ｘ＝ｐ_ｘ×Ｒ_ｐｘ・・・（２）
で与えられる。

対物距離（Ｌ）は、カメラ部１０のオートフォーカス操作時に演算が行われる場合には、撮影装置３から出力される演算値をそのまま使用することも可能であるが、撮影画像２から以下の計算により概略値を求めることができる。

すなわち、焦点が合っている画像の対物距離（Ｌ）と焦点距離（ｆ）との間には、レンズの公式から
１／ａ＋１／Ｌ＝１／ｆ
Ｌ＝ａｆ／（ａ-ｆ）・・・（３）
が成立し、
また、図２（ａ）に示すように、対物距離（Ｌ）における焦点合致領域の高さ寸法を（ｎ）とし、かつ、対物距離（ｍ）で焦点が合って高さ寸法（ｎ）が画郭高の全域を占めた場合を仮定すると、
ｍ＝ａｆ／（ａ-ｆ）・・・（４）
が成立する。

対物距離（Ｌ）は画郭の上下または左右方向において比例関係を保持して変化すると仮定することにより求めることができる。例えば、上下方向における比例関係が保持されると仮定すると、
Ｒ_ｙ／ｎ＝Ｌ／ｍ＝ｒ・・・（５）
ただし、ｒ＝Ｒ_ｙ／ｎは撮影範囲と焦点合致領域の比
が成立し、Ｌは（５）式を変形して、
Ｌ＝ｍｒ
＝ａｆｒ／（ａ-ｆ）・・・（６）
により求めることができる。

なお、以上のサイズ演算部７における演算は、撮影画像２が接写モードにより撮影された場合には、成立しないため、撮影装置３から接写フラグセット信号が送信されている場合には、サイズ演算部７における演算は行われず、さらに、後述する検索手段６における検索キーとして大きさ情報は使用されない。

検索手段６は、先ず、撮影装置３から送信される撮影位置情報に基づいて、データベース４の地理的分布範囲に撮影位置情報が含まれるデータを検索する。交信開始時に撮影装置３にカテゴリ情報を送信し、あるいは予め撮影装置３にカテゴリ情報が組み込まれていて利用者によるカテゴリ選択が可能な状態の場合には、カテゴリを一次検索キーとして使用し、抽出したデータデータ群からさらに撮影位置を使用した絞り込みを行うことができる。

検索手段６は、以上のようにして適数に絞り込んだデータ群に対してさらに大きさ、色彩、形状等を検索キーとする絞り込みを行って最終検索結果を抽出する。

検索手段６における最終検索結果は、必ずしも１個に限られることはなく、複数の候補を抽出することが可能であり、この場合、候補となる条件は、例えば、各検索項目での一致度合いを予め数値化し、合計値が所定の値以上の対象について検索結果として出力することができる。また、複数候補の選択に際し、予め各検索項目に重みを付与して項目間の重要度を設定し，データベース４に記憶しておくこともできる。

出力データ生成手段１６は、上記検索手段６における最終検索結果を撮影装置３の表示部１１に表示するデータ、あるいは撮影装置３との間でカテゴリ選択のための通信を行う場合には、データベース４内のカテゴリ情報を選択情報として表示するデータを生成する。検索結果の表示には、データベース４の名称、説明、等のテキストデータに加えて、あるいはこれらに代えて、撮影画像２が使用でき、これを表示すると、利用者による検索対象物の正否確認が容易になる。

また、併せて検索項目での一致度合いを数値化し、その値を表示してもよい。

１検索サーバ
２撮影画像
３撮影装置
４データベース
５画像解析手段
６検索手段
７サイズ演算部
８交信手段

Claims

検索サーバと、
撮影画像とともに撮影位置を検索サーバに出力する撮影装置とを有し、
前記検索サーバは、
検索対象物の特定情報を該検索対象物が観察可能な地理的分布範囲、および撮影画像から得られる所定の画像属性とともに格納したデータベースと、
撮影画像から焦点合致領域を抽出し、抽出された領域に対して前記データベースの画像属性に定義される画像属性を付与する画像解析手段と、
画像解析手段において付与された画像属性の一致、および撮影位置の地理的分布範囲への帰属を条件として前記データベースを検索して撮影対象を特定する検索手段とを有し、
かつ、前記撮影装置への出力データを生成する出力データ生成手段を有するとともに、
前記出力データには、予め撮影されてデータベースに格納された、検索手段により特定される対象物についての正否確認用の画像が含まれる撮影対象検索システム。
前記データベースは画像属性として大きさ情報を含むとともに、
画像解析手段は、撮影画像、および撮影画像とともに撮影装置から送信される撮影時カメラ諸元情報に基づいて撮影対象の大きさを演算するサイズ演算部を有する請求項１記載の撮影対象検索システム。
前記サイズ演算部は、撮影時の対物距離情報と焦点距離情報とから演算される撮像素子の単位画素当たりの実像長に基づいて大きさを演算する請求項２記載の撮影対象検索システム。
前記撮影装置は利用者により指定されるカテゴリ指定信号を出力可能に形成されるとともに、
検索サーバは、前記カテゴリ指定信号に基づいて一次検索を行う請求項１、２または３記載の撮影対象検索システム。
前記検索手段は、検索結果に応じて複数の候補を出力する請求項１から４のいずれかに記載の撮影対象検索システム。
撮影装置との交信手段と、
検索対象物の特定情報を該検索対象物が観察可能な地理的分布範囲、および撮影画像から得られる所定の画像属性とともに格納したデータベースと、
撮影画像から焦点合致領域を抽出し、抽出された領域に対して前記データベースの画像属性に定義される画像属性を付与する画像解析手段と、
画像解析手段において付与された画像属性の一致、および撮影位置の地理的分布範囲への帰属を条件として前記データベースを検索して撮影対象を特定する検索手段とを有し、
かつ、前記撮影装置への出力データを生成する出力データ生成手段を有するとともに、
前記出力データには、予め撮影されてデータベースに格納された、検索手段により特定される対象物についての正否確認用の画像が含まれる撮影対象検索サーバ。