WO2004095374A1 - 映像オブジェクト認識装置および認識方法、映像アノテーション付与装置および付与方法ならびにプログラム - Google Patents

映像オブジェクト認識装置および認識方法、映像アノテーション付与装置および付与方法ならびにプログラム Download PDF

Info

Publication number
WO2004095374A1
WO2004095374A1 PCT/JP2004/005372 JP2004005372W WO2004095374A1 WO 2004095374 A1 WO2004095374 A1 WO 2004095374A1 JP 2004005372 W JP2004005372 W JP 2004005372W WO 2004095374 A1 WO2004095374 A1 WO 2004095374A1
Authority
WO
Grant status
Application
Patent type
Prior art keywords
information
object
video
means
image
Prior art date
Application number
PCT/JP2004/005372
Other languages
English (en)
French (fr)
Inventor
Yusuke Takahashi
Kyoji Hirata
Original Assignee
Nec Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in preceding groups
    • G01C21/26Navigation; Navigational instruments not provided for in preceding groups specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements of navigation systems
    • G01C21/3602Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in preceding groups
    • G01C21/26Navigation; Navigational instruments not provided for in preceding groups specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements of navigation systems
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/3647Guidance involving output of stored or live camera images or video streams
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/00624Recognising scenes, i.e. recognition of a whole field of perception; recognising scene-specific objects
    • G06K9/00664Recognising scenes such as could be captured by a camera operated by a pedestrian or robot, including objects at substantially different ranges from the camera
    • G06K9/00671Recognising scenes such as could be captured by a camera operated by a pedestrian or robot, including objects at substantially different ranges from the camera for providing information about objects in the scene to a user, e.g. as in augmented reality applications
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/00624Recognising scenes, i.e. recognition of a whole field of perception; recognising scene-specific objects
    • G06K9/00711Recognising video content, e.g. extracting audiovisual features from movies, extracting representative key-frames, discriminating news vs. sport content

Abstract

 オブジェクトの視覚的な特徴を数値化した情報である視覚的特徴情報と、オブジェクトに付加される情報である付加情報とをあらかじめ関連付けて記憶する。そして、映像の一部分の領域の映像データである部分映像データを抽出する。抽出した部分映像データの視覚的特徴情報を生成し、部分映像データの視覚的特徴情報と、記憶しているオブジェクトの視覚的特徴情報とを比較して類似度を算出する。算出した類似度に基づいて映像データに含まれるオブジェクトを特定し、特定したオブジェクトの付加情報によって構成されるアノテーションを映像に重畳して表示装置に表示させる。

Description

明細書 映像オブジェクト認識装置および認識方法、 映像ァノテーシヨン付与装置およ び付与方法ならびにプログラム 技術分野

本発明は、 映像の被写体と、 被写体の情報とを対応付ける映像認識装置、 映像 ァノテーション付与装置および車両案内システムに関する。 背景技術

近年、 GPS (g l o b a l p o s i t i o n i n g s y s t em) を用 いて現在位置の情報を利用者に提供するナビゲーシヨンシステムが普及し、 自動 車等にナビゲーションシステムが搭載されている。 これらのナビゲーシヨンシス テムには、 現在位置に基づいた周辺の情報を利用者に提供する機能があり、 ナビ ゲーシヨンシステムの利用者端末は、 提供された情報をモニタ等を介して CG (Comp u t e r g r a p h i c s) で描かれたデジタル地図に表示する。 現在位置の周辺の情報を利用者に提供する他の方法には、 強化現実技術 (Au gme n t e d Re a l i t y) を用いて、 周辺の情報を実映像の画面に重畳 して表示させる方法がある。

下記の非特許文献 1には、 実映像の撮影を行う撮影位置と、 撮影方向と、 映像 の被写体であるオブジェクト (建物などのひとまとまりの物体) の緯度および経 度の位置情報とを用いて、 撮影方向に撮影位置から所定の距離内に存在するォブ ジェタ トの情報 (オブジェクト名) を、 実映像に重畳して表示するシステムにつ いて記载されている。

(非特許文献 1 )

寺田智裕、 外 2名、 「拡張現実感を用いた車載型ァノテーシヨンシス テムの構築」 、 信学技報、 社団法人電気通信情報学会、 2002年 2月、 CQ2 001— 103、 MVE 2001— 136、 p. 55— 60 しかし、 非特許文献 1に記載のシステムは、 オブジェクトが映像に写っている か否かに関わらず、 撮影方向に撮影位置から所定の距離内に存在するオブジェク トの情報を表示する。 そのため、 木の陰になる等の理由でオブジェク卜が実際に は映像に写っていないにも関わらず、 オブジェク卜の情報を表示してしまうとい う問題がある。 発明の開示

本発明は、 オブジェクトが実際には映像に写っていない場合にはォブジェクト の情報を表示しないようにすることができる映像認識装置、 映像ァノテーション 付与装置および車両案內システムを提供することを目的とする。

本発明の映像オブジェクト認識装置は、 映像データと、 撮影空間を決定しうる 情報である撮影情報とを入力する入力手段と、 オブジェクトの位置の情報である 位置情報と、 オブジェクトの視覚的な特徴を数値化した情報である視覚的特徴情 報とを対応させて記憶する記憶する記憶手段と、 入力された映像データによる映 像に含まれるオブジェクトを認識するオブジェクト認識手段とを備え、 オブジェ クト認識手段は、 撮影情報に基づいて撮影空間を推定する撮影空間推定手段と、 撮影空間と、 記憶手段に記憶されているォブジェクトの位置情報が示す位置との マッチングを行うマッチング手段と、 入力された映像データから、 映像データに よる映像の一部分の領域の映像データまたは映像全体の映像データである部分映 像データを抽出する部分映像抽出手段と、 部分映像データの視覚的特徴情報を生 成する視覚的特徴情報設定手段と、 部分映像データの視覚的特徴情報と、 記憶手 段が記憶しているオブジェクトの視覚的特徴情報とを比較して類似度を算出する 類似度算出手段と、 マッチング手段のマッチングの結果と、 算出した類似度とに 基づいて、 入力された映像データによる映像中にオブジェクトが存在しているか 否かを判定する判定手段とを備える。

本発明の映像ァノテーシヨン付与装置は、 映像データと、 撮影空間を決定しう る情報である撮影情報とを入力する入力手段と、 オブジェクトの位置の情報であ る位置情報と、 オブジェクトの視覚的な特徴を数値化した情報である視覚的特徴 情報と、 オブジェクトに付加される情報である付加情報とを対応させて記憶する 記憶手段と、 入力された映像データによる映像に含まれるオブジェクトと、 付加 情報とを対応付けるオブジェクト認識手段とを備え、 オブジェクト認識手段は、 撮影情報に基づいて撮影空間を推定する撮影空間推定手段と、 撮影空間と、 記憶 手段に記憶されているオブジェクトの位置情報が示す位置とのマッチングを行う マッチング手段と、 入力された映像データから、 映像データによる映像の一部分 の領域の映像データまたは映像全体の映像データである部分映像データを抽出す る部分映像抽出手段と、 部分映像データの視覚的特徴情報を生成する視覚的特徴 情報設定手段と、 部分映像データの視覚的特徴情報と、 記憶手段が記憶している オブジェクトの視覚的特徴情報とを比較して類似度を算出する類似度算出手段と、 マッチング手段のマッチングの結果と、 算出した類似度とに基づいて、 入力され た映像データによる映像に含まれるオブジェクトを特定し、 特定したオブジェク トと、 記憶手段が記憶している付加情報とを対応付ける判定手段とを備える。 また、 オブジェクト認識手段は、 撮影空間と、 記憶手段が記憶しているォブジ エタトの位置情報とに基づいてオブジェクトが映像に含まれている確率である存 在確率を算出する存在確率算出手段を含んでもよく、 判定手段は、 算出した存在 確率と類似度とに基づいて映像に含まれるオブジェクトを特定し、 特定したォブ ジェクトと記憶手段が記憶している付加情報とを対応付けてもよい。 そのような 構成によれば、 撮影空間に存在するォブジェクトであっても、 映像に写っている 確率が低いオブジェクトに対しては、 付加情報との対応付けを行わない。 そのた め、 ァノテーシヨンと映像とを重畳して表示させた場合に、 映像に映っていない オブジェクトのァノテーシヨンが表示されることを防ぐことができる。

また、 部分映像抽出手段は、 記憶手段が記憶しているオブジェクトの位置情報 に基づいて、 映像におけるオブジェクトが位置する範囲を特定してもよく、 特定 した範囲から部分映像データを抽出してもよい。 そのような構成によれば、 部分 映像データを抽出する範囲を限定することができ、 部分映像抽出手段のデータ処 理量を削減させることができる。

また、 オブジェクト認識手段は、 撮影空間と位置情報とに基づいて撮影空間に 存在するオブジェクトである候補オブジェクトの抽出を行う候補オブジェクト検 索手段を含んでもよく、 類似度算出手段は、 部分映像データの視覚的特徴情報と、 記憶手段が記憶している候補オブジェクトの視覚的特徴情報とを比較して類似度 を算出してもよい。 そのような構成によれば、 部分映像データの視覚的特徴情報 と比較して類似度を算出するオブジェクトの数を減らすことができ、 類似度算出 手段のデータ処理量を削減させることができる。

また、 部分映像抽出手段は、 記憶手段が記憶している候補オブジェクトの位置 情報に基づいて、 映像におけるオブジェクトが位置する範囲を特定してもよく、 特定した範囲の映像から部分映像データを抽出してもよい。 そのような構成によ れば、 部分映像データを抽出する範囲を限定することができ、 部分映像抽出手段 のデータ処理量を削減させることができる。

また、 映像を表示する表示手段と、 表示手段に、 映像に含まれるォブジェクト に対応付けられた付加情報を表示させる位置を指定して付加情報を映像に重畳し て表示させる表示位置決定手段とを備えてもよい。 そのような構成によれば、 映 像と付加情報であるァノテーシヨンとを対応させて表示させることができる。 また、 付加情報と映像に含まれるオブジェクトとを対応させて記憶するァノテ ーシヨン結果記憶手段を備えてもよい。 そのような構成によれば、 記憶した付加 情報と映像データに含まれるオブジェクトとの対応に基づいて、 映像データの検 索を行うことができる。

また、 部分映像抽出手段は、 抽出する部分映像データによる映像の領域の形状 と大きさとを任意に変更可能な機能を有してもよい。 そのような構成によれば、 映像データに含まれるオブジェク卜の形状に関わらず、 オブジェクトを含む部分 映像データを抽出することができる。

また、 部分映像抽出手段は、 輝度情報と、 色情報と、 形状の情報と、 模様の情 報と、 大きさの情報とのうちの 1つの条件、 または複数を組み合わせた条件に合 致する映像の領域の部分映像データを抽出してもよい。 そのような構成によれば、 記憶手段が記憶するオブジェクトの視覚的特徴情報に応じて、 部分映像データを 抽出することができる。

また、 部分映像抽出手段は、 複数の情報を組み合わせた条件に合致する映像の 領域の部分映像データを抽出する場合、 マツチング手段のマツチングの結果と、 記憶手段が記憶しているオブジェクトの視覚的特徴情報とに基づいて、 各条件に 対する重み付けを行つて部分映像データを抽出してもよい。 そのような構成によ れば、 記憶手段が記憶しているオブジェク トの視覚的な特徴に応じて、 部分映像 データを抽出することができる。

また、 記憶手段が記憶するオブジェク トの視覚的特徴情報は、 オブジェクトに 類似する視覚的な特徴を有する映像であるテンプレート映像であってもよい。 そ のような構成によれば、 オブジェク トの視覚的特徴情報を記憶手段に記憶させる 際の作業量を削減することができる。

また、 記憶手段が記憶するオブジェク 卜の視覚的特徴情報は、 色情報、 形状の 情報、 模様の情報および大きさの情報のうち 1つ、 または複数の情報によって構 成されてもよく、 視覚的特徴情報設定手段が生成する部分映像データの視覚的特 徴情報は、 色情報と、 形状の情報と、 模様の情報と、 大きさの情報とのうち 1つ の情報、 または複数の情報によって構成されてもよレ、。 そのような構成によれば、 視覚的特徴情報設定手段は定量的に類似度を算出することができる。

また、 記憶手段が記憶するオブジェク 卜の位置情報は、 オブジェクトの形状に 類似した形状の円錐、 円柱、 または立方体等の立体幾何学の立体形状を用いて近 似した立体形状の頂点のうちの 1つの項点、 または中心点、 もしくは重心点のい ずれかの位置を特定する情報であってもよい。 そのような構成によれば、 位置情 報のデータ量を削減することができる。

また、 記憶手段が記憶するオブジェク トの位置情報は、 オブジェクトの形状を 多角形の面を用いて近似した三次元形状の頂点のうちの少なくとも 1つの頂点の 位置を特定する情報であってもよい。 そのような構成によれば、 位置情報のデー タ量を削減することができる。

また、 記憶手段が記憶するォブジェク トの位置情報は、 オブジェクトの頂点の うち、 最も標高が高い頂点の位置を特定する情報であってもよい。 そのような構 成によれば、 位置情報のデータ量を削減することができる。

また、 記憶手段が記憶するォブジェク トの位置情報は、 緯度と経度と標高とに よってオブジェク トの位置を特定する情報であってもよい。 そのような構成によ れば、 G P Sを用いて位置情報を取得した位置のデータを用いることができる。 また、 記憶手段は、 オブジェクトの付加情報と、 視覚的特徴情報とを、 複数の オブジェクトの集合であるオブジェクト集合の付加情報と、 視覚的特徴情報とに 対して階層的に記憶してもよく、 判定手段は、 記憶手段が記憶しているオブジェ クト集合の視覚的特徴情報に基づいて、 撮影された複数のオブジェク卜がォブジ ェクト集合であるか否かの判定を行い、 撮影された複数のオブジェクトがォブジ ェクト集合であると判定すると、 オブジェクト集合の付加情報とオブジェクト集 合とを対応付けてもよい。 そのような構成によれば、 オブジェクト集合にァノテ ーションを対応付けることができる。

また、 撮影情報は、 撮影した日付と時刻とを特定する情報である撮影日時情報 を含んでもよく、 記憶手段は、 撮影した日付と、 時刻とに応じた視覚的特徴情報 を記憶してもよく、 類似度算出手段は、 部分映像データの視覚的特徴情報と、 撮 影日時情報が特定する日付と、 時刻とに応じた視覚的特徴情報とを比較して類似 度を算出してもよい。 そのような構成によれば、 例えば一のオブジェクトに対し て昼間の時刻の視覚的特徴情報は明るい色を示す情報とし、 夜間の時刻の視覚的 特徴情報は暗い色を示す情報とすることができる。 また、 例えば山等の日付 (例 えば、 季節。 ) によって色が変化するォブジェクトに対して、 冬は白色、 春と夏 とは緑色、 秋は赤色や黄色等を示す視覚的特徴情報にする等、 一のオブジェクト の視覚的特徴情報を日付に応じて変化させることができる。 そのため、 オブジェ クト認識手段は、 撮影した日付と時刻とによるオブジェクトの視覚的な特徴の変 化に応じて、 オブジェクトを認識することができる。

また、 部分映像抽出手段は、 入力された映像データから領域を分割し、 分割さ れた領域を部分映像データとしてもよい。

また、 部分映像抽出手段は、 分割された領域の組み合わせにより部分映像デー タとしてもよい。

また、 部分映像抽出手段は、 分割領域の組み合わせの評価を階層的に行うこと で部分映像データを生成してもよい。

また、 部分映像抽出手段は、 分割領域の組み合わせ階層評価として、 同一領域 数の組み合わせから類似度の高い特定数のみ以後の組み合わせに用いてもよレ、。 また、 記憶手段が記憶するオブジェクトの視覚的特徴情報として、 一方向また は、 複数方向からの全体像または一部分のオブジェクトにおける視覚的情報を複 数保持してもよい。

本発明の車両案内システムは、 車両に搭載され、 G P Sを用いて自己の位置を 表示装置が表示する地図上に示す車両案内システムであって、 上述の映像ァノテ ーション付与装置を備える。

本発明の映像オブジェクト認識方法は、 映像データと、 撮影空間を決定しうる 情報である撮影情報とを入力し、 ォブジェク卜の位置の情報である位置情報と、 オブジェクトの視覚的な特徴を数値化した情報である視覚的特徴情報とを対応さ せて記憶し、 撮影情報に基づいて撮影空間を推定し、 撮影空間と、 記憶されてい るオブジェク卜の位置情報が示す位置とのマッチングを行い、 入力された映像デ ータから、 映像データによる映像の一部分の領域または映像全体の映像データで ある部分映像データを抽出し、 部分映像データの視覚的特徴情報を生成し、 部分 映像データの視覚的特徴情報と、 記憶されているオブジェクトの視覚的特徴情報 とを比較して類似度を算出し、 マッチングの結果と、 算出した類似度とに基づい てォブジェクトが撮影されているか否かを判定する。

本発明の映像ァノテーシヨン付与方法は、 映像データと、 撮影空間を決定しう る情報である撮影情報とを入力し、 ォブジェクトの位置の情報である位置情報と、 オブジェクトの視覚的な特徴を数値化した情報である視覚的特徴情報と、 ォブジ ェクトに付加される情報である付加情報とを対応させて記憶し、 撮影情報に基づ いて撮影空間を推定し、 撮影空間と、 記憶されているオブジェクトの位置情報が 示す位置とのマッチングを行い、 入力された映像データから、 映像データによる 映像の一部分の領域または映像全体の映像データである部分映像データを抽出し、 部分映像データの視覚的特徴情報を生成し、 部分映像データの視覚的特徴情報と、 記憶されているォブジェクトの視覚的特徴情報とを比較して類似度を算出し、 マ ツチングの結果と、 算出した類似度とに基づいて映像データに含まれるオブジェ クトを特定し、 特定したオブジェクトと記憶されている付加情報によって構成さ れるァノテーションとを対応付ける。 本発明の映像オブジェクト認識プログラムは、 映像データに、 記憶されている オブジェク トが被写体として含まれているか否かを判定する映像オブジェク ト認 識装置に搭載される映像オブジェク ト認識プログラムであって、 コンピュータに、 オブジェクトの位置の情報である位置情報と、 オブジェク 卜の視覚的な特徴を数 値化した情報である視覚的特徴情報とを対応させて記憶装置に記憶させる処理と、 撮影空間を決定しうる情報である撮影情報に基づいて撮影空間を推定する処理と、 撮影空間と、 記憶装置が記憶しているオブジェク トの位置情報が示す位置とのマ ツチングを行う処理と、 入力された映像データから、 映像データによる映像の一 部分の領域または映像全体の映像データである部分映像データを抽出する処理と, 部分映像データの視覚的特徴情報を生成する処理と、 部分映像データの視覚的特 徴情報と、 記憶されているオブジェク トの視覚的特徴情報とを比較して類似度を 算出する処理と、 マッチングの結果と、 算出した類似度とに基づいてオブジェク トが撮影されているか否かを判定する処理とを実行させる。

本発明の映像ァノテーシヨン付与プログラムは、 オブジェクトと、 記憶されて いるオブジェク トの情報とを対応付ける映像ァノテーション付与装置に搭載され る映像ァノテーシヨン付与プログラムであって、 コンピュータに、 オブジェク ト の位置の情報である位置情報と、 オブジェクトの視覚的な特徴を数値ィヒした情報 である視覚的特徴情報と、 オブジェク 卜に付加される情報である付加情報とを対 応させて記憶装置に記憶させる処理と、 撮影空間を決定しうる情報である撮影情 報に基づいて撮影空間を推定する処理と、 撮影空間と、 記憶装置が記憶している オブジェク トの位置情報が示す位置とのマッチングを行う処理と、 入力された映 像データから、 映像データによる映像の一部分の領域または映像全体の映像デー タである部分映像データを抽出する処理と、 部分映像データの視覚的特徴情報を 生成する処理と、 部分映像データの視覚的特徴情報と、 記憶されているオブジェ ク トの視覚的特徴情報とを比較して類似度を算出する処理と、 マッチングの結果 と、 算出した類似度とに基づいて映像データに含まれるオブジェクトを特定し、 特定したオブジェク トと記憶されている付加情報によって構成されるァノテーシ ョンとを対応付ける処理とを実行させる。 従って、 本発明によれば、 オブジェクトの視覚的特徴情報と、 部分映像データ の視覚的特徴情報とを比較することによって、 オブジェク 卜が映像に映っている か否かの判定を行うことができ、 ォブジヱクトが映像に映っていると判定した場 合に、 オブジェクトと付加情報とを対応付ける。 よって、 オブジェクトが実際に は映像に写っていない場合にはオブジェクトの情報を表示しないようにすること ができる。

また、 本発明による車両案内システムは、 本発明による映像ァノテーシヨン付 与装置が備える機能を有するため、 オブジェクトが実際には映像に写っていない 場合にはオブジェクトの情報を表示しない車両案内システムを実現できる。 図面の簡単な説明

図 1は、 本発明の実施の形態の一構成例を示すプロック図である。

図 2は、 意味情報と、 位置情報と、 視覚的特徴量との例を示す図である。

図 3は、 本発明の第 1の実施の形態の一構成例を示すプロック図である。

図 4は、 本発明の第 1の実施の形態における視覚的特徴量比較手段の一構成例 を示すブロック図である。

図 5は、 本発明の第 1の実施の形態の動作を説明するフローチヤ一トである。 図 6は、 側面から撮影空間を表した図である。

図 7は、 情報から撮影空間を表した図である。

図 8は、 撮影空間を説明する図である。

図 9は、 撮影位置と、 候補オブジェクトの代表点との関係の一例を示す図であ る。

図 1 0は、 テンプレート映像の例を示す図である。

図 1 1は、 映像全体をラスタスキャンした場合を説明する図である。

図 1 2は、 撮影空間の右側に候補オブジェクトが位置する場合の説明図である < 図 1 3は、 映像の右側半分をラスタスキャンした場合を説明する図である。 図 1 4は、 領域に分割する映像の一例を説明する図である。

図 1 5は、 領域の分割と、 結合とを説明する図である。

図 1 6は、 領域分割した映像の一例を説明する図である。 図 1 7は、 領域の数を減少させた場合の映像の一例を説明する図である。

図 1 8は、 部分映像と候補ォブジェク 卜とを比較する一例を説明する図である。 図 1 9は、 地理オブジェクトの集合の一例を示す図である。

図 2 0は、 階層化された意味情報を説明する図である。

図 2 1は、 地理オブジェクトの一例を正面から見た図と、 斜めから見た図とで ある。

図 2 2は、 分割した地理オブジェクトの一例を示す図である。

図 2 3は、 本発明の第 2の実施の形態の一構成例を示すブロック図である。 図 2 4は、 本発明の第 2の実施の形態における視覚的特徴量比較手段の一構成 例を示すブロック図である。

図 2 5は、 本発明の第 3の実施の形態の一構成例を示すブロック図である。 図 2 6は、 ァノテーシヨンを付与した映像の一例を示す図である。

図 2 7は、 本発明の第 4の実施の形態の一構成例を示すブロック図である。 図 2 8は、 本発明の第 5の実施の形態における視覚的特徴量比較手段の一構成 例を示すプロック図である。

図 2 9は、 本発明の第 5の実施の形態の動作を説明するフローチャートである c 図 3 0は、 階層的組み合わせ評価方法を説明する図である。 発明を実施するための最良の形態

(発明の第 1の実施の形態)

図 1に、 本発明の第 1の実施の形態を説明するブロック図を示し、 この実施の 形態の構成について説明する。 本発明の第 1の実施の形態は、 映像および映像を 撮影した状況の情報である撮影情報が入力される入力装置 1と、 映像の被写体で あるォブジェクトの情報を記憶する記憶装置 2と、 撮影情報とオブジェクトの情 報とを比較して、 オブジェクトが映像に撮影されているか否かを判定するォブジ ェクト認識装置 3とを含む。

入力装置 1は、 例えば C C Dデジタルカメラ装置や、 ビデオカメラ装置等の映 像を撮影する映像入力機器 (図示せず) が出力する映像を入力する。 入力装置 1 は、 映像入力機器が出力する撮影時の画角の情報である画角情報を入力する。 映 像入力機器のズーム率が変更できない場合には、 あらかじめレンズの焦点距離お よび C C D素子のサイズとから画角を算出して画角情報を生成しておく。 ズーム 操作によって映像入力機器のズーム率が変更できる場合には、 ズーム操作量と画 角との関係の情報をあらかじめ取得し、 撮影時のズーム操作量に応じた画角を算 出して画角情報を生成する。

また、 入力装置 1は、 入力装置 1の経度と緯度と標高とを測定する G P S装置 と接続され、 撮影位置と、 移動速度とを特定する。 ここで、 入力装置 1と加速度 センサ装置と接続され、 加速度センサ装置の出力を時間積分して移動速度を特定 してもよい。 また、 入力装置 1は、 磁気コンパス装置、 電子コンパス装置、 また はジャイロコンパス装置と接続され、 映像入力機器が撮影する方向を特定する。 ここで、 映像入力機器がパン ·チルト機能を有する場合、 パン ·チルト操作量 を測定して、 磁気コンパス装置、 電子コンパス装置、 またはジャイロコンパス装 置が特定した撮影方向の補正を行う。 また、 映像入力機器が撮影中に移動した場 合、 入力装置 1は、 G P S装置の軌跡データや、 電子コンパス装置、 ジャイロコ ンパス装置、 加速度センサ装置等の出力を用いて、 移動方向を特定する。 撮影情 報は、 画角情報、 撮影した日付と時刻とを特定する情報である撮影日時情報、 撮 影位置の情報、 撮影方向の情報、 移動方向の情報、 および移動速度の情報等を含 む。

記憶装置 2は、 オブジェクトの付加情報 (例えば、 意味情報。 ) と視覚的特徴 情報 (例えば、 視覚的特徴量。 ) とを記憶する。 意味情報とは、 例えば、 ォブジ ュクトの名前や、 歴史、 利用料金、 営業時間、 住所、 電話番号、 U R L等のォブ ジェクトに関する情報である。 ここで、 映像中のオブジェクトに意味情報を対応 付けることを、 オブジェクトにァノテーシヨン (注釈) を付与するという。 より 具体的には、 映像中のオブジェク卜の近傍にァノテーシヨン画像を付加すること である。

視覚的特徴量とは、 例えば、 形状、 大きさ、 模様、 エッジ、 色等のオブジェク トを視覚的に認識するための特徴を数値化した量であって、 例えば、 山田昭雄、 「ビジュアルツールによるコンテンツ記述」 、 映像情報メディア学会誌、 社団法 人映像情報メディア学会、 2 0 0 2年 1 1月 1日、 第 5 6卷、 第 1 1号、 p . 1 71 1 - 1 714 (以下、 文献 Aと記す。 ) に記載されているように、 MPEG - 7/V i s u a 1で定義されているビジュアル記述子の色の特徴、 模様の特徴、 形状の特徴などのいずれかの組み合わせを用いて定義される特徴量べクトルであ る。 ここで、 色の特徴はドミナントカラーとカラーレイアウト、 模様の特徴はェ ッジヒストグラム、 形状の特徴はリージョンベースド形状記述子等によって表さ れる。

ドミナントカラーは、 最頻色を頻度とともに RGB表記したものである。 カラ 一レイアウトは、 色の空間的な配置を周波数軸上で表現したものである。 エッジ ヒストグラムは、 例えば、 縦や横、 斜め等エッジがそれぞれどのくらい存在する かをヒストグラム化して記述したものである。 リージョンベースド形状記述子は、 2値の形状データを 2次元 ART (An g u l a r Ra d i a l T r a n s f o rm) 変換した 35係数によって構成される記述子である。

オブジェクト O c iの視覚的特徴量 FO iは、 FO i = (ドミナントカラー、 カラーレイアウト、 エッジヒストグラム、 リージョンベースド形状記述

子、 · · ·) と、 ベクトル表記されて記述される。

記憶装置 2は、 一のオブジェクトに対して、 撮影した日付と時刻とに応じて複 数の視覚的特徴量を記憶してもよい。 例えば一のォブジェクトに対して昼間の時 刻の視覚的特徴量は明るい色を示したり、 夜間の時刻の視覚的特徴情報は暗い色 を示したりする。 また、 例えば山等の日付 (例えば、 季節等。 ) によって色が変 化するォブジェク卜に対して、 冬は白色、 春と夏とは緑色、 秋は赤色や黄色等を 示す視覚的特徴量とする等である。

記憶装置 2は、 例えば建築物や橋、 塔等のような人工建築物や、 例えば山や湖 のような自然の地物等のように、 経度と緯度等の情報である位置情報によって特 定できるオブジェクトである場合、 オブジェクトの位置情報を記憶する。 以下、 位置情報によって特定できるオブジェクトを、 地理オブジェクトと記す。 また、 電車等のように時間の経過とともに移動するオブジェクトは、 位置情報のみによ つて特定することはできないが、 ダイヤグラム等により各時刻における位置が特 定されれば、 時刻と位置情報とを組み合わせた組み合わせ集合を用いてオブジェ クトを特定してもよい。 位置情報に用いる位置の情報は、 例えば地理オブジェクトの中心点または重心 点等の緯度と経度とを用いてもよく、 地理オブジェクトの形状を多角形 (ポリゴ ン) の面を用いて構成した立体形状の各頂点の位置を、 緯度と経度と標高とを用 いて表したデータ群であってもよい。 し力 し、 そのような立体形状の各頂点の位 置のデータ群を位置情報に用いると、 データ量が多くなつてしまう。 そこで、 そ のような立体形状の頂点のうち、 1つまたは複数の頂点の位置情報を抽出して用 いてもよい。 また、 地理オブジェクトの形状を円錐や、 円柱、 または立方体等の 形状で近似し、 近似した形状の中心点や、 重心点、 各頂点等の位置情報を用いて もよいし、 1つの頂点の位置情報を抽出して用いてもよい。 例えば、 東京タワー を四角錐で近似し、 各頂点の 5つの位置情報を地理オブジェクトの位置情報に用 いてもよいし、 オブジェク卜の最も標高の高い位置の頂点である最高点の位置情 報を、 地理オブジェクトの位置情報に用いてもよい。 最高点は、 撮影する場合に、 他の頂点に比べて他の物体の存在によって隠れにくいと考えられるため、 地理ォ ブジェクトの最高点を地理ォブジェクトの位置情報に用いることが好ましい。 意味情報と、 最高点の緯度と経度と標高とを用いた位置情報と、 視覚的特徴量 との一例を図 2に示す。 視覚的特徴量は実際には数値化されているが、 簡単のた め形状と文字とで表した。

記憶装置 2は、 情報を、 C D— R OMや、 D V D— R、 ハードディスク装置ま たはメモリ等の記録媒体に、 複数に分割して、 または一括して記憶する。 記憶し たデータは、 読み込み装置が単数、 または複数の媒体に記録された情報を読み込 む。 また、 記憶装置 2は、 情報をインターネット等のコンピュータネットワーク を介して取得してもよレ、。

オブジェクト認識装置 3は、 計算機で実現され、 入力装置 1が撮影した映像の —部分または映像全体の視覚的特徴量と、 記憶装置 2が記憶している地理ォブジ ェクトの視覚的特徴量との類似度を算出する。

図 3に、 本発明の第 1の実施の形態のオブジェクト認識装置 3の一構成例を示 し、 オブジェクト認識装置 3の構成について説明する。 なお、 図 3や図 4等に示 す各手段は、 プログラムで実現される。 オブジェクト認識装置 3は、 撮影情報と地理オブジェク卜の位置情報とに基づ いて、 撮影されている可能性のある地理オブジェクトである候補オブジェクトを 抽出する撮影空間推定手段、 マッチング手段および候補オブジェクト検索手段

(いずれも、 例えば、 候補オブジェクト検索手段 3 0で実現される。 ) と、 候補 オブジェクト検索手段 3 0が抽出した候補オブジェク 卜の視覚的特徴量と、 入力 装置 1が撮影した映像の一部分の領域または映像全体の視覚的特徴量との類似度 を算出する類似度算出手段 (例えば、 視覚的特徴量比較手段 3 1で実現され る。 ) と、 算出した類似度と、 あらかじめ決められたしきい値とを比較して、 ォ ブジェクトが撮影されているか否かを判定する判定手段 3 2とを含む。

図 4に、 視覚的特徴量比較手段 3 1の一構成例を示し、 構成について説明する。 視覚的特徴量比較手段 3 1は、 入力装置 1が撮影した映像の一部分または全体の 映像である部分映像を抽出する部分映像抽出手段 3 1 0と、 抽出された部分映像 の視覚的特徴量を設定する視覚的特徴量設定手段 3 1 1と、 記憶装置 2が記憶し ている候補ォブジェクトの視覚的特徴量と、 部分映像の視覚的特徴量との類似度 を算出する特徴量比較手段 3 1 2とを含む。 視覚的特徴情報設定手段は、 視覚的 特徴量設定手段 3 1 1によって実現される。

次に、 図 5のフローチャートを参照して動作について説明する。 まず、 映像入 力機器が映像を撮影し、 入力装置 1に映像を表す映像データを入力する。 入力装 置 1は、 入力された映像データを映像記録メディアに記録する (ステップ A 1 ) c そして、 入力装置 1は、 撮影位置や撮影方向、 移動方向および移動速度の情報と, 画角情報とを入力し、 入力された各情報を組み合わせて撮影情報を生成し (ステ ップ A 2 ) 、 生成した撮影情報を、 映像が記録される映像記録メディアに記録す る。 ここで、 映像の各コマの画像データ圧縮方式が J P E Gである場合は画像デ ータのへッダに撮影情報を記録したり、 または映像と撮影情報とをそれぞれ時刻 に対応させたりして、 映像と撮影情報とを 1対 1に対応させる。

一般的なビデオカメラ装置等の撮影装置は、 一秒間に 3 0コマ記録するが、 G P S機能等を用いて取得する経度と緯度との位置情報は、 一秒間に 1回程度しか 取得できない。 そこで、 最後に取得した経度と緯度との位置情報を、 撮影情報を 構成する移動方向および移動速度の情報を用いて補正して、 補正した位置情報と 映像とを 1対 1に対応させることが好ましい。

候補オブジェクト検索手段 30は、 入力装置 1が生成した撮影情報に基づいて、 映像入力装置が撮影可能な範囲である撮影空間を算出する (ステップ A3) 。 以下、 撮影位置を C、 撮影方向を 0とし、 地理オブジェクトの代表点を o、 地 理ォブジェクトの代表点 Oの緯度を O i 1、 経度を O i 2、 標高を O i 3として 説明する。 図 6および図 7に示すように、 撮影空間は、 撮影位置から撮影方向に 対して、 画角および地平面に囲まれた空間である。

図 8に示すように、 撮影位置を C、 撮像素子の上右端、 上左端、 下右端および 下左端をそれぞれ、 UR、 UL、 DRおよび DLとし、 Cと URと ULとを含む 平面を S u、 Cと URと DRとを含む平面を S r、 Cと D Rと D Lとを含む平面 を S d、 Cと ULと DLとを含む平面を S 1、 地平面を S eとすると、 それぞれ の平面は、 (1) 式のように表すことができる。 ここで、 撮影方向 0は地表面と 平行な北の方向を 0とし、 (1) 式は、 平面 Su、 S d、 S r、 S l、 S eを、 地表面の所定の位置を原点とする直交座標系で表わしたものある。

Su : fsu(x, y, z)-0

Sd : f sd(x. y, z)=0

Sr : fsr(x, y, z)=0

Si : fsi(x. y. r)=0

Se :fse(x. y, z)=0

簡略化のため、 画角が 180度以内の場合について、 説明する。 この場合、 撮 影空間は、 S uと S dと S rと S 1とに挟まれ、 地平面 S eより上方であって、 撮影方向 0から 90度以内の空間に限定される。 そこで、 撮影空間は、 (2) 式 の条件を満たす空間として表すことができる。 ここで、 〇 と。7と〇 2とは、 撮影位置 Cの緯度 C 1と経度 C 2と標高 C 3とを、 それぞれ直交座標系に変換し て求めた撮影位置 Cの位置情報である。 また、 0 Xは 0と緯線とが成す角であり- Θ yは 0と経線とが成す角であり、 Θ zは 0と地平面に対する垂直線とが成す角 である。 f su(x, y. z)f sd(x y. z)≤ O

f sr(x. y. *)f si( . y, z)≤o

0

( 2 ) 次に、 オブジェクト認識装置 3の候補オブジェクト検索手段 3 0が、 記憶装置 2が記憶している地理オブジェクトの位置情報を読み出す (ステップ A 4 ) 。 候 補ォブジェクト検索手段 3 0は、 読み出した各地理オブジェクトの各位置情報を 用いて、 映像入力機器に撮影された可能性のある地理オブジェクトを検索する。 映像入力機器に撮影された可能性のある地理オブジェクトとは、 (2 ) 式を満た す位置情報を有する地理オブジェクトである。 そこで、 候補ォブジェクト検索手 段 3 0は、 (2 ) 式を満たす位置情報を有する地理オブジェクトである候補ォブ ジェクトを抽出する。 すなわち、 撮影空間と、 記憶装置 2に記憶されている地理 オブジェクトの位置情報が示す位置とのマッチングを行う。

( 2 ) 式を満たす地理オブジェクトであっても、 撮影位置から遠くに存在する 地理オブジェクトは撮影されにくいため、 撮影位置の情報と地理オブジェクトの 位置情報とに基づいて算出した撮影位置と地理オブジェクトとの距離が、 あらか じめ決められたしきい値 T h 1を超えている地理オブジェクトは抽出しなくても よい。 し力 し、 例えば高い山等の遠くからでも見ることができる地理オブジェク トは、 撮影位置との距離が遠くても撮影される可能性がある。 そこで、 図 9に示 すように、 撮影位置から地理オブジェクトの頂点を見上げる角度を求め、 この角 度があるしきい値 T h 2を超えている地理オブジェクトは抽出してもよい。 また、 撮影方向 Θと、 撮影位置から地理オブジェクトに向かう方向との差が大 きい地理オブジェクトも撮影されにくい。 従って、 撮影位置 Cから地理オブジェ タ トへの水平距離 D i s tがしきい値 Th 1以下であることと、 撮影位置から地 理ォブジェク トの頂点を見上げる角度である仰角がしきい値 Th 2以下であるこ とと、 撮影方向 0と撮影位置から地理オブジェク 卜に向かう方向との差である水 平角度誤差がしきい値 Th 3以下であることとを、 候補オブジェク トを抽出する 条件に加えると候補オブジェク トの数を絞り込むことができる。 そこで、 Th l Th 2および Th 3を用いて、 候補オブジェクトが満たす条件を (3) 式に示す。 ここで、 O i Xと O i yと O i zとは、 地理オブジェク トの代表点 Oの緯度 O i 1と経度 O i 2と標高を O i 3とをそれぞれ直交座標系に変換して求めた代表点 Oの位置情報である。 この実施の形態では、 (3) 式を用いて候補オブジェク ト をさらに絞り込む (ステップ A5)

(3) 以下、 (2) 式および (3) 式に示す条件を満たす M個の候補オブジェク トを、 候補オブジェクト Oc i (i = l〜; M) として説明する。 候補オブジェク ト検索 手段 30は、 候補オブジェクト Oc iを抽出すると、 抽出した候補オブジェク ト O c iを特定する情報を視覚的特徴量比較手段 31に出力する。

視覚的特徴量比較手段 31は、 記憶装置 2があらかじめ記憶している候補ォブ ジェタ ト Oc iの視覚的特徴量 FO iを読み込む (ステップ A 6) 。 記憶装置 2 は、 候補オブジェク ト Oc iの視覚的特徴量 FO iを、 FO i = (ドミナント力 ラー, カラーレイアウト, エッジヒストグラム, リージョンベースド形状記述 子, · · ·) のように、 ベクトル表記して記憶している。

また、 オブジェクトと類似する視覚的特徴を有するテンプレート映像を視覚的 特徴量に用いてもよレ、。 テンプレート映像とは、 例えば、 図 10に示すような、 あらかじめ用意した一般的な形状のオブジェクトの映像である。 そして、 記憶装 置 2は、 このようなテンプレート映像を視覚的特徴量として記憶していてもよい。 部分映像抽出手段 3 1 0は、 映像入力機器が撮影し、 入力装置 1が入力した映 像データによる映像の一部分または全体を抽出した映像を表す部分映像データ

(以下、 部分映像という。 ) を抽出する (ステップ A 7 ) 。 部分映像の抽出方法 の一例として、 図 1 1に示すように、 長方形のブロックを映像の左上から右下ま で、 ラスタスキャンさせてブロック内の映像を抽出する方法がある。 候補ォブジ ェクトの視覚的特徴量に基づいて、 または利用者の指示に基づいて、 ブロックの 大きさを変化させると、 様々な大きさの部分映像を抽出することができる。 また、 ブロックの形状は長方形に限定されず、 正方形や円形、 楕円形等であってもよい。 また、 部分映像抽出手段 3 1 0は、 候補オブジェクトの位置情報と、 撮影情報 を構成する撮影方向の情報を読み出して、 各候補オブジェクト O c iの位置が撮 影方向に対して右側であるか、 左側であるか、 中央付近であるかを推定してもよ レ、。 そして、 部分映像の抽出のためにラスタスキャンする範囲を映像全体ではな く、 映像の右半分の範囲や、 左半分の範囲、 右 1 4の範囲、 左 1 4の範囲ま たは中央付近等に限定することにより、 部分映像の抽出に伴う部分映像抽出手段 3 1 0の処理量を削減することができる。

図 1 2に、 撮影空間の右側に候補オブジェクトが位置する場合の説明図を示す。 このとき、 映像内で候補オブジェクトが存在する可能性のある範囲は、 映像の右 側に限定される。 そこで、 図 1 3に示すように、 部分映像を抽出する範囲を、 映 像の右側の範囲に限定してもよい。 同様に、 映像内で候補オブジェクトが存在す る可能性のある範囲を上側の範囲あるいは下側の範囲等に特定して、 部分映像を 抽出する範囲を映像の上側の範囲あるいは下側の範囲に限定してもよいし、 候補 オブジェクトと撮影位置との距離や、 候補オブジェクトの大きさ等によって抽出 する部分映像の範囲を限定してもよい。

また、 セグメンテーションを用いた部分映像を抽出方法を利用してもよい。 セ グメンテーシヨンとは、 画素および領域の色、 エッジ、 境界の複雑度等を分析し て映像をいくつかの領域に分割することである。 セグメンテーションは、 例えば、 On i ma g e s e gma n t a t i o n f o r o b j e c t i ma g e r e t r i e v a l、 H i r a t a, K. ; Ka s u t a n i , E . ; H a r a , Y. 、 P a t t e r n Re c o g n i t i o n、 2002、 P r o c e e d e n g s. 1 6 t h I n t e r n a t i o n a l C o n f e r e n c e, o n Vo l ume 3、 P. 1031 - 1034に記載の方法を利用して行われる。

セグメンテーションは、 まず、 隣接する同色の画素の集合による領域を生成す る。 そして、 複雑な境界によって隣接し、 互いに類似する色の領域を結合する。 次に、 距離が近く、 色と、 模様とが類似する領域を結合する。 そして、 境界が 複雑であって距離が近く、 色と、 模様とが類似する領域を結合する。 最後に、 広 い領域の周辺に点在する狭い領域を、 広い領域に結合する。

図 14に領域に分割する映像の一例を示し、 映像を領域に分割して抽出する方 法について具体的に説明する。 図 14において、 抽出する領域は、 映像の右側に 位置する Bタワーであるものとする。

まず、 セグメンテーションの方法を利用して、 映像を、 色およびエッジにより 領域に分割する。 領域に分割された Bタワーを図 15の左の図に示す。 分割され た領域を R i ( i = l〜p) とする。 Bタワーは、 R 4〜R 7の領域に分割され たことが分かる。 次に、 セグメンテーションの方法を利用して、 分割された領域 を結合する。 結合された Bタワーの領域の図を図 1 5の右の図に示す。 R iと R j とを結合した領域を R i一 j とすると、 結合された Bタワーの領域は R 4— 5 —6— 7となり、 Bタワーの領域が結合されたことが分かる。

このように、 領域 R iと領域 R j とを結合させた R i - jの生成を繰り返す。 部分映像は、 複数の領域同士の組み合わせの結合を行い、 結合されたそれぞれの 領域を抽出したものである。

また、 領域の分割および領域の結合を効果的に行うため、 候補オブジェクト毎 に、 領域を分割する方法と領域を結合する方法とを変更するとよい。 以下、 候補 オブジェクトの視覚的特徴量を用いた領域の分割方法と結合方法との変更につい て、 図 16に映像の一例の図を示して説明する。 図 2の Bタワーの欄に示すよう に、 Bタワーの視覚的特徴量のエッジヒストグラムは、 斜めの要素が大きいこと が記述され、 ドミナントカラーは 「赤」 および 「白」 の要素が強いことが記述さ れている。

そのため、 領域の分割を行う際に、 斜めエッジの境界線と、 赤色の領域と、 白 色の領域とに対して感度を高めるように部分映像抽出手段 3 1 0のパラメータを 変更して分割を行うと、 図 1 7に示すように領域を分割することができる。 図 1 7において、 実線部分が分割された領域の境界線を表している。 このように、 領 域の分割と結合とを行うことにより、 領域の数を減少させ、 抽出する部分映像の 数を減少させることができる。 また、 部分映像抽出手段 3 1 0は、 候補オブジェ ク卜の視覚的特徴量に応じて、 例えば、 輝度情報や、 色情報、 形状の情報、 模様 の情報、 大きさの情報等の情報のうちの 1つの条件、 または複数を組み合わせた 条件に合致する映像の領域の部分映像を抽出してもよい。

部分映像抽出手段 3 1 0は、 抽出した部分映像を、 視覚的特徴量設定手段 3 1 1に出力する。 視覚的特徴量設定手段 3 1 1は、 部分映像抽出手段 3 1 0が抽出 した部分映像の視覚的特徴量を、 公知の種々の方法のいずれかを用いて例えば前 述した文献 Aに記載の方法で算出して設定する (ステップ A 8 ) 。 そして、 視覚 的特徵量設定手段 3 1 1は、 設定した視覚的特徴量を特徴量比較手段 3 1 2に出 力する。

特徴量比較手段 3 1 2は、 候補オブジェクトの視覚的特徴量 F O iと部分映像 の視覚的特徴量 F rとの類似度 M S iを算出する。 図 1 8に、 部分映像と候補ォ ブジエタトとを比較する例を示す。 ここで、 候補オブジェクトの視覚的特徴量 F O iは、 F O i = (ドミナントカラー, カラーレイアウト, エッジヒストグラム, リージョンベースド形状記述子, · · ·) で表されるものとし、 部分映像の視覚 的特徴量 F rは、 F r = (ドミナントカラー, カラーレイアウト, エッジヒスト グラム, リージョンベースド形状記述子, · · ·) で表されるものとする。 そし て、 類似度ベクトル S iは、 S i = (ドミナントカラーの類似度, カラーレイァ ゥトの類似度, エッジヒストグラムの類似度, リージョンベースド形状記述子の 類似度, · · ·) で表されるものとする。

ここで、 ドミナントカラーの類似度は、 候補オブジェクトの代表色と部分映像 の代表色との相関を考慮して算出される。 カラーレイアウトの類似度は、 色成分 毎と、 周波数成分毎との視覚特性を反映する重み付けを、 輝度成分係数と色差成 分係数とに導入して算出した L 2ノルム和である。 エッジヒストグラムの類似度 は、 例えば 5個のエッジ要素による、 候補オブジェクトのヒス トグラムと部分映 像のヒス トグラムとにおける各エッジ要素の差分絶对値和である。 リージョンべ ースド形状記述子の類似度は、 記述子を構成する要素毎に算出した、 部分映像と 候補オブジェクトとの差分絶対値和である。

すると、 類似度 MS 〖は (4) 式のように表し、 類似度を算出する (ステップ A9) 。

Msi = |Si|

• · · (4)

ただし、 類似度べクトル S iの成分である各類似度は、 0以上で 1以下になるよ うに正規化しておくものとする。

また、 視覚的特徴量比較手段 3 1が、 テンプレート映像を視覚的特徴量に用い た場合の類似度の計算方法について説明する。 テンプレート映像を To i (x, y) 、 映像を F (x, y) テンプレート映像の面積を S Fとすると、 類似度 MS i (X, Y) は (5) 式のように表し、 算出することができる。

MSi(XY)=∑JF(x+x'Y+ s SrF Ti(x'

(5)

テンプレート映像の範囲を、 例えば 0≤χ≤ 29と 0 y≤49とすると、 (5) 式は、 映像上のある一点 (X, Y) からテンプレート映像の範囲の領域の 映像と、 テンプレート映像との類似度を表している。

以上の類似度の算出を、 映像全体または部分映像抽出手段 310が抽出したす ベての部分映像について行い、 算出した類似度を判定手段 32に出力する。 ここ で、 映像全体または部分映像と、 候補オブジェクトとの関係は、 算出した類似度 の数値が小さいほど視覚的な類似性が強いことを表す。 そこで、 以下、 算出した 類似度の数値が最も少ないものを、 最大類似度と記す。

判定手段 3 2は、 候補オブジェクトに対する最大の類似度 M S m a x iを抽出 して最大類似度 M S m a X iがあらかじめ決められたしきい値 T h iより小さレヽ か否かの判定を行う (ステップ A 1 1 ) 。

最大類似度 M S m a x iがしきい値 T h iより小さい場合、 判定手段 3 2は、 候補オブジェクトが映像中に存在すると判断して、 候補ォブジェクトである地理 オブジェクトが撮影されている部分映像と、 候補オブジェクトの意味情報と記憶 装置 2から読み出し、 対応付けて出力する (ステップ A 1 2 ) 。 つまり、 映像に ァノテーシヨンを付与する。 出力先は、 例えば液晶表示装置等の表示装置、 ハー ドディスク装置ゃメモリ等の記憶装置等である。

なお、 図 1 9に示すような、 例えば、 お寺等の複数の建造物からなる地理ォブ ジェクトでは、 お寺全体の視覚的特徴量が見る位置により大きく異なることがあ る。 そこで、 地理ォブジェクトである個々の建造物 (例えば、 本堂と五重塔 等。 ) の地理オブジェクトに対応する意味情報を階層的に (例えばツリー状に) 記憶装置 2に記憶させておくことが好ましい。 例えば、 複数の意味情報に共通す る概念 (共通概念) が存在する場合に、 それらの意味情報は、 ツリーの 1つのノ ードから延びる複数の枝に相当する意味情報として記憶装置 2に記憶される。 そ して、 ツリーのノードに相当する共通意味情報 (各意味情報の共通概念を示す意 味情報) も、 記憶装置 2に記憶させておくことが好ましい。 さらに、 複数の共通 意味情報に共通する概念が存在する場合に、 それらの共通意味情報は、 ツリーの 1つのノードから延びる複数の枝に相当する上位層の共通意味情報として記憶装 置 2に記憶される。 そして、 共通意味情報のノードに相当する上位層の共通意味 情報も、 記憶装置 2に記憶させておくことが好ましい。 すなわち、 図 2 0に示す ように、 地理オブジェクトの集合 (例えば、 本堂と五重塔。 ) の階層的な上位概 念の意味情報 (例えば、 D寺。 ) をあらかじめ作成しておく。 そして、 判定手段 3 2は、 図 1 9中に円で示したように、 抽出された地理オブジェクトについて、 共通意味情報の下位概念に相当する意味情報 (例えば、 本堂または五重塔。 ) に 対応する地理オブジェクトを認識すると、 地理オブジェクトの集合の上位概念と して 「D寺」 というァノテーシヨンを付与する。

同様に、 例えば、 図 2 1に示す Cビルディング等の地理オブジェク卜の輪郭は、 撮影方向によって大きく異なる場合がある。 図 2 2に示すように、 そのような地 理ォブジェクトの構成を分割し、 分割された各々の地理オブジェクトの視覚的特 徴量をそれぞれ記憶装置 2に記憶させてもよい。 その場合、 図 2 0に示すように、 分割された各々の地理オブジェクトの意味情報の上位概念に相当する共通意味情 報 (例えば、 「Cビルディング」 ) を記憶装置 2に記憶させ、 さらに、 共通意味 情報の上位概念に相当する上位層の共通意味情報 (例えば、 「新宿副都心ビルデ イング群」 ) があれば、 それも記憶装置 2に記憶させておく。 部分映像抽出手段 3 1 0が、 分割された地理オブジェクトの各部分を別個の地理オブジェクトとし て抽出した場合に、 判定手段 3 2は、 抽出された地理オブジェク卜について、 意 味情報 (例えば、 「Cビルディング右」 ) の上位概念である共通意味情報が記憶 手段 2に記憶されているか否か判定する。 そして、 共通意味情報が記憶手段 2に あれば、 地理オブジェクトの集合の上位概念として 「Cビルディング」 というァ ノテーシヨンを付与する。

例えば木や人等の障害物によって地理オブジェクトの一部が隠れてしまう場合 や、 複雑な形状の地理オブジェクトの一部分によって他の大部分が隠れてしまう 場合のように、 地理オブジェクトの全体を撮影されていない映像が入力装置 1に 入力された場合がある。 そのような場合、 地理オブジェクトの一部を分割してそ れぞれの地理オブジェクトの視覚的特徴量を記憶装置 2に記憶させておけば、 部 分映像抽出手段 3 1 0は、 撮影されている一部の部分によって地理オブジェクト を認識して部分映像を抽出することができる。 すると、 地理オブジェクトを分割 しないで部分映像を抽出する場合と比べて、 建物の向きの変動に強いァノテーシ ョンの付与を行うことができる。

また、 地理オブジェクトの全体のみならず、 これに加えて、 またはこれに代え て、 一部が隠れた地理オブジェクトの視覚的特徴量や、 一方向のみならず、 これ に加えて、 またはこれに代えて、 様々な方向 ·位置から撮影した地理オブジェク トの視覚的特徴量を複数あらかじめ記憶装置 2に記憶させておいてもよい。 これ により入力映像の撮影位置、 または、 撮影方向に最も近い方向から撮影された際 の特徴量を用いることにより見る向きにより視覚的特徴が大きく異なる地理ォブ ジェクトにも対応することができる。

以上の、 ステップ A 6からステップ A 1 2までの各ステップを、 すべての候補 オブジェクトについて繰り返し行う (ステップ A 1 3 ) 。 本発明による映像ァノ テーション付与装置は、 入力装置 1に入力された映像の一コマ一コマに対して、 ステップ A 1からステップ A 1 3までの処理を行う。 し力 し、 例えば、 映像入力 機器が撮影する映像が一秒間に 3 0コマであって、 入力装置 1に入力される映像 が一秒間に 3コマである場合には、 映像入力機器が撮影した 1 0コマの映像のう ち、 1コマの映像に対してのみァノテ一シヨンの付与が行われる。 そこで、 その ような場合には、 ァノテーシヨンの出力を 1 3秒間保持してもよい。 そのよう な構成によれば、 映像入力機器が撮影した映像に対して途切れることなくァノテ ーションの付与を行うことができる。

この実施の形態では、 部分映像の視覚的特徴量と、 記憶装置 2が記憶している オブジェクトの視覚的特徴量とを比較して、 ォブジェクトが映像に映っているか 否かの判定を行う。 そして、 オブジェクトが映像に映っていると判定した場合に, オブジェクトとァノテーシヨンとを対応付けるため、 実際には映像に映っていな いオブジェタトのァノテーシヨンと映像とを対応付けることを防ぐことができる c また、 部分映像との類似度を算出する地理オブジェクトを、 記憶装置 2が記 憶している地理オブジェクトのうち、 撮影空間に存在するか否か等の条件に合致 する地理オブジェクトに絞り込んでいる。 そのため、 視覚的特徴量比較手段 3 1 のデータ処理の負担を軽減させることができる。

(発明の第 2の実施の形態)

図 2 3に、 本発明の第 2の実施の形態を説明するブロック図を示し、 この実施 の形態の構成について説明する。 本発明の第 2の実施の形態は、 映像および映像 を撮影した状況の情報である撮影情報が入力される入力装置 1と、 映像の被写体 であるオブジェクトの情報を記憶する記憶装置 2と、 撮影情報とオブジェクトの 情報とを比較して、 オブジェクトが映像に撮影されているか否かを判定するォブ ジェクト認識装置 4とを含む。 入力装置 1と記憶装置 2とは、 第 1の実施の形態と同様なため、 説明を省略す る。 オブジェクト認識装置 4は、 撮影情報を構成する位置情報と地理オブジェク 卜の位置情報とに基づいて、 地理オブジェクトが撮影されている確率である存在 確率を算出する撮影空間推定手段、 マッチング手段および存在確率算出手段 (例 えば、 存在確率算出手段 4 0。 ) と、 記憶装置 2が記憶している地理オブジェク トの視覚的特徴量と、 入力装置 1に入力された映像の一部分の領域または全体の 視覚的特徴量との類似度を算出する類似度算出手段 (例えば、 視覚的特徴量比較 手段 4 1。 ) と、 存在確率と類似度とを総合的に評価して、 地理オブジェクトが 撮影されているか否かを判断する判定手段 4 2とを含む。

図 2 4に、 視覚的特徴量比較手段 4 1の一構成例を示し、 構成について説明す る。 視覚的特徴量比較手段 4 1は、 入力装置 1に入力された映像から、 部分映像 を抽出する部分映像抽出手段 4 1 0と、 抽出した部分映像の視覚的特徴量を設定 する視覚的特徴量抽出 4 1 1と、 記憶装置 2が記憶している地理オブジェクトの 視覚的特徴量と、 部分映像の視覚的特徴量との類似度を算出する特徴量比較手段 4 1 2とを含む。

次に、 この実施の形態の動作について説明する。 この実施の形態の動作と第 1 の実施の形態の動作との違いは、 図 5に示すフローチャートにおけるステップ A 5とステップ A 1 1とである。 そのため、 その他の動作については説明を省略す る。

図 5に示すフローチヤ一トのステップ A 5において、 第 1の実施の形態では候 補オブジェクト検索手段 3 0が、 候補オブジェクトの抽出を行う。 し力 し、 この 実施の形態では、 候補オブジェクトの抽出を行わない。 従って、 特徴量比較手段 4 1 2は、 記憶装置 2が記憶している全ての地理オブジェクトの視覚的特徴量と 部分映像の視覚的特徴量との比較を行う。

図 5に示すフローチャートのステップ A 1 1において、 第 1の実施の形態では 最大類似度 M S m a X iのしきい値判定を行う。 しかし、 この実施の形態では、 存在確率算出手段 4 0が、 記憶装置 2が記憶している各地理オブジェクトが撮影 されている確率である存在確率 P iを算出する。 そして、 判定手段 4 2力 S、 存在 確率 P iと特徴量比較手段 4 1 2が算出した最大類似度 M S m a x iの逆数とを 乗じて統合スコアを算出する。 算出した統合スコアの数値が、 あらかじめ決めら れたしきい値より大きい場合、 判定手段 4 2は、 地理オブジェクトが映像中に存 在すると判断して記憶装置 2から地理オブジェク卜の意味情報を読み出す。 そし て、 地理オブジェクトが撮影されている部分映像と、 記憶装置 2から読み出した 地理オブジェク卜の意味情報とを対応付けて出力する。

存在確率 P iを求めるため、 (3 ) 式の水平距離、 水平角度誤差および仰角に 対して、 地理オブジェクトが撮影されている確率の分布である確率密度分布をあ らかじめ作成し、 これらの確率密度分布に基づいて存在確率を算出する。 ここで、 確率密度分布は、 横軸を画素数、 縦軸を確率としたガウス分布である。 地理ォブ ジェクトの映像上の位置の誤差は、 G P Sの計測精度と、 撮影方向の角度の精度 と、 撮影位置から地理ォブジェクトまでの距離とに基づいて誤差が推定できるの で、 その誤差をガウス分布の σ値とする等して確率密度関数を決定する。

この実施の形態では、 地理オブジェクトが撮影されている確率と、 部分映像の 視覚的特徴量と、 記憶装置 2が記憶しているオブジェクトの視覚的特徴量とを比 較した結果とに基づいて、 オブジェク卜が映像に映っているか否かの判定を行う そのため、 撮影空間に存在するォブジェクトであっても、 映像に写っている確率 が低いオブジェク十のァノテーシヨンを、 映像に対応付けることを防ぐことがで きる。

(発明の第 3の実施の形態)

図 2 5に、 本発明の第 3の実施の形態を説明するブロック図を示し、 この実施 の形態の構成について説明する。 本発明の第 3の実施の形態は、 第 1の実施の形 態の構成に、 レイアウト装置 5 1と、 表示装置 5 2とを加えた構成である。 その ため、 第 1の実施の形態と同様な装置等には図 1と同様な符号を用いて、 説明を 省略する。 表示位置決定手段は、 レイアウト装置 5 1によって実現される。

レイアウト装置 5 1は、 映像と、 映像から抽出した部分映像に付与したァノテ —ションとを重畳して表示させる場合のァノテーシヨンの表示位置を決定して、 表示装置 5 2に出力する。 表示装置 5 2は、 映像にァノテ一シヨンを重畳し、 レ ィァゥト装置 5 1が決定した表示位置にァノテーションを表示する。 図 2 6は、 表示装置 5 2がァノテーシヨンを映像に重畳させて表示した場合の 表示例である。 レイアウト装置 5 1は、 ァノテーシヨンの表示位置を、 部分映像 の真下、 真上、 右、 または左のいずれかの位置であって、 他の部分映像に重なら ない位置に決定する。 図 2 6のように、 他の部分映像が存在するために、 所定の 距離を超えて部分映像から離れた位置にァノテーシヨンを表示位置させるときは、 部分映像とァノテーションとを矢印でつないで表示させるとよい。

この実施の形態では、 ァノテーシヨンを表示させる映像上の位置を決定する。 そのため、 オブジェクトとァノテーシヨンとの対応を映像で表すことができる。

(発明の第 4の実施の形態)

図 2 7に、 本発明の第 4の実施の形態を説明するブロック図を示し、 この実施 の形態の構成について説明する。 本発明の第 4の実施の形態は、 第 1の実施の形 態の構成に、 ァノテーシヨン結果記憶装置 6 1を加えた構成である。 そのため、 第 1の実施の形態と同様な装置等には、 図 1と同様な符号を用いて、 説明を省略 する。

ァノテーシヨン結果記憶装置 6 1は、 部分映像と、 部分映像に対応付けられた 地理オブジェクトの意味情報との組を、 対応を保持したまま記憶する。 記憶媒体 は、 例えばメモリ、 ハードディスク装置、 C D— R OM、 または D V D— R AM 等である。 また、 ァノテーシヨン結果記憶装置 6 1は、 部分映像の映像上の位置 の情報を記憶してもよく、 入力されたキーヮードに合致する映像を出力してもよ レ、。 例えば、 全体の映像における部分映像の位置を、 X座標と y座標との数値で 特定できる場合であって、 ァノテーシヨン結果記憶装置 6 1が、 Bタワーが左側 に写っている映像と、 意味情報 (Bタワー) と、 全体の映像における部分映像の 位置 ( (X , y ) = ( 1 2 0 , 2 4 0 ) ) の情報の組を対応させて記憶した場合、

「オブジェクト = Bタワー」 と、 「領域 = xく 3 2 0」 とのキーワードが入力さ れると、 以下のように映像が抽出される。 ここで、 全体の映像の Xの最大値は 6 4 0であったとする。

まず、 意味情報が 「Bタワー」 であって、 全体の映像における部分映像の位置 が 「x < 3 2 0」 であるという条件に合致する意味情報とオブジェクトの領域と の組を検索して特定する。 すると、 特定した組に対応付けられた映像である 「B タワーが左側に写っている映像」 を抽出することができる。 利用者はァノテーシ ョン結果記憶装置 6 1が備えるキーボード等を介してキーヮードを入力してもよ いし、 マイクロフォン等を介して音声入力を行ってもよい。 また、 利用者があら かじめァノテーシヨン結果記憶装置 6 1に自己の嗜好を記憶させ、 ァノテーショ ン結果記憶装置 6 1が記憶してレ、る利用者の嗜好に基づいてキーワードを生成し てもよい。

この実施の形態は、 ァノテーシヨンと、 映像データに含まれるオブジェクトと を対応させて記憶するァノテーシヨン結果記憶手段を備える。 そのため、 記憶し たァノテーションと映像データに含まれるオブジェクトとの対応させに基づいて、 映像データの検索を行うことができる。

(発明の第 5の実施の形態)

図 2 8に本発明の第 5の実施の形態における視覚的特徴量比較手段を説明する プロック図を示し、 この実施の形態の構成について説明する。

本発明の第 5の実施の形態は、 第 1の実施の形態における視覚的特徴量比較手 段の図 4の構成に、 結果保持手段 5 1 3を加えた構成である。 結果保持手段 5 1 3は、 特徴量比較手段 5 1 2で算出した類似度を記録し類似度が高い部分映像の みを抽出する。

次に、 この実施の形態の動作について説明する。 この実施の形態の動作と第 1 の実施の形態の動作との違いは、 図 2 9に示すフローチャートにおけるステップ A 1 0 1からステップ A 1 0 6とである。 そのため、 その他の動作については説 明を省略する。

図 2 9に示すフローチャートのステップ A 1 0 1において、 入力映像をセグメ ンテーシヨンにより分割する。 この分割された領域の組み合わせを結合して領域 を得る。 しかし、 組み合わせ数は (2の領域数乗) -1であるため、 領域数 の 増加により単純組み合わせ数が指数関数的に増加してしまう。 そこで、 組み合わ せの評価を階層的に行い絞り込む方法を導入する。 例えば、 図 3 0に示すように. 階層の 1段目では、 1領域と対象ランドマークとの類似度を計算し、 上位 m個の 領域のみを次段に引き渡し、 m+1位以下の組み合わせについては今後評価対象と しない。 n段階目では、 n-1段目で抽出された n-1領域の組み合わせに対し、 新 たな 1領域を加えた n個の領域を組み合わせ (ステップ A 1 0 2 ) 、 特徴量を抽 出し (ステップ A 1 0 3 ) 、 対象ランドマークとの類似度を計算し (ステップ A 1 0 4 ) 、 上位 m個の組み合わせを抽出する (ステップ A 1 0 7 ) 。 この処理を L (く b)段まで行い (ステップ A 1 0 6 ) 、 最大類似度となる組み合わせ領域を出 力する。 これにより、 組み合わせ数を最大 a (b (l+m) - m)と比例オーダに抑えるこ とができる。 このように視覚的に分割された領域を組み合わせてレ、くことにより、 対象ランドマークと異なる視覚的特徴をもつ隠蔽物を取り除いたランドマーク領 域を抽出することが出来る。

このとき、 組み合わせ段数に応じて、 類似度べクトル Si計算の際に特徴量の 重み付けを変更してもよい。 例えば、 組み合わせの段数が少ない場合は、 組み合 わせ領域は対象ランドマークの一部分でしかないと考えられるため、 類似度べク トル Si計算の際に形状に関する特徴量 (リージョンベースド形状記述子) の類 似度に小さな係数を重み付けし、 形状に関する類似度の効果を低減させ、 組み合 わせの段数が多い場合は、 類似度に大きな係数を重み付けし、 形状の効果を増大 させることで、 効果的な絞込みを行える。

また、 以上に述べた本発明による各実施の形態の構成は、 車両案内システム (カーナビゲーションシステム) に搭載されて実現されてもよい。

以上に述べた本発明による各実施の形態は、 撮影位置とオブジェクトとの距離 の計測を行わずに、 撮影されたォブジェクトと記憶装置が記憶しているオブジェ クトとの対応付けを行う。 撮影位置とオブジェクトとの距離に基づいて、 撮影さ れたォブジェクトと記憶装置が記憶しているオブジェクトとの対応付けを行う方 法がある。 その場合に行われる撮影位置とオブジェクトとの距離の計測は、 複数 のカメラを用いたステレオ視の方法や、 レーザ等を用いた光学的距離測定方法が ある。 しかし、 これらの方法を用いた距離の測定には、 複数のカメラあるいは光 学式距離測定装置を必要とし、 距離の測定に時間を要する。 また、 オブジェクト 付近の木や看板等と、 オブジェクトとの距離による識別は困難であるという問題 がある n

Claims

請求の範囲
1 . 映像データと、 撮影空間を決定しうる情報である撮影情報とを入力する 入力手段と、
オブジェク卜の位置の情報である位置情報と、 オブジェクトの視覚的な特徴を 数値化した情報である視覚的特徴情報とを対応させて記憶する記憶手段と、 入力された映像データによる映像に含まれるオブジェクトを認識するオブジェ クト認識手段とを備え、
前記オブジェクト認識手段は、
撮影情報に基づいて撮影空間を推定する撮影空間推定手段と、
撮影空間と、 前記記憶手段に記憶されているオブジェクトの位置情報が示す位 置とのマツチングを行うマツチング手段と、
入力された映像データから、 映像データによる映像の一部分の領域の映像デー タまたは映像全体の映像データである部分映像データを抽出する部分映像抽出手 段と、
部分映像データの視覚的特徴情報を生成する視覚的特徴情報設定手段と、 部分映像データの視覚的特徴情報と、 前記記憶手段が記憶しているオブジェク トの視覚的特徴情報とを比較して類似度を算出する類似度算出手段と、
前記マッチング手段のマッチングの結果と、 算出した類似度とに基づいて、 入 力された映像データによる映像中にオブジェクトが存在しているか否かを判定す る判定手段とを備えた映像ォブジェクト認識装置。
2 . 映像データと、 撮影空間を決定しうる情報である撮影情報とを入力する 入力手段と、
オブジェクトの位置の情報である位置情報と、 ォブジ-クトの視覚的な特徴を 数値化した情報である視覚的特徴情報と、 オブジェクトに付加される情報である 付加情報とを対応させて記憶する記憶手段と、
入力された映像データによる映像に含まれるオブジェクトと、 付加情報とを対 応付けるオブジェクト認識手段とを備え、
前記オブジェクト認識手段は、
撮影情報に基づいて撮影空間を推定する撮影空間推定手段と、 撮影空間と、 前記記憶手段に記憶されているオブジェクトの位置情報が示す位 置とのマツチングを行うマツチング手段と、
入力された映像データから、 映像データによる映像の一部分の領域の映像デー タまたは映像全体の映像データである部分映像データを抽出する部分映像抽出手 段と、
部分映像データの視覚的特徴情報を生成する視覚的特徴情報設定手段と、 部分映像データの視覚的特徴情報と、 前記記憶手段が記憶しているオブジェク トの視覚的特徴情報とを比較して類似度を算出する類似度算出手段と、
前記マッチング手段のマッチングの結果と、 算出した類似度とに基づいて、 入 力された映像データによる映像に含まれるオブジェクトを特定し、 特定したォブ ジェク卜と、 前記記憶手段が記憶している付加情報とを対応付ける判定手段とを 備えた映像ァノテーシヨン付与装置。
3 . 前記オブジェクト認識手段は、
撮影空間と、 記憶手段が記憶しているオブジェクトの位置情報とに基づいてォ ブジェクトが映像に含まれている確率である存在確率を算出する存在確率算出手 段を含み、
前記判定手段は、 算出した存在確率と類似度とに基づいて映像に含まれるォブ ジェクトを特定し、 特定したオブジェクトと前記記憶手段が記憶している付加情 報とを对応付ける
請求の範囲第 2項に記載の映像ァノテーション付与装置。
4 . 前記部分映像抽出手段は、
前記記憶手段が記憶しているォブジェクトの位置情報に基づいて、 映像におけ るオブジェクトが位置する範囲を特定し、 特定した範囲から部分映像データを抽 出する
請求の範囲第 3項に記載の映像ァノテーション付与装置。
5 . 前記オブジェクト認識手段は、
撮影空間と位置情報とに基づいて撮影空間に存在するオブジェクトである候補 オブジェクトの抽出を行う候補オブジェクト検索手段を含み、 前記類似度算出手段は、 部分映像データの視覚的特徴情報と、 記憶手段が記憶 している候補オブジェクトの視覚的特徴情報とを比較して類似度を算出する 請求の範囲第 2項に記載の映像ァノテーション付与装置。
6 . 前記部分映像抽出手段は、
前記記憶手段が記憶している候補オブジェクトの位置情報に基づいて、 映像に おけるォブジェク卜が位置する範囲を特定し、 特定した範囲の映像から部分映像 データを抽出する
請求の範囲第 5項に記載の映像ァノテーション付与装置。
7 . 映像を表示する表示手段と、
前記表示手段に、 映像に含まれるオブジェクトに対応付けられた付加情報を表 示させる位置を指定して付加情報を映像に重畳して表示させる表示位置決定手段 とを備えた
請求の範囲第 2項に記载の映像ァノテーション付与装置。
8 . 付加情報と映像に含まれるオブジェクトとを対応させて記憶するァノテ ーシヨン結果記憶手段を備えた
請求の範囲第 2項に記載の映像ァノテーション付与装置。
9 . 前記部分映像抽出手段は、
抽出する部分映像データによる映像の領域の形状と大きさとを任意に変更可能 な機能を有する
請求の範囲第 2項に記載の映像ァノテーション付与装置。
1 0 . 前記部分映像抽出手段は、
輝度情報と、 色情報と、 形状の情報と、 模様の情報と、 大きさの情報とのうち の 1つの条件、 または複数を組み合わせた条件に合致する映像の領域の部分映像 データを抽出する
請求の範囲第 2項に記載の映像ァノテーション付与装置。
1 1 . 前記部分映像抽出手段は、
複数の情報を組み合わせた条件に合致する映像の領域の部分映像データを抽出 する場合、 マッチング手段のマッチングの結果と、 記憶手段が記憶しているォブ ジェクトの視覚的特徴情報とに基づいて、 各条件に対する重み付けを行って部分 映像データを抽出する
請求の範囲第 1 0項に記載の映像ァノテーシヨン付与装置。
1 2 . 前記記憶手段が記憶するォブジェク卜の視覚的特徴情報は、 オブジェ ク卜に類似する視覚的な特徴を有する映像であるテンプレート映像である 請求の範囲第 2項に記載の映像ァノテーション付与装置。
1 3 . 前記記憶手段が記憶するオブジェク卜の視覚的特徴情報は、 色情報、 形状の情報、 模様の情報および大きさの情報のうち 1つ、 または複数の情報によ つて構成され、
前記視覚的特徴情報設定手段が生成する部分映像データの視覚的特徴情報は、 色情報と、 形状の情報と、 模様の情報と、 大きさの情報とのうち 1つの情報、 ま たは複数の情報によつて構成される
請求の範囲第 2項に記載の映像ァノテーション付与装置。
1 4 . 前記記憶手段が記憶するオブジェクトの位置情報は、 オブジェクトの 形状に類似した形状の円錐、 円柱、 または立方体等の立体幾何学の立体形状を用 いて近似した立体形状の頂点のうちの 1つの頂点、 または中心点、 もしくは重心 点のいずれかの位置を特定する情報である
請求の範囲第 2項に記載の映像ァノテーション付与装置。
1 5 . 前記記憶手段が記憶するオブジェクトの位置情報は、 ォブジェクトの 形状を多角形の面を用いて近似した三次元形状の頂点のうち少なくとも 1つの頂 点の位置を特定する情報である
請求の範囲第 2項に記載の映像ァノテーション付与装置。
1 6 . 前記記憶手段が記憶するオブジェクトの位置情報は、 オブジェクトの 頂点のうち、 最も標高が高い頂点の位置を特定する情報である
請求の範囲第 2項に記載の映像ァノテーション付与装置。
1 7 . 前記記憶手段が記憶するオブジェクトの位置情報は、 緯度と経度と標 高とによってォブジェクトの位置を特定する情報である
請求の範囲第 2項に記載の映像ァノテーション付与装置。
1 8 . 前記記憶手段は、 複数のオブジェクトのそれぞれに対応した付加情報 に共通する概念にもとづく共通付加情報、 または複数の共通付加情報に共通する 概念にもとづく共通付加情報を階層的に記憶し、
前記判定手段は、 撮影されたオブジェクトの付加情報または共通付加情報に対 応する共通付加情報が存在するか否か判定し、 存在する場合には、 そのオブジェ ク卜に共通付加情報を対応付ける
請求の範囲第 2項に記載の映像ァノテーション付与装置。
1 9 . 前記撮影情報は、 撮影した日付と時刻とを特定する情報である撮影日 時情報を含み、
前記記憶手段は、 撮影した日付と、 時刻とに応じた視覚的特徴情報を記憶し、 前記類似度算出手段は、 部分映像データの視覚的特徴情報と、 撮影日時情報が 特定する日付と、 時刻とに応じた視覚的特徴情報とを比較して類似度を算出する 請^の範囲第 2項に記載の映像ァノテーション付与装置。
2 0 . 前記部分映像抽出手段は、
前記入力された映像データから領域を分割し、 分割された領域を前記部分映像 データとする
請求の範囲第 1 0項に記載の映像ァノテーション付与装置。
2 1 . 前記部分映像抽出手段は、
前記分割された領域の組み合わせにより前記部分映像データとする
請求の範囲第 2 0項に記載の映像ァノテーション付与装置。
2 2 . 前記部分映像抽出手段は、
前記分割領域の組み合わせの評価を階層的に行うことで部分映像データを生成 する
請求の範囲第 2 1項に記載の映像ァノテーシヨン付与装置。
2 3 . 前記部分映像抽出手段は、
前記分割領域の組み合わせ階層評価として、 同一領域数の組み合わせから前記 類似度の高い特定数のみ以後の組み合わせに用いる
請求の範囲第 2 2項に記載の映像ァノテーシヨン付与装置。
2 4 . 前記記憶手段が記憶するォブジェクトの視覚的特徴情報として、 —方向または、 複数方向からの全体像または一部分のオブジェクトにおける視 覚的情報を複数保持する
請求の範囲第 2項に記載の映像ァノテーション付与装置。
2 5 . 車両に搭載され、 G P Sを用いて自己の位置を表示装置が表示する地 図上に示す車両案内システムであって、
請求の範囲第 2項に記載の映像ァノテーション付与装置を備えた車両案内シス テム。
2 6 . 映像データと、 撮影空間を決定しうる情報である撮影情報とを入力し、 オブジェク卜の位置の情報である位置情報と、 オブジェクトの視覚的な特徴を 数値化した情報である視覚的特徴情報とを対応させて記憶し、
撮影情報に基づいて撮影空間を推定し、
撮影空間と、 記憶されているオブジェクトの位置情報が示す位置とのマツチン グを行い、
入力された映像データから、 映像データによる映像の一部分の領域または映像 全体の映像データである部分映像データを抽出し、
部分映像データの視覚的特徴情報を生成し、
部分映像データの視覚的特徴情報と、 記憶されているオブジェクトの視覚的特 徴情報とを比較して類似度を算出し、
マッチングの結果と、 算出した類似度とに基づいてオブジェクトが撮影されて いるか否かを判定する映像オブジェクト認識方法。
2 7 . 映像データと、 撮影空間を決定しうる情報である撮影情報とを入力し、 オブジェクトの位置の情報である位置情報と、 オブジェクトの視覚的な特徴を 数値化した情報である視覚的特徴情報と、 オブジェクトに付加される情報である 付加情報とを対応させて記憶し、 .
撮影情報に基づいて撮影空間を推定し、
撮影空間と、 記憶されているオブジェクトの位置情報が示す位置とのマツチン グを行い、
入力された映像データから、 映像データによる映像の一部分の領域または映像 全体の映像データである部分映像データを抽出し、 部分映像データの視覚的特徴情報を生成し、
部分映像データの視覚的特徴情報と、 記憶されているオブジェク トの視覚的特 徴情報とを比較して類似度を算出し、
マッチングの結果と、 算出した類似度とに基づいて映像データに含まれるォブ ジェク トを特定し、 特定したオブジェク トと記憶されている付加情報によって構 成されるァノテーションとを对応付ける映像ァノテーシヨン付与方法。
2 8 . 映像データに、 記憶されているオブジェク トが被写体として含まれて いるか否かを判定する映像オブジェク ト認識装置に搭載される映像ォブエタ ト認 識プログラムであって、
コンピュータに、
オブジェクトの位置の情報である位置情報と、 オブジェク トの視覚的な特徴を 数値化した情報である視覚的特徴情報とを対応させて記憶装置に記憶させる処理 と、
撮影空間を決定しうる情報である撮影情報に基づいて撮影空間を推定する処理 と、
撮影空間と、 前記記憶装置が記憶しているオブジェク トの位置情報が示す位置 とのマツチングを行う処理と、
入力された映像データから、 映像データによる映像の一部分の領域または映像 全体の映像データである部分映像データを抽出する処理と、
部分映像データの視覚的特徴情報を生成する処理と、
部分映像データの視覚的特徴情報と、 記憶されているオブジェクトの視覚的特 徴情報とを比較して類似度を算出する処理と、
マッチングの結果と、 算出した類似度とに基づいてオブジェクトが撮影されて いるか否かを判定する処理とを実行させる映像オブジェク ト認識プログラム。
2 9 . オブジェクトと、 記憶されているオブジェク トの情報とを対応付ける 映像ァノテーシヨン付与装置に搭載される映像ァノテーシヨン付与プログラムで あって、
コンピュータに、 オブジェク トの位置の情報である位置情報と、 オブジェク トの視覚的な特徴を 数値化した情報である視覚的特徴情報と、 オブジェク トに付加される情報である 付加情報とを対応させて記憶装置に記憶させる処理と、
撮影空間を決定しうる情報である撮影情報に基づいて撮影空間を推定する処理 と、
撮影空間と、 前記記憶装置が記憶しているオブジェク トの位置情報が示す位置 とのマツチングを行う処理と、
入力された映像データから、 映像データによる映像の一部分の領域または映像 全体の映像データである部分映像データを抽出する処理と、
部分映像データの視覚的特徴情報を生成する処理と、
部分映像データの視覚的特徴情報と、 記憶されているオブジェクトの視覚的特 徴情報とを比較して類似度を算出する処理と、
マツチングの結果と、 算出した類似度とに基づいて映像データに含まれるォブ ジェクトを特定し、 特定したォブジェクトと記憶されている付加情報によって構 成されるァノテーシヨンとを対応付ける処理とを実行させる映像ァノテーション 付与プログラム。
PCT/JP2004/005372 2003-04-21 2004-04-15 映像オブジェクト認識装置および認識方法、映像アノテーション付与装置および付与方法ならびにプログラム WO2004095374A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2003-115437 2003-04-21
JP2003115437 2003-04-21

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP20040727725 EP1622081A1 (en) 2003-04-21 2004-04-15 Video object recognition device and recognition method, video annotation giving device and giving method, and program
US10553431 US20060195858A1 (en) 2004-04-15 2004-04-15 Video object recognition device and recognition method, video annotation giving device and giving method, and program
JP2005505722A JP4488233B2 (ja) 2003-04-21 2004-04-15 映像オブジェクト認識装置、映像オブジェクト認識方法、および映像オブジェクト認識プログラム

Publications (1)

Publication Number Publication Date
WO2004095374A1 true true WO2004095374A1 (ja) 2004-11-04

Family

ID=33307953

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2004/005372 WO2004095374A1 (ja) 2003-04-21 2004-04-15 映像オブジェクト認識装置および認識方法、映像アノテーション付与装置および付与方法ならびにプログラム

Country Status (5)

Country Link
EP (1) EP1622081A1 (ja)
JP (1) JP4488233B2 (ja)
KR (1) KR100743485B1 (ja)
CN (1) CN100371952C (ja)
WO (1) WO2004095374A1 (ja)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2421653A (en) * 2004-12-24 2006-06-28 Trek Wireless Ltd System for the collection and association of image and position data
JP2006338214A (ja) * 2005-06-01 2006-12-14 Sony Corp 画像処理装置、携帯型画像処理装置、印刷装置、インデックス画像示方法及びプログラム
JP2007148677A (ja) * 2005-11-25 2007-06-14 Canon Inc 画像処理装置、画像処理方法
WO2007126199A1 (en) 2006-04-27 2007-11-08 Thinkware Systems Corporation Method for providing navigation background information and navigation system using the same
JPWO2006103744A1 (ja) * 2005-03-29 2008-09-04 富士通株式会社 映像検索装置
WO2008149537A1 (ja) * 2007-05-31 2008-12-11 Panasonic Corporation 画像撮影装置、付加情報提供サーバ及び付加情報フィルタリングシステム
KR100975128B1 (ko) * 2010-01-11 2010-08-11 (주)올라웍스 뷰잉 프러스텀을 이용하여 객체에 대한 정보를 제공하기 위한 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체
US7916184B2 (en) 2006-05-02 2011-03-29 Canon Kabushiki Kaisha Moving image processing apparatus and method for acquiring moving image data and performing display control
KR20110066133A (ko) * 2008-09-02 2011-06-16 에꼴 뽈리떼끄닉 뻬데랄 드 로잔느 (으뻬에프엘) 휴대용 디바이스 상의 이미지 주석
CN101350103B (zh) 2008-08-05 2011-11-16 深圳市蓝韵实业有限公司 一种医学图像多元化分组留痕信息的实现方法
JP2011257865A (ja) * 2010-06-07 2011-12-22 Ntt Docomo Inc オブジェクト表示装置及びオブジェクト表示方法
JP2012043435A (ja) * 2010-08-18 2012-03-01 Pantech Co Ltd 拡張現実サービスの共有方法並びに拡張現実サービスを共有するために用いるユーザ端末、遠隔端末及びシステム
JP2012103743A (ja) * 2010-11-05 2012-05-31 Nippon Telegr & Teleph Corp <Ntt> 仮想情報付与装置及び仮想情報付与プログラム
WO2013035758A1 (ja) * 2011-09-06 2013-03-14 Necビッグローブ株式会社 情報表示システム、情報表示方法、及び記憶媒体
US8423485B2 (en) 2007-09-14 2013-04-16 The University Of Tokyo Correspondence learning apparatus and method and correspondence learning program, annotation apparatus and method and annotation program, and retrieval apparatus and method and retrieval program
JP2013517568A (ja) * 2010-01-12 2013-05-16 クアルコム,インコーポレイテッド ディスプレイを使用した通信のためのターゲットオブジェクトの選択
US8903225B2 (en) 2011-04-26 2014-12-02 Kabushiki Kaisha Toshiba Video editing device, video editing method, program, and medium in which the program is recorded
JP2015082245A (ja) * 2013-10-23 2015-04-27 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007063463A1 (en) * 2005-11-30 2007-06-07 Koninklijke Philips Electronics N.V. Method and system for updating user profiles
GB2437137A (en) * 2006-04-03 2007-10-17 Autoliv Development Ab Drivers aid that sensors the surrounding of the vehicle, and with a positioning system compares the detected objects to predict the driving conditions
CN101553831A (zh) * 2006-09-18 2009-10-07 诺基亚公司 用于使用便携式设备查看虚拟数据库的方法、装置和计算机程序产品
US9329052B2 (en) 2007-08-07 2016-05-03 Qualcomm Incorporated Displaying image data and geographic element data
US8994851B2 (en) 2007-08-07 2015-03-31 Qualcomm Incorporated Displaying image data and geographic element data
KR100933304B1 (ko) * 2007-08-30 2009-12-22 중앙대학교 산학협력단 단일 카메라를 이용한 객체 정보 추정기, 그 방법, 상기 추정기를 포함하는 멀티미디어 기기 및 컴퓨터 기기, 및 상기 방법을 수행하기 위한 프로그램을 기록한 컴퓨터로 판독 가능한 기록매체
US8150098B2 (en) * 2007-12-20 2012-04-03 Eastman Kodak Company Grouping images by location
US8131750B2 (en) * 2007-12-28 2012-03-06 Microsoft Corporation Real-time annotator
KR100958379B1 (ko) * 2008-07-09 2010-05-17 (주)지아트 복수 객체 추적 방법과 장치 및 저장매체
US8254678B2 (en) * 2008-08-27 2012-08-28 Hankuk University Of Foreign Studies Research And Industry-University Cooperation Foundation Image segmentation
KR101025651B1 (ko) * 2008-11-13 2011-03-31 엘지전자 주식회사 영상 객체 인식 장치 및 방법
CN101799621B (zh) 2009-02-05 2012-12-26 联想(北京)有限公司 一种拍摄方法和拍摄设备
JP4816748B2 (ja) 2009-03-06 2011-11-16 ソニー株式会社 ナビゲーション装置及びナビゲーション方法
JP5684992B2 (ja) 2010-02-26 2015-03-18 キヤノン株式会社 情報処理システム、情報処理装置、処理方法及びプログラム
US8279418B2 (en) 2010-03-17 2012-10-02 Microsoft Corporation Raster scanning for depth detection
US8687094B2 (en) * 2010-06-15 2014-04-01 Lg Electronics Inc. Mobile terminal and method of displaying object related information therein
KR101293776B1 (ko) 2010-09-03 2013-08-06 주식회사 팬택 객체 리스트를 이용한 증강 현실 제공 장치 및 방법
EP2450667B1 (en) * 2010-11-09 2016-11-02 Harman Becker Automotive Systems GmbH Vision system and method of analyzing an image
JP5195885B2 (ja) 2010-12-07 2013-05-15 カシオ計算機株式会社 情報表示システム、情報表示装置、および、プログラム
JP5170223B2 (ja) * 2010-12-07 2013-03-27 カシオ計算機株式会社 情報表示システム、情報表示装置、情報提供装置、および、プログラム
US8265866B2 (en) * 2010-12-15 2012-09-11 The Boeing Company Methods and systems for augmented navigation
JP5014494B2 (ja) * 2011-01-21 2012-08-29 パナソニック株式会社 情報処理装置、拡張現実感システム、情報処理方法、及び情報処理プログラム
JP5511084B2 (ja) 2011-02-08 2014-06-04 パナソニック株式会社 通信装置、通信システム、通信方法、及び通信プログラム
CN103049732A (zh) * 2011-10-11 2013-04-17 镇江精英软件科技有限公司 通过图像比对实现机动车验证的方法
US8891907B2 (en) 2011-12-06 2014-11-18 Google Inc. System and method of identifying visual objects
JP5966584B2 (ja) * 2012-05-11 2016-08-10 ソニー株式会社 表示制御装置、表示制御方法およびプログラム
CN103873925B (zh) * 2012-12-13 2017-07-25 联想(北京)有限公司 视频处理设备和方法
KR20140110584A (ko) * 2013-03-08 2014-09-17 삼성전자주식회사 증강 현실 제공 방법, 저장 매체 및 휴대 단말
CN103440318B (zh) * 2013-08-29 2016-08-17 王靖洲 移动终端的景观识别系统
CN103533248A (zh) * 2013-10-24 2014-01-22 腾讯科技(上海)有限公司 一种图像处理的方法、终端及系统
CN104699726B (zh) * 2013-12-18 2018-03-23 杭州海康威视数字技术股份有限公司 一种应用于交通卡口的车辆图像检索方法和装置
CN104038792B (zh) * 2014-06-04 2017-06-16 紫光软件系统有限公司 用于iptv监管的视频内容分析方法及设备
CN104301614B (zh) * 2014-10-17 2017-12-29 北京智谷睿拓技术服务有限公司 运动摄影过程中拍摄的方法和装置
WO2016157406A1 (ja) * 2015-03-31 2016-10-06 日立マクセル株式会社 画像取得装置および画像ファイル生成方法ならびに画像ファイル生成プログラム
CN105740432A (zh) * 2016-01-29 2016-07-06 上海摩软通讯技术有限公司 图片生成方法及模块、图片搜索方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61262986A (en) * 1985-05-17 1986-11-20 Fujitsu Ltd Producing device for seeming dictionary of cube
JPH10267671A (ja) * 1997-03-27 1998-10-09 Nippon Telegr & Teleph Corp <Ntt> 景観ラベリング装置およびシステム
JPH1186035A (ja) * 1997-07-11 1999-03-30 Nippon Telegr & Teleph Corp <Ntt> 距離参照型景観ラベリング装置およびシステム
JP2001229382A (ja) * 2000-02-17 2001-08-24 Nippon Telegr & Teleph Corp <Ntt> 情報蓄積装置,情報検索装置および情報蓄積方法,情報検索方法並びにこれらの方法を記録した記録媒体

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61262986A (en) * 1985-05-17 1986-11-20 Fujitsu Ltd Producing device for seeming dictionary of cube
JPH10267671A (ja) * 1997-03-27 1998-10-09 Nippon Telegr & Teleph Corp <Ntt> 景観ラベリング装置およびシステム
JPH1186035A (ja) * 1997-07-11 1999-03-30 Nippon Telegr & Teleph Corp <Ntt> 距離参照型景観ラベリング装置およびシステム
JP2001229382A (ja) * 2000-02-17 2001-08-24 Nippon Telegr & Teleph Corp <Ntt> 情報蓄積装置,情報検索装置および情報蓄積方法,情報検索方法並びにこれらの方法を記録した記録媒体

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2421653A (en) * 2004-12-24 2006-06-28 Trek Wireless Ltd System for the collection and association of image and position data
JPWO2006103744A1 (ja) * 2005-03-29 2008-09-04 富士通株式会社 映像検索装置
JP4601666B2 (ja) * 2005-03-29 2010-12-22 富士通株式会社 映像検索装置
JP2006338214A (ja) * 2005-06-01 2006-12-14 Sony Corp 画像処理装置、携帯型画像処理装置、印刷装置、インデックス画像示方法及びプログラム
JP2007148677A (ja) * 2005-11-25 2007-06-14 Canon Inc 画像処理装置、画像処理方法
JP4757001B2 (ja) * 2005-11-25 2011-08-24 キヤノン株式会社 画像処理装置、画像処理方法
US8077976B2 (en) 2005-11-25 2011-12-13 Canon Kabushiki Kaisha Image search apparatus and image search method
EP2016569A1 (en) * 2006-04-27 2009-01-21 Thinkware Systems Corporation Method for providing navigation background information and navigation system using the same
EP2016569A4 (en) * 2006-04-27 2011-06-29 Thinkware Systems Corp Method for providing navigation background information and navigation system using the same
WO2007126199A1 (en) 2006-04-27 2007-11-08 Thinkware Systems Corporation Method for providing navigation background information and navigation system using the same
US7916184B2 (en) 2006-05-02 2011-03-29 Canon Kabushiki Kaisha Moving image processing apparatus and method for acquiring moving image data and performing display control
JP2009017540A (ja) * 2007-05-31 2009-01-22 Panasonic Corp 画像撮影装置、付加情報提供サーバ及び付加情報フィルタリングシステム
WO2008149537A1 (ja) * 2007-05-31 2008-12-11 Panasonic Corporation 画像撮影装置、付加情報提供サーバ及び付加情報フィルタリングシステム
US8264584B2 (en) 2007-05-31 2012-09-11 Panasonic Corporation Image capturing apparatus, additional information providing server, and additional information filtering system
US8423485B2 (en) 2007-09-14 2013-04-16 The University Of Tokyo Correspondence learning apparatus and method and correspondence learning program, annotation apparatus and method and annotation program, and retrieval apparatus and method and retrieval program
CN101350103B (zh) 2008-08-05 2011-11-16 深圳市蓝韵实业有限公司 一种医学图像多元化分组留痕信息的实现方法
JP2012507761A (ja) * 2008-09-02 2012-03-29 エコール ポリテクニーク フェデラル ドゥ ローザンヌ(エーペーエフエル) ポータブル・デバイス上での画像アノテーション
KR20110066133A (ko) * 2008-09-02 2011-06-16 에꼴 뽈리떼끄닉 뻬데랄 드 로잔느 (으뻬에프엘) 휴대용 디바이스 상의 이미지 주석
KR101661269B1 (ko) 2008-09-02 2016-09-29 에꼴 뽈리떼끄닉 뻬데랄 드 로잔느 (으뻬에프엘) 휴대용 디바이스 상의 이미지 주석
KR100975128B1 (ko) * 2010-01-11 2010-08-11 (주)올라웍스 뷰잉 프러스텀을 이용하여 객체에 대한 정보를 제공하기 위한 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체
JP2013517568A (ja) * 2010-01-12 2013-05-16 クアルコム,インコーポレイテッド ディスプレイを使用した通信のためのターゲットオブジェクトの選択
JP2011257865A (ja) * 2010-06-07 2011-12-22 Ntt Docomo Inc オブジェクト表示装置及びオブジェクト表示方法
JP2012043435A (ja) * 2010-08-18 2012-03-01 Pantech Co Ltd 拡張現実サービスの共有方法並びに拡張現実サービスを共有するために用いるユーザ端末、遠隔端末及びシステム
JP2012103743A (ja) * 2010-11-05 2012-05-31 Nippon Telegr & Teleph Corp <Ntt> 仮想情報付与装置及び仮想情報付与プログラム
US8903225B2 (en) 2011-04-26 2014-12-02 Kabushiki Kaisha Toshiba Video editing device, video editing method, program, and medium in which the program is recorded
JP2013054661A (ja) * 2011-09-06 2013-03-21 Nec Biglobe Ltd 情報表示システム、情報表示方法、及び情報表示用プログラム
WO2013035758A1 (ja) * 2011-09-06 2013-03-14 Necビッグローブ株式会社 情報表示システム、情報表示方法、及び記憶媒体
US9459706B2 (en) 2011-09-06 2016-10-04 Biglobe, Inc. Information display system, information display method, and recording medium
JP2015082245A (ja) * 2013-10-23 2015-04-27 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム

Also Published As

Publication number Publication date Type
JP4488233B2 (ja) 2010-06-23 grant
KR100743485B1 (ko) 2007-07-30 grant
JPWO2004095374A1 (ja) 2006-07-13 application
EP1622081A1 (en) 2006-02-01 application
CN1777916A (zh) 2006-05-24 application
KR20060004678A (ko) 2006-01-12 application
CN100371952C (zh) 2008-02-27 grant

Similar Documents

Publication Publication Date Title
Snavely et al. Finding paths through the world's photos
Hu et al. Approaches to large-scale urban modeling
US5073819A (en) Computer assisted video surveying and method thereof
US6587601B1 (en) Method and apparatus for performing geo-spatial registration using a Euclidean representation
US4970666A (en) Computerized video imaging system for creating a realistic depiction of a simulated object in an actual environment
US7343268B2 (en) Three-dimensional electronic map data creation method
Kumar et al. Registration of video to geo-referenced imagery
US7233691B2 (en) Any aspect passive volumetric image processing method
US7509241B2 (en) Method and apparatus for automatically generating a site model
KR100473331B1 (ko) 이동식 매핑시스템 및 그 영상처리방법
US20120155744A1 (en) Image generation method
US20090161963A1 (en) Method. apparatus and computer program product for utilizing real-world affordances of objects in audio-visual media data to determine interactions with the annotations to the objects
US20090208095A1 (en) Site modeling using image data fusion
US6914599B1 (en) Image processing apparatus
US20100283853A1 (en) Method and Apparatus of Taking Aerial Surveys
US7873238B2 (en) Mosaic oblique images and methods of making and using same
US20100215250A1 (en) System and method of indicating transition between street level images
US20040095385A1 (en) System and method for embodying virtual reality
US6208353B1 (en) Automated cartographic annotation of digital images
US20020061132A1 (en) Stereo image processing apparatus and method of processing stereo image
US20090153549A1 (en) System and method for producing multi-angle views of an object-of-interest from images in an image dataset
US20100296705A1 (en) Method of and arrangement for mapping range sensor data on image sensor data
US20090110239A1 (en) System and method for revealing occluded objects in an image dataset
JP2006053694A (ja) 空間シミュレータ、空間シミュレート方法、空間シミュレートプログラム、記録媒体
US20060078215A1 (en) Image processing based on direction of gravity

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): BW GH GM KE LS MW MZ SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 10553431

Country of ref document: US

Ref document number: 2006195858

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2004727725

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 1020057019931

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 2005505722

Country of ref document: JP

Ref document number: 20048107785

Country of ref document: CN

WWP Wipo information: published in national office

Ref document number: 1020057019931

Country of ref document: KR

WWP Wipo information: published in national office

Ref document number: 2004727725

Country of ref document: EP

DPEN Request for preliminary examination filed prior to expiration of 19th month from priority date (pct application filed from 20040101)
WWP Wipo information: published in national office

Ref document number: 10553431

Country of ref document: US