JP2813722B2 - スケッチによる画像検索方式 - Google Patents

スケッチによる画像検索方式

Info

Publication number
JP2813722B2
JP2813722B2 JP3032310A JP3231091A JP2813722B2 JP 2813722 B2 JP2813722 B2 JP 2813722B2 JP 3032310 A JP3032310 A JP 3032310A JP 3231091 A JP3231091 A JP 3231091A JP 2813722 B2 JP2813722 B2 JP 2813722B2
Authority
JP
Japan
Prior art keywords
index
image
shape
sketch
function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP3032310A
Other languages
English (en)
Other versions
JPH04246772A (ja
Inventor
力 堀越
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP3032310A priority Critical patent/JP2813722B2/ja
Publication of JPH04246772A publication Critical patent/JPH04246772A/ja
Application granted granted Critical
Publication of JP2813722B2 publication Critical patent/JP2813722B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、画像データベースの輪
郭形状スケッチによる検索方式に関するものである。
【従来の技術】
【0002】従来、画像データベースの検索方式として
は、意図した形状をキーワードあるいは言葉により入力
して検索する方式、あるいは類似画像提示による検索と
いった方式が知られている。
【0003】
【発明が解決しようとする課題】従来技術において、形
状を言葉で表現する場合は、1つの形状に関しても様々
な表現方法があるため、言葉による検索を可能にするた
めには、あらゆる形状に関するあらゆる表現の辞書を作
成する必要があり、かなり困難であった。また、複雑な
形状を正確に言葉で表現することは、それ自体かなり困
難である。また、キーワードによる検索を行なう場合で
も、限定されたキーワードを使って意図した形状を表わ
すには、かなりの熟練を要した。さらに、類似画像提示
による検索の場合は、入力された画像から形状に関する
情報を取り出すことにかなりの画像処理技術が必要であ
り、また、取り出された形状をもとに部分形状による検
索を行いたい場合に、どの部分の形状に注目して検索を
行なうかを指定する事ができないといった問題点あっ
た。なお、類似画像としてスケッチで提示する検索方式
もあるが、従来は、全体形状による検索は可能である
が、部分形状による検索はできなかった。
【0004】本発明は、かかる問題点を解決するために
なされたものであり、言葉等で表現することが困難な立
体形状等でも、スケッチにより検索したい形状の部分形
状を輪郭で示すことにより検索できるようにすることを
目的とする。
【0005】
【課題を解決するための手段】上記目的を達成するため
に、本発明は、関数による形状表現を用いて画像構造物
に対するインデックスが付与してある画像蓄積部を具備
すると共に、画像にインデックスを重畳して表示する手
段と、輪郭形状のスケッチを入力する手段と、前記入力
されたスケッチと前記表示されている画像のインデック
スとの相関をとって、該インデックスの関数をスケッチ
に近似する手段と、前記近似により変更されたインデッ
クスの値に近いインデックスの付与された画像を前記画
像蓄積部から取り出す手段とを設けたことを特徴とす
る。
【0006】
【作用】最初に類似画像にインデックスが重畳して表示
されるので、画像構造物のどの部分がどのようなインデ
ックスとして記述されているかがわかり、ユーザは、表
示されているインデックスを変形させるために検索した
い形状をインデックスの新しい輪郭として画像上にスケ
ッチする。すると、そのスケッチの輪郭の座標データを
検出し、その座標データの位置からどのインデックスに
対する形状をスケッチしたかを検出し、スケッチした部
分に相当するインデックスとなっている関数をスケッチ
に近似させる。この近似により得られた関数パラメータ
に近い値のインデックスをもつ画像を画像蓄積部から取
りだすことにより、スケッチした形状に近い画像構造物
を検索することができる。
【0007】
【実施例】以下、本発明の一実施例について説明する。
なお、本実施例では超二次関数を用いて、三次元形状の
インデックスを付与した画像データベースの検索例を示
す。
【0008】超二次関数は以下の数1で示され、ε1は
横から見た形状を表すパラメータであり、ε2は上から
見た形状を表すパラメータである。また、a1、a2、
a3は、x、、y、z各軸方向の大きさを表すスケール
パラメータである。なお、ωは緯度方向の角度、ηは経
度方向の角度を示す。
【数1】 x=a1cosε1(ω)cosε2(η) y=a2cosε1(ω)sinε2(η) z=a3sinε2(ω)
【0009】ここで、パラメータε1、ε2、a1、a
2、a3を変化させることで、円筒形、立方体、球など
さまざまな形状を表現することができる。実施例では、
インデックスとして、この関数のパラメータε1、ε
2、a1、a2、a3と、画像構造物を写している投影
面の座標系に超二次関数の座標系を変換するための変換
マトリックスMも同様にインデックスとして付与するこ
ととし、検索対象画像としてコーヒーカップの画像を用
いた例で説明する。
【0010】図1は、本発明に係わる画像検索方式を実
現する装置構成の一実施例のブロック図である。1は画
像及びインデックスを蓄積する蓄積部、2は画像及びイ
ンデックを表示するオーバレイ画面を有する画像表示部
である。3は表示部2において、輪郭形状のスケッチを
描くためのライトペン、4はライトペン3を制御するた
めの制御装置であり、ライトペン3により入力された座
標データは、ライトペン制御装置4から制御部5へ入力
される。制御部5は、例えばマイクロプロセッサからな
り、一般には図示しないメモリに書き込まれている制御
プログラムに従いデータ処理を行うものである。該制御
部5は機能上、座標位置検出手段50、インデックス読
出手段51、二次元投影手段52、相関計算手段53、
関数近似手段54、インデックス比較手段55及び画像
並べ変え手段56からなる。
【0011】図2は図1の動作を説明するためのフロー
チャートであり、以下、これに従って本発明による画像
検索の一手順を説明する。
【0012】表示部2の画面構成例を図3に示す。図3
において、10、11、12、13、14、は検索され
た候補画像を表示するためのウインドウであり、15は
候補画像の中で第1番目に選ばれた画像および、そのイ
ンデックスが表示されるウインドウである。16は検索
を指示するボタン、17はスケッチを描くことを指示す
るボタンを示している。
【0013】インデックスの表示 初め、表示部2のウインドウ15には、図4に示すよう
なコーヒーカップのインデックスの基本形状が表示され
ている。本体40と取っ手41は別の超二次関数で記述
されている。また、取っ手41を記述している超二次関
数の左半分は、本体40の中に埋め込まれた形になって
いる。
【0014】画像構造物とインデックスの表示 ユーザはライトペン3を用いて、表示部2上の検索ボタ
ン16を指示する。ライトペン制御装置4では、指示し
た座標点を検出し、座標位置検出手段50に転送する。
座標位置検出手段50では、入力された座標から、検索
ボタン16が指示されたことを検出し、インデックス読
出手段51とインデックス比較手段53に指示を出す。
インデックス読出手段51は蓄積部1に蓄積されている
画像のインデックスを読み出す。この時、同時に読み出
された画像は画像並べ変え手段56に送られる。インデ
ックス比較手段53では、現在ウインドウ15に表示さ
れているインデックスのパラメータ値と、蓄積部1から
読み出された画像のインデックスとの値を比較する。つ
まり、両パラメータ値の差を距離として計算する。計算
された各画像の距離は、画像並べ変え手段54に送ら
れ、蓄積部1から読み出された画像が距離の小さい順番
に並べ変えられる。そして、距離の最も小さい画像がウ
インドウ15に表示され、2番目以降の画像がウインド
ウ10〜14に表示される。
【0015】ユーザが、少し形状の異なるカップを検出
したい場合は、まずライトベン3により、表示部2上の
ボタン17を指示する。指示された座標値は、ライトペ
ン制御装置4より座標位置検出手段50に送られ、座標
点の位置から、ボタン17が選択されたことを検出す
る。そして、座標位置検出手段50では、インデックス
表示手段51に指令を送り、インデックス読出手段51
では、現在ウインドウ15に表示されている画像のイン
デックスを蓄積部1から読みだし、変換マトリックスM
を用いて、ウインドウ15のオーバレイ画面に表示する
ことで、画像構造物とインデックスを重畳させる。図5
の42は、検索されたコーヒカップの画像であり、43
は、その画像に付与されているインデックスをオーバレ
イに表示したときの形状を示しており、実際はこの42
と43が重畳されて、44の様に、インデックスが重畳
された部分は、画像の色が少し変化して表示される。
【0016】スケッチ入力 次に、ウインドウ15上において、ライトペン3を用い
て、形状を変えたい部分の輪郭を図6に示すようにスケ
ッチする。図6では、カップ本体の上の輪郭が円形では
なく、四角い形状のカップに変形されたスケッチ(図6
の60)をした例を示している。
【0017】スケッチされたデータは、座標位置検出手
段50に送られ、ウインドウ15に表示している各イン
デックスとスケッチされた座標データ列の位置関係を調
べる。
【0018】二次元投影 まず、二次元投影手段52に指示を送り、三次元のイン
デックスの上面の輪郭形状(超二次関数のxy平面の断
面形状の相当)、側面の輪郭形状(超二次関数のz軸を
含む平面での断面形状に相当)を別々にオーバレイ平面
上に透視投影したときの輪郭形状を取り出す。つまり、
それぞれの断面形状をオーバレイ平面上に透視投影す
る。図7の71、72は本体上面及び側面部分の輪郭、
73、74は取っ手上面及び側面部分の輪郭が取り出さ
れた例である。取り出された輪郭データから、画像が表
示されている座標系での座標データ(オーバレイ上の座
標データ)が求められ、この座標データは相関計算手段
53に送られる。
【0019】相関計算 相関計算手段53では、取り出された輪郭形状の座標デ
ータとスケッチの座標データ間の相関をとる。図7の7
5は、カップ本体のインデックス上面の輪郭との相関、
76はカ疾伎旦般インデックスの側面輪郭との相関、7
7はカップ取っ手の上面輪郭との相関、78はカップ取
っ手のインデックスの側面輪郭との相関を、それぞれウ
インドウ15の画面上(透視画面上)での座標値の相関
を計算している例である。そして、相関の最も大きい輪
郭形状部分が、スケッチの意味する形状だと判断する
(図7の75)。図6のスケッチの場合、カップの本体
部分の上側の輪郭71との相関が最も大きくなり、スケ
ッチがカップの上面の形状であると判断される。
【0020】座標データの座標変換及び関数近似 スケッチされた座標データ列は、関数近似手段54に送
られる。まず、相関計算手段53によりスケッチ形状は
カップの上面の形状であることが検出されているから、
入力されたスケッチの形状は、検索しようとしているカ
ップを真上から見た形状を、変換マトリックスMにより
変換した結果の形状に相当する。そのため、関数近似手
段54では、スケッチの座標データに、マトリックス1
/Mにより逆変換を施し、xy平面上での座標データを
求める。図8の80は入力されたスケッチであり、81
はマトリックス1/Mにより逆変換され、xy平面上
(真上から見た面)でのスケッチデータである。そし
て、変換されたスケッチの座標データに対して、二次元
の超二次関数つまり、次の数2が近似される。
【数2】 x=a3cosε(η) x=a4sinε(η)
【0021】上記数2が近似された結果を図8の82に
示す。83はスケッチを示し、84の太い線が近似され
た関数の形状である。
【0022】パラメータ比較及び検索 近似により得られた関数のパラメータ(a3、a4、
ε)は、本体部分の上面の形状であることから、インデ
ックスである超二次関数のパラメータ(a1、a2、ε
1)とそれぞれ比較され、この3つのパラメータ以外
は、表示されている画像の、スケッチにより変更されて
いないインデックスの値をもとに、スケッチから得られ
たパラメータ値と蓄積部1から読み出される画像のイン
デックスの値との距離が、インデックス比較手段55に
より計算される。そして、計算された距離をもとに、画
像並べ変え手段56により、画像が距離の小さい順に並
べ変えられ、表示部2に画像が表示される。つまり、図
9に示したような口の部分が四角形に近いコーヒーカッ
プが検索される。
【0023】尚、本発明は上記実施例に限るわけではな
い。例えば、超二次関数による三次元形状の検索例を示
したが、超二次関数である必要もなく、三次元である必
要もない。本実施例を二次元形状へ応用する事は容易で
あり、関数としても、三次元形状(あるいは二次元形
状)を表現できる関数であれば本発明への適用は可能で
あり、特定はされない。
【0024】また、実施例では、1部分のスケッチによ
る形状指示を行っているが、同時に複数の部分のスケッ
チを描く事も可能であり、さらに、全体形状を指示する
場合は、全体の輪郭のスケッチを入力することで検索を
行うことができる。
【0025】また、実施例では、インデックスの側面及
び上面のみをスケッチと比較して、スケッチの位置を判
別しているが、更に右側面、左側面、底面などとも比較
する事も考えられ、特定はされない。
【0026】
【発明の効果】以上のように本発明によれば、検索した
い形状を画像の上でスケッチにより指示するだけで検索
を行うことができ、形状を言葉あるいはキーワードで記
述する必要が無く、形状の指示が容易になるといった効
果がある。また、既に検索された画像をもとに、部分形
状をスケッチで指示することで、部分形状による検索に
優れた効果を奏する。また、本発明では、画像とインデ
ックスを同時に表示することにより、画像構造物のどの
部分がインデックスとして付与されているかを容易に判
断することができるという効果がある。
【0027】さらに、本発明のスケッチによりインデッ
クスを変形する手法は、三次元モデリングの形状操作に
も応用可能である。
【図面の簡単な説明】
【図1】本発明の一実施例の装置構成を示す図である。
【図2】図1の動作を説明するためのフローチャートで
ある。
【図3】表示部2の画面構成例である。
【図4】コーヒーカップのインデックスのデフォルトの
形を示したものである。
【図5】画像とインデックスを同時に表示した例であ
る。
【図6】スケッチの例である。
【図7】インデックスの各上面、側面の形状の例であ
る。
【図8】スケッチに対して関数を近似した例を示す説明
図である。
【図9】検索されたコーヒーカップである。
【符号の説明】
1 画像・インデックス蓄積部 2 画像・インデックス表示部 3 ライトペン 4 ライトペン制御装置 5 制御部 50 座標位置検出手段 51 インデックス読出手段 52 二次元投影手段 53 相関計算手段 54 関数近似手段 55 インデックス比較手段 56 画像並べ変え手段
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平1−211082(JP,A) 特開 昭63−317882(JP,A) 特開 昭60−83179(JP,A) 笠原久嗣,岸本登美夫,「画像データ ベースと視考支援環境」,情報処理学会 研究報告 VOL.89,NO.102,P P.1−8 (平成元年12月1日) 堀越力,笠原久嗣,「超2次関数によ る3次元形状インデクシング」,電子情 報通信学会論文誌 VOL.J73−D− 2,NO.10,PP.1716−1724 (平 成2年10月25日)

Claims (1)

    (57)【特許請求の範囲】
  1. 【請求項1】 関数による形状表現を用いて画像構造物
    に対するインデックスが付与してある画像蓄積部を具備
    する画像データベースにおいて、画像にインデックスを
    重畳して表示する手段と、輪郭形状のスケッチを入力す
    る手段と、前記入力されたスケッチと前記表示されてい
    る画像のインデックスとの相関をとって該インデックス
    の関数をスケッチに近似する手段と、前記近似により変
    更されたインデックスの値に近いインデックスの付与さ
    れた画像を前記画像蓄積部から取り出す手段とを有する
    ことを特徴とするスケッチによる画像検索方式。
JP3032310A 1991-02-01 1991-02-01 スケッチによる画像検索方式 Expired - Fee Related JP2813722B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP3032310A JP2813722B2 (ja) 1991-02-01 1991-02-01 スケッチによる画像検索方式

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP3032310A JP2813722B2 (ja) 1991-02-01 1991-02-01 スケッチによる画像検索方式

Publications (2)

Publication Number Publication Date
JPH04246772A JPH04246772A (ja) 1992-09-02
JP2813722B2 true JP2813722B2 (ja) 1998-10-22

Family

ID=12355370

Family Applications (1)

Application Number Title Priority Date Filing Date
JP3032310A Expired - Fee Related JP2813722B2 (ja) 1991-02-01 1991-02-01 スケッチによる画像検索方式

Country Status (1)

Country Link
JP (1) JP2813722B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07271810A (ja) * 1994-03-30 1995-10-20 Hitachi Software Eng Co Ltd 図形部品情報検索方法
JPH07302271A (ja) * 1994-05-10 1995-11-14 Nippon Telegr & Teleph Corp <Ntt> 合成顔検索装置
WO2004068300A2 (en) 2003-01-25 2004-08-12 Purdue Research Foundation Methods, systems, and data structures for performing searches on three dimensional objects
JP2008102594A (ja) * 2006-10-17 2008-05-01 Fujitsu Ltd コンテンツの検索方法及び検索装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
堀越力,笠原久嗣,「超2次関数による3次元形状インデクシング」,電子情報通信学会論文誌 VOL.J73−D−2,NO.10,PP.1716−1724 (平成2年10月25日)
笠原久嗣,岸本登美夫,「画像データベースと視考支援環境」,情報処理学会研究報告 VOL.89,NO.102,PP.1−8 (平成元年12月1日)

Also Published As

Publication number Publication date
JPH04246772A (ja) 1992-09-02

Similar Documents

Publication Publication Date Title
JP5799521B2 (ja) 情報処理装置、オーサリング方法及びプログラム
JP3857328B2 (ja) ディスプレイ編集システム
JP7337104B2 (ja) 拡張現実によるモデル動画多平面インタラクション方法、装置、デバイス及び記憶媒体
CN109297510A (zh) 相对位姿标定方法、装置、设备及介质
US9317945B2 (en) Detail-in-context lenses for navigation
CN101300459B (zh) 信息显示装置
Helpke State-of-the-art of digital photogrammetric workstations for topographic applications
JP4768196B2 (ja) 3次元モデリングを行うことなく画像処理によってターゲットを指し示す装置及びその方法
CN108303994B (zh) 面向无人机的群控交互方法
Schmalstieg et al. The world as a user interface: Augmented reality for ubiquitous computing
AU2013401486A1 (en) Method for representing points of interest in a view of a real environment on a mobile device and mobile device therefor
US6943792B2 (en) Three-dimensional data generating device
JP2009278456A (ja) 映像表示装置
US8543902B2 (en) Converting a drawing into multiple matrices
JP4137923B2 (ja) 画像表示方法および装置
JP2813722B2 (ja) スケッチによる画像検索方式
CN107481306B (zh) 一种三维交互的方法
JP4703744B2 (ja) コンテンツ表現制御装置、コンテンツ表現制御システム、コンテンツ表現制御用基準物体およびコンテンツ表現制御プログラム
KR102388715B1 (ko) 문화유적복원 실감 장치
Cheliotis et al. A classification of augmented reality approaches for spatial data visualization
JP4330637B2 (ja) 携帯機器
JPH0916315A (ja) 情報検索システム
JP2005284882A (ja) コンテンツ表現制御装置、コンテンツ表現制御システム、コンテンツ表現制御用基準物体、コンテンツ表現制御方法、コンテンツ表現制御プログラム、およびコンテンツ表現制御プログラムを記録した記録媒体
Asiminidis Augmented and Virtual Reality: Extensive Review
RU2779812C1 (ru) Способ определения местоположения пользователя при ориентировании на местности в интерактивном режиме в условиях отсутствия связи для передачи цифровых данных

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20070814

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080814

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080814

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090814

Year of fee payment: 11

LAPS Cancellation because of no payment of annual fees