JP5207551B2 - 描画支援装置,描画支援方法および描画支援プログラム - Google Patents

描画支援装置,描画支援方法および描画支援プログラム Download PDF

Info

Publication number
JP5207551B2
JP5207551B2 JP2009143005A JP2009143005A JP5207551B2 JP 5207551 B2 JP5207551 B2 JP 5207551B2 JP 2009143005 A JP2009143005 A JP 2009143005A JP 2009143005 A JP2009143005 A JP 2009143005A JP 5207551 B2 JP5207551 B2 JP 5207551B2
Authority
JP
Japan
Prior art keywords
image
similarity
drawing support
user
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009143005A
Other languages
English (en)
Other versions
JP2011002875A (ja
Inventor
豪 入江
隆 佐藤
浩太 日高
明 小島
清晴 相澤
俊彦 山崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2009143005A priority Critical patent/JP5207551B2/ja
Publication of JP2011002875A publication Critical patent/JP2011002875A/ja
Application granted granted Critical
Publication of JP5207551B2 publication Critical patent/JP5207551B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)

Description

この発明は,高度な描画技術を持たず,また“絵心”もない人物であっても,簡単に高度に写実的な描画を行うことができるコンピュータを用いた描画支援技術に関するものである。
「上手に絵を描きたい」という欲求は普遍的なものである。しかしながら,これは簡単なことではない。特に,高度に写実的な絵を描くには高い技術を必要とし,一部の限られた人物にしか達成することはできない。
現在,PC(Personal Computer) 上で描画するという行為は当然のように行われている。この背景には,PC上で動作する描画支援ソフトの普及がある。単純な機能を備えたものとしては,OS(Operating System)であるWindows(登録商標)にプリインストールされている「ペイント」があり,これによりマウスなどのポインティングデバイスを用いて描画を行うことができる。より高度なものとしては,Adobe社の「Illustrator(登録商標)」が有名である。
このようなソフトウェアに備わっている描画支援機能は多岐にわたり,例えば「円形」や「楕円」など,簡易な図形を簡単に描写する,あるいは,特定の領域を「塗りつぶす」といった単純なものから,層状に描画を重ねる「レイヤー」や,図形を曲げる「変形」,もしくは画像の色調やコントラストを自在に制御する「画像フィルタ」などといった,扱いの難しい高度なものまで存在する。
また,下記の非特許文献1では,感性語と,あらかじめ用意された描画の特徴(図形の形状や色,構図)を関連づけ,ユーザが希望する描画の情報を感性語として表現して入力するだけで,関連付けられた描画を提示する技術とユーザインタフェースについて開示されている。
デジタルな画像といえば,絵画のみではなく,写真も代表的なものとして認識されている。このような絵画や写真を公開したり,共有したりするプラットフォームも整備されている。例えば,「Flickr(登録商標)」(http://www.flickr.com )と呼ばれるWeb上の画像共有サイトでは,日に200万近い画像がアップロードされ続けているといわれており,成長する“超巨大な画像データベース”を形成している。「Flickr」に公開されている画像の多くは,写真である。その“超巨大な画像データベース”の中には,世界中のあらゆる物体(オブジェクト)の画像が納められているといっても過言ではない。
また,「Flickr」を代表とする画像共有サイトでは,「クリエイティブ・コモンズ」という制度の導入も進んでいる。「クリエイティブ・コモンズ」とは,画像の公開者が,その著作権を部分的にリリースすることを宣言するための規格である。代表的なものは,改変を許諾するものであり,これが許されている画像は,一部を切出して転用するなど,素材としての利用が可能となる。このように,他人が撮影した写真や,描いた絵画などのデジタル画像から,適切なものを選んで部分的に転用し,新たな画像を作成するといった,新しい創造を実現する基盤は,既に整いつつある。
市野順子,田野俊一,"デザイン描画を支援するユーザインタフェース",電子情報通信学会論文誌D−II,Vol.J82−D−II,No.10,pp.1693−1709,1999.
前述した「Illustrator」を代表として,多数ある描画支援ソフトに備わる高度な機能を使いこなすには,ユーザにも高度な技術と“絵心”が必要なことに変わりはない。すなわち,高度な技術と“絵心”がないユーザには,これらの機能を効果的に使いこなすのは難しく,その結果,誰もが簡単に「高度に写実的な絵」を描くことはできなかった。
また,非特許文献1に記載の技術では,感性語さえ入力すれば,一定のデザイン描画を作成することができるものの,あらかじめ感性語とデザインを構成する図形の形状,色,構図とを関連づけておかなければならなかった。また,最終的に提示されるデザインはあらかじめ準備された単純なパターンであり,ユーザが希望する任意の描画を作成することはできなかった。以上の2点から,利用のための障壁が非常に高かった。
本発明は,上記課題を鑑みてなされたものであって,その目的とするところは,高度な描画技術を持たず,また十分な“絵心”もない人物であっても,簡単に高度に写実的な描画を行うことのできる手段を提供することにある。
本発明は,前記課題を解決するため,ユーザが描画した図形の大まかな形状をもとに類似する既存の画像コンテンツを検索し,ユーザが描画した図形部分に当てはめて一つの絵に合成する処理を行うことを主要な特徴とする。類似画像の検索等については既存の要素技術を用いることができる。このように本発明は,類似画像をユーザが描画した図形部分に当てはめて一つの絵に合成する処理手段を備えることにより,ユーザは大まかな形状を描くだけで写実的な絵を簡単に描画することができるようになる。
詳しくは本発明は,コンピュータによる図の描画を支援する描画支援装置であって,画像のオブジェクトが格納されたオブジェクトデータベースと,オブジェクト抽出対象となる画像が格納された画像データベース中の画像をオブジェクト毎に分割して抽出し,さらに,抽出した画像を領域分割し,領域毎に画像中の目の引きやすさを推定する所定の方法によってピクセル毎に算出された顕著性度合いを求め,その顕著性度合いの平均値が相対的に高い領域を不要オブジェクトとし,前記抽出した画像から不要オブジェクトを削除して前記オブジェクトデータベースに格納するオブジェクト抽出部と,ユーザが描画した図形の概形をクエリとして,前記オブジェクトデータベースへの問合せを行うオブジェクト問合せ部と,前記クエリと前記オブジェクトデータベース内の一つ以上のオブジェクトとの類似度を計算する類似度計算部と,前記計算された類似度の高いオブジェクトを,前記ユーザが描画した図形の概形の該当する位置または指定された位置に対応づけて図として合成し,加工する加工部と,前記ユーザが描画した図形の概形を入出力装置から入力するとともに,前記計算された類似度の高いオブジェクトまたは前記加工部により合成した図を入出力装置へ出力する入出力制御部とを備えることを特徴とする。
また,上記発明において,前記類似度計算部が,前記クエリと,前記オブジェクトデータベース内の一つ以上のオブジェクトとの,形状類似度,色情報類似度のうち少なくとも一つに基づいて,類似度を計算することを特徴とする。
また,上記発明において,前記オブジェクト抽出部が,さらに,画像データ周辺のテキスト情報に基づいてオブジェクトの名称を決定し,前記入出力制御部が,前記類似度計算部によって計算された類似度,および,ユーザが入力したキーワードと,前記オブジェクトデータベース内の一つ以上のオブジェクトの名称との一致度に基づいて,出力するオブジェクトを選択することを特徴とする。
また,本発明における描画支援プログラムは,前記描画支援装置の処理をコンピュータで読み取り可能なプログラムとして記述したことを特徴とする。
本発明によれば,ユーザは,描きたいオブジェクトの概形を図形として描画するだけで,その概形に類似するオブジェクトを,実際の画像データベースに格納されている絵画,写真などの画像内から抽出し,該当する図形の位置に貼り付け,加工することによって,簡単に高度に写実的な絵を描画することのできる描画支援装置を実現できる。これにより,“絵心”もない人物であっても,簡単に高度に写実的な描画を行うことができる。
本発明による描画支援の概要を説明する図である。 描画支援装置の基本構成の一例を示す図である。 オブジェクトの概形抽出の一例を示す図である。 描画支援処理の一例を示す図である。 描画画面の一例を示す図である。 背景抽出対象画像の一例を示す図である。 背景抽出結果の一例を示す図である。
図1は,本発明による描画支援の概要を説明する図である。本発明の実施形態を説明するに先立ち,図1に従って本発明を用いた描画の例を簡単に説明する。
まず,ユーザは,図1(A)に示すように,ディスプレイ画面にユーザが描きたい絵の下書きを書く。描画支援装置は,図1(B)に示すように,Flickrなどの画像データベースや画像のオブジェクトが格納されたオブジェクトデータベースから,スケッチ画像検索システム(Query-by-Sketch) などによりユーザが書いた描画の形状に近いオブジェクトを抽出,検索する。この検索では,ユーザが用いた色情報やユーザが指定したキーワードなどを併用してもよい。
次に,描画支援装置は,図1(C)に示すように,検索したオブジェクトをユーザが下書きを描画した部分に対応する位置に配置し,表示する。ユーザは,必要に応じて以上の操作を繰り返したり,オブジェクトの位置を変更したりすることもできる。
その後,描画支援装置は,図1(D)に示すように,ユーザの背景指定やポアソン画像合成(Poisson blending)などにより,違和感のない1枚の画像に仕上げ,結果を出力する。
以下,以上の描画を実現する本発明の実施形態を詳細に説明する。図2に,本発明の実施形態による描画支援装置の基本構成の一例を示す。
このシステムでは,サーバ10とユーザが利用する端末であるPC(パーソナルコンピュータ)20とが通信網21を介して接続されている。
サーバ10は,CPU,メモリ,外部記憶装置その他のハードウェアと描画支援のためのソフトウェアプログラム等から構成され,これらによって実現される画像データベース11,オブジェクトデータベース12,オブジェクト抽出部13,オブジェクト問合せ部14,類似度計算部15,入出力制御部16,加工部17を備えている。
なお,本発明に係る描画支援装置は,図2に示すような構成に限られるわけではなく,例えば画像データベース11,もしくはさらにオブジェクトデータベース12が通信網21を介して接続されるようなものであってもよく,また,サーバ10を持たず,PC20が図2に示すサーバ10内の各部の処理機能を備えるような構成でもよい。また,サーバ10内の処理機能の一部(例えばオブジェクト問合せ部14,加工部17等)を,PC20内に実装するようにしてもよい。
画像データベース11には,画像データが格納されているものとする。この画像データは,例えば,画像共有サイトに公開されている画像としてもよいし,このようなサイトから収集してきた画像データを集めたデータベースとしてもよい。後者のように,画像データを収集する場合には,例えば,一日に一定回数,定期的に収集するなどしておくと好ましい。また,クリエイティブ・コモンズ等により,改変が許諾されている画像のみを対象に収集するものとすれば,著作権を侵すことなく技術の利用が可能となる。
次に,サーバ10が実行する基本処理の一例を説明する。本装置の基本処理は,画像データベース11から画像の要素(描画対象物)であるオブジェクトを抽出し,オブジェクトデータベース12に格納するオブジェクト抽出処理と,実際にユーザが描画を行うときに描画支援を実施する描画支援処理との2種に大別される。
〔オブジェクト抽出処理〕
まず,前者のオブジェクト抽出処理の一例について詳述する。本処理は,本発明の実施形態を利用する前に,必ず一度は実施しておく必要のある処理である。原理的には一度実施すればよいが,オブジェクトデータベース12に格納されるオブジェクトを常に新しいものとするため,例えば,一日に一定回数,定期的に実施するなどとしておくことが好ましい。
この処理では,オブジェクト抽出部13が,画像データベース11内に格納されている画像データから,オブジェクトを抽出し,オブジェクトデータベース12に格納する。
オブジェクト抽出部13が行う処理の詳細について説明する。まず,画像データベース11内にある画像に納められている,オブジェクトの概形を切り出すために,領域分割手法を適用する。例えば,次の[参考文献1]に記載のグラフカットに基づく方法を適用すれば,高精度に画像の領域を分割できるため,好適である。
[参考文献1]J.Shi and J.Malik, Normalized Cuts and Image Segmentation, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.22, No.8, pp.888-905, 2000.
オブジェクトの概形抽出の一例について,図3に示す風景写真301の例を用いて説明する。図3に示すような,家が写っている風景の写真301からオブジェクトを抽出する。この写真301におけるオブジェクトとしては,家302,山303,太陽304,雲305など,さまざまなものがある。このような写真301に,[参考文献1]の方法を適用すれば,ある特定の領域の類似性と,そのほかの領域との非類似性を考慮することができ,例えば,抽出例306に示すように,家302の概形部分だけを分離して抽出することができる。そのほかのオブジェクトについても同様に,抽出することが可能である。この例のように,オブジェクト抽出部13は,抽出されたオブジェクトの一つ一つを,オブジェクトデータベース12に格納する。
このとき,必要であれば,各オブジェクトの色情報をあわせて格納しておくものとしてもよい。オブジェクトの色情報は,例えばRGBやLabなどの色ヒストグラムなど,ベクトル値として保存するものとしてもよい。あるいは,オブジェクトをいくつかの部分領域に分割し,領域ごとの色ヒストグラムを格納するものとしてもよい。
また,オブジェクトに対して名称ラベルを付与してもよい。これを得るために,画像アノテーション手法を適用する。画像アノテーション手法としては,例えば,次の[参考文献2]または[参考文献3]記載の方法などを適用すればよい。
[参考文献2]J.Jeon, V.Lavrenko, and R.Manmatha, Automatic Image Annotation and Retrieval using Cross-Media Relevance Models, Proceedings on ACM SIGIR Conference, pp.119-126, 2003.
[参考文献3]Automatic Image Annotation by Ensemble of Visual Descriptors, Proceedings on IEEE Conference on Computer Vision and Pattern Recognition, pp.17-22, 2007.
上記の手続きによって,例えば,図3の家302に,“家”といったような,オブジェクトに対する名称を与えることができる。
〔描画支援処理〕
次に,描画支援処理について詳述する。図4に,この実施形態による描画支援装置が行う描画支援処理の一例を示す。
ステップS401では,入出力制御部16が,PC20に描画画面を提示する。ステップS401で提示される描画画面は,例えば図5に示すような画面501であり,この画面の表示領域は,描画領域502,オブジェクト情報提示領域503,問合せ入出力領域504,完成図提示領域505からなる。なお,これらの表示領域を1画面内に設けてもよく,また複数の画面に分けて設けてもよい。
ステップS402では,PC20を利用するユーザが,画面501の描画領域502に,描きたいと思うオブジェクトの概形を描く。描画に用いる入力デバイスは,例えばマウスのようなポインティングデバイスなどとしてよい。図5の例では,家の概形506と,山の概形507を描いている。ユーザが描画領域502に描画したオブジェクトの概形は,通信網21を介して入出力制御部16に入力される。
ステップS403では,オブジェクト問合せ部14が,入力した情報からユーザが描いたオブジェクトの概形を抽出してクエリとし,オブジェクトデータベース12に問合せを行う。なお,クエリとは,オブジェクトデータベース12の検索用言語で記述された問合せ文もしくはその検索のキー情報である。
ステップS404では,類似度計算部15が,ステップS403のクエリと,オブジェクトデータベース12に格納されたオブジェクトの概形との類似度を計算し,これが高い値となったオブジェクトを出力する。
ここで,ステップS403〜S404の処理詳細の一例について説明する。ステップS403〜S404で行う処理は,ユーザの描画(スケッチ)をクエリとして,この概形に合ったオブジェクトを検索する処理である。このような処理を実現する手法としては,例えば,[参考文献4],あるいは[参考文献5]などの公知の方法を適用することができる。
[参考文献4]A.D.Bimbo and P.Pala, Visual Image Retrieval by Elastic Matching of User Sketches, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.19, No.2, pp.121-132, 1997.
[参考文献5]S.Berretti, A.D.Bimbo, and P.Pala, Retrieval by Shape Similarity with Perceptual Distance and Effective Indexing, IEEE Transactions on Multimedia, Vol.2, No.4, pp.225-239, 2000.
概形の類似度のみから,オブジェクトを検索する場合,検索の精度が低い場合がある。このような場合に精度を向上させるため,次のような処理を実施してもよい。
例えば,画像の色情報を含めて類似度を計算してもよい。ユーザは,描画する際に色付きで描画するものとする。この色情報と,検索対象となるオブジェクトの色情報とを比較し,これらが近いものほど類似度が高くなるようにする。類似度としては,例えば正規化した二乗平均値などを利用することもできる。前述のオブジェクト抽出処理時に,前もってオブジェクトの色情報をある形式で抽出している場合には,ユーザの描画の色情報もこれと同様の形式にすることで,検索を高速化できる。
また,前述のオブジェクト抽出処理において,オブジェクトの名称を付与した場合には,キーワードクエリを併用して検索するものとしてもよい。例えば,家のオブジェクトを検索する場合,「家」というキーワードにヒットする名称を持つオブジェクトの範囲で,ユーザが描いた図形の概形類似度の高いものを提示すれば,より精度の高いオブジェクト検索結果を得ることができる。「家」というキーワードは,問合せ入出力領域504から入力する。
さらに,ここでは上記のような特徴的なオブジェクト(家,山など)に当てはまらない背景を抽出し,挿入するものとしてもよい。この処理の一例について説明する。
この例として,画像データベース11中にある背景映像を納めた画像を利用する手法がある。例えば,ユーザが「空」の背景を希望する場合,問合せ入出力領域504に,検索クエリとして入力し,画像データベース11に問合せを行う。画像データベース11では,「空」と一致するタグ,周辺テキストを有する画像を検索し,問合せ入出力領域504に結果を出力する。ユーザは,表示された結果の中で,適当なものを選択し,選択された画像が完成図提示領域505に背景として描画される。
この際,背景として選択された画像には,ユーザの意図していない不要なオブジェクトが,部分的に含まれている場合がある。したがって,このような不要なオブジェクトを除去する処理を行う。例えば,図6の例では,画像601の中に,背景は「空」であるが,不要なオブジェクトとしてビル602が納められている。
不要オブジェクトを除去するための手法としては,例えばユーザが不要な領域を描画領域502に図示することで指定し,その指定された領域を除去するものとしてもよい。
また,例えば自動的にオブジェクトを削除することもできる。ここで,削除するオブジェクト領域を自動判別する方法の一例について説明する。「背景は不要なオブジェクトよりも,画像全体に対して占める割合(面積)が大きい」ことを仮定する。この仮定により,例えば[参考文献1]に記載の方法などによって,画像を領域分割したのち,各領域の面積(ピクセル数)などを求め,面積の小さい領域を不要オブジェクトとみなして削除すればよい。
この際,どの領域を面積が小さいとみなすかを決定する必要があるが,これは,例えば最も面積の大きい一領域を背景として,その他の領域を削除するものとしてもよい。あるいは,削除する領域面積の合計が,画像全体の面積の一定割合(例えば20%)に達するまで削除するものとしてもよい。
また,「削除すべきオブジェクトは,背景よりも目を引きやすい前景の物体である」ことを仮定することにより,上記とは別の基準による処理方法も実現可能である。この仮定から,面積ではなく,“目を引きやすい物体”に着目して,削除することができる。画像中の目の引きやすさを推定する手法としては,例えば,次の[参考文献6]に記載の方法がある。
[参考文献6]L.Itti, C.Koch, and E.Niebur, A Model Of Saliency-based Visual Attention for Rapid Scene Analysis, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.20, No.11, pp.1254-1259, 1998.
この方法では,画像中の顕著性度合いを,ピクセル単位で計算することができる。このとき,[参考文献1]に記載の方法などによって画像を領域分割し,各領域に含まれる平均顕著性度合いが相対的に高いものを,不要オブジェクトとみなして削除する。以上のような処理により,例えば,図6の画像から,図7に示すような背景のみを抽出した画像701を得ることができる。
ステップS405では,加工部17が,出力されたオブジェクトをユーザの描画した概形のサイズに合うようにリサイズする。
ステップS406では,入出力制御部16が,リサイズされたオブジェクトをユーザの描画位置に配置し,PC20の画面に提示する。
以上のステップS401〜S406の処理を,所定の停止条件が満たされるまで繰り返す。停止条件は,例えば「PC20を操作するユーザが,描画画面を通じて停止命令を出す」としてもよいし,また,描画を開始してから一定時間に達した場合,あるいは,オブジェクト問合せ回数が一定回数に達した場合などとしてもよい。
停止条件が満たされた場合,ステップS407で,加工部17が,描画画面に描画されている画像を加工し,違和感のない一枚の画像に仕上げ,出力する。
この加工には,例えば[参考文献7]に記載のポアソン画像合成法など,公知の手法を用いることができる。
[参考文献7]P.Perez, M.Gangnet, and A.Blake, Poisson Image Editing, ACM Transactions on Graphics, Vol.22, No.3, pp.313-318, 2003.
また,上記スムージングが終了した後,写真を絵画のように加工するフィルタをかけてもよい。このようなフィルタは,既にAdobe社のPhotoShop(登録商標)等で実現されている。
最後に,入出力制御部16が,完成した画像を完成図提示領域505に出力する。
以上が,本発明の実施形態の一例における描画支援装置の説明である。この描画支援装置で実施される処理プロセスを,コンピュータで読み取り可能なプログラムとして記述することも可能であることはいうまでもない。
以上,本発明の実施形態の一例における描画支援装置について詳細に説明した。以上のように,本発明の実施形態の一例では,ユーザが描きたいオブジェクトの概形を図形として描画するだけで,その概形に類似するオブジェクトを,画像データベースに格納されている絵画,写真などの画像から抽出し,該当する図形の位置に貼り付け,加工することによって,誰でも簡単に高度に写実的な絵を描画することができる。
これは,従来技術では,ユーザに高度な技術と“絵心”が必要であったということ,および,あらかじめ準備された単純なパターンの描画しか支援できなかったことに対して解決を与えるものである。
以上,本発明の実施形態の一例について説明したが,本発明は説明した実施形態の一例に限定されるものでなく,特許請求の範囲に記載した技術的範囲において各種の変形を行うことが可能である。
10 サーバ
11 画像データベース
12 オブジェクトデータベース
13 オブジェクト抽出部
14 オブジェクト問合せ部
15 類似度計算部
16 入出力制御部
17 加工部
20 PC
21 通信網

Claims (7)

  1. コンピュータによる図の描画を支援する描画支援装置であって,
    画像のオブジェクトが格納されたオブジェクトデータベースと,
    オブジェクト抽出対象となる画像が格納された画像データベース中の画像をオブジェクト毎に分割して抽出し,さらに,抽出した画像を領域分割し,領域毎に画像中の目の引きやすさを推定する所定の方法によってピクセル毎に算出された顕著性度合いを求め,その顕著性度合いの平均値が相対的に高い領域を不要オブジェクトとし,前記抽出した画像から不要オブジェクトを削除して前記オブジェクトデータベースに格納するオブジェクト抽出部と,
    ユーザが描画した図形の概形をクエリとして,前記オブジェクトデータベースへの問合せを行うオブジェクト問合せ部と,
    前記クエリと前記オブジェクトデータベース内の一つ以上のオブジェクトとの類似度を計算する類似度計算部と,
    前記計算された類似度の高いオブジェクトを,前記ユーザが描画した図形の概形の該当する位置または指定された位置に対応づけて図として合成し,加工する加工部と,
    前記ユーザが描画した図形の概形を入出力装置から入力するとともに,前記計算された類似度の高いオブジェクトまたは前記加工部により合成した図を入出力装置へ出力する入出力制御部とを備える
    ことを特徴とする描画支援装置。
  2. 請求項1に記載の描画支援装置であって,
    前記類似度計算部が,前記クエリと,前記オブジェクトデータベース内の一つ以上のオブジェクトとの,形状類似度,色情報類似度のうち少なくとも一つに基づいて,類似度を計算する
    ことを特徴とする描画支援装置。
  3. 請求項1または請求項2に記載の描画支援装置であって,
    前記オブジェクト抽出部が,さらに,画像データ周辺のテキスト情報に基づいてオブジェクトの名称を決定し,
    前記入出力制御部が,前記類似度計算部によって計算された類似度,および,ユーザが入力したキーワードと,前記オブジェクトデータベース内の一つ以上のオブジェクトの名称との一致度に基づいて,出力するオブジェクトを選択する
    ことを特徴とする描画支援装置。
  4. 画像のオブジェクトが格納されたオブジェクトデータベースを用いてコンピュータによる図の描画を支援する描画支援装置が実行する描画支援方法であって,
    オブジェクト抽出対象となる画像が格納された画像データベース中の画像をオブジェクト毎に分割して抽出し,さらに,抽出した画像を領域分割し,領域毎に画像中の目の引きやすさを推定する所定の方法によってピクセル毎に算出された顕著性度合いを求め,その顕著性度合いの平均値が相対的に高い領域を不要オブジェクトとし,前記抽出した画像から不要オブジェクトを削除して前記オブジェクトデータベースに格納するオブジェクト抽出過程と,
    ユーザが描画した図形の概形を入出力装置から入力する過程と,
    前記ユーザが描画した図形の概形をクエリとして,前記オブジェクトデータベースへの問合せを行うオブジェクト問合せ過程と,
    前記クエリと前記オブジェクトデータベース内の一つ以上のオブジェクトとの類似度を計算する類似度計算過程と,
    前記計算された類似度の高いオブジェクトを入出力装置へ出力する過程と,
    所定の停止条件が満たされた際に,前記出力された一つ以上のオブジェクトを,前記ユーザが描画した図形の概形の該当する位置または指定された位置に対応づけて図として合成し,加工する加工過程と,
    前記加工過程によって加工された図を入出力装置へ出力する過程とを有する
    ことを特徴とする描画支援方法。
  5. 請求項4に記載の描画支援方法であって,
    前記類似度計算過程では,前記クエリと,前記オブジェクトデータベース内の一つ以上のオブジェクトとの,形状類似度,色情報類似度のうち少なくとも一つに基づいて,類似度を計算する
    ことを特徴とする描画支援方法。
  6. 請求項4または請求項5に記載の描画支援方法であって,
    前記オブジェクト抽出過程では,さらに,画像データ周辺のテキスト情報に基づいてオブジェクトの名称を決定し,
    前記オブジェクトを入出力装置へ出力する過程では,前記類似度計算過程において計算された類似度,および,ユーザが入力したキーワードと,前記オブジェクトデータベース内の一つ以上のオブジェクトの名称との一致度に基づいて,出力するオブジェクトを選択する
    ことを特徴とする描画支援方法。
  7. 請求項1から請求項3までのいずれか1項に記載された描画支援装置が備える前記オブジェクトデータベース,前記オブジェクト抽出部,前記オブジェクト問合せ部,前記類似度計算部,前記加工部および前記入出力制御部として,
    コンピュータを機能させるための描画支援プログラム。
JP2009143005A 2009-06-16 2009-06-16 描画支援装置,描画支援方法および描画支援プログラム Expired - Fee Related JP5207551B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009143005A JP5207551B2 (ja) 2009-06-16 2009-06-16 描画支援装置,描画支援方法および描画支援プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009143005A JP5207551B2 (ja) 2009-06-16 2009-06-16 描画支援装置,描画支援方法および描画支援プログラム

Publications (2)

Publication Number Publication Date
JP2011002875A JP2011002875A (ja) 2011-01-06
JP5207551B2 true JP5207551B2 (ja) 2013-06-12

Family

ID=43560807

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009143005A Expired - Fee Related JP5207551B2 (ja) 2009-06-16 2009-06-16 描画支援装置,描画支援方法および描画支援プログラム

Country Status (1)

Country Link
JP (1) JP5207551B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101547862B1 (ko) 2014-12-17 2015-08-31 스타십벤딩머신 주식회사 영상 합성 방법 및 시스템
JP6965939B2 (ja) * 2017-10-16 2021-11-10 日本電気株式会社 検索装置、検索方法及びプログラム
JP6641045B1 (ja) * 2019-02-27 2020-02-05 みんとる合同会社 コンテンツ生成システム、及びコンテンツ生成方法
CN110097616B (zh) * 2019-04-17 2023-11-28 广东智媒云图科技股份有限公司 一种联合绘画方法、装置、终端设备及可读存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001292300A (ja) * 2000-04-07 2001-10-19 Fuji Photo Film Co Ltd 画像処理方法
JP2003308314A (ja) * 2002-02-15 2003-10-31 Ricoh Co Ltd 文書作成支援装置
JP2006277169A (ja) * 2005-03-29 2006-10-12 Seiko Epson Corp 画像データの管理

Also Published As

Publication number Publication date
JP2011002875A (ja) 2011-01-06

Similar Documents

Publication Publication Date Title
US10074214B2 (en) Systems and methods for generating 3D scenes with time element for display
JP6378701B2 (ja) ホール・スライド画像レジストレーションおよび画像間注釈デバイス、システム、ならびに方法
EP2560145A2 (en) Methods and systems for enabling the creation of augmented reality content
US11704357B2 (en) Shape-based graphics search
US20040215660A1 (en) Image search method and apparatus
US20150040074A1 (en) Methods and systems for enabling creation of augmented reality content
RU2677573C2 (ru) Система и способ дополнения изображения стилизованными свойствами
JP2002055748A (ja) 情報処理方法及び装置
WO2022194102A1 (zh) 图像处理方法、装置、计算机设备、存储介质及程序产品
Wang et al. Cher-ob: A tool for shared analysis and video dissemination
US20210272253A1 (en) Automatically merging people and objects from multiple digital images to generate a composite digital image
CN108090199B (zh) 一种大型图像集的语义信息提取和可视化方法
JP5207551B2 (ja) 描画支援装置,描画支援方法および描画支援プログラム
JP2011055295A (ja) 撮影装置
US10957108B2 (en) Augmented reality image retrieval systems and methods
CN106909684A (zh) 全景图像检索及展示方法
Syahputra et al. Finger recognition as interaction media in Augmented Reality for historical buildings in Matsum and Kesawan regions of Medan City
US20170186207A1 (en) Information processing method and terminal, and computer storage medium
JP2000339327A (ja) サムネイル画像情報操作システム
US11869127B2 (en) Image manipulation method and apparatus
JP2010049300A (ja) 画像検索システム、画像検索方法、および画像検索用プログラム
JP2004240751A (ja) 画像検索装置
CN112966624A (zh) 一种车道线检测方法、装置、电子设备和存储介质
JP6276375B2 (ja) 画像検索装置、画像表示装置、画像検索方法、および画像表示方法
JP6063536B2 (ja) 撮像装置および撮像装置の制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110901

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120829

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120904

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121015

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20121106

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130125

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20130205

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130215

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130218

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160301

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5207551

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees