JP5541868B2

JP5541868B2 - 画像検索指令システムおよびその動作制御方法

Info

Publication number: JP5541868B2
Application number: JP2009023279A
Authority: JP
Inventors: 裕介大森
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2009-02-04
Filing date: 2009-02-04
Publication date: 2014-07-09
Anticipated expiration: 2029-02-04
Also published as: JP2010181991A

Description

この発明は，画像検索指令システムおよびその動作制御方法に関する。

画像認識を応用して画像検索が行われるようになってきている。とくに，画像と結び付けられたタグ，メタ・データを利用した検索が行われている。たとえば，画像中のオブジェクトを認識し，画像にタグ・キーワードを付けて検索を行うもの（特許文献１，２），画像にあらかじめ付けられた顔に関するタグ情報を利用して絞込み検索を行うもの（特許文献３）がある。

特開2007-280106号公報特開2005-174113号公報特開2005-237442号公報

しかしながら，所望の構成，構図をもつ画像に近似した画像を見つけることは難しい。

また，スケッチ画像を生成して，そのスケッチ画像に近似した画像を見つけるものもある（特許文献４）。

特開平11-185867号公報

しかしながら，スケッチ画像を生成すること自体難しいし，スケッチ画像に含まれる被写体の大きさを変更することも難しい。

この発明は，比較的簡単に所望の構成，構図をもつ画像に近似した画像を見つけることを目的とする。

この発明による画像検索指令システムは，被写体の種類を表し，かつ所定の形状を有する構成要素画像を表示画面の検索用画像領域に表示する構成要素画像表示制御手段，上記検索用画像表示領域に表示されている上記構成要素画像の大きさを変更する大きさ変更手段，上記検索用画像表示領域に表示されている上記構成要素画像の位置を変更する位置変更手段，ならびに上記大きさ変更手段によって変更された，上記検索用画像表示領域に対する相対的な大きさを有し，かつ上記位置変更手段によって変更された位置に存在する上記構成要素画像によって特定される被写体のレイアウトに近似する画像を画像データベースから見つけるように画像検索装置に指令を与える画像検索手段を備えていることを特徴とする。

この発明は，上記画像検索指令システムに適した動作制御方法も提供している。すなわち，この方法は，構成要素画像表示制御手段が，被写体の種類を表し，かつ所定の形状を有する構成要素画像を表示画面の検索用画像領域に表示し，大きさ変更手段が，上記検索用画像表示領域に表示されている上記構成要素画像の大きさを変更し，位置変更手段が，上記検索用画像表示領域に表示されている上記構成要素画像の位置を変更し，画像検索手段が，上記大きさ変更手段によって変更された，上記検索用画像表示領域に対する相対的な大きさを有し，かつ上記位置変更手段によって変更された位置に存在する上記構成要素画像によって特定される被写体のレイアウトに近似する画像を画像データベースから見つけるように画像検索装置に指令を与えるものである。

この発明は，上記画像検索指令システムの動作制御方法に適したプログラムおよびそのプログラムを格納した記録媒体も提供している。

この発明によると，被写体の種類を表し，かつ所定の形状を有する構成要素画像が表示画面の検索用画像領域に表示される。検索用画像領域に表示されている構成要素画像は，検索用画像領域に対する相対的大きさおよび位置を変更することができる。所望の構図および構成となるように構成要素画像の相対的大きさおよび位置が変更させられる。構成要素画像の相対的大きさに対応する相対的大きさをもつ被写体であって，構成要素画像の位置に対応する位置に被写体が存在するような画像が画像データベースの中から見つけるように画像検索装置に指令が与えられる。所望の構図，構成をもつ画像を見つけることができるようになる。

画像を表す画像データを入力する画像データ入力手段，ならびに上記画像データ入力手段から入力した画像データによって表される入力画像に含まれる被写体の種類，その被写体の入力画像との相対的大きさおよびその被写体の位置を検出する検出手段をさらに備えてもよい。この場合，上記構成要素画像表示制御手段は，上記検出手段によって検出された相対的大きさをもち，かつ上記検出手段によって検出された被写体に対応する上記構成要素画像を，上記検出手段によって検出された位置に表示するものとなろう。

被写体の種類を指定する被写体種類指定手段をさらに備えてもよい。この場合，上記構成要素画像表示制御手段は，上記被写体種類指定手段によって指定された被写体の種類を表し，かつ所定の形状をもつ構成要素画像を検索用画像領域に表示するものとなろう。

画像検索システムの概要を示している。画像検索システムの処理手順を示すフローチャートである。画像検索システムの処理手順を示すフローチャートである。既存画像一例である。画像検索用ウインドウの一例である。画像検索用ウインドウの一例である。画像検索用ウインドウの一例である。画像検索用ウインドウの一例である。画像検索用ウインドウの一例である。画像検索用ウインドウの一例である。検索キーとしてデータベース・サーバに与えられるデータである。

図１は，この発明の実施例を示すもので，画像検索システムの概要を示している。

画像検索システムにはインターネットを介して互いに通信可能なクライアント・コンピュータ（画像検索指令システム）１およびデータベース・サーバ３が含まれている。データベース・サーバ３には，多数の画像を表す画像データが格納されている画像データベース４が接続されている。

この実施例では，クライアント・コンピュータ１において，画像データベース４に格納されている画像データによって表される多数の画像の中から見つけ出すべき画像が有する構成（画像に含まれる被写体の種類，被写体の大きさ，被写体の位置などのレイアウト）がクライアント・コンピュータ１において生成される。生成された構成を表すデータがクライアント・コンピュータ１からデータベース・サーバ３に送信されて，クライアント・コンピュータ１において生成された構成に近似した構成を有する画像が画像データベース４の中から見つけ出される。

この実施例では，クライアント・コンピュータ１とデータベース・サーバ３とが別々の装置であり，クライアント・コンピュータ１から送信された上記構成を表すデータにもとづいて，データベース・サーバ３によって画像検索が行われるが，クライアント・コンピュータ１とデータベース・サーバ３との間でデータの送受信をせずにクライアント・コンピュータ１とデータベース・サーバ３とが一体のものでもよい。

クライアント・コンピュータ１およびデータベース・サーバ３のそれぞれには，キーボード，マウスなどの入力装置，後述する動作プログラム，所定のデータ等を格納するメモリ，ＣＰＵ，ＣＤ−ＲＯＭ（コンパクト・ディスク・リード−オンリ・メモリ），通信装置等が含まれている。クライアント・コンピュータ１には，後述する動作プログラムが格納されているＣＤ−ＲＯＭ２が装填され，そのＣＤ−ＲＯＭ２に格納されている動作プログラムがクライアント・コンピュータ１にインストールされることにより，後述する動作が可能となる。もっとも，ＣＤ−ＲＯＭ２などのような可搬型記録媒体に格納されている動作プログラムからインストールせずにインターネットを介してダウンロードした動作プログラムをクライアント・コンピュータ１にインストールするようにしてもよい。

図２および図３は，画像検索システムの処理手順を示すフローチャートである。

この実施例においては，既存画像を利用して上述した構成の画像を生成する場合と既存画像を利用せずに上述した構成の画像を生成する場合とがある。

図４は，既存画像40の一例である。

この既存画像40は，画像のほぼ左半分に空41の被写体が含まれており，画像のほぼ右半分に桜42の被写体が含まれている。このような既存画像を利用するものとする。

既存画像を利用する場合には（図２ステップ11でＹＥＳ），その既存画像を表す画像データがクライアント・コンピュータ１に入力される（図２ステップ12）。既存画像を表す画像データがＣＤ−ＲＯＭ等に格納されている場合には，そのＣＤ−ＲＯＭから読み取られる。既存画像を表す画像データはインターネットを介してクライアント・コンピュータ１にダウンロードされてもよい。クライアント・コンピュータ１にすでに格納されている画像データによって表される既存画像を利用する場合には，改めて既存画像を表す画像データをクライアント・コンピュータ１に入力する必要は無い。

既存画像に含まれる被写体の特徴量（被写体の種類を特定できるような特徴量であり，それぞれの被写体が固有に有する色，構成，バランスなどである）が検出される（図２ステップ13）。検出された被写体の特徴量から既存画像に含まれる被写体の種類が検出される（図２ステップ14）。被写体の種類が検出されると，検出された被写体の大きさ，位置が検出される（図２ステップ15）。

図４に示す既存画像の場合，画像の左半分に空の被写体があり，画像の右半分に花（花でなく桜と認識してもよい）の被写体が存在すると検出される。検出された被写体に対応する構成要素画像がクライアント・コンピュータ１の表示画面の検索用画像領域に表示される（図２ステップ16）。

図５は，クライアント・コンピュータ１の表示画面に表示される検索用画像ウインドウの一例である。

検索用画像ウインドウ50には，ほぼ全体にわたって検索用画像領域54が形成されている。この検索用画像領域54の左側には被写体名リスト51が形成されている。被写体名リスト51には，多数の被写体名52およびサブ被写体名53が表示されている。検索用画像領域54の右上には検索ボタン領域57が表示されている。

上述したように，既存画像を用いて見つけたい画像の構成を生成する場合には，その既存画像から検出された被写体に対応する構成要素画像が，検出された大きさおよび位置に表示される。図4に示す画像40が既存画像として利用される場合には，画像40の左半分に空の被写体41があり，画像40の右半分に花の被写体42があるから，検索用画像領域54の左半分に空の構成要素画像55が表示され，検索用画像形状54の右半分に花の構成要素画像56が表示される。構成要素画像55および56はそれぞれ，画像40から検出された形状に対応するように，空の構成要素画像55は，ほぼ矩形に近い形状であり，花の構成要素画像56は楕円形状である。構成要素画像55には「空」の文字が表示されており，構成要素画像56には「花」の文字が表示されている。もっとも，構成要素画像は被写体の種類ごとにあらかじめ定められていてもよいし，種類にかかわらず矩形，楕円など一定形状でもよい。また，構成要素画像は単に矩形，楕円などの形状ではなく，被写体を代表するサンプル画像を利用してもよい。

既存画像を利用しない場合には（図２ステップ11でＮＯ），クライアント・コンピュータ１のユーザによって構成要素画像が所望の位置に所望の大きさで配置される。

図６を参照して，検索用画像ウインドウ50の検索用画像領域54には最初は何も表示されていない。被写体リスト51の中から所望の被写体名52またはサブ被写体名53がマウスを用いて検索用画像領域54内にドラッグされる。たとえば，被写体リスト51の中から「空」の被写体名52を示す画像が検索用画像領域54内にドラッグされ，検索用画像領域54の上部のほぼ中央でドロップされたものとする。すると，図７に示すように，検索用画像領域54の上部に「空」の構成要素画像61が所定の大きさで表示される。

つづいて，被写体名リスト51の中から「海」の被写体名52を表す画像が検索用画像領域54内にドラッグされ，検索用画像領域54の下部のほぼ中央でドロップされたものとする。すると，図８に示すように，検索用画像領域54の下部に「海」の構成要素画像62が所定の大きさで表示される。

さらに，被写体名リスト51の中から「人」の被写体名52を表す画像が検索用画像領域54内にドラッグされ，検索用画像領域54の下部の中央からやや左よりにドロップされたものとする。すると，図９に示すように，検索用画像領域54の下部の中央からやや左よりであって「海」の構成要素画像62上に重ねて「人」の構成要素画像63が所定の大きさで表示される。検索用画像領域54上に間違えた被写体名の領域がドラッグされた場合には，その間違えた被写体名に対応する構成要素画像が検索用画像領域54外となるようにドラッグ・アンド・ドロップされる。すると，間違えた被写体名に対応する構成要素画像が検索用画像領域54から消去される。

構成要素画像の大きさを変更する場合には，変更する構成要素画像がマウスで選択される。すると，選択された構成要素画像を外接する外接枠が表示される。その外接枠をドラッグすることにより外接枠の大きさが変更させられると，外接枠に外接されている構成要素画像の大きさが変わる。図９において，「人」の構成要素画像63が選択されたものとする。すると，図10に示すように，構成要素画像63を囲む外接枠65が検索用画像領域54に表示され，外接枠65がマウス操作に応じて移動するポインタ66でドラッグされることにより，構成要素画像63の大きさが変わる。所望の大きさとなったことにより，選択された構成要素画像64の選択が解除される。

このようにして構成要素画像の大きさ，位置が変更させられる（図３ステップ17，18）。上述したものでは，検索用画像表示領域54に何も無い状態から構成要素画像を所望の大きさで所望の位置に配置しているが，既存画像を用いて構成要素画像が検索用画像表示領域54に表示された後でも同様に所望の構成要素画像を検索用画像表示領域54に表示できるのはいうまでもない。

図11は，検索用画像表示領域54内に，所望の被写体が所望の大きさで所望の位置に表示された場合の被写体の組み合わせ，それらの被写体のそれぞれの大きさおよび位置を示している。

図10に示す例では，検索用画像表示領域54に「人」の構成要素画像64，「空」の構成要素画像61および「海」の構成要素画像62が含まれているから，被写体として「人」，「空」および「海」が含まれている画像が検索対象となる。また，それぞれの被写体の大きさは，画像に対する割合で表現される。図10に示す例では，「空」の構成要素画像64および「海」の構成要素画像62はそれぞれ検索用画像表示領域54の45％程度であり，そのような割合で「空」および「海」が含まれている画像が検索対象となる。また，「人」の構成要素画像64は検索画像表示領域54の25％程度であり，その割合で「人」が含まれている画像が検索対象となる。

さらに，「人」の構成要素画像64，「空」の構成要素画像61および「海」の構成要素画像62の位置は，検索用画像表示領域54の左上が原点とした場合において，右下の座標位置が（100，100）とした場合の被写体の中心位置の座標によって表される。「人」の構成要素画像64の中心は（25，60）であり，「空」の構成要素画像61の中心は（50，20）であり，「海」の構成要素画像62の中心は（50，80）である。「人」，「空」および「海」のそれぞれの中心が図11で示す位置に存在する画像が検索対象となる。

このように，被写体の組み合わせ，それぞれの被写体の相対的な大きさ（画像上での比率）および位置が図11で示すものに近い画像が検索により見つけられることとなる。図11においては，テーブルの形式で表現されているが必ずしもテーブルが生成される必要は無い。画像検索用ウインドウ50を用いて上述したようにドラッグ・アンド・ドロップにより位置および大きさが決められた被写体が含む画像を見つけるようにクライアント・コンピュータ１からデータベース・サーバ３に被写体，被写体の相対的な大きさおよび位置が検索キーとして与えられればよい。検索ボタン領域57がクリックされることにより，これらの被写体，被写体の大きさおよび位置が検索キーとしてクライアント・コンピュータ１からデータベース・サーバ３に送信される（図３ステップ19）。

クライアント・コンピュータ１から送信された被写体の種類，相対的大きさおよび位置を表すデータがデータベース・サーバ２において受信されると，その被写体の種類を含む画像が候補画像として画像データベース４から見つけられる（図３ステップ32）。さらに，見つけられた候補画像の中から，被写体がクライアント・コンピュータ１から送信されたデータによって表される相対的大きさをもち，かつその位置にある画像が見つけられる（図３ステップ33）。見つけられた画像を表す画像データがデータベース・サーバ３からクライアント・コンピュータ１に送信される（図３ステップ34）。

データベース・サーバ３から送信された画像データがクライアント・コンピュータ１において受信されると（図３ステップ20），受信した画像データによって表される画像がクライアント・コンピュータ１の表示画面上に表示される（図３ステップ21）。

上述した実施例では，被写体の種類，大きさおよび位置のすべてを指定しているが,被写体の種類および大きさまたは位置を指定するようにしてもよい。

ユーザの所望の被写体の組み合わせをもつ画像であって，所望の被写体の大きさが含まれている画像または所望の位置の被写体がある画像の検索指令を，ユーザが比較的簡単に生成できるようになる。

１クライアント・コンピュータ
２ＣＤ−ＲＯＭ
３データベース・サーバ
４画像データベース
40 既存画像
51 被写体名リスト（被写体種類指定手段）
54 検索用画像領域
55，56，61−63 構成要素画像

Claims

被写体の種類にかかわらず一定形状を有する構成要素画像を表示画面の検索用画像領域に表示する構成要素画像表示制御手段を備えた画像検索システムにおいて，
上記検索用画像表示領域に表示されている上記構成要素画像の大きさを変更する大きさ変更手段，
上記検索用画像表示領域に表示されている上記構成要素画像の位置を変更する位置変更手段，
上記大きさ変更手段によって変更された，上記検索用画像表示領域に対する相対的な大きさを有し，かつ上記位置変更手段によって変更された位置に存在する上記構成要素画像によって特定される被写体のレイアウトに近似する画像を画像データベースから見つけるように画像検索装置に指令を与える画像検索指令手段，
画像を表す画像データを入力する画像データ入力手段，ならびに
上記画像データ入力手段から入力した画像データによって表される入力画像に含まれる被写体の入力画像との相対的大きさおよびその被写体の位置を検出する検出手段，
を備え，
上記構成要素画像表示制御手段は，
上記検出手段によって検出された相対的大きさをもつ上記構成要素画像を，上記検出手段によって検出された位置に表示するものである，
画像検索指令システム。
上記画像検索指令手段は，
上記大きさ変更手段によって変更された，上記検索用画像表示領域に対する相対的な大きさを有し，かつ上記位置変更手段によって変更された位置に存在する上記構成要素画像によって特定される被写体のレイアウトに近似する画像を，上記検索用画像表示領域に対する上記構成要素画像の大きさの割合にもとづいて画像データベースから見つけるように画像検索装置に指令を与えるものである，
請求項１に記載の画像検索指令システム。
構成要素画像表示制御手段が，被写体の種類にかかわらず一定形状を有する構成要素画像を表示画面の検索用画像領域に表示する画像検索システムの動作制御方法において，
大きさ変更手段が，上記検索用画像表示領域に表示されている上記構成要素画像の大きさを変更し，
位置変更手段が，上記検索用画像表示領域に表示されている上記構成要素画像の位置を変更し，
画像検索手段が，上記大きさ変更手段によって変更された，上記検索用画像表示領域に対する相対的な大きさを有し，かつ上記位置変更手段によって変更された位置に存在する上記構成要素画像によって特定される被写体のレイアウトに近似する画像を画像データベースから見つけるように画像検索装置に指令を与え，
画像データ入力手段が，画像を表す画像データを入力し，
検出手段が，上記画像データ入力手段から入力した画像データによって表される入力画像に含まれる被写体の入力画像との相対的大きさおよびその被写体の位置を検出し，
上記構成要素画像表示制御手段が，上記検出手段によって検出された相対的大きさをもつ上記構成要素画像を，上記検出手段によって検出された位置に表示する，
画像検索指令システムの動作制御方法。
被写体の種類にかかわらず一定形状を有する構成要素画像を表示画面の検索用画像領域に表示させる画像検索指令システムのコンピュータを制御するプログラムであって，
上記検索用画像表示領域に表示されている上記構成要素画像の大きさを変更させ，
上記検索用画像表示領域に表示されている上記構成要素画像の位置を変更させ，
変更された，上記検索用画像表示領域に対する相対的な大きさを有し，かつ変更された位置に存在する上記構成要素画像によって特定される被写体のレイアウトに近似する画像を画像データベースから見つける指令を画像検索装置に与え，
画像を表す画像データを入力させ，
入力した画像データによって表される入力画像に含まれる被写体の入力画像との相対的大きさおよびその被写体の位置を検出させ，
検出された相対的大きさをもつ上記構成要素画像を，検出された位置に表示させるように画像検索システムのコンピュータを制御するコンピュータ読み取り可能なプログラム。
請求項４に記載のプログラムを格納した記録媒体。