JP6441142B2 - 検索装置、方法及びプログラム - Google Patents

Description

本発明の実施形態は、検索装置、方法及びプログラムに関する。

従来から、ユーザが指定した１以上のキーワードをクエリに用いてコンテンツを検索する技術が知られている。例えば、特許文献１には、ユーザが１以上のキーワードの中から重きを置きたいキーワードの重要度を変更して、コンテンツを検索する技術が開示されている。

特開平９−１５３０６１号公報

しかしながら、上述したような従来技術では、検索に用いる１以上の項目のうち重きを置きたい項目の重みをユーザ自身で設定しなければならないため、操作が煩雑となり、ユーザの負荷が増加する傾向にある。

本発明が解決しようとする課題は、検索に用いられる１以上の構成要素それぞれの１以上の項目の重みに、ユーザの意図を簡易に反映してコンテンツを検索することができる検索装置、方法及びプログラムを提供することである。

実施形態の検索装置は、受付部と、抽出部と、変更部と、検索部と、表示制御部と、を備える。受付部は、１以上の構成要素それぞれの領域、属性、色、及びキーワードの少なくともいずれかの項目を指定する第１指定データの入力を受け付けるとともに、当該第１指定データを受け付けた後に、当該第１指定データを修正した第２指定データの入力を受け付ける。抽出部は、前記第１指定データに対し前記第２指定データにおいて差分が生じた構成要素である第１構成要素を抽出する。変更部は、抽出された前記第１構成要素の差分となる項目の重みを変更する。検索部は、前記第１構成要素の項目と、当該項目の変更後の重みと、前記第１指定データに対し前記第２指定データにおいて差分が生じていない構成要素である第２構成要素の項目と、当該項目の重みと、に基づいて、コンテンツを検索する。表示制御部は、前記コンテンツを表示部に表示する。

第１実施形態の検索装置の例を示す構成図。 第１実施形態の指定データの入力例の説明図。 第１実施形態の指定データの例を示す図。 第１実施形態の指定データ及び重み情報の例を示す図。 第１実施形態の時系列の指定データの例を示す図。 第１実施形態の第１構成要素の例を示す図。 第１実施形態の第１指定データの例を示す図。 第１実施形態の第２指定データの例を示す図。 第１実施形態の第２指定データの例を示す図。 第１実施形態の第２指定データの例を示す図。 第１実施形態の第２指定データの例を示す図。 第１実施形態の第２指定データの例を示す図。 第１実施形態の表示色の決定手法例の説明図。 第１実施形態の第２指定データの例を示す図。 第１実施形態の検索結果の表示例を示す図。 第１実施形態の検索結果の表示例を示す図。 第１実施形態の検索結果の表示例を示す図。 第１実施形態の処理例を示すフローチャート。 第１実施形態の指定データの例を示す図。 第１実施形態の検索結果例を示す図。 第１実施形態の指定データの例を示す図。 第１実施形態の検索結果例を示す図。 変形例２の指定データの入力例の説明図。 第２実施形態の検索装置の例を示す構成図。 第２実施形態の認識前の構成要素の例を示す図。 第２実施形態の認識後の構成要素の例を示す図。 第２実施形態の検索結果の表示例を示す図。 各実施形態及び各変形例の検索装置のハードウェア構成例を示す図。

以下、添付図面を参照しながら、実施形態を詳細に説明する。

（第１実施形態）
図１は、第１実施形態の検索装置１０の一例を示す構成図である。図１に示すように、検索装置１０は、入力部１１と、受付部１３と、第１記憶部１５と、抽出部１７と、変更部１９と、第２記憶部２１と、検索部２３と、表示制御部２５と、表示部２７と、を備える。

検索装置１０は、例えば、タブレット端末、スマートフォン、又はＰＣ（Personal Computer）などにより実現できる。

入力部１１は、例えば、デジタルペン、タッチパネルディスプレイ、マウス、及びキーボードなどの入力装置により実現できる。受付部１３、抽出部１７、変更部１９、検索部２３、及び表示制御部２５は、例えば、ＣＰＵ（Central Processing Unit）などの処理装置にプログラムを実行させること、即ち、ソフトウェアにより実現してもよいし、ＩＣ（Integrated Circuit）などのハードウェアにより実現してもよいし、ソフトウェア及びハードウェアを併用して実現してもよい。

第１記憶部１５、及び第２記憶部２１は、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、メモリカード、光ディスク、ＲＡＭ（Random Access Memory）、及びＲＯＭ（Read Only Memory）などの磁気的、光学的、又は電気的に記憶可能な記憶装置により実現できる。表示部２７は、例えば、タッチパネルディスプレイや液晶ディスプレイなどの表示装置により実現できる。

入力部１１は、１以上の構成要素それぞれの領域、属性、色、及びキーワードの少なくともいずれかの項目を指定する指定データを入力する。指定データは、検索対象のコンテンツを検索するためのクエリであり、１以上の構成要素は、検索対象のコンテンツを構成する構成要素であり、領域、属性、色、及びキーワードにより当該構成要素の内容が特定される。つまり、指定データは、１以上の構成要素で構成されるレイアウトを有するコンテンツを検索対象のコンテンツとして検索するためのクエリである。

領域は、ページ上における構成要素の領域（位置及び大きさ）を示す。属性は、構成要素が文字、図、表、及び写真のいずれであるかを示すが、これに限定されるものではない。例えば、文字であればタイトルや箇条書き、図であればグラフ、フローチャート、ブロック図、又は地図、表であれば線表や押し取り表、写真であれば、自然や人工物などと属性を細分化してもよい。色は、構成要素の色を示す。キーワードは、構成要素で使用されているキーワードを示す。第１実施形態では、構成要素に対し、領域、属性、色、及びキーワードの全ての項目を指定可能であるものとするが、これに限定されるものではない。

検索対象のコンテンツは、文書作成ソフトウェア、表計算ソフトウェア、プレゼンテーションソフトウェア、及び文書閲覧ソフトウェア等で作成された文書やＷｅｂページなどのデジタル文書や、ユーザが手書きデータを入力することで作成された手書き文書などを想定しているが、これに限定されるものではなく、静止画や動画などであってもよい。例えば、検索対象のコンテンツを動画データのサムネイル画像や音楽データのアルバム画像などとすれば、動画データや音楽データを検索することもできる。

図２は、第１実施形態の指定データの入力例の説明図である。図２に示す例では、表示部２７が表示する表示画面１００に、入力窓１０１、文字ボタン１０２Ａ、図ボタン１０２Ｂ、表ボタン１０２Ｃ、写真ボタン１０２Ｄ、色ボタン１０３、テキストボックス１０５、キーワードボタン１０６、検索ボタン１０７、及び検索結果表示領域１０８が配置されている。

ユーザは、入力部１１からカーソル１０４を操作する入力を行うことで、入力窓１０１上に構成要素の領域、属性、色、及びキーワードを入力でき、指定データを入力できる。

例えば、ユーザは、カーソル１０４を操作して入力窓１０１上に矩形や自由曲線で描かれた閉ループを入力することで、構成要素の領域を入力する。

また例えば、ユーザは、カーソル１０４を操作して、入力窓１０１上の構成要素を選択し、文字ボタン１０２Ａ、図ボタン１０２Ｂ、表ボタン１０２Ｃ、及び写真ボタン１０２Ｄのいずれかを選択することで、当該構成要素の属性を入力する。第１実施形態では、文字ボタン１０２Ａを選択すると構成要素の属性は文字となり、図ボタン１０２Ｂを選択すると構成要素の属性は図となり、表ボタン１０２Ｃを選択すると構成要素の属性は表となり、写真ボタン１０２Ｄを選択すると構成要素の属性は写真となる。

また例えば、ユーザは、カーソル１０４を操作して、入力窓１０１上の構成要素を選択し、色ボタン１０３のカラーパレットのいずれかを選択することで、当該構成要素の色を入力する。

また例えば、ユーザは、カーソル１０４を操作して、入力窓１０１上の構成要素を選択し、テキストボックス１０５にキーワードを入力してキーワードボタン１０６を選択することで、当該構成要素のキーワードを入力する。

図２に示す例では、入力窓１０１上に、構成要素１１０Ａ、構成要素１１０Ｂが入力されている。なお、構成要素１１０Ａの属性は文字、色は黒、キーワードは無であり、構成要素１１０Ｂの属性は図、色は赤、キーワードは無である。

そして、ユーザは、カーソル１０４を操作して検索ボタン１０７を選択することで、入力窓１０１上に入力された指定データをクエリとして検索対象のコンテンツが検索され、検索結果が検索結果表示領域１０８に表示される。

受付部１３は、入力部１１から指定データの入力を受け付け、第１記憶部１５に記憶する。例えば、受付部１３は、検索ボタン１０７が選択される毎に、入力窓１０１上に入力された指定データを受け付け（図２参照）、第１記憶部１５に記憶する。

一般的にコンテンツ検索では、ユーザは、所望するコンテンツが検索されるまで、クエリを修正しながら検索を繰り返す。このため第１実施形態では、受付部１３は、前回の指定データから修正された指定データを時系列の順に受け付け、第１記憶部１５に記憶する。この結果、第１記憶部１５は、前回の指定データから修正された指定データが時系列の順に記憶される。

なお、受付部１３は、入力窓１０１上に入力された指定データ（図２参照）を全消去する入力を受け付けた場合、第１記憶部１５に時系列で記憶されている指定データを全て削除する。これは、ユーザが所望するコンテンツの検索が終了したか、最初から検索をやり直すと判断できるためである。

以下では、受付部１３が受け付けた最新の指定データを第２指定データ、第２指定データ以前に受付部１３が受け付けた指定データを第１指定データと称する。第１実施形態では、第１指定データが受付部１３により第２指定データの１つ前に受け付けられた指定データである場合、即ち、第１指定データの入力の次に第２指定データの入力が受け付けられた場合を例に取り説明するが、これに限定されるものではない。

第１記憶部１５は、第１指定データと、当該第１指定データの１以上の構成要素それぞれの項目の重みを示す重み情報と、を対応付けて記憶する。

例えば、図３に示すように、第１指定データが構成要素１１０Ｄ及び構成要素１１０Ｅで構成されている場合、第１指定データ及び重み情報は、図４に示すような態様で第１記憶部１５に記憶される。

検索クエリ群ＩＤ：１は第１指定データのＩＤであり、検索クエリＩＤ：１は構成要素１１０ＤのＩＤであり、検索クエリＩＤ：２は構成要素１１０ＥのＩＤである。

領域は、中心座標（ｘ，ｙ）、幅（ｗｉｄｅ）、高さ（ｈｅｉｇｈｔ）で表され、属性は、文字、図、表、写真、及びＮｕｌｌのいずれかで表され、色は、ＲＧＢで表され、キーワードは、キーワードそのもの、又はＮｕｌｌで表される。なお、Ｎｕｌｌは無を表す。

領域、属性、色、及びキーワードの各重みは、図４に示す例では、デフォルト値の１．０が設定されているが、後述の変更部１９により重みが変更された場合には、変更後の重みが設定される。

なお第１記憶部１５には、第２指定データも上述の態様で記憶されているが、第２指定データの重み情報については、後述の変更部１９により記憶される。

抽出部１７は、第１指定データに対し第２指定データにおいて差分が生じた構成要素である第１構成要素を抽出する。

例えば、抽出部１７は、第１指定データの構成要素の検索クエリＩＤと第２指定データの構成要素の検索クエリＩＤとを比較し、第１指定データに存在しない検索クエリＩＤの構成要素が第２指定データに存在すれば、当該構成要素を第１構成要素として抽出する。

また例えば、抽出部１７は、検索クエリＩＤが一致する第１指定データの構成要素と第２指定データの構成要素との領域、属性、色、キーワードをそれぞれ比較し、いずれかの項目が一致しなければ、当該構成要素を第１構成要素として抽出する。

例えば、図５に示す例において、構成要素１１０Ｆ及び構成要素１１０Ｇで構成されている指定データが第１指定データであり、構成要素１１０Ｆ及び構成要素１１０Ｈで構成されている指定データが第２指定データであり、構成要素１１０Ｇの色を黒から赤に修正したものが構成要素１１０Ｈであるとする。この場合、構成要素１１０Ｇと構成要素１１０Ｈの検索クエリＩＤは一致するが、色が一致しないため、抽出部１７は、図６に示すように、構成要素１１０Ｈを第１構成要素として抽出する。

なお、抽出部１７は、第１指定データの構成要素の検索クエリＩＤと第２指定データの構成要素の検索クエリＩＤとを比較し、第２指定データに存在しない検索クエリＩＤの構成要素が第１指定データに存在しても、当該構成要素を第１構成要素として抽出しない。これは、ユーザが、第２指定データにおいて当該構成要素を検索に使用しないという意図で削除しているためである。

変更部１９は、抽出部１７により抽出された第１構成要素の差分となる項目の重みを変更する。変更部１９は、第１構成要素の差分となる項目が領域の場合、当該領域の重みを変更し、第１構成要素の差分となる項目が属性の場合、当該属性の重みを変更し、第１構成要素の差分となる項目が色の場合、当該色の重みを変更し、第１構成要素の差分となる項目がキーワードの場合、当該キーワードの重みを変更する。

例えば、第１指定データが、図７に示すように、構成要素１１０Ｉ及び構成要素１１０Ｊで構成されている指定データであり、第２指定データが、図８に示すように、構成要素１１０Ｉ及び構成要素１１０Ｋで構成されている指定データであり、構成要素１１０Ｊの色を黒から赤に修正したものが構成要素１１０Ｋであるとする。この場合、構成要素１１０Ｋの色が第１構成要素の差分となる項目として抽出部１７により抽出されるので、変更部１９は、構成要素１１０Ｋの色の重みを変更する。

また例えば、第１指定データが、図７に示す指定データであり、第２指定データが、図９に示すように、構成要素１１０Ｉ及び構成要素１１０Ｌで構成されている指定データであり、構成要素１１０Ｊの領域を修正したものが構成要素１１０Ｌであるとする。この場合、構成要素１１０Ｌの領域が第１構成要素の差分となる項目として抽出部１７により抽出されるので、変更部１９は、構成要素１１０Ｌの領域の重みを変更する。

また例えば、第１指定データが、図７に示す指定データであり、第２指定データが、図１０に示すように、構成要素１１０Ｉ及び構成要素１１０Ｍで構成されている指定データであり、構成要素１１０Ｊの属性を写真から図に修正したものが構成要素１１０Ｍであるとする。この場合、構成要素１１０Ｍの属性が第１構成要素の差分となる項目として抽出部１７により抽出されるので、変更部１９は、構成要素１１０Ｍの属性の重みを変更する。

また例えば、第１指定データが、図７に示す指定データであり、第２指定データが、図１１に示すように、構成要素１１０Ｎ及び構成要素１１０Ｊで構成されている指定データであり、構成要素１１０Ｉのキーワードをワードからワード２に修正したものが構成要素１１０Ｎであるとする。この場合、構成要素１１０Ｎのキーワードが第１構成要素の差分となる項目として抽出部１７により抽出されるので、変更部１９は、構成要素１１０Ｎのキーワードの重みを変更する。

また例えば、第１指定データが、図７に示す指定データであり、第２指定データが、図１２に示すように、構成要素１１０Ｉ及び構成要素１１０Ｏで構成されている指定データであり、構成要素１１０Ｊを２重入力したものが構成要素１１０Ｏであるとする。この場合、構成要素１１０Ｏの領域、属性、色、及びキーワードの全ての項目が第１構成要素の差分となる項目として抽出部１７により抽出されるので、変更部１９は、構成要素１１０Ｏの各項目の重みを変更する。

なお、抽出部１７により第１指定データに存在しない構成要素が第１構成要素として抽出された場合、第１構成要素の差分となる項目は、領域、属性、色、及びキーワードのうち値がＮｕｌｌでない項目であり、変更部１９は、当該項目の重みを変更する。

具体的には、変更部１９は、第１記憶部１５から第１指定データの重み情報を取得して第２指定データの重み情報とし、当該重み情報が第１構成要素の差分となる項目の重みを示す場合、当該重みを変更し、当該重み情報が第１構成要素の差分となる項目の重みを示さない場合、デフォルトの重みを変更する。

なお、変更部１９は、抽出部１７により抽出された第１構成要素の差分となる項目の重みを変更する場合、当該項目の重みを一定値変更する。従って、変更部１９は、第２指定データの重み情報が第１構成要素の差分となる項目の重みを示す場合、当該重みに一定値を加算した重みを当該項目の重みとし、当該重み情報が第１構成要素の差分となる項目の重みを示さない場合、デフォルトの重みに一定値を加算した重みを当該項目の重みとする。

そして、変更部１９は、変更後の重み情報を第２指定データに対応付けて、第１記憶部１５に記憶する。

このように、第１指定データの重み情報を第２指定データの重み情報とし、当該重み情報が示す重みを変更するため、過去の指定データの重みも最新の指定データの重みに反映できる。

例えば、図５に示す例の場合、前述したように、構成要素１１０Ｈの色が第１構成要素の差分となる項目として抽出部１７により抽出されるので、変更部１９は、構成要素１１０Ｈの色の重みを変更する。

ここで、構成要素１１０Ｆで構成されている指定データをｔ−２の時点の第１指定データ、構成要素１１０Ｆ及び構成要素１１０Ｇで構成されている指定データをｔ−１の時点の第１指定データとすると、ｔ−１の時点の第１指定データは、ｔ−２の時点の第１指定データに対し、構成要素１１０Ｇが追加されている。なお、構成要素１１０Ｇでは、キーワードはＮｕｌｌであるとする。

このため、ｔ−２の時点の第１指定データと第２指定データとを比較した場合、差分は、構成要素１１０Ｇの領域、属性、及び色×２となるが、ｔ−１の時点の第１指定データの重み情報には、構成要素１１０Ｇの領域、属性、及び色の重みの変更が反映されている。

従って、変更部１９は、ｔ−１の時点の第１指定データの重み情報を第２指定データの重み情報とし、構成要素１１０Ｈの色の重みを変更すれば、ｔ−２の時点の第１指定データから第２指定データまでの差分の重みを全て第２指定データの重み情報に反映できる。

なお、ここでは、第１構成要素の差分となる項目の重みの変更として一定値変更する例について説明したが、これに限定されず、第１構成要素の差分となる項目の重みを当該項目の修正度合いに応じて変更するようにしてもよい。

例えば、変更部１９は、第１構成要素の差分となる項目が領域の場合、第１指定データの第１構成要素の領域と第２指定データの第１構成要素の領域との差分を、重なり率、重心距離、面積比、及び形状変化（縦横比等）などの情報を用いて算出し、算出した値を０．０〜１．０に正規化する。そして、変更部１９は、第２指定データの重み情報が第１構成要素の領域の重みを示す場合、当該重みに正規化した値を加算した重みを当該領域の重みとし、当該重み情報が第１構成要素の領域の重みを示さない場合、デフォルトの重みに正規化した値を加算した重みを当該領域の重みとしてもよい。

また例えば、変更部１９は、第１構成要素の差分となる項目が属性の場合、第１指定データの第１構成要素の属性と第２指定データの第１構成要素の属性との差分を、属性間の関連性などの情報を用いて算出し、算出した値を０．０〜１．０に正規化する。属性間の関連性は、近いほど値が小さい。例えば、表には文字が多く含まれているので、表と文字との関連性は近く、写真には文字や罫線が含まれていないので、表と写真との関連性は遠いなどとすることができる。なお単純に、属性が一致すれば、正規化した値は０．０、属性が一致しなければ、正規化した値は１．０、などとしてもよい。そして、変更部１９は、第２指定データの重み情報が第１構成要素の属性の重みを示す場合、当該重みに正規化した値を加算した重みを当該属性の重みとし、当該重み情報が第１構成要素の属性の重みを示さない場合、デフォルトの重みに正規化した値を加算した重みを当該属性の重みとしてもよい。

また例えば、変更部１９は、第１構成要素の差分となる項目が色の場合、第１指定データの第１構成要素の色と第２指定データの第１構成要素の色との差分を、ＲＧＢ色空間上の距離、ＨＳＶ色空間上の距離、又はＬ＊ａ＊ｂ＊色空間上の距離などの情報を用いて算出し、算出した値を０．０〜１．０に正規化する。そして、変更部１９は、第２指定データの重み情報が第１構成要素の色の重みを示す場合、当該重みに正規化した値を加算した重みを当該色の重みとし、当該重み情報が第１構成要素の色の重みを示さない場合、デフォルトの重みに正規化した値を加算した重みを当該色の重みとしてもよい。

また例えば、変更部１９は、第１構成要素の差分となる項目がキーワードの場合、第１指定データの第１構成要素のキーワードと第２指定データの第１構成要素のキーワードとの差分を、変更された文字数の割合や意味の類似性などの情報を用いて算出し、算出した値を０．０〜１．０に正規化する。そして、変更部１９は、第２指定データの重み情報が第１構成要素のキーワードの重みを示す場合、当該重みに正規化した値を加算した重みを当該キーワードの重みとし、当該重み情報が第１構成要素のキーワードの重みを示さない場合、デフォルトの重みに正規化した値を加算した重みを当該キーワードの重みとしてもよい。

なお、意味の類似性の算出手法については、例えば、グエン・ベト・ハー他：“単語の意味の類似性判別のための大規模概念ベース”,情報処理学会論文誌 Ｖｏ．２３ Ｎｏ．１０、２００２．に開示されている。

第２記憶部２１は、複数のコンテンツを記憶する。コンテンツは、前述の通り、文書やＷｅｂページなどのデジタル文書、及び手書き文書などが挙げられる。

検索部２３は、第１構成要素の項目と、当該項目の変更後の重みと、第１指定データに対し第２指定データにおいて差分が生じていない構成要素である第２構成要素の項目と、当該項目の重みと、に基づいて、コンテンツを検索する。

第２構成要素の項目の重みは、第２指定データの重み情報が示す第２構成要素の項目の重みである。なお、第２構成要素の項目の重みは、変更部１９により変更されていないため、第２指定データの重み情報が示す第２構成要素の項目の重みは、第１指定データの重み情報が示す第２構成要素の項目の重みと同一である。

具体的には、検索部２３は、第２記憶部２１に記憶されている複数のコンテンツそれぞれ毎に、第１構成要素の項目との第１類似度を算出して当該第１構成要素の項目の変更後の重みを乗じ第１重み付き類似度を算出するとともに、第２構成要素の項目との第２類似度を算出して当該第２構成要素の項目の重みを乗じ第２重み付き類似度を算出して、第１重み付き類似度と第２重み付き類似度とを平均化した尤度を算出する。そして検索部２３は、複数のコンテンツの中から尤度が閾値（第１閾値の一例）を超えるコンテンツを検索する。

なお、第２記憶部２１に記憶されているコンテンツがデジタル文書の場合、メタ情報などとして、当該コンテンツの構成要素の領域、属性、色、及びキーワードを特定可能な情報を含んでいる。このため、コンテンツがデジタル文書の場合、当該コンテンツを解析することで、構成要素の領域、属性、色、及びキーワードを特定できる。

但し、構成要素が写真などラスタライズされたオブジェクトの場合、当該オブジェクトを解析して色を特定する。例えば、色空間を等分したビンを用意し、オブジェクトの各ピクセルの色情報を最も近いビンに投票をしていくことで色ヒストグラムを生成し、この色ヒストグラムを構成要素の色に用いてもよい。なお、色ヒストグラムの各ビンに対して、値が閾値以上であれば当該値を１、値が閾値以上であれば当該値を０に変更してもよい。このようにすれば、色ヒストグラムが背景色に支配されにくく、ワンポイントの色を特定しやすくなる。

また、第２記憶部２１に記憶されているコンテンツが手書き文書の場合も、手書きデータを構成するストロークそれぞれが属するクラスや位置を解析することで、当該コンテンツの構成要素の領域、属性、色、及びキーワードを特定できる。クラスは、例えば、文字、図形、表、画像、絵、数式、地図、及びユーザが追記したメモなどの少なくともいずれかである。

なお、ストロークが属するクラスは、ストロークの集合を空間的又は時間的まとまりで構造化し、構造化した構造単位で、当該構造に帰属するストロークが属するクラスを決定する手法や、ストローク毎に、当該ストロークの周囲に存在する１以上の周辺ストロークを抽出し、当該ストロークと抽出した１以上の周辺ストロークとの組合せの特徴に関する組合せ特徴量を算出し、算出した組合せ特徴量で当該ストロークが属するクラスを決定する手法などで決定しておけばよい。

組合せ特徴量は、対象ストロークと１以上の周辺ストロークの少なくともいずれかとの関係を示す第１特徴量を含む。また、組合せ特徴量は、対象ストロークの形状に関する特徴量と１以上の周辺ストロークそれぞれの形状に関する特徴量との総和である総和値を用いた第２特徴量を含む。

第１特徴量は、対象ストロークと１以上の周辺ストロークの少なくともいずれかとの形状の類似度、及び対象ストロークと１以上の周辺ストロークの少なくともいずれかとの位置関係を特定する特定値の少なくとも一方である。

形状の類似度は、例えば、対象ストロークと１以上の周辺ストロークの少なくともいずれかとの長さ、曲率総和、主成分方向、外接矩形面積、外接矩形長、外接矩形縦横比、始点・終点距離、方向密度ヒストグラム、及び屈曲点数の少なくともいずれかの類似度である。つまり、形状の類似度は、例えば、対象ストロークのストローク特徴量と１以上の周辺ストロークの少なくともいずれかのストローク特徴量との類似度とすることができる。

特定値は、例えば、対象ストロークと１以上の周辺ストロークの少なくともいずれかとの外接矩形の重なり率、重心距離、重心距離の方向、端点距離、端点距離の方向、及び交差点数の少なくともいずれかである。

第２特徴量は、例えば、組合せの外接矩形長に対する対象ストロークの長さと１以上の周辺ストロークそれぞれの長さとの総和の比、対象ストローク及び１以上の周辺ストロークの方向密度ヒストグラムの総和値、及び組合せの外接矩形面積に対する対象ストロークの外接矩形面積と１以上の周辺ストロークそれぞれの外接矩形面積との総和の比の少なくともいずれかである。

ここで、コンテンツの検索手法について説明する。

まず、検索部２３は、第２記憶部２１から尤度を未算出のコンテンツを取得し、第１構成要素と、当該コンテンツを構成する各構成要素との領域の類似度を算出する。領域の類似度は、重なり率、重心距離、面積比、及び形状変化（縦横比等）などを用いて算出する。

次に、検索部２３は、第１構成要素と、各構成要素のうち第１構成要素との領域の類似度が最も高い構成要素（以下、「対応構成要素」と称する）との属性、色、及びキーワードの類似度を算出する。

色の類似度は、第１構成要素のＲＧＢに対応する色ヒストグラムの所定のビンと対応構成要素のＲＧＢに対応する色ヒストグラムの所定のビンとの類似度とすることができる。所定のビンは、例えば、指定データで指定された色のビンなどとできる。なお、指定データで複数色が指定された場合、指定された各色のビンをヒストグラムにして類似度とすればよい。ヒストグラム間の類似度は、Ｂｈａｔｔａｃｈａｒｙｙａ距離を算出することで求められる。

属性の類似度は、一致すれば、１．０、属性が一致しなければ、０．０などとすることができる。なお、変更部１９で説明したように、属性間の関連性などの情報を用いて類似度を求めてもよい。

キーワードの類似度は、第１構成要素のキーワードが対応構成要素内の文字列に含まれていれば、１．０、含まれていなければ、０．０などとしてもよいし、対応構成要素内の文字列を構成する各単語と第１構成要素とのキーワードの類似度を算出し、最も値の大きい類似度などとしてもよい。類似度の算出は、変更部１９で説明した方法を用いればよい。

そして、検索部２３は、第１構成要素の領域の類似度、色の類似度、属性の類似度、キーワードの類似度に、それぞれ、第１指定データの重み情報が示す第１構成要素の領域の重み、色の重み、属性の重み、キーワードの重みを掛け合わせ、合算することで、第１重み付き類似度を算出する。

更に、検索部２３は、第２重み付き類似度についても第１重み付き類似度と同様の手法で算出し、第１重み付き類似度と第２重み付き類似度とを平均化した尤度を算出する。

検索部２３は、第２記憶部２１に記憶された各コンテンツに対し、上述の手法で尤度を求め、尤度が閾値を超えるコンテンツを検索する。

なお検索部２３は、第１類似度を算出する場合、差分となる項目の修正度合いに応じた類似度算出手法で算出してもよい。具体的には、検索部２３は、修正度合いが閾値（第２閾値の一例）未満の場合、類似度が高くなりにくい類似度算出手法で算出し、修正度合いが閾値（第２閾値の一例）以上の場合、類似度が高くなりやすい類似度算出手法で算出してもよい。なお、修正度合いについては、変更部１９で説明した方法で求めることができる。

類似度が高くなりにくい類似度算出手法とは、具体的には、類似性を詳細に判断する手法が挙げられる。この場合、領域であれば、形状変化を重視して領域の類似度を求めればよい。また、属性であれば、対応構成要素の内容を用いて、属性の類似度を求めればよい。また、色であれば、色ヒストグラムの色割合を用いて、色の類似度を求めればよい。また、キーワードであれば、対応構成要素に含まれる当該キーワードの位置を考慮してキーワードの類似度を求めればよい。

類似度が高くなりやすい類似度算出手法とは、具体的には、類似性を簡易に判断する手法が挙げられる。この場合、領域であれば、第１構成要素の領域を一定割合変倍して領域の類似度を求めればよい。また、属性であれば、属性間の関連性を広げて、属性の類似度を求めればよい。また、色であれば、色空間上で近接する色ヒストグラムのビンを用いて、色の類似度を求めればよい。また、キーワードであれば、単語間の関連性を広げて、キーワードの類似度を求めればよい。

表示制御部２５は、検索部２３により検索されたコンテンツを表示部２７（例えば、図２の検索結果表示領域１０８）に表示する。なお表示制御部２５は、第１構成要素及び第２構成要素の少なくともいずれかを、検索されたコンテンツに重畳して表示してもよい。

例えば、第１構成要素及び第２構成要素のうち最も領域の類似度が高い構成要素に対応するオブジェクトを、検索されたコンテンツに重畳して表示してもよいし、第１構成要素及び第２構成要素それぞれに対応するオブジェクトを、検索されたコンテンツに重畳して表示してもよい。

また、重畳するオブジェクトの色を検索部２３により算出された領域の類似度、属性の類似度、色の類似度、及びキーワードの類似度に応じて変更してもよい。例えば、図１３に示すように、領域一致度（領域の類似度）、色一致度（色の類似度）、内容一致度（属性の類似度とキーワードの類似度との平均値）を、それぞれ、ＲＧＢに対応させることで定まる色にオブジェクトの色を変更してもよい。

例えば、第２指定データが、図１４に示すように、構成要素１１０Ｐ及び構成要素１１０Ｑで構成されている指定データであり、最も領域一致度が高い構成要素が構成要素１１０Ｐであるとする。この場合、表示制御部２５は、図１５に示すように、検索されたコンテンツ１６０に対し、構成要素１１０Ｐに対応するオブジェクト１５１Ｐを重畳して表示し、オブジェクト１５１Ｐの色を、上述の手法で定まる色としている。

また例えば、図１３に示すように、領域一致度（領域の類似度）、色一致度（色の類似度）、内容一致度（属性の類似度とキーワードの類似度との平均値）で定まる三角形の面積に応じて、オブジェクトの色を変更してもよい。

例えば、第２指定データが、図１４に示すように、構成要素１１０Ｐ及び構成要素１１０Ｑで構成されている指定データであるとする。この場合、表示制御部２５は、図１６に示すように、検索されたコンテンツ１６０に対し、構成要素１１０Ｐに対応するオブジェクト１５１Ｐを重畳するとともに、構成要素１１０Ｑに対応するオブジェクト１５１Ｑを重畳して表示し、オブジェクト１５１Ｐ及びオブジェクト１５１Ｑの色を、上述の手法で定まる色としている。

また例えば、図１３に示すように、領域一致度（領域の類似度）、色一致度（色の類似度）、内容一致度（属性の類似度とキーワードの類似度との平均値）で定まる三角形をオブジェクトに合成して重畳してもよい。

例えば、第２指定データが、図１４に示すように、構成要素１１０Ｐ及び構成要素１１０Ｑで構成されている指定データであるとする。この場合、表示制御部２５は、図１７に示すように、検索されたコンテンツ１６０に対し、構成要素１１０Ｐに対応するオブジェクト１５２Ｐを重畳するとともに、構成要素１１０Ｑに対応するオブジェクト１５２Ｑを重畳して表示し、オブジェクト１５２Ｐ及びオブジェクト１５２Ｑに、上述の手法で定まる三角形を合成している。

なお、重畳するオブジェクトの色を、各項目の類似度ではなく各項目の重みに応じて変更してもよい。この場合、上述した手法における各項目の類似度を各項目の重みに置き換えればよい。

また、表示制御部２５は、検索部２３により複数のコンテンツが検索された場合、検索されたコンテンツを尤度の高い順に、検索結果表示領域１０８（図２参照）に表示する。また、表示制御部２５は、最新の指定データ（第２指定データ）だけでなく、過去の指定データ（第１指定データ）も考慮して検索されている旨を更に表示してもよい。

図１８は、第１実施形態の検索装置１０で行われる処理の手順の流れの一例を示すフローチャートである。

まず、受付部１３は、入力部１１から今回の指定データの入力を受け付け、第１記憶部１５に記憶する（ステップＳ１０１）。

続いて、抽出部１７は、第１記憶部１５から前回の指定データを取得し（ステップＳ１０３）、前回の指定データに対し今回の指定データにおいて差分が生じた構成要素である第１構成要素を抽出する（ステップＳ１０５）。

続いて、変更部１９は、第１記憶部１５から前回の指定データの重み情報を取得して今回の指定データの重み情報とし、当該重み情報が第１構成要素の差分となる項目の重みを示す場合、当該重みを変更し、当該重み情報が第１構成要素の差分となる項目の重みを示さない場合、デフォルトの重みを変更し、変更後の重み情報を今回の指定データに対応付けて、第１記憶部１５に記憶する（ステップＳ１０７）。

続いて、検索部２３は、第２記憶部２１に記憶されている複数のコンテンツそれぞれ毎に、第１構成要素の項目との第１類似度を算出して当該第１構成要素の項目の変更後の重みを乗じ第１重み付き類似度を算出するとともに、第２構成要素の項目との第２類似度を算出して当該第２構成要素の項目の重みを乗じ第２重み付き類似度を算出して、第１重み付き類似度と第２重み付き類似度とを平均化した尤度を算出し、複数のコンテンツの中から尤度が閾値を超えるコンテンツを検索する（ステップＳ１０９）。

続いて、表示制御部２５は、検索部２３により検索されたコンテンツを表示部２７に表示する（ステップＳ１１１）。

続いて、処理が終了されず、再検索が行われる場合（ステップＳ１１３でＮｏ）、ステップＳ１０１へ戻り、再検索が行われない場合（ステップＳ１１３でＹｅｓ）、処理を終了する。

以上のように第１実施形態によれば、クエリである指定データを修正すると、修正された構成要素の項目の重みが自動的に変更されるため、構成要素の項目の重みにユーザ検索意図を簡易に反映してコンテンツを検索することができる。

例えば、図１９に示すように、構成要素１１０Ｒ及び構成要素１１０Ｓで構成されている指定データでコンテンツを検索した結果、図２０に示す各コンテンツが検索されたとする。構成要素１１０Ｓの色は黒であるため、図２０に示す各コンテンツにおいて構成要素１１０Ｓに対応する構成要素１６１〜１６３は、いずれも黒や紺など黒に近い色の構成要素となる。

ここで、ユーザが所望するコンテンツの構成要素１１０Ｓに対応する構成要素の色は、赤であるため、図２１に示すように、構成要素１１０Ｒと、構成要素１１０Ｓの色を黒から赤に変更した構成要素１１０Ｔで構成されている指定データでコンテンツを再検索したとする。

この場合、第１実施形態では、構成要素１１０Ｔの色の重みが大きくなるため、再検索では、構成要素１１０Ｔの色に重きを置いた検索が行われ、図２２に示すように、再検索された各コンテンツにおいて構成要素１１０Ｔに対応する構成要素１６４〜１６６は、いずれも赤色の構成要素となる。

なお、構成要素１１０Ｔの色に重きを置かずに検索が行われた場合、再検索された各コンテンツにおいて構成要素１１０Ｔに対応する構成要素は、赤色以外の構成要素も含まれることが想定され、図２２に示すような再検索結果は得られない。

（変形例１）
上記実施形態では、第１構成要素の差分となる項目の重みを増やす例について説明したが、増減を指定できるようにしてもよい。この場合、図２に示す画面において、増減を指定するボタンを追加すればよい。そして、変更部１９は、増が指定されている場合、第１構成要素の差分となる項目の重みを増やし、減が指定されている場合、第１構成要素の差分となる項目の重みを減らせばよい。

（変形例２）
上記実施形態において、検索結果から指定データの構成要素を指定できるようにしてもよい。例えば、図２３に示す例において、検索結果表示領域１０８に表示されているコンテンツ１２０内の下部の図形を選択することで、入力窓１０１に構成要素１１０Ｃを入力できるようにしてもよい。

（第２実施形態）
第２実施形態では、指定データを手書き入力する例について説明する。以下では、第１実施形態との相違点の説明を主に行い、第１実施形態と同様の機能を有する構成要素については、第１実施形態と同様の名称・符号を付し、その説明を省略する。

図２４は、第２実施形態の検索装置１０１０の一例を示す構成図である。図２４に示すように、第２実施形態では、検索装置１０１０は、認識部１０１４、抽出部１０１７、変更部１０１９、及び表示制御部１０２５が、第１実施形態と相違する。

入力部１１は、指定データを手書きして入力する。例えば、入力部１１は、図２に示す入力窓１０１にデジタルペンなどで手書きされた指定データを入力する。

認識部１０１４は、受付部１３により受け付けられた指定データを認識し、認識前の指定データと認識後の指定データとを対応付けて第１記憶部１５に記憶する。

指定データが手書きされる場合、指定データは、ペンダウンからペンアップまでのストロークの時系列の集合で表される。各ストロークは、時系列に並ぶ（ｘ，ｙ）の２次元の点情報の集合、当該ストロークの色、及び当該ストロークの筆圧などで表される。

認識部１０１４は、指定データから閉ループを構成するストローク群を、構成要素の領域に認識する。また認識部１０１４は、閉ループを構成するストローク群に内包されるストローク群を文字認識し、文字、図、表、及び写真など属性を表す単語であれば、当該構成要素の属性を文字認識された単語の属性とし、属性以外を表す単語であれば、当該構成要素のキーワードを文字認識された単語とする。

例えば、図２５に示すように、指定データ内に、閉ループを構成するストローク群１７１と当該ストローク群１７１に内包されるストローク群１７２とがある場合、認識部１０１４は、図２６に示すように、ストローク群１７１を構成要素の領域１７３に認識し、ストローク群１７２を構成要素の属性（文字）１７４に認識する。

また認識部１０１４は、閉ループを構成するストローク群及び当該ストローク群に内包されるストローク群の色をヒストグラム化し、当該構成要素の色に認識する。ストローク群が複数色を含んでいる場合、同一色のストロークの本数を色ヒストグラムのビンに投票をしてもよいし、ストロークの長さに応じて投票する値を変えてもよい。

また認識部１０１４は、ストロークの筆圧から変形例１で説明した重みの増減の指定を認識してもよい。この場合、閉ループを構成するストローク群及び当該ストローク群に内包されるストローク群の各ストロークに筆圧を平均化し、閾値以上であれば、閉ループを構成するストローク群及び当該ストローク群に内包されるストローク群から認識される構成要素に対し重みの増が指定されていると認識し、閾値未満であれば当該構成要素に対し重みの減が指定されていると認識すればよい。

また認識部１０１４は、閉ループを構成するストローク群及び当該ストローク群に内包されるストローク群が２度書きされている場合や、内包されるストローク群に丸囲いや下線のストロークが含まれる場合、閉ループを構成するストローク群及び当該ストローク群に内包されるストローク群から認識される構成要素に対し重みの増が指定されていると認識してもよい。

２度書きについては、互いのストロークの一致する割合が閾値以上なら、２度書きと認識すればよい。

丸囲いについては、閉ループを構成するストローク群に内包されるストローク群に、始点と終点が一定距離以内、かつ、長さが外接矩形の対角長の一定倍以上のストロークがあり、当該ストローク内に更にストローク群があれば、当該ストロークを丸囲いと認識すればよい。なお、外接矩形は当該ストロークに外接する矩形である。

なお、丸囲いが一筆書きで何重にも繰り返されている場合、繰り返し回数により重みの変更量の指定を認識するようにしてもよい。この場合、自ストロークとの交点の数が閾値以上であれば丸囲いが一筆書きで何重にも繰り返されていると認識し、始点の近くを通った回数を繰り返し回数として認識すればよい。

下線については、閉ループを構成するストローク群に内包されるストローク群に、始点と終点が一定距離以上、かつ曲率が一定以内のストロークがあり、当該ストローク外接矩形を上方向に一定の幅拡張した矩形内に更にストローク群があれば、当該ストロークを下線と認識すればよい。

また認識部１０１４は、閉ループを構成するストローク群に内包されるストローク群から“！”という文字を認識した場合には、閉ループを構成するストローク群及び当該ストローク群に内包されるストローク群から認識される構成要素に対し重みの増が指定されていると認識し、閉ループを構成するストローク群に内包されるストローク群から“？”という文字を認識した場合には、閉ループを構成するストローク群及び当該ストローク群に内包されるストローク群から認識される構成要素に対し重みの減が指定されていると認識してもよい。

抽出部１０１７は、認識部１０１４により認識された第１指定データに対し認識部１０１４により認識された第２指定データから第１構成要素を抽出する。なお抽出部１０１７は、差分が認識部１０１４の認識誤りに伴う修正により生じた場合、当該差分が生じた構成要素を第１構成要素として抽出しない。

例えば、指定データにおいて手書きした構成要素が、ユーザの意図通りに認識されなかったため、当該構成要素を書き直した結果ユーザの意図通りに認識されたとする。この場合、第１指定データの構成要素がユーザの意図通りに認識されなかった構成要素、第２指定データの構成要素がユーザの意図通りに認識された構成要素として、差分が抽出されることは好ましくない。

このため、抽出部１０１７は、まず、第１指定データの構成要素であるユーザの意図通りに認識されなかった構成要素のストローク群と第２指定データの構成要素であるユーザの意図通りに認識された構成要素のストローク群との類似度を算出し、類似度が閾値以上であれば、この差分が生じた構成要素を第１構成要素として抽出しない。

つまり、差分が生じた構成要素の類似度が閾値以上であれば、差分が認識部１０１４の認識誤りに伴う修正により生じたと判断し、ユーザの意図通りに認識されなかった構成要素が入力される前の指定データを第１指定データとして、第１構成要素の抽出をやり直す。

なお、ストローク群間の類似度の算出は例えば、Tomoyuki Shibata et.al.: “Fast and Memory Efficient Online Handwritten Strokes Retrieval Using Binary Descriptor”, ACPR2013, 2013.に開示されている。

変更部１０１９は、抽出部１０１７により抽出された第１構成要素の差分となる項目の重みを変更する。なお変更部１０１９は、第１構成要素への増の指定が認識部１０１４により認識されている場合、当該第１構成要素の差分となる項目の重みを増やし、第１構成要素への減の指定が認識部１０１４により認識されている場合、当該第１構成要素の差分となる項目の重みを減らす。

また変更部１０１９は、抽出部１０１７により領域、属性、色、及びキーワードのうち２以上の項目が修正された第１構成要素が抽出されている場合、当該２以上の項目のうち修正度合いが閾値（第３閾値の一例）を超えている項目の重みを変更する。

例えば、第１指定データの構成要素の属性を第２指定データにおいて修正する際に、当該構成要素の属性だけでなく領域の一部も削除してしまったため、当該構成要素の属性及び領域の一部を書き直したとする。この場合、当該構成要素の領域についても重みを変更することは、ユーザの意図に反する。このため、変更部１０１９は、２以上の項目が修正された第１構成要素が抽出されている場合、当該２以上の項目のうち修正度合いが閾値を超えている項目の重みを変更する。これにより、書き直しが修正とみなされてしまうことを防止できる。なお、修正度合いは、第１実施形態で説明した通り、正規化されているため、閾値は、各項目共通で用いることができる。

表示制御部１０２５は、検索部２３により検索されたコンテンツを表示部２７（例えば、図２の検索結果表示領域１０８）に表示する。なお表示制御部１０２５は、図２７に示すように、手書きの構成要素を、検索されたコンテンツに重畳して表示してもよい。図２７に示す例では、構成要素１８１及び１８２で構成されるコンテンツに対し、手書きの構成要素１１０Ｒ及び１１０Ｓが重畳して表示されている。

以上のように第２実施形態においても第１実施形態と同様の効果を奏することができる。

（変形例３）
上記第２実施形態で説明した重みの変更量の指定や書き直しを修正とみなさないための処理などを上記第１実施形態で行うようにしてもよい。

（変形例４）
上記各実施形態では、検索装置が第２記憶部を備える例について説明したが、検索装置の外部（例えば、クラウド上）に第２記憶部を設けるようにしてもよい。また、検索装置が備える第２記憶部以外の構成をクラウド化してもよいし、複数の装置に分散して検索装置を実現してもよい。

（ハードウェア構成）
図２８は、上記各実施形態及び各変形例の検索装置のハードウェア構成の一例を示す図である。上記実施形態及び各変形例の検索装置は、ＣＰＵなどの制御装置９０１と、ＲＯＭやＲＡＭなどの記憶装置９０２と、ＨＤＤなどの外部記憶装置９０３と、ディスプレイなどの表示装置９０４と、キーボードやマウスなどの入力装置９０５と、通信インタフェースなどの通信装置９０６と、を備えており、通常のコンピュータを利用したハードウェア構成となっている。

上記各実施形態及び各変形例の検索装置で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、ＣＤ−Ｒ、メモリカード、ＤＶＤ（Digital Versatile Disk）、フレキシブルディスク（ＦＤ）等のコンピュータで読み取り可能な記憶媒体に記憶されて提供される。

また、上記各実施形態及び各変形例の検索装置で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するようにしてもよい。また、上記各実施形態及び各変形例の検索装置で実行されるプログラムを、インターネット等のネットワーク経由で提供または配布するようにしてもよい。また、上記各実施形態及び各変形例の検索装置で実行されるプログラムを、ＲＯＭ等に予め組み込んで提供するようにしてもよい。

上記各実施形態及び各変形例の検索装置で実行されるプログラムは、上述した各部をコンピュータ上で実現させるためのモジュール構成となっている。実際のハードウェアとしては、ＣＰＵがＨＤＤからプログラムをＲＡＭ上に読み出して実行することにより、上記各部がコンピュータ上で実現されるようになっている。

なお、本発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施形態に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。

例えば、上記第１実施形態のフローチャートにおける各ステップを、その性質に反しない限り、実行順序を変更し、複数同時に実施し、あるいは実施毎に異なった順序で実施してもよい。

以上のように、上記各実施形態及び各変形例によれば、検索に用いられる１以上の構成要素それぞれの１以上の項目の重みに、ユーザの意図を簡易に反映してコンテンツを検索することができる。

１０、１０１０ 検索装置
１１ 入力部
１３ 受付部
１５ 第１記憶部
１７ 抽出部
１９ 変更部
２１ 第２記憶部
２３ 検索部
２５ 表示制御部
２７ 表示部
１０１４ 認識部

Claims (20)

1. １以上の構成要素それぞれの領域、属性、色、及びキーワードの少なくともいずれかの項目を指定する第１指定データの入力を受け付けるとともに、当該第１指定データを受け付けた後に、当該第１指定データを修正した第２指定データの入力を受け付ける受付部と、
   前記第１指定データに対し前記第２指定データにおいて差分が生じた構成要素である第１構成要素を抽出する抽出部と、
   抽出された前記第１構成要素の差分となる項目の重みを変更する変更部と、
   前記第１構成要素の項目と、当該項目の変更後の重みと、前記第１指定データに対し前記第２指定データにおいて差分が生じていない構成要素である第２構成要素の項目と、当該項目の重みと、に基づいて、コンテンツを検索する検索部と、
   前記コンテンツを表示部に表示する表示制御部と、
   を備える検索装置。
2. 前記第１指定データと、前記１以上の構成要素それぞれの項目の重みを示す重み情報と、を記憶する第１記憶部を更に備え、
   前記受付部は、前記第１指定データの入力の次に前記第２指定データの入力を受け付け、
   前記変更部は、前記重み情報が前記第１構成要素の差分となる項目の重みを示す場合、当該重みを変更し、前記重み情報が前記第１構成要素の差分となる項目の重みを示さない場合、デフォルトの重みを変更し、
   前記第２構成要素の項目の重みは、前記重み情報が示す前記第２構成要素の項目の重みである請求項１に記載の検索装置。
3. 前記変更部は、抽出された前記第１構成要素の差分となる項目が領域の場合、当該領域の重みを変更する請求項１に記載の検索装置。
4. 前記変更部は、抽出された前記第１構成要素の差分となる項目が属性の場合、当該属性の重みを変更する請求項１に記載の検索装置。
5. 前記変更部は、抽出された前記第１構成要素の差分となる項目が色の場合、当該色の重みを変更する請求項１に記載の検索装置。
6. 前記変更部は、抽出された前記第１構成要素の差分となる項目がキーワードの場合、当該キーワードの重みを変更する請求項１に記載の検索装置。
7. 前記変更部は、抽出された前記第１構成要素の差分となる項目の重みを一定値変更する請求項１に記載の検索装置。
8. 前記変更部は、抽出された前記第１構成要素の差分となる項目の重みを当該項目の修正度合いに応じて変更する請求項１に記載の検索装置。
9. 前記第２指定データは、増減を更に指定し、
   前記変更部は、前記増が指定されている場合、抽出された前記第１構成要素の差分となる項目の重みを増やし、前記減が指定されている場合、抽出された前記第１構成要素の差分となる項目の重みを減らす請求項１に記載の検索装置。
10. 複数のコンテンツを記憶する第２記憶部を更に備え、
    前記検索部は、前記複数のコンテンツそれぞれ毎に、前記第１構成要素の項目との第１類似度を算出して当該第１構成要素の項目の変更後の重みを乗じ第１重み付き類似度を算出するとともに、前記第２構成要素の項目との第２類似度を算出して当該第２構成要素の項目の重みを乗じ第２重み付き類似度を算出して、前記第１重み付き類似度と前記第２重み付き類似度とを平均化した尤度を算出し、前記複数のコンテンツの中から前記尤度が第１閾値を超えるコンテンツを検索する請求項１に記載の検索装置。
11. 前記検索部は、前記第１構成要素の項目との前記第１類似度を算出する場合、当該項目の修正度合いに応じた類似度算出手法で算出する請求項１０に記載の検索装置。
12. 前記検索部は、前記修正度合いが第２閾値未満の場合、類似度が高くなりにくい類似度算出手法で前記第１類似度を算出する請求項１１に記載の検索装置。
13. 前記検索部は、前記修正度合いが第２閾値以上の場合、類似度が高くなりやすい類似度算出手法で前記第１類似度を算出する請求項１２に記載の検索装置。
14. 前記表示制御部は、前記第１構成要素及び前記第２構成要素の少なくともいずれかを前記コンテンツに重畳して表示する請求項１０に記載の検索装置。
15. 前記第１指定データ及び前記第２指定データは、手書きデータであり、
    前記受付部により受け付けられた前記第１指定データ及び前記第２指定データを認識する認識部を更に備え、
    前記抽出部は、認識された前記第１指定データに対し認識された前記第２指定データから前記第１構成要素を抽出する請求項１に記載の検索装置。
16. 前記認識部は、前記１以上の構成要素それぞれへの増減の指定を更に認識し、
    前記変更部は、前記第１構成要素への前記増の指定が認識されている場合、当該第１構成要素の差分となる項目の重みを増やし、前記第１構成要素への前記減の指定が認識されている場合、当該第１構成要素の差分となる項目の重みを減らす請求項１５に記載の検索装置。
17. 前記抽出部は、前記差分が前記認識部の認識誤りに伴う修正により生じた場合、当該差分が生じた構成要素を前記第１構成要素として抽出しない請求項１５に記載の検索装置。
18. 前記変更部は、前記抽出部により領域、属性、色、及びキーワードのうち２以上の項目が修正された第１構成要素が抽出されている場合、当該２以上の項目のうち修正度合いが第３閾値を超えている項目の重みを変更する請求項１５に記載の検索装置。
19. コンピュータが、１以上の構成要素それぞれの領域、属性、色、及びキーワードの少なくともいずれかの項目を指定する第１指定データの入力を受け付けるとともに、当該第１指定データを受け付けた後に、当該第１指定データを修正した第２指定データの入力を受け付ける受付ステップと、
    前記コンピュータが、前記第１指定データに対し前記第２指定データにおいて差分が生じた構成要素である第１構成要素を抽出する抽出ステップと、
    前記コンピュータが、抽出された前記第１構成要素の差分となる項目の重みを変更する変更ステップと、
    前記コンピュータが、前記第１構成要素の項目と、当該項目の変更後の重みと、前記第１指定データに対し前記第２指定データにおいて差分が生じていない構成要素である第２構成要素の項目と、当該項目の重みと、に基づいて、コンテンツを検索する検索ステップと、
    前記コンピュータが、前記コンテンツを表示部に表示する表示制御ステップと、
    を含む検索方法。
20. １以上の構成要素それぞれの領域、属性、色、及びキーワードの少なくともいずれかの項目を指定する第１指定データの入力を受け付けるとともに、当該第１指定データを受け付けた後に、当該第１指定データを修正した第２指定データの入力を受け付ける受付ステップと、
    前記第１指定データに対し前記第２指定データにおいて差分が生じた構成要素である第１構成要素を抽出する抽出ステップと、
    抽出された前記第１構成要素の差分となる項目の重みを変更する変更ステップと、
    前記第１構成要素の項目と、当該項目の変更後の重みと、前記第１指定データに対し前記第２指定データにおいて差分が生じていない構成要素である第２構成要素の項目と、当該項目の重みと、に基づいて、コンテンツを検索する検索ステップと、
    前記コンテンツを表示部に表示する表示制御ステップと、
    をコンピュータに実行させるためのプログラム。

Images