JP5683751B2

JP5683751B2 - 画像処理装置、画像処理装置の制御方法、プログラム、及び情報記憶媒体

Info

Publication number: JP5683751B2
Application number: JP2014512280A
Authority: JP
Inventors: 宗益子
Original assignee: Rakuten Inc
Current assignee: Rakuten Group Inc
Priority date: 2012-04-27
Filing date: 2012-04-27
Publication date: 2015-03-11
Anticipated expiration: 2032-04-27
Also published as: JPWO2013161086A1; EP2843624A1; EP2843624A4; ES2758716T3; US9489361B2; WO2013161086A1; US20150149875A1; EP2843624B1

Description

本発明は画像処理装置、画像処理装置の制御方法、プログラム、及び情報記憶媒体に関する。

画像に関連づけられた注釈情報を画像内に表示させる画像処理装置が知られている。このような画像処理装置では、例えば、注釈情報によって画像の特徴部分が隠れてしまうことがないようにすべく、画像の特徴部分以外の部分に注釈情報の表示領域を設定したり、注釈情報と画像の特徴部分との関連づけが分かり易くなるようにすべく、画像の特徴部分の付近に注釈情報の表示領域を設定したりすることが望まれる。

上記のようなことを実現するためには、画像の特徴部分、又は画像の特徴部分以外の部分を特定する必要がある。従来の画像処理装置では、画像の特徴部分、又は画像の特徴部分以外の部分を特定する方法として、画像の特徴部分、又は画像の特徴部分以外の部分を指定するようにユーザに要求する方法が採用されている。例えば、特許文献１に記載の画像処理装置では、画像の特徴部分（キー被写体）をユーザに選択させるようになっている。

特開２００４−２８９７０６号公報

従来の画像処理装置では、画像の特徴部分、又は画像の特徴部分以外の部分を人間が指定しなければならなかった。例えば特許文献１に記載された技術の場合、人間がキー被写体を選択しなければならなかった。

本発明は上記課題に鑑みてなされたものであって、その目的は、注釈情報の表示位置を対象画像の特徴部分を考慮して決定することを、対象画像の特徴部分、又は対象画像の特徴部分以外の部分を人間に指定させることなく実行することが可能な画像処理装置、画像処理装置の制御方法、プログラム、及び情報記憶媒体を提供することにある。

上記課題を解決するために、本発明に係る画像処理装置は、対象画像内に複数の領域を設定する領域設定手段と、前記複数の領域の各々について、該領域内の画素のエッジ量の合計値を算出する算出手段と、前記複数の領域の各々の前記合計値に基づいて、注釈情報の表示領域を決定する注釈情報表示領域決定手段と、前記注釈情報表示領域決定手段によって決定された表示領域に前記注釈情報が表示された前記対象画像のデータを出力するデータ出力手段と、を含むことを特徴とする。

また、本発明に係る画像処理装置の制御方法は、対象画像内に複数の領域を設定する領域設定ステップと、前記複数の領域の各々について、該領域内の画素のエッジ量の合計値を算出する算出ステップと、前記複数の領域の各々の前記合計値に基づいて、注釈情報の表示領域を決定する注釈情報表示領域決定ステップと、前記注釈情報表示領域決定ステップによって決定された表示領域に前記注釈情報が表示された前記対象画像のデータを出力するデータ出力ステップと、を含むことを特徴とする。

また、本発明に係るプログラムは、対象画像内に複数の領域を設定する領域設定手段、前記複数の領域の各々について、該領域内の画素のエッジ量の合計値を算出する算出手段、前記複数の領域の各々の前記合計値に基づいて、注釈情報の表示領域を決定する注釈情報表示領域決定手段、及び、前記注釈情報表示領域決定手段によって決定された表示領域に前記注釈情報が表示された前記対象画像のデータを出力するデータ出力手段、としてコンピュータを機能させるためのプログラムである。

また、本発明に係る情報記憶媒体は、対象画像内に複数の領域を設定する領域設定手段、前記複数の領域の各々について、該領域内の画素のエッジ量の合計値を算出する算出手段、前記複数の領域の各々の前記合計値に基づいて、注釈情報の表示領域を決定する注釈情報表示領域決定手段、及び、前記注釈情報表示領域決定手段によって決定された表示領域に前記注釈情報が表示された前記対象画像のデータを出力するデータ出力手段、としてコンピュータを機能させるためのプログラムを記録したコンピュータ読み取り可能な情報記憶媒体である。

また、本発明の一態様では、前記領域設定手段は、前記対象画像の特徴領域を検出するための複数の第１領域を前記画像内に設定する第１領域設定手段を含み、前記算出手段は、前記複数の第１領域の各々について、該第１領域内の画素のエッジ量の合計値を算出する第１算出手段を含み、前記画像処理装置は、前記複数の第１領域の各々の前記合計値に基づいて、前記特徴領域を検出する特徴領域検出手段を含み、前記領域設定手段は、前記注釈情報の表示領域を決定するための複数の第２領域を前記画像内に設定する第２領域設定手段をさらに含み、前記算出手段は、前記複数の第２領域の各々について、該第２領域内の画素のエッジ量の合計値を算出する第２算出手段をさらに含み、前記注釈情報表示領域決定手段は、前記複数の第２領域の各々の前記合計値と、前記特徴領域と、に基づいて、前記注釈情報の表示領域を決定するようにしてもよい。

また、本発明の一態様では、前記注釈情報表示領域決定手段は、前記特徴領域外にある第２領域の前記合計値に基づいて、前記特徴領域外にある第２領域のうちのいずれかを前記注釈情報の表示領域として決定するようにしてもよい。

また、本発明の一態様では、前記注釈情報表示領域決定手段は、前記特徴領域外にある第２領域のうちで、前記合計値が最も小さい第２領域を前記注釈情報の表示領域として決定するようにしてもよい。

また、本発明の一態様では、前記注釈情報表示領域決定手段は、前記特徴領域外にあり、かつ、前記合計値が基準値よりも小さい第２領域のうちのいずれかを前記注釈情報の表示領域として決定するようにしてもよい。

また、本発明の一態様では、前記注釈情報表示領域決定手段は、前記特徴領域内にある第２領域の前記合計値に基づいて、前記特徴領域内にある第２領域のうちのいずれかを前記注釈情報の表示領域として決定するようにしてもよい。

また、本発明の一態様では、前記注釈情報表示領域決定手段は、前記特徴領域内にある第２領域のうちで、前記合計値が最も小さい第２領域を前記注釈情報の表示領域として決定するようにしてもよい。

また、本発明の一態様では、前記注釈情報表示領域決定手段は、前記特徴領域内にあり、かつ、前記合計値が基準値よりも小さい第２領域のうちのいずれかを前記注釈情報の表示領域として決定するようにしてもよい。

また、本発明の一態様では、前記データ出力手段は、前記特徴領域をトリミングしてなるトリミング画像を取得する手段と、前記注釈情報表示領域決定手段によって決定された表示領域に前記注釈情報が表示された前記トリミング画像のデータを出力する手段と、を含むようにしてもよい。

また、本発明の一態様では、前記注釈情報表示領域決定手段は、前記複数の第２領域の各々の前記合計値と、前記第２領域と前記特徴領域の代表点又は境界との間の距離と、に基づいて、前記注釈情報の表示領域を決定するようにしてもよい。

また、本発明の一態様では、前記注釈情報表示領域決定手段は、前記合計値が基準値よりも小さい第２領域のうちで、前記距離が最も小さい第２領域を前記注釈情報の表示領域として決定するようにしてもよい。

また、本発明の一態様では、前記注釈情報表示領域決定手段は、前記合計値が基準値よりも小さく、かつ、前記距離が基準距離よりも小さい第２領域のうちのいずれかを前記注釈情報の表示領域として決定するようにしてもよい。

また、本発明の一態様では、前記注釈情報表示領域決定手段は、前記複数の第２領域の各々の前記合計値と、前記特徴領域と、前記第２領域の色情報と前記注釈情報の表示色情報との組み合わせと、に基づいて、前記注釈情報の表示領域を決定するようにしてもよい。

また、本発明の一態様では、前記複数の第２領域の各々について、該第２領域の前記合計値を、該第２領域の少なくとも一つの境界部分の画素のエッジ量の合計値で除することによって得られる除算値又はその逆数を算出する手段を含み、前記注釈情報表示領域決定手段は、前記複数の第２領域の各々の前記除算値又は前記逆数と、前記特徴領域と、に基づいて、前記注釈情報の表示領域を決定するようにしてもよい。

また、本発明の一態様では、前記第２算出手段は、前記第２領域内の画素のエッジ量の合計値として、前記第２領域内の画素のエッジ量の重み付き合計値を算出し、前記第２算出手段は、前記第２領域の中央部分の画素のエッジ量の重みを、前記第２領域の境界部分の画素のエッジ量の重みよりも高く設定するようにしてもよい。

また、本発明の一態様では、前記注釈情報表示領域決定手段は、前記複数の領域のうちで、前記合計値が最も小さい領域を前記注釈情報の表示領域として決定するようにしてもよい。

また、本発明の一態様では、前記注釈情報表示領域決定手段は、前記複数の領域のうちの、前記合計値が基準値より小さい領域のいずれかを前記注釈情報の表示領域として決定するようにしてもよい。

また、本発明の一態様では、前記複数の領域の各々の前記合計値に基づいて、前記特徴領域を検出する特徴領域検出手段を含み、前記注釈情報表示領域決定手段は、前記注釈情報の表示領域を前記特徴領域外に設定するようにしてもよい。

また、本発明の一態様では、前記複数の領域の各々について、該領域の前記合計値を、該領域の少なくとも一つの境界部分の画素のエッジ量の合計値で除することによって得られる除算値又はその逆数を算出する手段を含み、前記注釈情報表示領域決定手段は、前記複数の領域の各々の前記除算値又は前記逆数に基づいて、前記注釈情報の表示領域を決定するようにしてもよい。

また、本発明の一態様では、前記算出手段は、前記領域内の画素のエッジ量の合計値として、前記領域内の画素のエッジ量の重み付き合計値を算出し、前記算出手段は、前記領域の中央部分の画素のエッジ量の重みを、前記領域の境界部分の画素のエッジ量の重みよりも高く設定するようにしてもよい。

また、本発明の一態様では、前記エッジ量は、前記画素と該画素の周辺画素との間の輝度の差に関する量であってもよい。

また、本発明の一態様では、前記エッジ量は、前記画素と該画素の周辺画素との間の色相の差に関する量であってもよい。

また、本発明の一態様では、前記注釈情報の表示領域を決定するための複数種類の表示領域決定処理の各々に、画像のエッジ量の分布パターンに関する分布パターン情報を関連付けてなる関連付けデータを記憶する手段を含み、前記注釈情報表示領域決定手段は、前記複数の領域の各々の前記合計値に基づいて前記注釈情報の表示領域を決定することを、前記対象画像のエッジ量の分布パターンに関連づけられた表示領域決定処理によって実行するようにしてもよい。

また、本発明の一態様では、前記算出手段は、前記複数の領域の各々について、該領域内の画素の第１エッジ量の合計値を第１合計値として算出する手段と、前記複数の領域の各々について、該領域内の画素の第２エッジ量の合計値を第２合計値として算出する手段と、を含み、前記第１エッジ量は、前記画素と該画素の周辺画素との間の色相の差に関する量であり、前記第２エッジ量は、前記画素と該画素の周辺画素との間の輝度の差に関する量であり、前記複数種類の表示領域決定処理は、前記複数の領域の各々の前記第１合計値に基づいて、前記注釈領域の表示領域を決定する表示領域決定処理と、前記複数の領域の各々の前記第２合計値に基づいて、前記注釈領域の表示領域を決定する表示領域決定処理と、を含むようにしてもよい。

また、本発明の一態様では、前記領域設定手段は、前記対象画像内で領域を縦又は／及び横に移動させることによって、前記複数の領域を設定するようにしてもよい。

本発明によれば、注釈情報の表示位置を対象画像の特徴部分を考慮して決定することを、対象画像の特徴部分、又は対象画像の特徴部分以外の部分を人間に指定させることなく実行することが可能になる。

本発明の実施形態に係る画像処理装置のハードウェア構成の一例を示す図である。料理画像の一例を示す図である。注釈情報の一例を示す図である。注釈情報が表示された料理画像の一例を示す図である。料理画像の画素について説明するための図である。画像処理装置の機能ブロック図である。特徴領域候補について説明するための図である。特徴領域検出部について説明するための図である。表示領域候補について説明するための図である。注釈情報表示領域決定部について説明するための図である。画像処理装置で実行される処理の一例を示すフロー図である。画像処理装置で実行される処理の一例を示すフロー図である。画像処理装置で実行される処理の一例を示すフロー図である。表示領域候補データの一例を示す図である。複数の注釈情報が一つの対象画像に関連づけられている場合について説明するための図である。トリミング画像の一例を示す図である。特徴領域候補の境界部分について説明するための図である。複数種類の表示領域決定処理について説明するための図である。表示領域決定処理データの一例を示す図である。画像処理装置で実行される処理の他の一例を示すフロー図である。画像処理装置で実行される処理の他の一例を示すフロー図である。選択結果データの一例を示す図である。画像処理装置で実行される処理の他の一例を示すフロー図である。

以下、本発明の実施形態の例について図面に基づき詳細に説明する。

［第１実施形態］まず、本発明の第１実施形態について説明する。本発明の第１実施形態に係る画像処理装置は、例えばデスクトップ型コンピュータ、ラップトップ型コンピュータ、タブレット型コンピュータ、又はサーバコンピュータ等によって実現される。図１は、第１実施形態に係る画像処理装置１０のハードウェア構成の一例を示す。

図１に示すように、画像処理装置１０は制御部１１、記憶部１２、光ディスクドライブ部１３、通信インタフェース部１４、操作部１５、表示部１６、及び音声出力部１７を含む。

制御部１１は例えば１又は複数のマイクロプロセッサを含み、記憶部１２に記憶されたオペレーティングシステム又はプログラムに従って情報処理を実行する。記憶部１２は例えばＲＡＭ、ハードディスク、又はソリッドステートドライブを含む。光ディスクドライブ部１３は、光ディスク（情報記憶媒体）に記憶されたプログラムやデータを読み取る。

プログラムやデータは光ディスクを介して記憶部１２に供給される。すなわち、プログラムやデータが記憶された光ディスクが光ディスクドライブ部１３に装着され、プログラムやデータが光ディスクドライブ部１３によって光ディスクから読み出され、記憶部１２に記憶される。なお、光ディスクドライブ部１３は必須の構成要素ではない。光ディスク以外の情報記憶媒体（例えばメモリカード）に記憶されたプログラム又はデータを読み取るための構成要素が光ディスクドライブ部１３の代わりに含まれるようにしてもよい。そして、光ディスク以外の情報記憶媒体を介してプログラムやデータが記憶部１２に供給されるようにしてもよい。

通信インタフェース部１４は画像処理装置１０を通信ネットワークに接続するためのインタフェースである。画像処理装置１０は通信ネットワークを介して他の装置（例えばサーバ等）とデータを授受できるようになっている。なお、プログラム及びデータは通信ネットワークを介して記憶部１２に供給されるようにしてもよい。

操作部１５はユーザが操作を行うためのものである。例えば、キーボード、タッチパッド、マウス、タッチパネル、又はスティック（レバー）等が操作部１５に相当する。表示部１６は例えば液晶表示ディスプレイ等であり、音声出力部１７は例えばスピーカ又はヘッドホン端子等である。

画像処理装置１０はデータベース２０にアクセスできるようになっている。データベース２０は、画像処理装置１０以外の装置（例えばサーバ）において実現されていてもよいし、画像処理装置１０において実現されていてもよい。

データベース２０には画像が記憶される。例えば、図示しないＷｅｂサーバによって提供されるサービスによって公開される画像がデータベース２０に記憶される。例えば、投稿者によって投稿された画像を公開するサービスが提供される場合には、投稿者によって投稿された画像がデータベース２０に記憶される。

なお、以下では、投稿者によって投稿された料理画像がデータベース２０に記憶されることとして説明する。図２はデータベース２０に記憶される料理画像の一例を示す。図２に示す料理画像３０は、高さ（縦辺の画素数）が幅（横辺の画素数）よりも長い縦長の画像になっている。なお、データベース２０には、幅が高さよりも長い横長の画像も記憶されている。

データベース２０に記憶される料理画像３０には、投稿者によって入力された注釈情報が関連付けられている。図３は注釈情報の一例を示す。注釈情報は、例えば下記に示すような情報を含んでいる。
・注釈を示すテキスト情報
・注釈の表示色を示す情報
・注釈の表示サイズを示す情報
・注釈の書字方向（横書き又は縦書きのいずれか）を示す情報

図４は表示部１６に表示される料理画像３０の一例を示す。図４に示すように、注釈情報３２は料理画像３０内に表示される。例えば、注釈情報３２の表示位置は、料理画像３０の特徴部分を避けるようにして設定される。以下、注釈情報３２の表示位置を好適に決定するための技術について説明する。

なお、以下では、図５に示すように、料理画像３０の左上画素を原点とし、右方向をＸ軸正方向とし、下方向をＹ軸正方向とした座標系によって、料理画像３０の各画素を（ｘ，ｙ）のように表す。例えば、料理画像３０の左上画素を（０，０）と記載し、右上画素を（Ｗ−１，０）と記載する。また例えば、料理画像３０の左下画素を（０，Ｈ−１）と記載し、右下画素を（Ｗ−１，Ｈ−１）と記載する。なお、「Ｈ」は料理画像３０の高さを示し、「Ｗ」は料理画像３０の幅を示す。

図６は、第１実施形態に係る画像処理装置１０において実現される機能ブロックのうち、本発明に関連する機能ブロックを示す機能ブロック図である。図６に示すように、画像処理装置１０は領域設定部４０、算出部４２、特徴領域検出部４４、注釈情報表示領域決定部４６、及びデータ出力部４８を含む。

領域設定部４０は対象画像内に複数の領域を設定する。算出部４２は、領域設定部４０によって設定された複数の領域の各々について、該領域内の画素のエッジ量の合計値を算出する。ここで、「対象画像」とは、処理の対象となる画像であり、本実施形態の場合、投稿者によって投稿された料理画像３０が「対象画像」に相当する。なお、「エッジ量」については後述する。

領域設定部４０は第１領域設定部４０Ａを含み、算出部４２は第１算出部４２Ａを含む。
第１領域設定部４０Ａ及び第１算出部４２Ａは特徴領域検出部４４のための機能ブロックである。特徴領域検出部４４は対象画像の特徴領域を検出する。「特徴領域」とは、画像を見る者が最も注目する領域であり、被写体が写っている領域である。例えば、料理画像３０の場合、料理が写っている領域が「特徴領域」に相当する。

ここで、第１領域設定部４０Ａ、第１算出部４２Ａ、及び特徴領域検出部４４の動作について説明する。

第１領域設定部４０Ａは、対象画像の特徴領域を検出するための複数の第１領域を対象画像内に設定する。なお、以下では、説明の簡便のため、第１領域設定部４０Ａによって設定される第１領域のことを「特徴領域候補」と呼ぶ。

図７は特徴領域候補について説明するための図である。例えば、特徴領域候補５０は長方形領域又は正方形領域である。例えば、特徴領域候補５０の大きさは予め定められた大きさに設定される。すなわち、特徴領域候補５０の高さ（ｈａ）及び幅（ｗａ）は予め定められた長さに設定される。

または、特徴領域候補５０の大きさは対象画像の大きさに基づいて設定される。例えば、特徴領域候補５０の高さ（ｈａ）は対象画像の高さ（Ｈ）に基づいて設定される。具体的には、０より大きく、かつ、１より小さい所定の係数を対象画像の高さ（Ｈ）に乗じることによって得られる値が特徴領域候補５０の高さ（ｈａ）として設定される。同様に、特徴領域候補５０の幅（ｗａ）は対象画像の幅（Ｗ）に基づいて設定される。具体的には、０より大きく、かつ、１より小さい所定の係数を対象画像の幅（Ｗ）に乗じることによって得られる値が特徴領域候補５０の幅（ｗａ）として設定される。

なお、対象画像の高さ（Ｈ）及び幅（Ｗ）の短い方と等しい長さが特徴領域候補５０の高さ（ｈａ）及び幅（ｗａ）として設定されるようにしてもよい。すなわち、対象画像が縦長の画像である場合には、特徴領域候補５０の高さ（ｈａ）及び幅（ｗａ）がともに対象画像の幅（Ｗ）と等しい長さに設定されるようにしてもよい。一方、対象画像が横長の画像である場合には、特徴領域候補５０の高さ（ｈａ）及び幅（ｗａ）がともに対象画像の高さ（Ｈ）と等しい長さに設定されるようにしてもよい。なお、この場合、特徴領域候補５０は正方形領域となる。

第１領域設定部４０Ａは、対象画像（料理画像３０）内の一部領域を特徴領域候補５０として設定し、特徴領域候補５０を対象画像内で縦又は／及び横に移動させることによって、複数の特徴領域候補５０を設定する。

例えば図７（Ａ）に示すように、第１領域設定部４０Ａは、特徴領域候補５０の左上画素が料理画像３０の左上画素（０，０）と一致するようにして、特徴領域候補５０の初期位置を設定する。言い換えれば、第１領域設定部４０Ａは、特徴領域候補５０の上側境界線５２Ｕが料理画像３０の上辺３２Ｕと一致し、特徴領域候補５０の左側境界線５２Ｌが料理画像３０の左辺３２Ｌと一致するようにして、特徴領域候補５０の初期位置を設定する。そして、第１領域設定部４０Ａは、特徴領域候補５０の右側境界線５２Ｒが料理画像３０の右辺３２Ｒと一致するまで、特徴領域候補５０を料理画像３０内で右方向に１画素ずつ移動させる。

特徴領域候補５０の右側境界線５２Ｒが料理画像３０の右辺３２Ｒと一致したら、図７（Ｂ）に示すように、第１領域設定部４０Ａは、特徴領域候補５０を料理画像３０内で下方向に１画素移動させ、かつ、特徴領域候補５０の左側境界線５２Ｌが料理画像３０の左辺３２Ｌと一致するように特徴領域候補５０を設定する。この場合、特徴領域候補５０の左上画素が料理画像３０の画素（０，１）と一致するような位置に特徴領域候補５０が設定されることになる。そして、第１領域設定部４０Ａは、特徴領域候補５０の右側境界線５２Ｒが料理画像３０の右辺３２Ｒと一致するまで、特徴領域候補５０を料理画像３０内で右方向に１画素ずつ移動させる。

第１領域設定部４０Ａは以上のような処理を繰り返す。最終的に、第１領域設定部４０Ａは、図７（Ｃ）に示すように、特徴領域候補５０の左側境界線５２Ｌが料理画像３０の左辺３２Ｌと一致し、かつ、特徴領域候補５０の下側境界線５２Ｄが料理画像３０の下辺３２Ｄと一致するような位置に特徴領域候補５０を設定する。すなわち、特徴領域候補５０の左上画素が料理画像３０の左上画素（０，Ｈ−ｈａ−１）と一致するような位置に特徴領域候補５０は設定される。そして、この場合にも、第１領域設定部４０Ａは、特徴領域候補５０の右側境界線５２Ｒが料理画像３０の右辺３２Ｒと一致するまで、特徴領域候補５０を料理画像３０内で右方向に１画素ずつ移動させる。

なお、特徴領域候補５０の設定方法は上記に説明した例に限られない。例えば、第１領域設定部４０Ａは、特徴領域候補５０の左下画素が料理画像３０の左下画素（０，Ｈ−１）と一致するようにして、特徴領域候補５０の初期位置を設定するようにしてもよい。また例えば、第１領域設定部４０Ａは、特徴領域候補５０の右上画素が料理画像３０の右上画素（Ｗ−１，０）と一致するようにして、特徴領域候補５０の初期位置を設定するようにしてもよい。

第１算出部４２Ａは、第１領域設定部４０Ａによって設定される複数の特徴領域候補５０の各々について、該特徴領域候補５０内の画素のエッジ量の合計値を算出する。ここで、「エッジ」とは、対象画像中で色が変化する度合いのことを意味しており、「画素のエッジ量」とは、画素と該画素の周辺画素との間の色相の差に関する量である。

画素のエッジ量を算出するための手法としては公知の手法を用いることができる。例えば、Ｓｏｂｅｌフィルタを用いることができる。画素（ｘ，ｙ）における画素値をＩ_ｘ，ｙとした場合、画素（ｘ，ｙ）のエッジ量Ｓ_ｘ，ｙは下記式（１）〜（３）によって算出される。

なお、各画素の画素値Ｉは、各画素のＲＧＢ値をＹＣ_ＢＣ_Ｒ値に変換することによって取得される。ＲＧＢ値からＹＣ_ＢＣ_Ｒ値への変換は下記式（４）によって行われる。ここでは、画素と該画素の周辺画素との間の色相の差に関する量を「画素のエッジ量」として用いるため、各画素のＣ_Ｂ，Ｃ_Ｒ値に基づいて各画素の画素値Ｉが算出される。例えば下記式（５）によって各画素の画素値Ｉが算出される。

以上のようにして算出された対象画像の各画素のエッジ量Ｓに基づいて、第１算出部４２Ａは、特徴領域候補５０内の画素のエッジ量Ｓの合計値Ｔを算出する。下記式（６）は上記合計値Ｔを算出するための式である。下記式（６）は、左上画素が（ｉ，ｊ）であり、かつ、高さ及び幅がｈ，ｗである長方形領域又は正方形領域の上記合計値Ｔを算出するための式である。左上画素が（ｉ，ｊ）である特徴領域候補５０内の画素のエッジ量Ｓの合計値Ｔを算出する場合、第１算出部４２Ａは、特徴領域候補５０の高さ（ｈａ）及び幅（ｗａ）を下記式（６）の「ｈ」及び「ｗ」に代入することによって合計値Ｔを算出する。

特徴領域検出部４４は、複数の特徴領域候補５０の各々の上記合計値Ｔに基づいて、対象画像の特徴領域を検出する。例えば、特徴領域検出部４４は、複数の特徴領域候補５０の各々の上記合計値Ｔに基づいて、該複数の特徴領域候補５０のうちのいずれかを特徴領域として検出する。

図８は特徴領域検出部４４について説明するための図である。例えば、特徴領域検出部４４は、複数の特徴領域候補５０のうちで、上記合計値Ｔが最大である特徴領域候補５０を特徴領域６０として検出する。なお、上記合計値Ｔが最大である長方形領域又は正方形領域の左上画素（ｐ_ｘ，ｐ_ｙ）は下記式（７）及び（８）によって示される。

以上で、第１領域設定部４０Ａ、第１算出部４２Ａ、及び特徴領域検出部４４の動作についての説明を終了する。

図６に示すように、領域設定部４０は第２領域設定部４０Ｂを含み、算出部４２は第２算出部４２Ｂを含む。第２領域設定部４０Ｂ及び第２算出部４２Ｂは注釈情報表示領域決定部４６のための機能ブロックである。注釈情報表示領域決定部４６は、注釈情報を表示するための領域を決定する。

第２領域設定部４０Ｂ、第２算出部４２Ｂ、及び注釈情報表示領域決定部４６の動作について説明する。

第２領域設定部４０Ｂは、注釈情報の表示領域を決定するための複数の第２領域を対象画像内に設定する。なお、以下では、説明の簡便のため、第２領域設定部４０Ｂによって設定される第２領域のことを「表示領域候補」と呼ぶ。

図９は表示領域候補について説明するための図である。表示領域候補７０は、特徴領域候補５０とは異なる大きさを有する。一般的に、注釈情報を表示するために必要な領域の大きさは対象画像の特徴領域の大きさに比べて小さいため、表示領域候補７０は特徴領域候補５０よりも小さく設定される。例えば、表示領域候補７０は長方形領域又は正方形領域である。表示領域候補７０の大きさは注釈情報に基づいて設定される。すなわち、表示領域候補７０の高さ（ｈｂ）及び幅（ｗｂ）は、注釈の長さ、表示サイズや、書字方向に基づいて設定される。なお、表示領域候補７０の大きさは予め定められた大きさに設定されるようにしてもよい。

表示領域候補７０は特徴領域候補５０と同様にして設定される。すなわち、第２領域設定部４０Ｂは、対象画像（料理画像３０）内の一部領域を表示領域候補７０として設定し、表示領域候補７０を対象画像内で縦又は／及び横に移動させることによって、複数の表示領域候補７０を設定する。

例えば図９（Ａ）に示すように、第２領域設定部４０Ｂは、表示領域候補７０の左上画素が料理画像３０の左上画素（０，０）と一致するようにして、表示領域候補７０の初期位置を設定する。そして、第２領域設定部４０Ｂは、表示領域候補７０の右側境界線７２Ｒが料理画像３０の右辺３２Ｒと一致するまで、表示領域候補７０を料理画像３０内で右方向に１画素ずつ移動させる。

表示領域候補７０の右側境界線７２Ｒが料理画像３０の右辺３２Ｒと一致したら、図９（Ｂ）に示すように、第２領域設定部４０Ｂは、表示領域候補７０を料理画像３０内で下方向に１画素移動させ、かつ、表示領域候補７０の左側境界線７２Ｌが料理画像３０の左辺３２Ｌと一致するように表示領域候補７０を設定する。この場合、表示領域候補７０の左上画素が料理画像３０の左上画素（０，１）と一致するような位置に表示領域候補７０は設定されることになる。そして、第２領域設定部４０Ｂは、表示領域候補７０の右側境界線７２Ｒが料理画像３０の右辺３２Ｒと一致するまで、表示領域候補７０を料理画像３０内で右方向に１画素ずつ移動させる。

第２領域設定部４０Ｂは以上のような処理を繰り返す。最終的に、第２領域設定部４０Ｂは、図９（Ｃ）に示すように、表示領域候補７０の左側境界線７２Ｌが料理画像３０の左辺３２Ｌと一致し、かつ、表示領域候補７０の下側境界線７２Ｄが料理画像３０の下辺３２Ｄと一致するような位置に表示領域候補７０を設定する。すなわち、表示領域候補７０の左上画素が料理画像３０の左上画素（０，Ｈ−ｈｂ−１）と一致するような位置に表示領域候補７０は設定される。そして、この場合にも、第２領域設定部４０Ｂは、表示領域候補７０の右側境界線７２Ｒが料理画像３０の右辺３２Ｒと一致するまで、表示領域候補７０を料理画像３０内で右方向に１画素ずつ移動させる。

なお、表示領域候補７０の設定方法は上記に説明した例に限られない。例えば、第２領域設定部４０Ｂは、表示領域候補７０の左下画素が料理画像３０の左下画素（０，Ｈ−１）と一致するようにして、表示領域候補７０の初期位置を設定するようにしてもよい。また例えば、第２領域設定部４０Ｂは、表示領域候補７０の右上画素が料理画像３０の右上画素（Ｗ−１，０）と一致するようにして、表示領域候補７０の初期位置を設定するようにしてもよい。

第２算出部４２Ｂは、第２領域設定部４０Ｂによって設定される複数の表示領域候補７０の各々について、該表示領域候補７０内の画素のエッジ量の合計値を算出する。上記式（１）〜（５）に基づいて算出された対象画像（料理画像３０）の各画素のエッジ量Ｓに基づいて、第２算出部４２Ｂは、表示領域候補７０内の画素のエッジ量Ｓの合計値Ｔを算出する。表示領域候補７０の上記合計値Ｔは、特徴領域候補５０の上記合計値Ｔを算出する場合と同様にして算出される。すなわち、表示領域候補７０の上記合計値Ｔは上記式（６）によって算出される。

注釈情報表示領域決定部４６は、複数の特徴領域候補５０の各々の上記合計値Ｔと、複数の表示領域候補７０の各々の上記合計値Ｔと、に基づいて、注釈情報の表示領域を決定する。例えば、注釈情報表示領域決定部４６は、特徴領域検出部４４によって検出された特徴領域と、複数の表示領域候補７０の各々の上記合計値Ｔと、に基づいて、注釈情報の表示領域を決定する。

例えば、注釈情報表示領域決定部４６は、特徴領域外にある表示領域候補７０（すなわち、特徴領域に含まれていない表示領域候補７０）のうちで、上記合計値Ｔが最も小さい表示領域候補７０を、注釈情報の表示領域として決定する。例えば図１０に示す表示領域候補７０が、特徴領域６０外にある表示領域候補７０のうちで、上記合計値Ｔが最も小さい表示領域候補７０である場合、図１０に示す表示領域候補７０が注釈情報の表示領域８０として決定される。

なお、注釈情報表示領域決定部４６の動作は上記に説明した例に限られない。すなわち、注釈情報の表示領域の決定方法は上記に説明した例に限られない。注釈情報表示領域決定部４６の動作の詳細については後述する（図１３のステップＳ３１０参照）。

データ出力部４８は、注釈情報表示領域決定部４６によって決定された表示領域に注釈情報が表示された対象画像のデータを出力する。

例えば、データ出力部４８は、注釈情報表示領域決定部４６によって決定された表示領域に注釈情報が表示された対象画像のデータ（図３参照）を表示部１６に表示させる。あるいは、データ出力部４８は、注釈情報表示領域決定部４６によって決定された表示領域に注釈情報が表示された対象画像のデータ（図３参照）を生成し、該データを記憶部１２又はデータベースに出力（保存）する。

上記に説明した機能ブロックを実現するために画像処理装置１０で実行される処理について説明する。図１１は、注釈情報が対象画像内に表示された対象画像のデータを出力するために画像処理装置１０で実行される処理の一例を示すフロー図である。制御部１１が図１１に示す処理をプログラムに従って実行することによって、制御部１１が領域設定部４０、算出部４２、特徴領域検出部４４、注釈情報表示領域決定部４６、及びデータ出力部４８として機能するようになる。

図１１に示すように、まず、制御部１１は対象画像及び注釈情報をデータベース２０から取得する（Ｓ１０１）。また、制御部１１は対象画像の各画素のエッジ量を上記式（１）〜（５）に基づいて算出する（Ｓ１０２）。

そして、制御部１１は対象画像の特徴領域を検出する処理を実行する（Ｓ１０３）。図１２は、対象画像の特徴領域を検出する処理の一例を示すフロー図である。

図１２に示すように、まず、制御部１１は変数ｉ，ｐ_ｘ，ｐ_ｙ，Ｅ_ｍａｘをそれぞれ零に初期化する（Ｓ２０１）。そして、制御部１１は、左上画素が（ｉ，ｊ）であり、かつ、高さ及び幅がｈａ，ｗａである特徴領域候補５０の評価値Ｅを算出する（Ｓ２０２）。制御部１１は、特徴領域候補５０内の画素のエッジ量の合計値Ｔを上記式（６）によって算出し、該合計値Ｔを評価値Ｅとして取得する。この場合、上記式（６）の「ｈ」，「ｗ」には特徴領域候補５０の高さ（ｈａ）及び幅（ｗａ）が代入される。

ステップＳ２０２の処理が実行された後、制御部１１は、ステップＳ２０２で算出された評価値Ｅが変数Ｅ_ｍａｘよりも大きいか否かを判定する（Ｓ２０３）。評価値Ｅが変数Ｅ_ｍａｘよりも大きい場合、制御部１１はステップＳ２０２で算出された評価値Ｅを変数Ｅ_ｍａｘにセットする（Ｓ２０４）。また、制御部１１は変数ｉ，ｊを変数ｐ_ｘ，ｐ_ｙにそれぞれセットする（Ｓ２０５）。ステップＳ２０３〜Ｓ２０５の処理によって、変数Ｅ_ｍａｘは評価値Ｅの最大値を示し、変数ｐ_ｘ，ｐ_ｙは評価値Ｅが最大値となる場合の変数ｉ，ｊの値を示すことになる。

ステップＳ２０４，Ｓ２０５の処理が実行された場合、又はステップＳ２０３において評価値Ｅが変数Ｅ_ｍａｘよりも大きくないと判定された場合、制御部１１は変数ｉに１を加算する（Ｓ２０６）。そして、制御部１１は、変数ｉが値（Ｗ−ｗａ−１）以下であるか否かを判定する（Ｓ２０７）。

変数ｉが値（Ｗ−ｗａ−１）以下である場合、制御部１１はステップＳ２０２の処理を再実行する。一方、変数ｉが値（Ｗ−ｗａ−１）以下でない場合、制御部１１は変数ｊに１を加算する（Ｓ２０８）。そして、制御部１１は、変数ｊが値（Ｈ−ｈａ−１）以下であるか否かを判定する（Ｓ２０９）。

変数ｊが値（Ｈ−ｈａ−１）以下である場合、制御部１１は変数ｉを零に初期化し（Ｓ２１０）、ステップＳ２０２の処理を再実行する。一方、変数ｊが値（Ｈ−ｈａ−１）以下でない場合、制御部１１は、左上画素が（ｐ_ｘ，ｐ_ｙ）であり、かつ、高さ及び幅がｈａ，ｗａである特徴領域候補５０を対象画像の特徴領域として決定する（Ｓ２１１）。以上で図１２に示す処理は完了する。

図１１のステップＳ１０３の処理（すなわち、図１２に示す処理）が実行された後、制御部１１は注釈情報の表示領域を決定する処理を実行する（Ｓ１０４）。図１３は、注釈情報の表示領域を検出する処理の一例を示すフロー図である。

図１３に示すように、まず、制御部１１は変数ｉ，ｊをそれぞれ零に初期化する（Ｓ３０１）。さらに、制御部１１は、注釈情報の表示領域候補７０の高さ（ｈｂ）及び幅（ｗｂ）を決定する（Ｓ３０２）。

その後、制御部１１は、左上画素が（ｉ，ｊ）であり、かつ、幅及び高さがｗｂ及びｈｂである表示領域候補７０の評価値Ｅを算出する（Ｓ３０３）。制御部１１は、表示領域候補７０内の画素のエッジ量の合計値Ｔを上記式（６）によって算出し、該合計値Ｔを評価値Ｅとして取得する。この場合、上記式（６）の「ｈ」，「ｗ」には表示領域候補７０の高さ（ｈｂ）及び幅（ｗｂ）が代入される。

そして、制御部１１は、ステップＳ３０３における算出結果を保存する（Ｓ３０４）。具体的には、制御部１１は、表示領域候補７０を示す情報と、評価値Ｅと、の組み合わせを記憶部１２に保存する。このステップＳ３０４の処理が実行されることによって、例えば図１４に示すような表示領域候補データが記憶部１２に生成される。図１４に示す表示領域候補データは、表示領域候補７０の左上画素と、評価値Ｅと、の組み合わせを示すデータになっている。

ステップＳ３０４の処理が実行された後、制御部１１は変数ｉに１を加算する（Ｓ３０５）。そして、制御部１１は、変数ｉが値（Ｗ−ｗｂ−１）以下であるか否かを判定する（Ｓ３０６）。

変数ｉが値（Ｗ−ｗｂ−１）以下である場合、制御部１１はステップＳ３０３の処理を再実行する。一方、変数ｉが値（Ｗ−ｗｂ−１）以下でない場合、制御部１１は変数ｊに１を加算する（Ｓ３０７）。そして、制御部１１は、変数ｊが値（Ｈ−ｈｂ−１）以下であるか否かを判定する（Ｓ３０８）。

変数ｊが値（Ｈ−ｈｂ−１）以下である場合、制御部１１は変数ｉを零に初期化し（Ｓ３０９）、ステップＳ３０３の処理を再実行する。一方、変数ｊが値（Ｈ−ｈｂ−１）以下でない場合、制御部１１は注釈情報の表示領域を決定する（Ｓ３１０）。例えば、制御部１１は、表示領域候補データに基づいて、いずれかの表示領域候補７０を注釈情報の表示領域として決定する。

ここで、ステップＳ３１０で実行される処理の例について説明する。以下では五つの例について説明する。

［例１］例えば、制御部１１は、下記条件（Ａ）を満足する表示領域候補７０のうちで、評価値Ｅが最小である表示領域候補７０を注釈情報の表示領域として決定する。
（Ａ）表示領域候補７０が対象画像の特徴領域に含まれていない。

この場合、対象画像の特徴領域を避けるようにして、注釈情報の表示領域が決定されるようになる。また、注釈情報の表示領域が、対象画像内の、エッジ量が低い部分に設定されるようになる。すなわち、注釈情報の表示領域が、対象画像内の、色相の変化の小さい部分に設定されるようになる。

［例２］例えば、制御部１１は、下記条件（Ａ）及び（Ｂ）の両方を満足する表示領域候補７０のうちのいずれかを注釈情報の表示領域として決定する。
（Ａ）表示領域候補７０が対象画像の特徴領域に含まれていない。
（Ｂ）表示領域候補７０の評価値Ｅが基準値よりも小さい。

例えば、制御部１１は、上記条件（Ａ）及び（Ｂ）の両方を満足する表示領域候補７０のうちのいずれかをランダムに選択し、該表示領域候補７０を注釈情報の表示領域として決定する。または、制御部１１は、上記条件（Ａ）及び（Ｂ）の両方を満足する表示領域候補７０のうちの、最初に見つかった表示領域候補７０を注釈情報の表示領域として決定する。

この場合にも、対象画像の特徴領域を避けるようにして、注釈情報の表示領域が決定されるようになる。また、注釈情報の表示領域が、対象画像内の、エッジ量が低い部分に設定されるようになる。すなわち、注釈情報の表示領域が、対象画像内の、色相の変化の小さい部分に設定されるようになる。

あるいは、制御部１１は、上記条件（Ａ）及び（Ｂ）の両方を満足する表示領域候補７０のうちで、特徴領域からの距離が最も小さい表示領域候補７０を注釈情報の表示領域として決定する。この場合、特徴領域に近い位置に注釈情報の表示領域が決定されるようになる。

なお、「特徴領域からの距離」とは、例えば、特徴領域の代表点（例えば重心）から表示領域候補７０の代表点（重心）までの距離である。または、「特徴領域からの距離」とは、例えば、特徴領域の境界線から表示領域候補７０の境界線までの距離（最短距離）である。あるいは、「特徴領域からの距離」とは、例えば、特徴領域の境界線から表示領域候補７０の代表点までの距離であってもよいし、特徴領域の代表点から表示領域候補７０の境界線までの距離であってもよい。

［例３］例えば、制御部１１は、下記条件（Ａ）〜（Ｃ）のすべてを満足する表示領域候補７０のうちのいずれかを注釈情報の表示領域として決定する。
（Ａ）表示領域候補７０が対象画像の特徴領域に含まれていない。
（Ｂ）表示領域候補７０の評価値Ｅが基準値よりも小さい。
（Ｃ）対象画像の特徴領域から表示領域候補７０までの距離が基準距離よりも小さい。

例えば、制御部１１は、上記条件（Ａ）〜（Ｃ）のすべてを満足する表示領域候補７０のうちのいずれかをランダムに選択し、該表示領域候補７０を注釈情報の表示領域として決定する。あるいは、制御部１１は、上記条件（Ａ）〜（Ｃ）のすべてを満足する表示領域候補７０のうちの、最初に見つかった表示領域候補７０を注釈情報の表示領域として決定する。

［例４］例えば、制御部１１は、下記条件（Ａ），（Ｂ），及び（Ｄ）のすべてを満足する表示領域候補７０のうちのいずれかを注釈情報の表示領域として決定する。
（Ａ）表示領域候補７０が対象画像の特徴領域に含まれていない。
（Ｂ）表示領域候補７０の評価値Ｅが基準値よりも小さい。
（Ｄ）表示領域候補７０に関する色情報と注釈情報の表示色情報との相性が良い。

ここで、「表示領域候補７０に関する色情報」とは、例えば、表示領域候補７０内の画素の色値の平均である。あるいは、「表示領域候補７０に関する色情報」とは、例えば、表示領域候補７０内の画素の色のうちで最も多い色である。一方、「注釈情報の表示色情報」とは注釈の表示色である。

記憶部１２又はデータベース２０には、色の模範組み合わせ（すなわち、相性が良い色の組み合わせ）に関する情報が記憶されている。制御部１１はこの情報を参照し、表示領域候補７０に関する色情報と、注釈情報の表示色情報と、の相性が良いか否かを判定する。すなわち、制御部１１は、表示領域候補７０に関する色情報と、注釈情報の表示色情報と、の組み合わせが上記の情報が示す組み合わせのいずれかに合致しているか否かを判定する。

例えば、制御部１１は、上記条件（Ａ），（Ｂ），及び（Ｄ）のすべてを満足する表示領域候補７０のうちのいずれかをランダムに選択し、該表示領域候補７０を注釈情報の表示領域として決定する。あるいは、制御部１１は、上記条件（Ａ），（Ｂ），及び（Ｄ）のすべてを満足する表示領域候補７０のうちの、最初に見つかった表示領域候補７０を注釈情報の表示領域として決定する。

あるいは、制御部１１は、上記条件（Ａ），（Ｂ），及び（Ｄ）のすべてを満足する表示領域候補７０のうちで、特徴領域からの距離が最も小さい表示領域候補７０を注釈情報の表示領域として決定する。

以上に説明した例４の場合、表示領域候補７０の色と、注釈の表示色と、を考慮して、見易い位置に注釈情報が表示されるようになる。

［例５］例えば、制御部１１は、下記条件（Ａ）〜（Ｄ）のすべてを満足する表示領域候補７０のうちのいずれかを注釈情報の表示領域として決定する。
（Ａ）表示領域候補７０が対象画像の特徴領域に含まれていない。
（Ｂ）表示領域候補７０の評価値Ｅが基準値よりも小さい。
（Ｃ）対象画像の特徴領域から表示領域候補７０までの距離が基準距離よりも小さい。
（Ｄ）表示領域候補７０に関する色情報と注釈情報の表示色情報との相性が良い。

例えば、制御部１１は、上記条件（Ａ）〜（Ｄ）のすべてを満足する表示領域候補７０のうちのいずれかをランダムに選択し、該表示領域候補７０を注釈情報の表示領域として決定する。あるいは、制御部１１は、上記条件（Ａ）〜（Ｄ）のすべてを満足する表示領域候補７０のうちの、最初に見つかった表示領域候補７０を注釈情報の表示領域として決定する。

図１１のステップＳ１０４の処理（すなわち、図１３に示す処理）が実行された後、制御部１１は、ステップＳ１０４で決定された表示領域に注釈情報が表示されてなる対象画像のデータを出力する（Ｓ１０５）。例えば、制御部１１は上記のデータを表示部１６に表示する。また例えば、制御部１１は上記のデータを記憶部１２又はデータベース２０に出力（保存）する。

以上説明した第１実施形態に係る画像処理装置１０によれば、対象画像の特徴領域を人間に指定させることなく、対象画像の特徴領域が検出される。すなわち、第１実施形態に係る画像処理装置１０によれば、対象画像内の、エッジ量が高い部分が特徴領域として検出される。つまり、対象画像内の、色相の変化の大きい部分が特徴領域として検出される。例えば、テーブル等の上に置かれた食器に盛り付けられた料理を写した料理画像３０の場合、料理が写っている部分では、他の部分（例えばテーブルが写っている部分等）と比較して、色相の変化が大きくなる。このため、第１実施形態に係る画像処理装置１０によれば、料理が写っている部分が特徴領域として検出される。

さらに、第１実施形態に係る画像処理装置１０によれば、特徴領域を考慮して、注釈情報の表示領域が設定される。例えば、注釈情報の表示領域を人間に指定させることなく、注釈情報の表示領域を、対象画像の特徴領域を避けるようにして設定することが可能になる。

ところで、以上では、一つの注釈情報が一つの対象画像に関連づけられている場合について説明した。しかしながら、複数の注釈情報が一つの対象画像に関連づけられていてもよい。図１５は、複数の注釈情報が一つの対象画像に関連づけられている場合について説明するための図である。図１５に示す例は、第１の注釈情報と、第２の注釈情報と、第３の注釈情報とが一つの対象画像に関連づけられている場合を想定している。

複数の注釈情報が一つの対象画像に関連づけられている場合には、図１１のステップＳ１０４の処理（すなわち、図１３に示す処理）が注釈情報ごとに実行される。その結果、注釈情報ごとに表示領域が決定される。図１５に示す例では、第１の注釈情報の表示領域８０Ａと、第２の注釈情報の表示領域８０Ｂと、第３の注釈情報の表示領域８０Ｃとが特徴領域６０外に決定されている。なお以下では、表示領域８０Ａ，８０Ｂ，８０Ｃを総称して「表示領域８０」と記載する場合がある。

この場合、表示領域８０Ａ，８０Ｂ，８０Ｃはお互いに重なることがないようにして決定される。より好ましくは、表示領域８０Ａ，８０Ｂ，８０Ｃはお互いに基準距離以上離れるようにして決定される。

例えば、第１の注釈情報の表示領域８０Ａが最初に決定された後に第２の注釈情報の表示領域８０Ｂが決定される場合には、第１の注釈情報の表示領域８０Ａからの距離が基準距離よりも大きい表示領域候補７０が第２の注釈情報の表示領域８０Ｂとして決定される。

さらに、第２の注釈情報の表示領域８０Ｂが決定された後に第３の注釈情報の表示領域８０Ｃが決定される場合には、第１の注釈情報の表示領域８０Ａからの距離が基準距離よりも大きく、かつ、第２の注釈情報の表示領域８０Ｂからの距離も基準距離よりも大きい表示領域候補７０が第３の注釈情報の表示領域８０Ｃとして決定される。

なお、以上では、複数の注釈情報が一つの対象画像に関連づけられている場合にすべての注釈情報を表示することとして説明したが、一部の注釈情報のみを表示するようにしてもよい。例えば、互いに類似する内容を有する注釈情報が一つの対象画像に関連づけられている場合もある。このような場合には、一部の注釈情報のみを表示するようにしてもよい。

この場合、対象画像に表示する注釈情報（すなわち、表示対象の注釈情報）を、複数の注釈情報のうちから、各注釈情報の表示領域に基づいて選択するようにしてもよい。

ここで、第１の注釈情報と、第２の注釈情報と、第３の注釈情報とが一つの対象画像に関連づけられており、これらの表示領域８０として図１５に示すような表示領域８０Ａ，８０Ｂ，８０Ｃが決定された場合を想定する。また、第１の注釈情報と、第２の注釈情報と、第３の注釈情報とのうちのいずれか一つを表示対象として選択する場合を想定する。

このような場合における表示対象の選択方法の例について説明する。ここでは二つの例について説明する。

［例１］例えば、制御部１１は、表示対象として、第１の注釈情報と、第２の注釈情報と、第３の注釈情報とのうちのいずれか一つを、各注釈情報の表示領域と特徴領域との間の距離に基づいて選択する。より具体的には、制御部１１は、表示領域８０Ａ，８０Ｂ，８０Ｃのうちで、特徴領域６０からの距離が最も小さい表示領域８０に対応する注釈情報を表示対象として選択する。

ここで、「特徴領域６０からの距離」とは、特徴領域６０の代表点（例えば重心）と表示領域８０の代表点（例えば重心）との間の距離である。または、「特徴領域６０からの距離」とは、特徴領域６０の境界線と表示領域８０の境界線との間の距離である。あるいは、「特徴領域６０からの距離」とは、特徴領域６０の代表点と表示領域８０の境界線との間の距離であってもよいし、特徴領域６０の境界線と表示領域８０の代表点との間の距離であってもよい。

図１５に示す例の場合、表示領域８０Ａが特徴領域６０に最も近いため、表示領域８０Ａに対応する第１の注釈情報が表示対象として選択される。この場合、第１の注釈情報のみが表示されることになり、第２の注釈情報及び第３の注釈情報は表示されないことになる。

［例２］例えば、制御部１１は、表示対象として、第１の注釈情報と、第２の注釈情報と、第３の注釈情報とのうちのいずれか一つを、注釈情報の表示領域に関する色情報と、注釈情報の表示色情報と、の組み合わせに基づいて選択する。言い換えれば、制御部１１は、表示対象として、第１の注釈情報と、第２の注釈情報と、第３の注釈情報とのうちのいずれか一つを、注釈情報の表示領域に関する色情報と、注釈情報の表示色情報と、の相性の良さに基づいて選択する。

ここで、「注釈情報の表示領域に関する色情報」とは、例えば、注釈情報の表示領域として決定された対象画像内の領域内の画素の色値の平均である。あるいは、「注釈情報の表示領域に関する色情報」とは、例えば、注釈情報の表示領域として決定された対象画像内の領域内の画素の色のうちで最も多い色である。一方、「注釈情報の表示色情報」とは注釈の表示色である。

記憶部１２又はデータベース２０には、色の模範組み合わせ（すなわち、相性が良い色の組み合わせ）に関する情報が記憶されている。制御部１１はこの情報を参照し、注釈情報の表示領域に関する色情報と、注釈情報の表示色情報と、の相性が良いか否かを判定する。すなわち、制御部１１は、注釈情報の表示領域に関する色情報と、注釈情報の表示色情報と、の組み合わせが上記の情報が示す組み合わせのいずれかに合致しているか否かを判定する。

ここで、例えば、下記のような場合を想定する。
・第１の注釈情報の表示領域８０Ａに関する色情報と、第１の注釈情報の表示色情報と、の相性が良い。
・第２の注釈情報の表示領域８０Ｂに関する色情報と、第２の注釈情報の表示色情報と、の相性が良くない。
・第３の注釈情報の表示領域８０Ｃに関する色情報と、第３の注釈情報の表示色情報と、の相性も良くない。

上記のような場合には第１の注釈情報が表示対象として選択される。この場合、第１の注釈情報のみが表示されることになり、第２の注釈情報と第３の注釈情報とは表示されないことになる。

また例えば、下記のような場合を想定する。
・第１の注釈情報の表示領域８０Ａに関する色情報と、第１の注釈情報の表示色情報と、の相性が良い。
・第２の注釈情報の表示領域８０Ｂに関する色情報と、第２の注釈情報の表示色情報と、の相性も良い。
・第３の注釈情報の表示領域８０Ｃに関する色情報と、第３の注釈情報の表示色情報と、の相性が良くない。

上記のような場合には、第１の注釈情報と第２の注釈情報とのいずれか一方が表示対象として選択される。例えば、第１の注釈情報と第２の注釈情報とのいずれか一方が表示対象としてランダムに選択される。または、第１の注釈情報と第２の注釈情報とのうちで、表示領域８０が特徴領域６０により近い方が表示対象として選択される。あるいは、第１の注釈情報と第２の注釈情報との両方が表示対象として選択されるようにしてもよい。

［第２実施形態］本発明の第２実施形態について説明する。本発明の第２実施形態に係る画像処理装置１０のハードウェア構成は第１実施形態と同様である（図１参照）。

第２実施形態に係る画像処理装置１０では、対象画像の特徴領域をトリミングすることによって、対象画像の特徴部分を示すトリミング画像（例えばサムネイル画像）が生成される。さらに、第２実施形態に係る画像処理装置１０では、注釈情報がトリミング画像内に表示される。この点で第２実施形態に係る画像処理装置１０は第１実施形態と異なる。

図１６は、第２実施形態に係る画像処理装置１０で生成されるトリミング画像の一例を示す。第２実施形態に係る画像処理装置１０では、対象画像の特徴領域をトリミングすることによって生成されるトリミング画像９０内に注釈情報３２が表示される。

第２実施形態に係る画像処理装置１０では、図１３のステップＳ３１０において下記に説明するような処理が実行される。以下では、ステップＳ３１０において実行される処理の例として五つの例について説明する。

［例１］例えば、制御部１１は、下記条件（ａ）を満足する表示領域候補７０のうちで、評価値Ｅが最小である表示領域候補７０を注釈情報の表示領域として決定する。
（ａ）表示領域候補７０が対象画像の特徴領域に含まれている。

［例２］例えば、制御部１１は、下記条件（ａ）及び（ｂ）の両方を満足する表示領域候補７０のうちのいずれかを注釈情報の表示領域として決定する。
（ａ）表示領域候補７０が対象画像の特徴領域に含まれている。
（ｂ）表示領域候補７０の評価値Ｅが基準値よりも小さい。

あるいは、制御部１１は、上記条件（ａ）及び（ｂ）の両方を満足する表示領域候補７０のうちで、特徴領域の境界線からの距離が最も小さい表示領域候補７０を注釈情報の表示領域として決定する。ここで、「特徴領域の境界線からの距離」とは、例えば、特徴領域の境界線から表示領域候補７０の境界線までの距離であってもよいし、特徴領域の境界線から表示領域候補７０の代表点（例えば重心）までの距離であってもよい。

［例３］例えば、制御部１１は、下記条件（ａ）〜（ｃ）のすべてを満足する表示領域候補７０のうちのいずれかを注釈情報の表示領域として決定する。
（ａ）表示領域候補７０が対象画像の特徴領域に含まれている。
（ｂ）表示領域候補７０の評価値Ｅが基準値よりも小さい。
（ｃ）対象画像の特徴領域の境界線から表示領域候補７０までの距離が基準距離よりも小さい。

［例４］例えば、制御部１１は、下記条件（ａ），（ｂ），及び（ｄ）のすべてを満足する表示領域候補７０のうちのいずれかを注釈情報の表示領域として決定する。
（ａ）表示領域候補７０が対象画像の特徴領域に含まれている。
（ｂ）表示領域候補７０の評価値Ｅが基準値よりも小さい。
（ｄ）表示領域候補７０に関する色情報と注釈情報の表示色情報との相性が良い。

あるいは、制御部１１は、上記条件（ａ），（ｂ），及び（ｄ）のすべてを満足する表示領域候補７０のうちで、特徴領域の境界線からの距離が最も小さい表示領域候補７０を注釈情報の表示領域として決定する。

［例５］例えば、制御部１１は、下記条件（ａ）〜（ｄ）のすべてを満足する表示領域候補７０のうちのいずれかを注釈情報の表示領域として決定する。
（ａ）表示領域候補７０が対象画像の特徴領域に含まれている。
（ｂ）表示領域候補７０の評価値Ｅが基準値よりも小さい。
（ｃ）対象画像の特徴領域の境界線から表示領域候補７０までの距離が基準距離よりも小さい。
（ｄ）表示領域候補７０に関する色情報と注釈情報の表示色情報との相性が良い。

なお、第１実施形態と同様、第２実施形態に係る画像処理装置１０においても、複数の注釈情報が一つの対象画像に関連づけられていてもよい。複数の注釈情報が一つの対象画像に関連づけられている場合には、図１１のステップＳ１０４の処理（すなわち、図１３に示す処理）が注釈情報ごとに実行されることになる。

また、第１実施形態と同様、一つの対象画像に関連づけられた複数の注釈情報のうちの一部の注釈情報のみが表示されるようにしてもよい。

［第３実施形態］本発明の第３実施形態について説明する。本発明の第３実施形態に係る画像処理装置１０のハードウェア構成は第１実施形態と同様である（図１参照）。

第３実施形態に係る画像処理装置１０では、対象画像の特徴領域を検出することなく、注釈情報の表示領域が決定されるようになっている。この点で第３実施形態に係る画像処理装置１０は第１実施形態とは異なる。

第３実施形態に係る画像処理装置１０で実現される機能ブロックについて、図６を参照しながら説明する。第３実施形態に係る画像処理装置１０では、第１領域設定部４０Ａ、第１算出部４２Ａ、及び特徴領域検出部４４が省略される。すなわち、第３実施形態に係る画像処理装置１０には、第１領域設定部４０Ａ、第１算出部４２Ａ、及び特徴領域検出部４４が含まれず、第２領域設定部４０Ｂ、第２算出部４２Ｂ、及び注釈情報表示領域決定部４６が含まれる。第２領域設定部４０Ｂ及び第２算出部４２Ｂの動作は第１実施形態と同様であるため、ここでは説明を省略する。

第３実施形態の場合、注釈情報表示領域決定部４６は、第２領域設定部４０Ｂによって設定される複数の表示領域候補７０の各々の上記合計値Ｔに基づいて、注釈情報の表示領域を決定する。

例えば、注釈情報表示領域決定部４６は、上記合計値Ｔが最も小さい表示領域候補７０を注釈情報の表示領域として決定する。

また例えば、注釈情報表示領域決定部４６は、上記合計値Ｔが基準値よりも小さい表示領域候補７０のうちのいずれかを注釈情報の表示領域として決定する。

第３実施形態に係る画像処理装置１０で実行される処理について、図１１，１３を参照しながら説明する。第３実施形態に係る画像処理装置１０では、図１１のステップＳ１０３の処理が省略される。すなわち、特徴領域を検出するための処理が省略される。

また、第３実施形態に係る画像処理装置１０では、図１３のステップＳ３１０において下記に説明するような処理が実行される。以下では、ステップＳ３１０で実行される処理の例として三つの例について説明する。

［例１］例えば、制御部１１は、複数の表示領域候補７０のうちで、評価値Ｅが最小である表示領域候補７０を注釈情報の表示領域として決定する。

［例２］例えば、制御部１１は、評価値Ｅが基準値よりも小さい表示領域候補７０のうちのいずれかを注釈情報の表示領域として決定する。

例えば、制御部１１は、評価値Ｅが基準値よりも小さい表示領域候補７０のうちのいずれかをランダムに選択し、該表示領域候補７０を注釈情報の表示領域として決定する。または、制御部１１は、評価値Ｅが基準値よりも小さい表示領域候補７０のうちの、最初に見つかった表示領域候補７０を注釈情報の表示領域として決定する。

［例３］例えば、制御部１１は、下記の二つの条件の両方を満足する表示領域候補７０のうちのいずれかを注釈情報の表示領域として決定する。
・表示領域候補７０の評価値Ｅが基準値よりも小さい。
・表示領域候補７０に関する色情報と注釈情報の表示色情報との相性が良い。

例えば、制御部１１は、上記の二つの条件の両方を満足する表示領域候補７０のうちのいずれかをランダムに選択し、該表示領域候補７０を注釈情報の表示領域として決定する。あるいは、制御部１１は、上記の二つの条件の両方を満足する表示領域候補７０のうちの、最初に見つかった表示領域候補７０を注釈情報の表示領域として決定する。

以上説明した第３実施形態に係る画像処理装置１０によれば、注釈情報の表示領域が対象画像内の、エッジ量が低い部分に設定される。すなわち、注釈情報の表示領域が対象画像内の、色相の変化の小さい部分に設定される。例えば、テーブル等の上に置かれた食器に盛り付けられた料理を写した料理画像３０の場合、料理が写っている部分では、他の部分（例えばテーブルが写っている部分等）と比較して、色相の変化が大きくなる。このため、第２実施形態に係る画像処理装置１０によれば、料理が写っている部分を避けるようにして、注釈情報の表示領域が設定されるようになる。

なお、第１実施形態と同様、第３実施形態に係る画像処理装置１０においても、複数の注釈情報が一つの対象画像に関連づけられていてもよい。複数の注釈情報が一つの対象画像に関連づけられている場合には、図１１のステップＳ１０４の処理（すなわち、図１３に示す処理）が注釈情報ごとに実行されることになる。

［第４実施形態］本発明の第４実施形態について説明する。第４実施形態に係る画像処理装置１０のハードウェア構成は第１実施形態と同様である（図１参照）。

第４実施形態に係る画像処理装置１０では、複数の表示領域候補７０が設定されることなく、注釈情報の表示領域が決定されるようになっている。この点で第４実施形態に係る画像処理装置１０は第１実施形態とは異なる。

第４実施形態に係る画像処理装置１０で実現される機能ブロックについて、図６を参照しながら説明する。第４実施形態に係る画像処理装置１０では、第２領域設定部４０Ｂ及び第２算出部４２Ｂが省略される。すなわち、第４実施形態に係る画像処理装置１０には、第２領域設定部４０Ｂ及び第２算出部４２Ｂが含まれず、第１領域設定部４０Ａ、第１算出部４２Ａ、特徴領域検出部４４、及び注釈情報表示領域決定部４６が含まれる。なお、第１領域設定部４０Ａ、第１算出部４２Ａ、及び特徴領域検出部４４の動作は第１実施形態と同様であるため、ここでは説明を省略する。

第４実施形態の場合、注釈情報表示領域決定部４６は、第１領域設定部４０Ａによって設定される複数の特徴領域候補５０の各々の上記合計値Ｔに基づいて、注釈情報の表示領域を決定する。

例えば、注釈情報表示領域決定部４６は、特徴領域検出部４４によって検出された特徴領域に基づいて、注釈情報の表示領域を決定する。例えば、注釈情報表示領域決定部４６は、特徴領域検出部４４によって検出された特徴領域以外の領域に、注釈情報の表示領域を設定する。

第４実施形態に係る画像処理装置１０で実行される処理について、図１１を参照しながら説明する。第４実施形態に係る画像処理装置１０では、図１１のステップＳ１０４において、図１３に示す処理の代わりに、下記に説明するような処理が実行される。すなわち、ステップＳ１０４において、制御部１１は、ステップＳ１０３で検出された特徴領域以外の領域に注釈情報の表示領域を設定する。

以上説明した第４実施形態に係る画像処理装置１０によっても、注釈情報の表示領域を人間に指定させることなく、注釈情報の表示領域を、対象画像の特徴領域を避けるようにして設定することが可能になる。

なお、以上では、対象画像の特徴部分を避けるようにして注釈情報を表示する場合について主に説明したが、対象画像の特徴部分に重ねて注釈情報を表示することも可能である。

また、第１実施形態と同様、第４実施形態に係る画像処理装置１０においても、複数の注釈情報が一つの対象画像に関連づけられていてもよい。複数の注釈情報が一つの対象画像に関連づけられている場合には、これらの複数の注釈情報の各々の表示領域が特徴領域以外の領域に設定されることになる。

［第５実施形態］本発明の第５実施形態について説明する。第５実施形態に係る画像処理装置１０のハードウェア構成は第１実施形態と同様である（図１参照）。

第１実施形態、第２実施形態、及び第４実施形態では、図１２のステップＳ２０２において、特徴領域候補５０内の画素のエッジ量Ｓの合計値Ｔが上記式（６）によって算出され、該合計値Ｔが評価値Ｅとして取得されるようになっていた。また、上記式（７）及び（８）によって示される画素（ｐ_ｘ，ｐ_ｙ）が左上画素である特徴領域候補５０が対象画像の特徴領域として決定されるようになっていた。

これに対し、第５実施形態に係る画像処理装置１０では、図１２のステップＳ２０２において、下記式（９）によって評価値Ｅが算出されるようになっている。なお、下記式（９）は、左上画素が（ｉ，ｊ）であり、かつ、高さ及び幅がｈ，ｗである長方形領域又は正方形領域の評価値Ｅを算出するための式である。下記式（９）において、「Ｔ」は上記式（６）によって算出されるものであり、「Ｔｕ」、「Ｔｄ」、「Ｔｌ」、及び「Ｔｒ」は下記式（１０）〜（１３）によって算出されるものである。

第５実施形態に係る画像処理装置１０では、図１２のステップＳ２０２において、下記に説明するような処理が実行される。

まず、制御部１１は、左上画素が（ｉ，ｊ）である特徴領域候補５０の画素のエッジ量の合計値Ｔを算出する。この合計値Ｔは上記式（６）によって算出される。この場合、上記式（６）の「ｈ」及び「ｗ」には特徴領域候補５０の高さ（ｈａ）及び幅（ｗａ）が代入される。

また、制御部１１は、上記の特徴領域候補５０の少なくとも一つの境界部分の画素のエッジ量の合計値を算出する。ここで、「少なくとも一つの境界部分」とは、特徴領域候補５０の上側境界部分、下側境界部分、左側境界部分、及び右側境界部分のうちの少なくとも一つである。図１７は、特徴領域候補５０の上側境界部分、下側境界部分、左側境界部分、及び右側境界部分について説明するための図である。

上側境界部分５４Ｕは、特徴領域候補５０の上側境界線５２Ｕに対応する画素行を含む１又は複数の画素行である。例えば、上側境界部分５４Ｕは、特徴領域候補５０の上側境界線５２Ｕに対応する画素行である。すなわち、上側境界部分５４Ｕは、画素（ｉ，ｊ）〜（ｉ＋ｗａ−１，ｊ）の画素行である。なお、上側境界部分５４Ｕは、画素（ｉ，ｊ）〜（ｉ＋ｗａ−１，ｊ）の画素行から画素（ｉ，ｊ＋ｎ）〜（ｉ＋ｗａ−１，ｊ＋ｎ）の画素行までの複数の画素行であってもよい（ｎ：１以上の自然数）。

同様に、下側境界部分５４Ｄは、特徴領域候補５０の下側境界線５２Ｄに対応する画素行を含む１又は複数の画素行である。例えば、下側境界部分５４Ｄは、特徴領域候補５０の下側境界線５２Ｄに対応する画素行である。すなわち、下側境界部分５４Ｄは、画素（ｉ，ｊ＋ｈａ−１）〜（ｉ＋ｗａ−１，ｊ＋ｈａ−１）の画素行である。なお、下側境界部分５４Ｄは、画素（ｉ，ｊ＋ｈａ−１）〜（ｉ＋ｗａ−１，ｊ＋ｈａ−１）の画素行から画素（ｉ，ｊ＋ｈａ−１−ｎ）〜（ｉ＋ｗａ−１，ｊ＋ｈａ−１−ｎ）の画素行までの複数の画素行であってもよい（ｎ：１以上の自然数）。

また、左側境界部分５４Ｌは、特徴領域候補５０の左側境界線５２Ｌに対応する画素列を含む１又は複数の画素列である。例えば、左側境界部分５４Ｌは、特徴領域候補５０の左側境界線５２Ｌに対応する画素列である。すなわち、左側境界部分５４Ｌは、画素（ｉ，ｊ）〜（ｉ，ｊ＋ｈａ−１）の画素列である。なお、左側境界部分５４Ｌは、画素（ｉ，ｊ）〜（ｉ，ｊ＋ｈａ−１）の画素列から画素（ｉ＋ｎ，ｊ）〜（ｉ＋ｎ，ｊ＋ｈａ−１）の画素列までの複数の画素列であってもよい（ｎ：１以上の自然数）。

同様に、右側境界部分５４Ｒは、特徴領域候補５０の右側境界線５２Ｒに対応する画素列を含む１又は複数の画素列である。例えば、右側境界部分５４Ｒは、特徴領域候補５０の右側境界線５２Ｒに対応する画素列である。すなわち、右側境界部分５４Ｒは、画素（ｉ＋ｗａ−１，ｊ）〜（ｉ＋ｗａ−１，ｊ＋ｈａ−１）の画素列である。なお、右側境界部分５４Ｒは、画素（ｉ＋ｗａ−１，ｊ）〜（ｉ＋ｗａ−１，ｊ＋ｈａ−１）の画素列から画素（ｉ＋ｗａ−１−ｎ，ｊ）〜（ｉ＋ｗａ−１−ｎ，ｊ＋ｈａ−１）の画素列までの複数の画素列であってもよい（ｎ：１以上の自然数）。

なお、以下では、特徴領域候補５０の上側境界線５２Ｕに対応する画素行が上側境界部分５４Ｕに相当し、下側境界線５２Ｄに対応する画素行が下側境界部分５４Ｄに相当することとして説明する。また、特徴領域候補５０の左側境界線５２Ｌに対応する画素列が左側境界部分５４Ｌに相当し、右側境界線５２Ｒに対応する画素列が右側境界部分５４Ｒに相当することとして説明する。

図１２のステップＳ２０２において、制御部１１は、左上画素が（ｉ，ｊ）である特徴領域候補５０の上側境界部分５４Ｕの画素のエッジ量の合計値Ｔｕを算出する。また、制御部１１は、左上画素が（ｉ，ｊ）である特徴領域候補５０の下側境界部分５４Ｄの画素のエッジ量の合計値Ｔｄを算出する。上記合計値Ｔｕは上記式（１０）によって算出され、上記合計値Ｔｄは上記式（１１）によって算出される。この場合、上記式（１０）及び（１１）のｈ及びｗには特徴領域候補５０の高さ（ｈａ）及び幅（ｗａ）が代入される。

さらに、制御部１１は、左上画素が（ｉ，ｊ）である特徴領域候補５０の左側境界部分５４Ｌの画素のエッジ量の合計値Ｔｌを算出する。また、制御部１１は、左上画素が（ｉ，ｊ）である特徴領域候補５０の右側境界部分５４Ｒの画素のエッジ量の合計値Ｔｒを算出する。上記合計値Ｔｌは上記式（１２）によって算出され、上記合計値Ｔｒは上記式（１３）によって算出される。この場合、上記式（１２）及び（１３）のｈ及びｗには特徴領域候補５０の高さ（ｈａ）及び幅（ｗａ）が代入される。

そして、制御部１１は、左上画素が（ｉ，ｊ）である特徴領域候補５０の評価値Ｅを上記式（９）によって算出する。すなわち、制御部１１は、上記合計値Ｔを、上記合計値Ｔｕ，Ｔｄ，Ｔｌ，Ｔｒの和で除することによって得られる除算値（Ｔ／（Ｔｕ＋Ｔｄ＋Ｔｌ＋Ｔｒ））を算出し、該除算値を評価値Ｅとして取得する。この場合、上記除算値が最も大きい特徴領域候補５０が対象画像の特徴領域として検出されるようになる。

なお、制御部１１は、上記除算値の逆数（（Ｔｕ＋Ｔｄ＋Ｔｌ＋Ｔｒ）／Ｔ）を算出し、該逆数を評価値Ｅとして取得するようにしてもよい。この場合、上記逆数が最も小さい特徴領域候補５０が対象画像の特徴領域として検出されるようにすればよい。

上記のような処理が実行される結果として、第５実施形態では、下記の式（１４）及び（１５）によって示される画素（ｐ_ｘ，ｐ_ｙ）が左上画素であり、かつ、高さ及び幅がｈ及びｗである長方形又は正方形領域が特徴領域として検出されることになる。

以上説明した第５実施形態に係る画像処理装置１０では、上記除算値（Ｔ／（Ｔｕ＋Ｔｄ＋Ｔｌ＋Ｔｒ））が最も大きい特徴領域候補５０が特徴領域として検出される。上記除算値は、特徴領域候補５０全体の画素のエッジ量の合計値Ｔが大きく、かつ、特徴領域候補５０の上側境界部分５４Ｕ、下側境界部分５４Ｄ、左側境界部分５４Ｌ、及び右側境界部分５４Ｒの画素のエッジ量の合計値（Ｔｕ＋Ｔｄ＋Ｔｌ＋Ｔｒ）が小さい場合により大きくなる。特徴領域候補５０全体の画素のエッジ量の合計値Ｔが大きく、かつ、特徴領域候補５０の上側境界部分５４Ｕ、下側境界部分５４Ｄ、左側境界部分５４Ｌ、及び右側境界部分５４Ｒの画素のエッジ量の合計値（Ｔｕ＋Ｔｄ＋Ｔｌ＋Ｔｒ）が小さい場合とは、上側境界部分５４Ｕ、下側境界部分５４Ｄ、左側境界部分５４Ｌ、及び右側境界部分５４Ｒに比べて、中央部分の画素のエッジ量が大きい場合である。

第５実施形態に係る画像処理装置１０によれば、対象画像内の、エッジ量が大きい部分が中央に位置するような領域が特徴領域として検出されるようになる。すなわち、対象画像内の、色相の変化が大きい部分が中央に位置するような領域が特徴領域として検出されるようになる。その結果、料理画像３０内の、料理が写っている部分が中央に位置するような領域が特徴領域として検出されるようになる。

［第５実施形態の変形例１］図１２のステップＳ２０２では、下記式（１６）及び（１７）によって評価値Ｅが算出されるようにしてもよい。下記式（１６）は、対象画像が縦長の画像である場合に用いられる式であり、下記式（１７）は、対象画像が横長の画像である場合に用いられる式である。また、下記式（１６）及び（１７）において、「Ｔ」は上記式（６）によって算出されるものであり、「Ｔｕ」、「Ｔｄ」、「Ｔｌ」、及び「Ｔｒ」は上記式（１０）〜（１３）によって算出されるものである。

この変形例１の場合、図１２のステップＳ２０２において、制御部１１は対象画像が縦長の画像であるか否かを判定する。そして、対象画像が縦長の画像である場合、制御部１１は上記式（１６）によって評価値Ｅを算出する。すなわち、制御部１１は、上記合計値Ｔを上記合計値Ｔｕ，Ｔｄの和で除することによって得られる除算値（Ｔ／（Ｔｕ＋Ｔｄ））を算出し、該除算値を評価値Ｅとして取得する。この場合、上記除算値が最も大きい特徴領域候補５０が対象画像の特徴領域として検出されるようになる。

なお、制御部１１は、上記除算値の逆数（（Ｔｕ＋Ｔｄ）／Ｔ）を算出し、該逆数を評価値Ｅとして取得するようにしてもよい。この場合、上記逆数が最も小さい特徴領域候補５０を対象画像の特徴領域として検出するようにすればよい。

一方、対象画像が横長の画像である場合、制御部１１は上記式（１７）によって評価値Ｅを算出する。すなわち、制御部１１は、上記合計値Ｔを上記合計値Ｔｌ，Ｔｒの和で除することによって得られる除算値（Ｔ／（Ｔｌ＋Ｔｒ））を算出し、該除算値を評価値Ｅとして取得する。この場合、上記除算値が最も大きい特徴領域候補５０が対象画像の特徴領域として検出されるようになる。

なお、制御部１１は、上記除算値の逆数（（Ｔｌ＋Ｔｒ）／Ｔ）を算出し、該逆数を評価値Ｅとして取得するようにしてもよい。この場合、上記逆数が最も小さい特徴領域候補５０を対象画像の特徴領域として検出するようにすればよい。

［第５実施形態の変形例２］図１２のステップＳ２０２では、下記式（１８）及び（１９）によって評価値Ｅが算出されるようにしてもよい。下記式（１８）は、対象画像が縦長の画像である場合に用いられる式であり、下記式（１９）は、対象画像が横長の画像である場合に用いられる式である。また、下記式（１８）及び（１９）において、「Ｔ」は上記式（６）によって算出されるものであり、「Ｔｕ」、「Ｔｄ」、「Ｔｌ」、及び「Ｔｒ」は上記式（１０）〜（１３）によって算出されるものである。

この変形例２の場合、図１２のステップＳ２０２において、制御部１１は対象画像が縦長の画像であるか否かを判定する。そして、対象画像が縦長の画像である場合、制御部１１は上記式（１８）によって評価値Ｅを算出する。すなわち、制御部１１は、上記合計値Ｔを、上記合計値Ｔｕ，Ｔｄのうちの大きい方で除することによって得られる除算値（Ｔ／ｍａｘ｛Ｔｕ，Ｔｄ｝）を算出し、該除算値を評価値Ｅとして取得する。この場合、上記除算値が最も大きい特徴領域候補５０が対象画像の特徴領域として検出されるようになる。

なお、制御部１１は、上記除算値の逆数（ｍａｘ｛Ｔｕ，Ｔｄ｝／Ｔ）を算出し、該逆数を評価値Ｅとして取得するようにしてもよい。この場合、上記逆数が最も小さい特徴領域候補５０を対象画像の特徴領域として検出するようにすればよい。

一方、対象画像が横長の画像である場合、制御部１１は上記式（１９）によって評価値Ｅを算出する。すなわち、制御部１１は、上記合計値Ｔを、上記合計値Ｔｌ，Ｔｒのうちの大きい方で除することによって得られる除算値（Ｔ／ｍａｘ｛Ｔｌ，Ｔｒ｝）を算出し、該除算値を評価値Ｅとして取得する。この場合、上記除算値が最も大きい特徴領域候補５０が対象画像の特徴領域として検出されるようになる。

なお、制御部１１は、上記除算値の逆数（ｍａｘ｛Ｔｌ，Ｔｒ｝／Ｔ）を算出し、該逆数を評価値Ｅとして取得するようにしてもよい。この場合、上記逆数が最も小さい特徴領域候補５０を対象画像の特徴領域として検出するようにすればよい。

以上説明した変形例１，２によっても、対象画像内の、エッジ量が大きい部分が中央に位置するような領域が特徴領域として検出されるようになる。すなわち、対象画像内の、色相の変化が大きい部分が中央に位置するような領域が特徴領域として検出されるようになる。その結果、例えば、料理画像３０内の、料理が写っている部分が中央に位置するような領域が特徴領域として検出されるようになる。

なお、以上では、特徴領域候補５０の評価値Ｅを算出する場合について主に説明したが、表示領域候補７０の評価値Ｅを算出する場合にも上記式（９），（１６），（１７），（１８），又は（１９）を用いるようにしてもよい。また、第２実施形態、第３実施形態、及び第４実施形態においても、上記式（９），（１６），（１７），（１８），又は（１９）が用いるようにしてもよい。

［第６実施形態］本発明の第６実施形態について説明する。第６実施形態に係る画像処理装置１０のハードウェア構成は第１実施形態と同様である（図１参照）。

第６実施形態に係る画像処理装置１０では、図１２のステップＳ２０２において、下記式（２０）によって算出される重み付き合計値Ｔが、上記式（６）によって算出される合計値Ｔの代わりに算出される。なお、下記式（２０）は、左上画素が（ｉ，ｊ）であり、かつ、高さ及び幅がｈ，ｗである長方形領域又は正方形領域の重み付き評価値Ｅを算出するための式である。また、下記式（２０）において「Ｇ」は下記式（２１）に示すガウス関数を示している。

上記式（２０）ではガウス関数Ｇが各画素のエッジ量に対する重みの役割を果たしている。この場合、長方形領域（又は正方形領域）の中央部分の画素の重みが、長方形領域（又は正方形領域）の境界部分の画素の重みよりも高く設定されるようになる。このため、長方形領域（又は正方形領域）の中央部分の画素のエッジ量が大きいほど、重み付き合計値Ｔはより大きくなるようになっている。

第６実施形態に係る画像処理装置１０では、図１２のステップＳ２０２において、下記に説明するような処理が実行される。

すなわち、制御部１１は、左上画素が（ｉ，ｊ）である特徴領域候補５０の画素のエッジ量を重み付き合計値を算出する。この重み付き合計値Ｔは上記式（２０）によって算出される。この場合、上記式（２０）の「ｈ」，「ｗ」には特徴領域候補５０の高さ（ｈａ）及び幅（ｗａ）が代入される。

制御部１１は上記の重み付き合計値Ｔを評価値Ｅとして取得する。この場合、上記の重み付き合計値Ｔが最も大きい特徴領域候補５０が対象画像の特徴領域として検出されるようになる。

このような処理が実行される結果として、第６実施形態に係る画像処理装置１０では、下記式（２２）及び（２３）によって示される画素（ｐ_ｘ，ｐ_ｙ）が左上画素であり、かつ、高さ及び幅がｈ及びｗである長方形領域又は正方形領域が特徴領域として検出されることになる。

以上説明した第６実施形態に係る画像処理装置１０では、上記の重み付き合計値Ｔが最も大きい特徴領域候補５０が特徴領域として決定される。上記の重み付き合計値Ｔは、特徴領域候補５０の中央部分の画素のエッジ量が大きい場合に大きくなる。このため、第６実施形態に係る画像処理装置１０によれば、中央部分の画素のエッジ量が大きい特徴領域候補５０が特徴領域として決定されるようになる。その結果、第６実施形態に係る画像処理装置１０によれば、対象画像内の、エッジ量が大きい部分が中央に位置するような領域が特徴領域として検出されるようになる。すなわち、対象画像内の、色相の変化が大きい部分が中央に位置するような領域が特徴領域として検出されるようになる。その結果、料理画像３０内の、料理が写っている部分が中央に位置するような領域が特徴領域として検出されるようになる。

［第６実施形態の変形例］図１２のステップＳ２０２では、下記式（２４）及び（２５）によって重み付き合計値Ｔが算出されるようにしてもよい。下記式（２４）は、対象画像が縦長の画像である場合に用いられる式であり、下記式（２５）は、対象画像が横長の画像である場合に用いられる式である。下記式（２５）においても、「Ｇ」は上記の式（２１）に示すガウス関数を示している。

なお、上記式（２４）では、特徴領域候補５０の上側境界部分５４Ｕ及び下側境界部分５４Ｄの画素と比較して、特徴領域候補５０の中央部分の画素の重みが高く設定されるようになる。このため、特徴領域候補５０の中央部分の画素のエッジ量が大きいほど、重み付き合計値Ｔはより大きくなるようになっている。

また、上記式（２５）では、特徴領域候補５０の左側境界部分５４Ｌ及び右側境界部分５４Ｒの画素と比較して、特徴領域候補５０の中央部分の画素の重みが高く設定されるようになる。このため、特徴領域候補５０の中央部分の画素のエッジ量が大きいほど、重み付き合計値Ｔはより大きくなるようになっている。

この変形例では、図１２のステップＳ２０２において、下記に説明するような処理が実行される。

まず、制御部１１は対象画像が縦長の画像であるか否かを判定する。そして、対象画像が縦長の画像である場合、制御部１１は上記式（２４）によって重み付き合計値Ｔを算出し、該重み付き合計値Ｔを評価値Ｅとして取得する。

一方、対象画像が横長の画像である場合、制御部１１は上記式（２５）によって重み付き合計値Ｔを算出し、該重み付き合計値Ｔを評価値Ｅとして取得する。

この変形例では、上記のようにして評価値Ｅが算出されるため、対象画像が縦長の画像である場合には、上記式（２４）によって算出される重み付き合計値Ｔが最大である特徴領域候補５０が対象画像の特徴領域として検出される。また、対象画像が横長の画像である場合には、上記式（２５）によって算出される重み付き合計値Ｔが最大である特徴領域候補５０が対象画像の特徴領域として検出される。

この変形例によっても、中央部分の画素のエッジ量が大きい特徴領域候補５０が特徴領域として検出されるようになる。すなわち、対象画像内の、エッジ量が大きい部分が中央に位置するような特徴領域候補５０が特徴領域として検出されるようになる。つまり、対象画像内の、色相の変化が大きい部分が中央に位置するような特徴領域候補５０が特徴領域として検出されるようになる。その結果、料理画像３０内の、料理が写っている部分が中央に位置するような領域が特徴領域として検出されるようになる。

なお、以上では、特徴領域候補５０の評価値Ｅを算出する場合について主に説明したが、表示領域候補７０の評価値Ｅを算出する場合にも上記式（２０），（２４）又は（２５）を用いるようにしてもよい。また、第２実施形態、第３実施形態、及び第４実施形態においても、合計値Ｔの代わりとして、上記式（２０），（２４），及び（２５）によって算出される重み付き合計値Ｔを用いるようにしてもよい。

［第７実施形態］本発明の第７実施形態について説明する。第７実施形態に係る画像処理装置１０のハードウェア構成は第１実施形態と同様である（図１参照）。

第１実施形態では、「エッジ」は、対象画像中で色が変化する度合いのことを意味し、「画素のエッジ量」は、画素と該画素の周辺画素との間の色相の差に関する量であることとして説明した。これに対して、第７実施形態では、「エッジ」は、対象画像中で輝度が変化する度合いのことを意味し、「画素のエッジ量」は、画素と該画素の周辺画素との間の輝度の差に関する量である。この点で第７実施形態に係る画像処理装置１０は第１実施形態と異なる。

すなわち、第７実施形態に係る画像処理装置１０では、上記の式（４）によって算出される各画素のＹ値が各画素の画素値Ｉとして用いられる。すなわち、各画素のＹ値が各画素の画素値Ｉとして上記の式（１）〜（３）に代入されることによって、各画素のエッジ量Ｓが算出される。

以上に説明した第７実施形態に係る画像処理装置１０によれば、対象画像内の、輝度の変化の大きい部分が特徴領域として検出されるようになる。例えば、テーブル等の上に置かれた食器に盛り付けられた料理を写した画像の場合、料理が写っている部分では、他の部分（例えばテーブルが写っている部分等）と比較して、輝度の変化が大きくなる。このため、上記のようにすれば、料理が写っている部分を特徴領域として検出できるようになる。

なお、この第７実施形態は第２実施形態〜第６実施形態と組み合わせることが可能である。すなわち、第２実施形態〜第６実施形態においても、「画素のエッジ量」を画素と該画素の周辺画素との間の輝度の差に関する量としてもよい。

［第８実施形態］本発明の第８実施形態について説明する。本発明の第８実施形態に係る画像処理装置１０のハードウェア構成は第１実施形態と同様である（図１参照）。

第８実施形態に係る画像処理装置１０では、注釈情報の表示領域を決定するための処理（以下「表示領域決定処理」と呼ぶ。）として複数種類の処理が予め用意される。また、第８実施形態に係る画像処理装置１０では、複数種類の表示領域決定処理のうちから、対象画像（料理画像３０）の特徴に合った表示領域決定処理が選択され、該表示領域決定処理が実行されるようになっている。この点で第８実施形態に係る画像処理装置１０は第１実施形態と異なっている。

図１８は複数種類の表示領域決定処理の一例を示す。図１８では８種類の表示領域決定処理（第１〜第８の表示領域決定処理）が示されている。なお、ここで、「表示領域決定処理」とは、注釈情報の表示領域を決定するための一連の処理のことを意味しており、例えば図１１のステップＳ１０３及びＳ１０４の処理が「表示領域決定処理」に相当する。

第１〜第８の表示領域決定処理は下記の点で異なっている。
（１）各画素のエッジ量を算出する際の基礎として色相又は輝度のいずれを用いるか
（２）特徴領域候補５０又は表示領域候補７０の評価値Ｅの算出方法

第１の表示領域決定処理は第１実施形態に対応する。すなわち、第１の表示領域決定処理では、各画素のＣ_Ｂ，Ｃ_Ｒ値（色相）に基づいて算出されるエッジ量Ｓが用いられる。また第１の表示領域決定処理では、上記式（６）によって算出される合計値Ｔが特徴領域候補５０又は表示領域候補７０の評価値Ｅとして用いられる。

第２の表示領域決定処理は第５実施形態に対応する。すなわち、第２の表示領域決定処理では、各画素のＣ_Ｂ，Ｃ_Ｒ値（色相）に基づいて算出されるエッジ量Ｓが用いられる。また第２の表示領域決定処理では、特徴領域候補５０又は表示領域候補７０の評価値Ｅが上記式（９）によって算出される。

第３の表示領域決定処理は第５実施形態の変形例１に対応する。すなわち、第３の表示領域決定処理では、各画素のＣ_Ｂ，Ｃ_Ｒ値（色相）に基づいて算出されるエッジ量Ｓが用いられる。また第３の表示領域決定処理では、特徴領域候補５０又は表示領域候補７０の評価値Ｅが上記式（１６）及び（１７）によって算出される。

なお、第３の表示領域決定処理は第５実施形態の変形例２に対応するようにしてもよい。すなわち、第３の表示領域決定処理では、特徴領域候補５０又は表示領域候補７０の評価値Ｅが上記式（１８）及び（１９）によって算出されるようにしてもよい。

第４の表示領域決定処理は第６実施形態に対応する。すなわち、第４の表示領域決定処理では、各画素のＣ_Ｂ，Ｃ_Ｒ値（色相）に基づいて算出されるエッジ量Ｓが用いられる。また第４の表示領域決定処理では、上記式（２０）によって算出される重み付き合計値Ｔが特徴領域候補５０又は表示領域候補７０の評価値Ｅとして用いられる。

なお、第４の表示領域決定処理は第６実施形態の変形例に対応するようにしてもよい。すなわち、第４の表示領域決定処理では、上記式（２４）及び（２５）によって算出される重み付き合計値Ｔが特徴領域候補５０又は表示領域候補７０の評価値Ｅとして用いられるようにしてもよい。

第５の表示領域決定処理は第７実施形態に対応する。すなわち、第５の表示領域決定処理では、各画素のＹ値（輝度）に基づいて算出されるエッジ量Ｓが用いられる。また第５の表示領域決定処理では、上記式（６）によって算出される合計値Ｔが特徴領域候補５０又は表示領域候補７０の評価値Ｅとして用いられる。

第６の表示領域決定処理は第７実施形態及び第５実施形態の組み合わせに対応する。すなわち、第６の表示領域決定処理では、各画素のＹ値（輝度）に基づいて算出されるエッジ量Ｓが用いられる。また第６の表示領域決定処理では、特徴領域候補５０又は表示領域候補７０の評価値Ｅが上記式（９）によって算出される。

第７の表示領域決定処理は第７実施形態と第５実施形態の変形例１との組み合わせに対応する。すなわち、第７の表示領域決定処理では、各画素のＹ値（輝度）に基づいて算出されるエッジ量Ｓが用いられる。また第７の表示領域決定処理では、特徴領域候補５０又は表示領域候補７０の評価値Ｅが上記式（１６）及び（１７）によって算出される。

なお、第７の表示領域決定処理は第７実施形態と第５実施形態の変形例２との組み合わせに対応するようにしてもよい。すなわち、第７の表示領域決定処理では、特徴領域候補５０又は表示領域候補７０の評価値Ｅが上記式（１８）及び（１９）によって算出されるようにしてもよい。

第８の表示領域決定処理は第７実施形態及び第６実施形態の組み合わせに対応する。すなわち、第８の表示領域決定処理では、各画素のＹ値（輝度）に基づいて算出されるエッジ量Ｓが用いられる。また第８の表示領域決定処理では、上記式（２０）によって算出される重み付き合計値Ｔが特徴領域候補５０又は表示領域候補７０の評価値Ｅとして用いられる。

なお、第８の表示領域決定処理は第７実施形態と第６実施形態の変形例との組み合わせに対応するようにしてもよい。すなわち、第８の表示領域決定処理では、上記式（２４）及び（２５）によって算出される重み付き合計値Ｔが特徴領域候補５０又は表示領域候補７０の評価値Ｅとして用いられるようにしてもよい。

第８実施形態に係る画像処理装置１０では、例えば図１９に示すような表示領域決定処理データ（関連付けデータ）が記憶部１２に記憶される。図１９に示す表示領域決定処理データは、エッジ量の分布パターン情報と、表示領域決定処理と、を関連付けたデータである。図１９に示す表示領域決定処理データでは、第１〜第８の表示領域決定処理の各々に、エッジ量の分布パターン情報が関連付けられている。なお、第１〜第８の表示領域決定処理は図１８と同様である。

エッジ量の分布パターン情報は画像のエッジ量の分布パターンに関する情報である。例えば、分布パターン情報は、画像の縦方向又は／及び横方向に対する上記合計値Ｔの変化パターンを示す情報である。例えば、分布パターン情報は、各特徴領域候補５０の上記合計値Ｔを各特徴領域候補５０の位置（例えば左上画素の位置）に対応づけて表した場合の上記合計値Ｔの変化パターンを示す情報である。また例えば、分布パターン情報は、第１のエッジ量（すなわち、画素のＣ_Ｂ，Ｃ_Ｒ値に基づいて算出されるエッジ量）に基づいて算出される上記合計値Ｔの上記変化パターンと、第２のエッジ量（すなわち、画素のＹ値に基づいて算出されるエッジ量）に基づいて算出される上記合計値Ｔの上記変化パターンと、を示す情報である。

また例えば、分布パターン情報は、画像の各画素行又は各画素列ごとのエッジ量の合計値のパターンを示す情報であってもよい。例えば、分布パターン情報は、画像の各画素行又は各画素列ごとの第１のエッジ量（すなわち、画素のＣ_Ｂ，Ｃ_Ｒ値（色相）に基づいて算出されるエッジ量）の合計値のパターンと、画像の各画素行又は各画素列ごとの第２のエッジ量（すなわち、画素のＹ値（輝度）に基づいて算出されるエッジ量）の合計値のパターンと、を示す情報であってもよい。

第８実施形態に係る画像処理装置１０で実行される処理について説明する。第８実施形態に係る画像処理装置１０では、図１１に示す処理の代わりに、図２０に示す処理が実行される。

図２０に示すように、まず、制御部１１は対象画像及び注釈情報をデータベース２０から取得する（Ｓ４０１）。また、制御部１１は対象画像の各画素の第１のエッジ量及び第２のエッジ量を算出する（Ｓ４０２）。

ここで、「第１のエッジ量」は、画素のＣ_Ｂ，Ｃ_Ｒ値（色相）に基づいて算出されるエッジ量であり、上記式（５）によって示される画素値Ｉに基づき上記式（１）〜（３）によって算出されるエッジ量Ｓである。一方、「第２のエッジ量」は、画素のＹ値（輝度）に基づいて算出されるエッジ量であり、画素のＹ値を画素値Ｉとして用いて上記式（１）〜（３）によって算出されるエッジ量Ｓである。

その後、制御部１１は、対象画像のエッジ量の分布パターンが第１〜第８の分布パターン情報のいずれかが示す分布パターンに相当するか否かを判定する（Ｓ４０３）。例えば、制御部１１は、ステップＳ４０１で取得された対象画像の画素のエッジ量に基づいて、対象画像のエッジ量の分布パターンが第１〜第８の分布パターン情報のいずれかが示す分布パターンに相当するか否かを判定する。

対象画像のエッジ量の分布パターンが第１〜第８の分布パターン情報のいずれかが示す分布パターンに相当する場合、制御部１１は、その分布パターン情報に関連付けられた表示領域決定処理を実行する（Ｓ４０４）。

このステップＳ４０４の処理の内容は基本的に図１１に示すステップＳ１０３，Ｓ１０４と同様である。ただし、この場合、エッジ量として、対象画像のエッジ量の分布パターンに対応するエッジ量が用いられることになる。また、評価値の算出方法として、対象画像のエッジ量の分布パターンに対応する算出方法が用いられることになる。

例えば、対象画像のエッジ量の分布パターンが第４の分布パターン情報が示す分布パターンに相当している場合には、色相に基づく第１のエッジ量が用いられることになる（図１８参照）。また、特徴領域候補５０又は表示領域候補７０の評価値Ｅは上記式（２０）によって算出されることになる（図１８参照）。

一方、対象画像のエッジ量の分布パターンが第１〜第８の分布パターン情報が示す分布パターンのいずれにも相当しない場合、制御部１１は、第１〜第８の表示領域決定処理のうちの所定の表示領域決定処理（例えば、第１の表示領域決定処理）を実行することによって、特徴領域を検出する（Ｓ４０５）。このステップＳ４０５の処理は基本的に図１１に示すステップＳ１０３，Ｓ１０４と同様である。

ステップＳ４０４又はＳ４０５が実行された後、制御部１１は、ステップＳ４０４又はＳ４０５で決定された表示領域に注釈情報が表示されてなる対象画像のデータを出力する（Ｓ４０６）。例えば、制御部１１は上記のデータを表示部１６に表示する。また例えば、制御部１１は上記のデータを記憶部１２又はデータベース２０に出力（保存）する。以上で図２０に示す処理の説明を終了する。

以上説明した第８実施形態に係る画像処理装置１０によれば、対象画像（料理画像３０）の特徴（エッジ量の分布パターン）に合った表示領域決定処理によって、注釈情報の表示領域が決定されるようになる。

［第９実施形態］本発明の第９実施形態について説明する。本発明の第９実施形態に係る画像処理装置１０のハードウェア構成は第１実施形態と同様である（図１参照）。

第８実施形態と同様、第９実施形態に係る画像処理装置１０においても、複数種類の表示領域決定処理が予め用意されている。

しかしながら、第９実施形態に係る画像処理装置１０では、一つの注釈情報に関して、それら複数種類の表示領域決定処理の各々が実行されることによって、一つの注釈情報に関して、複数の表示領域が取得される。取得された複数の表示領域はユーザに提示され、それら複数の表示領域のうちのいずれかがユーザによって選択される。この場合、ユーザによって選択された表示領域が注釈情報の表示領域として確定され、ユーザによって選択された表示領域に注釈情報が表示されることになる。

第９実施形態に係る画像処理装置１０で実行される処理について説明する。第９実施形態に係る画像処理装置１０では、図１１に示す処理の代わりに、図２１に示す処理が実行される。

図２１に示すように、まず、制御部１１は対象画像及び注釈情報をデータベース２０から取得する（Ｓ５０１）。また、制御部１１は対象画像の各画素の第１のエッジ量及び第２のエッジ量を算出する（Ｓ５０２）。ステップＳ５０２の処理は図２０のステップＳ４０２と同様である。

その後、制御部１１は変数ｋを１に初期化する（Ｓ５０３）。そして、制御部１１は、第ｋの表示領域決定処理を実行することによって、第ｋの表示領域を取得する（Ｓ５０４）。このステップＳ５０４の処理の内容は基本的に図１１に示すステップＳ１０３，Ｓ１０４と同様である。ただし、この場合、エッジ量として、第ｋの表示領域決定処理に対応するエッジ量が用いられる。また、評価値の算出方法として、第ｋの表示領域決定処理に対応する算出方法が用いられることになる。

例えば、変数ｋの値が「１」である場合には、第１の表示領域決定処理が実行されることになるため、色相に基づく第１のエッジ量が用いられることになる（図１８参照）。また、上記式（６）によって算出される上記合計値Ｔが特徴領域候補５０又は表示領域候補７０の評価値Ｅとして用いられることになる（図１８参照）。

ステップＳ５０４の処理が実行された後、制御部１１は変数ｋに１を加算する（Ｓ５０５）。そして、制御部１１は変数ｋが８以下であるか否かを判定する（Ｓ５０６）。ここで、「８」は、表示領域決定処理の種類の総数を示している。

変数ｋが８以下である場合、制御部１１はステップＳ５０４の処理を再実行する。一方、変数ｋが８以下でない場合、制御部１１は選択画面を表示部１６に表示する（Ｓ５０７）。この選択画面では、第１〜第８の表示領域決定処理によって取得された第１〜第８の表示領域がユーザに提示される。

選択画面が表示されている場合、制御部１１は、ユーザによる選択を受け付ける。すなわち、制御部１１は、第１〜第８の表示領域のうちのいずれかがユーザによって選択されたか否かを監視する（Ｓ５０８）。

第１〜第８の表示領域のうちのいずれかがユーザによって選択された場合、制御部１１は、ユーザによって選択された表示領域に注釈情報が表示された対象画像のデータを出力する（Ｓ５０９）。例えば、制御部１１は上記のデータを表示部１６に表示する。また例えば、制御部１１は上記のデータを記憶部１２又はデータベース２０に出力（保存）する。以上で図２１に示す処理の説明を終了する。

以上に説明した第９実施形態に係る画像処理装置１０によれば、複数の表示領域決定処理に基づいて取得された複数の表示領域のうちから所望の表示領域をユーザが選択できるようになる。

なお、第９実施形態に係る画像処理装置１０では、ステップＳ５０７で表示される選択画面において、第１〜第８の表示領域のうちの、対象画像の特徴（エッジ量の分布パターン）に合った表示領域決定処理によって取得された表示領域を優先表示又は区別表示するようにしてもよい。

ここで、「対象画像の特徴に合った表示領域決定処理」とは、対象画像のエッジ量の分布パターンを示す分布パターン情報に関連付けられた表示決定処理である。例えば、対象画像のエッジ量の分布パターンが第３の分布パターン情報が示す分布パターンに相当している場合、第３の表示領域決定処理が「対象画像の特徴に合った表示領域決定処理」に相当する。

表示領域を優先表示する方法としては種々の方法を採用することができる。例えば、第３の表示領域決定処理によって取得された第３の表示領域を選択画面で優先表示する場合には、第３の表示領域が予め選択された状態で選択画面を表示するようにしてもよい。あるいは、順序情報に従った表示順序で第１〜第８の表示領域を選択画面に表示するような場合であれば、第３の表示領域の順位を第１番目に設定するようにしてもよい。

また、表示領域を区別表示する方法としては種々の方法を採用することができる。例えば、第３の表示領域決定処理によって取得された第３の表示領域を選択画面で区別表示する場合には、第３の表示領域の表示態様を他の表示領域とは異なる表示態様で選択画面に表示するようにしてもよい。あるいは、第３の表示領域のみに関連付けて所定の画像（例えば、枠画像、吹き出し画像、又は星画像等）を表示させることによって、第３の表示領域を他の表示領域と区別表示するようにしてもよい。

このようにすれば、対象画像の特徴（エッジ量の分布パターン）に合った表示領域決定処理に基づいて取得された表示領域が選択画面において優先表示又は区別表示される。その結果、対象画像の特徴（エッジ量の分布パターン）に合った表示領域決定処理に基づいて取得された表示領域をユーザが選択し易くなるように図ることが可能になる。

また、第９実施形態に係る画像処理装置１０では、選択画面においてユーザが行った選択結果に基づいて、表示領域決定処理データを更新するようにしてもよい。以下、このような表示領域決定処理データを更新する構成について説明する。

この変形例では、例えば図２２に示すような選択結果データが記憶部１２（又はデータベース２０）に記憶される。図２２に示す選択結果データでは、エッジ量の分布パターン情報と、選択結果情報と、が関連付けられている。なお、「エッジ量の分布パターン情報」は図１９と同様である。

「選択結果情報」は第１〜第８の表示領域の選択回数を示している。図２２に示す選択結果データにおいて、第１の分布パターン情報に対応づけられた選択結果情報は、対象画像のエッジ量の分布パターンが第１の分布パターンが示す分布パターンに相当する場合の選択画面でユーザが第１〜第８の表示領域の各々を選択した回数を示している。第２〜第８の分布パターン情報に対応づけられた選択結果情報も同様である。

また、この変形例では、図２１のステップＳ５０８においていずれかの表示領域が選択されたと判定された場合に、制御部１１は図２３に示す処理を実行する。

すなわち、制御部１１は、対象画像のエッジ量の分布パターンが第１〜第８の分布パターン情報のいずれかが示す分布パターンに相当するか否かを判定する（Ｓ６０１）。このステップＳ６０１の処理は図２０のステップＳ４０３の処理と同様である。

対象画像のエッジ量の分布パターンが第１〜第８の分布パターン情報のいずれかが示す分布パターンに相当すると判定された場合、制御部１１は、その分布パターン情報に対応づけられた選択結果情報を更新する（Ｓ６０２）。例えば、選択画面においてユーザが選択した表示領域が第１の表示領域であり、かつ、ステップＳ６０１において対象画像のエッジ量の分布パターンが第４の分布パターン情報が示す分布パターンに相当すると判定された場合、制御部１１は、第４の分布パターン情報に対応づけられた「第１の表示領域の選択回数」を１増加させる。

ステップＳ６０２の処理が実行された後、制御部１１は選択結果データに基づいて表示領域決定処理データを更新する（Ｓ６０３）。

例えば、図２２に示す例では、対象画像のエッジ量の分布パターンが第７の分布パターン情報が示す分布パターンに相当する場合における選択回数が最も多い表示領域が第８の表示領域であるため、制御部１１は、第７の分布パターン情報に対応づけられた表示領域決定処理が、第８の表示領域に対応する表示領域決定処理（すなわち、第８の表示領域決定処理）となるように、表示領域決定処理データを更新する。

また例えば、図２２に示す例では、対象画像のエッジ量の分布パターンが第８の分布パターン情報が示す分布パターンに相当する場合における選択回数が最も多い表示領域が第７の表示領域であるため、制御部１１は、第８の分布パターン情報に対応づけられた表示領域決定処理が、第７の表示領域に対応する表示領域決定処理（すなわち、第７の表示領域決定処理）となるように、表示領域決定処理データを更新する。

なお、ステップＳ６０１において、対象画像のエッジ量の分布パターンが第１〜第８の分布パターン情報が示す分布パターンのいずれにも相当しないと判定された場合、制御部１１はステップＳ６０２，Ｓ６０３の処理を実行することなく、本処理を終了する。以上で図２３の処理の説明を終了する。

以上のようにすれば、ユーザの選択結果を考慮して、画像のエッジ量の分布パターンと表示領域決定処理との関連付けを見直すことが可能になる。

なお、本発明は以上に説明した第１〜第９実施形態に限定されるものではない。

例えば、以上では、投稿者によって投稿された料理画像３０がデータベース２０に記憶されていることとして説明したが、データベース２０に記憶される画像は料理画像３０に限られない。本発明は、料理画像３０以外の画像に注釈情報を表示する場合にも適用することが可能である。

１０画像処理装置、１１制御部、１２記憶部、１３光ディスクドライブ部、１４通信インタフェース部、１５操作部、１６表示部、１７音声出力部、２０データベース、３０料理画像、３２注釈情報、４０領域設定部、４０Ａ第１領域設定部、４０Ｂ第２領域設定部、４２算出部、４２Ａ第１算出部、４２Ｂ第２算出部、４４特徴領域検出部、４６注釈情報表示領域決定部、４８データ出力部、５０特徴領域候補、６０特徴領域、７０表示領域候補、８０表示領域、９０トリミング画像。

Claims

対象画像の特徴領域を検出するための複数の第１領域を前記対象画像内に設定する第１領域設定手段と、
前記複数の第１領域の各々について、該第１領域内の画素のエッジ量の合計値を算出する第１算出手段と、
前記複数の第１領域の各々の前記合計値に基づいて、前記特徴領域を検出する特徴領域検出手段と、
注釈情報の表示領域を決定するための複数の第２領域を前記対象画像内に設定する第２領域設定手段と、
前記複数の第２領域の各々について、該第２領域内の画素のエッジ量の合計値を算出する第２算出手段と、
前記複数の第２領域の各々の前記合計値と、前記特徴領域と、に基づいて、前記注釈情報の表示領域を決定する注釈情報表示領域決定手段と、
を含むことを特徴とする画像処理装置。
請求項１に記載の画像処理装置において、
前記注釈情報表示領域決定手段は、前記特徴領域外にある第２領域の前記合計値に基づいて、前記特徴領域外にある第２領域のうちのいずれかを前記注釈情報の表示領域として決定する、
ことを特徴とする画像処理装置。
請求項２に記載の画像処理装置において、
前記注釈情報表示領域決定手段は、前記特徴領域外にある第２領域のうちで、前記合計値が最も小さい第２領域を前記注釈情報の表示領域として決定する、
ことを特徴とする画像処理装置。
請求項２に記載の画像処理装置において、
前記注釈情報表示領域決定手段は、前記特徴領域外にあり、かつ、前記合計値が基準値よりも小さい第２領域のうちのいずれかを前記注釈情報の表示領域として決定する、
ことを特徴とする画像処理装置。
請求項１に記載の画像処理装置において、
前記注釈情報表示領域決定手段は、前記特徴領域内にある第２領域の前記合計値に基づいて、前記特徴領域内にある第２領域のうちのいずれかを前記注釈情報の表示領域として決定する、
ことを特徴とする画像処理装置。
請求項５に記載の画像処理装置において、
前記注釈情報表示領域決定手段は、前記特徴領域内にある第２領域のうちで、前記合計値が最も小さい第２領域を前記注釈情報の表示領域として決定する、
ことを特徴とする画像処理装置。
請求項５に記載の画像処理装置において、
前記注釈情報表示領域決定手段は、前記特徴領域内にあり、かつ、前記合計値が基準値よりも小さい第２領域のうちのいずれかを前記注釈情報の表示領域として決定する、
ことを特徴とする画像処理装置。
請求項５乃至７のいずれかに記載の画像処理装置において、
前記特徴領域をトリミングしてなるトリミング画像を取得する手段と、
前記注釈情報表示領域決定手段によって決定された表示領域に前記注釈情報が表示された前記トリミング画像のデータを出力する手段と、を含む、
ことを特徴とする画像処理装置。
請求項１に記載の画像処理装置において、
前記注釈情報表示領域決定手段は、前記複数の第２領域の各々の前記合計値と、前記第２領域と前記特徴領域の代表点又は境界との間の距離と、に基づいて、前記注釈情報の表示領域を決定する、
ことを特徴とする画像処理装置。
請求項９に記載の画像処理装置において、
前記注釈情報表示領域決定手段は、前記合計値が基準値よりも小さい第２領域のうちで、前記距離が最も小さい第２領域を前記注釈情報の表示領域として決定する、
ことを特徴とする画像処理装置。
請求項９に記載の画像処理装置において、
前記注釈情報表示領域決定手段は、前記合計値が基準値よりも小さく、かつ、前記距離が基準距離よりも小さい第２領域のうちのいずれかを前記注釈情報の表示領域として決定する、
ことを特徴とする画像処理装置。
請求項１に記載の画像処理装置において、
前記注釈情報表示領域決定手段は、前記複数の第２領域の各々の前記合計値と、前記特徴領域と、前記第２領域の色情報と前記注釈情報の表示色情報との組み合わせと、に基づいて、前記注釈情報の表示領域を決定する、
ことを特徴とする画像処理装置。
請求項１に記載の画像処理装置において、
前記複数の第２領域の各々について、該第２領域の前記合計値を、該第２領域の少なくとも一つの境界部分の画素のエッジ量の合計値で除することによって得られる除算値又はその逆数を算出する手段を含み、
前記注釈情報表示領域決定手段は、前記複数の第２領域の各々の前記除算値又は前記逆数と、前記特徴領域と、に基づいて、前記注釈情報の表示領域を決定する、
ことを特徴とする画像処理装置。
請求項１に記載の画像処理装置において、
前記第２算出手段は、前記第２領域内の画素のエッジ量の合計値として、前記第２領域内の画素のエッジ量の重み付き合計値を算出し、
前記第２算出手段は、前記第２領域の中央部分の画素のエッジ量の重みを、前記第２領域の境界部分の画素のエッジ量の重みよりも高く設定する、
ことを特徴とする画像処理装置。
請求項１乃至１４のいずれかに記載の画像処理装置において、
前記エッジ量は、前記画素と該画素の周辺画素との間の輝度の差に関する量である、
ことを特徴とする画像処理装置。
請求項１乃至１４のいずれかに記載の画像処理装置において、
前記エッジ量は、前記画素と該画素の周辺画素との間の色相の差に関する量である、
ことを特徴とする画像処理装置。
請求項１に記載の画像処理装置において、
前記注釈情報の表示領域を決定するための複数種類の表示領域決定処理の各々に、画像のエッジ量の分布パターンに関する分布パターン情報を関連付けてなる関連付けデータに基づいて、前記注釈情報表示領域決定手段は、前記複数の第２領域の各々の前記合計値に基づいて前記注釈情報の表示領域を決定することを、前記対象画像のエッジ量の分布パターンに関連づけられた表示領域決定処理によって実行する、
ことを特徴とする画像処理装置。
請求項１７に記載の画像処理装置において、
前記第２算出手段は、
前記複数の第２領域の各々について、該第２領域内の画素の第１エッジ量の合計値を第１合計値として算出する手段と、
前記複数の第２領域の各々について、該第２領域内の画素の第２エッジ量の合計値を第２合計値として算出する手段と、を含み、
前記第１エッジ量は、前記画素と該画素の周辺画素との間の色相の差に関する量であり、
前記第２エッジ量は、前記画素と該画素の周辺画素との間の輝度の差に関する量であり、
前記複数種類の表示領域決定処理は、
前記複数の第２領域の各々の前記第１合計値に基づいて、前記注釈領域の表示領域を決定する表示領域決定処理と、
前記複数の第２領域の各々の前記第２合計値に基づいて、前記注釈領域の表示領域を決定する表示領域決定処理と、を含む、
ことを特徴とする画像処理装置。
請求項１乃至１８のいずれかに記載の画像処理装置において、
前記第１領域設定手段は、前記対象画像内で領域を縦又は／及び横に移動させることによって、前記複数の第１領域を設定し、
前記第２領域設定手段は、前記対象画像内で領域を縦又は／及び横に移動させることによって、前記複数の第２領域を設定する、
ことを特徴とする画像処理装置。
対象画像の特徴領域を検出するための複数の第１領域を前記対象画像内に設定する第１領域設定ステップと、
前記複数の第１領域の各々について、該第１領域内の画素のエッジ量の合計値を算出する第１算出ステップと、
前記複数の第１領域の各々の前記合計値に基づいて、前記特徴領域を検出する特徴領域検出ステップと、
注釈情報の表示領域を決定するための複数の第２領域を前記対象画像内に設定する第２領域設定ステップと、
前記複数の第２領域の各々について、該第２領域内の画素のエッジ量の合計値を算出する第２算出ステップと、
前記複数の第２領域の各々の前記合計値と、前記特徴領域と、に基づいて、前記注釈情報の表示領域を決定する注釈情報表示領域決定ステップと、
を含むことを特徴とする画像処理装置の制御方法。
対象画像の特徴領域を検出するための複数の第１領域を前記対象画像内に設定する第１領域設定手段、
前記複数の第１領域の各々について、該第１領域内の画素のエッジ量の合計値を算出する第１算出手段、
前記複数の第１領域の各々の前記合計値に基づいて、前記特徴領域を検出する特徴領域検出手段、
注釈情報の表示領域を決定するための複数の第２領域を前記対象画像内に設定する第２領域設定手段、
前記複数の第２領域の各々について、該第２領域内の画素のエッジ量の合計値を算出する第２算出手段、及び、
前記複数の第２領域の各々の前記合計値と、前記特徴領域と、に基づいて、前記注釈情報の表示領域を決定する注釈情報表示領域決定手段、
としてコンピュータを機能させるプログラム。
対象画像内に複数の領域を設定する領域設定手段と、
前記複数の領域の各々について、該領域内の画素のエッジ量の合計値を、該領域の少なくとも一つの境界部分の画素のエッジ量の合計値で除することによって得られる除算値又はその逆数を算出する手段と、
前記複数の領域の各々の前記除算値又は前記逆数に基づいて、注釈情報の表示領域を決定する注釈情報表示領域決定手段と、
を含むことを特徴とする画像処理装置。
対象画像内に複数の領域を設定する領域設定ステップと、
前記複数の領域の各々について、該領域内の画素のエッジ量の合計値を、該領域の少なくとも一つの境界部分の画素のエッジ量の合計値で除することによって得られる除算値又はその逆数を算出するステップと、
前記複数の領域の各々の前記除算値又は前記逆数に基づいて、注釈情報の表示領域を決定する注釈情報表示領域決定ステップと、
を含むことを特徴とする画像処理装置の制御方法。
対象画像内に複数の領域を設定する領域設定手段、
前記複数の領域の各々について、該領域内の画素のエッジ量の合計値を、該領域の少なくとも一つの境界部分の画素のエッジ量の合計値で除することによって得られる除算値又はその逆数を算出する手段、及び、
前記複数の領域の各々の前記除算値又は前記逆数に基づいて、注釈情報の表示領域を決定する注釈情報表示領域決定手段、
としてコンピュータを機能させるためのプログラム。
対象画像内に複数の領域を設定する領域設定手段と、
前記複数の領域の各々について、該領域内の画素のエッジ量の合計値を算出する算出手段と、
前記複数の領域の各々の前記合計値に基づいて、注釈情報の表示領域を決定する注釈情報表示領域決定手段と、
を含み、
前記算出手段は、前記領域内の画素のエッジ量の合計値として、前記領域内の画素のエッジ量の重み付き合計値を算出し、
前記算出手段は、前記領域の中央部分の画素のエッジ量の重みを、前記領域の境界部分の画素のエッジ量の重みよりも高く設定する、
ことを特徴とする画像処理装置。
対象画像内に複数の領域を設定する領域設定ステップと、
前記複数の領域の各々について、該領域内の画素のエッジ量の合計値を算出する算出ステップと、
前記複数の領域の各々の前記合計値に基づいて、注釈情報の表示領域を決定する注釈情報表示領域決定ステップと、
を含み、
前記算出ステップでは、前記領域内の画素のエッジ量の合計値として、前記領域内の画素のエッジ量の重み付き合計値が算出され、
前記算出ステップでは、前記領域の中央部分の画素のエッジ量の重みが、前記領域の境界部分の画素のエッジ量の重みよりも高く設定される、
ことを特徴とする画像処理装置の制御方法。
対象画像内に複数の領域を設定する領域設定手段、
前記複数の領域の各々について、該領域内の画素のエッジ量の合計値を算出する算出手段、及び、
前記複数の領域の各々の前記合計値に基づいて、注釈情報の表示領域を決定する注釈情報表示領域決定手段、
としてコンピュータを機能させ、
前記算出手段は、前記領域内の画素のエッジ量の合計値として、前記領域内の画素のエッジ量の重み付き合計値を算出し、
前記算出手段は、前記領域の中央部分の画素のエッジ量の重みを、前記領域の境界部分の画素のエッジ量の重みよりも高く設定する、
ことを特徴とするプログラム。
対象画像内に複数の領域を設定する領域設定手段と、
前記複数の領域の各々について、該領域内の画素のエッジ量の合計値を算出する算出手段と、
前記複数の領域の各々の前記合計値に基づいて、注釈情報の表示領域を決定する注釈情報表示領域決定手段と、
を含み、
前記注釈情報の表示領域を決定するための複数種類の表示領域決定処理の各々に、画像のエッジ量の分布パターンに関する分布パターン情報を関連付けてなる関連付けデータに基づいて、前記注釈情報表示領域決定手段は、前記複数の領域の各々の前記合計値に基づいて前記注釈情報の表示領域を決定することを、前記対象画像のエッジ量の分布パターンに関連づけられた表示領域決定処理によって実行する、
ことを特徴とする画像処理装置。
対象画像内に複数の領域を設定する領域設定ステップと、
前記複数の領域の各々について、該領域内の画素のエッジ量の合計値を算出する算出ステップと、
前記複数の領域の各々の前記合計値に基づいて、注釈情報の表示領域を決定する注釈情報表示領域決定ステップと、
を含み、
前記注釈情報の表示領域を決定するための複数種類の表示領域決定処理の各々に、画像のエッジ量の分布パターンに関する分布パターン情報を関連付けてなる関連付けデータに基づいて、前記注釈情報表示領域決定ステップでは、前記複数の領域の各々の前記合計値に基づいて前記注釈情報の表示領域を決定することが、前記対象画像のエッジ量の分布パターンに関連づけられた表示領域決定処理によって実行される、
ことを特徴とする画像処理装置の制御方法。
対象画像内に複数の領域を設定する領域設定手段、
前記複数の領域の各々について、該領域内の画素のエッジ量の合計値を算出する算出手段、及び、
前記複数の領域の各々の前記合計値に基づいて、注釈情報の表示領域を決定する注釈情報表示領域決定手段、
としてコンピュータを機能させ、
前記注釈情報の表示領域を決定するための複数種類の表示領域決定処理の各々に、画像のエッジ量の分布パターンに関する分布パターン情報を関連付けてなる関連付けデータに基づいて、前記注釈情報表示領域決定手段は、前記複数の領域の各々の前記合計値に基づいて前記注釈情報の表示領域を決定することを、前記対象画像のエッジ量の分布パターンに関連づけられた表示領域決定処理によって実行する、
ことを特徴とするプログラム。