JPWO2013171857A1

JPWO2013171857A1 - 画像処理装置、画像処理装置の制御方法、プログラム、及び情報記憶媒体

Info

Publication number: JPWO2013171857A1
Application number: JP2014515408A
Authority: JP
Inventors: 宗益子
Original assignee: Rakuten Inc
Current assignee: Rakuten Group Inc
Priority date: 2012-05-16
Filing date: 2012-05-16
Publication date: 2016-01-07
Anticipated expiration: 2032-05-16
Also published as: US20150149883A1; JP5753945B2; US9996516B2; WO2013171857A1

Abstract

注釈を適切な位置に表示することが可能な画像処理装置を提供すること。画像取得部（７０）は画像を取得する。注釈対象情報取得部（７２）は、画像に含まれる、注釈を付与する注釈対象を指定する注釈対象情報を取得する。注釈情報取得部（７４）は、注釈を示す注釈情報を取得する。表示位置決定部（７６）は、注釈の表示位置を、注釈対象の位置又は領域に基づいて決定する。データ出力部（７８）は、表示位置決定部（７６）によって決定された表示位置に注釈が表示された画像のデータを出力する。

Description

本発明は画像処理装置、画像処理装置の制御方法、プログラム、及び情報記憶媒体に関する。

画像に含まれる注釈対象（注釈を付与する対象）に注釈を付与できるようになっている画像処理装置が知られている。このような画像処理装置としては、例えば、ユーザによって入力された注釈をユーザによって指定された画像内の位置に表示する画像処理装置や、画像内に表示された注釈の表示位置をユーザによって指定された位置に変更する画像処理装置等が知られている。

特開平６−１３１１４３号公報

注釈の表示位置は、注釈と注釈対象とを考慮して適切な位置に設定されるのが望ましい。しかしながら、従来の画像処理装置では注釈が適切な位置に表示されない場合があった。例えば、特許文献１に記載の装置では、注釈が適切な位置に表示されない場合があり、そのような場合にはユーザが注釈の表示位置を変更する必要がある。

本発明は上記課題に鑑みてなされたものであって、その目的は、注釈を適切な位置に表示することが可能な画像処理装置、画像処理装置の制御方法、プログラム、及び情報記憶媒体を提供することにある。

上記課題を解決するために、本発明に係る画像処理装置は、画像を取得する画像取得手段と、前記画像に含まれる、注釈を付与する注釈対象を指定する注釈対象情報を取得する注釈対象情報取得手段と、注釈を示す注釈情報を取得する注釈情報取得手段と、前記注釈の表示位置を、前記注釈対象の位置又は領域に基づいて決定する表示位置決定手段と、前記表示位置決定手段によって決定された表示位置に前記注釈が表示された前記対象画像のデータを出力するデータ出力手段と、を含むことを特徴とする。

また、本発明に係る画像処理装置の制御方法は、画像を取得する画像取得ステップと、前記画像に含まれる、注釈を付与する注釈対象を指定する注釈対象情報を取得する注釈対象情報取得ステップと、注釈を示す注釈情報を取得する注釈情報取得ステップと、前記注釈の表示位置を、前記注釈対象の位置又は領域に基づいて決定する表示位置決定ステップと、前記表示位置決定ステップによって決定された表示位置に前記注釈が表示された前記対象画像のデータを出力するデータ出力ステップと、を含むことを特徴とする。

また、本発明に係るプログラムは、画像を取得する画像取得手段、前記画像に含まれる、注釈を付与する注釈対象を指定する注釈対象情報を取得する注釈対象情報取得手段、注釈を示す注釈情報を取得する注釈情報取得手段、前記注釈の表示位置を、前記注釈対象の位置又は領域に基づいて決定する表示位置決定手段、及び、前記表示位置決定手段によって決定された表示位置に前記注釈が表示された前記対象画像のデータを出力するデータ出力手段、としてコンピュータを機能させるためのプログラムである。

また、本発明に係る情報記憶媒体は、画像を取得する画像取得手段、前記画像に含まれる、注釈を付与する注釈対象を指定する注釈対象情報を取得する注釈対象情報取得手段、注釈を示す注釈情報を取得する注釈情報取得手段、前記注釈の表示位置を、前記注釈対象の位置又は領域に基づいて決定する表示位置決定手段、及び、前記表示位置決定手段によって決定された表示位置に前記注釈が表示された前記対象画像のデータを出力するデータ出力手段、としてコンピュータを機能させるためのプログラムを記録したコンピュータ読み取り可能な情報記憶媒体である。

また、本発明の一態様では、前記画像には、他の注釈が既に付与されており、前記表示位置決定手段は、前記注釈の表示位置を、前記注釈対象の位置又は領域と、前記他の注釈の表示位置と、に基づいて決定する手段を含むようにしてもよい。

また、本発明の一態様では、前記画像には、他の注釈が既に付与されており、前記表示位置決定手段は、前記注釈の表示位置を、前記注釈対象の位置又は領域と、前記他の注釈に対応する注釈対象の位置又は領域と、に基づいて決定する手段を含むようにしてもよい。

また、本発明の一態様では、前記画像には、他の注釈が既に付与されており、前記表示位置決定手段は、前記注釈の表示位置と、前記他の注釈の新たな表示位置とを、前記注釈対象の位置又は領域と、前記他の注釈に対応する注釈対象の位置又は領域と、に基づいて決定する手段を含むようにしてもよい。

また、本発明の一態様では、前記表示位置決定手段は、複数種類の注釈の類型の各々について、該類型に属する注釈が前記注釈対象に付与されたと想定した場合における該注釈の表示位置を前記注釈対象の位置又は領域に基づいて決定し、該表示位置を、該類型に対応する表示位置候補として取得する手段と、前記注釈取得手段によって前記注釈情報が取得された場合、該注釈情報が示す注釈が属する類型に対応する表示位置候補に基づいて、該注釈の表示位置を決定する手段と、を含むようにしてもよい。

また、本発明の一態様では、前記複数種類の注釈の類型は、注釈の長さ、表示色、表示サイズ、及び書字方向の少なくとも一つに基づいて設定されるようにしてもよい。

また、本発明の一態様では、前記表示位置決定手段は、注釈の長さに関する複数種類の長さ情報の各々について、該長さ情報が示す長さを有する注釈が前記注釈対象に付与されたと想定した場合における該注釈の表示位置を前記注釈対象の位置又は領域に基づいて決定し、該表示位置を、該長さ情報に対応する表示位置候補として取得する手段と、前記注釈取得手段によって前記注釈情報が取得された場合、該注釈情報が示す注釈が有する長さに対応する表示位置候補に基づいて、該注釈の表示位置を決定する手段と、を含むようにしてもよい。

また、本発明の一態様では、前記表示位置決定手段は、注釈の表示色に関する複数種類の表示色情報の各々について、該表示色情報が示す表示色を有する注釈が前記注釈対象に付与されたと想定した場合における該注釈の表示位置を前記注釈対象の位置又は領域に基づいて決定し、該表示位置を、該表示色情報に対応する表示位置候補として取得する手段と、前記注釈取得手段によって前記注釈情報が取得された場合、該注釈情報が示す注釈が有する表示色に対応する表示位置候補に基づいて、該注釈の表示位置を決定する手段と、を含むようにしてもよい。

また、本発明の一態様では、前記表示位置決定手段は、注釈の表示サイズに関する複数種類の表示サイズ情報の各々について、該表示サイズ情報が示す表示サイズを有する注釈が前記注釈対象に付与されたと想定した場合における該注釈の表示位置を前記注釈対象の位置又は領域に基づいて決定し、該表示位置を、該表示サイズ情報に対応する表示位置候補として取得する手段と、前記注釈取得手段によって前記注釈情報が取得された場合、該注釈情報が示す注釈が有する表示サイズに対応する表示位置候補に基づいて、該注釈の表示位置を決定する手段と、を含むようにしてもよい。

また、本発明の一態様では、前記表示位置決定手段は、注釈の書字方向に関する複数種類の書字方向情報の各々について、該書字方向情報が示す書字方向を有する注釈が前記注釈対象に付与されたと想定した場合における該注釈の表示位置を前記注釈対象の位置又は領域に基づいて決定し、該表示位置を、該書字方向情報に対応する表示位置候補として取得する手段と、前記注釈取得手段によって前記注釈情報が取得された場合、該注釈情報が示す注釈が有する書字方向に対応する表示位置候補に基づいて、該注釈の表示位置を決定する手段と、を含むようにしてもよい。

また、本発明の一態様では、前記画像には、他の注釈が既に付与されており、前記表示位置決定手段は、複数種類の注釈の類型の各々について、前記注釈が該類型に属すると場合を想定して、前記注釈の表示位置と、前記他の注釈の新たな表示位置とを、前記注釈対象の位置又は領域と、前記他の注釈に対応する注釈対象の位置又は領域と、に基づいて決定し、該表示位置を、該類型に対応する表示位置候補として取得する手段と、前記注釈取得手段によって前記注釈情報が取得された場合、該注釈情報が示す注釈が属する類型に対応する表示位置候補に基づいて、該注釈の表示位置と、前記他の注釈の新たな表示位置と、を決定する手段と、を含むようにしてもよい。

また、本発明の一態様では、前記表示位置決定手段は、前記注釈対象の領域の大きさ及び形状のうちの少なくとも一つに基づいて、前記注釈の表示位置を決定する手段を含むようにしてもよい。

また、本発明の一態様では、前記表示位置決定手段は、前記注釈の表示位置を、該注釈の長さ、表示色、表示サイズ、及び書字方向のうちの少なくとも一つと、前記注釈対象の位置又は領域と、に基づいて決定する手段を含むようにしてもよい。

また、本発明の一態様では、前記画像の画素のエッジ量を取得する手段と、前記表示位置決定手段は、前記注釈の表示位置を、前記画像の画素のエッジ量と、前記注釈対象の位置又は領域と、に基づいて決定する手段を含むようにしてもよい。

また、本発明の一態様では、前記画像の顕著性マップを取得する手段と、前記表示位置決定手段は、前記注釈の表示位置を、前記顕著性マップと、前記注釈対象の位置又は領域と、に基づいて決定する手段を含むようにしてもよい。

また、本発明の一態様では、前記画像に含まれる注釈対象候補を検出する手段と、前記注釈対象候補に注釈が付与されたと想定した場合における該注釈の表示位置を前記注釈対象候補の位置又は領域に基づいて決定し、該表示位置を表示位置候補として取得する手段と、前記表示位置決定手段は、前記注釈対象情報によって指定された注釈対象が前記注釈対象候補に対応する場合、前記表示位置候補に基づいて、前記注釈の表示位置を決定する手段を含むようにしてもよい。

本発明によれば、注釈を適切な位置に表示することが可能になる。

本発明の実施形態に係る画像処理装置のハードウェア構成の一例を示す図である。画像の一例を示す図である。注釈対象指定画面の一例を示す図である。注釈入力画面の一例を示す図である。注釈が付与された画像の一例を示す図である。画像処理装置の機能ブロック図である。画像処理装置で実行される処理の一例を示すフロー図である。他の注釈が既に付与されている画像の一例を示す図である。注釈が付与された画像の他の一例を示す図である。注釈が付与された画像の他の一例を示す図である。画像処理装置で実行される処理の他の一例を示すフロー図である。注釈入力画面の他の一例を示す図である。注釈の類型の一例について説明するための図である。注釈の類型の他の一例について説明するための図である。注釈の類型の他の一例について説明するための図である。注釈の類型の他の一例について説明するための図である。画像処理装置で実行される処理の他の一例を示すフロー図である。画像処理装置で実行される処理の他の一例を示すフロー図である。表示位置候補の一例を示す図である。画像処理装置で実行される処理の他の一例を示すフロー図である。表示位置候補の一例を示す図である。表示位置候補の一例を示す図である。表示位置候補の一例を示す図である。

以下、本発明の実施形態の例について図面に基づき詳細に説明する。

［第１実施形態］まず、本発明の第１実施形態について説明する。本発明の第１実施形態に係る画像処理装置は、例えばデスクトップ型コンピュータ、ラップトップ型コンピュータ、タブレット型コンピュータ、又はサーバコンピュータ等によって実現される。図１は、第１実施形態に係る画像処理装置１０のハードウェア構成の一例を示す。

図１に示すように、画像処理装置１０は制御部１１、記憶部１２、光ディスクドライブ部１３、通信インタフェース部１４、操作部１５、表示部１６、及び音声出力部１７を含む。

制御部１１は例えば１又は複数のマイクロプロセッサを含み、記憶部１２に記憶されたオペレーティングシステム又はプログラムに従って情報処理を実行する。記憶部１２は例えばＲＡＭ、ハードディスク、又はソリッドステートドライブを含む。光ディスクドライブ部１３は、光ディスク（情報記憶媒体）に記憶されたプログラムやデータを読み取る。

プログラムやデータは光ディスクを介して記憶部１２に供給される。すなわち、プログラムやデータが記憶された光ディスクが光ディスクドライブ部１３に装着され、プログラムやデータが光ディスクドライブ部１３によって光ディスクから読み出され、記憶部１２に記憶される。なお、光ディスクドライブ部１３は必須の構成要素ではない。光ディスク以外の情報記憶媒体（例えばメモリカード）に記憶されたプログラム又はデータを読み取るための構成要素が光ディスクドライブ部１３の代わりに含まれるようにしてもよい。そして、光ディスク以外の情報記憶媒体を介してプログラムやデータが記憶部１２に供給されるようにしてもよい。

通信インタフェース部１４は画像処理装置１０を通信ネットワークに接続するためのインタフェースである。画像処理装置１０は通信ネットワークを介して他の装置（例えばサーバ等）とデータを授受できるようになっている。なお、プログラム及びデータは通信ネットワークを介して記憶部１２に供給されるようにしてもよい。

操作部１５はユーザが操作を行うためのものである。例えば、操作部１５は、文字を入力するためのキーボード又はボタンを含む。また、操作部１５は、表示部１６に表示される画面内の位置を指し示すためのポインティングデバイス（タッチパッド、マウス、又はスティック等）を含む。なお、いわゆるソフトウェアキーボードが表示部１６に表示されるようにしてもよい。

表示部１６は例えば液晶表示ディスプレイ等であり、音声出力部１７は例えばスピーカ又はヘッドホン端子等である。

画像処理装置１０はデータベース２０にアクセスできるようになっている。データベース２０は、画像処理装置１０以外の装置（例えばサーバ）において実現されていてもよいし、画像処理装置１０において実現されていてもよい。

記憶部１２又はデータベース２０には画像が記憶される。図２は、記憶部１２又はデータベース２０に記憶される画像の一例を示す。図２に示す画像３０には人３２、ボール３４、及び木３６が写っている。

画像処理装置１０では、画像３０に含まれる注釈対象（注釈を付与する対象）に注釈を付与できるようになっている。以下、注釈を付与するためにユーザが行う手順について説明する。

注釈を付与する場合、まず、注釈対象を指定するための画面（以下「注釈対象指定画面」と呼ぶ。）が表示部１６に表示される。なお、「注釈対象」とは、注釈を付与する対象（言い換えれば、注釈を関連づける対象）のことを意味している。例えば、画像３０に含まれているオブジェクトが「注釈対象」に相当し得る。図２に示す画像３０の場合、人３２、ボール３４、又は木３６が「注釈対象」に相当し得る。

図３は注釈対象指定画面４０の一例を示す。図３に示すように、注釈対象指定画面４０には画像３０が表示される。また、注釈対象指定画面４０には、注釈対象を指定するようにユーザに要求するメッセージ４２が表示されており、注釈対象指定画面４０では、ユーザによる注釈対象の指定が受け付けられる。

注釈対象指定画面４０において、ユーザはポインティングデバイス等を用いて注釈対象を指定する。画像３０に写っている人３２に関する注釈を入力する場合、ユーザは人３２を注釈対象として指定する。例えば、ユーザは、人３２が表示されている領域内の点を指し示したり、人３２を囲むような軌跡を入力したりすることによって、人３２を注釈対象として指定する。

注釈対象が指定された場合、注釈を入力するための画面（以下「注釈入力画面」と呼ぶ。）が表示部１６に表示される。図４は注釈入力画面の一例を示す。なお、図４に示す注釈入力画面５０は、人３２が注釈対象として指定された場合の注釈入力画面である。

図４に示すように、注釈入力画面５０には画像３０が表示される。また、注釈入力画面５０には、注釈を入力するようにユーザに要求するメッセージ５２が表示されており、注釈入力画面５０では、ユーザによる注釈の入力が受け付けられる。

注釈入力画面５０は入力欄５４と登録ボタン５６とを含んでいる。入力欄５４には、ユーザがキーボード等を用いて入力した注釈が表示される。入力欄５４は画像３０内に表示される。入力欄５４の表示位置は注釈対象（人３２）の位置に基づいて決定される。例えば、注釈対象の付近の位置に入力欄５４は表示される。ユーザは注釈対象に関する注釈を入力した後、登録ボタン５６をクリックする。

なお、注釈入力画面５０では、注釈の表示色、表示サイズ（文字サイズ）や、書字方向（横書き又は縦書き）等もユーザが指定できるようにしてもよい。また、注釈入力画面５０では、予め用意された複数の注釈のうちのいずれかをユーザが選択できるようにしてもよい。

注釈入力画面５０の登録ボタン５６がクリックされると、ユーザによって指定された注釈対象やユーザによって入力された注釈に関するデータが画像３０に関連づけて記憶部１２又はデータベースに保存される。また、ユーザによって入力された注釈が付与された画像３０が表示部１６に表示される。

図５は、ユーザによって入力された注釈が付与された画像３０の一例を示す。図５に示す画像３０では、ユーザによって入力された注釈６２が、注釈対象である人３２に関連づけて表示されている。なお、図５に示す画像３０では、注釈６２と注釈対象（人３２）とを関連づける連結線６０が表示されている。

画像処理装置１０では、ユーザによって入力された注釈が適切な位置に表示されるようになっている。以下、ユーザによって入力された注釈を適切な位置に表示するための技術について説明する。

図６は、画像処理装置１０において実現される機能ブロックのうち、本発明に関連する機能ブロックを示す機能ブロック図である。図６に示すように、画像処理装置１０は画像取得部７０、注釈対象情報取得部７２、注釈情報取得部７４、表示位置決定部７６、及びデータ出力部７８を含む。

画像取得部７０は記憶部１２又はデータベース２０に記憶された画像３０を取得する。

注釈対象情報取得部７２は、画像３０に含まれる注釈対象を指定する注釈対象情報を取得する。本実施形態の場合、注釈対象情報取得部７２は、ユーザによって指定された注釈対象を示す注釈対象情報を取得する。例えば、注釈対象情報取得部７２は、注釈対象指定画面４０においてユーザが指し示した画像３０内の位置を示す情報、又は、注釈対象指定画面４０においてユーザが入力した軌跡を示す情報等を注釈対象情報として取得する。

注釈情報取得部７４は注釈を示す注釈情報を取得する。本実施形態の場合、注釈情報取得部７４は、ユーザが入力（又は選択）した注釈を示す注釈情報を取得する。例えば、下記に示すような情報が注釈情報に含まれ得る。
・注釈を示すテキスト情報
・注釈の表示色を示す情報
・注釈の表示サイズ（文字サイズ）を示す情報
・注釈の書字方向（横書き又は縦書き）を示す情報

表示位置決定部７６は注釈の表示位置を決定する。表示位置決定部７６は、画像３０における注釈対象の位置又は領域に基づいて、注釈の表示位置を決定する。注釈の表示位置の決定方法の詳細については後述する（図７のステップＳ１０５等参照）。

データ出力部７８は、ユーザによって入力（又は選択）された注釈が表示位置決定部７６によって決定された表示位置に表示された画像３０のデータを出力する。例えば、データ出力部７８は上記のデータを表示部１６に表示させる。あるいは、データ出力部７８は上記のデータを記憶部１２又はデータベース２０に出力（保存）する。

次に、上記に説明した機能ブロックを実現するために画像処理装置１０で実行される処理について説明する。図７は、注釈を画像３０に付与する場合に画像処理装置１０で実行される処理の一例を示すフロー図である。制御部１１がプログラムに従って図７に示す処理を実行することによって、制御部１１が画像取得部７０、注釈対象情報取得部７２、注釈情報取得部７４、表示位置決定部７６、及びデータ出力部７８として機能するようになる。

図７に示すように、まず、制御部１１は画像３０を記憶部１２又はデータベース２０から取得する（Ｓ１０１）。そして、制御部１１は注釈対象指定画面４０を表示部１６に表示する（Ｓ１０２）。注釈対象指定画面４０が表示されている間、制御部１１は、注釈対象の指定が完了したか否かを監視する（Ｓ１０３）。

注釈対象の指定が完了した場合、制御部１１は、画像３０における注釈対象の位置や領域を特定する（Ｓ１０４）。例えば、注釈対象指定画面４０においてユーザが指し示した画像３０内の位置や、注釈対象指定画面４０においてユーザが入力した軌跡に基づいて、制御部１１は、注釈対象の位置や領域を特定する。例えば、人３２内の位置がユーザによって指し示された場合、制御部１１は、ユーザによって指し示された位置に基づいて公知のオブジェクト領域検出処理を実行することによって、人３２が表示された領域を検出し、該領域を注釈対象の領域として特定する。また例えば、人３２を囲むような軌跡がユーザによって入力された場合、制御部１１は、該軌跡によって囲まれた領域を注釈対象の領域として特定する。

その後、制御部１１は注釈の表示位置を決定する（Ｓ１０５）。なお、この時点では注釈は入力されていないが、本実施形態ではこの時点で注釈の表示位置が決定される。すなわち、本実施形態では、注釈が入力されるのに先立って、注釈の表示位置が決定される。

注釈の表示位置は下記の情報（Ａ）〜（Ｈ）の少なくとも一つに基づいて決定される。
（Ａ）注釈対象の位置
（Ｂ）注釈対象の領域の形状又は大きさ
（Ｃ）注釈の長さ
（Ｄ）注釈の表示色
（Ｅ）注釈の表示サイズ
（Ｆ）注釈の書字方向
（Ｇ）画像３０の画素のエッジ量
（Ｈ）画像３０の顕著性マップ

例えば、制御部１１は注釈対象の位置に基づいて注釈の表示位置を決定する。

具体的には、制御部１１は、注釈対象からの距離が基準距離以下となるような位置を注釈の表示位置として決定する。ここで、「注釈対象からの距離」とは、注釈対象の代表点からの距離であってもよいし、注釈対象の領域の境界線からの距離であってもよい。

また例えば、制御部１１は注釈の長さ（文字数）又は／及び表示サイズ（文字サイズ）に基づいて注釈の表示位置を決定する。

具体的には、注釈の長さが長い場合や注釈の表示サイズが大きい場合、制御部１１は、比較的広い空き領域内の位置を注釈の表示位置として決定する。例えば、図２に示す画像３０では、人３２と画像３０の左辺３０Ｌとの間の領域は比較的狭くなっており、人３２と画像３０の上辺３０Ｕとの間の領域は比較的広くなっている。このため、人３２（注釈対象）に関連づける注釈の長さが長い場合や表示サイズが大きい場合、制御部１１は、人３２と画像３０の上辺３０Ｕとの間の領域内の位置を、注釈の表示位置として決定する。

一方、注釈の長さが短い場合や注釈の表示サイズが小さい場合、制御部１１は、比較的狭い空き領域内に注釈の表示位置を決定する場合がある。人３２（注釈対象）に関連づける注釈の長さが短い場合や表示サイズが小さい場合、制御部１１は、人３２と画像３０の左辺３０Ｌとの間の領域内の位置を、注釈の表示位置として決定する場合がある。

また例えば、制御部１１は、注釈の書字方向と、注釈対象の領域の形状又は大きさと、に基づいて注釈の表示位置を決定する。

具体的には、注釈の書字方向が「横書き」であり、かつ、注釈対象の領域が横長の形状を有している場合、制御部１１は、注釈対象の上側又は下側の領域内の位置を注釈の表示位置として決定する。なお、注釈の長さが注釈対象の領域の横方向の長さと同等である場合、又は、注釈の長さが注釈対象の領域の横方向の長さよりも短い場合に限って、制御部１１は、注釈対象の上側又は下側の領域内の位置を注釈の表示位置として決定するようにしてもよい。

また、注釈の書字方向が「縦書き」であり、かつ、注釈対象の領域が縦長の形状を有している場合、制御部１１は、注釈対象の左側又は右側の領域内の位置を注釈の表示位置として決定する。なお、注釈の長さが注釈対象の領域の縦方向の長さと同等である場合、又は、注釈の長さが注釈対象の領域の縦方向の長さよりも短い場合に限って、制御部１１は、注釈対象の左側又は右側の領域内の位置を注釈の表示位置として決定するようにしてもよい。

また例えば、制御部１１は注釈の表示色に基づいて注釈の表示位置を決定する。具体的には、制御部１１は、注釈の表示色との相性が良い色を有する領域内の位置を注釈の表示位置として決定する。すなわち、制御部１１は、注釈の表示色との相性が良い色を有する領域を探し、そのような領域が見つかったら、該領域内の位置を注釈の表示位置として決定する。

本実施形態では、色の模範組み合わせ（すなわち、相性が良い色の組み合わせ）に関する情報が記憶部１２又はデータベース２０に記憶されている。制御部１１はこの情報を参照し、注釈の表示色と、画像３０内の領域の色と、の相性が良いか否かを判定する。すなわち、制御部１１は、注釈の表示色と、領域の色と、の組み合わせが上記の情報が示す組み合わせのいずれかに合致しているか否かを判定する。そして、注釈の表示色と、領域の色と、の組み合わせが上記の情報が示す組み合わせのいずれかに合致している場合に、制御部１１は、注釈の表示色と、領域の色と、の相性が良いと判定する。なお、ここで、「領域の色」とは、領域内の画素の色値の平均であってもよいし、領域内の画素の色のうちで最も多い色であってもよい。

また例えば、制御部１１は画像３０の各画素のエッジ量に基づいて注釈の表示位置を決定する。

ここで、「エッジ」とは、画像３０中で色が変化する度合いのことを意味しており、「画素のエッジ量」とは、画素と該画素の周辺画素との間の色相の差に関する量である。画素のエッジ量を算出するための手法としては公知の手法を用いることができる。例えば、Ｓｏｂｅｌフィルタを用いることができる。画素（ｘ，ｙ）における画素値をＩ_ｘ，ｙとした場合、画素（ｘ，ｙ）のエッジ量Ｓ_ｘ，ｙは下記式（１）〜（３）によって算出される。

なお、各画素の画素値Ｉは、各画素のＲＧＢ値をＹＣ_ＢＣ_Ｒ値に変換することによって取得される。ＲＧＢ値からＹＣ_ＢＣ_Ｒ値への変換は下記式（４）によって行われる。ここでは、画素と該画素の周辺画素との間の色相の差に関する量を「画素のエッジ量」として用いるため、各画素のＣ_Ｂ，Ｃ_Ｒ値に基づいて各画素の画素値Ｉが算出される。例えば下記式（５）によって各画素の画素値Ｉが算出される。

なお、「エッジ」は、画像３０中で輝度が変化する度合いのことを意味してもよく、「画素のエッジ量」は、画素と該画素の周辺画素との間の輝度の差に関する量であってもよい。すなわち、上記式（４）によって算出される各画素のＹ値が各画素の画素値Ｉとして用いられるようにしてもよい。言い換えれば、各画素のＹ値が各画素の画素値Ｉとして上記式（１）〜（３）に代入されることによって、各画素のエッジ量が算出されるようにしてもよい。

制御部１１は、領域内に含まれる画素のエッジ量の合計値が基準値よりも小さい領域内の位置を注釈の表示位置として決定する。例えば、制御部１１は、領域内に含まれる画素のエッジ量の合計値が基準値よりも小さいような所定サイズの領域を探し、そのような領域が見つかったら、該領域内の位置を注釈の表示位置として決定する。一般的に、画像３０の特徴部分（例えば、被写体が写っている部分等）は色相又は輝度の変化が大きくなるため、エッジ量の合計値が基準値よりも小さい領域内の位置を注釈の表示位置として決定するようにすれば、画像３０の特徴部分と重ならないようにして注釈を表示できるようになる。

なお、制御部１１は、領域内に含まれる画素のエッジ量の合計値が基準値よりも大きい領域内の位置を注釈の表示位置として決定するようにしてもよい。例えば、制御部１１は、領域内に含まれる画素のエッジ量の合計値が基準値よりも大きいような所定サイズの領域を探し、そのような領域が見つかったら、該領域内の位置を注釈の表示位置として決定するようにしてもよい。このようにすることによって、画像３０の特徴部分（目立つ部分）に注釈を表示するようにしてもよい。

また例えば、制御部１１は、画像３０の顕著性マップを考慮して注釈の表示位置を決定する。なお、顕著性マップは公知の手法によって取得するようにすればよい。

具体的には、制御部１１は、顕著性が所定の基準よりも低い領域内の位置を注釈の表示位置として決定することによって、画像３０の特徴部分（顕著性がある部分）と重ならないようにして注釈を表示するようにしてもよい。なお、制御部１１は、顕著性が所定の基準よりも高い領域内の位置を注釈の表示位置として決定することによって、画像３０の特徴部分（顕著性がある部分）に注釈を表示するようにしてもよい。

ステップＳ１０５では、以上に説明したような条件の全部又は一部を満足するような位置が注釈の表示位置として決定される。なお、図７に示す処理では、注釈が入力される前に注釈の表示位置が決定されるようになっているため、注釈の長さ、表示色、表示サイズ、及び書字方向が所定の長さ、所定の表示色、所定の表示サイズ、及び所定の書字方向であるとの仮定の下で、注釈の表示位置が決定されることになる。

ステップＳ１０５が実行された後、制御部１１は注釈入力画面５０を表示部１６に表示する（Ｓ１０６）。注釈入力画面５０では、ステップＳ１０５で決定された表示位置に入力欄５４が表示される。

なお、上述したように、図７に示す処理では、注釈が入力される前に注釈の表示位置（入力欄５４の表示位置）が決定されるようになっているため、注釈の長さ（文字数）、表示色、表示サイズ、及び書字方向が所定の長さ（文字数）、所定の表示色、所定の表示サイズ、及び所定の書字方向であるとの仮定の下で、入力欄５４の表示位置（注釈の表示位置）が決定されることになる。

そこで、注釈入力画面５０が表示されている間において、入力欄５４に入力された文字数が所定の文字数に比べて多くなった場合には、入力欄５４に入力された文字数に基づいて、入力欄５４の表示位置（注釈の表示位置）の再決定が実行されるようにしてもよい。

また、注釈の表示色として所定の表示色とは異なる色が指定された場合にも、入力欄５４の表示位置（注釈の表示位置）の再決定が実行されるようにしてもよい。同様に、注釈の表示サイズとして所定の表示サイズとは異なる表示サイズが指定された場合や、注釈の書字方向として所定の書字方向とは異なる書字方向が指定された場合にも、入力欄５４の表示位置（注釈の表示位置）の再決定が実行されるようにしてもよい。

以上のように、ユーザの指定内容に応じて、入力欄５４の表示位置（注釈の表示位置）の再決定を実行し、入力欄５４の表示位置（注釈の表示位置）を変えるようにしてもよい。

注釈入力画面５０が表示されている間、制御部１１は、注釈の入力が完了したか否かを監視する（Ｓ１０７）。すなわち、制御部１１は登録ボタン５６がクリックされたか否かを監視する。

注釈の入力が完了した場合、制御部１１は、注釈入力画面５０の入力欄５４に入力された注釈を取得する（Ｓ１０８）。そして、制御部１１は、ステップＳ１０８で取得された注釈がステップＳ１０５で決定された表示位置に表示された画像３０のデータを生成し、該データを出力する（Ｓ１０９）。例えば、制御部１１は該データを表示部１６に表示する。あるいは、制御部１１は該データを記憶部１２又はデータベース２０に保存する。

以上説明した第１実施形態に係る画像処理装置１０によれば、注釈や注釈対象を考慮した最適な位置に注釈を表示することが可能になる。

ところで、以上では、注釈が付与されていない画像３０に注釈を付与する場合について説明した。しかしながら、他の注釈が既に画像３０に付与されている場合もある。図８は、他の注釈が既に付与されている画像３０の一例を示す。図８に示す画像３０では、注釈６４がボール３４（注釈対象）に関連づけられており、注釈６６が木３６（注釈対象）に関連づけられている。

ここで、他の注釈が既に付与されている画像３０に新たに付与される注釈の表示位置を決定する方法について説明する。図９及び図１０は、他の注釈６４，６６が既に付与されている画像３０に新たに付与される注釈６２の表示位置を決定する方法について説明するための図である。

他の注釈６４，６６が既に画像３０に付与されている場合、図７のステップＳ１０５において、制御部１１は、新たに付与される注釈６２の表示位置を下記に説明するようにして決定する。

この場合、注釈６２の表示位置は、先述の情報（Ａ）〜（Ｈ）の少なくとも一つと、下記の情報（Ｉ）〜（Ｋ）の少なくとも一つと、に基づいて決定される。
（Ｉ）他の注釈６４，６６の表示位置
（Ｊ）他の注釈６４，６６に対応する注釈対象（ボール３４，木３６）の位置
（Ｋ）他の注釈６４，６６に対応する注釈対象（ボール３４，木３６）の領域の形状又は大きさ

例えば、制御部１１は、他の注釈６４，６６の表示位置に基づいて注釈６２の表示位置を決定する。具体的には、制御部１１は、注釈６２が他の注釈６４，６６と重ならないような位置を注釈６２の表示位置として決定する。あるいは、制御部１１は、他の注釈６４，６６の表示位置からの距離が基準距離よりも大きくなるような位置を注釈６２の表示位置として決定する。図９に示す例は、このようにして注釈６２の表示位置が決定された場合について示している。

また例えば、制御部１１は、他の注釈６４，６６に対応する注釈対象（ボール３４，木３６）の位置又は領域に基づいて、注釈６２の表示位置を決定する。具体的には、制御部１１は、他の注釈６４，６６に対応する注釈対象（ボール３４，木３６）からの距離が基準距離よりも大きくなるような位置を注釈６２の表示位置として決定する。

なお、図７のステップＳ１０５において、制御部１１は、他の注釈６４，６６を考慮することなく、注釈６２の表示位置を決定するようにしてもよい。そして、制御部１１は、注釈６２の表示位置に基づいて、他の注釈６４，６６の表示位置を変更するようにしてもよい。図１０に示す例では、注釈６２の表示領域と、注釈６６の元々の表示領域（図８参照）が重なるため、注釈６６の表示位置が、注釈６２と重ならないような位置に変更されている。言い換えれば、注釈６６の表示位置が、注釈６２からの距離が基準距離よりも大きくなるような位置に変更されている。

あるいは、図７のステップＳ１０５において、制御部１１は、注釈６２，６４，６６の表示位置の組み合わせとして複数種類の組み合わせを取得するようにしてもよい。また、制御部１１はそれらの組み合わせの各々の評価値を算出するようにしてもよい。そして、制御部１１は、それらの評価値に基づいていずれかの組み合わせを選出し、選出された組み合わせに基づいて、注釈６２，６４，６６の表示位置を決定するようにしてもよい。

なお、この場合、注釈６２，６４，６６の表示位置は上記の情報（Ａ）〜（Ｈ）の少なくとも一つに基づいてそれぞれ決定される。また、組み合わせの評価値は例えば下記のような指標の少なくとも一つに基づいて算出される。
・注釈と注釈対象との間の距離（距離が短いほど、評価が高くなる。）
・注釈と他の注釈との間の距離（距離が長いほど、評価が高くなる。）
・注釈の表示色と該注釈の表示位置の色との相性（相性が良いほど、評価が高くなる。）
・注釈の表示位置のエッジ量（エッジ量が小さいほど、評価が高くなる。）
・注釈の表示位置の顕著性（顕著性が低いほど、評価が高くなる。）

［第２実施形態］本発明の第２実施形態について説明する。以下に説明する相違点を除いて、第２実施形態に係る画像処理装置１０は第１実施形態と同様である。

第１実施形態に係る画像処理装置１０では、注釈が入力される前に（言い換えれば、注釈入力画面５０が表示される前に）、注釈の表示位置が決定されるようになっていたが（図７のステップＳ１０５参照）、第２実施形態に係る画像処理装置１０では、注釈が入力された後に、注釈の表示位置が決定されるようになっている。この点で第２実施形態に係る画像処理装置１０は第１実施形態と異なっている。

第２実施形態に係る画像処理装置１０で実行される処理について説明する。図１１は、第２実施形態に係る画像処理装置１０で実行される処理の一例を示すフロー図である。第２実施形態に係る画像処理装置１０では、図７に示す処理に代えて、図１１に示す処理が実行される。

図１１のステップＳ２０１〜Ｓ２０４は図７のステップＳ１０１〜Ｓ１０４と同様である。このため、ここでは説明を省略する。

ステップＳ２０４の処理が実行された後、制御部１１は注釈入力画面５０を表示部１６に表示する（Ｓ２０５）。図１２は、ステップＳ２０５において表示される注釈入力画面５０の一例を示す。図１２に示す注釈入力画面５０は、入力欄５４が画像３０外の所定位置に表示される点で、図４に示す注釈入力画面５０と異なっている。

注釈入力画面５０が表示されている間、制御部１１は注釈の入力が完了したか否かを監視する（Ｓ２０６）。ステップＳ２０６は図７のステップＳ１０７と同様である。

注釈の入力が完了した場合、制御部１１は、注釈入力画面５０の入力欄５４に入力された注釈を取得する（Ｓ２０７）。そして、制御部１１は、ステップＳ２０７で取得された注釈の表示位置を決定する（Ｓ２０８）。基本的に、ステップＳ２０８で実行される処理は図７のステップＳ１０５と同様である。ただし、ステップＳ１０５と異なり、ステップＳ２０８が実行される時点では注釈が既に入力されているため、ステップＳ２０８では、実際に入力された注釈の長さ、表示色、表示サイズ、及び書字方向の少なくとも一つに基づいて、注釈の表示位置が決定される。

ステップＳ２０８の処理が実行された後、制御部１１は、ステップＳ２０７で取得された注釈がステップＳ２０８で決定された表示位置に表示された画像３０のデータを出力する（Ｓ２０９）。例えば、制御部１１は該データを表示部１６に表示する。あるいは、制御部１１は該データを記憶部１２又はデータベース２０に保存する。

なお、図１１に示す処理では、注釈の入力が完了した後にステップＳ２０７，Ｓ２０８が実行されるようになっていたが、注釈の入力中においてもステップＳ２０７，Ｓ２０８が実行されるようにしてもよい。すなわち、注釈入力画面５０の入力欄５４に文字が入力されるごとに、その時点で入力欄５４に入力されている注釈（すなわち、入力途中の注釈）に基づいて、ステップＳ２０７，Ｓ２０８が実行されるようにしてもよい。

以上説明した第２実施形態に係る画像処理装置１０によれば、第１実施形態に係る画像処理装置１０と同様、注釈や注釈対象を考慮した最適な位置に注釈を表示することが可能になる。

なお、第２実施形態に係る画像処理装置１０においても、他の注釈が既に画像３０に付与されている場合がある（図８参照）。このような場合、図１１のステップＳ２０８では、先述の情報（Ａ）〜（Ｋ）の少なくとも一つに基づいて、注釈の表示位置を決定するようにすればよい（図９，１０参照）。

［第３実施形態］本発明の第３実施形態について説明する。以下に説明する相違点を除いて、第３実施形態に係る画像処理装置１０は第１実施形態と同様である

第３実施形態に係る画像処理装置１０では、注釈の入力が完了する前において注釈の複数の表示位置候補が取得され、注釈の入力が完了した後において、該注釈の表示位置として、それら複数の表示位置候補のうちのいずれかが選択されるようになっている。この点で第３実施形態に係る画像処理装置１０は第１実施形態と異なっている。

第３実施形態に係る画像処理装置１０では、複数種類の注釈の類型（分類）が予め定義される。図１３Ａ、図１３Ｂ、図１３Ｃ、及び図１３Ｄは注釈の類型の例について示す。図１３Ａ〜１３Ｄでは、複数種類の類型が定義されており、各類型に属する注釈の特徴が記載されている。

図１３Ａに示す例では注釈の長さ（文字数）に基づいて注釈の類型が設定されている。図１３Ａにおける「第１の類型」は、長さが５文字以内である注釈が属する類型である。また、「第２の類型」は、長さが６文字以上１０文字以下である注釈が属する類型であり、「第３の類型」は、長さが１１文字以上である注釈が属する類型である。

図１３Ｂに示す例では注釈の表示色に基づいて注釈の類型が設定されている。図１３Ｂにおける「第１の類型」は、表示色が黒色である注釈が属する類型である。また、「第２の類型」は、表示色が赤色である注釈が属する類型であり、「第３の類型」は、表示色が青色である注釈が属する類型である。

図１３Ｃに示す例では注釈の表示サイズに基づいて注釈の類型が設定されている。図１３Ｂにおける「第１の類型」は、表示サイズがＰ１未満である注釈が属する類型である。「第２の類型」は、表示サイズがＰ１以上Ｐ２未満である注釈が属する類型であり、「第３の類型」は、表示サイズがＰ２以上である注釈が属する類型である。なお、「Ｐ１」及び「Ｐ２」は所定の表示サイズ（文字サイズ）を示している。

図１３Ｄに示す例では注釈の書字方向に基づいて注釈の類型が設定されている。図１３Ｄにおける「第１の類型」は、横書きの注釈が属する類型であり、「第２の類型」は、縦書きの注釈が属する類型である。

なお、注釈の類型（分類）は、注釈の長さ、表示色、表示サイズ、及び書字方向のうちの複数に基づいて設定されるようにしてもよい。すなわち、図１３Ａ〜１３Ｄのうちの複数を組み合わせたような類型が設定されるようにしてもよい。

第３実施形態に係る画像処理装置１０で実行される処理について説明する。図１４は、第３実施形態に係る画像処理装置１０で実行される処理の一例を示すフロー図である。第３実施形態に係る画像処理装置１０では、図７に示す処理に代えて、図１４に示す処理が実行される。なお、以下では、図１３Ａに示す類型が定義されていることとして、図１４に示す処理について説明する。

図１４のステップＳ３０１〜Ｓ３０４は図７のステップＳ１０１〜Ｓ１０４と同様である。このため、ここでは説明を省略する。

ステップＳ３０４が実行された後、制御部１１は、注釈対象に付与される注釈の表示位置候補を取得する（Ｓ３０５）。図１５はステップＳ３０５で実行される処理の一例を示すフロー図である。

図１５に示すように、まず、制御部１１は変数ｉを１に初期化する（Ｓ４０１）。そして、制御部１１は第ｉの表示位置候補を取得する（Ｓ４０２）。例えば、制御部１１は、注釈対象に付与される注釈が第ｉの類型に属すると想定した場合における該注釈の表示位置を決定する。注釈の表示位置を決定する処理自体は、図７のステップＳ１０５や図１１のステップＳ２０８と同様である。そして、制御部１１は、上記の表示位置を、第ｉの類型に対応する表示位置候補（すなわち、第ｉの表示位置候補）として取得する。

例えば、変数ｉが１である場合、制御部１１は、注釈対象に付与される注釈の長さが５文字以下であるとの仮定の下で、該注釈の表示位置を決定し、該表示位置を第１の表示位置候補として取得する。

ステップＳ４０２が実行された後、制御部１１は、ステップＳ４０２で取得された第ｉの表示位置候補を記憶部１２に記憶する。その後、制御部１１は変数ｉに１を加算し（Ｓ４０３）、変数ｉが３以下であるか否かを判定する（Ｓ４０４）。ここで、「３」は注釈の類型の種類の総数である（図１３Ａ参照）。

ステップＳ４０３による加算後の変数ｉが３以下である場合、制御部１１は第ｉの表示位置候補を取得する（Ｓ４０２）。例えば、変数ｉが２である場合、制御部１１は、注釈対象に付与される注釈の長さが６文字以上１０文字以下であるとの仮定の下で、該注釈の表示位置を決定し、該表示位置を第２の表示位置候補として取得する。また例えば、変数ｉが３である場合、制御部１１は、注釈対象に付与される注釈の長さが１１文字以上であるとの仮定の下で、該注釈の表示位置を決定し、該表示位置を第３の表示位置候補として取得する。一方、変数ｉが３以下でない場合、制御部１１は本処理を終了する。

図１５に示す処理が終了した時点では第１〜第３の表示位置候補が取得されている。図１６は、第１〜第３の表示位置候補の一例を示す。図１６において、表示位置候補８２Ａは第１の表示位置候補を示す。また、表示位置候補８２Ｂは第２の表示位置候補を示し、表示位置候補８２Ｃは第３の表示位置候補を示す。

例えば、表示位置候補８２Ａは、注釈が第１の類型に属すると想定した場合に取得される表示位置候補である。第１の類型は長さが短い注釈が属する類型であるため（図１３Ａ参照）、表示位置候補８２Ａは、注釈の長さが短いとの仮定の下で取得された表示位置候補である。このため、表示位置候補８２Ａは比較的狭い空き領域に設定されている。

また例えば、表示位置候補８２Ｃは、注釈が第３の類型に属すると想定した場合に取得される表示位置候補である。第３の類型は長さが長い注釈が属する類型であるため、表示位置候補８２Ｃは、注釈の長さが長いとの仮定の下で取得された表示位置候補である。このため、表示位置候補８２Ｃは比較的広い空き領域に設定されている。

図１５に示す処理（すなわち、図１４のステップＳ３０５）が完了された場合、図１４に示すように、制御部１１は注釈入力画面５０を表示部１６に表示する（Ｓ３０６）。例えば、制御部１１は、図１２に示すような注釈入力画面５０を表示部１６に表示する。

注釈入力画面５０が表示されている間、制御部１１は注釈の入力が完了したか否かを監視する（Ｓ３０７）。ステップＳ３０７は図７のステップＳ１０７と同様である。

注釈の入力が完了した場合、制御部１１は、注釈入力画面５０の入力欄５４に入力された注釈を取得する（Ｓ３０８）。そして、制御部１１は、ステップＳ３０８で取得された注釈の表示位置を決定する（Ｓ３０９）。図１７はステップＳ３０９で実行される処理の一例を示すフロー図である。

図１７に示すように、まず、制御部１１は変数ｉを１に初期化する（Ｓ５０１）。そして、制御部１１は、ステップＳ３０８で取得された注釈が第ｉの類型に属するか否かを判定する（Ｓ５０２）。例えば、変数ｉが１である場合、制御部１１は、ステップＳ３０８で取得された注釈の長さ（文字数）が５文字以下であるか否かを判定する。そして、ステップＳ３０８で取得された注釈の長さが５文字以下である場合、制御部１１は、ステップＳ３０８で取得された注釈が第１の類型に属すると判定する。

ステップＳ３０８で取得された注釈が第ｉの類型に属しない場合、制御部１１は変数ｉに１を加算し（Ｓ５０３）、変数ｉが３以下であるか否かを判定する（Ｓ５０４）。ここで、「３」は注釈の類型の種類の総数である。

変数ｉが３以下であると判定された場合、制御部１１はステップＳ５０２を再実行する。一方、変数ｉが３以下でないと判定される場合とは、ステップＳ３０８で取得された注釈が第１〜第３の類型のいずれにも属しない場合である。このような場合、制御部１１はエラーメッセージを表示部１６に表示し（Ｓ５０６）、本処理を終了する。この場合、制御部１１は後述のステップＳ３１０を実行することなく、図１４に示す処理を終了する。なお、注釈が第１〜第３の類型のいずれかに必ず属するように第１〜第３の類型が設定されているのであれば、ステップＳ５０６は不要である。

ステップＳ５０２において、ステップＳ３０８で取得された注釈が第ｉの類型に属すると判定された場合、制御部１１は、第ｉの表示位置候補に基づいて、ステップＳ３０８で取得された注釈の表示位置を決定する。すなわち、制御部１１は、第ｉの表示位置候補を、ステップＳ３０８で取得された注釈を表示位置として決定する（Ｓ５０５）。そして、制御部１１は本処理を終了し、図１４のステップＳ３１０を実行する。

ステップＳ３０９（すなわち、図１７に示す処理）が完了された場合、制御部１１は、ステップＳ３０８で取得された注釈がステップＳ３０９で決定された表示位置に表示された画像３０のデータを出力する（Ｓ３１０）。例えば、制御部１１は該データを表示部１６に表示する。あるいは、制御部１１は該データを記憶部１２又はデータベース２０に保存する。

以上説明した第３実施形態に係る画像処理装置１０によれば、第１実施形態に係る画像処理装置１０と同様、注釈や注釈対象を考慮した最適な位置に注釈を表示することが可能になる。

なお、第３実施形態に係る画像処理装置１０においても、他の注釈が既に画像３０に付与されている場合がある（図８参照）。他の注釈が既に画像３０に付与されている場合、図１５のステップＳ４０２では下記に説明するような処理が実行される。なお、ここでは、他の注釈６４，６６が既に付与されている画像３０に注釈（図９，１０における注釈６２）が新たに付与される場合を想定する。

ステップＳ４０２において、制御部１１は、第ｉの類型に対応する表示位置候補の組み合わせ（第ｉの表示位置候補の組み合わせ）を取得する。

例えば変数ｉが１である場合、制御部１１は第１の類型に対応する表示位置候補の組み合わせ（第１の表示位置候補の組み合わせ）を取得する。すなわち、制御部１１は、新たに付与される注釈が第１の類型に属する場合を想定して、新たに付与される注釈の表示位置候補と、既に付与されている他の注釈６４，６６の表示位置候補と、の組み合わせを取得する。

図１８は第１の表示位置候補の組み合わせの一例を示す。図１８において、表示位置候補８２Ａは、新たに付与される注釈の第１の表示位置候補を示している。表示位置候補８４Ａは、ボール３４に対して既に付与されている注釈６４の第１の表示位置候補を示し、表示位置候補８６Ａは、木３６に対して既に付与されている注釈６６の第１の表示位置候補を示している。

例えば、制御部１１は、新たに付与される注釈が第１の類型に属するとの想定の下で、該注釈の表示位置を決定し、該表示位置を、新たに付与される注釈の表示位置候補８２Ａとして取得する。第１の類型は、５文字以下の注釈が属する類型であるため（図１３Ａ参照）、表示位置候補８２Ａは、新たに付与される注釈が５文字以下の注釈であるとの仮定の下で取得される表示位置候補である。

表示位置候補８２Ａが取得された後、制御部１１は注釈６４の表示位置候補８４Ａを表示位置候補８２Ａに基づいて取得する。注釈６４の元々の表示領域（図８参照）は表示位置候補８２Ａと重なっていないため、例えば、制御部１１は注釈６４の元々の表示位置を表示位置候補８４Ａとして取得する。

表示位置候補８２Ａ，８４Ａが取得された後、制御部１１は注釈６６の表示位置候補８６Ａを表示位置候補８２Ａ，８４Ａに基づいて取得する。注釈６６の元々の表示領域（図８参照）は表示位置候補８２Ａ，８４Ａと重なっていないため、例えば、制御部１１は注釈６６の元々の表示位置を表示位置候補８６Ａとして取得する。

また例えば変数ｉが２である場合、制御部１１は、第２の類型に対応する表示位置候補の組み合わせ（第２の表示位置候補の組み合わせ）を取得する。すなわち、制御部１１は、新たに付与される注釈が第２の類型に属する場合を想定して、新たに付与される注釈の表示位置候補と、既に付与されている他の注釈６４，６６の表示位置候補と、の組み合わせを取得する。

図１９は第２の表示位置候補の組み合わせの一例を示す。図１９において、表示位置候補８２Ｂは、新たに付与される注釈の第２の表示位置候補を示している。表示位置候補８４Ｂは、ボール３４に対して既に付与されている注釈６４の第２の表示位置候補を示し、表示位置候補８６Ｂは、木３６に対して既に付与されている注釈６６の第３の表示位置候補を示している。

例えば、制御部１１は、新たに付与される注釈が第２の類型に属するとの想定の下で、該注釈の表示位置を決定し、該表示位置を、新たに付与される注釈の表示位置候補８２Ｂとして取得する。第２の類型は、６文字以上１０文字以下の注釈が属する類型であるため、表示位置候補８２Ｂは、新たに付与される注釈が６文字以上１０文字以下の注釈であるとの仮定の下で取得される表示位置候補である。

表示位置候補８２Ｂが取得された後、制御部１１は注釈６４の表示位置候補８４Ｂを表示位置候補８２Ｂに基づいて取得する。注釈６４の元々の表示領域（図８参照）は表示位置候補８２Ｂと重なっているため、例えば、制御部１１は、注釈６４の元々の表示位置とは異なる位置を表示位置候補８４Ｂとして取得する。すなわち、制御部１１は、表示位置候補８２Ｂと重ならないような位置を表示位置候補８４Ｂとして取得する。

表示位置候補８２Ｂ，８４Ｂが取得された後、制御部１１は注釈６６の表示位置候補８６Ｂを表示位置候補８２Ｂ，８４Ｂに基づいて取得する。注釈６６の元々の表示領域（図８参照）は表示位置候補８２Ｂ，８４Ｂと重なっていないため、例えば、制御部１１は注釈６６の元々の表示位置を表示位置候補８６Ｂとして取得する。

例えば変数ｉが３である場合、制御部１１は、第３の類型に対応する表示位置候補の組み合わせ（第３の表示位置候補の組み合わせ）を取得する。すなわち、制御部１１は、新たに付与される注釈が第３の類型に属する場合を想定して、新たに付与される注釈の表示位置候補と、既に付与されている他の注釈６４，６６の表示位置候補と、の組み合わせを取得する。

図２０は第３の表示位置候補の組み合わせの一例を示す。図２０において、表示位置候補８２Ｃは、新たに付与される注釈の第３の表示位置候補を示している。表示位置候補８４Ｃは、ボール３４に対して既に付与されている注釈６４の第３の表示位置候補を示し、表示位置候補８６Ｃは、木３６に対して既に付与されている注釈６６の第３の表示位置候補を示している。

例えば、制御部１１は、新たに付与される注釈が第３の類型に属するとの想定の下で、該注釈の表示位置を決定し、該表示位置を、新たに付与される注釈の表示位置候補８２Ｃとして取得する。第３の類型は１１文字以上の注釈が属する類型であるため、表示位置候補８２Ｃは、新たに付与される注釈が１１文字以上の注釈であるとの仮定の下で取得される表示位置候補である。

表示位置候補８２Ｃが取得された後、制御部１１は注釈６４の表示位置候補８４Ｃを表示位置候補８２Ｃに基づいて取得する。注釈６４の元々の表示領域（図８参照）は表示位置候補８２Ｃと重なっていないため、例えば、制御部１１は注釈６４の元々の表示位置を表示位置候補８４Ｃとして取得する。

表示位置候補８２Ｃ，８４Ｃが取得された後、制御部１１は注釈６６の表示位置候補８６Ｃを表示位置候補８２Ｃ，８４Ｃに基づいて取得する。注釈６６の元々の表示領域（図８参照）は表示位置候補８２Ｃと重なっているため、例えば、制御部１１は注釈６６の元々の表示位置とは異なる位置を表示位置候補８６Ｃとして取得する。すなわち、制御部１１は、表示位置候補８２Ｃと重ならないような位置を表示位置候補８６Ｃとして取得する。

他の注釈が既に画像３０に付与されている場合、図１７のステップＳ５０５では下記に説明するような処理が実行される。なお、ここでも、他の注釈６４，６６が既に付与されている画像３０に注釈（図９，１０における注釈６２）が新たに付与される場合を想定する。

すなわち、制御部１１は、第ｉの表示位置候補の組み合わせに基づいて、新たに付与される注釈の表示位置と、既に付与されている他の注釈６４，６６の表示位置と、を決定する。

例えば、変数ｉが３であり、かつ、ステップＳ３０８で取得された注釈が第３の類型に属するとステップＳ５０２において判定された場合、制御部１１は、第３の表示位置候補の組み合わせ（図２０参照）に基づいて、ステップＳ３０８で取得された注釈と、既に付与されている他の注釈６４，６６の表示位置と、を決定する。

具体的には、制御部１１は、表示位置候補８２Ｃを、ステップＳ３０８で取得された注釈の表示位置として決定する。同様に、制御部１１は、表示位置候補８４Ｃを注釈６４の表示位置として決定する。また、制御部１１は、表示位置候補８６Ｃを注釈６６の表示位置として決定する。その結果、図１４のステップＳ３１０では、図１０に示すような画像３０のデータが出力されることになる。

なお、本発明は以上に説明した第１〜第３実施形態に限定されるものではない。

例えば、画像処理装置１０は、下記に説明するような処理を予め実行しておくようにしてもよい。

すなわち、制御部１１は画像３０内に含まれる注釈対象候補を予め検出する。ここで、「注釈対象候補」とは、注釈対象としてユーザに指定される可能性があるものを意味している。なお、注釈対象候補の検出方法としては公知の方法を利用することが可能である。

例えば、オブジェクト領域検出アルゴリズムによって、画像３０内に含まれるオブジェクト領域を検出し、該オブジェクト領域を注釈対象候補として検出するようにしてもよい。

また例えば、顔認識アルゴリズムによって、画像３０内に含まれる顔領域を検出し、該顔領域を注釈対象候補として検出するようにしてもよい。

また例えば、画像３０の画素のエッジ量に基づいて、注釈対象候補を検出するようにしてもよい。具体的には、領域内に含まれる画素のエッジ量の合計値が基準値よりも高いような所定サイズの領域を探し、そのような領域が見つかった場合には該領域を注釈対象候補として検出するようにしてもよい。

また例えば、画像３０の顕著性マップに基づいて、注釈対象候補を検出するようにしてもよい。より具体的には、顕著性が所定の基準よりも高い領域を探し、そのような領域が見つかった場合には該領域を注釈対象候補として検出するようにしてもよい。

以上のようにして注釈対象候補が検出された場合、制御部１１は、注釈対象候補が注釈対象として指定され、かつ、該注釈対象に関する注釈が入力された場合を想定して、注釈の表示位置を決定する。なお、この際、注釈の長さ、表示色、表示サイズ、及び書字方向は所定の長さ、所定の表示色、所定の表示サイズ、及び所定の書字方向であると想定して、注釈の表示位置が決定される。

このようにして決定された表示位置は、注釈対象候補に関連づけて記憶部１２又はデータベース２０に保存され、例えば図７のステップＳ１０５において用いられる。

例えば、図７のステップＳ１０５において、制御部１１は、ユーザによって指定された注釈対象が予め検出された注釈対象候補に対応しているか否かを判定する。そして、ユーザによって指定された注釈対象が予め検出された注釈対象候補に対応している場合、制御部１１は、該注釈対象候補に関連づけて記憶されている表示位置に基づいて、注釈の表示位置を決定する。例えば、制御部１１は、注釈対象候補に関連づけて記憶されている表示位置を注釈の表示位置として決定する。

１０画像処理装置、１１制御部、１２記憶部、１３光ディスクドライブ部、１４通信インタフェース部、１５操作部、１６表示部、１７音声出力部、２０データベース、３０画像、３２人、３４ボール、３６木、４０注釈対象指定画面、４２，５２メッセージ、５０注釈入力画面、５４入力欄、５６登録ボタン、６２，６４，６６注釈、７０画像取得部、７２注釈対象情報取得部、７４注釈情報取得部、７６表示位置決定部、７８データ出力部、８２Ａ，８２Ｂ，８２Ｃ，８４Ａ，８４Ｂ，８４Ｃ，８６Ａ，８６Ｂ，８６Ｃ表示位置候補。

Claims

画像を取得する画像取得手段と、
前記画像に含まれる、注釈を付与する注釈対象を指定する注釈対象情報を取得する注釈対象情報取得手段と、
注釈を示す注釈情報を取得する注釈情報取得手段と、
前記注釈の表示位置を、前記注釈対象の位置又は領域に基づいて決定する表示位置決定手段と、
前記表示位置決定手段によって決定された表示位置に前記注釈が表示された前記対象画像のデータを出力するデータ出力手段と、
を含むことを特徴とする画像処理装置。
請求項１に記載の画像処理装置において、
前記画像には、他の注釈が既に付与されており、
前記表示位置決定手段は、前記注釈の表示位置を、前記注釈対象の位置又は領域と、前記他の注釈の表示位置と、に基づいて決定する手段を含む、
ことを特徴とする画像処理装置。
請求項１に記載の画像処理装置において、
前記画像には、他の注釈が既に付与されており、
前記表示位置決定手段は、前記注釈の表示位置を、前記注釈対象の位置又は領域と、前記他の注釈に対応する注釈対象の位置又は領域と、に基づいて決定する手段を含む、
ことを特徴とする画像処理装置。
請求項１に記載の画像処理装置において、
前記画像には、他の注釈が既に付与されており、
前記表示位置決定手段は、前記注釈の表示位置と、前記他の注釈の新たな表示位置とを、前記注釈対象の位置又は領域と、前記他の注釈に対応する注釈対象の位置又は領域と、に基づいて決定する手段を含む、
ことを特徴とする画像処理装置。
請求項１に記載の画像処理装置において、
前記表示位置決定手段は、
複数種類の注釈の類型の各々について、該類型に属する注釈が前記注釈対象に付与されたと想定した場合における該注釈の表示位置を前記注釈対象の位置又は領域に基づいて決定し、該表示位置を、該類型に対応する表示位置候補として取得する手段と、
前記注釈取得手段によって前記注釈情報が取得された場合、該注釈情報が示す注釈が属する類型に対応する表示位置候補に基づいて、該注釈の表示位置を決定する手段と、を含む、
ことを特徴とする画像処理装置。
請求項５に記載の画像処理装置において、
前記複数種類の注釈の類型は、注釈の長さ、表示色、表示サイズ、及び書字方向の少なくとも一つに基づいて設定される、
ことを特徴とする画像処理装置。
請求項５又は６に記載の画像処理装置において、
前記表示位置決定手段は、
注釈の長さに関する複数種類の長さ情報の各々について、該長さ情報が示す長さを有する注釈が前記注釈対象に付与されたと想定した場合における該注釈の表示位置を前記注釈対象の位置又は領域に基づいて決定し、該表示位置を、該長さ情報に対応する表示位置候補として取得する手段と、
前記注釈取得手段によって前記注釈情報が取得された場合、該注釈情報が示す注釈が有する長さに対応する表示位置候補に基づいて、該注釈の表示位置を決定する手段と、を含む、
ことを特徴とする画像処理装置。
請求項５乃至７のいずれかに記載の画像処理装置において、
前記表示位置決定手段は、
注釈の表示色に関する複数種類の表示色情報の各々について、該表示色情報が示す表示色を有する注釈が前記注釈対象に付与されたと想定した場合における該注釈の表示位置を前記注釈対象の位置又は領域に基づいて決定し、該表示位置を、該表示色情報に対応する表示位置候補として取得する手段と、
前記注釈取得手段によって前記注釈情報が取得された場合、該注釈情報が示す注釈が有する表示色に対応する表示位置候補に基づいて、該注釈の表示位置を決定する手段と、を含む、
ことを特徴とする画像処理装置。
請求項５乃至８のいずれかに記載の画像処理装置において、
前記表示位置決定手段は、
注釈の表示サイズに関する複数種類の表示サイズ情報の各々について、該表示サイズ情報が示す表示サイズを有する注釈が前記注釈対象に付与されたと想定した場合における該注釈の表示位置を前記注釈対象の位置又は領域に基づいて決定し、該表示位置を、該表示サイズ情報に対応する表示位置候補として取得する手段と、
前記注釈取得手段によって前記注釈情報が取得された場合、該注釈情報が示す注釈が有する表示サイズに対応する表示位置候補に基づいて、該注釈の表示位置を決定する手段と、を含む、
ことを特徴とする画像処理装置。
請求項５乃至９のいずれかに記載の画像処理装置において、
前記表示位置決定手段は、
注釈の書字方向に関する複数種類の書字方向情報の各々について、該書字方向情報が示す書字方向を有する注釈が前記注釈対象に付与されたと想定した場合における該注釈の表示位置を前記注釈対象の位置又は領域に基づいて決定し、該表示位置を、該書字方向情報に対応する表示位置候補として取得する手段と、
前記注釈取得手段によって前記注釈情報が取得された場合、該注釈情報が示す注釈が有する書字方向に対応する表示位置候補に基づいて、該注釈の表示位置を決定する手段と、を含む、
ことを特徴とする画像処理装置。
請求項５乃至１０のいずれかに記載の画像処理装置において、
前記画像には、他の注釈が既に付与されており、
前記表示位置決定手段は、
複数種類の注釈の類型の各々について、前記注釈が該類型に属すると場合を想定して、前記注釈の表示位置と、前記他の注釈の新たな表示位置とを、前記注釈対象の位置又は領域と、前記他の注釈に対応する注釈対象の位置又は領域と、に基づいて決定し、該表示位置を、該類型に対応する表示位置候補として取得する手段と、
前記注釈取得手段によって前記注釈情報が取得された場合、該注釈情報が示す注釈が属する類型に対応する表示位置候補に基づいて、該注釈の表示位置と、前記他の注釈の新たな表示位置と、を決定する手段と、を含む、
ことを特徴とする画像処理装置。
請求項１乃至１１のいずれかに記載の画像処理装置において、
前記表示位置決定手段は、前記注釈対象の領域の大きさ及び形状のうちの少なくとも一つに基づいて、前記注釈の表示位置を決定する手段を含む、
ことを特徴とする画像処理装置。
請求項１乃至１２のいずれかに記載の画像処理装置において、
前記表示位置決定手段は、前記注釈の表示位置を、該注釈の長さ、表示色、表示サイズ、及び書字方向のうちの少なくとも一つと、前記注釈対象の位置又は領域と、に基づいて決定する手段を含む、
ことを特徴とする画像処理装置。
請求項１乃至１３のいずれかに記載の画層処理装置において、
前記画像の画素のエッジ量を取得する手段と、
前記表示位置決定手段は、前記注釈の表示位置を、前記画像の画素のエッジ量と、前記注釈対象の位置又は領域と、に基づいて決定する手段を含む、
ことを特徴とする画像処理装置。
請求項１乃至１４のいずれかに記載の画像処理装置において、
前記画像の顕著性マップを取得する手段と、
前記表示位置決定手段は、前記注釈の表示位置を、前記顕著性マップと、前記注釈対象の位置又は領域と、に基づいて決定する手段を含む、
ことを特徴とする画像処理装置。
請求項１乃至１５のいずれかに記載の画像処理装置において、
前記画像に含まれる注釈対象候補を検出する手段と、
前記注釈対象候補に注釈が付与されたと想定した場合における該注釈の表示位置を前記注釈対象候補の位置又は領域に基づいて決定し、該表示位置を表示位置候補として取得する手段と、
前記表示位置決定手段は、前記注釈対象情報によって指定された注釈対象が前記注釈対象候補に対応する場合、前記表示位置候補に基づいて、前記注釈の表示位置を決定する手段を含む、
ことを特徴とする画像処理装置。
画像を取得する画像取得ステップと、
前記画像に含まれる、注釈を付与する注釈対象を指定する注釈対象情報を取得する注釈対象情報取得ステップと、
注釈を示す注釈情報を取得する注釈情報取得ステップと、
前記注釈の表示位置を、前記注釈対象の位置又は領域に基づいて決定する表示位置決定ステップと、
前記表示位置決定ステップによって決定された表示位置に前記注釈が表示された前記対象画像のデータを出力するデータ出力ステップと、
を含むことを特徴とする画像処理装置の制御方法。
画像を取得する画像取得手段、
前記画像に含まれる、注釈を付与する注釈対象を指定する注釈対象情報を取得する注釈対象情報取得手段、
注釈を示す注釈情報を取得する注釈情報取得手段、
前記注釈の表示位置を、前記注釈対象の位置又は領域に基づいて決定する表示位置決定手段、及び、
前記表示位置決定手段によって決定された表示位置に前記注釈が表示された前記対象画像のデータを出力するデータ出力手段、
としてコンピュータを機能させるためのプログラム。
画像を取得する画像取得手段、
前記画像に含まれる、注釈を付与する注釈対象を指定する注釈対象情報を取得する注釈対象情報取得手段、
注釈を示す注釈情報を取得する注釈情報取得手段、
前記注釈の表示位置を、前記注釈対象の位置又は領域に基づいて決定する表示位置決定手段、及び、
前記表示位置決定手段によって決定された表示位置に前記注釈が表示された前記対象画像のデータを出力するデータ出力手段、
としてコンピュータを機能させるためのプログラムを記録したコンピュータ読み取り可能な情報記憶媒体。