JPWO2010086991A1 - 画像表示装置、画像表示方法及びコンピュータプログラム - Google Patents

Abstract

画像を表示部に表示させたＰＣは、表示させた画像に対して入力される筆跡を受け付け、受け付けた筆跡を、表示させた画像上に表示させる。ＰＣは、画像を表示させた場合、画像中の所定の対象物を含む対象物領域と、各対象物領域に対するコメント配置領域とを検出する。ＰＣは、筆跡を受け付けた場合に、一画目の筆跡の開始位置が、いずれかの対象物領域内にあるか否かを判断し、いずれかの対象物領域内にあると判断した場合、受け付けた筆跡は、この対象物領域に対する筆跡であると判断する。対象物領域に対する筆跡の入力が終了した場合、ＰＣは、この対象物領域に対応するコメント配置領域内に、入力された筆跡を表示させるように、筆跡の表示領域を特定すると共に、入力された筆跡のサイズ変更を行なう。ＰＣは、特定した表示領域にサイズ変更後の筆跡を表示させ、表示させた筆跡を囲むふきだし記号を表示させる。

Description

本発明は、画像を表示部に表示させると共に、表示された画像に対して入力される筆跡を受け付け、受け付けた筆跡を、表示された画像上に表示させる画像表示装置、画像表示方法及びコンピュータプログラムに関する。

近年、デジタルスチルカメラ及びデジタルビデオカメラ等の撮像装置が普及している。また、例えばパーソナルコンピュータを用いて、撮像装置で撮像した画像に対して各種の画像処理を行なうことも普及している。画像処理としては、画像自体に行なわれる各種の変換処理のほか、例えばユーザによって入力された線図又はコメント情報を画像上に付加する処理がある。コメント情報を画像上に付加する処理としては、例えば、画像から人物の顔の領域を検出し、検出した領域に重ならない位置に文字領域を設定し、設定された文字領域にコメント情報を付加する技術が提案されている（特許文献１〜３参照）。
特開２００７−３１０４８７号公報 特開２００７−００４６７７号公報 特開２００５−１５９８５０号公報

コメント情報を画像上に付加する場合、例えば、画像中のどの人物に対してコメント情報を付加するのかを指定するための操作、コメント情報を入力するための操作等が必要となる。また、装置によっては、コメント情報を画像上に付加するためのモード設定の操作が必要となる場合もある。従って、ユーザは所定の操作手順を熟知しておき、操作手順に従った操作を行なう必要があるので、操作性の向上が困難である。

本発明は斯かる事情に鑑みてなされたものであり、その目的とするところは、画像に対してコメント情報を付加する際にユーザが行なうべき操作が簡略化された画像表示装置、画像表示方法及びコンピュータプログラムを提供することにある。

本願に開示する画像表示装置は、画像を表示部に表示させ、表示された画像に対して入力される筆跡を受け付け、受け付けた筆跡を、表示された画像上に表示させる。本願に開示する画像表示装置は、前記画像に含まれる１又は複数の所定の対象物のそれぞれを含む対象物領域を検出し、検出した対象物領域を示す情報を、表示された画像上に表示させる。本願に開示する画像表示装置は、受け付けた筆跡及び検出した対象物領域に基づいて、前記筆跡が、前記対象物領域のいずれかに対する筆跡であるか否かを判定する。本願に開示する画像表示装置は、前記対象物領域のいずれかに対する筆跡であると判定した場合、前記筆跡がいずれの対象物領域に対する筆跡であるかを特定し、特定した対象物領域に対する前記筆跡を配置させるための配置領域を特定する。本願に開示する画像表示装置は、特定した配置領域に受け付けた筆跡を表示させるために前記筆跡に対して行なう変倍処理における変倍率を算出し、算出した変倍率による変倍処理を前記筆跡に行なう。本願に開示する画像表示装置は、特定した配置領域から、変倍処理後の筆跡を表示させるための表示領域を抽出し、抽出した表示領域に変倍処理後の筆跡を表示させる。

本願に開示する画像表示装置は、画像に含まれる所定の対象物を含む対象物領域を検出し、検出した対象物領域を示す情報を、表示された画像上に表示させることにより、画像中の対象物領域をユーザに通知する。本願に開示する画像表示装置は、ユーザが画像に対して手書き入力を行なった場合に、画像中のいずれかの対象物に付加すべきコメントの入力であるか否かを検知すると共に、画像中のいずれかの対象物に付加すべきコメントを取得する。また、本願に開示する画像表示装置は、ユーザが画像に対して手書き入力したコメントを表示させるべき適切な表示領域を特定する。更に、本願に開示する画像表示装置は、特定した表示領域に、入力されたコメントを適切なサイズに変倍処理した後に表示させる。

本願では、ユーザは、画像の適切な位置に手書き入力を行なうことによって、入力された情報が画像中のいずれの対象物に対するコメントであるかを指定できると共に、所望のコメントを入力できる。よって、ユーザは画像の適切な位置にコメントを手書き入力する操作以外の操作を行なうことなく、画像中の適切な領域にコメントを付加することができる。従って、画像に含まれる対象物に対してコメントを付加する際のユーザの操作を簡略化でき、操作性が向上する。また、本願では、ユーザが手書き入力を行なった位置に応じて、入力された情報が画像に付加すべきコメントの入力であるか否かを検知する。よって、画像中の対象物に対するコメントの入力だけでなく、画像に対する線図等の入力も同様の手書き入力操作で行なえる。

実施形態１のＰＣの構成例を示すブロック図である。 実施形態１の検出領域テーブルの格納内容を示す模式図である。 実施形態１のＰＣの機能構成例を示す機能ブロック図である。 実施形態１のＰＣの機能構成例を示す機能ブロック図である。 実施形態１のＰＣが行なう処理を説明するための模式図である。 実施形態１のＰＣが行なう処理を説明するための模式図である。 実施形態１の検出領域テーブルの生成処理の手順を示すフローチャートである。 実施形態１のＰＣが行なう処理の手順を示すフローチャートである。 実施形態１のＰＣが行なう処理の手順を示すフローチャートである。 実施形態１のコメント処理の手順を示すフローチャートである。 コメントを付加した画像の変形例を示す模式図である。 実施形態２の検出領域テーブルの格納内容を示す模式図である。 実施形態２のＰＣが行なう処理を説明するための模式図である。 実施形態２の検出領域テーブルの生成処理の手順を示すフローチャートである。 実施形態３の検出領域テーブルの格納内容を示す模式図である。 実施形態３のＰＣが行なう処理を説明するための模式図である。 実施形態３のＰＣが行なう処理の手順を示すフローチャートである。 実施形態３のＰＣが行なう処理の手順を示すフローチャートである。 実施形態４のＰＣが行なう処理の手順を示すフローチャートである。 実施形態４のＰＣが行なう処理の手順を示すフローチャートである。 実施形態５のコメント処理部が備える機能を示す機能ブロック図である。 実施形態５のコメント処理の手順を示すフローチャートである。 実施形態６のコメント処理部が備える機能を示す機能ブロック図である。 実施形態６のコメント処理の手順を示すフローチャートである。 実施形態６のコメント処理の手順を示すフローチャートである。 実施形態７の検出領域テーブルの格納内容を示す模式図である。 実施形態７のＰＣが行なう処理を説明するための模式図である。 実施形態７のＰＣが行なう処理の手順を示すフローチャートである。 実施形態７のＰＣが行なう処理の手順を示すフローチャートである。 実施形態７のコメント処理の手順を示すフローチャートである。 実施形態７のコメント呼出処理の手順を示すフローチャートである。 実施形態８のＰＣの構成例を示すブロック図である。 実施形態９のＰＣの構成例を示すブロック図である。

符号の説明

１００ ＰＣ（画像表示装置）
１０ 制御部
１３ａ 検出領域テーブル（記憶手段）
１４ 表示部
２１ 対象物検出部（検出手段）
２２ コメント配置領域検出部（配置領域検出手段）
３２ コメント配置領域特定部（配置領域特定手段）
３４ コメント領域算出部（算出手段、表示領域抽出手段）
３５ コメントサイズ変更部（変倍手段）
４１ 画像表示部（画像表示手段）
４２ 対象物領域表示部（対象物領域表示手段）
４３ 筆跡表示部（筆跡表示手段）
４４ コメント表示部（変倍後筆跡表示手段）
４５ ふきだし表示部（対応付け表示手段）
５ 手書き入力受付部（筆跡受付手段）
６ 入力状態判定部（判定手段、対象物特定手段）

以下に、本願に開示する画像表示装置、画像表示方法及びコンピュータプログラムを、各実施形態を示す図面に基づいて詳述する。以下では、本願に開示する画像表示装置をパーソナルコンピュータ（以下、ＰＣという）に適用した各実施形態について説明する。なお、本願に開示する画像表示装置は、ＰＣに限らず、例えば、画像を表示部に表示させる機能、タッチパネル又はペンタブレット等のように表示部に表示された画像を直感的に操作できる機能等を備えた装置に適用できる。具体的には、本願に開示する画像表示装置は、デジタルスチルカメラ、デジタルビデオカメラ、携帯電話機、ＰＨＳ（Personal Handy-phone System）、ＰＤＡ（Personal Digital Assistants）、携帯ゲーム機等に適用できる。

（実施形態１）
以下に、実施形態１に係るＰＣについて説明する。図１は実施形態１のＰＣの構成例を示すブロック図である。本実施形態１のＰＣ１００は、例えば、公知のタブレット型のパーソナルコンピュータである。本実施形態１のＰＣ１００は、本願に開示するコンピュータプログラムを読み取ってＣＰＵ（Central Processing Unit）等に実行させることによって、本願に開示する画像表示装置の動作を実現する。なお、汎用のＰＣではなく、専用の装置によって本願に開示する画像表示装置を実現してもよい。

本実施形態１のＰＣ１００は、制御部１０、ＲＯＭ（Read Only Memory）１１、ＲＡＭ（Random Access Memory）１２、記憶部１３、表示部１４、操作部１５、各種処理部１６等を備えている。これらのハードウェア各部はバス１ａを介して相互に接続されている。本実施形態１のＰＣ１００は、本願に開示するコンピュータプログラムをＲＯＭ１１又は記憶部１３に予め格納しており、制御部１０がこのコンピュータプログラムを実行することによって本願に開示する画像表示装置としての動作を実現する。

制御部１０は、ＣＰＵ又はＭＰＵ（Micro Processor Unit）等であり、所定のタイミングに従って、ＲＯＭ１１又は記憶部１３に予め格納してある制御プログラムを適宜ＲＡＭ１２に読み出して実行する。制御部１０は、上述したハードウェア各部の動作を制御する。ＲＯＭ１１は、ＰＣ１００として動作するために必要な種々の制御プログラムを予め格納している。ＲＡＭ１２はＳＲＡＭ又はフラッシュメモリ等であり、制御部１０による制御プログラムの実行時に発生する種々のデータを一時的に記憶する。

記憶部１３は、例えばハードディスクドライブ又はフラッシュメモリ等である。記憶部１３は、ＰＣ１００として動作するために必要な種々の制御プログラムを予め格納している。また、記憶部１３は、図２に示すような検出領域テーブル１３ａを格納する。検出領域テーブル１３ａの詳細については後述する。

また、記憶部１３は、デジタルスチルカメラ、デジタルビデオカメラ、カメラ付き携帯電話機、カメラ付きゲーム機等の撮像装置によって撮像して得られた画像データを格納する。なお、画像データは、ＰＣ１００が撮像機能を有する場合、ＰＣ１００で撮像して得られた画像データでもよく、記録媒体に格納された画像データ、ネットワークを介して外部の装置から受信した画像データでもよい。

表示部１４及び操作部１５は、例えばタブレット又はデジタイザ等を成す。具体的には、表示部１４は、例えば液晶ディスプレイであり、制御部１０からの指示に従って、ＰＣ１００の動作状態、操作部１５を介して入力された情報、ユーザに対して通知すべき情報等を表示する。また、表示部１４は、ユーザがＰＣ１００を操作するために必要な操作キーを表示する。

操作部１５は、例えばスタイラスペン又はマウス等である。ユーザが表示部１４に表示された操作キーを操作部１５によって操作した場合、操作部１５は操作された操作キーに対応した制御信号を制御部１０へ送出する。そして、制御部１０は操作部１５から取得した制御信号に対応した処理を実行する。

各種処理部１６は、制御部１０からの指示に従って各種の処理を実行する。なお、各種の処理とは、ＰＣ１００が実行可能な処理である。

図２は実施形態１の検出領域テーブル１３ａの格納内容を示す模式図である。図２に示すように、検出領域テーブル１３ａには、対象物領域ＩＤ、対象物領域情報、コメント配置領域ＩＤ、コメント配置領域情報等がそれぞれ格納されている。対象物領域ＩＤは、画像中から検出された所定の対象物を含む対象物領域を識別するためのＩＤである。対象物領域情報は、各対象物領域を示す情報であり、例えば、各対象物領域の左上の点及び右下の点を、所定の基準位置（０，０）を基準とした座標値（ｘ，ｙ）で表している。

なお、基準位置（０，０）は、例えば、表示部１４が表示可能な領域の左上の点であり、各対象物領域の左上の点及び右下の点の座標値（ｘ，ｙ）は、基準位置（０，０）から右方向をｘ座標軸とし、下方向をｙ座標軸として表される。なお、表示部１４が表示可能な領域の右上の点、左下の点又は右下の点を基準位置（０，０）としてもよい。

コメント配置領域ＩＤは、所定の対象物に対して画像中から検出されたコメント配置領域を識別するためのＩＤである。コメント配置領域情報は、所定の対象物（対象物領域）に対して画像中から検出されたコメント配置領域を示す情報であり、例えば、各コメント配置領域の左上の点及び右下の点を、所定の基準位置（０，０）を基準とした座標値（ｘ，ｙ）で表している。

検出領域テーブル１３ａに格納される対象物領域ＩＤ及び対象物領域情報は、制御部１０が画像から対象物を検出する都度、制御部１０によって格納される。また、検出領域テーブル１３ａに格納されるコメント配置領域ＩＤ及びコメント配置領域情報は、制御部１０が画像からコメント配置領域を検出する都度、制御部１０によって格納される。

以下に、本実施形態１のＰＣ１００において、制御部１０がＲＯＭ１１又は記憶部１３に格納されている制御プログラムを実行することによって実現する機能について説明する。図３及び図４は実施形態１のＰＣ１００の機能構成例を示す機能ブロック図、図５及び図６は実施形態１のＰＣ１００が行なう処理を説明するための模式図である。

本実施形態１のＰＣ１００において、制御部１０は、ＲＯＭ１１又は記憶部１３に格納してある制御プログラムを実行することによって、画像読出部１、画像処理部２、コメント処理部３、表示処理部４、手書き入力受付部５、入力状態判定部６等の機能を実現する。また、画像処理部２は、対象物検出部２１及びコメント配置領域検出部２２の機能を有する。コメント処理部３は、対象物特定部３１、コメント配置領域特定部３２、コメント相当筆跡抽出部３３、コメント領域算出部３４及びコメントサイズ変更部３５の機能を有する。表示処理部４は、画像表示部４１、対象物領域表示部４２、筆跡表示部４３、コメント表示部４４及びふきだし表示部４５の機能を有する。

ＰＣ１００のユーザが、画像に対する編集処理を開始するための所定の操作を行なった場合、画像読出部１は、ユーザによって指定された画像データを記憶部１３から読み出し、画像処理部２及び表示処理部４へ送出する。

画像読出部１から画像データを取得した表示処理部４では、画像表示部（画像表示手段）４１が、取得した画像データに基づく画像を表示部１４に表示させる。図５（ａ）は、画像表示部４１によって表示部１４に表示された画像の例を示す。

画像読出部１から画像データを取得した画像処理部２では、対象物検出部（検出手段）２１が、取得した画像データ中に所定の対象物が撮影されているか否かを検出する。例えば、対象物検出部２１は、画像データ中に人物の顔が撮影されているか否かを検出し、人物の顔が撮影されていることを検出した場合、顔を含む領域を検出する。なお、画像データ中の人物の顔を検出する方法としては、例えば、肌色領域を検出する方法、目、口、鼻、顔の輪郭等の顔の特徴を抽出する方法等、各種の方法を用いることができる。

対象物検出部２１は、画像データ中に人物の顔が撮影されていることを検出した場合、検出した顔を含む矩形の領域を検出する。対象物検出部２１は、検出した順に、検出した顔の領域（以下、対象物領域という）にＯ１，Ｏ２…の対象物領域ＩＤを付与する。対象物検出部２１は、付与した対象物領域ＩＤに対応付けて、検出した対象物領域の左上の座標値及び右下の座標値を対象物領域情報として検出領域テーブル１３ａに格納する。

なお、本実施形態１の対象物検出部２１は、画像データ中の顔の領域を検出するが、画像データから輪郭線が抽出でき、抽出された輪郭線によって所定の形状が特定できるものであれば、人物の顔に限らない。例えば、風景を撮影して得られた画像データ中の建物、室内を撮影して得られた画像データ中の各種の家具等が検出されてもよい。

対象物検出部２１は、画像データ中の全ての対象物領域（顔の領域）を検出し、検出した対象物領域の対象物領域ＩＤ及び対象物領域情報を検出領域テーブル１３ａに格納する。対象物検出部２１は、全ての対象物領域を検出した後、検出領域テーブル１３ａに格納した対象物領域情報を読み出して表示処理部４へ送出する。

対象物検出部２１から対象物領域情報を取得した表示処理部４では、対象物領域表示部（対象物領域表示手段）４２が、取得した対象物領域情報に基づいて、それぞれの対象物領域（顔の領域）を囲む枠を、表示部１４に表示された画像上に表示させる。図５（ｂ）は、対象物領域表示部４２によって画像上に対象物領域を囲む枠が表示された例を示す。図５（ｂ）では、各枠を識別するために、それぞれの対象物領域に付与された対象物領域ＩＤを図示してあるが、表示部１４には画像上に枠のみが表示される。

なお、対象物領域表示部４２は、対象物検出部２１が全ての対象物領域の検出を完了した後に、各対象物領域を囲む枠を表示してもよいし、対象物検出部２１がそれぞれの対象物領域を検出する都度、各対象物領域を囲む枠を表示してもよい。また、図５（ｂ）に示すように各対象物領域を枠で囲むことによって各対象物領域を明示できるが、各対象物領域を明示できれば各対象物領域を枠で囲む方法に限らない。

対象物検出部２１は、画像データ中の全ての対象物領域を検出し、検出領域テーブル１３ａを生成した後、その旨をコメント配置領域検出部２２に通知する。コメント配置領域検出部２２は、検出領域テーブル１３ａが生成された旨を通知された場合、検出領域テーブル１３ａに対象物領域ＩＤ及び対象物領域情報を格納された各対象物領域に対して、コメント配置領域を検出する。

コメント配置領域検出部（配置領域検出手段）２２は、検出領域テーブル１３ａに格納されている対象物領域ＩＤ及び対象物領域情報の各セットを順次読み出し、それぞれの対象物領域に対するコメント配置領域を検出する。コメント配置領域検出部２２は、読み出した対象物領域情報に基づいて、この対象物領域に隣接し、他の対象物領域及び他のコメント配置領域と重ならない領域を、この対象物領域に対するコメント配置領域として検出する。

コメント配置領域検出部２２は、それぞれの対象物領域に対するコメント配置領域を検出した場合、対象物領域ＩＤに対応したコメント配置領域ＩＤを付与する。具体的には、コメント配置領域検出部２２は、対象物領域ＩＤがＯ１の対象物領域に対するコメント配置領域にＣ１のコメント配置領域ＩＤを付与する。コメント配置領域検出部２２は、対象物領域ＩＤ及び対象物領域情報に対応付けて、付与したコメント配置領域ＩＤと、検出したコメント配置領域の左上の座標値及び右下の座標値（コメント配置領域情報）とを検出領域テーブル（記憶手段）１３ａに格納する。

コメント配置領域検出部２２は、１つの対象物領域に対して複数のコメント配置領域を検出した場合、所定の条件に従って１つのコメント配置領域を選択し、選択したコメント配置領域に関する情報のみを検出領域テーブル１３ａに格納する。所定の条件とは、例えば、面積が最大であること、対象物領域に対して右側（又は下側）に隣接すること等である。

コメント配置領域検出部２２は、検出領域テーブル１３ａに格納してある対象物領域ＩＤ及び対象物領域情報が格納してある全ての対象物領域に対するコメント配置領域を検出する。そして、コメント配置領域検出部２２は、検出したコメント配置領域のコメント配置領域ＩＤ及びコメント配置領域情報を検出領域テーブル１３ａに格納する。

図５（ｃ）は、画像中の対象物領域Ｏ１，Ｏ２，Ｏ３，Ｏ４のそれぞれに対して検出されたコメント配置領域Ｃ１，Ｃ２，Ｃ３，Ｃ４の一例を示す。このように、各対象物領域Ｏ１，Ｏ２，Ｏ３，Ｏ４に対するコメント配置領域Ｃ１，Ｃ２，Ｃ３，Ｃ４を、対象物領域Ｏ１，Ｏ２，Ｏ３，Ｏ４及び他のコメント配置領域Ｃ１，Ｃ２，Ｃ３，Ｃ４と重ならないように設定する。

上述したように、画像及び対象物領域を囲む枠が表示されたＰＣ１００において、ユーザは、表示された画像に対して所定のルールに従って手書き入力を行なう。具体的には、例えば、ユーザは、手書き入力によって所望の対象物（ここでは画像中の人物）に対してコメント情報を付与したい場合、この対象物を囲む枠内から手書き入力を開始する。なお、所望の対象物に対してコメント情報を付与したい場合以外は、ユーザは、対象物を囲む枠外の任意の箇所から手書き入力を開始すればよい。

手書き入力受付部（筆跡受付手段）５は、表示部１４に表示された画像に対してユーザが操作部１５を用いて手書き入力した筆跡（筆跡情報）を受け付ける。具体的には、手書き入力受付部５は、表示部１４に表示された画像に対して操作部１５が接触を開始した位置から終了した位置までの軌跡（筆跡）を示す各点の座標値（筆跡情報）を取得する。なお、筆跡を示す各点の座標値は、所定の基準位置（０，０）を基準とした座標値（ｘ，ｙ）で表される。よって、ここでの筆跡は、複数の点の座標値によって一画が表される。なお、基準位置（０，０）は、例えば、表示部１４が表示可能な領域の左上の点である。

手書き入力受付部５は、随時取得する座標値（筆跡情報）を入力状態判定部６及び表示処理部４へ送出する。なお、手書き入力受付部５は、一画の筆跡の受け付けが終了する都度、一画の筆跡の終了を示す情報を筆跡情報に割り込ませて入力状態判定部６及び表示処理部４へ送出する。これにより、入力状態判定部６及び表示処理部４は、取得する筆跡情報を一画毎に区分できる。

筆跡を示す各点の座標値を取得した表示処理部４では、筆跡表示部（筆跡表示手段）４３が、表示部１４に表示された画像上に、取得した点をプロットすると共に、同一の筆跡中の直前にプロットされた点との間に直線を表示させる。これにより、入力された筆跡が、表示された画像上に順次表示される。

入力状態判定部（判定手段）６は、手書き入力受付部５から座標値の入力が開始された場合、入力された座標値及び検出領域テーブル１３ａの格納内容に基づいて、開始された手書き入力がコメント入力であるか否かを判定する。具体的には、入力状態判定部６は、開始された手書き入力による筆跡が、対象物領域のいずれかに対する筆跡であるか否かを判定する。

ここで、本実施形態１のＰＣ１００では、ユーザが手書き入力を行なう際の入力状態として、通常入力状態とコメント入力状態とがある。コメント入力状態で手書き入力された情報は、対応する対象物（ここでは人物）の近傍のコメント配置領域に配置され、ふきだし記号を付与されて画像上に表示される。一方、通常入力状態で手書き入力された情報は、入力された位置及びサイズを変更せずに画像上に表示される。

また、本実施形態１のＰＣ１００では、画像中の対象物領域を示すいずれかの枠内から手書き入力が開始された場合、この対象物に対するコメント入力が開始されたとしてコメント入力状態がセットされる。一方、画像中の対象物領域を示す枠外から手書き入力が開始された場合、通常入力が開始されたとして通常入力状態がセットされる。なお、本実施形態１のＰＣ１００は、初期設定として通常入力状態がセットされるので、コメント入力が開始された場合にのみコメント入力状態のセットが行なわれる。

入力状態判定部６は、手書き入力受付部５から入力された一画目の筆跡の開始位置の座標値が、検出領域テーブル１３ａに格納された対象物領域情報が示す対象物領域のいずれかに含まれるか否かを判定する。一画目の開始位置がいずれの対象物領域内にもない場合、入力状態判定部６は、開始された手書き入力が通常入力であると判定し、何も処理を行なわない。

一方、一画目の開始位置がいずれかの対象物領域内にある場合、入力状態判定部６は、開始された手書き入力がコメント入力であると判定し、コメント入力状態にセットする。図６（ａ），（ｂ）は、平仮名の「も」が対象物領域Ｏ２内から書き出されている例を示す。従って、図６（ａ），（ｂ）に示した状況の場合、入力状態判定部６は、コメント入力が開始されたと判定し、コメント入力状態にセットする。なお、入力状態判定部６は、コメント入力状態にセットした場合、手書き入力受付部５から取得する座標値（コメント相当筆跡を示す情報）のコメント相当筆跡バッファへの格納を開始する。

また、入力状態判定部（対象物特定手段）６は、コメント入力状態にセットした場合、一画目の開始位置を含む対象物領域を特定する。図６（ａ），（ｂ）に示した状況の場合、入力状態判定部６は、対象物領域Ｏ２を特定する。入力状態判定部６は、特定した対象物領域の対象物領域ＩＤを検出領域テーブル１３ａから読み出し、読み出した対象物領域ＩＤを対象物バッファに格納する。なお、入力状態判定部６は、例えばＲＡＭ１２の所定領域を対象物バッファ及びコメント相当筆跡バッファとして使用する。

入力状態判定部６は、上述したようにユーザがコメント入力を開始した後、手書き入力受付部５からの座標値の入力が所定時間（例えば１０秒間）途絶えた場合、ユーザがコメント入力を終了したと判定する。入力状態判定部６は、コメント入力の終了を判定した場合、その旨をコメント処理部３に通知する。

コメント入力の終了を通知された場合、コメント処理部３の対象物特定部３１は、対象物バッファに格納された対象物領域ＩＤを読み出してコメント配置領域特定部３２に通知する。コメント配置領域特定部（配置領域特定手段）３２は、対象物特定部３１から取得した対象物領域ＩＤに対応するコメント配置領域ＩＤを検出領域テーブル１３ａから読み出してコメント領域算出部３４に通知する。

また、コメント入力の終了を通知された場合、コメント処理部３のコメント相当筆跡抽出部３３は、コメント相当筆跡バッファに格納された座標値（コメント相当筆跡を示す情報）を読み出しコメント領域算出部３４に送出する。なお、コメント相当筆跡抽出部３３は、コメント相当筆跡バッファから読み出した座標値をコメントサイズ変更部３５にも送出する。

コメント領域算出部３４は、コメント相当筆跡抽出部３３から取得した座標値（コメント相当筆跡を示す情報）に基づいて、取得した座標値が示すコメント相当筆跡を含み、面積が最小となる矩形の入力コメント領域を検出する。図６（ｂ）に示した状況では、領域Ｒが入力コメント領域として検出される。

また、コメント領域算出部３４は、コメント配置領域特定部３２から通知されたコメント配置領域ＩＤに対応するコメント配置領域情報を検出領域テーブル１３ａから読み出す。なお、図６（ｂ）に示した状況では、コメント領域算出部３４は、対象物領域Ｏ２に対応するコメント配置領域Ｃ２のコメント配置領域情報を読み出す。

そして、コメント領域算出部（算出手段）３４は、検出領域テーブル１３ａから読み出したコメント配置領域情報が示すコメント配置領域Ｃ２と、検出した入力コメント領域Ｒとの間のサイズ変更割合を算出する。具体的には、コメント領域算出部３４は、入力コメント領域Ｒをコメント配置領域Ｃ２に配置させるために、入力コメント領域Ｒに対して行なうべき変倍処理における変倍率を算出する。

なお、コメント領域算出部３４は、入力コメント領域Ｒの縦方向（ｙ軸方向）の長さをコメント配置領域Ｃ２の縦方向の長さに変更するためのサイズ変更割合を算出する。また、コメント領域算出部３４は、入力コメント領域Ｒの横方向（ｘ軸方向）の長さをコメント配置領域Ｃ２の横方向の長さに変更するためのサイズ変更割合を算出する。そして、コメント領域算出部３４は、算出したサイズ変更割合のうちで小さい方の割合を、入力コメント領域Ｒをコメント配置領域Ｃ２に変更するためのサイズ変更割合とする。従って、例えば、縦方向のサイズ変更割合が０．７であり、横方向のサイズ変更割合が０．５である場合には、０．５がサイズ変更割合とされる。これにより、算出されたサイズ変更割合を用いて、手書き入力された筆跡に対して等倍処理を行なうことができる。

コメント領域算出部３４は、算出したサイズ変更割合に従って入力コメント領域Ｒをサイズ変更した後のコメント領域の縦方向の長さと横方向の長さとを算出する。そして、コメント領域算出部（表示領域抽出手段）３４は、コメント配置領域Ｃ２において、算出した縦方向及び横方向の長さで示されるコメント領域の位置を特定する。なお、コメント領域算出部３４は、コメント配置領域Ｃ２内で、対象物領域Ｏ２からの距離が最短となる位置をコメント領域の位置に特定する。

コメント領域算出部３４は、特定したコメント領域の位置を示すために、コメント領域の左上及び右下の点の座標値を算出し、表示処理部４に通知する。また、コメント領域算出部３４は、算出したサイズ変更割合をコメントサイズ変更部３５に通知する。

コメントサイズ変更部（変倍手段）３５は、サイズ変更割合を通知された場合、コメント相当筆跡抽出部３３から取得した座標値が示すコメント相当筆跡のサイズを、通知されたサイズ変更割合に従って変更する。コメントサイズ変更部３５は、サイズ変更後のコメント相当筆跡を示す座標値を表示処理部４へ送出する。

表示処理部４のコメント表示部４４は、コメント領域算出部３４からコメント領域の左上及び右下の点の座標値を取得し、コメントサイズ変更部３５からサイズ変更後のコメント相当筆跡を示す座標値を取得する。コメント表示部（変倍後筆跡表示手段）４４は、表示部１４に表示された画像上の、コメント領域の左上及び右下の点の座標値に基づくコメント領域に、サイズ変更後のコメント相当筆跡を表示させる。なお、コメント表示部４４がサイズ変更後のコメント相当筆跡を表示部１４に表示させた場合、筆跡表示部４３は、ユーザがコメント入力した筆跡の表示を終了する。

コメント表示部４４は、コメント領域算出部３４によって特定されたコメント領域にサイズ変更後のコメント相当筆跡を表示させた場合、その旨をふきだし表示部４５に通知する。ふきだし表示部（対応付け表示手段）４５は、サイズ変更後のコメント相当筆跡の表示完了を通知された場合、コメント領域を囲むふきだし記号を、表示部１４に表示された画像上に表示させる。図６（ｃ）は、対象物領域Ｏ２に対してコメント入力されたコメント相当筆跡が、コメント配置領域Ｃ２内の対象物領域Ｏ２の近傍に表示され、ふきだし記号によって囲まれている例を示す。なお、図６（ｃ）では、表示されたコメントを強調させるために、コメント領域の背景を白色で図示しているが、画像上にコメントのみを表示させてもよい。

上述した各部によって本実施形態１のＰＣ１００は、ユーザが手書き入力を開始した場合に、開始された手書き入力がコメント入力であるか否かを判定する。また、ＰＣ１００は、コメント入力であると判定した場合には、入力された情報（筆跡）に対してコメント処理を行ない、対応する対象物の近傍にふきだし記号を付加して表示させることができる。

なお、画像処理部２の各部、画像表示部４１及び対象物領域表示部４２は、ＰＣ１００のユーザが、画像に対する編集処理を開始するための所定の操作を行なった場合に、上述した処理を行なう。また、手書き入力受付部５、入力状態判定部６、コメント処理部３の各部、筆跡表示部４３、コメント表示部４４及びふきだし表示部４５は、ＰＣ１００のユーザが、表示部１４に表示された画像に対して手書き入力を開始した場合に、上述した処理を行なう。

このように、画像読出部１が画像データを読み出した後に画像処理部２によって検出領域テーブル１３ａを生成しておくことにより、ユーザが手書き入力を行なってから何らかの応答が返ってくるまでの応答時間が短縮される。

以下に、本実施形態１のＰＣ１００において、ユーザが画像に対する編集処理を開始するための所定の操作を行なった場合に、制御部１０が行なう処理についてフローチャートに基づいて説明する。図７は実施形態１の検出領域テーブル１３ａの生成処理の手順を示すフローチャートである。以下の処理は、ＰＣ１００のＲＯＭ１１又は記憶部１３に格納されている制御プログラムに従って制御部１０によって実行される。

ユーザが画像に対する編集処理を開始するための所定の操作を行なった場合、制御部１０は、ユーザによって指定された画像データを記憶部１３から読み出す（Ｓ１）。制御部１０は、読み出した画像データに基づく画像を表示部１４に表示させる（Ｓ２）。制御部１０は、読み出した画像データ中に所定の対象物（人物の顔）の領域を検出する（Ｓ３）。制御部１０は、所定の対象物の領域を検出できたか否かを判断しており（Ｓ４）、検出できたと判断した場合（Ｓ４：ＹＥＳ）、検出した対象物領域の対象物領域ＩＤ及び対象物領域情報を検出領域テーブル１３ａに格納する（Ｓ５）。

制御部１０は、ステップＳ３に処理を戻し、読み出した画像データ中の他の対象物（人物の顔）の領域を検出する（Ｓ３）。制御部１０は、画像データ中の全ての対象物の領域を検出するまで、ステップＳ３〜Ｓ５の処理を繰り返す。制御部１０は、画像データ中の全ての対象物の領域を検出した場合、検出した各領域を囲む枠を、表示部１４に表示された画像上に表示させる。即ち、制御部１０は、画像データ中に所定の対象物の領域を検出できないと判断した場合（Ｓ４：ＮＯ）、検出領域テーブル１３ａに格納させた対象物領域情報に基づいて、それぞれの対象物領域（顔の領域）を囲む枠を表示させる（Ｓ６）。なお、制御部１０は、画像データ中に対象物領域を検出する都度、検出した対象物領域を囲む枠を表示してもよい。

次に制御部１０は、検出領域テーブル１３ａに格納された対象物領域の情報（対象物領域ＩＤ及び対象物領域情報）を１つ読み出す（Ｓ７）。制御部１０は、読み出した対象物領域の情報に基づいて、この対象物領域に対するコメント配置領域を検出する（Ｓ８）。具体的には、制御部１０は、対象物領域に隣接し、全ての対象物領域と重ならない領域を、この対象物領域に対するコメント配置領域とする。制御部１０は、検出したコメント配置領域のコメント配置領域ＩＤ及びコメント配置領域情報を検出領域テーブル１３ａに格納する（Ｓ９）。

制御部１０は、検出領域テーブル１３ａに格納してある全ての対象物領域の情報に対する処理が完了したか否かを判断しており（Ｓ１０）、完了していないと判断した場合（Ｓ１０：ＮＯ）、ステップＳ７に処理を戻す。制御部１０は、検出領域テーブル１３ａに格納された他の対象物領域の情報を１つ読み出し（Ｓ７）、読み出した対象物領域の情報に対して、ステップＳ８，Ｓ９の処理を行なう。制御部１０は、検出領域テーブル１３ａに格納してある全ての対象物領域の情報に対する処理が完了するまで、ステップＳ７〜Ｓ１０の処理を繰り返す。

制御部１０は、検出領域テーブル１３ａに格納してある全ての対象物領域の情報に対する処理が完了したと判断した場合（Ｓ１０：ＹＥＳ）、上述した処理を終了する。このような処理により、本実施形態１では、画像の編集処理を開始した時点で画像中の所定の対象物（例えば人物の顔）のそれぞれに対するコメント配置領域を確保できる。よって、実際にコメントを配置させる際には、検出領域テーブル１３ａに格納してある情報を用いることによって、処理の簡略化及び高速化が可能となる。

次に、上述したように、画像及び対象物領域を囲む枠が表示されたＰＣ１００において、ユーザが画像に対して手書き入力を開始した場合に、制御部１０が行なう処理についてフローチャートに基づいて説明する。図８及び図９は実施形態１のＰＣ１００が行なう処理の手順を示すフローチャートである。以下の処理は、ＰＣ１００のＲＯＭ１１又は記憶部１３に格納されている制御プログラムに従って制御部１０によって実行される。

制御部１０は、初期設定として通常入力状態にセットする（Ｓ２１）。図５（ｂ）に示すように画像及び対象物領域を囲む枠を表示部１４に表示したＰＣ１００において、制御部１０は、画像に対してユーザによる手書き入力があるか否かを判断する（Ｓ２２）。手書き入力があると判断した場合（Ｓ２２：ＹＥＳ）、制御部１０は、手書き入力された筆跡を示す各点の座標値を取得し（Ｓ２３）、例えばＲＡＭ１２に一旦格納する。制御部１０は、随時取得する座標値に基づいて、手書き入力された筆跡を、表示部１４に表示された画像上に表示する（Ｓ２４）。

制御部１０は、一画の筆跡の入力が終了したか否かを判断しており（Ｓ２５）、終了していないと判断した場合（Ｓ２５：ＮＯ）、ステップＳ２３に処理を戻す。制御部１０は、一画の筆跡の入力が終了するまで、ステップＳ２３〜Ｓ２５の処理を繰り返す。一画の筆跡の入力が終了したと判断した場合（Ｓ２５：ＹＥＳ）、制御部１０は、この時点でコメント入力状態がセットされているか否かを判断する（Ｓ２６）。

制御部１０は、コメント入力状態がセットされていると判断した場合（Ｓ２６：ＹＥＳ）、ステップＳ３１へ処理を移行する。なお、一画目の筆跡が入力された時点では通常入力状態がセットされているので、制御部１０は、コメント入力状態がセットされていないと判断する。制御部１０は、コメント入力状態がセットされていないと判断した場合（Ｓ２６：ＮＯ）、入力された一画目の筆跡の開始位置が、検出領域テーブル１３ａに格納された対象物領域情報が示す対象物領域のいずれかに含まれるか否かを判定する（Ｓ２７）。

一画目の開始位置がいずれの対象物領域内にもないと判定した場合（Ｓ２７：ＮＯ）、即ち、開始された手書き入力がコメント入力ではなく、画像に対する描画（通常入力）である場合、制御部１０は、ステップＳ２２に処理を戻す。一方、一画目の開始位置がいずれかの対象物領域内にあると判断した場合（Ｓ２７：ＹＥＳ）、制御部１０は、開始された手書き入力がコメント入力であると判定し、コメント入力状態にセットする（Ｓ２８）。

制御部１０は、ステップＳ２７で一画目の開始位置を含むと判定した対象物領域を特定する（Ｓ２９）。制御部１０は、特定した対象物領域の対象物領域ＩＤを検出領域テーブル１３ａから読み出し、読み出した対象物領域ＩＤを対象物バッファに格納する（Ｓ３０）。制御部１０は、所定時間（例えば、１０秒間）の計時処理を開始する（Ｓ３１）。なお、ここでの計時処理は、一画分の筆跡の入力があった後に、ユーザがコメント入力を終了したか否かを判断するための処理である。即ち、一画分の筆跡の入力後、所定時間が経過するまでの間にユーザによる手書き入力がなかった場合には、制御部１０は、ユーザがコメント入力を終了したと判断する。

制御部１０は、ステップＳ２３で取得した一画分（一画目）の筆跡を示す座標値をコメント相当筆跡バッファに格納する（Ｓ３２）。制御部１０は、ステップＳ２２に処理を戻し、ユーザの手書き入力による次の一画分（二画目）の筆跡の入力があるか否かを判断する（Ｓ２２）。制御部１０は、次の一画分（二画目）の筆跡の入力があると判断した場合（Ｓ２２：ＹＥＳ）、ステップＳ２３〜Ｓ２５の処理を繰り返し、次の一画分（二画目）の筆跡を示す各点の座標値をＲＡＭ１２に一旦格納する。

そして、制御部１０は、この時点でコメント入力状態がセットされているか否かを判断する（Ｓ２６）。二画目の筆跡が入力された場合、制御部１０は、コメント入力状態がセットされていると判断し（Ｓ２６：ＹＥＳ）、所定時間（例えば、１０秒間）の計時処理を再度開始する（Ｓ３１）。制御部１０は、ステップＳ２３で取得した一画分（二画目）の筆跡を示す座標値をコメント相当筆跡バッファに格納する（Ｓ３２）。

制御部１０は、ステップＳ２２に処理を戻し、ユーザの手書き入力による次の一画分（三画目）の筆跡の入力があるか否かを判断する（Ｓ２２）。制御部１０は、ユーザの手書き入力による次の一画分の筆跡の入力が途絶えるまで、ステップＳ２２〜Ｓ３２の処理を繰り返す。制御部１０は、ユーザの手書き入力による次の一画分の筆跡の入力がないと判断した場合（Ｓ２２：ＮＯ）、この時点でコメント入力状態がセットされているか否かを判断する（Ｓ３３）。

制御部１０は、コメント入力状態がセットされていると判断した場合（Ｓ３３：ＹＥＳ）、ステップＳ３１で開始した計時処理の結果に基づいて、所定時間が経過したか否かを判断する（Ｓ３４）。コメント入力状態がセットされていないと判断した場合（Ｓ３３：ＮＯ）、又は、所定時間が経過していないと判断した場合（Ｓ３４：ＮＯ）、制御部１０はステップＳ２２へ処理を戻す。

所定時間が経過したと判断した場合（Ｓ３４：ＹＥＳ）、制御部１０は、ユーザがコメント入力を終了したと判断し、コメント処理を実行し（Ｓ３５）、コメント処理の実行後、ステップＳ２１へ処理を戻す。なお、コメント処理の詳細については後述する。

次に、上述したＰＣ１００による処理におけるコメント処理（図８中のステップＳ３５の処理）についてフローチャートに基づいて説明する。図１０は実施形態１のコメント処理の手順を示すフローチャートである。以下の処理は、ＰＣ１００のＲＯＭ１１又は記憶部１３に格納されている制御プログラムに従って制御部１０によって実行される。

制御部１０は、対象物バッファに格納された対象物領域ＩＤを読み出す（Ｓ４１）。制御部１０は、読み出した対象物領域ＩＤに対応するコメント配置領域情報を検出領域テーブル１３ａから読み出す（Ｓ４２）。制御部１０は、コメント相当筆跡バッファに格納された座標値（コメント相当筆跡を示す情報）を読み出す（Ｓ４３）。制御部１０は、コメント相当筆跡バッファから読み出した座標値に基づいて、コメント相当筆跡を含み、面積が最小となる矩形の入力コメント領域を算出する（Ｓ４４）。

制御部１０は、ステップＳ４４で算出した入力コメント領域を、ステップＳ４２で読み出したコメント配置領域情報が示すコメント配置領域内に配置させるためのサイズ変更割合を算出する（Ｓ４５）。制御部１０は、算出したサイズ変更割合に従って入力コメント領域をサイズ変更した後のコメント領域を算出する（Ｓ４６）。具体的には、制御部１０は、コメント領域の縦方向の長さと横方向の長さとを算出する。

制御部１０は、ステップＳ４２で読み出したコメント配置領域情報が示すコメント配置領域内で、ステップＳ４６で算出したコメント領域の位置を特定する（Ｓ４７）。制御部１０は、ステップＳ４５で算出したサイズ変更割合に従って、ステップＳ４３で読み出した座標値が示すコメント相当筆跡のサイズを変更する（Ｓ４８）。制御部１０は、図８中のステップＳ２４で表示させた筆跡の表示を終了する（Ｓ４９）。

制御部１０は、ステップＳ４７で特定した位置のコメント領域に、ステップＳ４８でサイズ変更されたコメント相当筆跡を表示させる（Ｓ５０）。制御部１０は、ステップＳ５０で表示されたコメント相当筆跡に対応したふきだし記号を表示する（Ｓ５１）。制御部１０は、上述したコメント処理を終了し、図８に示した処理に戻る。

上述したように、本実施形態１のＰＣ１００は、ユーザが手書き入力を開始した場合に、開始された手書き入力がコメント入力であるか通常入力であるかを判断する。よって、ユーザは、表示部１４に表示された画像の所望の箇所から手書き入力を開始することで、所望の対象物（人物）に対するコメント入力であるのか、所望の位置へのお絵描き操作なのかを指定できる。具体的には、表示部１４に表示された画像中の任意の対象物に対してコメント情報を付与したい場合、ユーザは所望の対象物を囲む枠内からコメント情報の入力を開始すればよい。

また、従来では、画像にコメントを付加する場合には、コメントの入力モードの設定操作、画像中のどの人物に対してコメント情報を付加するのかを指定するための操作、コメント情報を入力するための操作等が必要であった。しかし、本実施形態１では、ユーザが所望の箇所から手書き入力を開始することによって、これらの各操作の代わりを成し、特別な操作を行なう必要がないので、ユーザの操作性が向上する。

本実施形態１のＰＣ１００は、開始された手書き入力が通常入力であると判断した場合は、ユーザによって入力された情報に対してコメント処理を行なわずにそのまま画像上に表示させる。よって、本実施形態１のＰＣ１００は、画像中の対象物領域以外の領域に対するお絵描き操作による描画処理の実行を妨げない。

本実施形態１のＰＣ１００は、表示部１４に表示された画像上に手書き入力された筆跡のサイズを変更した後、適切なコメント配置領域に表示させる。よって、実際にコメントを表示させるコメント領域のサイズは制限されるが、コメントを入力する際の入力コメント領域のサイズは制限されない。従って、ユーザによるコメントの入力が容易となる。

本実施形態１のＰＣ１００は、コメント入力された筆跡を、対応する対象物の近傍のコメント配置領域に表示させると共に、表示された筆跡にふきだし記号を付加する。よって、画像中の任意の人物に対してふきだし付きコメントを付加することができる。図１１はコメントを付加した画像の変形例を示す模式図である。画像に付加されるコメントには、ふきだし記号のほかに、図１１（ａ）に示す引き出し線のように、画像中の任意の人物との対応付けが分かるような記号が付加されてもよい。

また、図１１（ｂ）に示すように、画像中の任意の人物との対応付けが分かるような記号が付加されず、コメントのみを表示させてもよい。このような表示方法であっても、画像に付加されたコメントは、対応付けられる対象物の近傍に表示されるので、コメントの配置位置によって対応付けられている人物が容易に推測できる。

（実施形態２）
以下に、実施形態２に係るＰＣについて説明する。なお、本実施形態２のＰＣは、上述した実施形態１のＰＣ１００と同様の構成によって実現することができるので、同様の構成については同一の符号を付して説明を省略する。

上述した実施形態１のＰＣ１００は、表示部１４に表示された画像中の対象物（人物の顔）の領域内から手書き入力が開始された場合に、コメント入力の開始を判定していた。本実施形態２のＰＣ１００は、表示部１４に表示された画像中の対象物（人物の顔）の領域内の所定範囲を判定領域とし、いずれかの判定領域内から手書き入力が開始された場合に、コメント入力の開始を判定する。

図１２は実施形態２の検出領域テーブル１３ａの格納内容を示す模式図である。図１２に示すように、本実施形態２の検出領域テーブル１３ａには、対象物領域ＩＤ、対象物領域情報、コメント配置領域ＩＤ及びコメント配置領域情報のほかに、コメント判定領域情報が格納されている。コメント判定領域情報は、対応する対象物（対象物領域）に対するコメント入力が開始されたか否かを判定するためのコメント判定領域を示す情報であり、各コメント判定領域の左上の点及び右下の点を、所定の基準位置を基準とした座標値で表している。

なお、基準位置（０，０）は、例えば、表示部１４が表示可能な領域の左上の点であり、各コメント判定領域の左上の点及び右下の点の座標値（ｘ，ｙ）は、基準位置（０，０）から右方向をｘ座標軸とし、下方向をｙ座標軸として表される。また、本実施形態２では、コメント判定領域は、各対象物領域内の左上の所定サイズ（例えば、１０pixel×１０pixel）の領域である。コメント判定領域は、このような領域のほかに、各対象物の領域内の左下の所定サイズの領域、右上の所定サイズの領域、右下の所定サイズの領域等でもよい。また、例えば、対象物（人物の顔）の領域内から髪の領域又は肌の領域等を検出し、検出した領域又は検出した領域以外の領域をコメント判定領域としてもよい。

検出領域テーブル１３ａに格納されるコメント判定領域情報は、制御部１０が画像から対象物領域を検出し、検出した対象物領域に基づいてコメント判定領域を検出する都度、制御部１０によって格納される。

以下に、本実施形態２のＰＣ１００が実現する各機能について説明する。本実施形態２のＰＣ１００の制御部１０は、ＲＯＭ１１又は記憶部１３に格納してある制御プログラムを実行することによって、図３及び図４に示した各機能を実現する。図１３は実施形態２のＰＣ１００が行なう処理を説明するための模式図である。

本実施形態２の対象物検出部２１は、上述の実施形態１の対象物検出部２１と同様に、画像読出部１から取得した画像データ中に所定の対象物（例えば、人物の顔）が撮影されているか否かを検出する。対象物検出部２１は、画像データ中に人物の顔が撮影されていることを検出した場合、検出した顔を含む矩形の対象物領域を検出する。対象物検出部２１は、対象物領域を検出した場合、検出した対象物領域に対するコメント判定領域を算出する。

具体的には、対象物検出部２１は、検出した対象物領域内の左上の所定サイズ（例えば、１０pixel×１０pixel）の領域を算出する。対象物検出部２１は、対象物領域を検出した順に対象物領域ＩＤを付与し、付与した対象物領域ＩＤに対応付けて、検出した対象物領域を示す対象物領域情報と、算出したコメント判定領域を示すコメント判定領域情報とを検出領域テーブル１３ａに格納する。

本実施形態２の対象物検出部２１は、画像データ中の全ての対象物領域及び対象物領域のそれぞれに対するコメント判定領域を検出し、対象物領域ＩＤ、対象物領域情報及びコメント判定領域情報を検出領域テーブル１３ａに格納する。対象物検出部２１は、全ての対象物領域を検出した後、検出領域テーブル１３ａに格納した対象物領域情報及びコメント判定領域情報を読み出して表示処理部４へ送出する。

本実施形態２の対象物領域表示部４２は、上述の実施形態１の対象物領域表示部４２と同様に、対象物検出部２１から取得した対象物領域情報に基づいて、それぞれの対象物領域（顔の領域）を囲む枠を、表示部１４に表示された画像上に表示させる。また、本実施形態２の対象物領域表示部（判定領域表示手段）４２は、対象物検出部２１から取得したコメント判定領域情報に基づいて、それぞれの対象物領域内のコメント判定領域を囲む枠も表示させる。

図１３（ａ）は、対象物領域表示部４２によって画像上に対象物領域及びコメント判定領域を囲む枠が表示された例を示す。図１３（ａ）では、Ｏ１，Ｏ２，Ｏ３，Ｏ４は、対象物領域を示し、Ｏ１ａ，Ｏ２ａ，Ｏ３ａ，Ｏ４ａは、対象物領域Ｏ１，Ｏ２，Ｏ３，Ｏ４のそれぞれに対応するコメント判定領域を示す。

対象物領域表示部４２は、対象物検出部２１が全ての対象物領域の検出を完了した後に、対象物領域Ｏ１，Ｏ２，Ｏ３，Ｏ４及びコメント判定領域Ｏ１ａ，Ｏ２ａ，Ｏ３ａ，Ｏ４ａを囲む枠を表示する。しかし、対象物領域表示部４２は、対象物検出部２１がそれぞれの対象物領域及びコメント判定領域を検出する都度、各対象物領域Ｏ１，Ｏ２，Ｏ３，Ｏ４及び各コメント判定領域Ｏ１ａ，Ｏ２ａ，Ｏ３ａ，Ｏ４ａを囲む枠を表示してもよい。

本実施形態２では、対象物領域及びコメント判定領域を囲む枠が表示された画像に対して、ユーザは、所望の対象物に対してコメント情報を付与したい場合、所望の対象物の対象物領域内のコメント判定領域を囲む枠内から手書き入力を開始する。

本実施形態２の入力状態判定部６は、手書き入力受付部５から入力された一画目の筆跡の開始位置の座標値が、検出領域テーブル１３ａに格納されたコメント判定領域情報が示すコメント判定領域のいずれかに含まれるか否かを判定する。一画目の開始位置がいずれのコメント判定領域内にもない場合、入力状態判定部６は、開始された手書き入力が通常入力であると判定し、何も処理を行なわない。

一方、一画目の開始位置がいずれかのコメント判定領域内にある場合、入力状態判定部６は、開始された手書き入力がコメント入力であると判定し、コメント入力状態にセットする。図１３（ｂ）は、平仮名の「も」の一画目がコメント判定領域Ｏ２ａ内から書き出されている例を示す。従って、図１３（ｂ）に示した状況の場合、入力状態判定部６は、コメント入力が開始されたと判定し、コメント入力状態にセットする。

図１３（ｃ）は、対象物領域Ｏ２内のコメント判定領域Ｏ２ａ以外の箇所から書き出されている例を示す。本実施形態２の入力状態判定部６は、コメント判定領域Ｏ２ａ内から開始された手書き入力をコメント入力であると判定する。従って、図１３（ｃ）に示すように、対象物領域Ｏ２内であっても、コメント判定領域Ｏ２ａ以外の箇所から開始された手書き入力はコメント入力ではないと判定される。よって、図１３（ｃ）に示すように、対象物領域Ｏ２内のコメント判定領域Ｏ２ａ以外の箇所に書かれた線図又は文字等は、そのままの位置及びサイズで表示される。

コメント判定領域は対象物領域内にあるので、入力状態判定部６は、コメント入力の開始を判定した場合に、上述の実施形態１で説明した処理と同様の処理によって、一画目の筆跡の開始位置を含む対象物領域を判定できる。なお、入力状態判定部６は、一画目の開始位置を含むコメント判定領域を含む対象物領域を判定すればよい。

入力状態判定部６は、コメント入力状態にセットした場合、手書き入力受付部５から取得する座標値（コメント相当筆跡を示す情報）のコメント相当筆跡バッファへの格納を開始する。また、入力状態判定部６は、特定した対象物領域の対象物領域ＩＤを検出領域テーブル１３ａから読み出し、読み出した対象物領域ＩＤを対象物バッファに格納する。

これにより、本実施形態２では、対象物領域Ｏ２内から手書き入力が開始された場合であっても、対象物領域Ｏ２内のコメント判定領域Ｏ２ａではない箇所から開始された場合にはコメント処理を行なわない。よって、開始された手書き入力がコメント入力であると判定するための条件を制限することにより、対象物領域Ｏ２内から開始された描画がコメント処理されない描画であると判定するための条件を緩和できる。

なお、本実施形態２の対象物検出部２１、対象物領域表示部４２及び入力状態判定部６以外の各部は、上述の実施形態１で説明した処理と同一の処理を行なう。

以下に、本実施形態２のＰＣ１００において、ユーザが画像に対する編集処理を開始するための所定の操作を行なった場合に、制御部１０が行なう処理についてフローチャートに基づいて説明する。図１４は実施形態２の検出領域テーブル１３ａの生成処理の手順を示すフローチャートである。以下の処理は、ＰＣ１００のＲＯＭ１１又は記憶部１３に格納されている制御プログラムに従って制御部１０によって実行される。

ユーザが画像に対する編集処理を開始するための所定の操作を行なった場合、制御部１０は、ユーザによって指定された画像データを記憶部１３から読み出す（Ｓ６１）。制御部１０は、読み出した画像データに基づく画像を表示部１４に表示させる（Ｓ６２）。制御部１０は、読み出した画像データ中に所定の対象物（人物の顔）の領域を検出する（Ｓ６３）。制御部１０は、所定の対象物の領域を検出できたか否かを判断しており（Ｓ６４）、検出できたと判断した場合（Ｓ６４：ＹＥＳ）、検出した対象物領域に対するコメント判定領域を算出する（Ｓ６５）。

制御部１０は、検出した対象物領域の対象物領域ＩＤ及び対象物領域情報と、ステップＳ６５で算出したコメント判定領域を示すコメント判定領域情報とを検出領域テーブル１３ａに格納する（Ｓ６６）。制御部１０は、ステップＳ６３に処理を戻し、読み出した画像データ中の他の対象物（人物の顔）の領域を検出する（Ｓ６３）。制御部１０は、画像データ中の全ての対象物の領域を検出するまで、ステップＳ６３〜Ｓ６６の処理を繰り返す。

制御部１０は、画像データ中の全ての対象物の領域を検出した場合、検出した対象物領域及びコメント判定領域のそれぞれを囲む枠を、表示部１４に表示された画像上に表示させる。即ち、制御部１０は、対象物の領域を検出できないと判断した場合（Ｓ６４：ＮＯ）、検出領域テーブル１３ａに格納させた対象物領域情報及びコメント判定領域情報に基づいて、対象物領域及びコメント判定領域を囲む枠を表示させる（Ｓ６７）。なお、制御部１０は、画像データ中に対象物領域及びコメント判定領域を検出する都度、対象物領域を囲む枠及びコメント判定領域を囲む枠を表示してもよい。

次に制御部１０は、検出領域テーブル１３ａに格納された対象物領域の情報（対象物領域ＩＤ及び対象物領域情報）を１つ読み出す（Ｓ６８）。制御部１０は、読み出した対象物領域の情報に基づいて、この対象物領域に対するコメント配置領域を検出する（Ｓ６９）。制御部１０は、検出したコメント配置領域のコメント配置領域ＩＤ及びコメント配置領域情報を検出領域テーブル１３ａに格納する（Ｓ７０）。

制御部１０は、検出領域テーブル１３ａに格納してある全ての対象物領域の情報に対する処理が完了したか否かを判断しており（Ｓ７１）、完了していないと判断した場合（Ｓ７１：ＮＯ）、ステップＳ６８に処理を戻す。制御部１０は、検出領域テーブル１３ａに格納された他の対象物領域の情報を１つ読み出し（Ｓ６８）、読み出した対象物領域の情報に対して、ステップＳ６９，Ｓ７０の処理を行なう。制御部１０は、検出領域テーブル１３ａに格納してある全ての対象物領域の情報に対する処理が完了するまで、ステップＳ６８〜Ｓ７１の処理を繰り返す。

制御部１０は、検出領域テーブル１３ａに格納してある全ての対象物領域の情報に対する処理が完了したと判断した場合（Ｓ７１：ＹＥＳ）、上述した処理を終了する。このような処理により、本実施形態２では、画像の編集処理を開始した時点で画像中の所定の対象物（例えば人物の顔）のそれぞれに対するコメント配置領域を確保できると共に、コメント判定領域を算出できる。

本実施形態２のＰＣ１００において、表示部１４に表示された画像に対してユーザが手書き入力を開始した場合に制御部１０が行なう処理は、上述の実施形態１において図８及び図９で説明した処理と同一であるので説明を省略する。なお、本実施形態２のＰＣ１００は、手書き入力が開始された場合に、一画目の筆跡の開始位置がいずれかのコメント判定領域内にあるか否かに基づいて、開始された手書き入力がコメント入力であるか通常入力であるかを判定する。従って、図９のステップＳ２７において、本実施形態２の制御部１０は、入力された一画目の筆跡の開始位置が、検出領域テーブル１３ａに格納されたコメント判定領域情報が示すコメント判定領域のいずれかに含まれるか否かを判定する。

また、本実施形態２のＰＣ１００において、制御部１０が行なうコメント処理は、上述の実施形態１において図１０で説明した処理と同一であるので説明を省略する。

上述したように、本実施形態２のＰＣ１００では、表示部１４に表示された画像の所望の箇所から手書き入力を開始することで、所望の対象物（人物）に対するコメント入力であるのか、所望の位置へのお絵描き操作なのかを指定できる。具体的には、ユーザは、表示部１４に表示された画像中の任意の対象物に対してコメント情報を付与したい場合、所望の対象物に対応するコメント判定領域内からコメント情報の入力を開始すればよい。

本実施形態２では、対象物領域内であっても、コメント判定領域内ではない領域については、ユーザによって入力された情報に対してコメント処理を行なわない。よって、コメント処理されない描画であると判定されるための条件が緩和される。

（実施形態３）
以下に、実施形態３に係るＰＣについて説明する。なお、本実施形態３のＰＣは、上述した実施形態１のＰＣ１００と同様の構成によって実現することができるので、同様の構成については同一の符号を付して説明を省略する。

上述した実施形態１のＰＣ１００は、表示部１４に表示された画像中の対象物（人物の顔）の領域内から手書き入力が開始された場合に、コメント入力の開始を判定していた。本実施形態３のＰＣ１００も、表示部１４に表示された画像中の対象物（人物の顔）の領域内から手書き入力が開始された場合に、コメント入力の開始を判定する。また、本実施形態３のＰＣ１００は、一画目の筆跡が所定の長さ以上であれば、一画目の筆跡の終了位置にコメント判定領域を設ける。そして、コメント判定領域内から手書き入力が開始された場合に、前記一画目の筆跡の開始位置を含む領域の対象物に対するコメント入力が開始されたとする。

図１５は実施形態３の検出領域テーブル１３ａの格納内容を示す模式図である。図１５に示すように、本実施形態３の検出領域テーブル１３ａには、対象物領域ＩＤ、対象物領域情報、コメント配置領域ＩＤ及びコメント配置領域情報のほかに、コメント判定領域情報が格納されている。コメント判定領域情報は、対応する対象物（対象物領域）に対するコメント入力が開始されたか否かを判定するためのコメント判定領域を示す情報であり、各コメント判定領域の左上の点及び右下の点を、所定の基準位置を基準とした座標値で表している。

なお、基準位置（０，０）は、例えば、表示部１４が表示可能な領域の左上の点であり、各コメント判定領域の左上の点及び右下の点の座標値（ｘ，ｙ）は、基準位置（０，０）から右方向をｘ座標軸とし、下方向をｙ座標軸として表される。また、本実施形態３では、検出領域テーブル１３ａに格納されるコメント判定領域情報は、ユーザが対象物領域から手書き入力を開始した場合の一画目の筆跡が所定の長さ以上であった場合に、制御部１０によって算出されて格納される。

以下に、本実施形態３のＰＣ１００が実現する各機能について説明する。本実施形態３のＰＣ１００の制御部１０は、ＲＯＭ１１又は記憶部１３に格納してある制御プログラムを実行することによって、図３及び図４に示した各機能を実現する。図１６は実施形態３のＰＣ１００が行なう処理を説明するための模式図である。

本実施形態３の入力状態判定部６は、上述の実施形態１の入力状態判定部６と同様に、手書き入力受付部５から入力された一画目の筆跡の開始位置の座標値が、検出領域テーブル１３ａに格納された対象物領域情報が示す対象物領域のいずれかに含まれるか否かを判定する。一画目の開始位置がいずれの対象物領域内にもない場合、入力状態判定部６は、開始された手書き入力が通常入力であると判定し、何も処理を行なわない。

一方、一画目の開始位置がいずれかの対象物領域内にある場合、入力状態判定部６は、どの対象物領域内にあるかを特定し、開始された手書き入力がコメント入力であると判定する。このとき、入力状態判定部（判断手段）６は、手書き入力受付部５から入力された一画目の筆跡が所定の長さ以上であるか否かを判断する。一画目の筆跡が所定の長さ未満であると判断した場合、入力状態判定部６は、上述した実施形態１と同様に、コメント入力状態にセットし、ＰＣ１００は、この一画目から開始される筆跡に対してコメント処理を行なう。

一方、一画目の筆跡が所定の長さ以上であると判断した場合、本実施形態３の入力状態判定部６は、この一画目の筆跡の終了位置に表示させるべきコメント判定領域を算出する。具体的には、入力状態判定部６は、一画目の筆跡の終了位置を中心として所定サイズ（例えば、１０pixel×１０pixel）のコメント判定領域を算出する。入力状態判定部６は、前記一画目の開始位置を含む対象物領域の対象物領域ＩＤに対応付けて、算出したコメント判定領域を示すコメント判定領域情報を検出領域テーブル１３ａに格納する。

入力状態判定部６は、検出領域テーブル１３ａに格納したコメント判定領域情報を表示処理部４へ送出する。表示処理部４の対象物領域表示部（所定領域表示手段）４２は、入力状態判定部６からコメント判定領域情報を取得した場合、取得したコメント判定領域情報に基づいてコメント判定領域を囲む枠を、表示部１４に表示された画像上に表示させる。図１６（ａ）は、対象物領域表示部４２によって画像上にコメント判定領域を囲む枠が表示された例を示す。図１６（ａ）に示すように、対象物領域Ｏ４から所定の長さ以上の筆跡ｈ１が入力された場合、ＰＣ１００は、筆跡ｈ１の終了位置にコメント判定領域ｈ２を表示させる。

本実施形態３の入力状態判定部（監視手段）６は、図１６（ａ）に示すようなコメント判定領域ｈ２が表示部１４に表示された後、入力された一画目の筆跡の開始位置の座標値が、コメント判定領域のいずれかに含まれるか否かを判定する。具体的には、入力状態判定部６は、検出領域テーブル１３ａに格納されたコメント判定領域情報が示すコメント判定領域のいずれかに含まれるか否かを判定する。なお、ここでの一画目の筆跡は、所定の長さ以上の筆跡ｈ１の次に入力される筆跡であってもよいし、その他の対象物に対するコメント入力又は画像に対する描画等の入力後に入力される筆跡であってもよい。

コメント判定領域ｈ２が表示された後に入力された一画目の開始位置がいずれかのコメント判定領域内にある場合、入力状態判定部６は、どのコメント判定領域内にあるかを特定する。入力状態判定部６は、特定したコメント判定領域に対する対象物領域を検出領域テーブル１３ａの格納内容に基づいて特定し、開始された手書き入力が、特定した対象物領域に対するコメント入力であると判定し、コメント入力状態にセットする。この場合、ＰＣ１００は、コメント判定領域から開始された手書き入力（筆跡）に対するコメント処理を行なう。

図１６（ｂ）は、平仮名の「も」の一画目がコメント判定領域ｈ２内から書き出されている例を示す。従って、図１６（ｂ）に示した状況の場合、入力状態判定部６は、対象物領域Ｏ４に対するコメント入力が開始されたと判定し、コメント入力状態にセットする。なお、入力状態判定部６は、コメント入力状態にセットした場合、手書き入力受付部５から取得する座標値（コメント相当筆跡を示す情報）のコメント相当筆跡バッファへの格納を開始する。

入力状態判定部６は、コメント入力状態にセットした場合に、開始された手書き入力が、どの対象物領域に対するコメント入力であるかを特定し、特定した対象物領域を示す対象物領域ＩＤを検出領域テーブル１３ａから読み出す。入力状態判定部６は、読み出した対象物領域ＩＤを対象物バッファに格納する。

これにより、本実施形態３では、画像の端の領域に含まれる対象物に対してコメント入力する場合であっても、手書き入力を行なう領域のサイズは制限されない。よって、例えば、画像の右端に写っている人物に対して右方向への横書きでコメント入力をする場合に、手書き入力を行なう際の領域が狭くなることを防止できる。

なお、本実施形態３の入力状態判定部６及び対象物領域表示部４２以外の各部は、上述の実施形態１で説明した処理と同一の処理を行なう。本実施形態３のＰＣ１００では、図１６（ｂ）に示すように、対象物領域Ｏ４に対するコメント判定領域ｈ２から「もう少し」が入力された場合、図１６（ｃ）に示すように、対象物領域Ｏ４に対するコメント領域に「もう少し」が表示される。

本実施形態３のＰＣ１００において、ユーザが画像に対する編集処理を開始するための所定の操作を行なった場合に、制御部１０が行なう処理は、上述の実施形態１において図７で説明した処理と同一であるので説明を省略する。

次に、本実施形態３のＰＣ１００において、画像及び対象物領域を囲む枠が表示された画像に対してユーザが手書き入力を開始した場合に、制御部１０が行なう処理についてフローチャートに基づいて説明する。図１７及び図１８は実施形態３のＰＣ１００が行なう処理の手順を示すフローチャートである。以下の処理は、ＰＣ１００のＲＯＭ１１又は記憶部１３に格納されている制御プログラムに従って制御部１０によって実行される。

本実施形態３のＰＣ１００において、図１７及び図１８中のステップＳ８１からＳ８７までの処理は、上述の実施形態１で説明した図８及び図９中のステップＳ２１からＳ２７までの処理と同一であるので説明を省略する。

制御部１０は、入力された一画目の筆跡の開始位置が、検出領域テーブル１３ａに格納された対象物領域情報が示す対象物領域のいずれかに含まれるか否かを判定する（Ｓ８７）。一画目の開始位置がいずれかの対象物領域内にあると判断した場合（Ｓ８７：ＹＥＳ）、制御部１０は、前記一画目の筆跡の長さが所定値以上であるか否かを判断する（Ｓ８８）。

前記一画目の筆跡の長さが所定値以上であると判断した場合（Ｓ８８：ＹＥＳ）、制御部１０は、前記の一画目の筆跡の終了位置に表示させるべきコメント判定領域を算出する（Ｓ８９）。なお、前記一画目の筆跡の長さが所定値未満であると判断した場合（Ｓ８８：ＮＯ）、制御部１０は、ステップＳ９３に処理を移行する。制御部１０は、算出したコメント判定領域を示すコメント判定領域情報を、対応する対象物領域ＩＤに対応付けて検出領域テーブル１３ａに格納する（Ｓ９０）。

制御部１０は、検出領域テーブル１３ａに格納させたコメント判定領域情報に基づいて、コメント判定領域を囲む枠を表示させ（Ｓ９１）、ステップＳ８２に処理を戻す。一画目の開始位置がいずれの対象物領域内にもないと判断した場合（Ｓ８７：ＮＯ）、制御部１０は、前記一画目の開始位置が、検出領域テーブル１３ａに格納されたコメント判定領域情報が示すコメント判定領域のいずれかに含まれるか否かを判定する（Ｓ９２）。

一画目の開始位置がいずれのコメント判定領域内にもないと判断した場合（Ｓ９２：ＮＯ）、制御部１０は、ステップＳ８２に処理を戻す。前記一画目の開始位置がいずれかのコメント判定領域内にあると判断した場合（Ｓ９２：ＹＥＳ）、制御部１０は、開始された手書き入力がコメント入力であると判定し、コメント入力状態にセットする（Ｓ９３）。

制御部１０は、ステップＳ８７で一画目の開始位置を含むと判定した対象物領域、又は、ステップＳ９２で一画目の開始位置を含むと判定したコメント判定領域に対応する対象物領域を特定する（Ｓ９４）。制御部１０は、特定した対象物領域の対象物領域ＩＤを検出領域テーブル１３ａから読み出し、読み出した対象物領域ＩＤを対象物バッファに格納する（Ｓ９５）。

制御部１０は、所定時間（例えば、１０秒間）の計時処理を開始する（Ｓ９６）。なお、ここでの計時処理は、一画分の筆跡の入力があった後に、ユーザがコメント入力を終了したか否かを判断するための処理である。即ち、一画分の筆跡の入力後、所定時間が経過した場合には、制御部１０は、ユーザがコメント入力を終了したと判断する。

制御部１０は、ステップＳ８３で取得した一画分の筆跡を示す座標値をコメント相当筆跡バッファに格納する（Ｓ９７）。制御部１０は、ステップＳ８２に処理を戻し、ユーザの手書き入力による次の一画分の筆跡の入力があるか否かを判断する（Ｓ８２）。制御部１０は、次の一画分の筆跡の入力があると判断した場合（Ｓ８２：ＹＥＳ）、ステップＳ８３〜Ｓ８５の処理を繰り返し、次の一画分の筆跡を示す各点の座標値をＲＡＭ１２に一旦格納する。

なお、制御部１０は、一画分の筆跡の入力が終了した後、この時点でコメント入力状態がセットされているか否かを判断する（Ｓ８６）。コメント入力状態がセットされていると判断した場合（Ｓ８６：ＹＥＳ）、制御部１０は、所定時間（例えば、１０秒間）の計時処理を再度開始する（Ｓ９６）。制御部１０は、ステップＳ８３で取得した一画分の筆跡を示す座標値をコメント相当筆跡バッファに格納する（Ｓ９７）。

制御部１０は、ステップＳ８２に処理を戻し、ユーザの手書き入力による次の一画分の筆跡の入力があるか否かを判断する（Ｓ８２）。制御部１０は、ユーザの手書き入力による次の一画分の筆跡の入力が途絶えるまで、ステップＳ８２〜Ｓ９７の処理を繰り返す。制御部１０は、ユーザの手書き入力による次の一画分の筆跡の入力がないと判断した場合（Ｓ８２：ＮＯ）、この時点でコメント入力状態がセットされているか否かを判断する（Ｓ９８）。

制御部１０は、コメント入力状態がセットされていると判断した場合（Ｓ９８：ＹＥＳ）、ステップＳ９６で開始した計時処理の結果に基づいて、所定時間が経過したか否かを判断する（Ｓ９９）。コメント入力状態がセットされていないと判断した場合（Ｓ９８：ＮＯ）、又は、所定時間が経過していないと判断した場合（Ｓ９９：ＮＯ）、制御部１０はステップＳ８２へ処理を戻す。

所定時間が経過したと判断した場合（Ｓ９９：ＹＥＳ）、制御部１０は、ユーザがコメント入力を終了したと判断し、コメント処理を実行する（Ｓ１００）。制御部１０は、コメント処理の実行後、ステップＳ９１で表示させたコメント判定領域を囲む枠の表示を終了する（Ｓ１０１）。制御部１０は、ステップＳ９０で検出領域テーブル１３ａに格納したコメント判定領域情報を削除し（Ｓ１０２）、ステップＳ８１へ処理を戻す。

なお、本実施形態３のＰＣ１００において、制御部１０が行なうコメント処理は、上述の実施形態１において図１０で説明した処理と同一であるので説明を省略する。

上述したように、本実施形態３のＰＣ１００では、表示部１４に表示された対象物領域を囲む枠内から開始された手書き入力の一画目の筆跡が所定の長さ以上である場合に、この一画目の筆跡の終了位置にコメント判定領域を示す枠が表示される。そして、表示されたコメント判定領域内から手書き入力が開始された場合に、所定の長さ以上の前記一画目の筆跡の開始位置である対象物領域に対応する対象物に対するコメント入力が開始されたとする。

よって、ユーザは、広い領域を用いてコメント入力したい場合に、所望の対象物領域内から所定の長さ以上の一画目の筆跡を、コメント入力を開始したい位置まで引き伸ばせばよい。これにより、画像の端の方に写っている人物に対するコメント入力する場合であっても、所望の箇所からの手書き入力が可能となるので、手書き入力を行なう領域のサイズは制限されない。

本実施形態３は、上述した実施形態１の変形例として説明したが、上述した実施形態２の構成にも適用することができる。

（実施形態４）
以下に、実施形態４に係るＰＣについて説明する。なお、本実施形態４のＰＣは、上述した実施形態３のＰＣ１００と同様の構成によって実現することができるので、同様の構成については同一の符号を付して説明を省略する。

上述した実施形態３のＰＣ１００は、表示部１４に表示された画像中の対象物（人物の顔）の領域内から手書き入力が開始された場合に、一画目の筆跡が所定の長さ以上であれば、一画目の筆跡の終了位置にコメント判定領域を設ける。そして、コメント判定領域内から手書き入力が開始された場合に、前記一画目の筆跡の開始位置を含む領域の対象物に対するコメント入力が開始されたとしていた。

本実施形態４のＰＣ１００も、表示部１４に表示された画像中の対象物領域内から手書き入力が開始された場合に、一画目の筆跡が所定の長さ以上であれば、一画目の筆跡の終了位置にコメント判定領域を設ける。なお、本実施形態４のＰＣ１００は、コメント判定領域を表示させた後、所定時間以内にコメント判定領域から手書き入力が開始されなかった場合にはコメント判定領域の表示を終了する。そして、コメント判定領域の表示終了後は、このコメント判定領域から開始された手書き入力に対するコメント処理の実行を行なわない。

以下に、本実施形態４のＰＣ１００が実現する各機能について説明する。本実施形態４のＰＣ１００の制御部１０は、ＲＯＭ１１又は記憶部１３に格納してある制御プログラムを実行することによって、図３及び図４に示した各機能を実現する。

本実施形態４の入力状態判定部６は、上述の実施形態３の入力状態判定部６と同様に、手書き入力受付部５から入力された一画目の筆跡の開始位置の座標値が、検出領域テーブル１３ａに格納された対象物領域情報が示す対象物領域のいずれかに含まれるか否かを判定する。一画目の開始位置がいずれの対象物領域内にもない場合、入力状態判定部６は、開始された手書き入力が通常入力であると判定し、何も処理を行なわない。

一方、一画目の開始位置がいずれかの対象物領域内にある場合、入力状態判定部６は、どの対象物領域内にあるかを特定し、開始された手書き入力がコメント入力であると判定する。また、入力状態判定部６は、いずれかの対象物領域内から開始された一画目の筆跡が所定の長さ以上であるか否かを判断する。一画目の筆跡が所定の長さ未満であると判断した場合、入力状態判定部６は、コメント入力状態にセットし、ＰＣ１００は、この一画目から開始される筆跡に対してコメント処理を行なう。

一方、一画目の筆跡が所定の長さ以上であると判断した場合、入力状態判定部６は、この一画目の筆跡の終了位置に表示させるべきコメント判定領域を算出する。入力状態判定部６は、算出したコメント判定領域を示すコメント判定領域情報を、前記一画目の開始位置を含む対象物領域の対象物領域ＩＤに対応付けて検出領域テーブル１３ａに格納する。そして、入力状態判定部６は、検出領域テーブル１３ａに格納したコメント判定領域情報を表示処理部４へ送出する。表示処理部４の対象物領域表示部４２は、入力状態判定部６から取得したコメント判定領域情報に基づいてコメント判定領域を囲む枠を、表示部１４に表示された画像上に表示させる。

ここで、本実施形態４の入力状態判定部６は、コメント判定領域を算出し、算出したコメント判定領域を示すコメント判定領域情報を表示処理部４へ送出した場合に、第２の所定時間（例えば、１０秒間）の計時処理を開始する。なお、ここでの計時処理は、コメント判定領域を囲む枠が表示された後に、ユーザが、コメント判定領域内から手書き入力を開始したか否かを判断するための処理である。即ち、コメント判定領域を囲む枠の表示後、第２の所定時間が経過するまでの間にこのコメント判定領域内から開始される手書き入力がなかった場合に、制御部１０は、ユーザがこのコメント判定領域に対応する対象物に対するコメント入力を終了したと判断する。

なお、本実施形態４の入力状態判定部６は、コメント判定領域を囲む枠が表示部１４に表示された後、入力された一画目の筆跡の開始位置の座標値が、コメント判定領域のいずれかに含まれるか否かを判定する。コメント判定領域を囲む枠の表示後に入力された一画目の開始位置がいずれかのコメント判定領域内にある場合、入力状態判定部６は、どのコメント判定領域内にあるかを特定する。入力状態判定部６は、特定したコメント判定領域に対する対象物領域を検出領域テーブル１３ａの格納内容に基づいて特定し、開始された手書き入力が、特定した対象物領域に対するコメント入力であると判定し、コメント入力状態にセットする。この場合、ＰＣ１００は、コメント判定領域から開始された手書き入力（筆跡）に対するコメント処理を行なう。

入力状態判定部６は、コメント入力状態にセットした場合に、開始された手書き入力が、どの対象物領域に対するコメント入力であるかを特定し、特定した対象物領域を示す対象物領域ＩＤを検出領域テーブル１３ａから読み出す。入力状態判定部６は、読み出した対象物領域ＩＤを対象物バッファに格納する。

これにより、本実施形態４では、いずれかの対象物領域内から所定の長さ以上の一画目の筆跡が入力されることにより、対応する対象物（対象物領域）に対するコメント入力を行なうための領域を広く確保できる。また、コメント判定領域の表示後、所定時間内にコメント判定領域内から手書き入力が開始されない場合には、コメント判定領域を囲む枠の表示を終了し、対応する対象物に対するコメント入力を終了させる。よって、不要なコメント判定領域の枠の表示を適切に終了することにより、ユーザが見易い画像を表示させることができる。

なお、本実施形態４の入力状態判定部６以外の各部は、上述の実施形態１，３で説明した処理と同一の処理を行なう。

本実施形態４のＰＣ１００において、ユーザが画像に対する編集処理を開始するための所定の操作を行なった場合に、制御部１０が行なう処理は、上述の実施形態１において図７で説明した処理と同一であるので説明を省略する。

次に、本実施形態４のＰＣ１００において、画像及び対象物領域を囲む枠が表示された画像に対してユーザが手書き入力を開始した場合に、制御部１０が行なう処理についてフローチャートに基づいて説明する。図１９及び図２０は実施形態４のＰＣ１００が行なう処理の手順を示すフローチャートである。以下の処理は、ＰＣ１００のＲＯＭ１１又は記憶部１３に格納されている制御プログラムに従って制御部１０によって実行される。

本実施形態４のＰＣ１００において、図１９及び図２０中のステップＳ１１１からＳ１２１までの処理は、上述の実施形態３で説明した図１７及び図１８中のステップＳ８１からＳ９１までの処理と同一であるので説明を省略する。なお、本実施形態４の制御部１０は、ステップＳ１１８で前記一画目の筆跡の長さが所定値未満であると判断した場合（Ｓ１１８：ＮＯ）、ステップＳ１２５に処理を移行する。

本実施形態４の制御部１０は、検出領域テーブル１３ａに格納させたコメント判定領域情報に基づいて、コメント判定領域を囲む枠を表示させた後（Ｓ１２１）、第２の所定時間の計時処理を開始し（Ｓ１２２）、ステップＳ１１２に処理を戻す。

ステップＳ１１７で制御部１０は、一画目の開始位置がいずれの対象物領域内にもないと判断した場合（Ｓ１１７：ＮＯ）、前記一画目の開始位置が、検出領域テーブル１３ａに格納されたコメント判定領域情報が示すコメント判定領域のいずれかに含まれるか否かを判定する（Ｓ１２３）。一画目の開始位置がいずれのコメント判定領域内にもないと判断した場合（Ｓ１２３：ＮＯ）、制御部１０は、ステップＳ１１２に処理を戻す。

前記一画目の開始位置がいずれかのコメント判定領域内にあると判断した場合（Ｓ１２３：ＹＥＳ）、制御部１０は、ステップＳ１２２で開始した計時処理を停止させる（Ｓ１２４）。そして、制御部１０は、開始された手書き入力がコメント入力であると判定し、コメント入力状態にセットする（Ｓ１２５）。

制御部１０は、ステップＳ１１７で一画目の開始位置を含むと判定した対象物領域、又は、ステップＳ１２３で一画目の開始位置を含むと判定したコメント判定領域に対応する対象物領域を特定する（Ｓ１２６）。制御部１０は、特定した対象物領域の対象物領域ＩＤを検出領域テーブル１３ａから読み出し、読み出した対象物領域ＩＤを対象物バッファに格納する（Ｓ１２７）。

制御部１０は、所定時間（例えば、１０秒間）の計時処理を開始する（Ｓ１２８）。なお、ここでの計時処理は、一画分の筆跡の入力があった後に、ユーザがコメント入力を終了したか否かを判断するための処理である。即ち、一画分の筆跡の入力後、所定時間が経過した場合には、制御部１０は、ユーザがコメント入力を終了したと判断する。

制御部１０は、ステップＳ１１３で取得した一画分の筆跡を示す座標値をコメント相当筆跡バッファに格納する（Ｓ１２９）。制御部１０は、ステップＳ１１２に処理を戻し、ユーザの手書き入力による次の一画分の筆跡の入力があるか否かを判断する（Ｓ１１２）。制御部１０は、次の一画分の筆跡の入力があると判断した場合（Ｓ１１２：ＹＥＳ）、ステップＳ１１３〜Ｓ１１５の処理を繰り返し、次の一画分の筆跡を示す各点の座標値をＲＡＭ１２に一旦格納する。

なお、制御部１０は、一画分の筆跡の入力が終了した後、この時点でコメント入力状態がセットされているか否かを判断する（Ｓ１１６）。コメント入力状態がセットされていると判断した場合（Ｓ１１６：ＹＥＳ）、制御部１０は、所定時間（例えば、１０秒間）の計時処理を再度開始する（Ｓ１２８）。制御部１０は、ステップＳ１１３で取得した一画分の筆跡を示す座標値をコメント相当筆跡バッファに格納する（Ｓ１２９）。

制御部１０は、ステップＳ１１２に処理を戻し、ユーザの手書き入力による次の一画分の筆跡の入力があるか否かを判断する（Ｓ１１２）。制御部１０は、ユーザの手書き入力による次の一画分の筆跡の入力が途絶えるまで、ステップＳ１１２〜Ｓ１２９の処理を繰り返す。制御部１０は、ユーザの手書き入力による次の一画分の筆跡の入力がないと判断した場合（Ｓ１１２：ＮＯ）、ステップＳ１２２で開始した第２の所定時間の計時処理の結果に基づいて、第２の所定時間が経過したか否かを判断する（Ｓ１３０）。

第２の所定時間が経過したと判断した場合（Ｓ１３０：ＹＥＳ）、制御部１０は、ステップＳ１２１で表示させたコメント判定領域を囲む枠の表示を終了する（Ｓ１３１）。なお、このとき制御部１０は、コメント判定領域を囲む枠を表示させるために対象物領域から引き伸ばされた一画目の筆跡の表示も終了する。制御部１０は、表示を終了させたコメント判定領域を示すコメント判定領域情報を検出領域テーブル１３ａから削除する（Ｓ１３２）。制御部１０は、第２の所定時間の計時処理をリセットし（Ｓ１３３）、ステップＳ１１２に処理を戻す。

第２の所定時間が経過していないと判断した場合（Ｓ１３０：ＮＯ）、制御部１０は、この時点でコメント入力状態がセットされているか否かを判断する（Ｓ１３４）。制御部１０は、コメント入力状態がセットされていると判断した場合（Ｓ１３４：ＹＥＳ）、ステップＳ１２８で開始した計時処理の結果に基づいて、所定時間が経過したか否かを判断する（Ｓ１３５）。コメント入力状態がセットされていないと判断した場合（Ｓ１３４：ＮＯ）、又は、所定時間が経過していないと判断した場合（Ｓ１３５：ＮＯ）、制御部１０はステップＳ１１２へ処理を戻す。

所定時間が経過したと判断した場合（Ｓ１３５：ＹＥＳ）、制御部１０は、ユーザがコメント入力を終了したと判断し、コメント処理を実行する（Ｓ１３６）。制御部１０は、コメント処理の実行後、ステップＳ１２１で表示させたコメント判定領域を囲む枠の表示を終了する（Ｓ１３７）。なお、このとき制御部１０は、コメント判定領域を囲む枠を表示させるために対象物領域から引き伸ばされた一画目の筆跡の表示も終了する。制御部１０は、ステップＳ１２０で検出領域テーブル１３ａに格納したコメント判定領域情報を削除し（Ｓ１３８）、ステップＳ１１１へ処理を戻す。

なお、本実施形態４のＰＣ１００において、制御部１０が行なうコメント処理は、上述の実施形態１において図１０で説明した処理と同一であるので説明を省略する。

上述したように、本実施形態４のＰＣ１００では、表示部１４に表示された対象物領域を囲む枠内から開始された手書き入力の一画目の筆跡が所定の長さ以上である場合に、この一画目の筆跡の終了位置にコメント判定領域を示す枠が表示される。そして、表示されたコメント判定領域内から手書き入力が開始された場合に、所定の長さ以上の前記一画目の筆跡の開始位置である対象物領域に対応する対象物に対するコメント入力が開始されたとする。なお、コメント判定領域を示す枠の表示後、所定時間内にコメント判定領域内から手書き入力が開始されなかった場合、コメント判定領域を示す枠の表示を終了し、対応する対象物に対するコメント入力を終了させる。

よって、対象物に対するコメント入力を行なうための領域を広く確保できると共に、不要なコメント判定領域の枠の表示を適切に終了することにより、ユーザが見易い画像を表示させることができる。

本実施形態４は、上述した実施形態１，３の変形例として説明したが、上述した実施形態２の構成にも適用することができる。

（実施形態５）
以下に、実施形態５に係るＰＣについて説明する。なお、本実施形態５のＰＣは、上述した実施形態１のＰＣ１００と同様の構成によって実現することができるので、同様の構成については同一の符号を付して説明を省略する。

上述した実施形態１のＰＣ１００は、表示部１４に表示された画像中の対象物（人物の顔）の領域内から手書き入力が開始された場合に、コメント入力の開始と判定し、この手書き入力によって入力された筆跡に対してコメント処理を行なっていた。本実施形態５のＰＣ１００は、コメント入力の開始と判定した場合、手書き入力によって入力された筆跡に対して文字列認識処理を行なう。そして、文字列認識処理の結果、入力された筆跡が文字列であると判定された場合に、本実施形態５のＰＣ１００は、入力された筆跡に対してコメント処理を行なう。

図示しないが、本実施形態５のＰＣ１００は、図１に示したハードウェア各部のほかに、文字列の認識処理に用いる文字列認識のための辞書を記憶部１３に格納している。文字列認識のための辞書には、複数の文字列のそれぞれについて、それぞれの文字の一画を所定間隔の複数の点の座標値で示した筆跡情報からなる辞書、単語辞書または文字間のつながりやすさの情報からなる辞書が登録されている。

以下に、本実施形態５のＰＣ１００が実現する各機能について説明する。本実施形態５のＰＣ１００の制御部１０は、ＲＯＭ１１又は記憶部１３に格納してある制御プログラムを実行することによって、図３及び図４に示した各機能のほか、図２１に示した機能を実現する。図２１は実施形態５のコメント処理部３が備える機能を示す機能ブロック図である。

本実施形態５のコメント処理部３は、図４に示した各部のほかに、文字列認識部３６及びコメント判定部３７を備える。
本実施形態５のコメント相当筆跡抽出部３３は、上述の実施形態１のコメント相当筆跡抽出部３３と同様に、入力状態判定部６からコメント入力の終了を通知された場合、コメント相当筆跡バッファに格納された座標値を読み出す。コメント相当筆跡抽出部３３は、読み出した座標値（コメント相当筆跡を示す情報）を文字列認識部３６に送出する。

文字列認識部（文字列認識手段）３６は、コメント相当筆跡抽出部３３から取得した座標値（コメント相当筆跡を示す情報）に対して、文字列認識のための辞書に基づく文字列認識処理を行なう。具体的には、文字列認識部３６は、文字列認識のための辞書に登録されている文字列のそれぞれとコメント相当筆跡とを比較し、コメント相当筆跡に最も近似した文字列を特定し、特定した文字列とコメント相当筆跡との近似度合を示す信頼度を算出する。

文字列認識部３６は、算出した信頼度と、コメント相当筆跡抽出部３３から取得したコメント相当筆跡を示す情報とをコメント判定部３７へ送出する。コメント判定部（文字列判定手段）３７は、文字列認識部３６から取得した信頼度に基づいて、コメント相当筆跡抽出部３３から取得したコメント相当筆跡が文字列であるか否かを判定する。具体的には、コメント判定部３７は、信頼度が所定値（例えば、最高値が１００である場合に８０，９０等）以上であるか否かを判定し、所定値以上であれば、文字列認識部３６から取得したコメント相当筆跡を示す情報をコメント領域算出部３４へ送出する。

なお、信頼度が所定値未満であれば、コメント判定部３７は何も行なわず、ＰＣ１００は、手書き入力された筆跡に対してコメント処理を行なわない。即ち、対象物領域内から開始された手書き入力であっても、入力された筆跡が文字列ではない場合には、入力された筆跡に対してコメント処理を行なわない。

本実施形態５のコメント領域算出部３４は、コメント判定部３７からコメント相当筆跡を示す情報を取得する。そして、コメント領域算出部３４は、上述の実施形態１のコメント領域算出部３４と同様に、取得したコメント相当筆跡を示す情報に基づいて入力コメント領域を検出し、検出した入力コメント領域とコメント配置領域との間のサイズ変更割合を算出する。

また、コメント領域算出部３４は、算出したサイズ変更割合に従って入力コメント領域をサイズ変更した後のコメント領域の縦方向の長さと横方向の長さとを算出し、算出した縦方向及び横方向の長さで示されるコメント領域の位置を特定する。コメント領域算出部３４は、特定したコメント領域の左上及び右下の点の座標値を算出し、表示処理部４に通知し、算出したサイズ変更割合をコメントサイズ変更部３５に通知する。

これにより、本実施形態５では、対象物領域内から手書き入力が開始された場合であっても、文字又は文字列ではない描画が行なわれた場合には、コメント処理を行なわず、単なる描画としての処理を行なう。よって、対象物領域内から開始された描画であっても、コメント処理されない描画であると判定するための条件を緩和できる。

なお、本実施形態５の文字列認識部３６及びコメント判定部３７以外の各部は、上述の実施形態１で説明した処理と同一の処理を行なう。

本実施形態５のＰＣ１００において、ユーザが画像に対する編集処理を開始するための所定の操作を行なった場合に、制御部１０が行なう処理は、上述の実施形態１において図７で説明した処理と同一であるので説明を省略する。

また、本実施形態５のＰＣ１００において、画像及び対象物領域を囲む枠が表示された画像に対してユーザが手書き入力を開始した場合に、制御部１０が行なう処理は、上述の実施形態１において図８及び図９で説明した処理と同一であるので説明を省略する。

次に、本実施形態５のＰＣ１００による処理におけるコメント処理についてフローチャートに基づいて説明する。図２２は実施形態５のコメント処理の手順を示すフローチャートである。以下の処理は、ＰＣ１００のＲＯＭ１１又は記憶部１３に格納されている制御プログラムに従って制御部１０によって実行される。

本実施形態５のＰＣ１００において、図２２中のステップＳ１４１からＳ１４３までの処理は、上述の実施形態１で説明した図１０中のステップＳ４１からＳ４２までの処理と同一であるので説明を省略する。

制御部１０は、コメント相当筆跡バッファから読み出した座標値に対して、文字列認識のための辞書に基づく文字列認識を実行する（Ｓ１４４）。制御部１０は、読み出した座標値が示すコメント相当筆跡に最も近似した文字列を特定し、特定した文字列とコメント相当筆跡との信頼度を算出する。

制御部１０は、算出した信頼度が所定値以上であるか否かを判断し（Ｓ１４５）、所定値未満であると判断した場合（Ｓ１４５：ＮＯ）、コメント処理を終了し、図８に示した処理に戻る。信頼度が所定値以上であると判断した場合（Ｓ１４５：ＹＥＳ）、制御部１０は、コメント相当筆跡バッファから読み出した座標値に基づいて、コメント相当筆跡を含み、面積が最小となる矩形の入力コメント領域を算出する（Ｓ１４６）。

なお、以降のステップＳ１４６からＳ１５３までの処理は、上述の実施形態１で説明した図１０中のステップＳ４４からＳ５１までの処理と同一であるので説明を省略する。

上述したように、本実施形態５のＰＣ１００では、表示部１４に表示された画像の所望の箇所から手書き入力を開始することで、所望の対象物（人物）に対するコメント入力であるのか、所望の位置へのお絵描き操作なのかを指定できる。また、対象物領域内から手書き入力が開始された場合であっても、文字又は文字列ではない描画に対してはコメント処理を行なわない。よって、コメント処理されない描画であると判定されるための条件が緩和される。

本実施形態５は、上述した実施形態１の変形例として説明したが、上述した実施形態２〜４の構成にも適用することができる。

（実施形態６）
以下に、実施形態６に係るＰＣについて説明する。なお、本実施形態６のＰＣは、上述した実施形態５のＰＣ１００と同様の構成によって実現することができるので、同様の構成については同一の符号を付して説明を省略する。

上述した実施形態５のＰＣ１００は、コメント入力の開始と判定した場合、入力された筆跡に対して文字列認識処理を行ない、入力された筆跡が文字列であると判定された場合に、入力された筆跡に対してコメント処理を行なっていた。本実施形態６のＰＣ１００は、入力された筆跡が文字列であると判定された場合、入力された筆跡をテキストデータに変換して表示させるコメント処理を行なう。

以下に、本実施形態６のＰＣ１００が実現する各機能について説明する。本実施形態６のＰＣ１００の制御部１０は、ＲＯＭ１１又は記憶部１３に格納してある制御プログラムを実行することによって、図３及び図４に示した各機能のほか、図２３に示した機能を実現する。図２３は実施形態６のコメント処理部３が備える機能を示す機能ブロック図である。

本実施形態６のコメント処理部３は、図２１に示した各部のほかに、テキスト領域生成部３８を備える。
本実施形態６の文字列認識部３６は、コメント相当筆跡に最も近似していると特定した文字列と、特定した文字列及びコメント相当筆跡の信頼度とをコメント判定部３７へ送出する。コメント判定部３７は、文字列認識部３６から取得した信頼度が所定値（例えば、最高値が１００である場合に８０，９０等）以上であるか否かを判定し、所定値以上であれば、文字列認識部３６から取得した文字列をコメント領域算出部３４へ送出する。

なお、信頼度が所定値未満であれば、コメント判定部３７は何も行なわず、ＰＣ１００は、手書き入力された筆跡に対してコメント処理を行なわない。即ち、対象物領域内から開始された手書き入力であっても、入力された筆跡が文字列ではない場合には、入力された筆跡に対してコメント処理を行なわない。

本実施形態６のコメント領域算出部３４は、コメント判定部３７から取得した文字列に含まれる文字数を算出する。コメント領域算出部３４は、算出した文字数に基づいて、コメント判定部３７から取得した文字列を所定のフォントサイズで表示させるためのテキストボックスのサイズを算出する。なお、所定のフォントサイズ及びフォント情報は、例えばＲＯＭ１１又は記憶部１３に予め格納されている。

コメント領域算出部３４は、コメント配置領域特定部３２から通知されたコメント配置領域ＩＤに対応するコメント配置領域情報を検出領域テーブル１３ａから読み出す。コメント領域算出部３４は、算出したテキストボックスのサイズに基づいて、算出したテキストボックスが、検出領域テーブル１３ａから読み出したコメント配置領域情報が示すコメント配置領域内に収まるか否かを判断する。

算出したテキストボックスがコメント配置領域内に収まると判断した場合、コメント領域算出部３４は、コメント配置領域において、算出したテキストボックスの位置を特定する。なお、コメント領域算出部３４は、コメント配置領域内で、対象物領域からの距離が最短となる位置をテキストボックスの位置に特定する。コメント領域算出部３４は、特定したテキストボックスの左上及び右下の点の座標値を算出し、算出した座標値及びコメント判定部３７から取得した文字列をコメントサイズ変更部３５へ送出する。

算出したテキストボックスがコメント配置領域内に収まらないと判断した場合、コメント領域算出部３４は、テキストボックスのサイズをコメント配置領域のサイズとする。従って、コメント領域算出部３４は、コメント配置領域をテキストボックスの領域とし、テキストボックスの左上及び右下の点の座標値を算出し、算出した座標値及びコメント判定部３７から取得した文字列をコメントサイズ変更部３５へ送出する。

コメントサイズ変更部３５は、コメント領域算出部３４から取得した座標値に基づくテキストボックス内に、コメント領域算出部３４から取得した文字列を所定のフォントサイズで表示できるか否かを判断する。テキストボックス内に文字列を表示できると判断した場合、コメントサイズ変更部３５は、コメント領域算出部３４から取得した座標値及び文字列、所定のフォントサイズをテキスト領域生成部３８へ送出する。

一方、テキストボックス内に文字列を表示できないと判断した場合、コメントサイズ変更部３５は、テキストボックス内に表示できるフォントサイズを算出する。コメントサイズ変更部３５は、コメント領域算出部３４から取得した座標値及び文字列、算出したフォントサイズをテキスト領域生成部３８へ送出する。

テキスト領域生成部３８は、コメントサイズ変更部３５から取得した座標値に基づいてテキストボックスを生成し、生成したテキストボックスに、コメントサイズ変更部３５から取得した文字列及びフォントサイズで文字を表示する。テキスト領域生成部３８は、文字が表示されたテキストボックスを示す情報を表示処理部４へ送出する。

表示処理部４のコメント表示部４４は、テキスト領域生成部３８から取得した情報に基づいて、表示部１４に表示された画像上に、所定のフォントの文字が表示されたテキストボックスを表示させる。本実施形態６のふきだし表示部４５は、コメント表示部４４が表示させたテキストボックスのサイズに対応したふきだし記号を算出し、テキストボックスを囲むふきだし記号を表示させる。

これにより、本実施形態６では、対象物領域内から手書き入力が開始された場合であっても、文字又は文字列ではない描画が行なわれた場合には、コメント処理を行なわず、単なる描画としての処理を行なう。また、本実施形態６では、手書き入力された筆跡が文字又は文字列である場合には、テキストデータに変換して表示させるので、手書き入力での筆跡を表示させたくない場合に有効である。

なお、本実施形態６のコメント領域算出部３４、コメントサイズ変更部３５及びテキスト領域生成部３８以外の各部は、上述の実施形態５で説明した処理と同一の処理を行なう。

本実施形態６のＰＣ１００において、ユーザが画像に対する編集処理を開始するための所定の操作を行なった場合に、制御部１０が行なう処理は、上述の実施形態１において図７で説明した処理と同一であるので説明を省略する。

また、本実施形態６のＰＣ１００において、画像及び対象物領域を囲む枠が表示された画像に対してユーザが手書き入力を開始した場合に、制御部１０が行なう処理は、上述の実施形態１において図８及び図９で説明した処理と同一であるので説明を省略する。

次に、本実施形態６のＰＣ１００による処理におけるコメント処理についてフローチャートに基づいて説明する。図２４及び図２５は実施形態６のコメント処理の手順を示すフローチャートである。以下の処理は、ＰＣ１００のＲＯＭ１１又は記憶部１３に格納されている制御プログラムに従って制御部１０によって実行される。

本実施形態６のＰＣ１００において、図２４中のステップＳ１６１からＳ１６５までの処理は、上述の実施形態５で説明した図２２中のステップＳ１４１からＳ１４５までの処理と同一であるので説明を省略する。

制御部１０は、文字列認識を実行することによって算出した信頼度が所定値以上であると判断した場合（Ｓ１６５：ＹＥＳ）、文字列認識の結果、コメント相当筆跡に最も近似していると特定した文字列の文字数を算出する（Ｓ１６６）。制御部１０は、算出した文字数に基づいて、この文字列を所定のフォントサイズで表示させるためのテキストボックスのサイズを算出する（Ｓ１６７）。

制御部１０は、ステップＳ１６７でサイズを算出したテキストボックスが、ステップＳ１６２で読み出したコメント配置領域情報が示すコメント配置領域内に配置可能であるか否かを判断する（Ｓ１６８）。テキストボックスがコメント配置領域内に配置可能であると判断した場合（Ｓ１６８：ＹＥＳ）、制御部１０は、コメント配置領域内におけるテキストボックスの位置を特定する（Ｓ１６９）。

一方、テキストボックスがコメント配置領域内に配置可能でないと判断した場合（Ｓ１６８：ＮＯ）、制御部１０は、コメント配置領域をテキストボックスの領域とし、テキストボックス内に、文字列認識の結果得られた文字列を表示可能なフォントサイズを算出する（Ｓ１７０）。

制御部１０は、図８中のステップＳ２４で表示させた筆跡の表示を終了する（Ｓ１７１）。制御部１０は、ステップＳ１６９で特定した位置のテキストボックス、又は、コメント配置領域であるテキストボックスを生成し、生成したテキストボックス内に、所定のフォントサイズ又はステップＳ１７０で算出したフォントサイズで文字列を表示する（Ｓ１７２）。

制御部１０は、ステップＳ１７２で表示されたテキストボックスに対応したふきだし記号を表示する（Ｓ１７３）。制御部１０は、上述したコメント処理を終了し、図８に示した処理に戻る。

上述したように、本実施形態６のＰＣ１００では、表示部１４に表示された画像の所望の箇所から手書き入力を開始することで、所望の対象物（人物）に対するコメント入力であるのか、所望の位置へのお絵描き操作なのかを指定できる。また、対象物領域内から手書き入力が開始され、文字又は文字列が入力された場合に、入力された筆跡がテキストデータに変換して表示される。よって、手書き入力で乱雑な文字列を書いた場合であっても、所定のフォントでのコメント表示が行なえる。

本実施形態６は、上述した実施形態５の変形例として説明したが、上述した実施形態２〜４の構成にも適用することができる。

（実施形態７）
以下に、実施形態７に係るＰＣについて説明する。なお、本実施形態７のＰＣは、上述した実施形態１のＰＣ１００と同様の構成によって実現することができるので、同様の構成については同一の符号を付して説明を省略する。

上述した実施形態１〜６のＰＣ１００は、表示部１４に表示された画像に対して手書き入力によって所望の箇所に描画し、又は所望の対象物に対してコメントを付加していた。本実施形態７のＰＣ１００は、上述した構成に更に、対象物に対して既に付加されているコメントを変更する機能を備える。

図２６は実施形態７の検出領域テーブル１３ａの格納内容を示す模式図である。図２６に示すように、本実施形態７の検出領域テーブル（筆跡記憶手段）１３ａには、対象物領域ＩＤ、対象物領域情報、コメント配置領域ＩＤ及びコメント配置領域情報のほかに、コメント領域情報、表示筆跡情報及び入力筆跡情報が格納されている。コメント領域情報は、各対象物（対象物領域）に対してふきだし記号を付加して表示されたコメント領域を示す情報であり、各コメント領域の左上の点及び右下の点を、所定の基準位置を基準とした座標値で表している。

なお、基準位置（０，０）は、例えば、表示部１４が表示可能な領域の左上の点であり、各コメント領域の左上の点及び右下の点の座標値（ｘ，ｙ）は、基準位置（０，０）から右方向をｘ座標軸とし、下方向をｙ座標軸として表される。表示筆跡情報は、手書き入力された筆跡に対して制御部１０がコメント処理を行ない、各コメント領域に表示された筆跡を示す筆跡情報である。入力筆跡情報は、手書き入力された筆跡を示す筆跡情報である。なお、筆跡情報は、各筆跡を示す各点の座標値を、所定の基準位置（０，０）を基準とした座標値（ｘ，ｙ）で表す。

検出領域テーブル１３ａに格納されるコメント領域情報、表示筆跡情報及び入力筆跡情報は、手書き入力された筆跡に対して制御部１０がコメント処理を行ない、表示部１４に表示させる都度、制御部１０によって格納される。

以下に、本実施形態７のＰＣ１００が実現する各機能について説明する。本実施形態７のＰＣ１００の制御部１０は、ＲＯＭ１１又は記憶部１３に格納してある制御プログラムを実行することによって、図３及び図４に示した各機能を実現する。図２７は実施形態７のＰＣ１００が行なう処理を説明するための模式図である。

本実施形態７の入力状態判定部６は、手書き入力受付部５から入力された一画目の筆跡の開始位置の座標値が、検出領域テーブル１３ａに格納された対象物領域情報が示す対象物領域又はコメント領域情報が示すコメント領域のいずれかに含まれるか否かを判定する。一画目の筆跡の開始位置がいずれの対象物領域内及びコメント領域内にも含まれないと判定した場合、入力状態判定部６は、開始された手書き入力が通常入力であると判定し、何も処理を行なわない。

一画目の筆跡の開始位置がいずれかの対象物領域に含まれると判定した場合、入力状態判定部６は、いずれの対象物領域内にあるかを特定する。そして、入力状態判定部６は、特定した対象物領域の対象物領域ＩＤに対応するコメント領域情報が検出領域テーブル１３ａに格納されているか否かを判断する。対応するコメント領域情報が検出領域テーブル１３ａに格納されていると判断した場合、即ち、特定した対象物領域に対してコメント情報が既に付与されている場合、入力状態判定部６は、何も処理を行なわない。

一方、対応するコメント領域情報が検出領域テーブル１３ａに格納されていないと判断した場合、即ち、特定した対象物領域に対してコメント情報がまだ付与されていない場合、入力状態判定部６は、開始された手書き入力が、特定した対象物領域に対するコメント入力であると判定する。このとき、入力状態判定部６は、上述の実施形態１で説明した処理と同様の処理を行なう。

更に、一画目の筆跡の開始位置がいずれかのコメント領域に含まれると判定した場合、入力状態判定部６は、一画目の筆跡が所定の長さ以上であるか否かを判断する。一画目の筆跡が所定の長さ以上であると判断した場合、入力状態判定部６は、開始された手書き入力が通常入力であると判定し、何も処理を行なわない。

コメント領域内から開始された一画目の筆跡が所定の長さ未満であると判断した場合、入力状態判定部６は、開始された手書き入力が、一画目の筆跡の開始位置を含むコメント領域に表示されているコメント情報の編集（変更）指示であると判定する。このとき、入力状態判定部６は、一画目の筆跡の開始位置がいずれのコメント領域内にあるかを特定し、コメント入力状態にセットする。

図２７（ａ）は、対象物領域Ｏ２に対して「もう少しだ がんばれ！」のコメント情報が付与されている画像を示す。図２７（ｂ）は、図２７（ａ）に示す画像に対して、対象物領域Ｏ２に対するコメント領域内から一画目の筆跡ｈ３が手書き入力された状態を示す。本実施形態７のＰＣ１００は、図２７（ｂ）に示すように、コメント領域内から所定の長さ未満の筆跡が入力された場合、このコメント領域に表示されているコメント情報（筆跡情報）の変更が可能である。

入力状態判定部６は、一画目の筆跡の開始位置を含むコメント領域を特定した場合、特定したコメント領域に対応するコメント配置領域ＩＤを検出領域テーブル１３ａから読み出す。入力状態判定部６は、読み出したコメント配置領域ＩＤを編集対象バッファに格納する。なお、入力状態判定部６は、例えばＲＡＭ１２の所定領域を編集対象として使用する。

本実施形態７の入力状態判定部６は、コメント情報の変更指示であると判定した場合、検出領域テーブル１３ａから読み出したコメント配置領域ＩＤを編集対象バッファに格納した後、その旨をコメント処理部３に通知する。

コメント配置領域ＩＤの編集対象バッファへの格納を通知された場合、コメント処理部３の対象物特定部３１は、編集対象バッファに格納されたコメント配置領域ＩＤを読み出す。対象物特定部３１は、読み出したコメント配置領域ＩＤに対応して検出領域テーブル１３ａに格納してある入力筆跡情報を読み出して表示処理部４に通知する。

対象物特定部３１から入力筆跡情報を取得した表示処理部４では、筆跡表示部（入力筆跡表示手段）４３が、取得した入力筆跡情報が示す筆跡（コメント相当筆跡）を、表示部１４に表示された画像上に表示させる。なお、筆跡表示部４３がコメント相当筆跡を表示部１４に表示させた場合、コメント表示部４４は、コメント領域に表示していたコメント情報（サイズ変更後のコメント相当筆跡）の表示を終了する。また、筆跡表示部４３がコメント相当筆跡を表示部１４に表示させた場合、ふきだし表示部４５は、コメント領域を囲むふきだし記号の表示を終了する。

図２７（ｃ）は、コメント領域に表示されていたコメント情報及びふきだし記号の表示が終了し、以前にユーザによって手書き入力されたコメント相当筆跡が、以前にユーザによって手書き入力された状態で表示されている画像を示す。図２７（ｃ）に示すように、以前に手書き入力によって入力されたコメント情報（コメント相当筆跡）が表示された場合、表示されたコメント情報の編集が可能となる。

なお、コメント情報（コメント相当筆跡）に対する編集処理については詳述しないが、ユーザが所定の操作を行なうことによって、表示部１４に表示中のコメント情報の一部又は全部の消去等が可能となる。これにより、本実施形態７では、画像中の対象物領域に対して既に付与されたコメント情報に対して変更処理が可能となる。

なお、本実施形態７の入力状態判定部６、対象物特定部３１及び筆跡表示部４３以外の各部は、上述の実施形態１で説明した処理と同一の処理を行なう。

本実施形態７のＰＣ１００において、ユーザが画像に対する編集処理を開始するための所定の操作を行なった場合に、制御部１０が行なう処理は、上述の実施形態１において図７で説明した処理と同一であるので説明を省略する。

次に、本実施形態７のＰＣ１００において、画像及び対象物領域を囲む枠が表示された画像に対してユーザが手書き入力を開始した場合に、制御部１０が行なう処理についてフローチャートに基づいて説明する。図２８及び図２９は実施形態７のＰＣ１００が行なう処理の手順を示すフローチャートである。以下の処理は、ＰＣ１００のＲＯＭ１１又は記憶部１３に格納されている制御プログラムに従って制御部１０によって実行される。

本実施形態７のＰＣ１００において、図２８中のステップＳ１８１からＳ１８６までの処理は、上述の実施形態１で説明した図８及び図９中のステップＳ２１からＳ２６までの処理と同一であるので説明を省略する。

制御部１０は、コメント入力状態がセットされていると判断した場合（Ｓ１８６：ＹＥＳ）、ステップＳ１９３へ処理を移行する。コメント入力状態がセットされていないと判断した場合（Ｓ１８６：ＮＯ）、制御部１０は、入力された一画目の筆跡の開始位置が、検出領域テーブル１３ａに格納されたコメント領域情報が示すコメント領域のいずれかに含まれるか否かを判定する（Ｓ１８７）。

入力された一画目の筆跡の開始位置がいずれのコメント領域にも含まれないと判定した場合（Ｓ１８７：ＮＯ）、制御部１０は、入力された一画目の筆跡の開始位置が、検出領域テーブル１３ａに格納された対象物領域情報が示す対象物領域のいずれかに含まれるか否かを判定する（Ｓ１８８）。一画目の開始位置がいずれかの対象物領域内にあると判断した場合（Ｓ１８８：ＹＥＳ）、制御部１０は、いずれの対象物領域内にあるかを特定し、特定した対象物領域に対応するコメント領域情報が検出領域テーブル１３ａに格納されているか否かを判断する（Ｓ１８９）。

一画目の筆跡の開始位置がいずれの対象物領域にも含まれないと判定した場合（Ｓ１８８：ＮＯ）、又は、一画目の筆跡の開始位置を含む対象物領域に対応するコメント領域情報があると判断した場合（Ｓ１８９：ＹＥＳ）、制御部１０は、ステップＳ１８２に処理を戻す。なお、制御部１０が、一画目の筆跡の開始位置を含む対象物領域に対応するコメント領域情報がないと判断した場合に（Ｓ１８９：ＮＯ）行なうステップＳ１９０〜Ｓ１９４の処理は、上述の実施形態１で説明した図９中のステップＳ２８からＳ３２までの処理と同一であるので説明を省略する。

ステップＳ１８７で、入力された一画目の筆跡の開始位置がいずれかのコメント領域に含まれると判定した場合（Ｓ１８７：ＹＥＳ）、制御部１０は、前記一画目の筆跡の長さが所定値以上であるか否かを判断する（Ｓ１９５）。前記一画目の筆跡の長さが所定値以上であると判断した場合（Ｓ１９５：ＹＥＳ）、制御部１０は、ステップＳ１８２に処理を移行する。

前記一画目の筆跡の長さが所定値未満であると判断した場合（Ｓ１９５：ＮＯ）、制御部１０は、開始された手書き入力が、一画目の筆跡の開始位置を含むコメント領域に表示されているコメント情報の編集指示であると判定する。制御部１０は、コメント入力状態にセットする（Ｓ１９６）。

制御部１０は、一画目の筆跡の開始位置がいずれのコメント領域内にあるかを特定し、特定したコメント領域に対応するコメント配置領域ＩＤを検出領域テーブル１３ａから読み出す（Ｓ１９７）。制御部１０は、読み出したコメント配置領域ＩＤを編集対象バッファに格納する（Ｓ１９８）。制御部１０は、コメント呼出処理を実行し（Ｓ１９９）、コメント呼出処理の実行後、ステップＳ１８２へ処理を戻す。なお、コメント呼出処理の詳細については後述する。

ステップＳ１８２で、ユーザの手書き入力による次の一画分の筆跡の入力がないと判断した場合（Ｓ１８２：ＮＯ）、制御部１０は、この時点でコメント入力状態がセットされているか否かを判断する（Ｓ２００）。制御部１０は、コメント入力状態がセットされていると判断した場合（Ｓ２００：ＹＥＳ）、ステップＳ１９３で開始した計時処理の結果に基づいて、所定時間が経過したか否かを判断する（Ｓ２０１）。

コメント入力状態がセットされていないと判断した場合（Ｓ２００：ＮＯ）、又は、所定時間が経過していないと判断した場合（Ｓ２０１：ＮＯ）、制御部１０はステップＳ１８２へ処理を戻す。所定時間が経過したと判断した場合（Ｓ２０１：ＹＥＳ）、制御部１０は、ユーザがコメント入力を終了したと判断し、コメント処理を実行し（Ｓ２０２）、コメント処理の実行後、ステップＳ１８１へ処理を戻す。なお、本実施形態７のコメント処理の詳細については後述する。

次に、本実施形態７のＰＣ１００による処理におけるコメント処理（図２８中のステップＳ２０２の処理）についてフローチャートに基づいて説明する。図３０は実施形態７のコメント処理の手順を示すフローチャートである。以下の処理は、ＰＣ１００のＲＯＭ１１又は記憶部１３に格納されている制御プログラムに従って制御部１０によって実行される。

本実施形態７のＰＣ１００において、図３０中のステップＳ２１１からＳ２２１までの処理は、上述の実施形態１で説明した図１０中のステップＳ４１からＳ５１までの処理と同一であるので説明を省略する。

制御部１０は、ステップＳ２１１からＳ２２１の処理によって生成した情報を検出領域テーブル１３ａに格納する（Ｓ２２２）。具体的には、制御部１０は、ステップＳ２１７で特定した位置のコメント領域を示すコメント領域情報を検出領域テーブル１３ａに格納する。また、制御部１０は、ステップＳ２１８でサイズ変更されたコメント相当筆跡を表示筆跡情報として、ステップＳ２１３で読み出したコメント相当筆跡を入力筆跡情報として検出領域テーブル１３ａに格納する。制御部１０は、上述したコメント処理を終了し、図２８に示した処理に戻る。

次に、本実施形態７のＰＣ１００による処理におけるコメント呼出処理（図２９中のステップＳ１９９の処理）についてフローチャートに基づいて説明する。図３１は実施形態７のコメント呼出処理の手順を示すフローチャートである。以下の処理は、ＰＣ１００のＲＯＭ１１又は記憶部１３に格納されている制御プログラムに従って制御部１０によって実行される。

制御部１０は、編集対象バッファに格納されたコメント配置領域ＩＤを読み出す（Ｓ２３１）。制御部１０は、読み出したコメント配置領域ＩＤに対応する入力筆跡情報を検出領域テーブル１３ａから読み出す（Ｓ２３２）。制御部１０は、図２８中のステップＳ１８４で表示させた筆跡の表示を終了する（Ｓ２３３）。制御部１０は、読み出したコメント配置領域ＩＤに対応する表示筆跡情報を検出領域テーブル１３ａから読み出し、表示筆跡情報に基づく筆跡、即ち、コメント領域に表示していたコメント情報（サイズ変更後のコメント相当筆跡）の表示を終了する（Ｓ２３４）。

また制御部１０は、ステップＳ２３４で表示を終了したコメント情報を囲むふきだし記号の表示を終了する（Ｓ２３５）。制御部１０は、ステップＳ２３２で読み出した入力筆跡情報に基づいて、ユーザによる手書き入力時の入力筆跡（コメント相当筆跡）を、表示部１４に表示された画像上に表示する（Ｓ２３６）。制御部１０は、上述したコメント呼出処理を終了し、図２９に示した処理に戻る。

このように、以前に手書き入力されたコメント情報（コメント相当筆跡）が、手書き入力された時点でのサイズ及び入力位置に表示された場合、表示されたコメント情報の編集が可能となる。

上述したように、本実施形態７のＰＣ１００では、表示部１４に表示された画像の所望の箇所から手書き入力を開始することで、所望の対象物（人物）に対するコメント入力であるのか、所望の位置へのお絵描き操作なのかを指定できる。また、本実施形態７のＰＣ１００では、表示部１４に表示された画像の所望の箇所から手書き入力を開始することで、既に所望の対象物に対して付与されたコメントの編集指示であるのかも指定できる。よって、本実施形態７では、画像中の各対象物に対して任意のコメント情報を付与できるだけでなく、既に付与されたコメント情報の編集も可能となる。

本実施形態７のＰＣ１００は、画像中のコメント領域から手書き入力が開始された場合に、このコメント領域に表示されているコメント情報の変更指示があったと判断する。しかし、このような構成のほかに、例えば、変更したいコメント情報を含むコメント領域に対して複数の点を入力する等、所定の入力操作を行なうようにしてもよい。

本実施形態７は、上述した実施形態１の変形例として説明したが、上述した実施形態２〜６の構成にも適用することができる。

（実施形態８）
以下に、実施形態８に係るＰＣについて説明する。図３２は実施形態８のＰＣの構成例を示すブロック図である。本実施形態８のＰＣ１００は、図１に示したハードウェア各部のほかにカメラ部（撮像手段）１７を備える。カメラ部１７は、例えば、ＣＣＤ（Charge Couple Device）等を備える撮像部、撮像部により取得したアナログの画像フレームをデジタルの画像フレームに変換するＡ／Ｄ（アナログ／デジタル）変換器等を備える。カメラ部１７は、静止画像データ又は１秒当たり３０枚のデジタルの画像フレームを有する動画像データ等を取得し、ＲＡＭ１２又は記憶部１３に格納する。

これにより、本実施形態８のＰＣ１００では、自身のカメラ部１７で撮像して得られた画像データに対して、上述した各実施形態で説明した処理と同様の処理を行なうことができる。

（実施形態９）
以下に、実施形態９に係るＰＣについて説明する。図３３は実施形態９のＰＣの構成例を示すブロック図である。本実施形態９のＰＣ１００は、図１に示したハードウェア各部のほかに、外部記憶装置１８を備える。外部記憶装置１８は、例えば、ＣＤ−ＲＯＭドライバ又はＤＶＤドライバ等であり、ＣＤ−ＲＯＭ又はＤＶＤ−ＲＯＭ等である記録媒体１８ａから、記録媒体１８ａに格納されたデータを読み出す。

記録媒体１８ａは、上述の各実施形態で説明したＰＣ１００として動作するために必要な制御プログラムを記録している。外部記憶装置１８は、記録媒体１８ａから制御プログラムを読み出して記憶部１３に格納させる。制御部１０は、記憶部１３に格納された制御プログラムをＲＡＭ１２に読み出して順次実行し、これにより、本実施形態９のＰＣ１００は、上述の各実施形態で説明したＰＣ１００と同様の動作を行なう。

記録媒体１８ａとしては、ＣＤ−ＲＯＭ又はＤＶＤ−ＲＯＭのほかに、フレキシブルディスク、メモリカード、ＵＳＢ（Universal Serial Bus）メモリ等、各種の記録媒体を用いることができる。

なお、ＰＣ１００は、インターネット又はＬＡＮ（Local Area Network）等のネットワークに接続するための通信部を有してもよい。この場合、ＰＣ１００は、上述の各実施形態で説明したＰＣ１００として動作するために必要な制御プログラムを、ネットワークを介してダウンロードして記憶部１３に格納させればよい。

上述した各実施形態では、画像中の所定の対象物の領域を検出した場合に、検出した対象物領域に対応してコメント配置領域を検出し、検出した各情報を検出領域テーブル１３ａに格納していた。このような構成のほかに、例えば、画像データを読み込んだ時点では対象物領域のみを検出しておき、ユーザによっていずれかの対象物領域から手書き入力が開始された場合に、対象物領域に対応するコメント配置領域の検出処理を開始してもよい。この場合、ユーザが手書き入力を行なった順に各対象物領域に対するコメント判定領域が検出されるので、先にコメント入力された対象物に対するコメントを優先的に広い領域に表示させることが可能となる。

Claims (15)

1. 画像を表示部に表示させる画像表示手段と、前記表示部に表示された画像に対して入力される筆跡を受け付ける筆跡受付手段と、該筆跡受付手段が受け付けた筆跡を、前記表示部に表示された画像上に表示させる筆跡表示手段とを備える画像表示装置において、
   前記画像に含まれる１又は複数の所定の対象物のそれぞれを含む対象物領域を検出する検出手段と、
   該検出手段が検出した対象物領域を示す情報を、前記表示部に表示された画像上に表示させる対象物領域表示手段と、
   前記筆跡受付手段が受け付けた筆跡及び前記検出手段が検出した対象物領域に基づいて、前記筆跡が、前記検出手段が検出した対象物領域のいずれかに対する筆跡であるか否かを判定する判定手段と、
   該判定手段が前記対象物領域のいずれかに対する筆跡であると判定した場合、前記筆跡がいずれの対象物領域に対する筆跡であるかを特定する対象物特定手段と、
   該対象物特定手段が特定した対象物領域に対する前記筆跡を配置させるための配置領域を特定する配置領域特定手段と、
   該配置領域特定手段が特定した配置領域に前記筆跡受付手段が受け付けた筆跡を表示させるために前記筆跡に対して行なう変倍処理における変倍率を算出する算出手段と、
   該算出手段が算出した変倍率による変倍処理を前記筆跡に行なう変倍手段と、
   前記配置領域特定手段が特定した配置領域から、前記変倍手段による変倍処理後の筆跡を表示させるための表示領域を抽出する表示領域抽出手段と、
   該表示領域抽出手段が抽出した表示領域に、前記変倍手段による変倍処理後の筆跡を表示させる変倍後筆跡表示手段と
   を備える画像表示装置。
2. 前記検出手段が検出した対象物領域に対する筆跡を配置させるための配置領域を検出する配置領域検出手段と、
   該配置領域検出手段が検出した配置領域を、前記検出手段が検出した対象物領域に対応付けて記憶する記憶手段とを備え、
   前記配置領域特定手段は、前記対象物特定手段が対象物領域を特定した場合に、特定した対象物領域に対する配置領域を、前記記憶手段に記憶してある配置領域から選択する請求項１に記載の画像表示装置。
3. 前記変倍後筆跡表示手段が表示させた筆跡と、前記対象物特定手段が特定した対象物領域とを対応付ける記号を前記表示部に表示された画像上に表示させる対応付け表示手段を備える請求項１又は２に記載の画像表示装置。
4. 前記検出手段は、前記画像に含まれる顔を含む領域を検出する請求項１から３までのいずれかひとつに記載の画像表示装置。
5. 前記判定手段は、前記筆跡受付手段が受け付けた一画目の筆跡の開始位置が、前記検出手段が検出したいずれかの対象物領域内にあるか否かに基づいて、前記筆跡が、前記検出手段が検出した対象物領域のいずれかに対する筆跡であるか否かを判定し、
   前記対象物特定手段は、前記判定手段によって前記一画目の筆跡の開始位置があると判定された対象物領域に対する筆跡であると特定する請求項１から４までのいずれかひとつに記載の画像表示装置。
6. 前記検出手段が検出したそれぞれの対象物領域内の所定範囲を判定領域とし、該判定領域を示す情報を表示させる判定領域表示手段を備え、
   前記判定手段は、前記筆跡受付手段が受け付けた一画目の筆跡の開始位置が、前記判定領域内にあるか否かに基づいて、前記筆跡が、前記検出手段が検出した対象物領域のいずれかに対する筆跡であるか否かを判定する請求項５に記載の画像表示装置。
7. 前記判定手段が前記対象物領域のいずれかに対する筆跡であると判定した場合、前記筆跡受付手段が受け付けた一画目の筆跡が所定の長さ以上であるか否かを判断する判断手段と、
   該判断手段によって前記一画目の筆跡が所定の長さ以上であると判断された場合、前記一画目の筆跡の終了位置に所定の判定領域を示す情報を表示させる所定領域表示手段と、
   該所定領域表示手段が所定の判定領域を示す情報を表示させた場合、前記筆跡受付手段が前記所定の判定領域内から入力が開始された筆跡を受け付けたか否かを監視する監視手段とを備え、
   前記筆跡受付手段は、前記所定の判定領域内から入力が開始された筆跡を受け付けた場合、前記所定の判定領域内から入力が開始された筆跡を、前記対象物特定手段が特定した対象物領域に対する筆跡として受け付ける請求項１から６までのいずれかひとつに記載の画像表示装置。
8. 前記監視手段は、前記所定領域表示手段が所定の判定領域を示す情報を表示させてから所定時間内に前記筆跡受付手段が前記所定の判定領域内から入力が開始された筆跡を受け付けたか否かを監視し、
   前記所定領域表示手段は、前記所定の判定領域を示す情報を表示させてから所定時間内に前記筆跡受付手段が前記所定の判定領域内から入力が開始された筆跡を受け付けなかった場合に、前記所定の判定領域を示す情報の表示を終了する請求項７に記載の画像表示装置。
9. 前記判定手段は、前記筆跡受付手段が受け付けた筆跡が対象物領域のいずれかに対する筆跡であると判定した後、前記筆跡受付手段が所定時間筆跡を受け付けなかった場合に、前記筆跡の入力が終了されたと判定し、
   前記算出手段は、前記判定手段によって前記筆跡の入力が終了されたと判定された場合に、前記変倍率を算出する請求項１から８までのいずれかひとつに記載の画像表示装置。
10. 前記筆跡受付手段が受け付けた筆跡に対して文字列認識を行なう文字列認識手段と、
    該文字列認識手段による文字列認識の結果に基づいて、前記筆跡が文字列であるか否かを判定する文字列判定手段とを備え、
    前記算出手段は、前記文字列判定手段が文字列であると判定した場合に、前記変倍率を算出する請求項１から９までのいずれかひとつに記載の画像表示装置。
11. 前記筆跡受付手段が受け付けた筆跡に対して文字列認識を行なう文字列認識手段と、
    該文字列認識手段による文字列認識の結果に基づいて、前記筆跡が文字列であるか否かを判定する文字列判定手段とを備え、
    前記表示領域抽出手段は、前記文字列判定手段が文字列であると判定した場合に、前記配置領域特定手段が特定した配置領域から、前記文字列認識手段が認識した文字列を表示させる表示領域を抽出し、
    前記変倍後筆跡表示手段は、前記文字列判定手段が文字列であると判定した場合に、前記文字列認識手段が認識した文字列を所定のフォント情報を用いて、前記表示領域抽出手段が抽出した表示領域に表示させる請求項１から９までのいずれかひとつに記載の画像表示装置。
12. 前記変倍処理後の筆跡に対応付けて、前記筆跡受付手段が受け付けた筆跡及び前記配置領域特定手段が特定した配置領域を示す情報を対応付けて記憶する筆跡記憶手段と、
    該筆跡記憶手段に記憶してある変倍処理後の筆跡に対して所定の操作があったか否かを判断する操作判断手段と、
    該操作判断手段が所定の操作があったと判断した場合、前記変倍処理後の筆跡に対応付けて前記筆跡記憶手段に記憶してある前記筆跡受付手段が受け付けた筆跡を、前記表示部に表示された画像上に表示させる入力筆跡表示手段と、
    該入力筆跡表示手段が表示させた筆跡に対する変更を受け付ける変更受付手段とを備え、
    前記筆跡受付手段は、前記入力筆跡表示手段が表示させた筆跡に対して前記変更受付手段が受け付けた変更後の筆跡を受け付け、
    前記算出手段は、前記筆跡受付手段が受け付けた変更後の筆跡を、前記操作判断手段が所定の操作があったと判断した変倍処理後の筆跡に対応付けて前記筆跡記憶手段に記憶してある配置領域に表示させるために前記変更後の筆跡に対して行なう変倍処理における変倍率を算出し、
    前記変倍手段は、前記算出手段が算出した変倍率による変倍処理を前記変更後の筆跡に行ない、
    前記表示領域抽出手段は、前記筆跡記憶手段に記憶してある配置領域から、前記変倍手段による変倍処理後の筆跡を表示させる表示領域を抽出する請求項１から１１までのいずれかひとつに記載の画像表示装置。
13. 画像を撮像する撮像手段を更に備える請求項１から１２までのいずれかひとつに記載の画像表示装置。
14. 画像を表示部に表示させ、表示させた画像に対して入力される筆跡を受け付け、受け付けた筆跡を前記表示部に表示させた画像上に表示させる画像表示方法において、
    前記画像に含まれる１又は複数の所定の対象物のそれぞれを含む対象物領域を検出するステップと、
    検出した対象物領域を示す情報を、前記表示部に表示された画像上に表示させるステップと、
    受け付けた筆跡及び検出した対象物領域に基づいて、前記筆跡が、検出した対象物領域のいずれかに対する筆跡であるか否かを判定するステップと、
    前記対象物領域のいずれかに対する筆跡であると判定した場合、前記筆跡がいずれの対象物領域に対する筆跡であるかを特定するステップと、
    特定した対象物領域に対する前記筆跡を配置させるための配置領域を特定するステップと、
    特定した配置領域に前記筆跡を表示させるために前記筆跡に対して行なう変倍処理における変倍率を算出するステップと、
    算出した変倍率による変倍処理を前記筆跡に行なうステップと、
    特定した配置領域から、変倍処理後の筆跡を表示させるための表示領域を抽出するステップと、
    抽出した表示領域に、前記変倍処理後の筆跡を表示させるステップと
    を含む画像表示方法。
15. コンピュータに、画像を表示部に表示させ、表示させた画像に対して入力される筆跡を受け付け、受け付けた筆跡を前記表示部に表示させた画像上に表示させるためのコンピュータプログラムにおいて、
    コンピュータに、
    前記画像に含まれる１又は複数の所定の対象物のそれぞれを含む対象物領域を検出するステップと、
    検出した対象物領域を示す情報を、前記表示部に表示された画像上に表示させるステップと、
    受け付けた筆跡及び検出した対象物領域に基づいて、前記筆跡が、検出した対象物領域のいずれかに対する筆跡であるか否かを判定するステップと、
    前記対象物領域のいずれかに対する筆跡であると判定した場合、前記筆跡がいずれの対象物領域に対する筆跡であるかを特定するステップと、
    特定した対象物領域に対する前記筆跡を配置させるための配置領域を特定するステップと、
    特定した配置領域に前記筆跡を表示させるために前記筆跡に対して行なう変倍処理における変倍率を算出するステップと、
    算出した変倍率による変倍処理を前記筆跡に行なうステップと、
    特定した配置領域から、変倍処理後の筆跡を表示させるための表示領域を抽出するステップと、
    抽出した表示領域に、前記変倍処理後の筆跡を表示させるステップと
    を実行させるためのコンピュータプログラム。
    

Images