JP5051305B2 - 画像表示装置、画像表示方法及びコンピュータプログラム - Google Patents
画像表示装置、画像表示方法及びコンピュータプログラム Download PDFInfo
- Publication number
- JP5051305B2 JP5051305B2 JP2010548320A JP2010548320A JP5051305B2 JP 5051305 B2 JP5051305 B2 JP 5051305B2 JP 2010548320 A JP2010548320 A JP 2010548320A JP 2010548320 A JP2010548320 A JP 2010548320A JP 5051305 B2 JP5051305 B2 JP 5051305B2
- Authority
- JP
- Japan
- Prior art keywords
- handwriting
- comment
- area
- unit
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 193
- 238000004590 computer program Methods 0.000 title claims description 10
- 238000012545 processing Methods 0.000 claims description 199
- 238000001514 detection method Methods 0.000 claims description 159
- 230000008569 process Effects 0.000 claims description 150
- 238000004364 calculation method Methods 0.000 claims description 38
- 230000008859 change Effects 0.000 description 37
- 238000010586 diagram Methods 0.000 description 35
- 230000006870 function Effects 0.000 description 27
- 238000000605 extraction Methods 0.000 description 10
- 238000003384 imaging method Methods 0.000 description 9
- 238000012986 modification Methods 0.000 description 7
- 230000004048 modification Effects 0.000 description 7
- 238000005259 measurement Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
Description
本発明は、画像を表示部に表示させると共に、表示された画像に対して入力される筆跡を受け付け、受け付けた筆跡を、表示された画像上に表示させる画像表示装置、画像表示方法及びコンピュータプログラムに関する。
近年、デジタルスチルカメラ及びデジタルビデオカメラ等の撮像装置が普及している。また、例えばパーソナルコンピュータを用いて、撮像装置で撮像した画像に対して各種の画像処理を行なうことも普及している。画像処理としては、画像自体に行なわれる各種の変換処理のほか、例えばユーザによって入力された線図又はコメント情報を画像上に付加する処理がある。コメント情報を画像上に付加する処理としては、例えば、画像から人物の顔の領域を検出し、検出した領域に重ならない位置に文字領域を設定し、設定された文字領域にコメント情報を付加する技術が提案されている(特許文献1〜3参照)。
特開2007−310487号公報
特開2007−004677号公報
特開2005−159850号公報
コメント情報を画像上に付加する場合、例えば、画像中のどの人物に対してコメント情報を付加するのかを指定するための操作、コメント情報を入力するための操作等が必要となる。また、装置によっては、コメント情報を画像上に付加するためのモード設定の操作が必要となる場合もある。従って、ユーザは所定の操作手順を熟知しておき、操作手順に従った操作を行なう必要があるので、操作性の向上が困難である。
本発明は斯かる事情に鑑みてなされたものであり、その目的とするところは、画像に対してコメント情報を付加する際にユーザが行なうべき操作が簡略化された画像表示装置、画像表示方法及びコンピュータプログラムを提供することにある。
本願に開示する画像表示装置は、画像を表示部に表示させ、表示された画像に対して入力される筆跡を受け付け、受け付けた筆跡を、表示された画像上に表示させる。本願に開示する画像表示装置は、前記画像に含まれる1又は複数の所定の対象物のそれぞれを含む対象物領域を検出し、検出した対象物領域を示す情報を、表示された画像上に表示させる。本願に開示する画像表示装置は、受け付けた筆跡及び検出した対象物領域に基づいて、前記筆跡が、前記対象物領域のいずれかに対する筆跡であるか否かを判定する。本願に開示する画像表示装置は、前記対象物領域のいずれかに対する筆跡であると判定した場合、前記筆跡がいずれの対象物領域に対する筆跡であるかを特定し、特定した対象物領域に対する前記筆跡を配置させるための配置領域を特定する。本願に開示する画像表示装置は、特定した配置領域に受け付けた筆跡を表示させるために前記筆跡に対して行なう変倍処理における変倍率を算出し、算出した変倍率による変倍処理を前記筆跡に行なう。本願に開示する画像表示装置は、特定した配置領域から、変倍処理後の筆跡を表示させるための表示領域を抽出し、抽出した表示領域に変倍処理後の筆跡を表示させる。
本願に開示する画像表示装置は、画像に含まれる所定の対象物を含む対象物領域を検出し、検出した対象物領域を示す情報を、表示された画像上に表示させることにより、画像中の対象物領域をユーザに通知する。本願に開示する画像表示装置は、ユーザが画像に対して手書き入力を行なった場合に、画像中のいずれかの対象物に付加すべきコメントの入力であるか否かを検知すると共に、画像中のいずれかの対象物に付加すべきコメントを取得する。また、本願に開示する画像表示装置は、ユーザが画像に対して手書き入力したコメントを表示させるべき適切な表示領域を特定する。更に、本願に開示する画像表示装置は、特定した表示領域に、入力されたコメントを適切なサイズに変倍処理した後に表示させる。
本願では、ユーザは、画像の適切な位置に手書き入力を行なうことによって、入力された情報が画像中のいずれの対象物に対するコメントであるかを指定できると共に、所望のコメントを入力できる。よって、ユーザは画像の適切な位置にコメントを手書き入力する操作以外の操作を行なうことなく、画像中の適切な領域にコメントを付加することができる。従って、画像に含まれる対象物に対してコメントを付加する際のユーザの操作を簡略化でき、操作性が向上する。また、本願では、ユーザが手書き入力を行なった位置に応じて、入力された情報が画像に付加すべきコメントの入力であるか否かを検知する。よって、画像中の対象物に対するコメントの入力だけでなく、画像に対する線図等の入力も同様の手書き入力操作で行なえる。
100 PC(画像表示装置)
10 制御部
13a 検出領域テーブル(記憶手段)
14 表示部
21 対象物検出部(検出手段)
22 コメント配置領域検出部(配置領域検出手段)
32 コメント配置領域特定部(配置領域特定手段)
34 コメント領域算出部(算出手段、表示領域抽出手段)
35 コメントサイズ変更部(変倍手段)
41 画像表示部(画像表示手段)
42 対象物領域表示部(対象物領域表示手段)
43 筆跡表示部(筆跡表示手段)
44 コメント表示部(変倍後筆跡表示手段)
45 ふきだし表示部(対応付け表示手段)
5 手書き入力受付部(筆跡受付手段)
6 入力状態判定部(判定手段、対象物特定手段)
10 制御部
13a 検出領域テーブル(記憶手段)
14 表示部
21 対象物検出部(検出手段)
22 コメント配置領域検出部(配置領域検出手段)
32 コメント配置領域特定部(配置領域特定手段)
34 コメント領域算出部(算出手段、表示領域抽出手段)
35 コメントサイズ変更部(変倍手段)
41 画像表示部(画像表示手段)
42 対象物領域表示部(対象物領域表示手段)
43 筆跡表示部(筆跡表示手段)
44 コメント表示部(変倍後筆跡表示手段)
45 ふきだし表示部(対応付け表示手段)
5 手書き入力受付部(筆跡受付手段)
6 入力状態判定部(判定手段、対象物特定手段)
以下に、本願に開示する画像表示装置、画像表示方法及びコンピュータプログラムを、各実施形態を示す図面に基づいて詳述する。以下では、本願に開示する画像表示装置をパーソナルコンピュータ(以下、PCという)に適用した各実施形態について説明する。なお、本願に開示する画像表示装置は、PCに限らず、例えば、画像を表示部に表示させる機能、タッチパネル又はペンタブレット等のように表示部に表示された画像を直感的に操作できる機能等を備えた装置に適用できる。具体的には、本願に開示する画像表示装置は、デジタルスチルカメラ、デジタルビデオカメラ、携帯電話機、PHS(Personal Handy-phone System)、PDA(Personal Digital Assistants)、携帯ゲーム機等に適用できる。
(実施形態1)
以下に、実施形態1に係るPCについて説明する。図1は実施形態1のPCの構成例を示すブロック図である。本実施形態1のPC100は、例えば、公知のタブレット型のパーソナルコンピュータである。本実施形態1のPC100は、本願に開示するコンピュータプログラムを読み取ってCPU(Central Processing Unit)等に実行させることによって、本願に開示する画像表示装置の動作を実現する。なお、汎用のPCではなく、専用の装置によって本願に開示する画像表示装置を実現してもよい。
以下に、実施形態1に係るPCについて説明する。図1は実施形態1のPCの構成例を示すブロック図である。本実施形態1のPC100は、例えば、公知のタブレット型のパーソナルコンピュータである。本実施形態1のPC100は、本願に開示するコンピュータプログラムを読み取ってCPU(Central Processing Unit)等に実行させることによって、本願に開示する画像表示装置の動作を実現する。なお、汎用のPCではなく、専用の装置によって本願に開示する画像表示装置を実現してもよい。
本実施形態1のPC100は、制御部10、ROM(Read Only Memory)11、RAM(Random Access Memory)12、記憶部13、表示部14、操作部15、各種処理部16等を備えている。これらのハードウェア各部はバス1aを介して相互に接続されている。本実施形態1のPC100は、本願に開示するコンピュータプログラムをROM11又は記憶部13に予め格納しており、制御部10がこのコンピュータプログラムを実行することによって本願に開示する画像表示装置としての動作を実現する。
制御部10は、CPU又はMPU(Micro Processor Unit)等であり、所定のタイミングに従って、ROM11又は記憶部13に予め格納してある制御プログラムを適宜RAM12に読み出して実行する。制御部10は、上述したハードウェア各部の動作を制御する。ROM11は、PC100として動作するために必要な種々の制御プログラムを予め格納している。RAM12はSRAM又はフラッシュメモリ等であり、制御部10による制御プログラムの実行時に発生する種々のデータを一時的に記憶する。
記憶部13は、例えばハードディスクドライブ又はフラッシュメモリ等である。記憶部13は、PC100として動作するために必要な種々の制御プログラムを予め格納している。また、記憶部13は、図2に示すような検出領域テーブル13aを格納する。検出領域テーブル13aの詳細については後述する。
また、記憶部13は、デジタルスチルカメラ、デジタルビデオカメラ、カメラ付き携帯電話機、カメラ付きゲーム機等の撮像装置によって撮像して得られた画像データを格納する。なお、画像データは、PC100が撮像機能を有する場合、PC100で撮像して得られた画像データでもよく、記録媒体に格納された画像データ、ネットワークを介して外部の装置から受信した画像データでもよい。
表示部14及び操作部15は、例えばタブレット又はデジタイザ等を成す。具体的には、表示部14は、例えば液晶ディスプレイであり、制御部10からの指示に従って、PC100の動作状態、操作部15を介して入力された情報、ユーザに対して通知すべき情報等を表示する。また、表示部14は、ユーザがPC100を操作するために必要な操作キーを表示する。
操作部15は、例えばスタイラスペン又はマウス等である。ユーザが表示部14に表示された操作キーを操作部15によって操作した場合、操作部15は操作された操作キーに対応した制御信号を制御部10へ送出する。そして、制御部10は操作部15から取得した制御信号に対応した処理を実行する。
各種処理部16は、制御部10からの指示に従って各種の処理を実行する。なお、各種の処理とは、PC100が実行可能な処理である。
図2は実施形態1の検出領域テーブル13aの格納内容を示す模式図である。図2に示すように、検出領域テーブル13aには、対象物領域ID、対象物領域情報、コメント配置領域ID、コメント配置領域情報等がそれぞれ格納されている。対象物領域IDは、画像中から検出された所定の対象物を含む対象物領域を識別するためのIDである。対象物領域情報は、各対象物領域を示す情報であり、例えば、各対象物領域の左上の点及び右下の点を、所定の基準位置(0,0)を基準とした座標値(x,y)で表している。
なお、基準位置(0,0)は、例えば、表示部14が表示可能な領域の左上の点であり、各対象物領域の左上の点及び右下の点の座標値(x,y)は、基準位置(0,0)から右方向をx座標軸とし、下方向をy座標軸として表される。なお、表示部14が表示可能な領域の右上の点、左下の点又は右下の点を基準位置(0,0)としてもよい。
コメント配置領域IDは、所定の対象物に対して画像中から検出されたコメント配置領域を識別するためのIDである。コメント配置領域情報は、所定の対象物(対象物領域)に対して画像中から検出されたコメント配置領域を示す情報であり、例えば、各コメント配置領域の左上の点及び右下の点を、所定の基準位置(0,0)を基準とした座標値(x,y)で表している。
検出領域テーブル13aに格納される対象物領域ID及び対象物領域情報は、制御部10が画像から対象物を検出する都度、制御部10によって格納される。また、検出領域テーブル13aに格納されるコメント配置領域ID及びコメント配置領域情報は、制御部10が画像からコメント配置領域を検出する都度、制御部10によって格納される。
以下に、本実施形態1のPC100において、制御部10がROM11又は記憶部13に格納されている制御プログラムを実行することによって実現する機能について説明する。図3及び図4は実施形態1のPC100の機能構成例を示す機能ブロック図、図5及び図6は実施形態1のPC100が行なう処理を説明するための模式図である。
本実施形態1のPC100において、制御部10は、ROM11又は記憶部13に格納してある制御プログラムを実行することによって、画像読出部1、画像処理部2、コメント処理部3、表示処理部4、手書き入力受付部5、入力状態判定部6等の機能を実現する。また、画像処理部2は、対象物検出部21及びコメント配置領域検出部22の機能を有する。コメント処理部3は、対象物特定部31、コメント配置領域特定部32、コメント相当筆跡抽出部33、コメント領域算出部34及びコメントサイズ変更部35の機能を有する。表示処理部4は、画像表示部41、対象物領域表示部42、筆跡表示部43、コメント表示部44及びふきだし表示部45の機能を有する。
PC100のユーザが、画像に対する編集処理を開始するための所定の操作を行なった場合、画像読出部1は、ユーザによって指定された画像データを記憶部13から読み出し、画像処理部2及び表示処理部4へ送出する。
画像読出部1から画像データを取得した表示処理部4では、画像表示部(画像表示手段)41が、取得した画像データに基づく画像を表示部14に表示させる。図5(a)は、画像表示部41によって表示部14に表示された画像の例を示す。
画像読出部1から画像データを取得した画像処理部2では、対象物検出部(検出手段)21が、取得した画像データ中に所定の対象物が撮影されているか否かを検出する。例えば、対象物検出部21は、画像データ中に人物の顔が撮影されているか否かを検出し、人物の顔が撮影されていることを検出した場合、顔を含む領域を検出する。なお、画像データ中の人物の顔を検出する方法としては、例えば、肌色領域を検出する方法、目、口、鼻、顔の輪郭等の顔の特徴を抽出する方法等、各種の方法を用いることができる。
対象物検出部21は、画像データ中に人物の顔が撮影されていることを検出した場合、検出した顔を含む矩形の領域を検出する。対象物検出部21は、検出した順に、検出した顔の領域(以下、対象物領域という)にO1,O2…の対象物領域IDを付与する。対象物検出部21は、付与した対象物領域IDに対応付けて、検出した対象物領域の左上の座標値及び右下の座標値を対象物領域情報として検出領域テーブル13aに格納する。
なお、本実施形態1の対象物検出部21は、画像データ中の顔の領域を検出するが、画像データから輪郭線が抽出でき、抽出された輪郭線によって所定の形状が特定できるものであれば、人物の顔に限らない。例えば、風景を撮影して得られた画像データ中の建物、室内を撮影して得られた画像データ中の各種の家具等が検出されてもよい。
対象物検出部21は、画像データ中の全ての対象物領域(顔の領域)を検出し、検出した対象物領域の対象物領域ID及び対象物領域情報を検出領域テーブル13aに格納する。対象物検出部21は、全ての対象物領域を検出した後、検出領域テーブル13aに格納した対象物領域情報を読み出して表示処理部4へ送出する。
対象物検出部21から対象物領域情報を取得した表示処理部4では、対象物領域表示部(対象物領域表示手段)42が、取得した対象物領域情報に基づいて、それぞれの対象物領域(顔の領域)を囲む枠を、表示部14に表示された画像上に表示させる。図5(b)は、対象物領域表示部42によって画像上に対象物領域を囲む枠が表示された例を示す。図5(b)では、各枠を識別するために、それぞれの対象物領域に付与された対象物領域IDを図示してあるが、表示部14には画像上に枠のみが表示される。
なお、対象物領域表示部42は、対象物検出部21が全ての対象物領域の検出を完了した後に、各対象物領域を囲む枠を表示してもよいし、対象物検出部21がそれぞれの対象物領域を検出する都度、各対象物領域を囲む枠を表示してもよい。また、図5(b)に示すように各対象物領域を枠で囲むことによって各対象物領域を明示できるが、各対象物領域を明示できれば各対象物領域を枠で囲む方法に限らない。
対象物検出部21は、画像データ中の全ての対象物領域を検出し、検出領域テーブル13aを生成した後、その旨をコメント配置領域検出部22に通知する。コメント配置領域検出部22は、検出領域テーブル13aが生成された旨を通知された場合、検出領域テーブル13aに対象物領域ID及び対象物領域情報を格納された各対象物領域に対して、コメント配置領域を検出する。
コメント配置領域検出部(配置領域検出手段)22は、検出領域テーブル13aに格納されている対象物領域ID及び対象物領域情報の各セットを順次読み出し、それぞれの対象物領域に対するコメント配置領域を検出する。コメント配置領域検出部22は、読み出した対象物領域情報に基づいて、この対象物領域に隣接し、他の対象物領域及び他のコメント配置領域と重ならない領域を、この対象物領域に対するコメント配置領域として検出する。
コメント配置領域検出部22は、それぞれの対象物領域に対するコメント配置領域を検出した場合、対象物領域IDに対応したコメント配置領域IDを付与する。具体的には、コメント配置領域検出部22は、対象物領域IDがO1の対象物領域に対するコメント配置領域にC1のコメント配置領域IDを付与する。コメント配置領域検出部22は、対象物領域ID及び対象物領域情報に対応付けて、付与したコメント配置領域IDと、検出したコメント配置領域の左上の座標値及び右下の座標値(コメント配置領域情報)とを検出領域テーブル(記憶手段)13aに格納する。
コメント配置領域検出部22は、1つの対象物領域に対して複数のコメント配置領域を検出した場合、所定の条件に従って1つのコメント配置領域を選択し、選択したコメント配置領域に関する情報のみを検出領域テーブル13aに格納する。所定の条件とは、例えば、面積が最大であること、対象物領域に対して右側(又は下側)に隣接すること等である。
コメント配置領域検出部22は、検出領域テーブル13aに格納してある対象物領域ID及び対象物領域情報が格納してある全ての対象物領域に対するコメント配置領域を検出する。そして、コメント配置領域検出部22は、検出したコメント配置領域のコメント配置領域ID及びコメント配置領域情報を検出領域テーブル13aに格納する。
図5(c)は、画像中の対象物領域O1,O2,O3,O4のそれぞれに対して検出されたコメント配置領域C1,C2,C3,C4の一例を示す。このように、各対象物領域O1,O2,O3,O4に対するコメント配置領域C1,C2,C3,C4を、対象物領域O1,O2,O3,O4及び他のコメント配置領域C1,C2,C3,C4と重ならないように設定する。
上述したように、画像及び対象物領域を囲む枠が表示されたPC100において、ユーザは、表示された画像に対して所定のルールに従って手書き入力を行なう。具体的には、例えば、ユーザは、手書き入力によって所望の対象物(ここでは画像中の人物)に対してコメント情報を付与したい場合、この対象物を囲む枠内から手書き入力を開始する。なお、所望の対象物に対してコメント情報を付与したい場合以外は、ユーザは、対象物を囲む枠外の任意の箇所から手書き入力を開始すればよい。
手書き入力受付部(筆跡受付手段)5は、表示部14に表示された画像に対してユーザが操作部15を用いて手書き入力した筆跡(筆跡情報)を受け付ける。具体的には、手書き入力受付部5は、表示部14に表示された画像に対して操作部15が接触を開始した位置から終了した位置までの軌跡(筆跡)を示す各点の座標値(筆跡情報)を取得する。なお、筆跡を示す各点の座標値は、所定の基準位置(0,0)を基準とした座標値(x,y)で表される。よって、ここでの筆跡は、複数の点の座標値によって一画が表される。なお、基準位置(0,0)は、例えば、表示部14が表示可能な領域の左上の点である。
手書き入力受付部5は、随時取得する座標値(筆跡情報)を入力状態判定部6及び表示処理部4へ送出する。なお、手書き入力受付部5は、一画の筆跡の受け付けが終了する都度、一画の筆跡の終了を示す情報を筆跡情報に割り込ませて入力状態判定部6及び表示処理部4へ送出する。これにより、入力状態判定部6及び表示処理部4は、取得する筆跡情報を一画毎に区分できる。
筆跡を示す各点の座標値を取得した表示処理部4では、筆跡表示部(筆跡表示手段)43が、表示部14に表示された画像上に、取得した点をプロットすると共に、同一の筆跡中の直前にプロットされた点との間に直線を表示させる。これにより、入力された筆跡が、表示された画像上に順次表示される。
入力状態判定部(判定手段)6は、手書き入力受付部5から座標値の入力が開始された場合、入力された座標値及び検出領域テーブル13aの格納内容に基づいて、開始された手書き入力がコメント入力であるか否かを判定する。具体的には、入力状態判定部6は、開始された手書き入力による筆跡が、対象物領域のいずれかに対する筆跡であるか否かを判定する。
ここで、本実施形態1のPC100では、ユーザが手書き入力を行なう際の入力状態として、通常入力状態とコメント入力状態とがある。コメント入力状態で手書き入力された情報は、対応する対象物(ここでは人物)の近傍のコメント配置領域に配置され、ふきだし記号を付与されて画像上に表示される。一方、通常入力状態で手書き入力された情報は、入力された位置及びサイズを変更せずに画像上に表示される。
また、本実施形態1のPC100では、画像中の対象物領域を示すいずれかの枠内から手書き入力が開始された場合、この対象物に対するコメント入力が開始されたとしてコメント入力状態がセットされる。一方、画像中の対象物領域を示す枠外から手書き入力が開始された場合、通常入力が開始されたとして通常入力状態がセットされる。なお、本実施形態1のPC100は、初期設定として通常入力状態がセットされるので、コメント入力が開始された場合にのみコメント入力状態のセットが行なわれる。
入力状態判定部6は、手書き入力受付部5から入力された一画目の筆跡の開始位置の座標値が、検出領域テーブル13aに格納された対象物領域情報が示す対象物領域のいずれかに含まれるか否かを判定する。一画目の開始位置がいずれの対象物領域内にもない場合、入力状態判定部6は、開始された手書き入力が通常入力であると判定し、何も処理を行なわない。
一方、一画目の開始位置がいずれかの対象物領域内にある場合、入力状態判定部6は、開始された手書き入力がコメント入力であると判定し、コメント入力状態にセットする。図6(a),(b)は、平仮名の「も」が対象物領域O2内から書き出されている例を示す。従って、図6(a),(b)に示した状況の場合、入力状態判定部6は、コメント入力が開始されたと判定し、コメント入力状態にセットする。なお、入力状態判定部6は、コメント入力状態にセットした場合、手書き入力受付部5から取得する座標値(コメント相当筆跡を示す情報)のコメント相当筆跡バッファへの格納を開始する。
また、入力状態判定部(対象物特定手段)6は、コメント入力状態にセットした場合、一画目の開始位置を含む対象物領域を特定する。図6(a),(b)に示した状況の場合、入力状態判定部6は、対象物領域O2を特定する。入力状態判定部6は、特定した対象物領域の対象物領域IDを検出領域テーブル13aから読み出し、読み出した対象物領域IDを対象物バッファに格納する。なお、入力状態判定部6は、例えばRAM12の所定領域を対象物バッファ及びコメント相当筆跡バッファとして使用する。
入力状態判定部6は、上述したようにユーザがコメント入力を開始した後、手書き入力受付部5からの座標値の入力が所定時間(例えば10秒間)途絶えた場合、ユーザがコメント入力を終了したと判定する。入力状態判定部6は、コメント入力の終了を判定した場合、その旨をコメント処理部3に通知する。
コメント入力の終了を通知された場合、コメント処理部3の対象物特定部31は、対象物バッファに格納された対象物領域IDを読み出してコメント配置領域特定部32に通知する。コメント配置領域特定部(配置領域特定手段)32は、対象物特定部31から取得した対象物領域IDに対応するコメント配置領域IDを検出領域テーブル13aから読み出してコメント領域算出部34に通知する。
また、コメント入力の終了を通知された場合、コメント処理部3のコメント相当筆跡抽出部33は、コメント相当筆跡バッファに格納された座標値(コメント相当筆跡を示す情報)を読み出しコメント領域算出部34に送出する。なお、コメント相当筆跡抽出部33は、コメント相当筆跡バッファから読み出した座標値をコメントサイズ変更部35にも送出する。
コメント領域算出部34は、コメント相当筆跡抽出部33から取得した座標値(コメント相当筆跡を示す情報)に基づいて、取得した座標値が示すコメント相当筆跡を含み、面積が最小となる矩形の入力コメント領域を検出する。図6(b)に示した状況では、領域Rが入力コメント領域として検出される。
また、コメント領域算出部34は、コメント配置領域特定部32から通知されたコメント配置領域IDに対応するコメント配置領域情報を検出領域テーブル13aから読み出す。なお、図6(b)に示した状況では、コメント領域算出部34は、対象物領域O2に対応するコメント配置領域C2のコメント配置領域情報を読み出す。
そして、コメント領域算出部(算出手段)34は、検出領域テーブル13aから読み出したコメント配置領域情報が示すコメント配置領域C2と、検出した入力コメント領域Rとの間のサイズ変更割合を算出する。具体的には、コメント領域算出部34は、入力コメント領域Rをコメント配置領域C2に配置させるために、入力コメント領域Rに対して行なうべき変倍処理における変倍率を算出する。
なお、コメント領域算出部34は、入力コメント領域Rの縦方向(y軸方向)の長さをコメント配置領域C2の縦方向の長さに変更するためのサイズ変更割合を算出する。また、コメント領域算出部34は、入力コメント領域Rの横方向(x軸方向)の長さをコメント配置領域C2の横方向の長さに変更するためのサイズ変更割合を算出する。そして、コメント領域算出部34は、算出したサイズ変更割合のうちで小さい方の割合を、入力コメント領域Rをコメント配置領域C2に変更するためのサイズ変更割合とする。従って、例えば、縦方向のサイズ変更割合が0.7であり、横方向のサイズ変更割合が0.5である場合には、0.5がサイズ変更割合とされる。これにより、算出されたサイズ変更割合を用いて、手書き入力された筆跡に対して等倍処理を行なうことができる。
コメント領域算出部34は、算出したサイズ変更割合に従って入力コメント領域Rをサイズ変更した後のコメント領域の縦方向の長さと横方向の長さとを算出する。そして、コメント領域算出部(表示領域抽出手段)34は、コメント配置領域C2において、算出した縦方向及び横方向の長さで示されるコメント領域の位置を特定する。なお、コメント領域算出部34は、コメント配置領域C2内で、対象物領域O2からの距離が最短となる位置をコメント領域の位置に特定する。
コメント領域算出部34は、特定したコメント領域の位置を示すために、コメント領域の左上及び右下の点の座標値を算出し、表示処理部4に通知する。また、コメント領域算出部34は、算出したサイズ変更割合をコメントサイズ変更部35に通知する。
コメントサイズ変更部(変倍手段)35は、サイズ変更割合を通知された場合、コメント相当筆跡抽出部33から取得した座標値が示すコメント相当筆跡のサイズを、通知されたサイズ変更割合に従って変更する。コメントサイズ変更部35は、サイズ変更後のコメント相当筆跡を示す座標値を表示処理部4へ送出する。
表示処理部4のコメント表示部44は、コメント領域算出部34からコメント領域の左上及び右下の点の座標値を取得し、コメントサイズ変更部35からサイズ変更後のコメント相当筆跡を示す座標値を取得する。コメント表示部(変倍後筆跡表示手段)44は、表示部14に表示された画像上の、コメント領域の左上及び右下の点の座標値に基づくコメント領域に、サイズ変更後のコメント相当筆跡を表示させる。なお、コメント表示部44がサイズ変更後のコメント相当筆跡を表示部14に表示させた場合、筆跡表示部43は、ユーザがコメント入力した筆跡の表示を終了する。
コメント表示部44は、コメント領域算出部34によって特定されたコメント領域にサイズ変更後のコメント相当筆跡を表示させた場合、その旨をふきだし表示部45に通知する。ふきだし表示部(対応付け表示手段)45は、サイズ変更後のコメント相当筆跡の表示完了を通知された場合、コメント領域を囲むふきだし記号を、表示部14に表示された画像上に表示させる。図6(c)は、対象物領域O2に対してコメント入力されたコメント相当筆跡が、コメント配置領域C2内の対象物領域O2の近傍に表示され、ふきだし記号によって囲まれている例を示す。なお、図6(c)では、表示されたコメントを強調させるために、コメント領域の背景を白色で図示しているが、画像上にコメントのみを表示させてもよい。
上述した各部によって本実施形態1のPC100は、ユーザが手書き入力を開始した場合に、開始された手書き入力がコメント入力であるか否かを判定する。また、PC100は、コメント入力であると判定した場合には、入力された情報(筆跡)に対してコメント処理を行ない、対応する対象物の近傍にふきだし記号を付加して表示させることができる。
なお、画像処理部2の各部、画像表示部41及び対象物領域表示部42は、PC100のユーザが、画像に対する編集処理を開始するための所定の操作を行なった場合に、上述した処理を行なう。また、手書き入力受付部5、入力状態判定部6、コメント処理部3の各部、筆跡表示部43、コメント表示部44及びふきだし表示部45は、PC100のユーザが、表示部14に表示された画像に対して手書き入力を開始した場合に、上述した処理を行なう。
このように、画像読出部1が画像データを読み出した後に画像処理部2によって検出領域テーブル13aを生成しておくことにより、ユーザが手書き入力を行なってから何らかの応答が返ってくるまでの応答時間が短縮される。
以下に、本実施形態1のPC100において、ユーザが画像に対する編集処理を開始するための所定の操作を行なった場合に、制御部10が行なう処理についてフローチャートに基づいて説明する。図7は実施形態1の検出領域テーブル13aの生成処理の手順を示すフローチャートである。以下の処理は、PC100のROM11又は記憶部13に格納されている制御プログラムに従って制御部10によって実行される。
ユーザが画像に対する編集処理を開始するための所定の操作を行なった場合、制御部10は、ユーザによって指定された画像データを記憶部13から読み出す(S1)。制御部10は、読み出した画像データに基づく画像を表示部14に表示させる(S2)。制御部10は、読み出した画像データ中に所定の対象物(人物の顔)の領域を検出する(S3)。制御部10は、所定の対象物の領域を検出できたか否かを判断しており(S4)、検出できたと判断した場合(S4:YES)、検出した対象物領域の対象物領域ID及び対象物領域情報を検出領域テーブル13aに格納する(S5)。
制御部10は、ステップS3に処理を戻し、読み出した画像データ中の他の対象物(人物の顔)の領域を検出する(S3)。制御部10は、画像データ中の全ての対象物の領域を検出するまで、ステップS3〜S5の処理を繰り返す。制御部10は、画像データ中の全ての対象物の領域を検出した場合、検出した各領域を囲む枠を、表示部14に表示された画像上に表示させる。即ち、制御部10は、画像データ中に所定の対象物の領域を検出できないと判断した場合(S4:NO)、検出領域テーブル13aに格納させた対象物領域情報に基づいて、それぞれの対象物領域(顔の領域)を囲む枠を表示させる(S6)。なお、制御部10は、画像データ中に対象物領域を検出する都度、検出した対象物領域を囲む枠を表示してもよい。
次に制御部10は、検出領域テーブル13aに格納された対象物領域の情報(対象物領域ID及び対象物領域情報)を1つ読み出す(S7)。制御部10は、読み出した対象物領域の情報に基づいて、この対象物領域に対するコメント配置領域を検出する(S8)。具体的には、制御部10は、対象物領域に隣接し、全ての対象物領域と重ならない領域を、この対象物領域に対するコメント配置領域とする。制御部10は、検出したコメント配置領域のコメント配置領域ID及びコメント配置領域情報を検出領域テーブル13aに格納する(S9)。
制御部10は、検出領域テーブル13aに格納してある全ての対象物領域の情報に対する処理が完了したか否かを判断しており(S10)、完了していないと判断した場合(S10:NO)、ステップS7に処理を戻す。制御部10は、検出領域テーブル13aに格納された他の対象物領域の情報を1つ読み出し(S7)、読み出した対象物領域の情報に対して、ステップS8,S9の処理を行なう。制御部10は、検出領域テーブル13aに格納してある全ての対象物領域の情報に対する処理が完了するまで、ステップS7〜S10の処理を繰り返す。
制御部10は、検出領域テーブル13aに格納してある全ての対象物領域の情報に対する処理が完了したと判断した場合(S10:YES)、上述した処理を終了する。このような処理により、本実施形態1では、画像の編集処理を開始した時点で画像中の所定の対象物(例えば人物の顔)のそれぞれに対するコメント配置領域を確保できる。よって、実際にコメントを配置させる際には、検出領域テーブル13aに格納してある情報を用いることによって、処理の簡略化及び高速化が可能となる。
次に、上述したように、画像及び対象物領域を囲む枠が表示されたPC100において、ユーザが画像に対して手書き入力を開始した場合に、制御部10が行なう処理についてフローチャートに基づいて説明する。図8及び図9は実施形態1のPC100が行なう処理の手順を示すフローチャートである。以下の処理は、PC100のROM11又は記憶部13に格納されている制御プログラムに従って制御部10によって実行される。
制御部10は、初期設定として通常入力状態にセットする(S21)。図5(b)に示すように画像及び対象物領域を囲む枠を表示部14に表示したPC100において、制御部10は、画像に対してユーザによる手書き入力があるか否かを判断する(S22)。手書き入力があると判断した場合(S22:YES)、制御部10は、手書き入力された筆跡を示す各点の座標値を取得し(S23)、例えばRAM12に一旦格納する。制御部10は、随時取得する座標値に基づいて、手書き入力された筆跡を、表示部14に表示された画像上に表示する(S24)。
制御部10は、一画の筆跡の入力が終了したか否かを判断しており(S25)、終了していないと判断した場合(S25:NO)、ステップS23に処理を戻す。制御部10は、一画の筆跡の入力が終了するまで、ステップS23〜S25の処理を繰り返す。一画の筆跡の入力が終了したと判断した場合(S25:YES)、制御部10は、この時点でコメント入力状態がセットされているか否かを判断する(S26)。
制御部10は、コメント入力状態がセットされていると判断した場合(S26:YES)、ステップS31へ処理を移行する。なお、一画目の筆跡が入力された時点では通常入力状態がセットされているので、制御部10は、コメント入力状態がセットされていないと判断する。制御部10は、コメント入力状態がセットされていないと判断した場合(S26:NO)、入力された一画目の筆跡の開始位置が、検出領域テーブル13aに格納された対象物領域情報が示す対象物領域のいずれかに含まれるか否かを判定する(S27)。
一画目の開始位置がいずれの対象物領域内にもないと判定した場合(S27:NO)、即ち、開始された手書き入力がコメント入力ではなく、画像に対する描画(通常入力)である場合、制御部10は、ステップS22に処理を戻す。一方、一画目の開始位置がいずれかの対象物領域内にあると判断した場合(S27:YES)、制御部10は、開始された手書き入力がコメント入力であると判定し、コメント入力状態にセットする(S28)。
制御部10は、ステップS27で一画目の開始位置を含むと判定した対象物領域を特定する(S29)。制御部10は、特定した対象物領域の対象物領域IDを検出領域テーブル13aから読み出し、読み出した対象物領域IDを対象物バッファに格納する(S30)。制御部10は、所定時間(例えば、10秒間)の計時処理を開始する(S31)。なお、ここでの計時処理は、一画分の筆跡の入力があった後に、ユーザがコメント入力を終了したか否かを判断するための処理である。即ち、一画分の筆跡の入力後、所定時間が経過するまでの間にユーザによる手書き入力がなかった場合には、制御部10は、ユーザがコメント入力を終了したと判断する。
制御部10は、ステップS23で取得した一画分(一画目)の筆跡を示す座標値をコメント相当筆跡バッファに格納する(S32)。制御部10は、ステップS22に処理を戻し、ユーザの手書き入力による次の一画分(二画目)の筆跡の入力があるか否かを判断する(S22)。制御部10は、次の一画分(二画目)の筆跡の入力があると判断した場合(S22:YES)、ステップS23〜S25の処理を繰り返し、次の一画分(二画目)の筆跡を示す各点の座標値をRAM12に一旦格納する。
そして、制御部10は、この時点でコメント入力状態がセットされているか否かを判断する(S26)。二画目の筆跡が入力された場合、制御部10は、コメント入力状態がセットされていると判断し(S26:YES)、所定時間(例えば、10秒間)の計時処理を再度開始する(S31)。制御部10は、ステップS23で取得した一画分(二画目)の筆跡を示す座標値をコメント相当筆跡バッファに格納する(S32)。
制御部10は、ステップS22に処理を戻し、ユーザの手書き入力による次の一画分(三画目)の筆跡の入力があるか否かを判断する(S22)。制御部10は、ユーザの手書き入力による次の一画分の筆跡の入力が途絶えるまで、ステップS22〜S32の処理を繰り返す。制御部10は、ユーザの手書き入力による次の一画分の筆跡の入力がないと判断した場合(S22:NO)、この時点でコメント入力状態がセットされているか否かを判断する(S33)。
制御部10は、コメント入力状態がセットされていると判断した場合(S33:YES)、ステップS31で開始した計時処理の結果に基づいて、所定時間が経過したか否かを判断する(S34)。コメント入力状態がセットされていないと判断した場合(S33:NO)、又は、所定時間が経過していないと判断した場合(S34:NO)、制御部10はステップS22へ処理を戻す。
所定時間が経過したと判断した場合(S34:YES)、制御部10は、ユーザがコメント入力を終了したと判断し、コメント処理を実行し(S35)、コメント処理の実行後、ステップS21へ処理を戻す。なお、コメント処理の詳細については後述する。
次に、上述したPC100による処理におけるコメント処理(図8中のステップS35の処理)についてフローチャートに基づいて説明する。図10は実施形態1のコメント処理の手順を示すフローチャートである。以下の処理は、PC100のROM11又は記憶部13に格納されている制御プログラムに従って制御部10によって実行される。
制御部10は、対象物バッファに格納された対象物領域IDを読み出す(S41)。制御部10は、読み出した対象物領域IDに対応するコメント配置領域情報を検出領域テーブル13aから読み出す(S42)。制御部10は、コメント相当筆跡バッファに格納された座標値(コメント相当筆跡を示す情報)を読み出す(S43)。制御部10は、コメント相当筆跡バッファから読み出した座標値に基づいて、コメント相当筆跡を含み、面積が最小となる矩形の入力コメント領域を算出する(S44)。
制御部10は、ステップS44で算出した入力コメント領域を、ステップS42で読み出したコメント配置領域情報が示すコメント配置領域内に配置させるためのサイズ変更割合を算出する(S45)。制御部10は、算出したサイズ変更割合に従って入力コメント領域をサイズ変更した後のコメント領域を算出する(S46)。具体的には、制御部10は、コメント領域の縦方向の長さと横方向の長さとを算出する。
制御部10は、ステップS42で読み出したコメント配置領域情報が示すコメント配置領域内で、ステップS46で算出したコメント領域の位置を特定する(S47)。制御部10は、ステップS45で算出したサイズ変更割合に従って、ステップS43で読み出した座標値が示すコメント相当筆跡のサイズを変更する(S48)。制御部10は、図8中のステップS24で表示させた筆跡の表示を終了する(S49)。
制御部10は、ステップS47で特定した位置のコメント領域に、ステップS48でサイズ変更されたコメント相当筆跡を表示させる(S50)。制御部10は、ステップS50で表示されたコメント相当筆跡に対応したふきだし記号を表示する(S51)。制御部10は、上述したコメント処理を終了し、図8に示した処理に戻る。
上述したように、本実施形態1のPC100は、ユーザが手書き入力を開始した場合に、開始された手書き入力がコメント入力であるか通常入力であるかを判断する。よって、ユーザは、表示部14に表示された画像の所望の箇所から手書き入力を開始することで、所望の対象物(人物)に対するコメント入力であるのか、所望の位置へのお絵描き操作なのかを指定できる。具体的には、表示部14に表示された画像中の任意の対象物に対してコメント情報を付与したい場合、ユーザは所望の対象物を囲む枠内からコメント情報の入力を開始すればよい。
また、従来では、画像にコメントを付加する場合には、コメントの入力モードの設定操作、画像中のどの人物に対してコメント情報を付加するのかを指定するための操作、コメント情報を入力するための操作等が必要であった。しかし、本実施形態1では、ユーザが所望の箇所から手書き入力を開始することによって、これらの各操作の代わりを成し、特別な操作を行なう必要がないので、ユーザの操作性が向上する。
本実施形態1のPC100は、開始された手書き入力が通常入力であると判断した場合は、ユーザによって入力された情報に対してコメント処理を行なわずにそのまま画像上に表示させる。よって、本実施形態1のPC100は、画像中の対象物領域以外の領域に対するお絵描き操作による描画処理の実行を妨げない。
本実施形態1のPC100は、表示部14に表示された画像上に手書き入力された筆跡のサイズを変更した後、適切なコメント配置領域に表示させる。よって、実際にコメントを表示させるコメント領域のサイズは制限されるが、コメントを入力する際の入力コメント領域のサイズは制限されない。従って、ユーザによるコメントの入力が容易となる。
本実施形態1のPC100は、コメント入力された筆跡を、対応する対象物の近傍のコメント配置領域に表示させると共に、表示された筆跡にふきだし記号を付加する。よって、画像中の任意の人物に対してふきだし付きコメントを付加することができる。図11はコメントを付加した画像の変形例を示す模式図である。画像に付加されるコメントには、ふきだし記号のほかに、図11(a)に示す引き出し線のように、画像中の任意の人物との対応付けが分かるような記号が付加されてもよい。
また、図11(b)に示すように、画像中の任意の人物との対応付けが分かるような記号が付加されず、コメントのみを表示させてもよい。このような表示方法であっても、画像に付加されたコメントは、対応付けられる対象物の近傍に表示されるので、コメントの配置位置によって対応付けられている人物が容易に推測できる。
(実施形態2)
以下に、実施形態2に係るPCについて説明する。なお、本実施形態2のPCは、上述した実施形態1のPC100と同様の構成によって実現することができるので、同様の構成については同一の符号を付して説明を省略する。
以下に、実施形態2に係るPCについて説明する。なお、本実施形態2のPCは、上述した実施形態1のPC100と同様の構成によって実現することができるので、同様の構成については同一の符号を付して説明を省略する。
上述した実施形態1のPC100は、表示部14に表示された画像中の対象物(人物の顔)の領域内から手書き入力が開始された場合に、コメント入力の開始を判定していた。本実施形態2のPC100は、表示部14に表示された画像中の対象物(人物の顔)の領域内の所定範囲を判定領域とし、いずれかの判定領域内から手書き入力が開始された場合に、コメント入力の開始を判定する。
図12は実施形態2の検出領域テーブル13aの格納内容を示す模式図である。図12に示すように、本実施形態2の検出領域テーブル13aには、対象物領域ID、対象物領域情報、コメント配置領域ID及びコメント配置領域情報のほかに、コメント判定領域情報が格納されている。コメント判定領域情報は、対応する対象物(対象物領域)に対するコメント入力が開始されたか否かを判定するためのコメント判定領域を示す情報であり、各コメント判定領域の左上の点及び右下の点を、所定の基準位置を基準とした座標値で表している。
なお、基準位置(0,0)は、例えば、表示部14が表示可能な領域の左上の点であり、各コメント判定領域の左上の点及び右下の点の座標値(x,y)は、基準位置(0,0)から右方向をx座標軸とし、下方向をy座標軸として表される。また、本実施形態2では、コメント判定領域は、各対象物領域内の左上の所定サイズ(例えば、10pixel×10pixel)の領域である。コメント判定領域は、このような領域のほかに、各対象物の領域内の左下の所定サイズの領域、右上の所定サイズの領域、右下の所定サイズの領域等でもよい。また、例えば、対象物(人物の顔)の領域内から髪の領域又は肌の領域等を検出し、検出した領域又は検出した領域以外の領域をコメント判定領域としてもよい。
検出領域テーブル13aに格納されるコメント判定領域情報は、制御部10が画像から対象物領域を検出し、検出した対象物領域に基づいてコメント判定領域を検出する都度、制御部10によって格納される。
以下に、本実施形態2のPC100が実現する各機能について説明する。本実施形態2のPC100の制御部10は、ROM11又は記憶部13に格納してある制御プログラムを実行することによって、図3及び図4に示した各機能を実現する。図13は実施形態2のPC100が行なう処理を説明するための模式図である。
本実施形態2の対象物検出部21は、上述の実施形態1の対象物検出部21と同様に、画像読出部1から取得した画像データ中に所定の対象物(例えば、人物の顔)が撮影されているか否かを検出する。対象物検出部21は、画像データ中に人物の顔が撮影されていることを検出した場合、検出した顔を含む矩形の対象物領域を検出する。対象物検出部21は、対象物領域を検出した場合、検出した対象物領域に対するコメント判定領域を算出する。
具体的には、対象物検出部21は、検出した対象物領域内の左上の所定サイズ(例えば、10pixel×10pixel)の領域を算出する。対象物検出部21は、対象物領域を検出した順に対象物領域IDを付与し、付与した対象物領域IDに対応付けて、検出した対象物領域を示す対象物領域情報と、算出したコメント判定領域を示すコメント判定領域情報とを検出領域テーブル13aに格納する。
本実施形態2の対象物検出部21は、画像データ中の全ての対象物領域及び対象物領域のそれぞれに対するコメント判定領域を検出し、対象物領域ID、対象物領域情報及びコメント判定領域情報を検出領域テーブル13aに格納する。対象物検出部21は、全ての対象物領域を検出した後、検出領域テーブル13aに格納した対象物領域情報及びコメント判定領域情報を読み出して表示処理部4へ送出する。
本実施形態2の対象物領域表示部42は、上述の実施形態1の対象物領域表示部42と同様に、対象物検出部21から取得した対象物領域情報に基づいて、それぞれの対象物領域(顔の領域)を囲む枠を、表示部14に表示された画像上に表示させる。また、本実施形態2の対象物領域表示部(判定領域表示手段)42は、対象物検出部21から取得したコメント判定領域情報に基づいて、それぞれの対象物領域内のコメント判定領域を囲む枠も表示させる。
図13(a)は、対象物領域表示部42によって画像上に対象物領域及びコメント判定領域を囲む枠が表示された例を示す。図13(a)では、O1,O2,O3,O4は、対象物領域を示し、O1a,O2a,O3a,O4aは、対象物領域O1,O2,O3,O4のそれぞれに対応するコメント判定領域を示す。
対象物領域表示部42は、対象物検出部21が全ての対象物領域の検出を完了した後に、対象物領域O1,O2,O3,O4及びコメント判定領域O1a,O2a,O3a,O4aを囲む枠を表示する。しかし、対象物領域表示部42は、対象物検出部21がそれぞれの対象物領域及びコメント判定領域を検出する都度、各対象物領域O1,O2,O3,O4及び各コメント判定領域O1a,O2a,O3a,O4aを囲む枠を表示してもよい。
本実施形態2では、対象物領域及びコメント判定領域を囲む枠が表示された画像に対して、ユーザは、所望の対象物に対してコメント情報を付与したい場合、所望の対象物の対象物領域内のコメント判定領域を囲む枠内から手書き入力を開始する。
本実施形態2の入力状態判定部6は、手書き入力受付部5から入力された一画目の筆跡の開始位置の座標値が、検出領域テーブル13aに格納されたコメント判定領域情報が示すコメント判定領域のいずれかに含まれるか否かを判定する。一画目の開始位置がいずれのコメント判定領域内にもない場合、入力状態判定部6は、開始された手書き入力が通常入力であると判定し、何も処理を行なわない。
一方、一画目の開始位置がいずれかのコメント判定領域内にある場合、入力状態判定部6は、開始された手書き入力がコメント入力であると判定し、コメント入力状態にセットする。図13(b)は、平仮名の「も」の一画目がコメント判定領域O2a内から書き出されている例を示す。従って、図13(b)に示した状況の場合、入力状態判定部6は、コメント入力が開始されたと判定し、コメント入力状態にセットする。
図13(c)は、対象物領域O2内のコメント判定領域O2a以外の箇所から書き出されている例を示す。本実施形態2の入力状態判定部6は、コメント判定領域O2a内から開始された手書き入力をコメント入力であると判定する。従って、図13(c)に示すように、対象物領域O2内であっても、コメント判定領域O2a以外の箇所から開始された手書き入力はコメント入力ではないと判定される。よって、図13(c)に示すように、対象物領域O2内のコメント判定領域O2a以外の箇所に書かれた線図又は文字等は、そのままの位置及びサイズで表示される。
コメント判定領域は対象物領域内にあるので、入力状態判定部6は、コメント入力の開始を判定した場合に、上述の実施形態1で説明した処理と同様の処理によって、一画目の筆跡の開始位置を含む対象物領域を判定できる。なお、入力状態判定部6は、一画目の開始位置を含むコメント判定領域を含む対象物領域を判定すればよい。
入力状態判定部6は、コメント入力状態にセットした場合、手書き入力受付部5から取得する座標値(コメント相当筆跡を示す情報)のコメント相当筆跡バッファへの格納を開始する。また、入力状態判定部6は、特定した対象物領域の対象物領域IDを検出領域テーブル13aから読み出し、読み出した対象物領域IDを対象物バッファに格納する。
これにより、本実施形態2では、対象物領域O2内から手書き入力が開始された場合であっても、対象物領域O2内のコメント判定領域O2aではない箇所から開始された場合にはコメント処理を行なわない。よって、開始された手書き入力がコメント入力であると判定するための条件を制限することにより、対象物領域O2内から開始された描画がコメント処理されない描画であると判定するための条件を緩和できる。
なお、本実施形態2の対象物検出部21、対象物領域表示部42及び入力状態判定部6以外の各部は、上述の実施形態1で説明した処理と同一の処理を行なう。
以下に、本実施形態2のPC100において、ユーザが画像に対する編集処理を開始するための所定の操作を行なった場合に、制御部10が行なう処理についてフローチャートに基づいて説明する。図14は実施形態2の検出領域テーブル13aの生成処理の手順を示すフローチャートである。以下の処理は、PC100のROM11又は記憶部13に格納されている制御プログラムに従って制御部10によって実行される。
ユーザが画像に対する編集処理を開始するための所定の操作を行なった場合、制御部10は、ユーザによって指定された画像データを記憶部13から読み出す(S61)。制御部10は、読み出した画像データに基づく画像を表示部14に表示させる(S62)。制御部10は、読み出した画像データ中に所定の対象物(人物の顔)の領域を検出する(S63)。制御部10は、所定の対象物の領域を検出できたか否かを判断しており(S64)、検出できたと判断した場合(S64:YES)、検出した対象物領域に対するコメント判定領域を算出する(S65)。
制御部10は、検出した対象物領域の対象物領域ID及び対象物領域情報と、ステップS65で算出したコメント判定領域を示すコメント判定領域情報とを検出領域テーブル13aに格納する(S66)。制御部10は、ステップS63に処理を戻し、読み出した画像データ中の他の対象物(人物の顔)の領域を検出する(S63)。制御部10は、画像データ中の全ての対象物の領域を検出するまで、ステップS63〜S66の処理を繰り返す。
制御部10は、画像データ中の全ての対象物の領域を検出した場合、検出した対象物領域及びコメント判定領域のそれぞれを囲む枠を、表示部14に表示された画像上に表示させる。即ち、制御部10は、対象物の領域を検出できないと判断した場合(S64:NO)、検出領域テーブル13aに格納させた対象物領域情報及びコメント判定領域情報に基づいて、対象物領域及びコメント判定領域を囲む枠を表示させる(S67)。なお、制御部10は、画像データ中に対象物領域及びコメント判定領域を検出する都度、対象物領域を囲む枠及びコメント判定領域を囲む枠を表示してもよい。
次に制御部10は、検出領域テーブル13aに格納された対象物領域の情報(対象物領域ID及び対象物領域情報)を1つ読み出す(S68)。制御部10は、読み出した対象物領域の情報に基づいて、この対象物領域に対するコメント配置領域を検出する(S69)。制御部10は、検出したコメント配置領域のコメント配置領域ID及びコメント配置領域情報を検出領域テーブル13aに格納する(S70)。
制御部10は、検出領域テーブル13aに格納してある全ての対象物領域の情報に対する処理が完了したか否かを判断しており(S71)、完了していないと判断した場合(S71:NO)、ステップS68に処理を戻す。制御部10は、検出領域テーブル13aに格納された他の対象物領域の情報を1つ読み出し(S68)、読み出した対象物領域の情報に対して、ステップS69,S70の処理を行なう。制御部10は、検出領域テーブル13aに格納してある全ての対象物領域の情報に対する処理が完了するまで、ステップS68〜S71の処理を繰り返す。
制御部10は、検出領域テーブル13aに格納してある全ての対象物領域の情報に対する処理が完了したと判断した場合(S71:YES)、上述した処理を終了する。このような処理により、本実施形態2では、画像の編集処理を開始した時点で画像中の所定の対象物(例えば人物の顔)のそれぞれに対するコメント配置領域を確保できると共に、コメント判定領域を算出できる。
本実施形態2のPC100において、表示部14に表示された画像に対してユーザが手書き入力を開始した場合に制御部10が行なう処理は、上述の実施形態1において図8及び図9で説明した処理と同一であるので説明を省略する。なお、本実施形態2のPC100は、手書き入力が開始された場合に、一画目の筆跡の開始位置がいずれかのコメント判定領域内にあるか否かに基づいて、開始された手書き入力がコメント入力であるか通常入力であるかを判定する。従って、図9のステップS27において、本実施形態2の制御部10は、入力された一画目の筆跡の開始位置が、検出領域テーブル13aに格納されたコメント判定領域情報が示すコメント判定領域のいずれかに含まれるか否かを判定する。
また、本実施形態2のPC100において、制御部10が行なうコメント処理は、上述の実施形態1において図10で説明した処理と同一であるので説明を省略する。
上述したように、本実施形態2のPC100では、表示部14に表示された画像の所望の箇所から手書き入力を開始することで、所望の対象物(人物)に対するコメント入力であるのか、所望の位置へのお絵描き操作なのかを指定できる。具体的には、ユーザは、表示部14に表示された画像中の任意の対象物に対してコメント情報を付与したい場合、所望の対象物に対応するコメント判定領域内からコメント情報の入力を開始すればよい。
本実施形態2では、対象物領域内であっても、コメント判定領域内ではない領域については、ユーザによって入力された情報に対してコメント処理を行なわない。よって、コメント処理されない描画であると判定されるための条件が緩和される。
(実施形態3)
以下に、実施形態3に係るPCについて説明する。なお、本実施形態3のPCは、上述した実施形態1のPC100と同様の構成によって実現することができるので、同様の構成については同一の符号を付して説明を省略する。
以下に、実施形態3に係るPCについて説明する。なお、本実施形態3のPCは、上述した実施形態1のPC100と同様の構成によって実現することができるので、同様の構成については同一の符号を付して説明を省略する。
上述した実施形態1のPC100は、表示部14に表示された画像中の対象物(人物の顔)の領域内から手書き入力が開始された場合に、コメント入力の開始を判定していた。本実施形態3のPC100も、表示部14に表示された画像中の対象物(人物の顔)の領域内から手書き入力が開始された場合に、コメント入力の開始を判定する。また、本実施形態3のPC100は、一画目の筆跡が所定の長さ以上であれば、一画目の筆跡の終了位置にコメント判定領域を設ける。そして、コメント判定領域内から手書き入力が開始された場合に、前記一画目の筆跡の開始位置を含む領域の対象物に対するコメント入力が開始されたとする。
図15は実施形態3の検出領域テーブル13aの格納内容を示す模式図である。図15に示すように、本実施形態3の検出領域テーブル13aには、対象物領域ID、対象物領域情報、コメント配置領域ID及びコメント配置領域情報のほかに、コメント判定領域情報が格納されている。コメント判定領域情報は、対応する対象物(対象物領域)に対するコメント入力が開始されたか否かを判定するためのコメント判定領域を示す情報であり、各コメント判定領域の左上の点及び右下の点を、所定の基準位置を基準とした座標値で表している。
なお、基準位置(0,0)は、例えば、表示部14が表示可能な領域の左上の点であり、各コメント判定領域の左上の点及び右下の点の座標値(x,y)は、基準位置(0,0)から右方向をx座標軸とし、下方向をy座標軸として表される。また、本実施形態3では、検出領域テーブル13aに格納されるコメント判定領域情報は、ユーザが対象物領域から手書き入力を開始した場合の一画目の筆跡が所定の長さ以上であった場合に、制御部10によって算出されて格納される。
以下に、本実施形態3のPC100が実現する各機能について説明する。本実施形態3のPC100の制御部10は、ROM11又は記憶部13に格納してある制御プログラムを実行することによって、図3及び図4に示した各機能を実現する。図16は実施形態3のPC100が行なう処理を説明するための模式図である。
本実施形態3の入力状態判定部6は、上述の実施形態1の入力状態判定部6と同様に、手書き入力受付部5から入力された一画目の筆跡の開始位置の座標値が、検出領域テーブル13aに格納された対象物領域情報が示す対象物領域のいずれかに含まれるか否かを判定する。一画目の開始位置がいずれの対象物領域内にもない場合、入力状態判定部6は、開始された手書き入力が通常入力であると判定し、何も処理を行なわない。
一方、一画目の開始位置がいずれかの対象物領域内にある場合、入力状態判定部6は、どの対象物領域内にあるかを特定し、開始された手書き入力がコメント入力であると判定する。このとき、入力状態判定部(判断手段)6は、手書き入力受付部5から入力された一画目の筆跡が所定の長さ以上であるか否かを判断する。一画目の筆跡が所定の長さ未満であると判断した場合、入力状態判定部6は、上述した実施形態1と同様に、コメント入力状態にセットし、PC100は、この一画目から開始される筆跡に対してコメント処理を行なう。
一方、一画目の筆跡が所定の長さ以上であると判断した場合、本実施形態3の入力状態判定部6は、この一画目の筆跡の終了位置に表示させるべきコメント判定領域を算出する。具体的には、入力状態判定部6は、一画目の筆跡の終了位置を中心として所定サイズ(例えば、10pixel×10pixel)のコメント判定領域を算出する。入力状態判定部6は、前記一画目の開始位置を含む対象物領域の対象物領域IDに対応付けて、算出したコメント判定領域を示すコメント判定領域情報を検出領域テーブル13aに格納する。
入力状態判定部6は、検出領域テーブル13aに格納したコメント判定領域情報を表示処理部4へ送出する。表示処理部4の対象物領域表示部(所定領域表示手段)42は、入力状態判定部6からコメント判定領域情報を取得した場合、取得したコメント判定領域情報に基づいてコメント判定領域を囲む枠を、表示部14に表示された画像上に表示させる。図16(a)は、対象物領域表示部42によって画像上にコメント判定領域を囲む枠が表示された例を示す。図16(a)に示すように、対象物領域O4から所定の長さ以上の筆跡h1が入力された場合、PC100は、筆跡h1の終了位置にコメント判定領域h2を表示させる。
本実施形態3の入力状態判定部(監視手段)6は、図16(a)に示すようなコメント判定領域h2が表示部14に表示された後、入力された一画目の筆跡の開始位置の座標値が、コメント判定領域のいずれかに含まれるか否かを判定する。具体的には、入力状態判定部6は、検出領域テーブル13aに格納されたコメント判定領域情報が示すコメント判定領域のいずれかに含まれるか否かを判定する。なお、ここでの一画目の筆跡は、所定の長さ以上の筆跡h1の次に入力される筆跡であってもよいし、その他の対象物に対するコメント入力又は画像に対する描画等の入力後に入力される筆跡であってもよい。
コメント判定領域h2が表示された後に入力された一画目の開始位置がいずれかのコメント判定領域内にある場合、入力状態判定部6は、どのコメント判定領域内にあるかを特定する。入力状態判定部6は、特定したコメント判定領域に対する対象物領域を検出領域テーブル13aの格納内容に基づいて特定し、開始された手書き入力が、特定した対象物領域に対するコメント入力であると判定し、コメント入力状態にセットする。この場合、PC100は、コメント判定領域から開始された手書き入力(筆跡)に対するコメント処理を行なう。
図16(b)は、平仮名の「も」の一画目がコメント判定領域h2内から書き出されている例を示す。従って、図16(b)に示した状況の場合、入力状態判定部6は、対象物領域O4に対するコメント入力が開始されたと判定し、コメント入力状態にセットする。なお、入力状態判定部6は、コメント入力状態にセットした場合、手書き入力受付部5から取得する座標値(コメント相当筆跡を示す情報)のコメント相当筆跡バッファへの格納を開始する。
入力状態判定部6は、コメント入力状態にセットした場合に、開始された手書き入力が、どの対象物領域に対するコメント入力であるかを特定し、特定した対象物領域を示す対象物領域IDを検出領域テーブル13aから読み出す。入力状態判定部6は、読み出した対象物領域IDを対象物バッファに格納する。
これにより、本実施形態3では、画像の端の領域に含まれる対象物に対してコメント入力する場合であっても、手書き入力を行なう領域のサイズは制限されない。よって、例えば、画像の右端に写っている人物に対して右方向への横書きでコメント入力をする場合に、手書き入力を行なう際の領域が狭くなることを防止できる。
なお、本実施形態3の入力状態判定部6及び対象物領域表示部42以外の各部は、上述の実施形態1で説明した処理と同一の処理を行なう。本実施形態3のPC100では、図16(b)に示すように、対象物領域O4に対するコメント判定領域h2から「もう少し」が入力された場合、図16(c)に示すように、対象物領域O4に対するコメント領域に「もう少し」が表示される。
本実施形態3のPC100において、ユーザが画像に対する編集処理を開始するための所定の操作を行なった場合に、制御部10が行なう処理は、上述の実施形態1において図7で説明した処理と同一であるので説明を省略する。
次に、本実施形態3のPC100において、画像及び対象物領域を囲む枠が表示された画像に対してユーザが手書き入力を開始した場合に、制御部10が行なう処理についてフローチャートに基づいて説明する。図17及び図18は実施形態3のPC100が行なう処理の手順を示すフローチャートである。以下の処理は、PC100のROM11又は記憶部13に格納されている制御プログラムに従って制御部10によって実行される。
本実施形態3のPC100において、図17及び図18中のステップS81からS87までの処理は、上述の実施形態1で説明した図8及び図9中のステップS21からS27までの処理と同一であるので説明を省略する。
制御部10は、入力された一画目の筆跡の開始位置が、検出領域テーブル13aに格納された対象物領域情報が示す対象物領域のいずれかに含まれるか否かを判定する(S87)。一画目の開始位置がいずれかの対象物領域内にあると判断した場合(S87:YES)、制御部10は、前記一画目の筆跡の長さが所定値以上であるか否かを判断する(S88)。
前記一画目の筆跡の長さが所定値以上であると判断した場合(S88:YES)、制御部10は、前記の一画目の筆跡の終了位置に表示させるべきコメント判定領域を算出する(S89)。なお、前記一画目の筆跡の長さが所定値未満であると判断した場合(S88:NO)、制御部10は、ステップS93に処理を移行する。制御部10は、算出したコメント判定領域を示すコメント判定領域情報を、対応する対象物領域IDに対応付けて検出領域テーブル13aに格納する(S90)。
制御部10は、検出領域テーブル13aに格納させたコメント判定領域情報に基づいて、コメント判定領域を囲む枠を表示させ(S91)、ステップS82に処理を戻す。一画目の開始位置がいずれの対象物領域内にもないと判断した場合(S87:NO)、制御部10は、前記一画目の開始位置が、検出領域テーブル13aに格納されたコメント判定領域情報が示すコメント判定領域のいずれかに含まれるか否かを判定する(S92)。
一画目の開始位置がいずれのコメント判定領域内にもないと判断した場合(S92:NO)、制御部10は、ステップS82に処理を戻す。前記一画目の開始位置がいずれかのコメント判定領域内にあると判断した場合(S92:YES)、制御部10は、開始された手書き入力がコメント入力であると判定し、コメント入力状態にセットする(S93)。
制御部10は、ステップS87で一画目の開始位置を含むと判定した対象物領域、又は、ステップS92で一画目の開始位置を含むと判定したコメント判定領域に対応する対象物領域を特定する(S94)。制御部10は、特定した対象物領域の対象物領域IDを検出領域テーブル13aから読み出し、読み出した対象物領域IDを対象物バッファに格納する(S95)。
制御部10は、所定時間(例えば、10秒間)の計時処理を開始する(S96)。なお、ここでの計時処理は、一画分の筆跡の入力があった後に、ユーザがコメント入力を終了したか否かを判断するための処理である。即ち、一画分の筆跡の入力後、所定時間が経過した場合には、制御部10は、ユーザがコメント入力を終了したと判断する。
制御部10は、ステップS83で取得した一画分の筆跡を示す座標値をコメント相当筆跡バッファに格納する(S97)。制御部10は、ステップS82に処理を戻し、ユーザの手書き入力による次の一画分の筆跡の入力があるか否かを判断する(S82)。制御部10は、次の一画分の筆跡の入力があると判断した場合(S82:YES)、ステップS83〜S85の処理を繰り返し、次の一画分の筆跡を示す各点の座標値をRAM12に一旦格納する。
なお、制御部10は、一画分の筆跡の入力が終了した後、この時点でコメント入力状態がセットされているか否かを判断する(S86)。コメント入力状態がセットされていると判断した場合(S86:YES)、制御部10は、所定時間(例えば、10秒間)の計時処理を再度開始する(S96)。制御部10は、ステップS83で取得した一画分の筆跡を示す座標値をコメント相当筆跡バッファに格納する(S97)。
制御部10は、ステップS82に処理を戻し、ユーザの手書き入力による次の一画分の筆跡の入力があるか否かを判断する(S82)。制御部10は、ユーザの手書き入力による次の一画分の筆跡の入力が途絶えるまで、ステップS82〜S97の処理を繰り返す。制御部10は、ユーザの手書き入力による次の一画分の筆跡の入力がないと判断した場合(S82:NO)、この時点でコメント入力状態がセットされているか否かを判断する(S98)。
制御部10は、コメント入力状態がセットされていると判断した場合(S98:YES)、ステップS96で開始した計時処理の結果に基づいて、所定時間が経過したか否かを判断する(S99)。コメント入力状態がセットされていないと判断した場合(S98:NO)、又は、所定時間が経過していないと判断した場合(S99:NO)、制御部10はステップS82へ処理を戻す。
所定時間が経過したと判断した場合(S99:YES)、制御部10は、ユーザがコメント入力を終了したと判断し、コメント処理を実行する(S100)。制御部10は、コメント処理の実行後、ステップS91で表示させたコメント判定領域を囲む枠の表示を終了する(S101)。制御部10は、ステップS90で検出領域テーブル13aに格納したコメント判定領域情報を削除し(S102)、ステップS81へ処理を戻す。
なお、本実施形態3のPC100において、制御部10が行なうコメント処理は、上述の実施形態1において図10で説明した処理と同一であるので説明を省略する。
上述したように、本実施形態3のPC100では、表示部14に表示された対象物領域を囲む枠内から開始された手書き入力の一画目の筆跡が所定の長さ以上である場合に、この一画目の筆跡の終了位置にコメント判定領域を示す枠が表示される。そして、表示されたコメント判定領域内から手書き入力が開始された場合に、所定の長さ以上の前記一画目の筆跡の開始位置である対象物領域に対応する対象物に対するコメント入力が開始されたとする。
よって、ユーザは、広い領域を用いてコメント入力したい場合に、所望の対象物領域内から所定の長さ以上の一画目の筆跡を、コメント入力を開始したい位置まで引き伸ばせばよい。これにより、画像の端の方に写っている人物に対するコメント入力する場合であっても、所望の箇所からの手書き入力が可能となるので、手書き入力を行なう領域のサイズは制限されない。
本実施形態3は、上述した実施形態1の変形例として説明したが、上述した実施形態2の構成にも適用することができる。
(実施形態4)
以下に、実施形態4に係るPCについて説明する。なお、本実施形態4のPCは、上述した実施形態3のPC100と同様の構成によって実現することができるので、同様の構成については同一の符号を付して説明を省略する。
以下に、実施形態4に係るPCについて説明する。なお、本実施形態4のPCは、上述した実施形態3のPC100と同様の構成によって実現することができるので、同様の構成については同一の符号を付して説明を省略する。
上述した実施形態3のPC100は、表示部14に表示された画像中の対象物(人物の顔)の領域内から手書き入力が開始された場合に、一画目の筆跡が所定の長さ以上であれば、一画目の筆跡の終了位置にコメント判定領域を設ける。そして、コメント判定領域内から手書き入力が開始された場合に、前記一画目の筆跡の開始位置を含む領域の対象物に対するコメント入力が開始されたとしていた。
本実施形態4のPC100も、表示部14に表示された画像中の対象物領域内から手書き入力が開始された場合に、一画目の筆跡が所定の長さ以上であれば、一画目の筆跡の終了位置にコメント判定領域を設ける。なお、本実施形態4のPC100は、コメント判定領域を表示させた後、所定時間以内にコメント判定領域から手書き入力が開始されなかった場合にはコメント判定領域の表示を終了する。そして、コメント判定領域の表示終了後は、このコメント判定領域から開始された手書き入力に対するコメント処理の実行を行なわない。
以下に、本実施形態4のPC100が実現する各機能について説明する。本実施形態4のPC100の制御部10は、ROM11又は記憶部13に格納してある制御プログラムを実行することによって、図3及び図4に示した各機能を実現する。
本実施形態4の入力状態判定部6は、上述の実施形態3の入力状態判定部6と同様に、手書き入力受付部5から入力された一画目の筆跡の開始位置の座標値が、検出領域テーブル13aに格納された対象物領域情報が示す対象物領域のいずれかに含まれるか否かを判定する。一画目の開始位置がいずれの対象物領域内にもない場合、入力状態判定部6は、開始された手書き入力が通常入力であると判定し、何も処理を行なわない。
一方、一画目の開始位置がいずれかの対象物領域内にある場合、入力状態判定部6は、どの対象物領域内にあるかを特定し、開始された手書き入力がコメント入力であると判定する。また、入力状態判定部6は、いずれかの対象物領域内から開始された一画目の筆跡が所定の長さ以上であるか否かを判断する。一画目の筆跡が所定の長さ未満であると判断した場合、入力状態判定部6は、コメント入力状態にセットし、PC100は、この一画目から開始される筆跡に対してコメント処理を行なう。
一方、一画目の筆跡が所定の長さ以上であると判断した場合、入力状態判定部6は、この一画目の筆跡の終了位置に表示させるべきコメント判定領域を算出する。入力状態判定部6は、算出したコメント判定領域を示すコメント判定領域情報を、前記一画目の開始位置を含む対象物領域の対象物領域IDに対応付けて検出領域テーブル13aに格納する。そして、入力状態判定部6は、検出領域テーブル13aに格納したコメント判定領域情報を表示処理部4へ送出する。表示処理部4の対象物領域表示部42は、入力状態判定部6から取得したコメント判定領域情報に基づいてコメント判定領域を囲む枠を、表示部14に表示された画像上に表示させる。
ここで、本実施形態4の入力状態判定部6は、コメント判定領域を算出し、算出したコメント判定領域を示すコメント判定領域情報を表示処理部4へ送出した場合に、第2の所定時間(例えば、10秒間)の計時処理を開始する。なお、ここでの計時処理は、コメント判定領域を囲む枠が表示された後に、ユーザが、コメント判定領域内から手書き入力を開始したか否かを判断するための処理である。即ち、コメント判定領域を囲む枠の表示後、第2の所定時間が経過するまでの間にこのコメント判定領域内から開始される手書き入力がなかった場合に、制御部10は、ユーザがこのコメント判定領域に対応する対象物に対するコメント入力を終了したと判断する。
なお、本実施形態4の入力状態判定部6は、コメント判定領域を囲む枠が表示部14に表示された後、入力された一画目の筆跡の開始位置の座標値が、コメント判定領域のいずれかに含まれるか否かを判定する。コメント判定領域を囲む枠の表示後に入力された一画目の開始位置がいずれかのコメント判定領域内にある場合、入力状態判定部6は、どのコメント判定領域内にあるかを特定する。入力状態判定部6は、特定したコメント判定領域に対する対象物領域を検出領域テーブル13aの格納内容に基づいて特定し、開始された手書き入力が、特定した対象物領域に対するコメント入力であると判定し、コメント入力状態にセットする。この場合、PC100は、コメント判定領域から開始された手書き入力(筆跡)に対するコメント処理を行なう。
入力状態判定部6は、コメント入力状態にセットした場合に、開始された手書き入力が、どの対象物領域に対するコメント入力であるかを特定し、特定した対象物領域を示す対象物領域IDを検出領域テーブル13aから読み出す。入力状態判定部6は、読み出した対象物領域IDを対象物バッファに格納する。
これにより、本実施形態4では、いずれかの対象物領域内から所定の長さ以上の一画目の筆跡が入力されることにより、対応する対象物(対象物領域)に対するコメント入力を行なうための領域を広く確保できる。また、コメント判定領域の表示後、所定時間内にコメント判定領域内から手書き入力が開始されない場合には、コメント判定領域を囲む枠の表示を終了し、対応する対象物に対するコメント入力を終了させる。よって、不要なコメント判定領域の枠の表示を適切に終了することにより、ユーザが見易い画像を表示させることができる。
なお、本実施形態4の入力状態判定部6以外の各部は、上述の実施形態1,3で説明した処理と同一の処理を行なう。
本実施形態4のPC100において、ユーザが画像に対する編集処理を開始するための所定の操作を行なった場合に、制御部10が行なう処理は、上述の実施形態1において図7で説明した処理と同一であるので説明を省略する。
次に、本実施形態4のPC100において、画像及び対象物領域を囲む枠が表示された画像に対してユーザが手書き入力を開始した場合に、制御部10が行なう処理についてフローチャートに基づいて説明する。図19及び図20は実施形態4のPC100が行なう処理の手順を示すフローチャートである。以下の処理は、PC100のROM11又は記憶部13に格納されている制御プログラムに従って制御部10によって実行される。
本実施形態4のPC100において、図19及び図20中のステップS111からS121までの処理は、上述の実施形態3で説明した図17及び図18中のステップS81からS91までの処理と同一であるので説明を省略する。なお、本実施形態4の制御部10は、ステップS118で前記一画目の筆跡の長さが所定値未満であると判断した場合(S118:NO)、ステップS125に処理を移行する。
本実施形態4の制御部10は、検出領域テーブル13aに格納させたコメント判定領域情報に基づいて、コメント判定領域を囲む枠を表示させた後(S121)、第2の所定時間の計時処理を開始し(S122)、ステップS112に処理を戻す。
ステップS117で制御部10は、一画目の開始位置がいずれの対象物領域内にもないと判断した場合(S117:NO)、前記一画目の開始位置が、検出領域テーブル13aに格納されたコメント判定領域情報が示すコメント判定領域のいずれかに含まれるか否かを判定する(S123)。一画目の開始位置がいずれのコメント判定領域内にもないと判断した場合(S123:NO)、制御部10は、ステップS112に処理を戻す。
前記一画目の開始位置がいずれかのコメント判定領域内にあると判断した場合(S123:YES)、制御部10は、ステップS122で開始した計時処理を停止させる(S124)。そして、制御部10は、開始された手書き入力がコメント入力であると判定し、コメント入力状態にセットする(S125)。
制御部10は、ステップS117で一画目の開始位置を含むと判定した対象物領域、又は、ステップS123で一画目の開始位置を含むと判定したコメント判定領域に対応する対象物領域を特定する(S126)。制御部10は、特定した対象物領域の対象物領域IDを検出領域テーブル13aから読み出し、読み出した対象物領域IDを対象物バッファに格納する(S127)。
制御部10は、所定時間(例えば、10秒間)の計時処理を開始する(S128)。なお、ここでの計時処理は、一画分の筆跡の入力があった後に、ユーザがコメント入力を終了したか否かを判断するための処理である。即ち、一画分の筆跡の入力後、所定時間が経過した場合には、制御部10は、ユーザがコメント入力を終了したと判断する。
制御部10は、ステップS113で取得した一画分の筆跡を示す座標値をコメント相当筆跡バッファに格納する(S129)。制御部10は、ステップS112に処理を戻し、ユーザの手書き入力による次の一画分の筆跡の入力があるか否かを判断する(S112)。制御部10は、次の一画分の筆跡の入力があると判断した場合(S112:YES)、ステップS113〜S115の処理を繰り返し、次の一画分の筆跡を示す各点の座標値をRAM12に一旦格納する。
なお、制御部10は、一画分の筆跡の入力が終了した後、この時点でコメント入力状態がセットされているか否かを判断する(S116)。コメント入力状態がセットされていると判断した場合(S116:YES)、制御部10は、所定時間(例えば、10秒間)の計時処理を再度開始する(S128)。制御部10は、ステップS113で取得した一画分の筆跡を示す座標値をコメント相当筆跡バッファに格納する(S129)。
制御部10は、ステップS112に処理を戻し、ユーザの手書き入力による次の一画分の筆跡の入力があるか否かを判断する(S112)。制御部10は、ユーザの手書き入力による次の一画分の筆跡の入力が途絶えるまで、ステップS112〜S129の処理を繰り返す。制御部10は、ユーザの手書き入力による次の一画分の筆跡の入力がないと判断した場合(S112:NO)、ステップS122で開始した第2の所定時間の計時処理の結果に基づいて、第2の所定時間が経過したか否かを判断する(S130)。
第2の所定時間が経過したと判断した場合(S130:YES)、制御部10は、ステップS121で表示させたコメント判定領域を囲む枠の表示を終了する(S131)。なお、このとき制御部10は、コメント判定領域を囲む枠を表示させるために対象物領域から引き伸ばされた一画目の筆跡の表示も終了する。制御部10は、表示を終了させたコメント判定領域を示すコメント判定領域情報を検出領域テーブル13aから削除する(S132)。制御部10は、第2の所定時間の計時処理をリセットし(S133)、ステップS112に処理を戻す。
第2の所定時間が経過していないと判断した場合(S130:NO)、制御部10は、この時点でコメント入力状態がセットされているか否かを判断する(S134)。制御部10は、コメント入力状態がセットされていると判断した場合(S134:YES)、ステップS128で開始した計時処理の結果に基づいて、所定時間が経過したか否かを判断する(S135)。コメント入力状態がセットされていないと判断した場合(S134:NO)、又は、所定時間が経過していないと判断した場合(S135:NO)、制御部10はステップS112へ処理を戻す。
所定時間が経過したと判断した場合(S135:YES)、制御部10は、ユーザがコメント入力を終了したと判断し、コメント処理を実行する(S136)。制御部10は、コメント処理の実行後、ステップS121で表示させたコメント判定領域を囲む枠の表示を終了する(S137)。なお、このとき制御部10は、コメント判定領域を囲む枠を表示させるために対象物領域から引き伸ばされた一画目の筆跡の表示も終了する。制御部10は、ステップS120で検出領域テーブル13aに格納したコメント判定領域情報を削除し(S138)、ステップS111へ処理を戻す。
なお、本実施形態4のPC100において、制御部10が行なうコメント処理は、上述の実施形態1において図10で説明した処理と同一であるので説明を省略する。
上述したように、本実施形態4のPC100では、表示部14に表示された対象物領域を囲む枠内から開始された手書き入力の一画目の筆跡が所定の長さ以上である場合に、この一画目の筆跡の終了位置にコメント判定領域を示す枠が表示される。そして、表示されたコメント判定領域内から手書き入力が開始された場合に、所定の長さ以上の前記一画目の筆跡の開始位置である対象物領域に対応する対象物に対するコメント入力が開始されたとする。なお、コメント判定領域を示す枠の表示後、所定時間内にコメント判定領域内から手書き入力が開始されなかった場合、コメント判定領域を示す枠の表示を終了し、対応する対象物に対するコメント入力を終了させる。
よって、対象物に対するコメント入力を行なうための領域を広く確保できると共に、不要なコメント判定領域の枠の表示を適切に終了することにより、ユーザが見易い画像を表示させることができる。
本実施形態4は、上述した実施形態1,3の変形例として説明したが、上述した実施形態2の構成にも適用することができる。
(実施形態5)
以下に、実施形態5に係るPCについて説明する。なお、本実施形態5のPCは、上述した実施形態1のPC100と同様の構成によって実現することができるので、同様の構成については同一の符号を付して説明を省略する。
以下に、実施形態5に係るPCについて説明する。なお、本実施形態5のPCは、上述した実施形態1のPC100と同様の構成によって実現することができるので、同様の構成については同一の符号を付して説明を省略する。
上述した実施形態1のPC100は、表示部14に表示された画像中の対象物(人物の顔)の領域内から手書き入力が開始された場合に、コメント入力の開始と判定し、この手書き入力によって入力された筆跡に対してコメント処理を行なっていた。本実施形態5のPC100は、コメント入力の開始と判定した場合、手書き入力によって入力された筆跡に対して文字列認識処理を行なう。そして、文字列認識処理の結果、入力された筆跡が文字列であると判定された場合に、本実施形態5のPC100は、入力された筆跡に対してコメント処理を行なう。
図示しないが、本実施形態5のPC100は、図1に示したハードウェア各部のほかに、文字列の認識処理に用いる文字列認識のための辞書を記憶部13に格納している。文字列認識のための辞書には、複数の文字列のそれぞれについて、それぞれの文字の一画を所定間隔の複数の点の座標値で示した筆跡情報からなる辞書、単語辞書または文字間のつながりやすさの情報からなる辞書が登録されている。
以下に、本実施形態5のPC100が実現する各機能について説明する。本実施形態5のPC100の制御部10は、ROM11又は記憶部13に格納してある制御プログラムを実行することによって、図3及び図4に示した各機能のほか、図21に示した機能を実現する。図21は実施形態5のコメント処理部3が備える機能を示す機能ブロック図である。
本実施形態5のコメント処理部3は、図4に示した各部のほかに、文字列認識部36及びコメント判定部37を備える。
本実施形態5のコメント相当筆跡抽出部33は、上述の実施形態1のコメント相当筆跡抽出部33と同様に、入力状態判定部6からコメント入力の終了を通知された場合、コメント相当筆跡バッファに格納された座標値を読み出す。コメント相当筆跡抽出部33は、読み出した座標値(コメント相当筆跡を示す情報)を文字列認識部36に送出する。
本実施形態5のコメント相当筆跡抽出部33は、上述の実施形態1のコメント相当筆跡抽出部33と同様に、入力状態判定部6からコメント入力の終了を通知された場合、コメント相当筆跡バッファに格納された座標値を読み出す。コメント相当筆跡抽出部33は、読み出した座標値(コメント相当筆跡を示す情報)を文字列認識部36に送出する。
文字列認識部(文字列認識手段)36は、コメント相当筆跡抽出部33から取得した座標値(コメント相当筆跡を示す情報)に対して、文字列認識のための辞書に基づく文字列認識処理を行なう。具体的には、文字列認識部36は、文字列認識のための辞書に登録されている文字列のそれぞれとコメント相当筆跡とを比較し、コメント相当筆跡に最も近似した文字列を特定し、特定した文字列とコメント相当筆跡との近似度合を示す信頼度を算出する。
文字列認識部36は、算出した信頼度と、コメント相当筆跡抽出部33から取得したコメント相当筆跡を示す情報とをコメント判定部37へ送出する。コメント判定部(文字列判定手段)37は、文字列認識部36から取得した信頼度に基づいて、コメント相当筆跡抽出部33から取得したコメント相当筆跡が文字列であるか否かを判定する。具体的には、コメント判定部37は、信頼度が所定値(例えば、最高値が100である場合に80,90等)以上であるか否かを判定し、所定値以上であれば、文字列認識部36から取得したコメント相当筆跡を示す情報をコメント領域算出部34へ送出する。
なお、信頼度が所定値未満であれば、コメント判定部37は何も行なわず、PC100は、手書き入力された筆跡に対してコメント処理を行なわない。即ち、対象物領域内から開始された手書き入力であっても、入力された筆跡が文字列ではない場合には、入力された筆跡に対してコメント処理を行なわない。
本実施形態5のコメント領域算出部34は、コメント判定部37からコメント相当筆跡を示す情報を取得する。そして、コメント領域算出部34は、上述の実施形態1のコメント領域算出部34と同様に、取得したコメント相当筆跡を示す情報に基づいて入力コメント領域を検出し、検出した入力コメント領域とコメント配置領域との間のサイズ変更割合を算出する。
また、コメント領域算出部34は、算出したサイズ変更割合に従って入力コメント領域をサイズ変更した後のコメント領域の縦方向の長さと横方向の長さとを算出し、算出した縦方向及び横方向の長さで示されるコメント領域の位置を特定する。コメント領域算出部34は、特定したコメント領域の左上及び右下の点の座標値を算出し、表示処理部4に通知し、算出したサイズ変更割合をコメントサイズ変更部35に通知する。
これにより、本実施形態5では、対象物領域内から手書き入力が開始された場合であっても、文字又は文字列ではない描画が行なわれた場合には、コメント処理を行なわず、単なる描画としての処理を行なう。よって、対象物領域内から開始された描画であっても、コメント処理されない描画であると判定するための条件を緩和できる。
なお、本実施形態5の文字列認識部36及びコメント判定部37以外の各部は、上述の実施形態1で説明した処理と同一の処理を行なう。
本実施形態5のPC100において、ユーザが画像に対する編集処理を開始するための所定の操作を行なった場合に、制御部10が行なう処理は、上述の実施形態1において図7で説明した処理と同一であるので説明を省略する。
また、本実施形態5のPC100において、画像及び対象物領域を囲む枠が表示された画像に対してユーザが手書き入力を開始した場合に、制御部10が行なう処理は、上述の実施形態1において図8及び図9で説明した処理と同一であるので説明を省略する。
次に、本実施形態5のPC100による処理におけるコメント処理についてフローチャートに基づいて説明する。図22は実施形態5のコメント処理の手順を示すフローチャートである。以下の処理は、PC100のROM11又は記憶部13に格納されている制御プログラムに従って制御部10によって実行される。
本実施形態5のPC100において、図22中のステップS141からS143までの処理は、上述の実施形態1で説明した図10中のステップS41からS42までの処理と同一であるので説明を省略する。
制御部10は、コメント相当筆跡バッファから読み出した座標値に対して、文字列認識のための辞書に基づく文字列認識を実行する(S144)。制御部10は、読み出した座標値が示すコメント相当筆跡に最も近似した文字列を特定し、特定した文字列とコメント相当筆跡との信頼度を算出する。
制御部10は、算出した信頼度が所定値以上であるか否かを判断し(S145)、所定値未満であると判断した場合(S145:NO)、コメント処理を終了し、図8に示した処理に戻る。信頼度が所定値以上であると判断した場合(S145:YES)、制御部10は、コメント相当筆跡バッファから読み出した座標値に基づいて、コメント相当筆跡を含み、面積が最小となる矩形の入力コメント領域を算出する(S146)。
なお、以降のステップS146からS153までの処理は、上述の実施形態1で説明した図10中のステップS44からS51までの処理と同一であるので説明を省略する。
上述したように、本実施形態5のPC100では、表示部14に表示された画像の所望の箇所から手書き入力を開始することで、所望の対象物(人物)に対するコメント入力であるのか、所望の位置へのお絵描き操作なのかを指定できる。また、対象物領域内から手書き入力が開始された場合であっても、文字又は文字列ではない描画に対してはコメント処理を行なわない。よって、コメント処理されない描画であると判定されるための条件が緩和される。
本実施形態5は、上述した実施形態1の変形例として説明したが、上述した実施形態2〜4の構成にも適用することができる。
(実施形態6)
以下に、実施形態6に係るPCについて説明する。なお、本実施形態6のPCは、上述した実施形態5のPC100と同様の構成によって実現することができるので、同様の構成については同一の符号を付して説明を省略する。
以下に、実施形態6に係るPCについて説明する。なお、本実施形態6のPCは、上述した実施形態5のPC100と同様の構成によって実現することができるので、同様の構成については同一の符号を付して説明を省略する。
上述した実施形態5のPC100は、コメント入力の開始と判定した場合、入力された筆跡に対して文字列認識処理を行ない、入力された筆跡が文字列であると判定された場合に、入力された筆跡に対してコメント処理を行なっていた。本実施形態6のPC100は、入力された筆跡が文字列であると判定された場合、入力された筆跡をテキストデータに変換して表示させるコメント処理を行なう。
以下に、本実施形態6のPC100が実現する各機能について説明する。本実施形態6のPC100の制御部10は、ROM11又は記憶部13に格納してある制御プログラムを実行することによって、図3及び図4に示した各機能のほか、図23に示した機能を実現する。図23は実施形態6のコメント処理部3が備える機能を示す機能ブロック図である。
本実施形態6のコメント処理部3は、図21に示した各部のほかに、テキスト領域生成部38を備える。
本実施形態6の文字列認識部36は、コメント相当筆跡に最も近似していると特定した文字列と、特定した文字列及びコメント相当筆跡の信頼度とをコメント判定部37へ送出する。コメント判定部37は、文字列認識部36から取得した信頼度が所定値(例えば、最高値が100である場合に80,90等)以上であるか否かを判定し、所定値以上であれば、文字列認識部36から取得した文字列をコメント領域算出部34へ送出する。
本実施形態6の文字列認識部36は、コメント相当筆跡に最も近似していると特定した文字列と、特定した文字列及びコメント相当筆跡の信頼度とをコメント判定部37へ送出する。コメント判定部37は、文字列認識部36から取得した信頼度が所定値(例えば、最高値が100である場合に80,90等)以上であるか否かを判定し、所定値以上であれば、文字列認識部36から取得した文字列をコメント領域算出部34へ送出する。
なお、信頼度が所定値未満であれば、コメント判定部37は何も行なわず、PC100は、手書き入力された筆跡に対してコメント処理を行なわない。即ち、対象物領域内から開始された手書き入力であっても、入力された筆跡が文字列ではない場合には、入力された筆跡に対してコメント処理を行なわない。
本実施形態6のコメント領域算出部34は、コメント判定部37から取得した文字列に含まれる文字数を算出する。コメント領域算出部34は、算出した文字数に基づいて、コメント判定部37から取得した文字列を所定のフォントサイズで表示させるためのテキストボックスのサイズを算出する。なお、所定のフォントサイズ及びフォント情報は、例えばROM11又は記憶部13に予め格納されている。
コメント領域算出部34は、コメント配置領域特定部32から通知されたコメント配置領域IDに対応するコメント配置領域情報を検出領域テーブル13aから読み出す。コメント領域算出部34は、算出したテキストボックスのサイズに基づいて、算出したテキストボックスが、検出領域テーブル13aから読み出したコメント配置領域情報が示すコメント配置領域内に収まるか否かを判断する。
算出したテキストボックスがコメント配置領域内に収まると判断した場合、コメント領域算出部34は、コメント配置領域において、算出したテキストボックスの位置を特定する。なお、コメント領域算出部34は、コメント配置領域内で、対象物領域からの距離が最短となる位置をテキストボックスの位置に特定する。コメント領域算出部34は、特定したテキストボックスの左上及び右下の点の座標値を算出し、算出した座標値及びコメント判定部37から取得した文字列をコメントサイズ変更部35へ送出する。
算出したテキストボックスがコメント配置領域内に収まらないと判断した場合、コメント領域算出部34は、テキストボックスのサイズをコメント配置領域のサイズとする。従って、コメント領域算出部34は、コメント配置領域をテキストボックスの領域とし、テキストボックスの左上及び右下の点の座標値を算出し、算出した座標値及びコメント判定部37から取得した文字列をコメントサイズ変更部35へ送出する。
コメントサイズ変更部35は、コメント領域算出部34から取得した座標値に基づくテキストボックス内に、コメント領域算出部34から取得した文字列を所定のフォントサイズで表示できるか否かを判断する。テキストボックス内に文字列を表示できると判断した場合、コメントサイズ変更部35は、コメント領域算出部34から取得した座標値及び文字列、所定のフォントサイズをテキスト領域生成部38へ送出する。
一方、テキストボックス内に文字列を表示できないと判断した場合、コメントサイズ変更部35は、テキストボックス内に表示できるフォントサイズを算出する。コメントサイズ変更部35は、コメント領域算出部34から取得した座標値及び文字列、算出したフォントサイズをテキスト領域生成部38へ送出する。
テキスト領域生成部38は、コメントサイズ変更部35から取得した座標値に基づいてテキストボックスを生成し、生成したテキストボックスに、コメントサイズ変更部35から取得した文字列及びフォントサイズで文字を表示する。テキスト領域生成部38は、文字が表示されたテキストボックスを示す情報を表示処理部4へ送出する。
表示処理部4のコメント表示部44は、テキスト領域生成部38から取得した情報に基づいて、表示部14に表示された画像上に、所定のフォントの文字が表示されたテキストボックスを表示させる。本実施形態6のふきだし表示部45は、コメント表示部44が表示させたテキストボックスのサイズに対応したふきだし記号を算出し、テキストボックスを囲むふきだし記号を表示させる。
これにより、本実施形態6では、対象物領域内から手書き入力が開始された場合であっても、文字又は文字列ではない描画が行なわれた場合には、コメント処理を行なわず、単なる描画としての処理を行なう。また、本実施形態6では、手書き入力された筆跡が文字又は文字列である場合には、テキストデータに変換して表示させるので、手書き入力での筆跡を表示させたくない場合に有効である。
なお、本実施形態6のコメント領域算出部34、コメントサイズ変更部35及びテキスト領域生成部38以外の各部は、上述の実施形態5で説明した処理と同一の処理を行なう。
本実施形態6のPC100において、ユーザが画像に対する編集処理を開始するための所定の操作を行なった場合に、制御部10が行なう処理は、上述の実施形態1において図7で説明した処理と同一であるので説明を省略する。
また、本実施形態6のPC100において、画像及び対象物領域を囲む枠が表示された画像に対してユーザが手書き入力を開始した場合に、制御部10が行なう処理は、上述の実施形態1において図8及び図9で説明した処理と同一であるので説明を省略する。
次に、本実施形態6のPC100による処理におけるコメント処理についてフローチャートに基づいて説明する。図24及び図25は実施形態6のコメント処理の手順を示すフローチャートである。以下の処理は、PC100のROM11又は記憶部13に格納されている制御プログラムに従って制御部10によって実行される。
本実施形態6のPC100において、図24中のステップS161からS165までの処理は、上述の実施形態5で説明した図22中のステップS141からS145までの処理と同一であるので説明を省略する。
制御部10は、文字列認識を実行することによって算出した信頼度が所定値以上であると判断した場合(S165:YES)、文字列認識の結果、コメント相当筆跡に最も近似していると特定した文字列の文字数を算出する(S166)。制御部10は、算出した文字数に基づいて、この文字列を所定のフォントサイズで表示させるためのテキストボックスのサイズを算出する(S167)。
制御部10は、ステップS167でサイズを算出したテキストボックスが、ステップS162で読み出したコメント配置領域情報が示すコメント配置領域内に配置可能であるか否かを判断する(S168)。テキストボックスがコメント配置領域内に配置可能であると判断した場合(S168:YES)、制御部10は、コメント配置領域内におけるテキストボックスの位置を特定する(S169)。
一方、テキストボックスがコメント配置領域内に配置可能でないと判断した場合(S168:NO)、制御部10は、コメント配置領域をテキストボックスの領域とし、テキストボックス内に、文字列認識の結果得られた文字列を表示可能なフォントサイズを算出する(S170)。
制御部10は、図8中のステップS24で表示させた筆跡の表示を終了する(S171)。制御部10は、ステップS169で特定した位置のテキストボックス、又は、コメント配置領域であるテキストボックスを生成し、生成したテキストボックス内に、所定のフォントサイズ又はステップS170で算出したフォントサイズで文字列を表示する(S172)。
制御部10は、ステップS172で表示されたテキストボックスに対応したふきだし記号を表示する(S173)。制御部10は、上述したコメント処理を終了し、図8に示した処理に戻る。
上述したように、本実施形態6のPC100では、表示部14に表示された画像の所望の箇所から手書き入力を開始することで、所望の対象物(人物)に対するコメント入力であるのか、所望の位置へのお絵描き操作なのかを指定できる。また、対象物領域内から手書き入力が開始され、文字又は文字列が入力された場合に、入力された筆跡がテキストデータに変換して表示される。よって、手書き入力で乱雑な文字列を書いた場合であっても、所定のフォントでのコメント表示が行なえる。
本実施形態6は、上述した実施形態5の変形例として説明したが、上述した実施形態2〜4の構成にも適用することができる。
(実施形態7)
以下に、実施形態7に係るPCについて説明する。なお、本実施形態7のPCは、上述した実施形態1のPC100と同様の構成によって実現することができるので、同様の構成については同一の符号を付して説明を省略する。
以下に、実施形態7に係るPCについて説明する。なお、本実施形態7のPCは、上述した実施形態1のPC100と同様の構成によって実現することができるので、同様の構成については同一の符号を付して説明を省略する。
上述した実施形態1〜6のPC100は、表示部14に表示された画像に対して手書き入力によって所望の箇所に描画し、又は所望の対象物に対してコメントを付加していた。本実施形態7のPC100は、上述した構成に更に、対象物に対して既に付加されているコメントを変更する機能を備える。
図26は実施形態7の検出領域テーブル13aの格納内容を示す模式図である。図26に示すように、本実施形態7の検出領域テーブル(筆跡記憶手段)13aには、対象物領域ID、対象物領域情報、コメント配置領域ID及びコメント配置領域情報のほかに、コメント領域情報、表示筆跡情報及び入力筆跡情報が格納されている。コメント領域情報は、各対象物(対象物領域)に対してふきだし記号を付加して表示されたコメント領域を示す情報であり、各コメント領域の左上の点及び右下の点を、所定の基準位置を基準とした座標値で表している。
なお、基準位置(0,0)は、例えば、表示部14が表示可能な領域の左上の点であり、各コメント領域の左上の点及び右下の点の座標値(x,y)は、基準位置(0,0)から右方向をx座標軸とし、下方向をy座標軸として表される。表示筆跡情報は、手書き入力された筆跡に対して制御部10がコメント処理を行ない、各コメント領域に表示された筆跡を示す筆跡情報である。入力筆跡情報は、手書き入力された筆跡を示す筆跡情報である。なお、筆跡情報は、各筆跡を示す各点の座標値を、所定の基準位置(0,0)を基準とした座標値(x,y)で表す。
検出領域テーブル13aに格納されるコメント領域情報、表示筆跡情報及び入力筆跡情報は、手書き入力された筆跡に対して制御部10がコメント処理を行ない、表示部14に表示させる都度、制御部10によって格納される。
以下に、本実施形態7のPC100が実現する各機能について説明する。本実施形態7のPC100の制御部10は、ROM11又は記憶部13に格納してある制御プログラムを実行することによって、図3及び図4に示した各機能を実現する。図27は実施形態7のPC100が行なう処理を説明するための模式図である。
本実施形態7の入力状態判定部6は、手書き入力受付部5から入力された一画目の筆跡の開始位置の座標値が、検出領域テーブル13aに格納された対象物領域情報が示す対象物領域又はコメント領域情報が示すコメント領域のいずれかに含まれるか否かを判定する。一画目の筆跡の開始位置がいずれの対象物領域内及びコメント領域内にも含まれないと判定した場合、入力状態判定部6は、開始された手書き入力が通常入力であると判定し、何も処理を行なわない。
一画目の筆跡の開始位置がいずれかの対象物領域に含まれると判定した場合、入力状態判定部6は、いずれの対象物領域内にあるかを特定する。そして、入力状態判定部6は、特定した対象物領域の対象物領域IDに対応するコメント領域情報が検出領域テーブル13aに格納されているか否かを判断する。対応するコメント領域情報が検出領域テーブル13aに格納されていると判断した場合、即ち、特定した対象物領域に対してコメント情報が既に付与されている場合、入力状態判定部6は、何も処理を行なわない。
一方、対応するコメント領域情報が検出領域テーブル13aに格納されていないと判断した場合、即ち、特定した対象物領域に対してコメント情報がまだ付与されていない場合、入力状態判定部6は、開始された手書き入力が、特定した対象物領域に対するコメント入力であると判定する。このとき、入力状態判定部6は、上述の実施形態1で説明した処理と同様の処理を行なう。
更に、一画目の筆跡の開始位置がいずれかのコメント領域に含まれると判定した場合、入力状態判定部6は、一画目の筆跡が所定の長さ以上であるか否かを判断する。一画目の筆跡が所定の長さ以上であると判断した場合、入力状態判定部6は、開始された手書き入力が通常入力であると判定し、何も処理を行なわない。
コメント領域内から開始された一画目の筆跡が所定の長さ未満であると判断した場合、入力状態判定部6は、開始された手書き入力が、一画目の筆跡の開始位置を含むコメント領域に表示されているコメント情報の編集(変更)指示であると判定する。このとき、入力状態判定部6は、一画目の筆跡の開始位置がいずれのコメント領域内にあるかを特定し、コメント入力状態にセットする。
図27(a)は、対象物領域O2に対して「もう少しだ がんばれ!」のコメント情報が付与されている画像を示す。図27(b)は、図27(a)に示す画像に対して、対象物領域O2に対するコメント領域内から一画目の筆跡h3が手書き入力された状態を示す。本実施形態7のPC100は、図27(b)に示すように、コメント領域内から所定の長さ未満の筆跡が入力された場合、このコメント領域に表示されているコメント情報(筆跡情報)の変更が可能である。
入力状態判定部6は、一画目の筆跡の開始位置を含むコメント領域を特定した場合、特定したコメント領域に対応するコメント配置領域IDを検出領域テーブル13aから読み出す。入力状態判定部6は、読み出したコメント配置領域IDを編集対象バッファに格納する。なお、入力状態判定部6は、例えばRAM12の所定領域を編集対象として使用する。
本実施形態7の入力状態判定部6は、コメント情報の変更指示であると判定した場合、検出領域テーブル13aから読み出したコメント配置領域IDを編集対象バッファに格納した後、その旨をコメント処理部3に通知する。
コメント配置領域IDの編集対象バッファへの格納を通知された場合、コメント処理部3の対象物特定部31は、編集対象バッファに格納されたコメント配置領域IDを読み出す。対象物特定部31は、読み出したコメント配置領域IDに対応して検出領域テーブル13aに格納してある入力筆跡情報を読み出して表示処理部4に通知する。
対象物特定部31から入力筆跡情報を取得した表示処理部4では、筆跡表示部(入力筆跡表示手段)43が、取得した入力筆跡情報が示す筆跡(コメント相当筆跡)を、表示部14に表示された画像上に表示させる。なお、筆跡表示部43がコメント相当筆跡を表示部14に表示させた場合、コメント表示部44は、コメント領域に表示していたコメント情報(サイズ変更後のコメント相当筆跡)の表示を終了する。また、筆跡表示部43がコメント相当筆跡を表示部14に表示させた場合、ふきだし表示部45は、コメント領域を囲むふきだし記号の表示を終了する。
図27(c)は、コメント領域に表示されていたコメント情報及びふきだし記号の表示が終了し、以前にユーザによって手書き入力されたコメント相当筆跡が、以前にユーザによって手書き入力された状態で表示されている画像を示す。図27(c)に示すように、以前に手書き入力によって入力されたコメント情報(コメント相当筆跡)が表示された場合、表示されたコメント情報の編集が可能となる。
なお、コメント情報(コメント相当筆跡)に対する編集処理については詳述しないが、ユーザが所定の操作を行なうことによって、表示部14に表示中のコメント情報の一部又は全部の消去等が可能となる。これにより、本実施形態7では、画像中の対象物領域に対して既に付与されたコメント情報に対して変更処理が可能となる。
なお、本実施形態7の入力状態判定部6、対象物特定部31及び筆跡表示部43以外の各部は、上述の実施形態1で説明した処理と同一の処理を行なう。
本実施形態7のPC100において、ユーザが画像に対する編集処理を開始するための所定の操作を行なった場合に、制御部10が行なう処理は、上述の実施形態1において図7で説明した処理と同一であるので説明を省略する。
次に、本実施形態7のPC100において、画像及び対象物領域を囲む枠が表示された画像に対してユーザが手書き入力を開始した場合に、制御部10が行なう処理についてフローチャートに基づいて説明する。図28及び図29は実施形態7のPC100が行なう処理の手順を示すフローチャートである。以下の処理は、PC100のROM11又は記憶部13に格納されている制御プログラムに従って制御部10によって実行される。
本実施形態7のPC100において、図28中のステップS181からS186までの処理は、上述の実施形態1で説明した図8及び図9中のステップS21からS26までの処理と同一であるので説明を省略する。
制御部10は、コメント入力状態がセットされていると判断した場合(S186:YES)、ステップS193へ処理を移行する。コメント入力状態がセットされていないと判断した場合(S186:NO)、制御部10は、入力された一画目の筆跡の開始位置が、検出領域テーブル13aに格納されたコメント領域情報が示すコメント領域のいずれかに含まれるか否かを判定する(S187)。
入力された一画目の筆跡の開始位置がいずれのコメント領域にも含まれないと判定した場合(S187:NO)、制御部10は、入力された一画目の筆跡の開始位置が、検出領域テーブル13aに格納された対象物領域情報が示す対象物領域のいずれかに含まれるか否かを判定する(S188)。一画目の開始位置がいずれかの対象物領域内にあると判断した場合(S188:YES)、制御部10は、いずれの対象物領域内にあるかを特定し、特定した対象物領域に対応するコメント領域情報が検出領域テーブル13aに格納されているか否かを判断する(S189)。
一画目の筆跡の開始位置がいずれの対象物領域にも含まれないと判定した場合(S188:NO)、又は、一画目の筆跡の開始位置を含む対象物領域に対応するコメント領域情報があると判断した場合(S189:YES)、制御部10は、ステップS182に処理を戻す。なお、制御部10が、一画目の筆跡の開始位置を含む対象物領域に対応するコメント領域情報がないと判断した場合に(S189:NO)行なうステップS190〜S194の処理は、上述の実施形態1で説明した図9中のステップS28からS32までの処理と同一であるので説明を省略する。
ステップS187で、入力された一画目の筆跡の開始位置がいずれかのコメント領域に含まれると判定した場合(S187:YES)、制御部10は、前記一画目の筆跡の長さが所定値以上であるか否かを判断する(S195)。前記一画目の筆跡の長さが所定値以上であると判断した場合(S195:YES)、制御部10は、ステップS182に処理を移行する。
前記一画目の筆跡の長さが所定値未満であると判断した場合(S195:NO)、制御部10は、開始された手書き入力が、一画目の筆跡の開始位置を含むコメント領域に表示されているコメント情報の編集指示であると判定する。制御部10は、コメント入力状態にセットする(S196)。
制御部10は、一画目の筆跡の開始位置がいずれのコメント領域内にあるかを特定し、特定したコメント領域に対応するコメント配置領域IDを検出領域テーブル13aから読み出す(S197)。制御部10は、読み出したコメント配置領域IDを編集対象バッファに格納する(S198)。制御部10は、コメント呼出処理を実行し(S199)、コメント呼出処理の実行後、ステップS182へ処理を戻す。なお、コメント呼出処理の詳細については後述する。
ステップS182で、ユーザの手書き入力による次の一画分の筆跡の入力がないと判断した場合(S182:NO)、制御部10は、この時点でコメント入力状態がセットされているか否かを判断する(S200)。制御部10は、コメント入力状態がセットされていると判断した場合(S200:YES)、ステップS193で開始した計時処理の結果に基づいて、所定時間が経過したか否かを判断する(S201)。
コメント入力状態がセットされていないと判断した場合(S200:NO)、又は、所定時間が経過していないと判断した場合(S201:NO)、制御部10はステップS182へ処理を戻す。所定時間が経過したと判断した場合(S201:YES)、制御部10は、ユーザがコメント入力を終了したと判断し、コメント処理を実行し(S202)、コメント処理の実行後、ステップS181へ処理を戻す。なお、本実施形態7のコメント処理の詳細については後述する。
次に、本実施形態7のPC100による処理におけるコメント処理(図28中のステップS202の処理)についてフローチャートに基づいて説明する。図30は実施形態7のコメント処理の手順を示すフローチャートである。以下の処理は、PC100のROM11又は記憶部13に格納されている制御プログラムに従って制御部10によって実行される。
本実施形態7のPC100において、図30中のステップS211からS221までの処理は、上述の実施形態1で説明した図10中のステップS41からS51までの処理と同一であるので説明を省略する。
制御部10は、ステップS211からS221の処理によって生成した情報を検出領域テーブル13aに格納する(S222)。具体的には、制御部10は、ステップS217で特定した位置のコメント領域を示すコメント領域情報を検出領域テーブル13aに格納する。また、制御部10は、ステップS218でサイズ変更されたコメント相当筆跡を表示筆跡情報として、ステップS213で読み出したコメント相当筆跡を入力筆跡情報として検出領域テーブル13aに格納する。制御部10は、上述したコメント処理を終了し、図28に示した処理に戻る。
次に、本実施形態7のPC100による処理におけるコメント呼出処理(図29中のステップS199の処理)についてフローチャートに基づいて説明する。図31は実施形態7のコメント呼出処理の手順を示すフローチャートである。以下の処理は、PC100のROM11又は記憶部13に格納されている制御プログラムに従って制御部10によって実行される。
制御部10は、編集対象バッファに格納されたコメント配置領域IDを読み出す(S231)。制御部10は、読み出したコメント配置領域IDに対応する入力筆跡情報を検出領域テーブル13aから読み出す(S232)。制御部10は、図28中のステップS184で表示させた筆跡の表示を終了する(S233)。制御部10は、読み出したコメント配置領域IDに対応する表示筆跡情報を検出領域テーブル13aから読み出し、表示筆跡情報に基づく筆跡、即ち、コメント領域に表示していたコメント情報(サイズ変更後のコメント相当筆跡)の表示を終了する(S234)。
また制御部10は、ステップS234で表示を終了したコメント情報を囲むふきだし記号の表示を終了する(S235)。制御部10は、ステップS232で読み出した入力筆跡情報に基づいて、ユーザによる手書き入力時の入力筆跡(コメント相当筆跡)を、表示部14に表示された画像上に表示する(S236)。制御部10は、上述したコメント呼出処理を終了し、図29に示した処理に戻る。
このように、以前に手書き入力されたコメント情報(コメント相当筆跡)が、手書き入力された時点でのサイズ及び入力位置に表示された場合、表示されたコメント情報の編集が可能となる。
上述したように、本実施形態7のPC100では、表示部14に表示された画像の所望の箇所から手書き入力を開始することで、所望の対象物(人物)に対するコメント入力であるのか、所望の位置へのお絵描き操作なのかを指定できる。また、本実施形態7のPC100では、表示部14に表示された画像の所望の箇所から手書き入力を開始することで、既に所望の対象物に対して付与されたコメントの編集指示であるのかも指定できる。よって、本実施形態7では、画像中の各対象物に対して任意のコメント情報を付与できるだけでなく、既に付与されたコメント情報の編集も可能となる。
本実施形態7のPC100は、画像中のコメント領域から手書き入力が開始された場合に、このコメント領域に表示されているコメント情報の変更指示があったと判断する。しかし、このような構成のほかに、例えば、変更したいコメント情報を含むコメント領域に対して複数の点を入力する等、所定の入力操作を行なうようにしてもよい。
本実施形態7は、上述した実施形態1の変形例として説明したが、上述した実施形態2〜6の構成にも適用することができる。
(実施形態8)
以下に、実施形態8に係るPCについて説明する。図32は実施形態8のPCの構成例を示すブロック図である。本実施形態8のPC100は、図1に示したハードウェア各部のほかにカメラ部(撮像手段)17を備える。カメラ部17は、例えば、CCD(Charge Couple Device)等を備える撮像部、撮像部により取得したアナログの画像フレームをデジタルの画像フレームに変換するA/D(アナログ/デジタル)変換器等を備える。カメラ部17は、静止画像データ又は1秒当たり30枚のデジタルの画像フレームを有する動画像データ等を取得し、RAM12又は記憶部13に格納する。
以下に、実施形態8に係るPCについて説明する。図32は実施形態8のPCの構成例を示すブロック図である。本実施形態8のPC100は、図1に示したハードウェア各部のほかにカメラ部(撮像手段)17を備える。カメラ部17は、例えば、CCD(Charge Couple Device)等を備える撮像部、撮像部により取得したアナログの画像フレームをデジタルの画像フレームに変換するA/D(アナログ/デジタル)変換器等を備える。カメラ部17は、静止画像データ又は1秒当たり30枚のデジタルの画像フレームを有する動画像データ等を取得し、RAM12又は記憶部13に格納する。
これにより、本実施形態8のPC100では、自身のカメラ部17で撮像して得られた画像データに対して、上述した各実施形態で説明した処理と同様の処理を行なうことができる。
(実施形態9)
以下に、実施形態9に係るPCについて説明する。図33は実施形態9のPCの構成例を示すブロック図である。本実施形態9のPC100は、図1に示したハードウェア各部のほかに、外部記憶装置18を備える。外部記憶装置18は、例えば、CD−ROMドライバ又はDVDドライバ等であり、CD−ROM又はDVD−ROM等である記録媒体18aから、記録媒体18aに格納されたデータを読み出す。
以下に、実施形態9に係るPCについて説明する。図33は実施形態9のPCの構成例を示すブロック図である。本実施形態9のPC100は、図1に示したハードウェア各部のほかに、外部記憶装置18を備える。外部記憶装置18は、例えば、CD−ROMドライバ又はDVDドライバ等であり、CD−ROM又はDVD−ROM等である記録媒体18aから、記録媒体18aに格納されたデータを読み出す。
記録媒体18aは、上述の各実施形態で説明したPC100として動作するために必要な制御プログラムを記録している。外部記憶装置18は、記録媒体18aから制御プログラムを読み出して記憶部13に格納させる。制御部10は、記憶部13に格納された制御プログラムをRAM12に読み出して順次実行し、これにより、本実施形態9のPC100は、上述の各実施形態で説明したPC100と同様の動作を行なう。
記録媒体18aとしては、CD−ROM又はDVD−ROMのほかに、フレキシブルディスク、メモリカード、USB(Universal Serial Bus)メモリ等、各種の記録媒体を用いることができる。
なお、PC100は、インターネット又はLAN(Local Area Network)等のネットワークに接続するための通信部を有してもよい。この場合、PC100は、上述の各実施形態で説明したPC100として動作するために必要な制御プログラムを、ネットワークを介してダウンロードして記憶部13に格納させればよい。
上述した各実施形態では、画像中の所定の対象物の領域を検出した場合に、検出した対象物領域に対応してコメント配置領域を検出し、検出した各情報を検出領域テーブル13aに格納していた。このような構成のほかに、例えば、画像データを読み込んだ時点では対象物領域のみを検出しておき、ユーザによっていずれかの対象物領域から手書き入力が開始された場合に、対象物領域に対応するコメント配置領域の検出処理を開始してもよい。この場合、ユーザが手書き入力を行なった順に各対象物領域に対するコメント判定領域が検出されるので、先にコメント入力された対象物に対するコメントを優先的に広い領域に表示させることが可能となる。
Claims (7)
- 画像を表示部に表示させる画像表示手段と、前記表示部に表示された画像に対して入力される筆跡を受け付ける筆跡受付手段と、該筆跡受付手段が受け付けた筆跡を、前記表示部に表示された画像上に表示させる筆跡表示手段とを備える画像表示装置において、
前記画像に含まれる1又は複数の所定の対象物のそれぞれを含む対象物領域を検出する検出手段と、
該検出手段が検出した対象物領域を示す情報を、前記表示部に表示された画像上に表示させる対象物領域表示手段と、
前記筆跡受付手段が受け付けた筆跡及び前記検出手段が検出した対象物領域に基づいて、前記筆跡が、前記検出手段が検出した対象物領域のいずれかに対する筆跡であるか否かを判定する判定手段と、
該判定手段が前記対象物領域のいずれかに対する筆跡であると判定した場合、前記筆跡がいずれの対象物領域に対する筆跡であるかを特定する対象物特定手段と、
該対象物特定手段が特定した対象物領域に対する前記筆跡を配置させるための配置領域を特定する配置領域特定手段と、
該配置領域特定手段が特定した配置領域に前記筆跡受付手段が受け付けた筆跡を表示させるために前記筆跡に対して行なう変倍処理における変倍率を算出する算出手段と、
該算出手段が算出した変倍率による変倍処理を前記筆跡に行なう変倍手段と、
前記配置領域特定手段が特定した配置領域から、前記変倍手段による変倍処理後の筆跡を表示させるための表示領域を抽出する表示領域抽出手段と、
該表示領域抽出手段が抽出した表示領域に、前記変倍手段による変倍処理後の筆跡を表示させる変倍後筆跡表示手段と
を備える画像表示装置。 - 前記検出手段が検出した対象物領域に対する筆跡を配置させるための配置領域を検出する配置領域検出手段と、
該配置領域検出手段が検出した配置領域を、前記検出手段が検出した対象物領域に対応付けて記憶する記憶手段とを備え、
前記配置領域特定手段は、前記対象物特定手段が対象物領域を特定した場合に、特定した対象物領域に対する配置領域を、前記記憶手段に記憶してある配置領域から選択する請求項1に記載の画像表示装置。 - 前記変倍後筆跡表示手段が表示させた筆跡と、前記対象物特定手段が特定した対象物領域とを対応付ける記号を前記表示部に表示された画像上に表示させる対応付け表示手段を備える請求項1又は2に記載の画像表示装置。
- 前記判定手段は、前記筆跡受付手段が受け付けた一画目の筆跡の開始位置が、前記検出手段が検出したいずれかの対象物領域内にあるか否かに基づいて、前記筆跡が、前記検出手段が検出した対象物領域のいずれかに対する筆跡であるか否かを判定し、
前記対象物特定手段は、前記判定手段によって前記一画目の筆跡の開始位置があると判定された対象物領域に対する筆跡であると特定する請求項1から3までのいずれかひとつに記載の画像表示装置。 - 前記筆跡受付手段が受け付けた筆跡に対して文字列認識を行なう文字列認識手段と、
該文字列認識手段による文字列認識の結果に基づいて、前記筆跡が文字列であるか否かを判定する文字列判定手段とを備え、
前記算出手段は、前記文字列判定手段が文字列であると判定した場合に、前記変倍率を算出する請求項1から4までのいずれかひとつに記載の画像表示装置。 - 画像を表示部に表示させ、表示させた画像に対して入力される筆跡を受け付け、受け付けた筆跡を前記表示部に表示させた画像上に表示させる画像表示方法において、
前記画像に含まれる1又は複数の所定の対象物のそれぞれを含む対象物領域を検出するステップと、
検出した対象物領域を示す情報を、前記表示部に表示された画像上に表示させるステップと、
受け付けた筆跡及び検出した対象物領域に基づいて、前記筆跡が、検出した対象物領域のいずれかに対する筆跡であるか否かを判定するステップと、
前記対象物領域のいずれかに対する筆跡であると判定した場合、前記筆跡がいずれの対象物領域に対する筆跡であるかを特定するステップと、
特定した対象物領域に対する前記筆跡を配置させるための配置領域を特定するステップと、
特定した配置領域に前記筆跡を表示させるために前記筆跡に対して行なう変倍処理における変倍率を算出するステップと、
算出した変倍率による変倍処理を前記筆跡に行なうステップと、
特定した配置領域から、変倍処理後の筆跡を表示させるための表示領域を抽出するステップと、
抽出した表示領域に、前記変倍処理後の筆跡を表示させるステップと
を含む画像表示方法。 - コンピュータに、画像を表示部に表示させ、表示させた画像に対して入力される筆跡を受け付け、受け付けた筆跡を前記表示部に表示させた画像上に表示させるためのコンピュータプログラムにおいて、
コンピュータに、
前記画像に含まれる1又は複数の所定の対象物のそれぞれを含む対象物領域を検出するステップと、
検出した対象物領域を示す情報を、前記表示部に表示された画像上に表示させるステップと、
受け付けた筆跡及び検出した対象物領域に基づいて、前記筆跡が、検出した対象物領域のいずれかに対する筆跡であるか否かを判定するステップと、
前記対象物領域のいずれかに対する筆跡であると判定した場合、前記筆跡がいずれの対象物領域に対する筆跡であるかを特定するステップと、
特定した対象物領域に対する前記筆跡を配置させるための配置領域を特定するステップと、
特定した配置領域に前記筆跡を表示させるために前記筆跡に対して行なう変倍処理における変倍率を算出するステップと、
算出した変倍率による変倍処理を前記筆跡に行なうステップと、
特定した配置領域から、変倍処理後の筆跡を表示させるための表示領域を抽出するステップと、
抽出した表示領域に、前記変倍処理後の筆跡を表示させるステップと
を実行させるためのコンピュータプログラム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2009/051530 WO2010086991A1 (ja) | 2009-01-30 | 2009-01-30 | 画像表示装置、画像表示方法及びコンピュータプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2010086991A1 JPWO2010086991A1 (ja) | 2012-07-26 |
JP5051305B2 true JP5051305B2 (ja) | 2012-10-17 |
Family
ID=42395261
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010548320A Expired - Fee Related JP5051305B2 (ja) | 2009-01-30 | 2009-01-30 | 画像表示装置、画像表示方法及びコンピュータプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20110273474A1 (ja) |
JP (1) | JP5051305B2 (ja) |
WO (1) | WO2010086991A1 (ja) |
Families Citing this family (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5401420B2 (ja) * | 2009-09-09 | 2014-01-29 | パナソニック株式会社 | 撮像装置 |
US8692907B2 (en) * | 2010-09-13 | 2014-04-08 | Sony Corporation | Image capturing apparatus and image capturing method |
JP2012221393A (ja) * | 2011-04-13 | 2012-11-12 | Fujifilm Corp | 校正情報処理装置、校正情報処理方法、プログラム及び電子校正システム |
US9066145B2 (en) * | 2011-06-30 | 2015-06-23 | Hulu, LLC | Commenting correlated to temporal point of video data |
KR102084582B1 (ko) * | 2012-02-24 | 2020-03-04 | 삼성전자 주식회사 | 화면에 표시된 개체의 크기 조정 방법 및 장치 |
KR101935494B1 (ko) * | 2012-03-15 | 2019-01-07 | 삼성전자주식회사 | 그래픽 편집 화면을 갱신하기 위한 그래픽 처리 장치 및 그 방법 |
JP5619066B2 (ja) * | 2012-04-27 | 2014-11-05 | 京セラドキュメントソリューションズ株式会社 | 文書管理装置および文書管理プログラム |
CN103577314B (zh) * | 2012-07-30 | 2016-05-18 | 国际商业机器公司 | 对计算机程序进行测试的方法和设备 |
US9202521B2 (en) * | 2012-10-10 | 2015-12-01 | JVC Kenwood Corporation | Comment creating-displaying device, method of creating and displaying comment, and comment creating and displaying program |
JP5763123B2 (ja) * | 2013-05-09 | 2015-08-12 | グリー株式会社 | 画像配信方法、画像配信サーバ装置及びチャットシステム |
US11169655B2 (en) | 2012-10-19 | 2021-11-09 | Gree, Inc. | Image distribution method, image distribution server device and chat system |
JP6179889B2 (ja) * | 2013-05-16 | 2017-08-16 | パナソニックIpマネジメント株式会社 | コメント情報生成装置およびコメント表示装置 |
JP2015032050A (ja) * | 2013-07-31 | 2015-02-16 | 株式会社東芝 | 表示制御装置、表示制御方法およびプログラム |
US10699454B2 (en) * | 2014-12-30 | 2020-06-30 | Facebook, Inc. | Systems and methods for providing textual social remarks overlaid on media content |
CN105988568B (zh) * | 2015-02-12 | 2020-07-24 | 北京三星通信技术研究有限公司 | 获取笔记信息的方法和装置 |
JP5877263B2 (ja) * | 2015-06-09 | 2016-03-02 | グリー株式会社 | 画像配信方法、画像配信サーバ装置及びチャットシステム |
US10311366B2 (en) * | 2015-07-29 | 2019-06-04 | Adobe Inc. | Procedurally generating sets of probabilistically distributed styling attributes for a digital design |
KR102522565B1 (ko) * | 2016-08-31 | 2023-04-17 | 삼성전자주식회사 | 영상 표시 장치 및 그 동작 방법 |
WO2020196384A1 (ja) * | 2019-03-25 | 2020-10-01 | 富士フイルム株式会社 | 画像処理装置、画像処理方法及びプログラム、撮影装置 |
US11270485B2 (en) * | 2019-07-22 | 2022-03-08 | Adobe Inc. | Automatic positioning of textual content within digital images |
US11295495B2 (en) | 2019-10-14 | 2022-04-05 | Adobe Inc. | Automatic positioning of textual content within digital images |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000113208A (ja) * | 1998-09-30 | 2000-04-21 | Toshiba Corp | 情報呈示方法および情報呈示装置および記録媒体 |
JP2008219399A (ja) * | 2007-03-02 | 2008-09-18 | Nikon Corp | カメラおよび画像処理プログラム |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0381817A (ja) * | 1989-08-25 | 1991-04-08 | Hitachi Ltd | 手書入力情報処理装置およびこの手書入力情報処理装置を用いた手書入力情報システム |
JP2939119B2 (ja) * | 1994-05-16 | 1999-08-25 | シャープ株式会社 | 手書き文字入力表示装置および方法 |
US20030071850A1 (en) * | 2001-10-12 | 2003-04-17 | Microsoft Corporation | In-place adaptive handwriting input method and system |
US7639876B2 (en) * | 2005-01-14 | 2009-12-29 | Advanced Digital Systems, Inc. | System and method for associating handwritten information with one or more objects |
US7295206B2 (en) * | 2005-01-31 | 2007-11-13 | Microsoft Corporation | Ink input region adjustments |
JP4563247B2 (ja) * | 2005-04-28 | 2010-10-13 | 富士通株式会社 | 学習支援システムおよび学習支援プログラム |
JP4602166B2 (ja) * | 2005-06-07 | 2010-12-22 | 富士通株式会社 | 手書き情報入力装置。 |
JP2008158788A (ja) * | 2006-12-22 | 2008-07-10 | Fujifilm Corp | 情報処理装置および情報処理方法 |
-
2009
- 2009-01-30 JP JP2010548320A patent/JP5051305B2/ja not_active Expired - Fee Related
- 2009-01-30 WO PCT/JP2009/051530 patent/WO2010086991A1/ja active Application Filing
-
2011
- 2011-07-22 US US13/188,804 patent/US20110273474A1/en not_active Abandoned
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000113208A (ja) * | 1998-09-30 | 2000-04-21 | Toshiba Corp | 情報呈示方法および情報呈示装置および記録媒体 |
JP2008219399A (ja) * | 2007-03-02 | 2008-09-18 | Nikon Corp | カメラおよび画像処理プログラム |
Also Published As
Publication number | Publication date |
---|---|
US20110273474A1 (en) | 2011-11-10 |
JPWO2010086991A1 (ja) | 2012-07-26 |
WO2010086991A1 (ja) | 2010-08-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5051305B2 (ja) | 画像表示装置、画像表示方法及びコンピュータプログラム | |
KR20210023680A (ko) | 증강 현실 환경에서의 콘텐트 생성 | |
JP5294818B2 (ja) | 情報処理装置及び情報処理方法 | |
CN104583902A (zh) | 改进的手势的识别 | |
KR101631011B1 (ko) | 제스처 인식 장치 및 제스처 인식 장치의 제어 방법 | |
KR20140002007A (ko) | 정보 처리 장치, 정보 처리 방법 및 기록 매체 | |
ES2974080T3 (es) | Procedimiento y aparato para fotografiar imágenes | |
TW201322049A (zh) | 電子設備及其文本導讀方法 | |
JP6141108B2 (ja) | 情報処理装置およびその方法 | |
KR101397845B1 (ko) | 얼굴 인식 방법 및 기계로 읽을 수 있는 저장 매체 및 얼굴 인식 장치 | |
JP5964603B2 (ja) | データ入力装置、及び表示装置 | |
US20180032142A1 (en) | Information processing apparatus, control method thereof, and storage medium | |
CN106104451A (zh) | 终端装置、显示控制方法以及程序 | |
JP2005134966A (ja) | 顔画像候補領域検索方法及び検索システム並びに検索プログラム | |
CN114360047A (zh) | 举手手势识别方法、装置、电子设备及存储介质 | |
US20160378312A1 (en) | Terminal device, display control method, and non-transitory computer-readable recording medium | |
JP2007241833A (ja) | 認識装置、認識システム、形状認識方法、プログラム及びコンピュータ読み取り可能な記録媒体 | |
JP6230666B2 (ja) | データ入力装置、データ入力方法、及びデータ入力プログラム | |
JP4675718B2 (ja) | 動作判別装置、動作判別プログラムおよびコンピュータ読取り可能な記録媒体 | |
JP2013046374A (ja) | 画像処理装置 | |
JP2016025625A (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP7216491B2 (ja) | ユーザー選択補助装置、画像形成装置、ユーザー選択補助方法およびユーザー選択補助プログラム | |
JP2007241370A (ja) | 携帯装置及び撮像装置 | |
JP6872123B2 (ja) | 画像処理装置、及びプログラム | |
CN111079662A (zh) | 一种人物识别方法、装置、机器可读介质及设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120626 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120709 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150803 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |