JP6547804B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関する。

写真日記や写真俳句等、画像とテキストとを含み、それらがレイアウトされた印刷物を作成できる印刷装置が知られている。例えば写真入りの日記を一覧表示する際に、カレンダー上に作成した写真入り日記のファイル名や作成物の縮小画像や色別のマーク等を表示することがある。作成物を一覧表示する場合、ファイル名やマーク等ではなく、作成物の縮小画像を作成日時に合わせてカレンダー上に表示することは、作成物の内容を把握しやすくなるため好まれる。しかしながら、作成物の画像を縮小した結果として画像が見えにくくなる場合がある。特に同じ日付に複数の作成物がある場合に、画像をさらに小さくすると見えにくさはさらに増す。

例えば特許文献１には、画像データに基づいてサムネイル画像を生成し、生成したサムネイル画像をカレンダー画像上の表示領域に割り当てる技術が開示されている。しかしながら、特許文献１に開示されている技術では、一覧表示されるサムネイル画像は、全体画像の単なる縮小であり、縮小率が高くなると、何の画像が表されているのか認識され難くなる。

例えば特許文献２には、所望の画像を目視検索しやすい程度に大きく表示し、統一感がある表示画面で機能的美観を有するカレンダー表示を行うための技術が開示されている。しかしながら、特許文献２に開示されている技術では、ある程度大きな表示画面が必要となる。

特開２００６−１１５１２６号公報 特開２００６−１３５４３０号公報

上述のとおり、画像を含む文書を管理する際に、文書に含まれる画像の縮小画像が表示されることは、文書の内容の把握と一覧性とを両立するために有効である。この際、縮小画像は、認識されやすい画像であることが望まれる。

本発明は、認識されやすい特徴画像の抽出又は認識を行うことを目的とする。

請求項１は、画像に対応付けられたデータの中から特定キーワードを検出して取得する取得手段と、前記取得手段で取得された特定キーワードに対応するジャンルを選択する選択手段と、前記選択手段で選択されたジャンルに係る特徴画像を、前記画像の中から抽出する抽出手段と、を具備したことを特徴とする。
請求項５は、画像に対応付けられたデータの中から特定キーワードを検出して取得する取得手段と、前記取得手段で取得された特定キーワードに関連付けられた画像認識方法を選択する選択手段と、前記選択手段で選択された画像認識方法に基づいて、前記画像から特徴画像を認識する認識手段と、を具備したことを特徴とする。

本発明によれば、認識されやすい特徴画像の抽出又は認識を行うことができる。

一実施形態に係る印刷装置の一例の外観の概略を示す斜視図。 一実施形態に係る印刷装置の構成の概略を示すブロック図。 一実施形態に係る印刷装置によって作成される写真入り日記の一例を示す図。 一実施形態に係る印刷装置によって作成されるカレンダーの一例を示す図。 一実施形態に係る印刷装置による写真入り日記管理処理の一例を示すフローチャート。 一実施形態に係る印刷装置による写真入り日記の編集画面の一例を示す図。 一実施形態に係る印刷装置によって作成される写真入り日記の一例を示す図。 一実施形態に係る印刷装置によって作成される写真入り日記の一例を示す図。 一実施形態に係る印刷装置によって作成される写真入り日記の一例を示す図。 一実施形態に係る印刷装置による特徴サムネイル画像生成処理の一例を示すフローチャート。 一実施形態に係る印刷装置が有するキーワードリストの一例を示す図。 一実施形態に係る印刷装置による特徴画像の抽出を説明するための図。 一実施形態に係る印刷装置による特徴画像の抽出を説明するための図。 一実施形態に係る印刷装置による特徴画像の抽出を説明するための図。 一実施形態に係る印刷装置によるカレンダー一覧表示処理の一例を示すフローチャート。 一実施形態に係る印刷装置によって作成されるカレンダーの一例を示す図。

本発明の一実施形態について図面を参照して説明する。本実施形態に係る印刷装置１００の外観の概略を図１に示す。印刷装置１００は、例えば日記やはがきといった文書のデザインを作成し、作成したデザインの日記やはがきを印刷する印刷装置である。印刷装置１００によれば、日記等のデザイン作成やその管理や印刷等を１台の機械で行うことができる。図１に示されるように、印刷装置１００は、本体としての箱形の筐体１９２と、表示パネル１９４と、キーボード１５０と、を備える。

キーボード１５０は、筐体１９２の前方に配置されている。キーボード１５０は、筐体１９２の前面下端近傍に設けた取付軸１５２により筐体１９２に対してキーボード１５０が回動するように装着されている。キーボード１５０は、使用される状態では図１に示されるように前方に倒され、使用されない状態では筐体１９２の前面と対向した状態で収納される。

表示パネル１９４は、筐体１９２の上面に設けられている。表示パネル１９４は、例えば液晶表示素子を含む表示部１３０と、表示部１３０の表示面に設けられたタッチパネル１４０と、を備える。表示部１３０は、印刷する日記やカレンダー等の画像や、メニュー画面等の各種画像を表示する。タッチパネル１４０は、スタイラスペンやユーザの指等による接触の位置を検出する。また、表示パネル１９４には、スピーカを含む音声出力部１６０も備えられている。

表示パネル１９４は、その手前側の端部において図示しない支持軸により筐体１９２の上面の手前側の端部に対して回動可能に取り付けられている。印刷装置１００が使用される状態では、表示パネル１９４の筐体１９２の上面に対する傾斜角度は、自由な角度に調整され得る。印刷装置１００が使用されない状態では、表示パネル１９４は、筐体１９２の上面と平行にされる。

筐体内には、印刷を行うための機構が設けられている。筐体１９２の上面には、印刷用紙が供給される供給口１７４が設けられている。筐体１９２の前面には、印字や写真印刷等が完了した印刷用紙が排出される排紙口１７２が設けられている。

また、筐体１９２の前面には、可搬型記憶媒体が挿入される複数種類の記憶媒体挿入口１８２が設けられている。印刷装置１００は、記憶媒体挿入口１８２を備えることにより、可搬型記憶媒体からデジタルカメラで撮影された写真の画像データ等を取り込むことができる。また、印刷装置１００は、編集したデータを可搬型記憶媒体に保存できる。また、印刷装置１００には、印刷用のインクカートリッジが設置されるインクカートリッジ交換口１７６等が設けられている。

筐体１９２には、コ字型の取っ手１９６が設けられている。取っ手１９６は、筐体１９２の後方側から筐体１９２の上方までの間を回動可能に装着されている。取っ手１９６は、印刷装置１００の運搬時等に把持されて使用される。

印刷装置１００の構成例の概略を図２のブロック図に示す。この図に示されるように、印刷装置１００は、画像処理制御部１１０を備える。画像処理制御部１１０は、例えばＣＰＵを有する。画像処理制御部１１０は、制御プログラムに従って各種演算を行い、印刷装置１００の各部を制御する。画像処理制御部１１０は、後述の写真入り日記管理処理やこの処理に含まれる画像処理を行う。画像処理制御部１１０には、記憶部１２０が接続されている。記憶部１２０は、ＲＯＭやＲＡＭ等を含む。ＲＯＭには、例えば制御プログラムが記録されている。ＲＯＭには、例えば文書編集時に使用する文字フォントや印刷の字体のデータ、編集する印刷用紙の規格データ、その他の制御プログラム等が記憶されている。他のプログラムには、例えば、画像データを印刷データに変換する印刷データ生成プログラムや、印刷データに従って印刷ヘッド等を制御する印刷制御プログラム等が含まれる。また、ＲＡＭは、例えばワークメモリとして用いられる。また、記憶部１２０には、後述するキーワードを含むキーワードリスト１２２が記憶されている。

画像処理制御部１１０には、表示制御部１３２が接続されている。表示制御部１３２は、画像処理制御部１１０の制御下で、表示部１３０の動作を制御し、表示部１３０に各種画像を表示させる。また、画像処理制御部１１０には、タッチパネル制御部１４２が接続されている。タッチパネル制御部１４２は、画像処理制御部１１０の制御下で、タッチパネル１４０の動作を制御する。タッチパネル制御部１４２は、ユーザによるタッチパネル１４０上のタッチの位置を取得し、その位置を画像処理制御部１１０に出力する。また、画像処理制御部１１０には、キーボード１５０が接続されており、キーボード１５０によってユーザによる入力が画像処理制御部１１０に対して行われる。

画像処理制御部１１０には、音声出力部１６０が接続されている。音声出力部１６０は、画像処理制御部１１０の制御下で音声を出力する。また、画像処理制御部１１０には、印刷部１７０が接続されている。印刷部１７０は、画像処理制御部１１０の制御下で、例えば写真入り日記やカレンダーやはがきを印刷する。画像処理制御部１１０には、記憶媒体接続部１８０が接続されている。記憶媒体接続部１８０には、可搬型記憶媒体１８４が接続され、可搬型記憶媒体１８４からのデータの読み出しや、可搬型記憶媒体１８４へのデータの書き込みが行われる。

本実施形態に係る印刷装置１００は、文書としての写真入り日記を作成し管理するための機能を有する。印刷装置１００によれば、ユーザは、図３に示されるような写真入り日記９１０を容易に作成できる。写真入り日記９１０には、例えば見出し９１２と、画像９１４と、本文９１６と、が含まれる。また、作成した写真入り日記を管理するために、印刷装置１００は、図４に示されるようなカレンダー９２０を作成する。このカレンダー９２０には、作成された写真入り日記に応じて特徴サムネイル画像９２２が挿入される。この特徴サムネイル画像９２２は、作成された写真入り日記９１０の日付と関連付けられた位置に挿入される。また、特徴サムネイル画像９２２は、写真入り日記９１０に含まれる画像９１４の一部であって、当該作成された写真入り日記９１０の内容をよく表す画像となっている。

このような写真入り日記の作成や管理を行うために、画像処理制御部１１０は、図２に示されるように、日記作成部１１１とキーワード選択部１１２と、認識方法選択部１１３と、特徴画像抽出部１１４と、特徴サムネイル画像生成部１１５と、カレンダー作成部１１６と、を有する。日記作成部１１１は、ユーザの指示に応じて図３に示されるような写真入り日記を作成するための各種演算処理を行う。

キーワード選択部１１２は、単語抽出部１１２１と、キーワード比較部１１２２と、見出しキーワード選択部１１２３と、本文キーワード選択部１１２４と、関連性解析部１１２５と、を有する。単語抽出部１１２１は、写真入り日記に含まれる見出しや本文に含まれるテキストのうちの、特徴的な単語を抽出する。キーワード比較部１１２２は、記憶部１２０に記憶されたキーワードリスト１２２に含まれるキーワードと、単語抽出部１１２１で抽出された単語と、を比較して、抽出された単語から適切なキーワードを選択する。また、見出しキーワード選択部１１２３は、キーワードリスト１２２に含まれるキーワードと、見出しから抽出された単語と、を比較し、見出しから抽出された単語から適切な見出しキーワードを選択する。本文キーワード選択部１１２４は、キーワードリスト１２２に含まれるキーワードと、本文から抽出された単語と、を比較し、本文から抽出された単語から適切な本文キーワードを選択する。関連性解析部１１２５は、見出しキーワードと本文キーワードとの関連性を解析し、見出しキーワードと本文キーワードとの中から適切なキーワードを選択する。

認識方法選択部１１３は、キーワード選択部１１２で選択されたキーワードに基づいて、画像認識の方法を選択する。特徴画像抽出部１１４は、写真入り日記に含まれる画像から、認識方法選択部１１３で選択された画像認識方法を用いて、キーワードに関連する特徴画像を抽出する。特徴サムネイル画像生成部１１５は、特徴画像に基づいて、特徴画像の縮小画像であってカレンダー表示に用いられる特徴サムネイル画像を生成する。

カレンダー作成部１１６は、特徴サムネイル画像生成部１１５で作成された特徴サムネイル画像を用いて、図４に示されるようなカレンダーを作成する。図３に示されるような写真入り日記は、同日に複数作成される場合もある。このため、カレンダー作成部１１６は、同日日記数判定部１１６１と、サイズ変更部１１６２と、を有する。すなわち、同日日記数判定部１１６１は、同日に作成された日記数を判定する。サイズ変更部１１６２は同日に作成された日記数に応じて、特徴サムネイル画像がカレンダーの日付枠に収まるように、すなわち、カレンダー表示に適するように、特徴サムネイル画像をリサイズする。

本実施形態に係る印刷装置１００は、写真入り日記を作成し管理するための機能を有する。写真入り日記に係る写真入り日記管理処理のメイン処理を、図５に示すフローチャートを参照して説明する。

ステップＳ１０１において、画像処理制御部１１０は、写真入り日記を新規に作成するか否かを判定する。すなわち、画像処理制御部１１０は、例えば表示部１３０にメニュー画面を表示させ、写真入り日記の新規作成が選択されたか否かを判定する。新規作成が選択されていないと判定されたとき、処理はステップＳ１０４に進む。一方、新規作成が選択されたと判定されたとき、処理はステップＳ１０２に進む。ステップＳ１０２において、画像処理制御部１１０は、写真入り日記作成処理を行う。写真入り日記作成処理では、画像処理制御部１１０は、ユーザによるタッチパネル１４０やキーボード１５０からの入力に従って、ユーザが所望する写真入り日記を作成する。本実施形態に係る写真入り日記は、例えば、見出しテキストと、画像と、本文テキストと、を含む。写真入り日記のレイアウトの一例を含む編集画面の一例を図６に示す。表示部１３０には、例えば図６に示されるような画像が表示される。ユーザは、操作パネル２２０をタッチすることで、表示部１３０上に配置されたタッチパネル１４０を介して入力を行う。また、ユーザはキーボード１５０を用いて入力を行うことができる。ユーザは、これらの入力手段を用いて写真入り日記２１０を作成する。写真入り日記２１０は、例えば「見出しテキスト」領域２１１と、「画像」領域２１２と、「本文テキスト」領域２１３と、を含む。

写真入り日記作成処理において、ユーザは例えば「画像」領域２１２を選択する。このとき画像処理制御部１１０は、記憶部１２０又は可搬型記憶媒体１８４に記憶されている画像ファイルを表示部１３０に表示させて、ユーザに画像の選択を促す。画像処理制御部１１０は、ユーザによるタッチパネル１４０やキーボード１５０への入力を取得し、選択された画像を「画像」領域２１２に挿入する。この際に画像処理制御部１１０は、ユーザからの入力に応じて挿入する画像のトリミングを行うようにしてもよい。

また、例えばユーザが「見出しテキスト」領域２１１を選択したとき、その後のユーザによるタッチパネル１４０やキーボード１５０への入力に応じて、「見出しテキスト」領域２１１に入力されたテキストを挿入する。なお、この欄には、例えば編集している写真入り日記のタイトルが挿入される。

また同様に、例えばユーザが「本文テキスト」領域２１３を選択したとき、その後のユーザによるタッチパネル１４０やキーボード１５０への入力に応じて、「本文テキスト」領域２１３に入力されたテキストを挿入する。なお、「本文テキスト」領域２１３には、例えば画像についての説明や感想等ユーザによる自由な文章が挿入される。さらに、写真入り日記には、ユーザによって入力される、又は作成日に応じて決定される日付情報が付加される。

写真入り日記作成処理によって、例えば図７、図８及び図９のような写真入り日記が作成される。画像処理制御部１１０は、このような写真入り日記のデータを、それぞれ「日記データ」として記憶部１２０に記憶させる。この日記データは、その日付に基づいて、カレンダー一覧表示される。カレンダー一覧表示では、各日記データの「画像」領域２１２に含まれる画像のサムネイル画像が、カレンダー上に表示される。本実施形態では、カレンダー一覧表示におけるサムネイル表示として、登録された画像の一部であって各日記データの内容をよく表す「特徴サムネイル画像」がカレンダー上に表示される。

以下では、説明のため、図７に示される日記データの一例を第１の日記データと称し、図８に示される日記データの一例を第２の日記データと称し、図９に示される日記データの一例を第３の日記データと称することにする。

ステップＳ１０２における写真入り日記作成処理が終了すると、処理はステップＳ１０３に進む。すなわち、１つの日記データが作成される毎に、処理はステップＳ１０３に進む。ステップＳ１０３において、画像処理制御部１１０は、カレンダー一覧表示において表示される特徴サムネイル画像を生成する特徴サムネイル画像生成処理を行う。特徴サムネイル画像生成処理について、図１０に示されるフローチャートを参照して説明する。

ステップＳ２０１において、画像処理制御部１１０は、記憶部１２０のＲＡＭ領域を初期化する。ステップＳ２０２において、画像処理制御部１１０は、作成された日記データの「本文テキスト」から特徴的な単語を抽出する。例えば第１の日記データからは、「土曜日」「里奈」「菜の花」「公園」等の単語が抽出される。例えば第２の日記データからは、「シャッター」「晴天」「山」等の単語が抽出される。例えば第３の日記データからは、「夏」「近所」「向日葵」等の単語が抽出される。

ステップＳ２０３において、画像処理制御部１１０は、ステップＳ２０２で抽出した単語と予め用意してあるキーワードリストに含まれるキーワードとを比較する。キーワードリストの一例を図１１に示す。この図に示されるように、キーワードリストには、被写体になることが多いものや被写体と関連性がある単語等がキーワードとして設定されている。図１１に示される以外にも、自然に関する単語や、「鳥」や「犬」等の生物の名称に係る単語等もキーワードになり得る。また、各キーワードには、関連するジャンルが設定されている。ジャンルには、例えば「人」「風景」「花」等がある。このキーワードリストは、予め設定されていてもよいし、抽出された単語に基づいて更新されてもよいし、ユーザによって追加や削除が行われてもよい。

ステップＳ２０４において、画像処理制御部１１０は、抽出された単語とキーワードリストに含まれる単語とが一致しているか否かを判定する。抽出された単語とキーワードリストに含まれる単語とが一致していると判定されたとき、処理はステップＳ２０５に進む。例えば、第１の日記データにおいては、「里奈」「菜の花」「公園」という単語について一致していると判定される。例えば、第２の日記データにおいては、「晴天」「山」という単語について一致していると判定される。例えば、第３の日記データにおいては、「向日葵」という単語について一致していると判定される。ステップＳ２０５において、画像処理制御部１１０は、一致したと判定された単語を画像認識用キーワードの本文キーワードとして記憶部１２０に記憶させる。

ステップＳ２０６において、画像処理制御部１１０は、本文キーワードは複数であるか否かを判定する。本文キーワードは複数であると判定されたとき、処理はステップＳ２０８に進む。一方、本文キーワードは複数でないと判定されたとき、すなわち、本文キーワードは１つであると判定されたとき、処理はステップＳ２０７に進む。ステップＳ２０７において、画像処理制御部１１０は、本文キーワードに対応するジャンルを、後の画像認識に用いる認識ジャンルとして記憶部１２０に記憶させる。その後、処理はステップＳ２１５に進む。

ステップＳ２０８において、画像処理制御部１１０は、日記データの「見出しテキスト」から単語を抽出する。例えば第１の日記データからは、「孫」「休日」等の単語が抽出される。例えば第２の日記データからは、「絶景」等の単語が抽出される。例えば第３の日記データからは、「夏」等の単語が抽出される。

ステップＳ２０９において、画像処理制御部１１０は、ステップＳ２０８で抽出した単語とキーワードリストとを比較する。ステップＳ２１０において、画像処理制御部１１０は、ステップＳ２０７で抽出された単語とキーワードリストに含まれる単語とが一致しているか否かを判定する。一致していると判定されたとき、処理はステップＳ２１２に進む。一方、抽出された単語とキーワードリストに含まれる単語とが一致していないと判定されたとき、処理はステップＳ２１１に進む。

例えば、第１の日記データにおいては、「孫」という単語について一致していると判定される。例えば、第２の日記データにおいては、「絶景」という単語について一致していると判定される。例えば、第３の日記データにおいては、一致している単語が無いと判定される。

ステップＳ２１１において、画像処理制御部１１０は、ステップＳ２０５において記憶部１２０に記憶された本文キーワードに基づいて、認識ジャンルを決定する。ここで、本文キーワードは複数あるので、以下の規則に従って、ジャンルを決定する。複数の本文キーワードの全てのジャンルが共通であるとき、当該ジャンルを認識ジャンルとする。複数の本文キーワードのジャンルについて異なる複数のジャンルが存在し、かつ各ジャンルの数が同数である場合（例えば「人」が１つと「風景」が１つである等の場合）、「人」を優先し、「人」を認識ジャンルとする。各ジャンルの数が異なる場合（例えば「人」が１つと「風景」が２つである場合等）、数が多いジャンル（例えば「風景」）を優先して認識ジャンルとする。その後、処理はステップＳ２１５に進む。

ステップＳ２１２において、画像処理制御部１１０は、キーワードリストに含まれる単語と一致した単語を画像認識用キーワードの見出しキーワードとして記憶部１２０に記憶させる。ステップＳ２１３において、画像処理制御部１１０は、ステップＳ２０５で記憶された本文キーワードと、ステップＳ２１２で記憶された見出しキーワードとの関連性を解析し、最も関連性の高いと思われるキーワードを決定する。関連性の決定は、ジャンルの比較により行われ、ジャンルが同じキーワードは関連性が高いと評価される。ステップＳ２１２において記憶された見出しキーワードが複数であり、ジャンルが異なる場合は、関連性が高いと評価されるキーワードは複数になる。

例えば第１の日記データにおいては、ステップＳ２０５で記憶される本文キーワードが「里奈（人）」「菜の花（花）」「公園（場所）」であり、ステップＳ２１２で記憶される見出しキーワードが「孫（人）」であるので、「孫」のジャンルが人であることから、「里奈」が最も関連性の高いキーワードであると決定される。例えば第２の日記データにおいては、ステップＳ２０５で記憶される本文キーワードが「晴天（風景）」「山（風景）」であり、ステップＳ２１２で記憶される見出しキーワードが「絶景（風景）」であるので、「晴天」及び「山」のジャンルが風景であることから、「晴天」「山」の両方とも関連性の高いキーワードであると決定される。

ステップＳ２１４において、画像処理制御部１１０は、ステップＳ２１３において関連性が高いと決定されたキーワードのジャンルを認識ジャンルとして記憶部１２０に記憶させる。全てのジャンルが共通であるとき、当該ジャンルを認識ジャンルとする。異なる複数のジャンルが存在し、かつ各ジャンルに対応するキーワードの数が同数である場合（例えば「人」が１つと「風景」が１つである等の場合）、「人」を優先し、「人」を認識ジャンルとする。各ジャンルに対応するキーワードの数が異なる場合（例えば「人」が１つと「風景」が２つである場合等）、数が多い方のジャンル（例えば「風景」）を優先して認識ジャンルとする。その後、処理はステップＳ２１５に進む。

ステップＳ２１５において、画像処理制御部１１０は、ステップＳ２０７、ステップＳ２１１又はステップＳ２１４で決定され記憶された認識ジャンルに基づいて、画像認識方法を設定する。例えば、認識ジャンルが「人」である場合、顔認識が画像認識方法とされる。認識ジャンルが「風景」である場合、風景認識が画像認識方法とされる。認識ジャンルが「花」である場合、花認識が画像認識方法とされる。

ステップＳ２１６において、画像処理制御部１１０は、ステップＳ２１５で設定された画像認識方法に基づいて、画像認識処理を行う。例えば、第１の日記データにおいては、認識ジャンルが「人」であるので顔認識処理が行われる。例えば、第２の日記データにおいては、認識ジャンルが「風景」であるので風景認識処理が行われる。例えば、第３の日記データにおいては、認識ジャンルが「花」であるので花認識処理が行われる。

ステップＳ２１７において、画像処理制御部１１０は、ステップＳ２１６において認識された画像をカレンダー一覧表示に用いる特徴サムネイル画像のために、表示用の縦横比でトリミングする。例えば、第１の日記データにおいては、図１２に示されるように、人の顔がトリミングされる。画像に複数の顔が含まれている場合は、記憶部１２０に記憶された顔データに基づいて所定の顔が選択されるように構成されてもよいし、ユーザに複数の顔を提示してユーザによって選択されるように構成されてもよいし、複数の顔を並べるように構成されてもよい。第２の日記データにおいては、図１３に示されるように、風景がトリミングされる。なお、風景の場合は、トリミングが行われずに、画像全体についてサムネイル画像が作成されるように構成されてもよい。第３の日記データにおいては、図１４に示されるように、花がトリミングされる。ステップＳ２１８において、画像処理制御部１１０は、ステップＳ２１７においてトリミングされた画像を表示用サイズにリサイズし、特徴サムネイル画像を生成する。その後、処理はステップＳ２２０に進む。

ステップＳ２０４において、抽出された単語とキーワードリストのキーワードとが一致しないと判定されたとき、処理はステップＳ２１９に進む。ステップＳ２１９において、画像処理制御部１１０は、「画像」領域２１２に挿入された画像全体のサムネイル画像を生成する。その後、処理はステップＳ２２０に進む。なお、ステップＳ２０４において、抽出された単語とキーワードリストのキーワードとが一致しないと判定されたとき、抽出された単語をキーワードリストに追加するか否かをユーザに問い合わせるようにしてもよい。ユーザがキーワードリストを追加することを希望するときは、抽出された単語に基づいてキーワードリストの編集が行われる。

ステップＳ２２０において、画像処理制御部１１０は、ステップＳ２１８において生成された特徴サムネイル画像、又はステップＳ２１９で生成されたサムネイル画像を、当該日記データのサムネイル画像として記憶部１２０に記憶させる。その後、特徴サムネイル画像生成処理は終了し、処理は図５を参照して説明しているメインフローに戻る。

なお、上述の特徴サムネイル画像生成処理では、各日記データにつきサムネイル画像を１つ生成する例を示したが、これに限らない。例えば、複数のサムネイル画像が生成されてもよい。また、複数のサムネイル画像が生成されて、ユーザに提示され、ユーザが選択したサムネイル画像が保存されるように構成されてもよい。

特徴サムネイル画像生成処理の後、画像処理制御部１１０は、表示部１３０にメニュー画面を表示させ、処理はステップＳ１０４に進む。ステップＳ１０４において、画像処理制御部１１０は、カレンダー一覧表示が選択されたか否かを判定する。カレンダー一覧表示が選択されていないと判定されたとき、処理はステップＳ１１４に進む。一方、カレンダー一覧表示が選択されたと判定されたとき、処理はステップＳ１０５に進む。ステップＳ１０５において、画像処理制御部１１０は、カレンダー一覧表示処理を行う。カレンダー一覧表示処理について、図１５に示すフローチャートを参照して説明する。

ステップＳ３０１において、画像処理制御部１１０は、ＲＡＭ領域を初期化する。ステップＳ３０２において、画像処理制御部１１０は、記憶部１２０に記憶されている日記データの日付情報を読み取る。ステップＳ３０３において、画像処理制御部１１０は、読み取るサムネイル画像を表す読取りカウンタを更新する。

ステップＳ３０４において、画像処理制御部１１０は、読み取るべきサムネイル画像があるか否かを判定する。読み取るべきサムネイル画像がないとき、カレンダー一覧表示処理は終了し、図５を参照して説明しているメインフローに戻る。一方、読み取るべきサムネイル画像があるとき、処理はステップＳ３０５に進む。

ステップＳ３０５において、画像処理制御部１１０は、同日に表示すべきサムネイル画像が複数あるか否かを判定する。複数ないと判定されたとき、処理はステップＳ３０６に進む。ステップＳ３０６において、画像処理制御部１１０は、サムネイル画像の表示サイズを１枚用サイズに設定する。この１枚用サイズは、例えばデフォルトで設定されたサイズである。その後、処理はステップＳ３０８に進む。

ステップＳ３０５の判定において、表示すべきサムネイル画像が複数あると判定されたとき、処理はステップＳ３０７に進む。ステップＳ３０７において、画像処理制御部１１０は、同日に表示すべきサムネイル画像の数と表示エリアの大きさとに応じて、サムネイル画像の表示サイズを算出する。その後、処理はステップＳ３０８に進む。

ステップＳ３０８において、画像処理制御部１１０は、記憶部１２０から記憶されているサムネイル画像を読み取る。ステップＳ３０９において、画像処理制御部１１０は、ステップＳ３０６又はステップＳ３０７で設定されたサムネイルサイズに基づいて、ステップＳ３０８で読み取ったサムネイル画像をリサイズし、当該サムネイル画像をカレンダー上に挿入し表示させる。その後、処理はステップＳ３０３に戻る。

以上のカレンダー一覧表示処理により、例えば図１６に示すようなカレンダー一覧表示が行われる。すなわち、日記データをよく表すサムネイル画像が、カレンダーにおける日記データの日付に対応した位置に表示される。

図５に戻って、メインフローについて説明する。ステップＳ１０５のカレンダー一覧表示処理の後、処理はステップＳ１０６に進む。ステップＳ１０６において、画像処理制御部１１０は、カレンダーの印刷が選択されたか否かを判定する。カレンダーの印刷が選択されていないと判定されたとき、処理はステップＳ１０８に進む。一方、カレンダーの印刷が選択されたと判定されたとき、処理はステップＳ１０７に進む。ステップＳ１０７において、画像処理制御部１１０は、カレンダー印刷処理を行う。すなわち、画像処理制御部１１０は、例えば図１６に示されるような表示部１３０に表示されたカレンダーを、印刷部１７０に印刷させる。

ステップＳ１０８において、画像処理制御部１１０は、カレンダー一覧表示によって、写真入り日記が選択されたか否かを判定する。例えば図１６に示されるようなカレンダーにおいて、特徴サムネイル画像がタッチされたことをタッチパネル１４０が検出したとき、当該特徴サムネイル画像に対応する写真入り日記が選択されたと判定される。写真入り日記が選択されていないと判定されたときであって、カレンダー一覧表示が終了のとき、画像処理制御部１１０は、表示部１３０にメニュー画面を表示させ、処理はステップＳ１１４に進む。一方、ステップＳ１０８において写真入り日記が選択されたと判定されたとき、処理はステップＳ１０９に進む。

ステップＳ１０９において、画像処理制御部１１０は、選択された写真入り日記を表示部１３０に表示させる。ステップＳ１１０において、画像処理制御部１１０は、日記の編集が選択されたか否かを判定する。日記の編集が選択されていないと判定されたとき、処理はステップＳ１１２に進む。一方、日記の編集が選択されたと判定されたとき、処理はステップＳ１１１に進む。ステップＳ１１１において、画像処理制御部１１０は、日記編集処理を行う。すなわち、画像処理制御部１１０は、図６に示されるような日記編集画面に、選択された写真入り日記を表示させ、ユーザに写真入り日記の編集を行わせる。日記編集処理の後、処理はステップＳ１１２に進む。

ステップＳ１１２において、画像処理制御部１１０は、写真入り日記の印刷が選択されたか否かを判定する。写真入り日記の印刷が選択されていないと判定されたときであって、日記表示の終了が選択されたとき、画像処理制御部１１０は、表示部１３０にメニュー画面を表示させ、処理はステップＳ１１４に進む。一方、写真入り日記の印刷が選択されていると判定されたとき、処理はステップＳ１１３に進む。ステップＳ１１３において、画像処理制御部１１０は、選択されている写真入り日記を、印刷部１７０に印刷させる。写真入り日記の印刷が行われた後、日記表示の終了が選択されたとき、画像処理制御部１１０は、表示部１３０にメニュー画面を表示させ、処理はステップＳ１１４に進む。

ステップＳ１１４において、画像処理制御部１１０は、キーワードリストの編集が選択されたか否かを判定する。キーワードリストの編集が選択されていないと判定されたとき、処理はステップＳ１１６に進む。一方、キーワードリストの編集が選択されたと判定されたとき、処理はステップＳ１１５に進む。ステップＳ１１５において、画像処理制御部１１０は、キーワードリスト編集処理を行う。すなわち、画像処理制御部１１０は、キーワードリストを表示部１３０に表示させ、ユーザからの入力に従って、キーワードの編集を行う。その後、処理はステップＳ１１６に進む。ステップＳ１１６において、画像処理制御部１１０は、写真入り日記管理処理の終了が選択されたか否かを判定する。終了が選択されていないと判定されたとき、処理はステップＳ１０１に戻る。一方、終了が選択されたと判定されたとき、写真入り日記管理処理は終了する。

本実施形態によれば、画像とテキストとを含む文書としての写真入り日記の管理において、カレンダーに特徴サムネイル画像が表示されるので、日付ごとに記録されている日記データの有無やその数が明示される。ここで、日記データの内容をよく表す特徴画像の縮小画像が特徴サムネイル画像として表示されるので、元の画像全体のサムネイル画像が表示される場合よりも、表示される画像は内容の識別性に優れる。また、同日に複数の特徴サムネイル画像が表示される場合に、その画像サイズが適切に調整され、見栄えよくレイアウトされる。以上のようなカレンダー一覧表示は、一覧性と識別性とに優れ、日記データの検索等にも便利である。本実施形態では、このような一覧性と識別性とに優れたカレンダー一覧が、ユーザが各種設定を行うことなく作成される。

また、キーワード決定にあたりキーワードリストが用いられることにより、テキストから適切なキーワードが容易に選択され得る。さらに、このキーワードリストが更新されることにより、より適切にキーワードが選択され得る。また、キーワードの決定にあたって見出しテキストと本文テキストとが比較されることにより、キーワード選択の精度が向上する。本実施形態では、キーワードと関連付けられた画像認識方法が選択されることで、キーワードと関連する特徴画像が選択され得る。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても、発明が解決しようとする課題の欄で述べられた課題が解決でき、かつ、発明の効果が得られる場合には、この構成要素が削除された構成も発明として抽出され得る。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
［１］
画像とテキストとを含むデータの当該テキストに含まれるキーワードを選択するキーワード選択部と、
前記キーワードに基づいて、前記画像から前記キーワードに関連する特徴画像を抽出するとともに、当該特徴画像に基づいて、特徴サムネイル画像を生成する画像抽出生成部と、
を具備する、
ことを特徴とする画像処理システム。

［２］
前記画像抽出生成部は、
前記キーワードに基づいて、前記画像から前記キーワードに関連する前記特徴画像を抽出する特徴画像抽出部と、
前記特徴画像に基づいて、前記特徴画像の縮小画像である前記特徴サムネイル画像を生成する特徴サムネイル画像生成部と、
を有する、
ことを特徴とする［１］に記載の画像処理システム。

［３］
前記キーワードは、画像認識方法と関連付けられており、
前記キーワードに基づいて前記画像認識方法を選択する認識方法選択部をさらに具備し、
前記特徴画像抽出部は、選択された前記画像認識方法に基づいて前記画像から前記特徴画像を抽出する、
ことを特徴とする［２］に記載の画像処理システム。

［４］
複数の前記キーワードを含むキーワードリストを記憶する記憶部をさらに具備し、
前記キーワード選択部は、 前記テキストから単語を抽出する単語抽出部と、
抽出された前記単語と前記キーワードリストとを比較することで、前記キーワードを選択するキーワード比較部と、
を備える、
ことを特徴とする［１］乃至［３］のうちの何れか１項に記載の画像処理システム。

［５］
前記テキストは、見出しテキストと本文テキストとを含み、
前記キーワード選択部は、
前記見出しテキストから見出しキーワードを選択する見出しキーワード選択部と、
前記本文テキストから本文キーワードを選択する本文キーワード選択部と、
前記見出しキーワードと前記本文キーワードとの関連性に基づいて、前記キーワードを選択する関連性解析部と、
を備える、
ことを特徴とする［１］乃至［４］のうちの何れか１項に記載の画像処理システム。

［６］
前記データは、日付情報を有しており、
前記日付情報に基づいて配置された前記特徴サムネイル画像を含むカレンダーを作成するカレンダー作成部をさらに具備する、
ことを特徴とする［１］乃至［５］のうちの何れか１項に記載の画像処理システム。

［７］
前記カレンダー作成部は、
同一の日付を有する前記データの数である同日データ数を判定する同日データ数判定部と、
前記同日データ数に基づいて、前記特徴サムネイル画像のサイズを変更してリサイズ特徴サムネイル画像を作成するサイズ変更部と、
を備え、
前記リサイズ特徴サムネイル画像を用いて前記カレンダーを作成する、
ことを特徴とする［６］に記載の画像処理システム。

［８］
画像とテキストとを含むデータの当該テキストに含まれるキーワードを選択することと、
前記キーワードに基づいて、前記画像から前記キーワードに関連する特徴画像を抽出するとともに、当該特徴画像に基づいて、特徴サムネイル画像を生成することと、
を具備する、
ことを特徴とする画像処理方法。

［９］
画像とテキストとを含むデータの当該テキストに含まれるキーワードを選択することと、
前記キーワードに基づいて、前記画像から前記キーワードに関連する特徴画像を抽出するとともに、当該特徴画像に基づいて、特徴サムネイル画像を生成することと、
をコンピュータに実行させる、
ことを特徴とする画像処理プログラム。

１００…印刷装置、１１０…画像処理制御部、１１１…日記作成部、１１２…キーワー
ド選択部、１１２１…単語抽出部、１１２２…キーワード比較部、１１２３…キーワード選択部、１１２４…本文キーワード選択部、１１２５…関連性解析部、１１３…認識方法選択部、１１４…特徴画像抽出部、１１５…特徴サムネイル画像生成部、１１６…カレンダー作成部、１１６１…同日日記数判定部、１１６２…サイズ変更部、１２０…記憶部、１２２…キーワードリスト、１３０…表示部、１３２…表示制御部、１４０…タッチパネル、１４２…タッチパネル制御部、１５０…キーボード、１５２…取付軸、１６０…スピーカ、１７０…印刷部、１７２…排紙口、１７４…供給口、１７６…インクカートリッジ交換口、１８０…記憶媒体接続部、１８２…記憶媒体挿入口、１８４…可搬型記憶媒体、１９２…筐体、１９４…表示パネル、１９６…取っ手、９１０…写真入り日記、９１２…見出し、９１４…画像、９１６…本文、９２０…カレンダー、９２２…特徴サムネイル画像。

Claims (13)

1. 画像に対応付けられたデータの中から特定キーワードを検出して取得する取得手段と、
   前記取得手段で取得された特定キーワードに対応するジャンルを選択する選択手段と、
   前記選択手段で選択されたジャンルに係る特徴画像を、前記画像の中から抽出する抽出手段と、
   を具備したことを特徴とする画像処理装置。
2. 前記画像に対応付けられたデータの中から特定キーワードを検出可能か否かを判別する判別手段と、
   を更に具備し、
   前記抽出手段は、判別手段で前記特定キーワードを検出できた場合に、当該特定キーワードに対応するジャンルに係る前記特徴画像を抽出し、前記判別手段で前記特定キーワードを検出できなかった場合には、前記画像を前記特徴画像として抽出する、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記抽出手段は、前記画像の中から前記選択手段で選択されたジャンルに係る部分画像を特定して、その特定された部分画像を前記特徴画像として抽出する、
   ことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記抽出手段で抽出した特徴画像を出力する出力手段と、
   を更に具備したことを特徴とする請求項１〜３の何れかに記載の画像処理装置。
5. 画像に対応付けられたデータの中から特定キーワードを検出して取得する取得手段と、
   前記取得手段で取得された特定キーワードに対応付けられた認識ジャンルを画像認識方法として選択する選択手段と、
   前記選択手段で選択された認識ジャンルの画像認識方法に基づいて、前記画像から特徴画像を認識する認識手段と、
   を具備したことを特徴とする画像処理装置。
6. 前記選択手段で選択された画像認識方法で前記画像を画像認識することで、当該画像の中から認識できる画像部分を抽出する画像抽出手段と、
   を更に具備したことを特徴とする請求項５に記載の画像処理装置。
7. 前記認識手段で認識した結果に基づいて前記画像に対する処理を行う画像処理手段と、
   を更に具備したことを特徴とする請求項５に記載の画像処理装置。
8. 前記取得手段は、予め用意された複数の特定キーワードの内の何れかに該当するキーワードを前記特定キーワードとして取得する、
   ことを特徴とする請求項１〜７の何れかに記載の画像処理装置。
9. 前記取得手段は、前記データの中から複数のキーワードを検出した場合には、優先度の高いデータに含まれるキーワードを、前記特定キーワードとして取得する、
   ことを特徴とする請求項１〜８の何れかに記載の画像処理装置。
10. 画像に対応付けられたデータの中から特定キーワードを検出して取得する取得ステップと、
    前記取得ステップで取得された特定キーワードに対応するジャンルを選択する選択ステップと、
    前記選択ステップで選択されたジャンルに係る特徴画像を、前記画像の中から抽出する抽出ステップと、
    からなる画像処理方法。
11. 画像処理装置のコンピュータを制御するためのプログラムであって、
    前記コンピュータを、
    画像に対応付けられたデータの中から特定キーワードを検出して取得する取得手段、
    前記取得手段で取得された特定キーワードに対応するジャンルを選択する選択手段、
    前記選択手段で選択されたジャンルに係る特徴画像を、前記画像の中から抽出する抽出手段、
    として機能させるようにしたプログラム。
12. 画像に対応付けられたデータの中から特定キーワードを検出して取得する取得ステップと、
    前記取得ステップで取得された特定キーワードに対応付けられた認識ジャンルを画像認識方法として選択する選択ステップと、
    前記選択ステップで選択された認識ジャンルの画像認識方法で前記画像を認識する認識ステップと、
    からなる画像処理方法。
13. 画像処理装置のコンピュータを制御するためのプログラムであって、
    前記コンピュータを、
    画像に対応付けられたデータの中から特定キーワードを検出して取得する取得手段、
    前記取得手段で取得された特定キーワードに対応付けられた認識ジャンルを画像認識方法として選択する選択手段、
    前記選択手段で選択された認識ジャンルの画像認識方法で前記画像を認識する認識手段、
    として機能させるようにしたプログラム。

Images