JP6967496B2 - 画像処理装置，画像処理方法および画像処理プログラム - Google Patents

Description

この発明は，画像処理装置，画像処理方法および画像処理プログラムに関する。

ディジタル・カメラ，スマートフォンの普及に伴い，画像の撮影枚数が格段に増加している。撮影した画像を表す画像データをメモリ・カードやスマートフォンの本体に保存しただけでは，撮影した画像が埋もれてしまう。このために，月ごとに定額料金を支払うことにより，ユーザから一定枚数の写真データの指定を受けると，それらの写真プリントまたはそれらの写真を合成して構成されるフォトブックを提供するプリントサービスが行われている（非特許文献１）。また，文書を管理する場合においては，検索に用いるキーワードをユーザが入力するもの（特許文献２），アイコン画像と文書内容とを一致させるようにするもの（特許文献３）などが考えられている。

https://photo-collection.nttdocomo.co.jp/dphoto/service/ 特開2016-051253号公報 特開平08-221401号公報

撮影により得られた多くの画像の中から毎月一定枚数の画像を写真プリントまたはフォトブックを作成する場合には，プリントされた写真やフォトブックを見るだけではどのような状況もイベントなどで撮影したかを忘れてしまうことがある。このために，一定枚数の写真プリントに応じた文章などを入力して写真プリントとともにテキストとして記録しておくことが考えられる。しかしながら，そのようなテキストを自動的に生成してユーザに提示すると正確性に欠けることがある。非特許文献１では，テキストを自動で生成すること自体考えられていない。特許文献１では，キーワードをユーザが入力するものにすぎず，そのようなテキストを生成することはできない。特許文献２では，アイコン画像と文書内容とを一致させるものであり，やはり，そのようなテキストを生成することは考えられていない。

この発明は，複数の画像についてのテキストを付与する場合に，そのテキストの正確性を向上させることを目的とする。

この発明による画像処理装置は，第１の画像群から選択された複数の第１の画像のそれぞれの画像に含まれる被写体の組み合わせと選択された複数の第１の画像について与えられたテキストについての情報とが関連づけられて記憶されている記憶手段を参照して，テキスト生成手法にもとづいてテキスト生成手段によって生成されるテキストであって，第２の画像群から選択された複数の第２の画像に与えられるテキストを報知するテキスト報知手段，テキスト報知手段によって報知されたテキストの修正を受け付ける修正受付手段，複数の第２の画像のそれぞれの画像に含まれている被写体の組み合わせと修正受付手段において受け付けられて修正されたテキストについての情報とを関連づけて記憶手段に記憶させる記憶制御手段，および複数の第２の画像のそれぞれの画像に含まれている被写体の組み合わせと修正受付手段において受け付けられて修正されたテキストについての情報にもとづいてテキスト生成手法を更新させる更新手段を備えていることを特徴とする。

記憶手段およびテキスト生成手段は，画像処理装置自体に設けられていてもよいし，画像処理装置以外の装置に設けられていてもよい。たとえば，画像処理装置が，画像サーバなどと通信可能なスマートフォン，クライアント・コンピュータなどによって実現される場合には，画像サーバに記憶手段およびテキスト生成手段が設けられていてもよい。また，更新手段は，テキスト生成手法を更新させる更新指令を画像処理装置から画像処理装置以外の装置に送信して，画像処理装置以外の装置においてテキスト生成手法を更新するものも含む。

この発明は，画像処理装置に適した画像処理方法も提供している。すなわち，この方法は，テキスト報知手段が，第１の画像群から選択された複数の第１の画像のそれぞれの画像に含まれる被写体の組み合わせと選択された複数の第１の画像について与えられたテキストについての情報とが関連づけられて記憶されている記憶手段を参照して，テキスト生成手法にもとづいてテキスト生成手段によって生成されるテキストであって，第２の画像群から選択された複数の第２の画像に与えられるテキストを報知し，修正受付手段が，テキスト報知手段によって報知されたテキストの修正を受け付け，記憶制御手段が，複数の第２の画像のそれぞれの画像に含まれている被写体の組み合わせと修正受付手段において受け付けられて修正されたテキストについての情報とを関連づけて記憶手段に記憶し，更新手段が，複数の第２の画像のそれぞれの画像に含まれている被写体の組み合わせと修正受付手段において受け付けられて修正されたテキストについての情報にもとづいてテキスト生成手法を更新する。

この発明による画像処理装置は，プロセッサを備え，そのプロセッサが，第１の画像群から選択された複数の第１の画像のそれぞれの画像に含まれる被写体の組み合わせと選択された複数の第１の画像について与えられたテキストについての情報とが関連づけられて記憶されている記憶手段を参照して，テキスト生成手法にもとづいてテキスト生成手段によって生成されるテキストであって，第２の画像群から選択された複数の第２の画像に与えられるテキストを報知し，報知されたテキストの修正を受け付け，複数の第２の画像のそれぞれの画像に含まれている被写体の組み合わせと受け付けられて修正されたテキストについての情報とを関連づけて記憶手段に記憶し，複数の第２の画像のそれぞれの画像に含まれている被写体の組み合わせと受け付けられて修正されたテキストについての情報にもとづいてテキスト生成手法を更新するようにしてもよい。

この発明は，画像処理装置のコンピュータを制御するプログラムおよびそのプログラムを格納した記録媒体も提供している。

テキスト生成手段は，たとえば，記憶手段に記憶されているテキストについての情報に含まれる単語のうち，しきい値以上の頻度で出現している単語によって表される被写体を含む画像が，複数の第２の画像に含まれている場合に，しきい値以上の頻度で出現している単語にもとづいて複数の第２の画像に与えられるテキストを生成する。

記憶手段に記憶されているテキストについての情報に含まれている単語のうち，しきい値以上の頻度で出現している単語によって表される被写体を含む画像が，第３の画像群に含まれている場合に，被写体を含む画像を第３の画像群から選択する画像として報知する画像報知手段をさらに備えてもよい。

テキスト生成手段は，たとえば，複数の第１の画像に含まれる被写体と同一の被写体が複数の第２の画像に含まれており，かつ同一の被写体が変化している場合において，同一の被写体の変化の様子を表すテキストを生成してもよい。

テキスト生成手段は，たとえば，複数の第２の画像のうち異なる画像に含まれている第１の被写体と第２の被写体に関連づけられているテキストについての情報にもとづいて，複数の第２の画像に与えられるテキストを生成してもよい。

テキスト生成手段は，たとえば，複数の第２の画像のうち複数の画像に共通に含まれる被写体に関連づけられているテキストについての情報にもとづいて，複数の第２の画像に与えられるテキストを生成してもよい。

複数の画像のうち，少なくとも１つの画像を中央に配置して複数の第２の画像についての画像商材を作成する画像商材作成手段をさらに備えてもよい。

テキスト生成手段は，たとえば，第１の画像と第２の画像とにもとづく選択基準から第３の画像群の中から選択する画像として推奨する複数の第３の画像に与えられるテキストを生成してもよい。

複数の第１の画像の撮影時期と複数の第２の画像の撮影時期とが異なっていてもよい。

複数の第１の画像および複数の第２の画像についての画像商材を作成する画像商材作成手段をさらに備えてもよい。

テキスト生成手段をさらに備えていてもよい。

テキスト生成手段によって生成されたテキストを表すデータを受信する受信手段をさらに備えてもよい。この場合，テキスト報知手段は，たとえば，受信手段において受信したデータによって表されるテキストを報知する。

この発明によると，報知されたテキストが修正されると，第２の画像群から選択された複数の第２の画像に与えられるテキストの生成手法が更新されるから，より適切なテキストをユーザに報知できる。

スマートフォンの外観を示している。 スマートフォンの電気的構成を示すブロック図である。 スマートフォンの処理手順を示すフローチャートである。 スマートフォンの処理手順を示すフローチャートである。 ホーム画面の一例である。 画像フォルダ画面の一例である。 画像選択画面の一例である。 ホーム画面の一例である。 記録カード入力画面の一例である。 入力確認画面の一例である。 スマートフォンの処理手順を示すフローチャートである。 ホーム画面の一例である。 記録カード入力画面の一例である。 テキスト生成処理手順を示すフローチャートである。 画像の一例である。 画像の一例である。 画像の一例である。 編集システムの概要を示している。 画像編集システムの処理手順を示すフローチャートである。 画像商材の一例である。

［主実施例］
図１は，本発明の画像処理装置の一実施形態であるスマートフォン１の外観を示すものである。図１に示すスマートフォン１は，平板状の筐体２を有し，筐体２の一方の面に表示部としての表示パネル２１と，入力部としての操作パネル２２とが一体となった表示入力部２０を備えている。また，係る筐体２は，マイクロホン３２と，スピーカ３１，操作部４０と，カメラ部４１とを備えている。なお，筐体２の構成はこれに限定されず，例えば，表示部と入力部とが独立した構成を採用したり，折り畳み構造やスライド機構を有する構成を採用したりすることもできる。

図２は，図１に示すスマートフォン１の構成を示すブロック図である。図２に示すように，スマートフォンの主たる構成要素として，無線通信部１０と，表示入力部２０と，通話部３０と，操作部４０と，カメラ部４１と，記憶部５０と，外部入出力部６０と，ＧＰＳ(Global Positioning System)受信部７０と，モーションセンサ部８０と，電源部９０と，主制御部１００とを備える。また，スマートフォン１の主たる機能として，基地局装置ＢＳと移動通信網ＮＷとを介した移動無線通信を行う無線通信機能を備える。

無線通信部１０は，主制御部１００の指示にしたがって，移動通信網ＮＷに収容された基地局装置ＢＳに対し無線通信を行うものである。係る無線通信を使用して，音声データ，画像データ等の各種ファイルデータ，電子メールデータなどの送受信や，Ｗｅｂデータやストリーミングデータなどの受信を行う。

表示入力部２０は，主制御部１００の制御により，画像（静止画像および動画像）や文字情報などを表示して視覚的にユーザに情報を伝達するとともに，表示した情報に対するユーザ操作を検出する，いわゆるタッチパネルであって，表示パネル２１と，操作パネル２２とを備える。

表示パネル２１は，LCD(Liquid Crystal Display)，OELD(Organic Electro-Luminescence Display)などを表示デバイスとして用いたものである。操作パネル２２は，表示パネル２１の表示面上に表示される画像を視認可能に載置され，ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。係るデバイスをユーザの指や尖筆によって操作すると，操作に起因して発生する検出信号を主制御部１００に出力する。次いで，主制御部１００は，受信した検出信号に基づいて，表示パネル２１上の操作位置（座標）を検出する。

図１に示すように，本発明の画像処理装置の一実施形態として例示しているスマートフォン１の表示パネル２１と操作パネル２２とは一体となって表示入力部２０を構成しているが，操作パネル２２が表示パネル２１を完全に覆うような配置となっている。係る配置を採用した場合，操作パネル２２は，表示パネル２１外の領域についても，ユーザ操作を検出する機能を備えてもよい。換言すると，操作パネル２２は，表示パネル２１に重なる重畳部分についての検出領域（以下，表示領域と称する）と，それ以外の表示パネル２１に重ならない外縁部分についての検出領域（以下，非表示領域と称する）とを備えていてもよい。

なお，表示領域の大きさと表示パネル２１の大きさとを完全に一致させても良いが，両者を必ずしも一致させる必要は無い。また，操作パネル２２が，外縁部分と，それ以外の内側部分の２つの感応領域を備えていてもよい。更に，外縁部分の幅は，筐体２の大きさなどに応じて適宜設計されるものである。更にまた，操作パネル２２で採用される位置検出方式としては，マトリクススイッチ方式，抵抗膜方式，表面弾性波方式，赤外線方式，電磁誘導方式，静電容量方式などが挙げられ，いずれの方式を採用することもできる。

通話部３０は，スピーカ３１やマイクロホン３２を備え，マイクロホン３２を通じて入力されたユーザの音声を主制御部１００にて処理可能な音声データに変換して主制御部１００に出力したり，無線通信部１０あるいは外部入出力部６０により受信された音声データを復号してスピーカ３１から出力したりするものである。また，図１に示すように，例えば，スピーカ３１を表示入力部２０が設けられた面と同じ面に搭載し，マイクロホン３２を筐体２の側面に搭載することができる。

操作部４０は，キースイッチなどを用いたハードウェアキーであって，ユーザからの指示を受け付けるものである。例えば，図１に示すように，操作部４０は，スマートフォン１の筐体２の側面に搭載され，指などで押下されるとオンとなり，指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。

記憶部５０は，主制御部１００の制御プログラムや制御データ，アプリケーションソフトウェア，通信相手の名称や電話番号などを対応づけたアドレスデータ，送受信した電子メールのデータ，ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや，ダウンロードしたコンテンツデータを記憶し，またストリーミングデータなどを一時的に記憶するものである。また，記憶部５０は，スマートフォン内蔵の内部記憶部５１と着脱自在な外部メモリスロットを有する外部記憶部５２により構成される。なお，記憶部５０を構成するそれぞれの内部記憶部５１と外部記憶部５２は，フラッシュメモリタイプ（flash memory type），ハードディスクタイプ（hard disk type），マルチメディアカードマイクロタイプ（multimedia card micro type），カードタイプのメモリ（例えば，ＭｉｃｒｏＳＤ（登録商標）メモリ等），ＲＡＭ（Random Access Memory），ＲＯＭ（Read Only Memory）などの格納媒体を用いて実現される。

外部入出力部６０は，スマートフォン１に連結される全ての外部機器とのインターフェースの役割を果たすものであり，他の外部機器に通信等（例えば，ユニバーサルシリアルバス（ＵＳＢ），IEEE１３９４など）又はネットワーク（例えば，インターネット，無線ＬＡＮ，ブルートゥース（Bluetooth）（登録商標），ＲＦＩＤ（Radio Frequency Identification），赤外線通信（Infrared Data Association：ＩｒＤＡ）（登録商標），ＵＷＢ（Ultra Wideband）（登録商標），ジグビー（ZigBee）（登録商標）など）により直接的又は間接的に接続するためのものである。

スマートフォン１に連結される外部機器としては，例えば，有／無線ヘッドセット，有／無線外部充電器，有／無線データポート，カードソケットを介して接続されるメモリカード（Memory card）やＳＩＭ(Subscriber Identity Module Card)／ＵＩＭ(User Identity Module Card)カード，オーディオ・ビデオＩ／Ｏ（Input/Output）端子を介して接続される外部オーディオ・ビデオ機器，無線接続される外部オーディオ・ビデオ機器，有／無線接続されるスマートフォン，有／無線接続されるパーソナル・コンピュータ，有／無線接続されるPDA，有／無線接続されるパーソナル・コンピュータ，イヤホンなどがある。外部入出力部は，このような外部機器から伝送を受けたデータをスマートフォン１の内部の各構成要素に伝達することや，スマートフォン１の内部のデータが外部機器に伝送されるようにすることができる。

ＧＰＳ受信部７０は，主制御部１００の指示にしたがって，GPS衛星ＳＴ１〜ＳＴｎから送信されるGPS信号を受信し，受信した複数のGPS信号に基づく測位演算処理を実行し，当該スマートフォン１の緯度，経度，高度からなる位置を検出する。ＧＰＳ受信部７０は，無線通信部１０や外部入出力部６０（例えば，無線ＬＡＮ）から位置情報を取得できる時には，その位置情報を用いて位置を検出することもできる。

モーションセンサ部８０は，例えば，３軸の加速度センサなどを備え，主制御部１００の指示にしたがって，スマートフォン１の物理的な動きを検出する。スマートフォン１の物理的な動きを検出することにより，スマートフォン１の動く方向や加速度が検出される。係る検出結果は，主制御部１００に出力されるものである。
電源部９０は，主制御部１００の指示にしたがって，スマートフォン１の各部に，バッテリ（図示しない）に蓄えられる電力を供給するものである。

主制御部１００は，マイクロプロセッサを備え，記憶部５０が記憶する制御プログラムや制御データにしたがって動作し，スマートフォン１の各部を統括して制御するものである。また，主制御部１００は，無線通信部１０を通じて，音声通信やデータ通信を行うために，通信系の各部を制御する移動通信制御機能と，アプリケーション処理機能を備える。

アプリケーション処理機能は，記憶部５０が記憶するアプリケーションソフトウェアにしたがって主制御部１００が動作することにより実現するものである。アプリケーション処理機能としては，例えば，外部入出力部６０を制御して対向機器とデータ通信を行う赤外線通信機能や，電子メールの送受信を行う電子メール機能，Webページを閲覧するWebブラウジング機能などがある。

また，主制御部１００は，受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて，映像を表示入力部２０に表示する等の画像処理機能を備える。画像処理機能とは，主制御部１００が，上記画像データを復号し，係る復号結果に画像処理を施して，画像を表示入力部２０に表示する機能のことをいう。

更に，主制御部１００は，表示パネル２１に対する表示制御と，操作部４０，操作パネル２２を通じたユーザ操作を検出する操作検出制御を実行する。表示制御の実行により，主制御部１００は，アプリケーションソフトウェアを起動するためのアイコンや，スクロールバーなどのソフトウェアキーを表示したり，あるいは電子メールを作成するためのウィンドウを表示したりする。なお，スクロールバーとは，表示パネル２１の表示領域に収まりきれない大きな画像などについて，画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。

また，操作検出制御の実行により，主制御部１００は，操作部４０を通じたユーザ操作を検出したり，操作パネル２２を通じて，上記アイコンに対する操作や，上記ウィンドウの入力欄に対する文字列の入力を受け付けたり，あるいは，スクロールバーを通じた表示画像のスクロール要求を受け付ける。

更に，操作検出制御の実行により主制御部１００は，操作パネル２２に対する操作位置が，表示パネル２１に重なる重畳部分（表示領域）か，それ以外の表示パネル２１に重ならない外縁部分（非表示領域）かを判定し，操作パネル２２の感応領域や，ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。

また，主制御部１００は，操作パネル２２に対するジェスチャ操作を検出し，検出したジェスチャ操作に応じて，予め設定された機能を実行することもできる。ジェスチャ操作とは，従来の単純なタッチ操作ではなく，指などによって軌跡を描いたり，複数の位置を同時に指定したり，あるいはこれらを組み合わせて，複数の位置から少なくとも１つについて軌跡を描く操作を意味する。

カメラ部４１は，CMOS(Complementary Metal Oxide Semiconductor)やCCD(Charge-Coupled Device)などの撮像素子を用いて電子撮影するディジタル・カメラである。また，カメラ部４１は，主制御部１００の制御により，撮像によって得た画像データを例えばJPEG(Joint Photographic coding Experts Group)などの圧縮した画像データに変換し，記憶部５０に記録したり，入出力部６０や無線通信部１０を通じて出力したりすることができる。図１に示すにスマートフォン１において，カメラ部４１は表示入力部２０と同じ面に搭載されているが，カメラ部４１の搭載位置はこれに限らず，表示入力部２０の背面に搭載されてもよいし，あるいは，複数のカメラ部４１が搭載されてもよい。なお，複数のカメラ部４１が搭載されている場合には，撮影に供するカメラ部４１を切り替えて単独にて撮影したり，あるいは，複数のカメラ部４１を同時に使用して撮影したりすることもできる。

また，カメラ部４１はスマートフォン１の各種機能に利用することができる。例えば，表示パネル２１にカメラ部４１で取得した画像を表示することや，操作パネル２２の操作入力のひとつとして，カメラ部４１の画像を利用することができる。また，ＧＰＳ受信部７０が位置を検出する際に，カメラ部４１からの画像を参照して位置を検出することもできる。更には，カメラ部４１からの画像を参照して，３軸の加速度センサを用いずに，或いは，３軸の加速度センサと併用して，スマートフォン１のカメラ部４１の光軸方向を判断することや，現在の使用環境を判断することもできる。勿論，カメラ部４１からの画像をアプリケーションソフトウェア内で利用することもできる。

その他，静止画又は動画の画像データにＧＰＳ受信部７０により取得した位置情報，マイクロホン３２により取得した音声情報（主制御部等により，音声テキスト変換を行ってテキスト情報となっていてもよい），モーションセンサ部８０により取得した姿勢情報等などを付加して記憶部５０に記録したり，入出力部６０や無線通信部１０を通じて出力したりすることもできる。

図３はおよび図４は，スマートフォン１の処理手順を示すフローチャートである。インターネットなどを介して得られたプログラムが，スマートフォン１にあらかじめスンストールされており，そのプログラムが起動させられることにより，図３および図４に示す処理が開始する。また外部記憶部52などの記録媒体にプログラムが記憶されており，外部記憶部52から読み出されたプログラムがスマートフォン１にインストールされてもよい。このプログラムは，ある月に撮影された画像の中から，プリントする画像を選択し，選択された画像の撮影状況などを表わすテキストを自動的に作成してユーザに報知することにより，ユーザが入力するテキストのアシストを行う。特に，ユーザに報知するテキストの正確性を向上するためにテキストを作成するための作成手法(文章作成手法)が更新される。

この実施例では，多数の画像の中から毎月11枚（11枚でなくともよい）の画像を選択し，かつ選択した画像の状況等を表すテキストを入力する。選択した画像のプリントし，かつ入力したテキストを記録カードとしてプリントし，これらのプリントをユーザに郵送する。

プログラムが起動するとスマートフォン１の表示パネル21には，図５に示すホーム画面が表示される（ステップ101）。

ホーム画面のほぼ全体に渡って11個の画像表示領域129が形成されている（画像表示領域129は11個未満でも12個以上でもよい）。ホーム画面のほぼ左上には，撮影年月表示領域128が表示されている。撮影年月表示領域128には，「５月」の文字列と「2017年」の文字列とが表示されている。プログラム起動後のホーム画面の撮影年月表示領域128には，プログラムの起動時に対応する年月が表示される。図５に示すホーム画面においては，2017年５月にプログラムが起動させられたこととなる。

ホーム画面の上部には，撮影年月指定領域121が形成されている。撮影年月指定領域121には，撮影年表示領域122およびプルダウン・ボタン123が形成されている。プルダウン・ボタン123をプルダウンすることにより，プルダウン・メニューが現われ，ユーザは，所望の撮影年を選択できる。撮影年表示領域122の右側には，撮影月指定領域124，125および126が形成されている。撮影年月指定領域121を左右にスクロールすることにより，これらの撮影月指定領域124，125および126に表示される月が切り替わる。図５に示すホーム画面においては撮影月指定領域124，125および126には，それぞれ「４月」，「５月」および「６月」が表示されており，中央の撮影月指定領域125に表示されている「５月」の文字列が囲まれている。「５月」が囲まれていることから，画像表示領域129に表示される画像が撮影された月として「５月」が選択されていることを示している。撮影月指定領域125の右側には検索ボタン127が形成されている。画像表示領域129の左下には画像追加領域130が形成されている。画像追加領域130がタッチされることにより，ホーム画面に表示される画像表示領域129の数が一つ増える。

ホーム画面の下部には「注文」の文字列が表示されている注文ボタン131が表示されている。画像のプリントを注文する場合に注文ボタン131がタッチされる。また，ホーム画面の最下部には，「ホーム」の文字列が表示されているホーム・ボタン132，「物販」の文字列が表示されている物販ボタン133および「メニュー」の文字列が表示されているメニュー・ボタン134が形成されている。

画像が選択されていない状態では，画像表示領域129には画像が表示されていない。画像が表示されていない状態において，11個の画像表示領域129のうち，いずれかの画像表示領域129がタッチされると（ステップ102でＹＥＳ），表示パネル21には，図６に示す画像フォルダ画面が表示される（ステップ103）。

図６は，表示パネル21に表示される画像フォルダ画面の一例である。

画像フォルダ画面には，画像フォルダ・アイコン141から146が表示されており，それらの画像フォルダ・アイコン141から146のそれぞれの右側にはフォルダ名が表示されている。画像フォルダ・アイコン141は，ある月（図６に示す例では2017年５月）に撮影された画像のすべての画像を格納する画像フォルダを表している。その他の画像フォルダ・アイコン142から146は，その月に撮影された画像のうち，ユーザによって生成された画像フォルダのアイコンを表している。表示パネル21に表示されている画像フォルダ・アイコン141から146以外の画像フォルダ・アイコンがある場合には，表示パネル21の表面をスクロールすることにより，表示パネル21に表示されていない画像フォルダ・アイコンが表示パネル21に表示される。この実施例においては，画像フォルダ・アイコン141から146のみが生成されているものとする。画像フォルダ・アイコン141から146のうち，いずれかの画像フォルダ・アイコンがタッチされると（ステップ104でＹＥＳ），表示パネル21には画像選択画面が表示され（ステップ105），タッチされた画像フォルダ・アイコンによって特定される画像フォルダに格納されている画像が表示パネル21に表示される。

図７は，タッチされた画像フォルダ・アイコンによって特定される画像フォルダに格納されている画像を一覧表示する画像選択画面の一例である。

画像選択画面には，多数の画像表示領域151が表示されており，これらの画像表示領域151に画像が表示されている。表示パネル21に表示されていない画像がある場合には，表示パネル21の画面上をスクロールすることにより，表示パネル21に表示されていない画像が表示パネル21に表示される。

画像選択画面の下部は，「推奨画像」の文字列が表示されている推奨画像ボタン152，「画像解析」の文字列が表示されている画像解析ボタン153および「確定」の文字列が表示されている確定ボタン154が形成されている。推奨画像ボタン152は，以前に選択された画像の傾向にもとづいて，ユーザが選択する画像として推奨する画像についての情報を報知する場合にタッチされる。画像解析ボタン153は，画像を解析して写りがいいと判断されるような画像をユーザに報知する場合にタッチされる。確定ボタン154はプリントする画像を確定する場合にタッチされる。

ユーザは，画像表示領域151に表示されている画像をタッチすることにより画像を選択し（ステップ106），確定ボタン154をタッチすることにより（ステップ107でＹＥＳ），プリントする11枚(11枚でなくともよい)の画像を確定する。

確定ボタン154がタッチされると，図８に示すようにホーム画面の画像表示領域151には選択された画像が表示される。

この実施例においては，選択した画像についての状況などのテキストを説明文として入力することができる。上述したように，入力したテキストを記録カードとしてプリントし，選択した画像のプリントとともにユーザに郵送される。ホーム画面が表示されている状態において画像表示領域129がタッチされずに（ステップ102でＮＯ），メニュー・ボタン134がタッチされると，メニューが現われ，そのメニューの中から記録カード・ボタンが現われる。記録カード・ボタンがタッチされると（図４ステップ108でＹＥＳ），表示パネル21には，記録カード入力画面が表示される（ステップ109）。

図９は，記録カード入力画面の一例である。

記録カード入力画面には，いつの画像の記録カードかを表示する撮影年月表示領域161，入力したテキストを表示する第１のテキスト表示領域162および第２のテキスト表示領域163，テキストを入力するキーパッド表示領域164が表示されている。第１のテキスト表示領域162は実際にテキストがプリントされたときのイメージをユーザに報知するもので，第２のテキスト表示領域163は入力されたキーパッドから入力されたテキストを表示するものである（なお、単一のテキスト表示がキーパッド入力の表示とプリントイメージの表示の双方を兼ねていてもよい）。第１のテキスト表示領域162または第２のテキスト表示領域163のいずれか一方が表示されるようにしてもよい。キーパッド表示領域164には，アルファベットのキーパッドのほか，数字のキーパッドを表示するときにタッチされる切替ボタン165，入力されたテキストを確定するときにタッチされる確定ボタン166，音声入力をオンとするときにタッチされるマイク・ボタン167，スペースを入力するときにタッチされるスペース・ボタン168，改行を入力するときにタッチされる改行ボタン169（などが形成されている。キーパッド表示領域164にアルファベットのキーパッドが表示されている場合に切替ボタン165がタッチされると，キーパッド表示領域164には数字のキーパッドが表示され，キーパッド表示領域164に数字のキーパッドが表示されている場合に切替ボタン165がタッチされると，キーパッド表示領域164にはアルファベットのキーパッドが表示される。キーパッド表示領域164に形成されているキーパッドを用いてテキストを入力すると（ステップ110），入力されたテキストが第１のテキスト表示領域162および第２のテキスト表示領域163に表示されていく。

テキストの入力が終了して確定ボタン166がタッチされると（ステップ111でＹＥＳ），表示パネル21には入力確認画面が表示される（ステップ112）。

図10は，入力確認画面の一例である。

入力確認画面には，撮影年月表示領域161，入力したテキストを表示する第１のテキスト表示領域162および第２のテキスト表示領域163のほかに「戻る」の文字列が形成されている戻るボタン171および「確認」の文字列が形成されている確認ボタン172が形成されている。第１のテキスト表示領域162および第２のテキスト表示領域163には，入力されたテキストが表示されている。テキストを修正する場合には戻るボタン171がタッチされる。すると，図９に示す記録カード入力画面に切り替わり，テキストの修正が行われる。表示されているテキストでよければ確認ボタン172がタッチされる（ステップ113でＹＥＳ）。すると，表示パネル21には図８に示すホーム画面が表示される。図10においては，「たろうくんが，５歳になりました。誕生会にお友達がたくさん来てくれました。」という文章が2017年５月に撮影された画像の中から選択された画像のテキストとして入力されている。

表示パネル21にホーム画面が表示されている状態において注文ボタンがタッチされると（図４ステップ114でＹＥＳ），選択された画像から，画像に含まれる被写体（主要被写体）が抽出され，かつ入力されたテキストに含まれる単語が抽出される。抽出された被写体と単語とがテーブルの形態によって内部記憶部51（記憶手段の一例である）に記憶される（ステップ115）。

表１は，抽出された被写体と単語とを格納する被写体−単語テーブルの一例である。

被写体−単語テーブルは，選択された画像の撮影年月に対応して，選択された画像に含まれる被写体と単語とが対応づけられて格納される。被写体−単語テーブルに含まれている被写体の項目が，第１の画像群から選択された複数の第１の画像のそれぞれの画像に含まれる被写体の組み合わせに対応し，被写体−単語テーブルに含まれている単語の項目が，選択された複数の第１の画像について与えられたテキストについての情報に対応する。表１においては被写体に対応して，「男の子」などの文字列が格納されているが，その被写体が表す画像を表す画像データが格納されていることが好ましい。もっとも，文章であってもよい。被写体−単語テーブルに，入力されたテキストから抽出された単語ではなく，入力されたテキストそのものが格納されていてもよい。

図８に示すように2017年５月に撮影された画像（第１の画像群の一例である）のうち選択された画像（第１の画像群から選択された複数の画像の一例である）には「男の子」，「女の子」，「帽子」，「コップ」，「ケーキ」，「ローソク」などが含まれているから，それらの被写体を表す「男の子」，「女の子」，「帽子」，「コップ」，「ケーキ」，「ローソク」など（第１の画像のそれぞれの画像に含まれる被写体の組み合わせの一例である）が被写体−単語テーブルに格納される。また，2017年５月に撮影された画像のうち選択された画像のテキストとしてのテキストとしては，「たろうくんが，５歳になりました。誕生会にお友達がたくさん来てくれました。」という文章が入力されているから，その文章から「たろうくん」，「５歳」，「誕生会」，「お友達」などの単語（第１の画像について与えられたテキストについての情報の一例である）が被写体−単語テーブルに格納される。

その後，注文処理に移行し，選択された画像のプリントおよび入力されたテキストが記録されている記録カードのプリントが行われ，それらのプリントがユーザに郵送される。

上述の処理が繰り返されると，表２に示すように被写体−単語テーブルに，撮影年月に対応して，選択された画像の中から抽出された被写体と入力されたテキストから抽出された単語との組み合わせが蓄積されていく。

表２においても被写体に対応して，「男の子」などの文字列が格納されているが，その被写体が表す画像が格納されていることが好ましい。もっとも文字列であってもよい。表２において被写体−単語テーブルに含まれている被写体のいずれの項目も，第１の画像群から選択された複数の第１の画像のそれぞれの画像に含まれる被写体の組み合わせに対応し，被写体−単語テーブルに含まれている単語のいずれの項目も，選択された複数の第１の画像について与えられたテキストについての情報に対応する。

表２に表されている撮影年月「2017年５月」，「2017年６月」，「2017年７月」，「2017年８月」などのそれぞれの月に撮影された画像は，すべて第１の画像群に対応し，それぞれの月において選択された画像が第１の画像に対応する。ただし、第１の画像群も、第１の画像も、注文に係る月と撮影年月の月とを厳密に対応させる必要はない。例えばユーザが注文に係る月の周辺の月日に撮影された画像を、第１の画像群および第１の画像に加えても構わない。

図11は，スマートフォン１の処理手順を示すフローチャートの一部であり，図４の処理手順に対応する。

表２に示すように，被写体と単語との組み合わせの数が増えていくと，どのような被写体が含まれている場合にどのような単語が使用されてテキストが生成されるかが解析できるようになる。この実施例においては，画像が選択されると，その選択された画像についてのテキストを自動で生成し，生成したテキストをユーザに報知する。ユーザは報知されたテキストを参考にして所望のテキストを作成できる。

本実施例のテキスト作成においては、ニューラルネットワーク等の手法を用いた機械学習を好適に用い得る。まず学習段階においては、入力を第１の画像（例えば上述の11枚の画像）とし、出力を記録カードのテキストと設定する。そして、ユーザの注文画像を入力例、ユーザの注文に係るテキストを正解出力例として、ニューラルネットワークの重みづけを変更する。１人のユーザの注文データを複数月に渡って集めることにより、当該１人のユーザに専用の学習済みモデルを生成してもよい。また、複数のユーザの注文データを集めることにより、複数のユーザに適用可能な学習済みモデルを生成してもよい。次に推測段階（本実施例においてはテキスト出力が相当する）においては、上述の通り学習を済ませた学習モデルに対し第１の画像（例えば上述の11枚の画像）を入力することにより、第１の画像に適した記録カード用のテキストを出力することができる。さらに、推測段階で出力したテキストがユーザにより修正された場合は、修正されたテキストを学習段階における新しい正解出力例として用いることができる。

上述の機械学習においては、ユーザからの注文画像および注文に係るテキストを多数収集することにより、より正確なテキスト作成を自動で行うことができるようになる。例えば、ある地方でのみ行われ、それほど有名ではないまつりがあり、「ＡＡＡまつり」という名称であるとする。当該まつりでは特色のある形態の神輿が用いられるとする。この地方に初めて来た観光客がこのまつりを写真に撮影し、第１の画像として使用したとする。この場合、その地方の住民が既に本実施例を利用して上述の特色ある神輿を第１の画像として選択し、テキストの中に「ＡＡＡまつり」の語があったとすれば、本実施例の機械学習により、上述の観光客がまつりの名前を知らなかったとしても、自動で出力されるテキストの中に「ＡＡＡまつり」の語を出力させることができる。

さらに、撮影日時や撮影場所等の情報も機械学習の入力に用い得る場合は、画像から判別できる形態で特徴が無い場合であっても、撮影日時、撮影場所、および画像から判別できる一般的な物体（特殊ではないが神輿であることは判別できるなど）から、自動で出力されるテキストの中にまつりの名称を出力させることができる。

もっとも、本実施例に係る画像編集システムを特に簡潔な構成としたければ、実際に選択された画像と入力したテキストとから表２のような被写体−単語テーブルを生成しなくとも，サンプル画像などを利用してあらかじめ作成しておいてもよい。

図12は，スマートフォン１の表示パネル21の一例である。

図12において，図８に示すものと同一物については同一符号を付して説明を省略する。

図12に示す例では，撮影年月表示領域128に，2017年12月の文字列が表示されているから，2017年12月に撮影された画像（第２の画像群の一例である）から選択された画像（第２の画像の一例である）が画像表示領域129に表示されている。このように，第１画像群の撮影時期と第２画像群の撮影時期とは異なっている。表２に示す被写体−単語テーブルを参照して，2017年12月に撮影された画像から選択された画像についての状況などを表すテキストの生成が次のようにして行われる。

上述のように記録カード・ボタンがタッチされると（ステップ181でＹＥＳ），選択された画像（この場合は，図12に示すように2017年12月に撮影された画像のうちユーザに選択された画像であり，画像表示領域129に表示されている画像である）が主制御部100によって解析され，解析された画像が所定のテキスト生成手法によってテキストが生成される（ステップ182）。たとえば，選択された画像に含まれる被写体が抽出され，抽出された被写体に対応して記憶されている単語が表２から抽出され，抽出された単語を用いてテキストが生成される。被写体に「男の子」，「女の子」，「おゆうぎ会」（たとえば，おゆうぎ会という幕が被写体としてある場合など），「幼稚園」（幼稚園の名称が記載されている看板などが被写体としてある場合など）などが含まれている場合には「たろうくんと花子ちゃんが幼稚園でおゆうぎ会をやりました。」というテキストが生成される。「たろうくん，花子ちゃん，幼稚園，おゆうぎ会」というように文章となっておらず，単語の羅列でもよい。

表示パネル21には記録カード入力画面が表示され，第１のテキスト表示領域162および第２のテキスト表示領域163（テキスト報知手段の一例である）には，生成されたテキストが表示される（ステップ183）。図13においては，「たろうくんと花子ちゃんが幼稚園でおゆうぎ会をやりました。」というテキストが表示されている。ユーザは，第１のテキスト表示領域162および第２のテキスト表示領域163に表示されているテキストを確認して修正する必要があればキーパッド表示領域164に形成されているキーパッド（修正受付手段の一例である）を用いて修正する。

テキストが修正されると（ステップ184でＹＥＳ），選択された画像に含まれる被写体の組み合わせと修正されたテキスト（修正されたテキストについての情報の一例である）とから主制御部100（更新手段の一例である）によってテキスト生成手法が更新される（ステップ185）。

テキストの入力が終了し確定ボタン166がタッチされると（ステップ186でＹＥＳ），図10に示すような入力確認画面が表示パネル21に表示される（ステップ187）。入力確認画面における確認ボタン172がタッチされると（ステップ188でＹＥＳ），表示パネル21にはホーム画面が表示され，注文ボタン131がタッチされることにより（ステップ189でＹＥＳ），上述したのと同様に，主制御部100（記憶制御手段の一例である）によって，選択された画像に含まれる被写体，テキストに含まれる単語が表２に示すように被写体−単語テーブルに格納される（ステップ190）。

テキスト生成手法が更新されていくので，生成されるテキストが，より正確になる。

図14は，テキスト生成の処理手順（図11に示すステップ182の処理手順）を示すフローチャートである。

まず，表２に示す被写体−単語テーブルに格納されている単語のうち，出現頻度の高い単語（しきい値以上の単語）があれば（ステップ201でＹＥＳ），その単語を用いてテキストが生成される（ステップ202）。被写体−単語テーブルに「まつり」という単語の出現頻度が高く，かつテキストを生成しようとする新たな画像（第２の画像の一例であり，たとえば，2017年12月に撮影された画像についての記録カードを作成しようとする場合，2017年12月の撮影画像の中から選択された画像である）にも「まつり」という単語によって表される被写体が含まれている場合には，その「まつり」という単語を用いてテキストが生成される。

異なる撮影年月における画像から選択された画像に共通の被写体が含まれており，かつその共通の被写体が変化している場合には（ステップ203でＹＥＳ），その変化の様子を表すテキストが生成される（ステップ204）。たとえば，図15に示すように，ある撮影年月における画像から選択された画像（第１の画像の一例である）に画像211が含まれており，かつ別の撮影年月における画像から抽出された画像（第２の画像の一例である）に画像212が含まれている場合において，これらの画像211に含まれる被写体と画像212に含まれる画像212に含まれる被写体とが共通であったとすると，共通の被写体の変化を表すテキストが生成される。図15に示す例では，画像211は赤ん坊が「はいはい」している画像であり，画像212は赤ん坊が「つかまり立ち」している画像であるから，「つかまり立ちができるようになりました」というテキストが生成される。共通の被写体があるかどうかは，被写体-単語テーブルに共通の被写体を示す画像が含まれていれば，共通の被写体と判断してもよいが，過去に選択された共通の被写体と過去に選択された画像と新たに選択された画像との被写体認識を行い，被写体が共通しているかどうかを判定するようにしてもよい。

また，新たに選択された画像（第２の画像の一例である）のうち異なる画像の第１の被写体と第２の被写体とからテキストが生成される（ステップ205）。図16を参照して，新たに選択された画像の中に画像213および画像214が含まれている場合において，画像認識により画像213には，玉入れのかご，球，子供の被写体（第１の被写体の一例である）が含まれているから画像213は玉入れの画像，画像214は走っている人（第２の被写体の一例である）の被写体が含まれているから画像214は徒競走の画像ということが解析される。すると，「運動会」というテキストが生成され，ユーザに報知される。

さらに，新たに選択された画像（第２の画像の一例である）のうち複数の画像に共通に含まれる被写体が存在する場合には，その被写体についてのテキストが生成される（ステップ206）。たとえば，複数の画像に共通に「たろうくん」の画像が含まれている場合には，その「たろうくん」の情報を用いてテキストが生成される。被写体が「たろうくん」かどうかは被写体−単語テーブルに格納されている情報を用いて判断できる。たとえば，表２を参照して，2017年５月に撮影された画像のうち選択された画像に含まれる被写体の男の子が一人しかおらず，対応する単語として「たろうくん」が格納されていると，その被写体の男の子が「たろうくん」となる。

さらに，ある月に撮影された画像から選択された画像（第１の画像の一例である）の中に図17に示す画像210が含まれており，別の月に撮影された画像から選択された画像（第２の画像の一例である）の中に図17に示す画像211が含まれていると，子供の成長が分かるような画像を選択基準としていることが分かる。すると，さらに別の月に撮影された画像（第３の画像群の一例である）から図17に示す画像211が選択する画像（第３の画像の一例である）として推奨される。同様に，被写体−単語テーブルに記憶されている単語のうち，しきい値以上の頻度で出現する単語がある場合，その単語によって表される被写体を含む画像が，さらに別の月に撮影された画像（第３の画像群の一例である）から選択する画像として表示パネル21（画像報知手段の一例である）に表示される画像選択画面（図７参照）において報知されてもよい。たとえば，画像選択画面に表示される画像のうち他の画像と区別するために枠が太く表示されることにより報知される。

また，画像210を含むある月に撮影された画像から選択された画像のテキストとして「寝返りができました！」と入力され，画像211を含む別の月に撮影された画像から選択された画像のテキストとして「はいはいができました」と入力されると，画像別の月に撮影された画像から選択された画像の中に図17に示す画像212が含まれていると，画像212を含む別の月に撮影された画像から選択された画像のテキストとして「つかまり立ちができるようになりました！」が作成される。このように選択する画像として推奨する画像のテキストが生成される（ステップ207）。過去に選択された画像にもとづいて画像のストーリーを検出し，ストーリーをテキストとして生成できる。

このようにして生成され，ユーザに報知されるテキストが修正されると，その修正内容に応じてテキスト生成手法が更新される。たとえば，出現頻度の高い単語の被写体を含むようなテキストが生成されたにも関わらず（ステップ202），その単語が修正されると，出現頻度の高い単語を用いずにテキストが生成される。同一の被写体が変化している場合に変化の様子を表すテキストが生成されたにも関わらず（ステップ204），そのようなテキストが修正されると，変化の様子を表すテキストは生成されないようになる。同様に，異なる画像の第１の被写体と第２の被写体とからテキストが生成されたにもかかわらず（ステップ205），そのようなテキストが修正されると，異なる画像の第１の被写体と第２の被写体とからのテキストの生成はされなくなる。共通に含まれる被写体の単語からテキストを生成されたにもかかわらず（ステップ206），そのようなテキストが修正されると共通に含まれる被写体の単語からのテキストの生成はされなくなるし，推奨画像のテキストが生成されたにもかかわらず（ステップ207），そのようなテキストが修正されると推奨画像からのテキスト生成はされなくなる。このようにテキストの生成手法が更新されていく。テキストの生成は図14を参照したものに限らず，他の方法により生成されてもよい。また，ある方法でのテキストの生成が行われなくなっても，テキストの修正により，元の方法でのテキストの生成が行われるようにしてもよい。

なお、「同一の被写体が変化している様子が分かるような画像」であることは、予め「子供が寝返りを打った画像」，「子供がはいはいしている画像」，「子供がつかまり立ちをしている画像」など，具体的な画像を検出したら「同一の被写体が変化している様子が分かるような画像」である、と判定することとしておけばよい。このようにして、子供のような被写体が成長する様子を表すテキストが生成できる。

なお、「同一の被写体が変化していることが分かるような画像」のような抽象的な概念に関しては、別途学習済みモデルを用いて判定しても良い。一例としては、一般に使用されている画像検索エンジンにおいて、「子供、成長、画像」等のキーワードを入れて抽出された画像を「子供が成長していることが分かるような画像」の正解画像とみなして、「子供が成長していることが分かるような画像」を判定するためのモデルの学習をさせることができる。他の例としては、本実施例のプログラムにおいて、注文時に当該月の画像群を要約したテキストメッセージをユーザに入力させ、全ユーザの注文情報を検索母集団とし、「子供、成長、画像」という言葉を含むテキストメッセージが入力された月の画像を、「被写体が変化していることが分かるような画像」の正解画像とみなして、「被写体が変化していることが分かるような画像」を判定するためのモデルの学習をさせることができる。

テキストの生成手法が更新されるので，より正確なテキストが生成される。

図18は，画像編集システムの一例である。

インターネットを介してスマートフォン１と画像サーバ220とが通信可能である。また，画像サーバ220とプリンタ・サーバ221とが通信可能である。

上述のようにして選択された画像を表す画像データおよび入力されたテキストを表すテキスト・データがスマートフォン１から画像サーバ220に送信される。画像データおよびテキスト・データが画像サーバ220からプリンタ・サーバ221に送信される。プリンタ・サーバ221（第２の画像商材作成手段の一例である）において，選択された画像のプリント(たとえば，11枚の画像のプリント)とテキストのプリントが行われ，これらのプリント（画像商材の一例である）がユーザに郵送される。

［変形例］
図19は，画像編集システムの処理手順を示すフローチャートの一例である。

上述したのと同様に，選択された画像を表す画像データおよび入力されたテキストを表すテキスト・データがスマートフォン１から画像サーバ220に送信される（ステップ231）。

スマートフォン１から送信された画像データおよびテキスト・データが画像サーバ220において受信されると（ステップ232でＹＥＳ），画像データによって表される画像のうち，テキスト・データによって表されるテキストに関連する画像を中央に配置し，周りにその他の画像を配置して１枚のプリントを生成するような画像商材データが画像サーバ220において生成される（ステップ233）。生成された画像商材データが画像サーバ200からプリンタ・サーバ221に送信される（ステップ234）。

画像商材データがプリンタ・サーバ221（第１の画像商材作成手段の一例である）において受信されると（ステップ241でＹＥＳ），プリントが行われる（ステップ242）。プリントは，ユーザに郵送される。

図20は，プリントされた画像商材250の一例である。

テキスト・データによって表されるテキストは，たとえば，「たろうくんがつかまり立ちができるようになりました！」とする，すると，中央の画像251は，そのテキストに関連するつかまり立ちについての画像251となり，その画像251の周りに選択された画像252が配置される。テキストを画像商材250とは別のカード等にプリントしてユーザに郵送してもよい。また，必ずしもテキストに関連する画像を中央に配置しなくてもよい。

図19に示す例では，図20に示すような画像商材250を表す画像商材データが画像サーバ220において生成されているがスマートフォン１の主制御部100(画像商材作成手段)において生成し，画像商材データをスマートフォン１から画像サーバ220に送信してもよい。

また，上述の実施例においては，スマートフォン１の主制御部100において，テキスト生成手法にしたがってテキストを生成しているが，テキストの生成をスマートフォン１以外の画像サーバ220などにおいて行ってもよい。その場合には，画像の選択，テキストの入力などが行われるごとに，それらの画像を表す画像データ，テキストを表すテキスト・データが画像サーバ220に送信され，画像サーバ220において表２などに示す被写体−単語テーブルが記憶される。新たに選択された画像を表す画像データが画像サーバ220に送信され，画像サーバ220において，記憶されている被写体−単語テーブルを参照してテキストが生成され，生成されたテキストを表すテキスト・データが画像サーバ220からスマートフォン１に送信される。スマートフォン１の無線通信部10(受信手段の一例である)においてテキスト・データが受信され，受信したテキスト・データによって表されるテキストがユーザに報知される。

画像サーバ220に記憶される被写体−単語テーブルには多くの情報が格納されるから，より正確なテキストを生成できるようになる。

上述の実施例ではスマートフォン１が利用されているが，スマートフォン１以外の専用の画像処理装置，パーソナル・コンピュータ，タブレット端末などを利用して構成することもできる。

また，テキストの生成を画像サーバ220において行い，生成されたテキストを表すテキスト・データを画像サーバ220から送信することによりテキストの報知を行うようにテキスト報知手段を画像サーバ220が備えてもよい。さらに，スマートフォン１において行われたテキストの修正を表すデータを画像サーバ220の通信装置（修正受付手段の一例となる）において受信し，テキストの修正を画像サーバ220において行なってもよい。この場合，画像サーバ220のメモリ（記憶手段の一例である）に被写体−単語テーブルが記憶され，画像サーバ220のＣＰＵ（記憶制御手段の一例である）によって被写体−単語テーブルに上述した被写体についての情報，単語についての情報を記憶してもよい。さらに，画像サーバ220のＣＰＵ（更新手段の一例である）によってテキスト生成手法を更新してもよい。

上述の処理を実行する処理部には，ソフトウエアを実行して各種の処理部として機能する主制御部100のほかに，FPGA（field-programmable gate array）などのように製造後に回路構成を変更可能なプログラマブル・ロジック・ディバイス，ASIC（application specific integrated circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。

１つの処理部は，これらの各種のプロセッサのうちの１つで構成されてもよいし，同種または異種の２つ以上のプロセッサの組合せ（たとえば，複数のFPGA，ＣＰＵとFPGAの組合せ）で構成されてもよい。複数の処理部を１つのプロセッサで構成する例としては，第１に，クライアント・コンピュータやサーバなどのコンピュータに代表されるように，１つ以上のＣＰＵとソフトウエアの組合せで１つのプロセッサを構成し，このプロセッサが複数の処理部として機能する形態がある。第２に，システム・オン・チップなどに代表されるように，複数の処理部を含むシステム全体の機能を１つのＩＣ（integrated circuit）チップで実現するプロセッサを使用する形態がある。このように，各種の処理部は，ハードウエア的な構造として各種のプロセッサを１つ以上用いて構成される。

さらに，これらの各種のプロセッサのハードウエア的な構造は，より具体的には，半導体素子などの回路素子を組合せた電気回路である。

１：スマートフォン，２：筐体，10：無線通信部，20：表示入力部，21：表示パネル，22：操作パネル，30：通話部，31：スピーカ，32：マイクロホン，40：操作部，41：カメラ部，50：記憶部，51：内部記憶部，52：外部記憶部，60：外部入出力部，70：ＧＰＳ受信部，80：モーションセンサ部，90：電源部，100：主制御部，121：撮影年月指定領域，122：撮影年表示領域，123：プルダウン・ボタン，124：撮影月指定領域，125：撮影月指定領域，127：検索ボタン，128：撮影年月表示領域，129：画像表示領域，130：画像追加領域，131：注文ボタン，132：ホーム・ボタン，133：物販ボタン，134：メニュー・ボタン，141-146：画像フォルダ・アイコン，151：画像表示領域，152：推奨画像ボタン，153：画像解析ボタン，154：確定ボタン，161：撮影年月表示領域，162：第１のテキスト表示領域，163：第２のテキスト表示領域，164：キーパッド表示領域，165：切替ボタン，166：確定ボタン，167：マイク・ボタン，168：スペース・ボタン，169：改行ボタン，171：戻るボタン，172：確認ボタン。200：画像サーバ，210-214：画像，220：画像サーバ，221：プリンタ・サーバ，250：画像商材，251-252：画像，ＢＳ：基地局装置，ＮＷ：移動通信網，ＳＴ１：GPS衛星

Claims (15)

1. 第１の画像群から選択された複数の第１の画像のそれぞれの画像に含まれる被写体の組み合わせと選択された複数の第１の画像について与えられたテキストについての情報とが関連づけられて記憶されている記憶手段を参照して，テキスト生成手法にもとづいてテキスト生成手段によって生成されるテキストであって，第２の画像群から選択された複数の第２の画像に与えられるテキストを報知するテキスト報知手段，
   上記テキスト報知手段によって報知されたテキストの修正を受け付ける修正受付手段，
   上記複数の第２の画像のそれぞれの画像に含まれている被写体の組み合わせと上記修正受付手段において受け付けられて修正されたテキストについての情報とを関連づけて上記記憶手段に記憶させる記憶制御手段，および
   上記複数の第２の画像のそれぞれの画像に含まれている被写体の組み合わせと上記修正受付手段において受け付けられて修正されたテキストについての情報にもとづいて上記テキスト生成手法を更新させる更新手段，
   を備えた画像処理装置。
2. 上記テキスト生成手段は，
   上記記憶手段に記憶されているテキストについての情報に含まれる単語のうち，しきい値以上の頻度で出現している単語によって表される被写体を含む画像が，上記複数の第２の画像に含まれている場合に，上記しきい値以上の頻度で出現している単語にもとづいて上記複数の第２の画像に与えられるテキストを生成する，
   請求項１に記載の画像処理装置。
3. 上記記憶手段に記憶されているテキストについての情報に含まれている単語のうち，しきい値以上の頻度で出現している単語によって表される被写体を含む画像が，第３の画像群に含まれている場合に，上記被写体を含む画像を第３の画像群から選択する画像として報知する画像報知手段，
   をさらに備えた請求項１または２に記載の画像処理装置。
4. 上記テキスト生成手段は，
   上記複数の第１の画像に含まれる被写体と同一の被写体が上記複数の第２の画像に含まれており，かつ上記同一の被写体が変化している場合において，上記同一の被写体の変化の様子を表すテキストを生成する，
   請求項１から３のうち，いずれか一項に記載の画像処理装置。
5. 上記テキスト生成手段は，
   上記複数の第２の画像のうち異なる画像に含まれている第１の被写体と第２の被写体に関連づけられているテキストについての情報にもとづいて，複数の第２の画像に与えられるテキストを生成する，
   請求項１に記載の画像処理装置。
6. 上記テキスト生成手段は，
   上記複数の第２の画像のうち複数の画像に共通に含まれる被写体に関連づけられているテキストについての情報にもとづいて，複数の第２の画像に与えられるテキストを生成する，
   請求項１に記載の画像処理装置。
7. 上記複数の画像のうち，少なくとも１つの画像を中央に配置して上記複数の第２の画像についての画像商材を作成する画像商材作成手段，
   をさらに備えた請求項６に記載の画像処理装置。
8. 上記テキスト生成手段は，
   上記第１の画像と上記第２の画像とにもとづく選択基準から第３の画像群の中から選択する画像として推奨する複数の第３の画像に与えられるテキストを生成する，
   請求項１に記載の画像処理装置。
9. 上記複数の第１の画像の撮影時期と上記複数の第２の画像の撮影時期とが異なっている，
   請求項１から８のうち，いずれか一項に記載の画像処理装置。
10. 上記複数の第１の画像および上記複数の第２の画像についての画像商材を作成する画像商材作成手段，
    をさらに備えた請求項１から９のうち，いずれか一項に記載の画像処理装置。
11. 上記テキスト生成手段をさらに備えている，
    請求項１から10のうち，いずれか一項に記載の画像処理装置。
12. 上記テキスト生成手段によって生成されたテキストを表すデータを受信する受信手段をさらに備え，
    上記テキスト報知手段は，
    上記受信手段において受信したデータによって表されるテキストを報知する，
    請求項１から10のうち，いずれか一項に記載の画像処理装置。
13. テキスト報知手段が，第１の画像群から選択された複数の第１の画像のそれぞれの画像に含まれる被写体の組み合わせと選択された複数の第１の画像について与えられたテキストについての情報とが関連づけられて記憶されている記憶手段を参照して，テキスト生成手法にもとづいてテキスト生成手段によって生成されるテキストであって，第２の画像群から選択された複数の第２の画像に与えられるテキストを報知し，
    修正受付手段が，上記テキスト報知手段によって報知されたテキストの修正を受け付け，
    記憶制御手段が，上記複数の第２の画像のそれぞれの画像に含まれている被写体の組み合わせと上記修正受付手段において受け付けられて修正されたテキストについての情報とを関連づけて上記記憶手段に記憶し，
    更新手段が，上記複数の第２の画像のそれぞれの画像に含まれている被写体の組み合わせと上記修正受付手段において受け付けられて修正されたテキストについての情報にもとづいて上記テキスト生成手法を更新する，
    画像処理方法。
14. 画像処理装置のコンピュータを制御するプログラムであって，コンピュータが読み取り可能なプログラムにおいて，
    第１の画像群から選択された複数の第１の画像のそれぞれの画像に含まれる被写体の組み合わせと選択された複数の第１の画像について与えられたテキストについての情報とが関連づけられて記憶されている記憶手段を参照して，テキスト生成手法にもとづいてテキスト生成手段によって生成されるテキストであって，第２の画像群から選択された複数の第２の画像に与えられるテキストを報知させ，
    報知されたテキストの修正を受け付け，
    上記複数の第２の画像のそれぞれの画像に含まれている被写体の組み合わせと受け付けられて修正されたテキストについての情報とを関連づけて上記記憶手段に記憶させ，
    上記複数の第２の画像のそれぞれの画像に含まれている被写体の組み合わせと受け付けられて修正されたテキストについての情報にもとづいて上記テキスト生成手法を更新させるように画像処理装置のコンピュータを制御するプログラム。
15. 請求項14に記載のプログラムを格納した記録媒体。

Images