WO2024062913A1 - 画像処理装置、画像処理装置の作動方法、および画像処理装置の作動プログラム - Google Patents

Abstract

プロセッサを備え、プロセッサは、複数の時点における画像に対するユーザの感情の入力を受け付け、複数の時点における感情の情報と画像とを関連付けて記憶する、画像処理装置。

Description

画像処理装置、画像処理装置の作動方法、および画像処理装置の作動プログラム

　本開示の技術は、画像処理装置、画像処理装置の作動方法、および画像処理装置の作動プログラムに関する。

　特開２０１７－０９２５２８号公報には、撮影部と、表示部と、選択受付部と、撮影指示部と、関連付け部とを備える撮影装置が記載されている。表示部は、互いに異なる気分を表す複数の画像要素を表示する。選択受付部は、表示部により表示された画像要素の中から、ユーザの選択操作を受け付ける。撮影指示部は、ユーザの操作に応じて、撮影部に画像を撮影させる。関連付け部は、撮影指示部が画像を撮影させたタイミングを基準として既定の期間内に、選択受付部により画像要素の選択操作を受け付けた場合に、選択された画像要素に関連付けられた気分を表わす気分情報と、撮影部により撮影された画像データとを互いに関連付ける。

　本開示の技術に係る１つの実施形態は、画像に対するユーザの感情をより的確に把握することが可能な画像処理装置、画像処理装置の作動方法、および画像処理装置の作動プログラムを提供する。

　本開示の画像処理装置は、プロセッサを備え、プロセッサは、複数の時点における画像に対するユーザの感情の入力を受け付け、複数の時点における感情の情報と画像とを関連付けて記憶する。

　画像はインスタントフイルムに印刷出力された印刷画像であり、複数の時点は、印刷画像を撮影する時点、インスタントフイルムをデジタル画像として記憶する時点、およびインスタントフイルムのデジタル画像をソーシャルネットワーキングサービスに投稿する時点の中から選択された組み合わせであることが好ましい。

　プロセッサは、画像を表示するときに、感情の情報に応じた表示エフェクトをかけることが好ましい。

　画像は、感情の情報を検索キーワードとして検索することが可能であることが好ましい。

　プロセッサは、画像の入力に応じて感情の情報を出力する機械学習モデルを用いて感情を推定し、推定した感情をユーザに表示することが好ましい。

　関連付けて記憶された感情の情報と画像とが、機械学習モデルの教師データとして用いられることが好ましい。

　画像はインスタントフイルムに印刷出力された印刷画像であり、複数の時点は、印刷画像を撮影する時点を含み、プロセッサは、インスタントフイルムのデジタル画像を取得し、デジタル画像を画像解析することで、ユーザがインスタントフイルムに実記したテキストを読み取り、テキストの自然言語解析を行い、自然言語解析の結果にしたがって、印刷画像を撮影する時点における感情を推定し、推定した感情をユーザに表示することが好ましい。

　画像はインスタントフイルムに印刷出力された印刷画像であり、複数の時点は、インスタントフイルムのデジタル画像をソーシャルネットワーキングサービスに投稿する時点を含み、プロセッサは、デジタル画像をソーシャルネットワーキングサービスに投稿するときにユーザが入力したテキストを取得し、テキストの自然言語解析を行い、自然言語解析の結果にしたがって、デジタル画像をソーシャルネットワーキングサービスに投稿する時点における感情を推定し、推定した感情をユーザに表示することが好ましい。

　プロセッサは、ユーザが身に付けたウェアラブルデバイスからのユーザの状態情報を取得し、状態情報に基づいて感情を推定し、推定した感情をユーザに表示することが好ましい。

　プロセッサは、画像に写る人物の表情を検出し、表情の検出結果に基づいて感情を推定し、推定した感情をユーザに表示することが好ましい。

　本開示の画像処理装置の作動方法は、複数の時点における画像に対するユーザの感情の入力を受け付けること、並びに、複数の時点における感情の情報と画像とを関連付けて記憶すること、を含む。

　本開示の画像処理装置の作動プログラムは、複数の時点における画像に対するユーザの感情の入力を受け付けること、並びに、複数の時点における感情の情報と画像とを関連付けて記憶すること、を含む処理をコンピュータに実行させる。

インスタントカメラ、ユーザ端末、および画像管理サーバを示す図である。 ユーザ端末および画像管理サーバを構成するコンピュータを示すブロック図である。 ユーザ端末のＣＰＵの処理部を示すブロック図である。 記憶指示画面を示す図である。 記憶指示ボタンが押された後の記憶指示画面を示す図である。 撮影時の感情入力メニューを示す図である。 図５の記憶指示画面においてＯＫボタンが押された場合のブラウザ制御部の処理を示す図である。 画像再生表示画面を示す図である。 投稿ボタンが押された後の画像再生表示画面を示す図である。 図９の画像再生表示画面においてＯＫボタンが押された場合のブラウザ制御部の処理を示す図である。 感情が「怒り」の場合の表示エフェクトを示す図である。 感情が「哀しい」の場合の表示エフェクトを示す図である。 感情が「楽しい」の場合の表示エフェクトを示す図である。 画像管理サーバのＣＰＵの処理部を示すブロック図である。 画像ＤＢに記憶されるデータの詳細を示す図である。 ユーザ端末から第１記憶要求が送信された場合の画像管理サーバの各処理部の処理を示す図である。 ユーザ端末から第２記憶要求が送信された場合の画像管理サーバの各処理部の処理を示す図である。 画像一覧表示画面を示す図である。 検索バーに検索キーワードが入力された場合のブラウザ制御部の処理を示す図である。 ユーザ端末から検索要求が送信された場合の画像管理サーバの各処理部の処理を示す図である。 検索結果が表示された画像一覧表示画面を示す図である。 ユーザ端末の処理手順を示すフローチャートである。 画像管理サーバの処理手順を示すフローチャートである。 ユーザ端末の処理手順を示すフローチャートである。 画像管理サーバの処理手順を示すフローチャートである。 ユーザ端末から感情推定要求が送信された場合の画像管理サーバの各処理部の処理を示す図である。 感情推定部の処理を示す図である。 感情推定結果が吹き出しメッセージの形で表示された撮影時の感情入力メニューを示す図である。 感情推定モデルの学習フェーズにおける処理を示す図である。 感情推定モデルの学習フェーズにおける処理の別の例を示す図である。 感情推定モデルの教師データの採用方針を示す図である。 ユーザ端末からテキストが実記されたインスタントフイルムを含む感情推定要求が送信された場合の画像管理サーバの各処理部の処理を示す図である。 図３２で示した態様における感情推定部の詳細な構成を示す図である。 ユーザ端末から、インスタントフイルムの投稿時にユーザが入力したテキストの情報を含む感情推定要求が送信された場合の画像管理サーバの各処理部の処理を示す図である。 図３４で示した態様における感情推定部の詳細な構成を示す図である。 スマートウォッチおよび状態情報を示す図である。 体温変動データを示すグラフである。 ユーザ端末から状態情報を含む感情推定要求が送信された場合の画像管理サーバの各処理部の処理を示す図である。 ユーザ端末から顔が写った印刷画像を含む感情推定要求が送信された場合の画像管理サーバの各処理部の処理を示す図である。 図３９で示した態様における感情推定部の詳細な構成を示す図である。 印刷画像、テキスト読取結果、および状態情報の入力に応じて、感情推定結果を出力する感情推定モデルを示す図である。

　一例として図１に示すように、ユーザＵはインスタントカメラ１０で被写体を撮影し、インスタントフイルム１１に被写体の画像を印刷出力させる。インスタントフイルム１１は、銀塩式、感熱式のいずれでもよい。図１においては、被写体としてアイスクリームパフェを例示している。以下、インスタントフイルム１１に印刷出力された画像を印刷画像１２と表記する。

　印刷画像１２は、インスタントフイルム１１の略中心部に配されている。そして、印刷画像１２のサイズは、インスタントフイルム１１よりも一回り小さい。このため、インスタントフイルム１１の縁と印刷画像１２の縁との間には余白が設けられている。特に、インスタントフイルム１１の下部には、比較的大きな余白１３が設けられている。余白１３には、油性ペン等でユーザＵがテキスト１４を書き込むことが可能である。図１においては、テキスト１４として「ｄｅｌｉｃｉｏｕｓ！」が書き込まれた例を示している。

　ユーザＵは、ユーザ端末１５のカメラ機能でインスタントフイルム１１を撮影し、インスタントフイルム１１をデジタル画像として記憶する。ユーザ端末１５は、カメラ機能、画像再生表示機能、および画像送受信機能等を有する機器である。ユーザ端末１５は、具体的にはスマートフォン、タブレット端末、コンパクトデジタルカメラ、ミラーレス一眼カメラ、あるいはノート型のパーソナルコンピュータ等である。ユーザ端末１５は、本開示の技術に係る「画像処理装置」の一例である。

　ユーザ端末１５は、ネットワーク１６を介して画像管理サーバ１７と相互通信可能に接続されている。ネットワーク１６は、例えばインターネットまたは公衆通信網等のＷＡＮ（Ｗｉｄｅ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）である。ユーザ端末１５は印刷画像１２を画像管理サーバ１７に送信（アップロード）する。また、ユーザ端末１５は画像管理サーバ１７からの印刷画像１２を受信（ダウンロード）する。

　画像管理サーバ１７は、例えばサーバコンピュータ、ワークステーション等であり、ユーザ端末１５と併せて、本開示の技術に係る「画像処理装置」の一例である。このように、本開示の技術に係る「画像処理装置」は、複数の装置に跨って実現されてもよい。画像管理サーバ１７には、ネットワーク１６を介して複数のユーザＵの複数のユーザ端末１５が接続されている。

　一例として図２に示すように、ユーザ端末１５および画像管理サーバ１７を構成するコンピュータは、基本的には同じ構成であり、ストレージ２０、メモリ２１、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）２２、通信部２３、ディスプレイ２４、および入力デバイス２５を備えている。これらはバスライン２６を介して相互接続されている。

　ストレージ２０は、ユーザ端末１５および画像管理サーバ１７を構成するコンピュータに内蔵、またはケーブル、ネットワークを通じて接続されたハードディスクドライブである。もしくはストレージ２０は、ハードディスクドライブを複数台連装したディスクアレイである。ストレージ２０には、オペレーティングシステム等の制御プログラム、各種アプリケーションプログラム（以下、ＡＰ（Ａｐｐｌｉｃａｔｉｏｎ　Ｐｒｏｇｒａｍ）と略す）、およびこれらのプログラムに付随する各種データ等が記憶されている。なお、ハードディスクドライブに代えてソリッドステートドライブを用いてもよい。

　メモリ２１は、ＣＰＵ２２が処理を実行するためのワークメモリである。ＣＰＵ２２は、ストレージ２０に記憶されたプログラムをメモリ２１へロードして、プログラムにしたがった処理を実行する。これによりＣＰＵ２２はコンピュータの各部を統括的に制御する。ＣＰＵ２２は、本開示の技術に係る「プロセッサ」の一例である。なお、メモリ２１は、ＣＰＵ２２に内蔵されていてもよい。

　通信部２３は、ネットワーク１６等を介した各種情報の伝送制御を行うネットワークインターフェースである。ディスプレイ２４は各種画面を表示する。各種画面にはＧＵＩ(Ｇｒａｐｈｉｃａｌ　Ｕｓｅｒ　Ｉｎｔｅｒｆａｃｅ)による操作機能が備えられる。ユーザ端末１５および画像管理サーバ１７を構成するコンピュータは、各種画面を通じて、入力デバイス２５からの操作指示の入力を受け付ける。入力デバイス２５は、キーボード、マウス、タッチパネル、および音声入力用のマイク等である。

　なお、以下の説明では、ユーザ端末１５を構成するコンピュータの各部（ストレージ２０、ＣＰＵ２２、ディスプレイ２４、および入力デバイス２５）には添え字の「Ａ」を、画像管理サーバ１７を構成するコンピュータの各部（ストレージ２０およびＣＰＵ２２）には添え字の「Ｂ」をそれぞれ符号に付して区別する。

　一例として図３に示すように、ユーザ端末１５のストレージ２０Ａには、印刷画像ＡＰ３０が記憶されている。印刷画像ＡＰ３０は、ユーザＵによってユーザ端末１５にインストールされる。印刷画像ＡＰ３０は、ユーザ端末１５を構成するコンピュータを、本開示の技術に係る「画像処理装置」として機能させるためのＡＰである。すなわち、印刷画像ＡＰ３０は、本開示の技術に係る「画像処理装置の作動プログラム」の一例である。印刷画像ＡＰ３０が起動された場合、ユーザ端末１５のＣＰＵ２２Ａは、メモリ２１等と協働して、ブラウザ制御部３２として機能する。ブラウザ制御部３２は、印刷画像ＡＰ３０の専用のウェブブラウザの動作を制御する。

　ブラウザ制御部３２は各種画面を生成する。ブラウザ制御部３２は、生成した各種画面をディスプレイ２４Ａに表示する。また、ブラウザ制御部３２は、各種画面を通じて、ユーザＵによって入力デバイス２５Ａから入力される様々な操作指示を受け付ける。ブラウザ制御部３２は、操作指示に応じた様々な要求を画像管理サーバ１７に送信する。

　一例として図４に示すように、ブラウザ制御部３２は、ユーザＵの指示に応じて、記憶指示画面３５をディスプレイ２４Ａに表示する。記憶指示画面３５は、インスタントフイルム１１、ひいては印刷画像１２をデジタル画像として記憶する記憶指示を行うための画面である。記憶指示画面３５には、デジタル画像として記憶したいインスタントフイルム１１を収める枠３６、メッセージ３７、および記憶指示ボタン３８が表示されている。メッセージ３７は、枠３６内にデジタル画像として記憶したいインスタントフイルム１１を収め、記憶指示ボタン３８を押すことをユーザＵに促す内容である。記憶指示ボタン３８は、いわばシャッターボタンとして機能する。

　ユーザＵは、メッセージ３７にしたがって、枠３６内にデジタル画像として記憶したいインスタントフイルム１１を収め、記憶指示ボタン３８を押す。記憶指示ボタン３８が押された場合、ブラウザ制御部３２は、記憶指示画面３５の表示を図５に示すように遷移させる。

　一例として図５に示すように、記憶指示ボタン３８が押された後の記憶指示画面３５には、メッセージ４０、感情入力メニュー４１Ａ、感情入力メニュー４１Ｂ、およびＯＫボタン４２が設けられる。メッセージ４０は、印刷画像１２を撮影する時点（以下、撮影時と表記する）と、インスタントフイルム１１（印刷画像１２）をデジタル画像として記憶する時点（以下、記憶時と表記する）における印刷画像１２に対する感情を入力し、ＯＫボタン４２を押すことをユーザＵに促す内容である。感情入力メニュー４１Ａは、撮影時における印刷画像１２に対するユーザＵの感情を入力するためのＧＵＩである。感情入力メニュー４１Ｂは、記憶時における印刷画像１２に対するユーザＵの感情を入力するためのＧＵＩである。以下、感情入力メニュー４１Ａおよび４１Ｂを特に区別する必要がない場合は、感情入力メニュー４１と表記する場合がある。

　一例として図６に示すように、感情入力メニュー４１Ａは、感情として「喜び」を表す顔型４３Ａ、感情として「怒り」を表す顔型４３Ｂ、感情として「哀しい」を表す顔型４３Ｃ、および感情として「楽しい」を表す顔型４３Ｄを有する。顔型４３Ａ～４３Ｄの上部には、各顔型４３Ａ～４３Ｄで表される感情を示す文字が表示される。以下、顔型４３Ａ～４３Ｄを特に区別する必要がない場合は、顔型４３と表記する場合がある。

　顔型４３Ａ～４３Ｄは、図５で示した状態において、感情入力メニュー４１Ａが選択された場合に表示される。顔型４３Ａ～４３Ｄは、いずれか１つを選択可能である。ユーザＵは、顔型４３Ａ～４３Ｄのうち、撮影時における印刷画像１２に対する感情として相応しい１つの顔型４３を選択する。図６においては、ハッチングで示すように、感情として「喜び」を表す顔型４３Ａが選択された例を示している。なお、感情入力メニュー４１Ｂは、感情入力メニュー４１Ａと同じ構成であるため、図示および説明を省略する。

　一例として図７に示すように、ユーザＵは、メッセージ４０にしたがって、感情入力メニュー４１Ａおよび４１Ｂにて所望の感情を入力した後、ＯＫボタン４２を押す。ＯＫボタン４２が押された場合、ブラウザ制御部３２は感情情報４５Ａを生成する。感情情報４５Ａは、感情入力メニュー４１Ａおよび４１Ｂにて入力された撮影時および記憶時の感情を含む。また、感情情報４５Ａは、印刷画像１２を一意に識別するための画像ＩＤ（Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ　Ｄａｔａ）を含む。図７においては、感情入力メニュー４１Ａおよび４１Ｂにていずれも「喜び」を表す顔型４３Ａが選択され、撮影時および記憶時の感情として「喜び」が登録された感情情報４５Ａを生成する例を示している。

　一例として図８に示すように、ブラウザ制御部３２は、ユーザＵの指示に応じて、画像再生表示画面５０をディスプレイ２４Ａに表示する。画像再生表示画面５０は、デジタル画像として記憶されたインスタントフイルム１１、ひいては印刷画像１２を再生表示する画面である。ブラウザ制御部３２は、感情情報４５Ａに応じた表示エフェクトを印刷画像１２にかける。図８においては、図７で示した撮影時および記憶時の感情として「喜び」が登録された感情情報４５Ａの例を示している。この場合、ブラウザ制御部３２は、表示エフェクトとして、星マーク５１を印刷画像１２に複数表示する。

　画像再生表示画面５０には、デジタル画像として記憶されたインスタントフイルム１１を、アプリケーションプログラムを通じてソーシャルネットワーキングサービス（以下、ＳＮＳ（Ｓｏｃｉａｌ　Ｎｅｔｗｏｒｋｉｎｇ　Ｓｅｒｖｉｃｅ）と表記する）に投稿するための投稿ボタン５２が設けられている。投稿ボタン５２が押された場合、ブラウザ制御部３２は、画像再生表示画面５０の表示を図９に示すように遷移させる。

　一例として図９に示すように、投稿ボタン５２が押された後の画像再生表示画面５０には、各種ＳＮＳのアプリケーションプログラムのアイコン５５、メッセージ５６、感情入力メニュー４１Ｃ、およびＯＫボタン５７が設けられる。メッセージ５６は、インスタントフイルム１１のデジタル画像をＳＮＳに投稿する時点（以下、投稿時と表記する）における印刷画像１２に対する感情を入力し、ＯＫボタン５７を押すことをユーザＵに促す内容である。感情入力メニュー４１Ｃは、投稿時における印刷画像１２に対するユーザＵの感情を入力するためのＧＵＩである。感情入力メニュー４１Ｃは、感情入力メニュー４１Ａ等と同じ構成であるため、図示および説明を省略する。

　一例として図１０に示すように、ユーザＵは、アイコン５５を選択し、かつ、メッセージ５６にしたがって、感情入力メニュー４１Ｃにて所望の感情を入力した後、ＯＫボタン５７を押す。ＯＫボタン５７が押された場合、ブラウザ制御部３２は感情情報４５Ｂを生成する。感情情報４５Ｂは、感情入力メニュー４１Ｃにて入力された投稿時の感情、および画像ＩＤを含む。図１０においては、感情入力メニュー４１Ｃにて「楽しい」を表す顔型４３Ｄが選択され、投稿時の感情として「楽しい」が登録された感情情報４５Ｂを生成する例を示している。以下、感情情報４５Ａおよび４５Ｂを特に区別する必要がない場合は、感情情報４５と表記する場合がある。

　図８および図９においては、感情が「喜び」の場合の表示エフェクトを示したが、他の感情の場合の表示エフェクトは、一例として図１１～図１３に示すようになる。すなわち、感情が「怒り」の場合、図１１に示すように、ブラウザ制御部３２は、表示エフェクトとして、こめかみの血管、いわゆる青筋を模した怒りマーク６０を印刷画像１２に複数表示する。感情が「哀しい」の場合、図１２に示すように、ブラウザ制御部３２は、表示エフェクトとして、涙の雫を模した涙マーク６１を印刷画像１２に複数表示する。感情が「楽しい」の場合、図１３に示すように、ブラウザ制御部３２は、表示エフェクトとして、音符マーク６２を印刷画像１２に複数表示する。

　ブラウザ制御部３２は、インスタントフイルム１１のデジタル画像をＳＮＳに投稿した後に、画像再生表示画面５０において印刷画像１２を再生表示する場合も、印刷画像１２に対して表示エフェクトを行う。ブラウザ制御部３２は、撮影時、記憶時、および投稿時のうち、選択数が多い感情に合わせて表示エフェクトを行う。例えば、撮影時および記憶時における感情がともに「喜び」で、投稿時における感情が「楽しい」であった場合、ブラウザ制御部３２は、「喜び」に合わせた星マーク５１による表示エフェクトを行う。撮影時および記憶時における感情が異なる場合、または撮影時、記憶時、および投稿時における感情が異なる場合は、ブラウザ制御部３２は、より新しい時点における感情に合わせて表示エフェクトを行う。なお、星マーク５１を明滅させる、怒りマーク６０の大きさを変える、涙マーク６１を上下に流す、あるいは音符マーク６２の角度を変える等、アニメーションで表示してもよい。

　一例として図１４に示すように、画像管理サーバ１７のストレージ２０Ｂには、作動プログラム７０が記憶されている。作動プログラム７０は、画像管理サーバ１７を構成するコンピュータを、本開示の技術に係る「画像処理装置」として機能させるためのＡＰである。すなわち、作動プログラム７０は、印刷画像ＡＰ３０と同じく、本開示の技術に係る「画像処理装置の作動プログラム」の一例である。ストレージ２０Ｂには、画像データベース（以下、ＤＢ（Ｄａｔａ　Ｂａｓｅ）と表記する）７１も記憶されている。また、図示は省略したが、ストレージ２０Ｂには、ユーザＵを一意に識別するためのユーザＩＤと、ユーザＵが設定したパスワードと、ユーザ端末１５を一意に識別するための端末ＩＤとが、ユーザＵのアカウント情報として記憶されている。

　作動プログラム７０が起動されると、画像管理サーバ１７のＣＰＵ２２Ｂは、メモリ２１等と協働して、受付部７５、リードライト（以下、ＲＷ（Ｒｅａｄ　Ｗｒｉｔｅ）と表記する）制御部７６、および配信制御部７７として機能する。

　受付部７５は、ユーザ端末１５からの各種要求を受け付ける。受付部７５は、各種要求をＲＷ制御部７６および配信制御部７７に出力する。ＲＷ制御部７６は、ストレージ２０Ｂへの各種データの記憶、およびストレージ２０Ｂからの各種データの読み出しを制御する。ＲＷ制御部７６は、特に、画像ＤＢ７１への印刷画像１２等の記憶、および画像ＤＢ７１からの印刷画像１２等の読み出しを制御する。配信制御部７７は、ユーザ端末１５への各種データの配信を制御する。

　一例として図１５に示すように、画像ＤＢ７１には、ユーザＵ毎に記憶領域８０が設けられている。記憶領域８０にはユーザＩＤが登録されている。記憶領域８０には、デジタル画像として記憶されたインスタントフイルム１１、ひいては印刷画像１２と、感情情報４５とが、画像ＩＤによって関連付けて記憶されている。画像ＩＤ「Ｐ００００２」で示される印刷画像１２のように、ＳＮＳへの投稿がされていない印刷画像１２には、投稿時における感情は登録されない。

　各印刷画像１２にはタグ情報が登録されている。タグ情報は、印刷画像１２に写る被写体を端的に表す単語である。タグ情報は、ユーザＵが手入力したもの、あるいは、画像解析ソフトを用いて導出したものを含む。また、図示は省略したが、各印刷画像１２には、撮影時のインスタントカメラ１０の設定（マクロ、自撮り、ストロボ撮影等）、撮影時のシーン（日中、夜間、屋外、屋内等）、および画質評価点等も登録されている。

　一例として図１６に示すように、記憶指示画面３５においてＯＫボタン４２が押された場合、ブラウザ制御部３２は、図７で示したように感情情報４５Ａを生成したうえで、第１記憶要求８５Ａを画像管理サーバ１７に送信する。第１記憶要求８５Ａは、ユーザＩＤと、デジタル画像として記憶されたインスタントフイルム１１、ひいては印刷画像１２と、感情情報４５Ａとを含む。

　受付部７５は第１記憶要求８５Ａを受け付け、第１記憶要求８５ＡをＲＷ制御部７６に出力する。ＲＷ制御部７６は、第１記憶要求８５Ａに応じて、ユーザＩＤに対応する画像ＤＢ７１の記憶領域８０に、印刷画像１２と感情情報４５Ａとを関連付けて記憶する。図１６においては、自動車が写された印刷画像１２と、感情情報４５Ａの撮影時における感情「喜び」および記憶時における感情「楽しい」を、ユーザＩＤ「Ｕ００００１」のユーザＵの記憶領域８０に関連付けて記憶する例を示している。なお、図１６においては、タグ情報等の図示を省略している。以降の図１７等も同様である。

　一例として図１７に示すように、画像再生表示画面５０においてＯＫボタン５７が押された場合、ブラウザ制御部３２は、図１０で示したように感情情報４５Ｂを生成したうえで、第２記憶要求８５Ｂを画像管理サーバ１７に送信する。第２記憶要求８５Ｂは、ユーザＩＤと感情情報４５Ｂとを含む。

　受付部７５は第２記憶要求８５Ｂを受け付け、第２記憶要求８５ＢをＲＷ制御部７６に出力する。ＲＷ制御部７６は、第２記憶要求８５Ｂに応じて、ユーザＩＤに対応する画像ＤＢ７１の記憶領域８０に、感情情報４５Ｂを記憶する。図１７においては、印刷画像１２が図１６の場合と同じく自動車が写されたもので、感情情報４５Ｂの投稿時における感情「楽しい」を、ユーザＩＤ「Ｕ００００１」のユーザＵの記憶領域８０に記憶する例を示している。このように、ＲＷ制御部７６は、撮影時、記憶時、および投稿時の３つの時点における感情情報４５と印刷画像１２とを、画像ＤＢ７１に関連付けて記憶する。

　一例として図１８に示すように、ブラウザ制御部３２は、ユーザＵの指示に応じて、画像一覧表示画面９０をディスプレイ２４Ａに表示する。画像一覧表示画面９０には、デジタル画像として記憶されたインスタントフイルム１１の印刷画像１２のサムネイル画像１２Ｓが一覧表示される。この画像一覧表示画面９０において、ある１つのサムネイル画像１２ＳをユーザＵが選択した場合、図８で示した画像再生表示画面５０に表示が遷移される。

　画像一覧表示画面９０には検索バー９１が設けられている。検索バー９１には、所望の印刷画像１２を検索するための検索キーワードがユーザＵにより入力される。検索キーワードには、任意の単語と、感情情報４５の各感情の単語「喜び」、「怒り」、「哀しい」、および「楽しい」とを入力することができる。

　一例として図１９に示すように、検索バー９１に検索キーワードが入力された場合、ブラウザ制御部３２は検索要求９５を生成する。検索要求９５は、ユーザＩＤ、および検索バー９１に入力された検索キーワードを含む。図１９においては、検索キーワードとして、任意の単語「家族」と感情の単語「楽しい」とが入力された例を示している。

　一例として図２０に示すように、ブラウザ制御部３２は、検索要求９５を画像管理サーバ１７に送信する。受付部７５は検索要求９５を受け付け、検索要求９５をＲＷ制御部７６に出力する。ＲＷ制御部７６は、ユーザＩＤに対応する画像ＤＢ７１の記憶領域８０に記憶された印刷画像１２のうち、感情情報４５およびタグ情報が検索キーワードと一致する印刷画像１２を検索する。ＲＷ制御部７６は、検索した印刷画像１２の画像ＩＤを配信制御部７７に出力する。配信制御部７７は、ＲＷ制御部７６からの画像ＩＤを、検索要求９５の要求元のユーザ端末１５に配信する。配信制御部７７は、検索要求９５の要求元のユーザ端末１５を、検索要求９５に含まれるユーザＩＤを元に特定する。図２０においては、検索キーワードが図１９の場合と同じ「家族」および「楽しい」である例を示している。そして、感情情報４５に「楽しい」、タグ情報に「家族」がそれぞれ登録された画像ＩＤ「Ｐ００２００」、「Ｐ００２０１」、および「Ｐ００２０２」の３つの印刷画像１２を検索する例を示している。

　一例として図２１に示すように、ブラウザ制御部３２は、画像一覧表示画面９０において、ＲＷ制御部７６が検索して配信制御部７７が配信した画像ＩＤの印刷画像１２のサムネイル画像１２Ｓのみを、検索結果として表示する。このように、印刷画像１２は、感情情報４５を検索キーワードとして検索することが可能である。なお、ここでは任意の単語と感情の単語とのアンド検索を例示したが、これに限らない。任意の単語のみを検索キーワードとしたり、１つの感情の単語のみを検索キーワードとしたり、あるいは２つ以上の感情の単語を検索キーワードとしたりして、印刷画像１２を検索することももちろん可能である。

　次に、上記構成による作用について、一例として図２２、図２３、図２４、および図２５に示すフローチャートを参照して説明する。ユーザ端末１５のＣＰＵ２２Ａは、図３で示したように、印刷画像ＡＰ３０の起動により、ブラウザ制御部３２として機能される。また、画像管理サーバ１７のＣＰＵ２２Ｂは、図１４で示したように、作動プログラム７０の起動により、受付部７５、ＲＷ制御部７６、および配信制御部７７として機能される。

　ユーザＵは、所望のインスタントフイルム１１をデジタル画像として記憶するために、図４で示した記憶指示画面３５をディスプレイ２４Ａに表示させる。そして、デジタル画像として記憶したいインスタントフイルム１１を枠３６内に収め、記憶指示ボタン３８を押す。これにより、ブラウザ制御部３２においてインスタントフイルム１１の記憶指示が受け付けられる（図２２のステップＳＴ１００でＹＥＳ）。ブラウザ制御部３２によって、記憶指示画面３５の表示が図５で示したように遷移される。

　ユーザＵは、感情入力メニュー４１Ａおよび４１Ｂを操作して、撮影時における感情および記憶時における感情を入力した後、ＯＫボタン４２を押す。これにより、ブラウザ制御部３２にて、撮影時および記憶時における印刷画像１２に対する感情の入力が受け付けられる（ステップＳＴ１１０）。図７で示したように、ブラウザ制御部３２によって撮影時および記憶時における感情情報４５Ａが生成される（ステップＳＴ１２０）。そして、図１６で示したように、ブラウザ制御部３２の制御の下、感情情報４５Ａを含む第１記憶要求８５Ａが画像管理サーバ１７に送信される（ステップＳＴ１３０）。

　画像管理サーバ１７においては、第１記憶要求８５Ａが受付部７５にて受け付けられる（図２３のステップＳＴ１５０でＹＥＳ）。第１記憶要求８５Ａは受付部７５からＲＷ制御部７６に出力される。そして、ＲＷ制御部７６の制御の下、撮影時および記憶時における感情情報４５Ａと印刷画像１２とが関連付けられて画像ＤＢ７１に記憶される（ステップＳＴ１６０）。

　ユーザＵは、所望のインスタントフイルム１１をＳＮＳに投稿するために、図８で示した画像再生表示画面５０をディスプレイ２４Ａに表示させる。そして、投稿ボタン５２を押す。これにより、ブラウザ制御部３２においてインスタントフイルム１１の投稿指示が受け付けられる（図２４のステップＳＴ２００でＹＥＳ）。ブラウザ制御部３２によって、画像再生表示画面５０の表示が図９で示したように遷移される。

　ユーザＵは、感情入力メニュー４１Ｃを操作して、投稿時における感情を入力した後、ＯＫボタン５７を押す。これにより、ブラウザ制御部３２にて、投稿時における印刷画像１２に対する感情の入力が受け付けられる（ステップＳＴ２１０）。図１０で示したように、ブラウザ制御部３２によって投稿時における感情情報４５Ｂが生成される（ステップＳＴ２２０）。そして、図１７で示したように、ブラウザ制御部３２の制御の下、感情情報４５Ｂを含む第２記憶要求８５Ｂが画像管理サーバ１７に送信される（ステップＳＴ２３０）。

　画像管理サーバ１７においては、第２記憶要求８５Ｂが受付部７５にて受け付けられる（図２５のステップＳＴ２５０でＹＥＳ）。第１記憶要求８５Ａは受付部７５からＲＷ制御部７６に出力される。そして、ＲＷ制御部７６の制御の下、投稿時における感情情報４５Ｂと印刷画像１２とが関連付けられて画像ＤＢ７１に記憶される（ステップＳＴ２６０）。

　以上説明したように、ユーザ端末１５のＣＰＵ２２Ａのブラウザ制御部３２は、複数の時点における印刷画像１２に対するユーザＵの感情の入力を受け付ける。画像管理サーバ１７のＣＰＵ２２ＢのＲＷ制御部７６は、複数の時点における感情情報４５と印刷画像１２とを画像ＤＢ７１に関連付けて記憶する。

　特開２０１７－０９２５２８号公報では、印刷画像１２に対するユーザＵの感情を入力するタイミングが撮影時に限られている。このため、時間とともに移ろう印刷画像１２に対するユーザＵの感情を的確に把握することができない。対して本開示の技術は、前述のように、複数の時点における印刷画像１２に対するユーザＵの感情の入力を受け付け、複数の時点における感情情報４５と印刷画像１２とを関連付けて記憶している。したがって、印刷画像１２に対するユーザＵの感情をより的確に把握することが可能となる。

　画像はインスタントフイルム１１に印刷出力された印刷画像１２である。そして、複数の時点は、印刷画像１２を撮影する時点（撮影時）、インスタントフイルム１１をデジタル画像として記憶する時点（記憶時）、インスタントフイルム１１のデジタル画像をＳＮＳに投稿する時点（投稿時）である。このため、撮影時、記憶時、および投稿時における印刷画像１２に対するユーザＵの感情を的確に把握することが可能となる。なお、複数の時点は、撮影時、記憶時、および投稿時の全てに限らず、これらの中から選択された組み合わせ（例えば撮影時と記憶時、あるいは記憶時と投稿時等）であればよい。

　図８および図１１～図１３で示したように、ブラウザ制御部３２は、印刷画像１２を表示するときに、感情情報４５に応じた表示エフェクトをかける。このため、印刷画像１２に対するユーザＵの感情が一目で分かる。また、味気なくなりがちな印刷画像１２の表示を、趣のあるものとすることができる。なお、表示エフェクトと併せて、感情情報４５に応じた音楽を流してもよい。

　図１８～図２１で示したように、印刷画像１２は、感情情報４５を検索キーワードとして検索することが可能である。このため、よりユーザＵの意図に合った印刷画像１２を検索することができる。

　［第２実施形態］
　一例として図２６に示すように、本実施形態では、図４で示した記憶指示画面３５において記憶指示ボタン３８が押された場合、および、図８で示した画像再生表示画面５０において投稿ボタン５２が押された場合、ブラウザ制御部３２は、感情推定要求１００を画像管理サーバ１７に送信する。感情推定要求１００は、ユーザＩＤと、デジタル画像として記憶されたインスタントフイルム１１、ひいては印刷画像１２とを含む。なお、印刷画像１２は、図１６で例示した自動車が写されたものである。

　本実施形態の画像管理サーバ１７のＣＰＵ２２Ｂは、上記第１実施形態の各処理部７５～７７（図２６においてはＲＷ制御部７６は不図示）に加えて、感情推定部１０１として機能する。

　受付部７５は感情推定要求１００を受け付け、感情推定要求１００を感情推定部１０１に出力する。感情推定部１０１は、感情推定要求１００に応じて、印刷画像１２に対するユーザＵの感情を推定する。感情推定部１０１は、印刷画像１２に対するユーザＵの感情を推定した結果である感情推定結果１０３を配信制御部７７に出力する。配信制御部７７は、感情推定結果１０３を、感情推定要求１００の要求元のユーザ端末１５に配信する。

　一例として図２７に示すように、感情推定部１０１は、感情推定モデル１０５を用いて印刷画像１２に対するユーザＵの感情を推定する。感情推定モデル１０５はストレージ２０Ｂに記憶されている。感情推定モデル１０５はＲＷ制御部７６によってストレージ２０Ｂから読み出され、感情推定部１０１に出力される。感情推定モデル１０５は、例えば畳み込みニューラルネットワーク等で構成される。感情推定モデル１０５は、本開示の技術に係る「機械学習モデル」の一例である。

　感情推定部１０１は、感情推定要求１００の印刷画像１２を感情推定モデル１０５に入力し、感情推定モデル１０５から印刷画像１２に対するユーザＵの感情推定結果１０３を出力させる。図２７においては、印刷画像１２に対するユーザＵの感情を「喜び」と推定した例を示している。

　配信制御部７７からの感情推定結果１０３を受信した場合、ブラウザ制御部３２は、一例として図２８に示すように、感情入力メニュー４１において、感情推定結果１０３の感情に該当する顔型４３の上部に、吹き出しメッセージ１０８を表示する。吹き出しメッセージ１０８は、「もしかしてこんな気持ちでしたか？」と、感情推定モデル１０５により推定した感情をユーザＵに示す内容である。図２８では、撮影時の感情入力メニュー４１Ａにおいて、感情推定結果１０３の感情に該当する、感情として「喜び」を表す顔型４３Ａの上部に、吹き出しメッセージ１０８を表示した例を示している。なお、図示は省略したが、ブラウザ制御部３２は、記憶時の感情入力メニュー４１Ｂおよび投稿時の感情入力メニュー４１Ｃにおいても、感情推定結果１０３の感情に該当する顔型４３の上部に、吹き出しメッセージ１０８を表示する。

　一例として図２９に示すように、感情推定モデル１０５は教師データ１１０を与えられて学習される。教師データ１１０は、学習用印刷画像１２Ｌおよび正解感情情報４５ＣＡの組である。

　学習フェーズにおいて、感情推定モデル１０５には、学習用印刷画像１２Ｌが入力される。感情推定モデル１０５は、学習用印刷画像１２Ｌの入力に応じて、学習用感情推定結果１０３Ｌを出力する。この学習用感情推定結果１０３Ｌおよび正解感情情報４５ＣＡに基づいて、損失関数を用いた感情推定モデル１０５の損失演算がなされる。そして、損失演算の結果に応じて感情推定モデル１０５の各種係数の更新設定がなされ、更新設定にしたがって感情推定モデル１０５が更新される。

　学習フェーズにおいては、学習用印刷画像１２Ｌの感情推定モデル１０５への入力、感情推定モデル１０５からの学習用感情推定結果１０３Ｌの出力、損失演算、更新設定、および感情推定モデル１０５の更新の上記一連の処理が、教師データ１１０が交換されつつ繰り返し行われる。上記一連の処理の繰り返しは、正解感情情報４５ＣＡに対する学習用感情推定結果１０３Ｌの推定精度が、予め定められた設定レベルまで達した場合に終了される。こうして推定精度が設定レベルまで達した感情推定モデル１０５が、ストレージ２０Ｂに記憶されて感情推定部１０１において用いられる。なお、正解感情情報４５ＣＡに対する学習用感情推定結果１０３Ｌの推定精度に関係なく、上記一連の処理を設定回数繰り返した場合に学習を終了してもよい。

　このように、第２実施形態においては、感情推定部１０１は、印刷画像１２の入力に応じて感情推定結果１０３を出力する感情推定モデル１０５を用いて感情を推定する。ブラウザ制御部３２は、吹き出しメッセージ１０８を表示することにより、感情推定部１０１が推定した感情をユーザＵに表示する。感情推定モデル１０５といった機械学習モデルは、最近盛んに実用化され、その推定精度も高まっている。このため、より適切な感情の入力を支援することができる。

　なお、一例として図３０に示すように、画像ＤＢ７１に関連付けて記憶された印刷画像１２および感情情報４５を、感情推定モデル１０５の教師データ１１０として用いてもよい。具体的には、画像ＤＢ７１に記憶された印刷画像１２を学習用印刷画像１２Ｌとして用い、画像ＤＢ７１に記憶された撮影時の感情情報４５を正解感情情報４５ＣＡとして用いる。ここで、撮影時の感情情報４５を正解感情情報４５ＣＡとして用いるのは、記憶時および投稿時よりも印刷画像１２に対するユーザＵの感情を素直に表していると考えられるためである。こうすれば、画像ＤＢ７１に記憶された印刷画像１２および感情情報４５を有効活用することができる。教師データ１１０用に改めて学習用印刷画像１２Ｌおよび正解感情情報４５ＣＡを用意しなくて済む。また、教師データ１１０の不足に悩まされるおそれを軽減することができ、教師データ１１０の不足による感情推定モデル１０５の過学習のリスクを抑制することができる。

　画像ＤＢ７１に関連付けて記憶された印刷画像１２および感情情報４５を、感情推定モデル１０５の教師データ１１０として用いる場合は、一例として図３１に示すように、印刷画像１２および感情情報４５とともに感情推定結果１０３も画像ＤＢ７１に関連付けて記憶しておく。そして、撮影時の感情情報４５と感情推定結果１０３とが異なる（図３１では撮影時の感情情報≠感情推定結果と表記）データを、感情推定モデル１０５の教師データ１１０として積極的に採用することが好ましい。撮影時の感情情報４５と感情推定結果１０３とが異なるデータは、感情推定モデル１０５が感情の推定を誤ったデータである。このため、撮影時の感情情報４５と感情推定結果１０３とが異なるデータを、感情推定モデル１０５の教師データ１１０として積極的に採用すれば、感情推定モデル１０５の推定精度を向上させることができる。

　感情推定モデル１０５の学習は、画像管理サーバ１７で行ってもよいし、画像管理サーバ１７以外の別の装置で行ってもよい。また、感情推定モデル１０５の学習は、ストレージ２０Ｂに記憶した後に継続的に行ってもよい。

　［第３実施形態］
　一例として図３２に示すように、本実施形態では、図４で示した記憶指示画面３５において記憶指示ボタン３８が押された場合、ブラウザ制御部３２は、感情推定要求１１５を画像管理サーバ１７に送信する。感情推定要求１１５は、ユーザＩＤと、デジタル画像として記憶されたインスタントフイルム１１、ひいては印刷画像１２とを含む。なお、印刷画像１２には、図１６の場合と同じく、自動車が写されたものであり、「新車買ったぜ！！」というテキスト１４がユーザＵにより余白１３に書き込まれたものを例示している。

　本実施形態の画像管理サーバ１７のＣＰＵ２２Ｂは、上記第１実施形態の各処理部７５～７７（図３２においてはＲＷ制御部７６は不図示）に加えて、感情推定部１１６として機能する。

　受付部７５は感情推定要求１１５を受け付け、感情推定要求１１５を感情推定部１１６に出力する。感情推定部１１６は、感情推定要求１１５に応じて、撮影時における印刷画像１２に対するユーザＵの感情を推定する。感情推定部１１６は、撮影時における印刷画像１２に対するユーザＵの感情を推定した結果である感情推定結果１１７を配信制御部７７に出力する。配信制御部７７は、感情推定結果１１７を、感情推定要求１１５の要求元のユーザ端末１５に配信する。

　一例として図３３に示すように、感情推定部１１６は、テキスト読取部１２０および自然言語解析部１２１を有する。テキスト読取部１２０には、感情推定要求１１５のインスタントフイルム１１が入力される。テキスト読取部１２０は、デジタル画像として記憶されたインスタントフイルム１１を画像解析することで、ユーザＵがインスタントフイルム１１の余白１３等に実記したテキスト１４を読み取る。テキスト読取部１２０は、テキスト１４を読み取った結果であるテキスト読取結果１２２を自然言語解析部１２１に出力する。

　自然言語解析部１２１は、テキスト読取結果１２２のテキスト１４の自然言語解析を行う。自然言語解析部１２１は、自然言語解析の結果にしたがって、撮影時における印刷画像１２に対するユーザＵの感情を推定し、感情推定結果１１７を出力する。自然言語解析部１２１は、例えば、自然言語解析の結果の入力に応じて感情推定結果１１７を出力する感情推定モデルを用いて、撮影時における印刷画像１２に対するユーザＵの感情を推定する。ここで、自然言語解析部１２１が行う自然言語解析は、形態素解析、構文解析、意味解析、および文脈解析等である。図３３においては、「新車買ったぜ！！」なるテキスト１４をテキスト読取部１２０で読み取り、撮影時における印刷画像１２に対するユーザＵの感情を「喜び」と推定した例を示している。

　図示は省略したが、配信制御部７７からの感情推定結果１１７を受信した場合、ブラウザ制御部３２は、図２８で示した場合と同様に、感情入力メニュー４１Ａにおいて、感情推定結果１１７の感情に該当する顔型４３の上部に、吹き出しメッセージ１０８を表示する。

　このように、第３実施形態においては、感情推定部１１６のテキスト読取部１２０は、デジタル画像として記憶されたインスタントフイルム１１を画像解析することで、ユーザＵがインスタントフイルム１１に実記したテキスト１４を読み取る。感情推定部１１６の自然言語解析部１２１は、テキスト１４の自然言語解析を行い、自然言語解析の結果にしたがって、撮影時における印刷画像１２に対するユーザＵの感情を推定する。ブラウザ制御部３２は、吹き出しメッセージ１０８を表示することにより、感情推定部１１６が推定した感情をユーザＵに表示する。このため、ユーザＵがインスタントフイルム１１に実記したテキスト１４に適応した感情の入力を支援することができる。

　［第４実施形態］
　本実施形態では、図８で示した画像再生表示画面５０において投稿ボタン５２が押された場合、ブラウザ制御部３２は、ユーザＵによるテキスト１２５の入力を受け付ける。テキスト１２５は、インスタントフイルム１１をＳＮＳに投稿するときに、インスタントフイルム１１に付帯させる説明文等である。ブラウザ制御部３２は、テキスト１２５の入力を受け付けた後、画像再生表示画面５０の表示を図９で示したように遷移させる。

　一例として図３４に示すように、本実施形態では、ユーザＵによるテキスト１２５の入力を受け付けた場合、ブラウザ制御部３２は、感情推定要求１２６を画像管理サーバ１７に送信する。感情推定要求１２６は、ユーザＩＤと入力テキスト情報１２７とを含む。入力テキスト情報１２７はテキスト１２５を含む。なお、印刷画像１２には、公園で遊ぶ母娘が写されたものであり、「ＸＸ公園に家族でお出掛け　はしゃぐ娘」というテキスト１２５がユーザＵにより書き込まれたものを例示している。

　本実施形態の画像管理サーバ１７のＣＰＵ２２Ｂは、上記第１実施形態の各処理部７５～７７（図３４においてはＲＷ制御部７６は不図示）に加えて、感情推定部１２８として機能する。

　受付部７５は感情推定要求１２６を受け付け、感情推定要求１２６を感情推定部１２８に出力する。感情推定部１２８は、感情推定要求１２６に応じて、投稿時における印刷画像１２に対するユーザＵの感情を推定する。感情推定部１２８は、投稿時における印刷画像１２に対するユーザＵの感情を推定した結果である感情推定結果１２９を配信制御部７７に出力する。配信制御部７７は、感情推定結果１２９を、感情推定要求１２６の要求元のユーザ端末１５に配信する。

　一例として図３５に示すように、感情推定部１２８は、テキスト取得部１３０および自然言語解析部１３１を有する。テキスト取得部１３０には、感情推定要求１２６の入力テキスト情報１２７が入力される。テキスト取得部１３０は、入力テキスト情報１２７を自然言語解析部１３１に出力する。

　自然言語解析部１３１は、テキスト１２５の自然言語解析を行う。自然言語解析部１３１は、自然言語解析の結果にしたがって、投稿時における印刷画像１２に対するユーザＵの感情を推定し、感情推定結果１２９を出力する。自然言語解析部１３１は、自然言語解析部１２１と同じく、例えば、自然言語解析の結果の入力に応じて感情推定結果１２９を出力する感情推定モデルを用いて、投稿時における印刷画像１２に対するユーザＵの感情を推定する。自然言語解析部１３１が行う自然言語解析も、自然言語解析部１２１と同じく、形態素解析、構文解析、意味解析、および文脈解析等である。図３５においては、「ＸＸ公園に家族でお出掛け　はしゃぐ娘」なるテキスト１２５から、投稿時における印刷画像１２に対するユーザＵの感情を「楽しい」と推定した例を示している。

　図示は省略したが、配信制御部７７からの感情推定結果１２９を受信した場合、ブラウザ制御部３２は、図２８で示した場合と同様に、感情入力メニュー４１Ｃにおいて、感情推定結果１２９の感情に該当する顔型４３の上部に、吹き出しメッセージ１０８を表示する。

　このように、第４実施形態においては、感情推定部１２８のテキスト取得部１３０は、入力テキスト情報１２７を取得することで、デジタル画像として記憶されたインスタントフイルム１１をＳＮＳに投稿するときにユーザＵが入力したテキスト１２５を取得する。感情推定部１２８の自然言語解析部１３１は、テキスト１２５の自然言語解析を行い、自然言語解析の結果にしたがって、投稿時における印刷画像１２に対するユーザＵの感情を推定する。ブラウザ制御部３２は、吹き出しメッセージ１０８を表示することにより、感情推定部１２８が推定した感情をユーザＵに表示する。このため、ユーザＵがインスタントフイルム１１をＳＮＳに投稿するときに入力したテキスト１２５に適応した感情の入力を支援することができる。

　［第５実施形態］
　一例として図３６に示すように、本実施形態では、ユーザＵが腕に付けたスマートウォッチ１３５から出力されるユーザＵの状態情報１３６を、ユーザＵの感情の推定に用いる。スマートウォッチ１３５は、本開示の技術に係る「ウェアラブルデバイス」の一例である。

　スマートウォッチ１３５は、インスタントカメラ１０およびユーザ端末１５と、Ｂｌｕｅｔｏｏｔｈ（登録商標）といった近距離無線通信により相互通信可能に接続されている。スマートウォッチ１３５は、インスタントカメラ１０およびユーザ端末１５と連動する。より詳しくは、スマートウォッチ１３５は、インスタントカメラ１０への印刷画像１２の撮影指示、記憶指示ボタン３８の押下によるユーザ端末１５への印刷画像１２の記憶指示、および投稿ボタン５２の押下によるユーザ端末１５への印刷画像１２の投稿指示に連動して、状態情報１３６をユーザ端末１５に送信する。

　状態情報１３６は、体温変動データ、脈拍変動データ、血圧変動データ、および角速度変動データを含む。一例として図３７に示すように、体温変動データは、印刷画像１２の撮影指示、記憶指示、あるいは投稿指示が行われたとき（０秒）の前後３０秒のユーザＵの体温の移り変わりを示す時系列データである。図示は省略したが、脈拍変動データ、血圧変動データ、および角速度変動データも、体温変動データと同じく、印刷画像１２の撮影指示、記憶指示、あるいは投稿指示が行われたときの前後３０秒のユーザＵの脈拍、血圧、および角速度の移り変わりを示す時系列データである。角速度変動データによれば、印刷画像１２の撮影指示、記憶指示、あるいは投稿指示が行われたときのユーザＵの手ぶれの状態を把握することができる。

　一例として図３８に示すように、本実施形態では、スマートウォッチ１３５からの状態情報１３６を受信した場合、ブラウザ制御部３２は、感情推定要求１４０を画像管理サーバ１７に送信する。感情推定要求１４０は、ユーザＩＤと状態情報１３６とを含む。

　本実施形態の画像管理サーバ１７のＣＰＵ２２Ｂは、上記第１実施形態の各処理部７５～７７（図３８においてはＲＷ制御部７６は不図示）に加えて、感情推定部１４１として機能する。

　受付部７５は感情推定要求１４０を受け付け、感情推定要求１４０を感情推定部１４１に出力する。感情推定部１４１は、感情推定要求１４０に応じて、撮影時、記憶時、あるいは投稿時の印刷画像１２に対するユーザＵの感情を推定する。感情推定部１４１は、印刷画像１２に対するユーザＵの感情を推定した結果である感情推定結果１４２を配信制御部７７に出力する。配信制御部７７は、感情推定結果１４２を、感情推定要求１４０の要求元のユーザ端末１５に配信する。感情推定部１４１は、例えば、状態情報１３６の入力に応じて感情推定結果１４２を出力する感情推定モデルを用いて、印刷画像１２に対するユーザＵの感情を推定する。

　図示は省略したが、配信制御部７７からの感情推定結果１４２を受信した場合、ブラウザ制御部３２は、図２８で示した場合と同様に、感情入力メニュー４１において、感情推定結果１４２の感情に該当する顔型４３の上部に、吹き出しメッセージ１０８を表示する。

　このように、第５実施形態においては、感情推定部１４１は、ユーザＵが腕に付けたスマートウォッチ１３５からのユーザＵの状態情報１３６を取得し、状態情報１３６に基づいて印刷画像１２に対するユーザＵの感情を推定する。ブラウザ制御部３２は、吹き出しメッセージ１０８を表示することにより、感情推定部１４１が推定した感情をユーザＵに表示する。このため、ユーザＵの状態情報１３６に適応した感情の入力を支援することができる。

　ウェアラブルデバイスとしては、例示のスマートウォッチ１３５に限らない。ユーザＵの頭に巻き付けるように装着するものでもよいし、ユーザＵの着る衣服に内蔵されたものでもよい。また、体温変動データ等に加えて、あるいは代えて、呼吸変動データ等を状態情報１３６としてもよい。

　［第６実施形態］
　一例として図３９に示すように、本実施形態では、図４で示した記憶指示画面３５において記憶指示ボタン３８が押された場合、ブラウザ制御部３２は、感情推定要求１４５を画像管理サーバ１７に送信する。感情推定要求１４５は、ユーザＩＤと、デジタル画像として記憶されたインスタントフイルム１１、ひいては印刷画像１２とを含む。なお、印刷画像１２には、笑顔のカップルが写されたものを例示している。

　本実施形態の画像管理サーバ１７のＣＰＵ２２Ｂは、上記第１実施形態の各処理部７５～７７（図３９においてはＲＷ制御部７６は不図示）に加えて、感情推定部１４６として機能する。

　受付部７５は感情推定要求１４５を受け付け、感情推定要求１４５を感情推定部１４６に出力する。感情推定部１４６は、感情推定要求１４５に応じて、撮影時における印刷画像１２に対するユーザＵの感情を推定する。感情推定部１４６は、撮影時における印刷画像１２に対するユーザＵの感情を推定した結果である感情推定結果１４７を配信制御部７７に出力する。配信制御部７７は、感情推定結果１４７を、感情推定要求１４５の要求元のユーザ端末１５に配信する。

　一例として図４０に示すように、感情推定部１４６は、顔抽出部１５０および表情検出部１５１を有する。顔抽出部１５０には、感情推定要求１４５の印刷画像１２が入力される。顔抽出部１５０は、周知の顔抽出技術を用いて、印刷画像１２に写る人物の顔を抽出する。顔抽出部１５０は、顔を抽出した結果である顔抽出結果１５２を表情検出部１５１に出力する。

　表情検出部１５１は、周知の画像認識技術を用いて、顔抽出結果１５２の人物の顔の表情を検出する。表情検出部１５１は、表情の検出結果に基づいて、撮影時における印刷画像１２に対するユーザＵの感情を推定し、感情推定結果１４７を出力する。表情検出部１５１は、例えば、表情の検出結果の入力に応じて感情推定結果１４７を出力する感情推定モデルを用いて、撮影時における印刷画像１２に対するユーザＵの感情を推定する。図４０においては、笑顔のカップルの顔抽出結果１５２から、撮影時における印刷画像１２に対するユーザＵの感情を「楽しい」と推定した例を示している。

　図示は省略したが、配信制御部７７からの感情推定結果１４７を受信した場合、ブラウザ制御部３２は、図２８で示した場合と同様に、感情入力メニュー４１Ａにおいて、感情推定結果１４７の感情に該当する顔型４３の上部に、吹き出しメッセージ１０８を表示する。

　このように、第６実施形態においては、感情推定部１４６の表情検出部１５１は、印刷画像１２に写る人物の表情を検出し、表情の検出結果に基づいて、印刷画像１２に対するユーザＵの感情を推定する。ブラウザ制御部３２は、吹き出しメッセージ１０８を表示することにより、感情推定部１４６が推定した感情をユーザＵに表示する。このため、印刷画像１２に写る人物の表情に適応した感情の入力を支援することができる。

　上記第２～第６実施形態は、単独で実施してもよいし、複合して実施してもよい。例えば上記第２、第３、および第５実施形態を複合して実施する場合は、一例として図４１に示す感情推定モデル１５５を用いればよい。感情推定モデル１５５は、印刷画像１２、テキスト読取結果１２２、および状態情報１３６の入力に応じて、感情推定結果１５６を出力する。感情推定モデル１５５は、本開示の技術に係る「機械学習モデル」の一例である。こうすれば、上記第２、第３、および第５実施形態を単独で実施する場合と比べて、印刷画像１２に対するユーザＵの感情を推定する材料が増えるため、感情推定結果１５６の推定精度をより高めることができる。

　上記第２～第６実施形態において感情推定部１０１、１１６、１２８、１４１、および１４６が推定した感情を、感情情報４５として記憶してもよい。そのうえで、記憶した感情情報４５をユーザＵに提示し、ユーザＵによる感情情報４５の修正指示を受け付けてもよい。

　上記各実施形態では、撮影時、記憶時、および投稿時における印刷画像１２に対する感情の入力を、ユーザＵに半ば強制する構成となっているが、これに限らない。撮影時、記憶時、および投稿時における印刷画像１２に対する感情の入力を受け付けることが可能な構成となっていればよく、感情の入力をユーザＵに強制する構成は必要ではない。また、画像ＤＢ７１に予め感情情報４５の記憶領域を確保しておく必要もない。感情の入力を受け付ける度に、画像ＤＢ７１に感情情報４５の記憶領域を確保すればよい。

　なお、感情としては、例示の「喜び」、「怒り」、「哀しい」、および「楽しい」に限らない。「懐かしい」、「愛しい」、「恐ろしい」、あるいは「幸福」等でもよい。また、画像は印刷画像１２に限らず、カメラ機能を有する機器で撮影されたデジタル画像でもよい。

　時点としては、例示の撮影時、記憶時、および投稿時に限らない。撮影から１年後、２年後、５年後、あるいは１０年後といった定期的な時点でもよい。

　ユーザ端末１５のブラウザ制御部３２の機能の全部または一部を画像管理サーバ１７に担わせてもよい。具体的には、画像管理サーバ１７において記憶指示画面３５等の各種画面を生成し、例えばＸＭＬ（Ｅｘｔｅｎｓｉｂｌｅ　Ｍａｒｋｕｐ　Ｌａｎｇｕａｇｅ）等のマークアップ言語によって作成されるウェブ配信用の画面データの形式でユーザ端末１５に配信出力する。この場合、ユーザ端末１５のブラウザ制御部３２は、画面データに基づきウェブブラウザ上に表示する各種画面を再現し、これをディスプレイ２４Ａに表示する。なお、ＸＭＬに代えて、ＪＳＯＮ（Ｊａｖａｓｃｒｉｐｔ（登録商標）　Ｏｂｊｅｃｔ　Ｎｏｔａｔｉｏｎ）等の他のデータ記述言語を利用してもよい。

　画像管理サーバ１７を構成するコンピュータのハードウェア構成は種々の変形が可能である。例えば、画像管理サーバ１７を、処理能力および信頼性の向上を目的として、ハードウェアとして分離された複数台のコンピュータで構成することも可能である。例えば、受付部７５およびＲＷ制御部７６の機能と、配信制御部７７の機能とを、２台のコンピュータに分散して担わせる。この場合は２台のコンピュータで画像管理サーバ１７を構成する。また、画像管理サーバ１７の全部または一部の機能を、ユーザ端末１５が担ってもよい。

　このように、ユーザ端末１５および画像管理サーバ１７のコンピュータのハードウェア構成は、処理能力、安全性、信頼性等の要求される性能に応じて適宜変更することができる。さらに、ハードウェアに限らず、印刷画像ＡＰ３０および作動プログラム７０といったＡＰについても、安全性および信頼性の確保を目的として、二重化したり、あるいは、複数のストレージに分散して格納することももちろん可能である。

　上記各実施形態において、例えば、ブラウザ制御部３２、受付部７５、ＲＷ制御部７６、配信制御部７７、感情推定部１０１、１１６、１２８、１４１、および１４６、テキスト読取部１２０、自然言語解析部１２１および１３１、テキスト取得部１３０、顔抽出部１５０、並びに表情検出部１５１といった各種の処理を実行する処理部（Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）のハードウェア的な構造としては、次に示す各種のプロセッサ（Ｐｒｏｃｅｓｓｏｒ）を用いることができる。各種のプロセッサには、ソフトウェア（印刷画像ＡＰ３０および作動プログラム７０）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ２２Ａおよび２２Ｂに加えて、ＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Ｐｒｏｇｒａｍｍａｂｌｅ　Ｌｏｇｉｃ　Ｄｅｖｉｃｅ:ＰＬＤ）、および／またはＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。

　１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ、および／または、ＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。

　複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントおよびサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（Ｓｙｓｔｅｍ　Ｏｎ　Ｃｈｉｐ:ＳｏＣ）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。

　さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（Ｃｉｒｃｕｉｔｒｙ）を用いることができる。

　以上の記載から、下記の付記項に記載の技術を把握することができる。

　［付記項１］
　プロセッサを備え、
　前記プロセッサは、
　複数の時点における画像に対するユーザの感情の入力を受け付け、
　複数の前記時点における前記感情の情報と前記画像とを関連付けて記憶する、
画像処理装置。
　［付記項２］
　前記画像はインスタントフイルムに印刷出力された印刷画像であり、
　複数の前記時点は、前記印刷画像を撮影する時点、前記インスタントフイルムをデジタル画像として記憶する時点、および前記インスタントフイルムのデジタル画像をソーシャルネットワーキングサービスに投稿する時点の中から選択された組み合わせである付記項１に記載の画像処理装置。
　［付記項３］
　前記プロセッサは、
　前記画像を表示するときに、前記感情の情報に応じた表示エフェクトをかける付記項１または付記項２に記載の画像処理装置。
　［付記項４］
　前記画像は、前記感情の情報を検索キーワードとして検索することが可能である付記項１から付記項３のいずれか１項に記載の画像処理装置。
　［付記項５］
　前記プロセッサは、
　前記画像の入力に応じて前記感情の情報を出力する機械学習モデルを用いて前記感情を推定し、
　推定した前記感情を前記ユーザに表示する付記項１から付記項４のいずれか１項に記載の画像処理装置。
　［付記項６］
　関連付けて記憶された前記感情の情報と前記画像とが、前記機械学習モデルの教師データとして用いられる付記項５に記載の画像処理装置。
　［付記項７］
　前記画像はインスタントフイルムに印刷出力された印刷画像であり、
　複数の前記時点は、前記印刷画像を撮影する時点を含み、
　前記プロセッサは、
　前記インスタントフイルムのデジタル画像を取得し、
　前記デジタル画像を画像解析することで、前記ユーザが前記インスタントフイルムに実記したテキストを読み取り、
　前記テキストの自然言語解析を行い、
　前記自然言語解析の結果にしたがって、前記印刷画像を撮影する時点における前記感情を推定し、
　推定した前記感情を前記ユーザに表示する付記項１から付記項６のいずれか１項に記載の画像処理装置。
　［付記項８］
　前記画像はインスタントフイルムに印刷出力された印刷画像であり、
　複数の前記時点は、前記インスタントフイルムのデジタル画像をソーシャルネットワーキングサービスに投稿する時点を含み、
　前記プロセッサは、
　前記デジタル画像をソーシャルネットワーキングサービスに投稿するときに前記ユーザが入力したテキストを取得し、
　前記テキストの自然言語解析を行い、
　前記自然言語解析の結果にしたがって、前記デジタル画像をソーシャルネットワーキングサービスに投稿する時点における前記感情を推定し、
　推定した前記感情を前記ユーザに表示する付記項１から付記項７のいずれか１項に記載の画像処理装置。
　［付記項９］
　前記プロセッサは、
　前記ユーザが身に付けたウェアラブルデバイスからの前記ユーザの状態情報を取得し、
　前記状態情報に基づいて前記感情を推定し、
　推定した前記感情を前記ユーザに表示する付記項１から付記項８のいずれか１項に記載の画像処理装置。
　［付記項１０］
　前記プロセッサは、
　前記画像に写る人物の表情を検出し、
　前記表情の検出結果に基づいて前記感情を推定し、
　推定した前記感情を前記ユーザに表示する付記項１から付記項９のいずれか１項に記載の画像処理装置。

　本開示の技術は、上述の種々の実施形態および／または種々の変形例を適宜組み合わせることも可能である。また、上記各実施形態に限らず、要旨を逸脱しない限り種々の構成を採用し得ることはもちろんである。さらに、本開示の技術は、プログラムに加えて、プログラムを非一時的に記憶する記憶媒体にもおよぶ。

　以上に示した記載内容および図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、および効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、および効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容および図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことはいうまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容および図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。

　本明細書において、「Ａおよび／またはＢ」は、「ＡおよびＢのうちの少なくとも１つ」と同義である。つまり、「Ａおよび／またはＢ」は、Ａだけであってもよいし、Ｂだけであってもよいし、ＡおよびＢの組み合わせであってもよい、という意味である。また、本明細書において、３つ以上の事柄を「および／または」で結び付けて表現する場合も、「Ａおよび／またはＢ」と同様の考え方が適用される。

　本明細書に記載された全ての文献、特許出願および技術規格は、個々の文献、特許出願および技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

Claims (12)

1. 　プロセッサを備え、
   　前記プロセッサは、
   　複数の時点における画像に対するユーザの感情の入力を受け付け、
   　複数の前記時点における前記感情の情報と前記画像とを関連付けて記憶する、
   画像処理装置。
2. 　前記画像はインスタントフイルムに印刷出力された印刷画像であり、
   　複数の前記時点は、前記印刷画像を撮影する時点、前記インスタントフイルムをデジタル画像として記憶する時点、および前記インスタントフイルムのデジタル画像をソーシャルネットワーキングサービスに投稿する時点の中から選択された組み合わせである請求項１に記載の画像処理装置。
3. 　前記プロセッサは、
   　前記画像を表示するときに、前記感情の情報に応じた表示エフェクトをかける請求項１に記載の画像処理装置。
4. 　前記画像は、前記感情の情報を検索キーワードとして検索することが可能である請求項１に記載の画像処理装置。
5. 　前記プロセッサは、
   　前記画像の入力に応じて前記感情の情報を出力する機械学習モデルを用いて前記感情を推定し、
   　推定した前記感情を前記ユーザに表示する請求項１に記載の画像処理装置。
6. 　関連付けて記憶された前記感情の情報と前記画像とが、前記機械学習モデルの教師データとして用いられる請求項５に記載の画像処理装置。
7. 　前記画像はインスタントフイルムに印刷出力された印刷画像であり、
   　複数の前記時点は、前記印刷画像を撮影する時点を含み、
   　前記プロセッサは、
   　前記インスタントフイルムのデジタル画像を取得し、
   　前記デジタル画像を画像解析することで、前記ユーザが前記インスタントフイルムに実記したテキストを読み取り、
   　前記テキストの自然言語解析を行い、
   　前記自然言語解析の結果にしたがって、前記印刷画像を撮影する時点における前記感情を推定し、
   　推定した前記感情を前記ユーザに表示する請求項１に記載の画像処理装置。
8. 　前記画像はインスタントフイルムに印刷出力された印刷画像であり、
   　複数の前記時点は、前記インスタントフイルムのデジタル画像をソーシャルネットワーキングサービスに投稿する時点を含み、
   　前記プロセッサは、
   　前記デジタル画像をソーシャルネットワーキングサービスに投稿するときに前記ユーザが入力したテキストを取得し、
   　前記テキストの自然言語解析を行い、
   　前記自然言語解析の結果にしたがって、前記デジタル画像をソーシャルネットワーキングサービスに投稿する時点における前記感情を推定し、
   　推定した前記感情を前記ユーザに表示する請求項１に記載の画像処理装置。
9. 　前記プロセッサは、
   　前記ユーザが身に付けたウェアラブルデバイスからの前記ユーザの状態情報を取得し、
   　前記状態情報に基づいて前記感情を推定し、
   　推定した前記感情を前記ユーザに表示する請求項１に記載の画像処理装置。
10. 　前記プロセッサは、
    　前記画像に写る人物の表情を検出し、
    　前記表情の検出結果に基づいて前記感情を推定し、
    　推定した前記感情を前記ユーザに表示する請求項１に記載の画像処理装置。
11. 　複数の時点における画像に対するユーザの感情の入力を受け付けること、並びに、
    　複数の前記時点における前記感情の情報と前記画像とを関連付けて記憶すること、
    を含む画像処理装置の作動方法。
12. 　複数の時点における画像に対するユーザの感情の入力を受け付けること、並びに、
    　複数の前記時点における前記感情の情報と前記画像とを関連付けて記憶すること、
    を含む処理をコンピュータに実行させる画像処理装置の作動プログラム。