JP7064159B1 - 情報処理方法、プログラム、及び情報処理装置 - Google Patents

Abstract

【課題】本発明は、施設の利用者を撮影した画像を、画像以外の情報と共に提供する情報処理方法、プログラム、及び情報処理装置を提供する。【解決手段】本実施形態に係る情報処理方法は、情報処理装置が実行するものであって、利用者が利用する施設に設置された撮影装置が撮影した画像から、抽出された画像を表示する処理と、前記画像についての第１の質問と、前記第１の質問の回答として第１の選択候補と、を表示する処理と、前記利用者に対してとるアクションを表示する処理と、を含む。【選択図】図７

Description

本発明は、撮影装置が撮影した画像の表示に係る処理を行う情報処理方法、プログラム、及び情報処理装置に関する。

発達心理学において、保育を通して非認知的能力を育むことの重要性が認識されている。特許文献１においては、非認知能力を診断するための手法が提案されている。

特開２０２１－０３９５７２号公報

このような非認知能力を育む契機となる機会を見つけることが難しい。特に、発達心理学の分野では、幼少期にある子供は褒められることにより非認知能力を育むことが期待できることが知られている。

一方、子供は保育園や学童などの施設において過ごす時間が長く、保護者の目の届かないところで様々な経験を積む。そのため、保護者と子供との間の会話の話題を見つけて、子供を褒めることに繋げていくことは容易ではない。

本発明は、上記の課題を鑑みてなされたものであり、保護者と子供との間の会話を促すことを目的とする。

一実施形態にかかる情報処理装置が実行する情報処理方法は、施設の子供を撮影した画像を、画像以外の情報と共に提供する方法であって、子供が利用する施設に設置された撮影装置が撮影した画像から、前記施設で過ごす前記子供の様子を撮影した画像を抽出して表示する処理と、前記画像についての第１の質問と、前記第１の質問の回答として第１の選択候補と、を表示する処理と、前記子供に対して前記子供の保護者がとり得るアクションを表示する処理と、を含む。

一実施形態によれば、保護者と子供との間の会話を促すことが期待できる。

本実施形態に係る制御システムの構成の一例を示す図である。 情報処理装置のハードウェア構成の一例を示す図である。 端末装置のハードウェア構成の一例を示す図である。 情報処理装置の機能構成の一例を示す図である。 ユーザＤＢの一構成例を示す模式図である。 端末装置の機能構成の一例を示す図である。 第１質問表示画面の一例を示す図である。 第２質問表示画面の一例を示す図である。 第２質問表示画面の一例を示す図である。 第３質問表示画面の一例を示す図である。 第３質問表示画面の一例を示す図である。 情報処理装置による画像記憶処理の一例を示すフローチャートである。 情報処理装置による画像表示処理の一例を示すフローチャートである。 端末装置による画像表示処理の一例を示すフローチャートである。 第２の実施形態に係る選択画面の一例を示す図である。 第２の実施形態に係る第１質問表示画面の一例を示す図である。 第２の実施形態に係る第２質問表示画面の一例を示す図である。 第２の実施形態に係る第２質問表示画面の一例を示す図である。 第２の実施形態に係る第３質問表示画面の一例を示す図である。 第２の実施形態に係る第３質問表示画面の一例を示す図である。 第２の実施形態に係る抽出画像表示画面の一例を示す図である。 第２の実施形態に係る端末装置による画像表示処理の一例を示すフローチャートである。

以下、本発明の各実施形態について、添付の図面を参照しながら説明する。なお、各実施形態に係る明細書及び図面の記載に関して、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省略する。

＜システム概要＞
図１は、本実施形態に係る情報処理システム１の構成の一例を示す図である。本実施形態に係る情報処理システム１は、施設に設置された撮影装置２０が撮影した画像を情報処理装置１０へ送信し、撮影装置２０から受信した画像を情報処理装置１０が処理してユーザの端末装置３０へ送信するシステムである。なお、画像は、静止画像、又は動画像である。

図１に例示するように、本実施形態に係る情報処理システム１は、情報処理装置１０、撮影装置２０、及び端末装置３０を備える。情報処理装置１０、撮影装置２０、及び端末装置３０は、ネットワークＮを介して相互に通信可能に接続される。ネットワークＮは、例えば、有線ＬＡＮ（Local Area Network）、無線ＬＡＮ、インターネット、公衆回線網、モバイルデータ通信網、又はこれらの組み合わせである。また、情報処理装置１０と撮影装置２０とを接続するネットワークと、情報処理装置１０と端末装置３０とを接続するネットワークと、撮影装置２０と端末装置３０とを接続するネットワークとは、異なるものであってもよい。なお、図１の例では、情報処理システム１は、情報処理装置１０、撮影装置２０、及び端末装置３０をそれぞれ１つ備えるが、複数備えてもよい。

情報処理装置１０は、ネットワークＮを介して撮影装置２０から画像を受信し、受信した画像を記憶装置（後述するストレージ１０３）に記憶して蓄積し、ユーザが使用する端末装置３０に対して、蓄積した画像を送信する装置（コンピュータ）である。なお、情報処理装置１０は、ＰＣ（Personal Computer）、スマートフォン、タブレット端末、サーバ、又はこれらの組み合わせである。情報処理装置１０について、詳しくは後述する。

撮影装置２０は、例えば１秒間に数回～数十回の周期で撮影を行い、撮影により得られた画像を情報処理装置１０へ送信する。また、撮影装置２０は、例えばカメラを有するスマートフォン又はタブレット型端末装置等の装置であってもよい。また、撮影装置２０は、撮影方向又は画角等が可変の装置であってよく、例えば所定の被写体を自動追跡して撮影を行うカメラであってもよい。また撮影装置２０は、例えば３６０°の範囲を撮影可能なカメラであってもよい。また、撮影装置２０は、例えばドローン等の移動体に搭載されるカメラであってよく、施設に設置された撮影装置２０には、このような移動体に搭載されたカメラにて施設の内外の撮影を行う装置が含まれ得る。また、施設には、上記のような種々の構成の撮影装置２０が複数設置されてよい。この撮影装置２０は単にカメラともいう。

端末装置３０は、スマートフォン又はＰＣ（パーソナルコンピュータ）等の端末装置である。この端末装置３０は、一例として、施設を利用する子供（利用者）の保護者（関係者）等が所有しており、端末装置３０に対して提供される本サービスは子供と保護者とで使用する。なお、本実施形態において、ユーザとは、保護者、施設の利用者である子供、又は親子等である。端末装置３０は、情報処理装置１０によって送信された情報をネットワークＮを介して取得し、画面上に表示させる。また、撮影装置２０が撮影した画像を、ネットワークＮを介して情報処理装置１０から取得してもよい。これにより、例えば、保育園又は幼稚園等の施設に子供を預けている保護者は、当該施設で過ごす子供の様子を撮影装置２０にて撮影した画像を自身の撮影装置２０にて閲覧することができる。そして、本実施形態では、端末装置３０に表示される上述のような画像を保護者と子供とで共に閲覧することを想定している。

なお、本例では保育園又は幼稚園等の施設にて子供の撮影を行う場合について説明したが、本実施形態に係る情報処理システム１の適用は保育園又は幼稚園等の施設に限られない。施設は、例えば遊園地又はテーマパーク等の商業施設であってもよく、また例えばスポーツ又はイベント等が開催される会場等の施設であってもよく、また例えば利用者の自宅であってもよい。また撮影装置２０による撮影対象は、人でなくてもよく、例えば動物園の動物又は自宅のペット等であってもよい。

＜ハードウェア構成＞
次に、情報処理装置１０のハードウェア構成について図２を用いて説明する。図２は、情報処理装置１０のハードウェア構成の一例を示す図である。図２に示すように、情報処理装置１０は、バスＢ１を介して相互に接続された、プロセッサ１０１と、メモリ１０２と、ストレージ１０３と、通信Ｉ／Ｆ１０４と、入出力Ｉ／Ｆ１０５と、ドライブ装置１０６と、を備える。さらに、情報処理装置１０は、入力装置１０７と、出力装置１０８と、を備える。

プロセッサ１０１は、ストレージ１０３に記憶されたプログラムをメモリ１０２に展開して実行することにより、情報処理装置１０の各構成を制御し、情報処理装置１０の機能を実現する。プロセッサ１０１が実行するプログラムは、ＯＳ（Operating System）及び表示制御等を行うためのサーバプログラムを含むが、これに限られない。プロセッサ１０１がサーバプログラムを実行することにより、本実施形態に係る制御が実現される。プロセッサ１０１は、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＤＳＰ（Digital Signal Processor）、又はこれらの組み合わせである。

メモリ１０２は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、又はこれらの組み合わせである。ＲＯＭは、例えば、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable Programmable ROM）、ＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）、又はこれらの組み合わせである。ＲＡＭは、例えば、ＤＲＡＭ（Dynamic RAM）、ＳＲＡＭ（Static RAM）、ＭＲＡＭ（Magnetoresistive RAM）、又はこれらの組み合わせである。

ストレージ１０３は、ＯＳ、サーバプログラム、及び各種のデータを記憶する。ストレージ１０３は、例えば、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、ＳＣＭ（Storage Class Memories）、又はこれらの組み合わせである。

通信Ｉ／Ｆ１０４は、情報処理装置１０をネットワークＮに接続させるためのインタフェースである。

入出力Ｉ／Ｆ１０５は、情報処理装置１０に入力装置１０７及び出力装置１０８を接続するためのインタフェースである。

ドライブ装置１０６は、ディスクメディア１０９のデータを読み書きする。ディスクメディア１０９は、例えば、磁気ディスクドライブ、光学ディスクドライブ、光磁気ディスクドライブ、又はこれらの組み合わせである。ディスクメディア１０９は、例えば、ＣＤ、ＤＶＤ、ＦＤ、ＭＯ、又はこれらの組み合わせである。

入力装置１０７は、例えば、マウス、キーボード、タッチパネル、マイク、スキャナ、カメラ、各種センサ、又はこれらの組み合わせである。

出力装置１０８は、例えば、ディスプレイ、プロジェクタ、プリンタ、スピーカ、又はこれらの組み合わせである。

なお、本実施形態において、サーバプログラムは、情報処理装置１０の製造段階でメモリ１０２又はストレージ１０３に書き込まれてもよいし、ネットワークＮを介して情報処理装置１０に提供されてもよいし、非一時的でコンピュータ読み取り可能な記録媒体を介して情報処理装置１０に提供されてもよい。

図３は、端末装置３０のハードウェア構成の一例を示す図である。図３に示すように、端末装置３０は、バスＢ３を介して相互に接続された、プロセッサ３０１と、メモリ３０２と、ストレージ３０３と、通信Ｉ／Ｆ３０４と、入出力Ｉ／Ｆ３０５と、を備える。さらに、端末装置３０は、入力装置３０７と、出力装置３０８と、を備える。

プロセッサ３０１は、ストレージ３０３に記憶されたプログラムをメモリ３０２に展開して実行することにより、端末装置３０の各構成を制御し、端末装置３０の機能を実現する。プロセッサ３０１が実行するプログラムは、ＯＳ、及び表示制御プログラム等のサーバプログラムを含むが、これに限られない。プロセッサ３０１は、例えば、ＣＰＵ、ＭＰＵ、ＧＰＵ、ＡＳＩＣ、ＤＳＰ、又はこれらの組み合わせである。

メモリ３０２は、例えば、ＲＯＭ、ＲＡＭ、又はこれらの組み合わせである。ＲＯＭは、例えば、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、又はこれらの組み合わせである。ＲＡＭは、例えば、ＤＲＡＭ、ＳＲＡＭ、ＭＲＡＭ、又はこれらの組み合わせである。

ストレージ３０３は、ＯＳ、サーバプログラム、及び各種のデータを記憶する。ストレージ３０３は、例えば、フラッシュメモリ、ＨＤＤ、ＳＳＤ、ＳＣＭ、又はこれらの組み合わせである。

通信Ｉ／Ｆ３０４は、端末装置３０をネットワークＮに接続させるためのインタフェースである。通信Ｉ／Ｆ３０４は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ－Ｆｉ（登録商標）、ＺｉｇＢｅｅ（登録商標）、又はこれらの組み合わせによる無線通信が可能である。

入出力Ｉ／Ｆ３０５は、端末装置３０に入力装置３０７及び出力装置３０８を接続するためのインタフェースである。

入力装置３０７は、例えば、マウス、キーボード、タッチパネル、マイク、スキャナ、カメラ、各種センサ、又はこれらの組み合わせである。

出力装置３０８は、例えば、ディスプレイ、プロジェクタ、プリンタ、スピーカ、又はこれらの組み合わせである。

なお、本実施形態において、サーバプログラムは、端末装置３０の製造段階でメモリ３０２又はストレージ３０３に書き込まれてもよいし、ネットワークＮを介して端末装置３０に提供されてもよいし、非一時的でコンピュータ読み取り可能な記録媒体を介して端末装置３０に提供されてもよい。

＜機能構成＞
次に、情報処理装置１０、及び端末装置３０の機能構成についてそれぞれ説明する。図４は、情報処理装置１０の機能構成の一例を示す図である。図４に例示するように、情報処理装置１０は、通信部１１と、記憶部１２と、制御部１３と、を備える。

通信部１１は、通信Ｉ／Ｆ１０４により実現される。通信部１１は、ネットワークＮを介して、種々の装置との間で通信を行う。本実施形態において、通信部１１は、ネットワークＮを介して、撮影装置２０から撮影された画像を受信する。また、通信部１１は、端末装置３０に対して情報を送信し、端末装置３０からユーザによるリクエストを受信する。このようにして、通信部１１は、ネットワークＮを介して、撮影装置２０や端末装置３０との間で情報の送受信を行う。また、通信部１１は、制御部１３から与えられたデータを他の装置へ送信すると共に、他の装置から受信したデータを制御部１３へ与える。

記憶部１２は、メモリ１０２、及びストレージ１０３により実現される。記憶部１２は、制御部１３が実行する各種のプログラム、及び、制御部１３の処理に必要な各種のデータを記憶する。記憶部１２には、画像記憶部１２０、ユーザＤＢ１２１、サーバプログラム１２２、学習モデル１２３、質問情報記憶部１２４、及びアクション情報記憶部１２５が格納される。

画像記憶部１２０は、撮影装置２０から受信し、情報処理装置１０にて選別された画像を記憶する。画像記憶部１２０は、例えば撮影装置２０が設置された施設の識別子（ＩＤ）、撮影装置２０が複数設置される場合には各撮影装置２０のＩＤ、及び、画像が撮影された日時等により複数の画像を分類して記憶する。また本実施形態において画像記憶部１２０は、画像に写された人の識別結果、並びに、この人の表情又は行動等の識別結果等の情報を付随情報として画像に付して記憶してもよい。なお、本実施形態において、画像記憶部１２０は、画像記憶部１２０選別された画像に記憶するが、これに替えて、撮影装置２０が撮影した実体である画像を記憶したり、撮影装置２０が撮影した実体である画像を記憶する構成を別途設けてもよい。

ユーザＤＢ１２１は、本実施形態に係る情報処理システム１が提供するサービスについて利用登録を行ったユーザに関する情報を記憶するデータベースである。ユーザＤＢ１２１について、図５を用いて説明する。

図５は、ユーザＤＢ１２１の一構成例を示す模式図である。本実施形態に係るユーザＤＢ１２１は、例えば、「ユーザＩＤ」、「施設ＩＤ」、及び「対象者」の情報を対応付けて記憶する。「ユーザＩＤ」は、本実施形態に係る情報処理システム１が提供するサービスを利用するユーザに対して一意に付された識別情報である。上述したように、ユーザは、例えば、保育園を利用する子供の保護者を含み、本例ではユーザＩＤとして保護者００１、保護者００２等のＩＤが付されている。なお、図５に例示した「ユーザＩＤ」は一例であり、例えば保育士も本システムを利用する場合には、「ユーザＩＤ」は、保育士のＩＤをも含み得る。

「施設ＩＤ」は、施設に対して一意に付された識別情報である。本例では施設ＩＤとして保育園ａ等のＩＤが付されている。

「対象者」は、施設に設置された撮影装置２０による撮影の対象となる利用者（子供）に関する情報であり、ユーザが画像を閲覧等することが可能な対象者に関する情報である。「対象者」には、例えば、名前が含まれ得る。名前は、対象者の本名、又は愛称等であり、本例では「ひなちゃん」、「たくやくん」等の愛称が設定されている。なお、図５に例示した「対象者」は一例であり、例えば、対象者の顔写真等から抽出された、対象者の顔の特徴を特徴量等の情報を含んでもよい。

なお、ユーザＤＢ１２１の構成は、図示のものに限らない。ユーザＤＢ１２１には、上記の情報以外にも、例えば、ユーザの名前、施設の名前、端末装置３０に付されたＩＤ、ユーザの住所、電話番号、もしくはメールアドレス等の連絡先、又は、サービスに対するログイン用のパスワード等の種々の情報が記憶され得る。

次に、記憶部１２の機能構成に関する説明にもどり、サーバプログラム１２２について説明する。本実施形態においてサーバプログラム１２２は、上述したように、プロセッサ１０１より実行されることにより、情報処理装置１０の各構成を制御し、情報処理装置１０の機能を実現するものである。サーバプログラム１２２は、メモリカード、又はディスクメディア１０９等の記録媒体に記録された態様で提供され、情報処理装置１０が、提供されたサーバプログラム１２２を取得して記憶部１２に記憶する。ただし、このサーバプログラム１２２は、例えば、情報処理装置１０の製造段階において記憶部１２に書き込まれてもよい。

また、例えば、サーバプログラム１２２は、遠隔の他のサーバ装置等により配信されてもよく、この場合、情報処理装置１０は、配信されるサーバプログラム１２２をネットワークＮを介して取得してもよい。また、例えば、サーバプログラム１２２は、ディスクメディア１０９等の記録媒体に記録されたものをドライブ装置１０６等が読み出して情報処理装置１０の記憶部１２に書き込まれてもよい。

学習モデル１２３は、本実施形態において用いる様々な学習モデルであり、詳しくは後述する。対象者の感情とユーザのアクションとの関係等を学習しており、対象者の感情に適したアクションを出力するように予め機械学習された学習済みの学習モデルである。

この学習モデルを、単に学習モデル、又はモデルともいう。モデルの学習処理及び再学習処理は、例えば、情報処理装置１０の制御部１３の後述する学習部１３７により行われるが、これに限られない。モデルの学習処理及び再学習処理は、情報処理装置１０以外の他の装置で行われ、情報処理装置１０に提供されてもよい。なお、記憶部１２の学習モデル１２３には、学習済みモデルに付随する重み等の情報も併せて格納される。

また、このモデルは、例えば、ＤＮＮ（Deep Neural Network）、ＲＮＮ（Recurrent Neural Network）、ＣＮＮ（Convolutional Neural Network）、ＬＳＴＭ（Long Short-Term Memory）等のニューラルネットワークであるが、これに限られない。モデルは、決定木、ＳＶＭ（Support Vector Machine）等の学習モデルであってもよい。また、モデルの学習方法は、例えば、勾配降下法、確率的勾配降下法、又は誤差逆伝播法であるが、これに限られない。

質問情報記憶部１２４は、ユーザに対して投げかける（表示する）質問や、当該質問の表示に用いるアイコンや文字列等を含む画像や文字列を記憶するデータベースである。

アクション情報記憶部１２５は、提示（表示）するアクションや、当該アクションの表示に用いるアイコン等の画像を記憶するデータベースである。このアクション情報記憶部１２５に記憶された情報は、後述する第３質問に対する回答の選択肢として表示される情報である。なお、本実施形態では、後述する第１回答に対応させて、アクション情報記憶部１２５から複数のアクション（第３質問に対する回答の選択肢）を抽出しているが、これに替えて、第２回答に対応させて複数のアクションを抽出してもよい。

次に、情報処理装置１０の制御部１３について説明する。この制御部１３は、通信部１１から受信したデータを処理して、その処理結果を通信部１１へ与える処理を行う。制御部１３は、画像受信部１３０、画像識別部１３１、画像選別部１３２、画像送信部１３３、質問送信部１３４、回答受信部１３５、アクション送信部１３６、及び学習部１３７を含む。本実施形態に係る制御部１３は、記憶部１２に記憶されたサーバプログラム１２２を読み出して実行することにより、上述の画像受信部１３０、画像識別部１３１、画像選別部１３２、画像送信部１３３、質問送信部１３４、回答受信部１３５、アクション送信部１３６、及び学習部１３７等が、ソフトウェア的な機能部として制御部１３に実現される。

画像受信部１３０は、撮影装置２０が送信する画像を通信部１１にて受信する処理を行う。例えば、画像受信部１３０は、受信した画像に付されたデータに基づいて、画像の撮影日時、撮影した撮影装置２０のＩＤや、撮影装置２０が設置された施設のＩＤ等に対応付けて、画像を分類して記憶部１２に一時的に記憶する。なお、画像受信部１３０によって記憶部１２に一時的に記憶された画像は、後述する画像選別処理により選別がなされ、記憶部１２の画像記憶部１２０に記憶して蓄積されるか、又は、記憶部１２から消去される。

画像識別部１３１は、撮影装置２０から取得した画像に対して、画像に写された人物を検出する処理、画像に写された人物が誰であるかを識別する処理、及び、画像に写された人物の表情を識別する処理等を行う。画像識別部１３１は、これらの処理結果に関する情報を画像にメタデータとして付してもよい。なお、本実施形態においては、これらの処理を情報処理装置１０が行うものとするが、これに限るものではなく、これらの処理の一部又は全部を予め撮影装置２０が行ってもよい。また、画像識別部１３１は、画像に写された人物の行動を識別する処理も行ってもよい。

画像識別部１３１は、例えば、予め機械学習がなされた学習モデルを用いて、画像から人物を検出する。学習モデルは、例えば画像のデータを入力として受け付け、この画像に含まれる人物が写された画像領域（を示す座標等のデータ）を出力するように予め機械学習がなされる。学習モデルは、例えば画像のデータと、この画像に含まれる人物が写された画像領域を示すデータとが対応付けられた教師データを用いて機械学習がなされる。

また、保育園、又は幼稚園等の施設にて撮影された画像を基に検出する対象の人物（対象者）を子供とする場合、子供が撮影された画像データを用いて教師データを作成することにより、子供の検出精度を高めることが期待できる。画像識別部１３１は、撮影装置２０から取得した画像を学習モデルへ入力し、学習モデルが出力する人物の検出結果を取得することで、画像に写された人物を検出する処理を行う。なお画像識別部１３１は、画像から人物が検出されなかった場合、即ち画像に人物が写されていない場合、この画像を除去して後続の処理の対象から外す。

また、画像識別部１３１は、例えば画像に写された人物の顔の特徴量に基づいて、画像に写された人物が誰であるかを識別する処理を行ってもよい。この場合、画像識別部１３１は、例えば画像に写された人物の顔の特徴量を抽出し、ユーザＤＢ１２１に登録された対象者の特徴量との比較を行う。

また、画像識別部１３１は、例えば、予め機械学習がなされた学習モデルを用いて、画像に写された人物の表情を識別する処理を行う。例えば、学習モデルは、人物が写された画像を入力として受け付けて、この画像に写された人物の表情が所定の表情である確信度を出力するように予め機械学習がなされる。所定の表情については予め定義し得るが、例えば、笑顔、怒り又は悲しみ等である。この所定の表情については後述する。画像識別部１３１は、例えば１種類の表情について確信度を出力する学習モデルを複数用意して複数種類の表情の識別を行ってもよく、また例えば複数種類の表情について確信度をそれぞれ出力する１つの学習モデルを用意して識別を行ってもよい。

学習モデルは、例えば画像のデータと、この画像に写された人物の顔の表情が所定の表情であるか否かを示すラベル（所定の表情であればラベル１、所定の表情以外であればラベル０など）とを対応付けた教師データを用いて機械学習がなされる。本実施形態において画像識別部１３１は、撮影装置２０が撮影した画像を学習モデルへ入力し、学習モデルが出力する各表情の確信度を取得し、確信度が最も高い表情を画像に写された人物の表情と判断する。なお最も高い確信度が閾値を超えない場合には、画像識別部１３１は、画像に写された人物の表情が、学習モデルにて識別できるいずれの表情でもないと判断してよい。また、画像識別部１３１は、例えば予め機械学習がなされた学習モデルを用いて、画像に写された人物が行っている行動を識別する処理を行ってもよい。

画像選別部１３２は、画像識別部１３１による識別結果に基づいて、撮影装置２０から取得した画像の中から、画像記憶部１２０に記憶して蓄積する画像を選別する処理を行う。画像選別部１３２は、各所定の表情について、所定数の画像を選定する。また、例えば画像選別部１３２は、スケジュールの各イベントについて、１人の利用者について所定数の画像を選別する。このときに画像選別部１３２は、例えば表情を識別する際に学習モデルが出力した確信度が高い画像を上位から所定数だけ選別することができる。また、例えば画像選別部１３２は、５分又は１０分等の間隔で確信度が最も高い画像を選別してもよい。画像選別部１３２による画像選別の方法は、上記の方法に限らず、どのような方法が採用されてもよい。

画像送信部１３３は、画像記憶部１２０に記憶した画像をユーザの端末装置３０へ送信する処理を行う。画像送信部１３３は、端末装置３０から画像の送信要求と共に与えられる条件を取得し、取得した条件を満たす画像を画像記憶部１２０に記憶された複数の画像の中から抽出して、要求元の端末装置３０へ送信する。端末装置３０から与えられる条件は、例えば「ポジティブ（な感情）」等である。画像送信部１３３は、画像識別部１３１が各画像に付したメタデータに基づいて、端末装置３０からの条件を満たす画像を抽出してもよい。

質問送信部１３４は、質問情報記憶部１２４に記憶した質問と、当該質問の表示に用いる文字列や文字列を含むアイコン等の画像とをユーザの端末装置３０へ送信する処理を行う。質問送信部１３４は、端末装置３０から、ユーザによる画像選択と共に与えられる条件を取得し、取得した条件を満たす質問と、当該質問の表示に用いる文字列や文字列を含むアイコン等の画像とを質問情報記憶部１２４の中から抽出して、要求元の端末装置３０へ送信する。例えば、端末装置３０によって所定の画像が選択された場合質問送信部１３４は、画像識別部１３１が各画像に付したメタデータ等に基づいて、端末装置３０から質問（第１質問）と、当該質問に対する回答として、例えば、「ポジティブ」、及び「ネガティブ」等の感情を示す文字列を含むアイコンを選択肢として左右に表示する。例えば「ポジティブ（な感情）」の条件が与えられた場合、画像送信部１３３は、画像識別部１３１が各画像に付したメタデータ等に基づいて、端末装置３０からポジティブな感情に関連する質問と、ポジティブな感情の表示に用いるアイコンとを抽出してもよい。

回答受信部１３５は、ユーザの端末装置３０が送信する回答（後述する、第１回答，第２回答，第３回答）を通信部１１にて受信する処理を行う。例えば、画像受信部１３０は、受信した回答と共に与えられる条件を取得する。

アクション送信部１３６は、アクション情報記憶部１２５に記憶したアクションと当該アクションの表示に用いるアイコン等の画像とをユーザの端末装置３０へ送信する処理を行う。アクション送信部１３６は、端末装置３０から質問（後述する第１質問）の回答（後述する第１回答）のための選択肢と共に与えられる条件を取得し、質問と共に、取得した条件を満たすアクションとアクションの表示に用いるアイコン等の画像とをアクション情報記憶部１２５に記憶された複数のアクションやアイコン等の画像の中から抽出して、要求元の端末装置３０へ送信する。

端末装置３０から与えられる条件が、例えば「ポジティブ」である場合、アクション送信部１３６は、アクション情報記憶部１２５から、質問と同時に、「ポジティブ」を詳細化した感情を示す選択肢を要求元の端末装置３０へ送信する。一方、端末装置３０から与えられる条件が、例えば「ネガティブ」である場合、アクション送信部１３６は、アクション情報記憶部１２５から、質問と同時に、「ネガティブ」を詳細化した感情を示す選択肢を要求元の端末装置３０へ送信する。アクション送信部１３６により送信される質問と、受信される回答とを、それぞれ、第３質問、及び第３回答ともいう。

学習部１３７は、記憶部１２に記憶される、上述した種々の学習モデル１２３に対して教師データを入力することにより、当該学習モデルを学習させる（訓練する）。

上述した通り、情報処理装置１０は、画像受信部１３０～学習部１３７を備えるが、上記の構成に限定されず、例えば可搬型の記憶媒体に記憶された情報を読み取る読取部、操作入力を受け付ける入力部、又は、画像を表示する表示部等を含んでもよい。

次に、端末装置３０の機能構成について説明する。図６は、端末装置３０の機能構成の一例を示す図である。図６に例示するように、端末装置３０は、通信部３１と、記憶部３２と、制御部３３と、操作部３４と、表示部３５と、を備える。

通信部３１は、通信Ｉ／Ｆ３０４により実現される。通信部３１は、ネットワークＮを介して、情報処理装置１０や撮影装置２０との間でデータの送受信を行う。

記憶部３２は、メモリ３０２及びストレージ３０３により実現される。記憶部３２は、ユーザプログラム３２０を備え、選択情報や受信した画像等を含む各種の情報を記憶してもよい。本実施形態において、ユーザプログラム３２０は遠隔のサーバ装置等により配信され、これを端末装置３０が通信にて取得し、記憶部３２に記憶する。ただしユーザプログラム３２０は、例えば、端末装置３０の製造段階において記憶部３２に書き込まれてもよい。例えば、ユーザプログラム３２０は、メモリカード、又は光ディスク等の記録媒体に記録されたユーザプログラム３２０を端末装置３０が読み出して記憶部３２に記憶してもよい。例えば、ユーザプログラム３２０は、記録媒体に記録されたものを書込装置が読み出して端末装置３０の記憶部３２に書き込んでもよい。また、ユーザプログラム３２０は、ネットワークを介した配信の態様で提供されてもよく、記録媒体に記録された態様で提供されてもよい。

制御部３３は、プロセッサ３０１がユーザプログラム３２０等のプログラムを実行し、他のハードウェア構成と協働することにより実現される。制御部３３は、端末装置３０の動作全体を制御する。この制御部３３は、表示制御部３３０と、条件取得部３３１と、を備える。

また、例えば、サーバプログラム１２２は、遠隔の他のサーバ装置等により配信されてもよく、この場合、情報処理装置１０は、配信されるサーバプログラム１２２をネットワークＮを介して取得してもよい。また、例えば、サーバプログラム１２２は、ディスクメディア１０９等の記録媒体に記録されたものをドライブ装置１０６等が読み出して情報処理装置１０の記憶部１２に書き込まれてもよい。

表示制御部３３０は、表示部３５に対して種々の文字、又は画像等を表示するための制御を行う。本実施形態において表示制御部３３０は、後述のＵＩ（User Interface）画面を表示部３５に表示すると共に、このＵＩ画面の所定領域に情報処理装置１０から取得した画像を表示する。

条件取得部３３１は、表示制御部３３０がＵＩ画面を表示部３５に表示している際に、操作部３４に対するユーザの操作に基づいて、ＵＩ画面に表示する一又は複数の画像に関する条件を取得する処理を行う。本実施形態に係る情報処理システム１では、表示する画像に関する条件として、選択された画像、回答、アイコン等の画像等を受け付けてもよい。条件取得部３３１は、取得した条件を付した画像の送信要求を情報処理装置１０へ与える。この要求に応じて情報処理装置１０は条件に適合する画像を端末装置３０へ送信し、この画像を受信した端末装置３０の表示制御部３３０が画像を表示する。

操作部３４は、端末装置３０を使用するユーザからの入力（操作）を受け付け、受け付けた入力を示す操作情報を制御部３３に供給する。

表示部３５は、上述の制御部３３による制御にしたがって種々の画面表示を行う。

なお、図示を省略したが、端末装置３０は、撮影機能等の他の機能を備えてもよい。

＜ＵＩ画面：画像表示処理＞
図７～図１１は、本実施形態に係る端末装置３０が表示するＵＩ画面の一例を示す模式図である。なお、図７～図１１に例示するＵＩ画面は、施設の利用者である「ひなちゃん」の保護者が使用する端末装置３０が表示するＵＩ画面の一例である。図７は第１質問表示画面の一例を示す図であり、図８及び図９は第２質問表示画面の一例を示す図であり、図１０及び図１１は第３質問表示画面の一例を示す図である。また、図８及び図１０は、後述する「ポジティブ」を選択した場合のＵＩ画面の一例であり、図９及び図１１は後述する「ネガティブ」を選択した場合のＵＩ画面の一例である。

本実施形態に係る端末装置３０が表示するＵＩ画面は、日付表示領域１５１、主画像表示領域（第１の領域）１５２、質問表示領域（第２の領域）１５３、及び副画像表示領域（第３の領域）１５４等を含んで構成されている。

図７に例示するＵＩ画面（第１質問表示画面）の次には、図８又は図９に例示するＵＩ画面（第２質問表示画面）が表示される。図８に例示するＵＩ画面は、図７に例示するＵＩ画面において、「ポジティブ」が選択された場合に表示されるものである。一方、図９に例示するＵＩ画面は、図７に例示するＵＩ画面において、「ネガティブ」が選択された場合に表示されるものである。そして、図８に例示するＵＩ画面の次には、図１０に例示するＵＩ画面（第３質問表示画面）が表示される。

この図１０に例示する第３質問表示画面は、図７に例示するＵＩ画面において「ポジティブ」が選択された場合に、図８に例示するＵＩ画面の次に表示されるＵＩ画面である。一方、図９に例示するＵＩ画面の次に、図１１に例示するＵＩ画面（第３質問表示画面）が表示される。この図１０に例示する第３質問表示画面は、図７に例示するＵＩ画面において「ネガティブ」が選択された場合に、図９に例示するＵＩ画面の次に表示されるものである。なお、図９に例示するＵＩ画面の次には、図１１に例示するＵＩ画面（第３質問表示画面）が表示される。これらの図７～図１１に例示するＵＩ画面は、後述する質問表示領域１５３に表示される内容が異なっている。

日付表示領域１５１は、ＵＩ画面の上部に設けられており、本例では「２０２１年３１日 Monday」のように年月日及び曜日が表示されている。本実施形態に係る情報処理システム１では、本サービ日付表示領域１５１を利用するためにユーザが端末装置３０にてユーザプログラム３２０を起動した後、図示のＵＩ画面が表示される。このときにＵＩ画面の日付表示領域１５１には、例えば、今日の日付が表示される。

ユーザは施設の撮影装置２０が今日（これまで）に撮影した画像を閲覧することができる。ユーザは、日付表示領域１５１に対するタッチ操作やクリック操作等を行うことによって、日付を変更することができる。端末装置３０は、日付表示領域１５１に対する操作を受け付けた場合に、例えばカレンダー等を表示して日付の選択を受け付ける。日付の選択を受け付けた端末装置３０は、この日付の画像を送信する要求を情報処理装置１０へ与え、要求に応じて情報処理装置１０から送信される画像を受信して主画像表示領域１５２を表示する。

主画像表示領域１５２は、ＵＩ画面において、日付表示領域１５１の下側に設けられており、本システムが自動的に抽出した１つの画像や、後述の副画像表示領域１５４にてユーザにより選択された１つの画像を表示する。本実施形態においては、主画像表示領域１５２に表示される画像を保護者と子供が一緒に閲覧することを想定している。

また、本実施形態に係る情報処理システム１が記憶及び表示する画像は、静止画像又は動画像のいずれであってもよく、静止画及び動画像が混在していてもよい。端末装置３０は、主画像表示領域１５２に動画像を表示する場合、主画像表示領域１５２の中央又は下部に再生及び停止等の操作を受け付けるボタン、及び、再生時間を示すスライドバー等を表示する。そして、主画像表示領域１５２に動画像を表示する場合、再生前に主画像表示領域１５２に表示される画像は、当該動画像の最初のフレームでなくてもよく、当該動画像の特徴を最もよくあらわしている場面のフレームであってもよい。

質問表示領域１５３は、上述した主画像表示領域１５２の下側に設けられており、例えば、質問と共に、回答として、感情を示す文字列や、感情を示すアイコンや文字列を含む画像が選択肢として表示される。端末装置３０は、質問表示領域１５３に表示されたいずれかの選択肢に対するタッチ操作やクリック操作等を受け付けることにより、感情の選択を受け付ける。感情の選択を受け付けた端末装置３０は、この感情を示す文字列やアイコン等の画像を送信する要求を情報処理装置１０へ与え、当該要求に応じて情報処理装置１０から送信される画像を受信して表示する。

図７に示す第１質問表示画面に例示するように、質問表示領域１５３は、質問として、「ひなちゃんのこのときの気持ちはどっちかな？」が表示されている。同時に、回答として、「ポジティブ」、及び「ネガティブ」等の感情を示す文字列が選択肢として左右に表示されている。この上述した質問は第１質問、又は第１の質問といい、上述した選択肢は第１の選択候補、又は第１選択候補という。また、この第１の選択候補で選択し得る感情（「ポジティブ」、及び「ネガティブ」）を「第１の感情」という。端末装置３０は、質問表示領域１５３に表示されたいずれかの選択肢に対するタッチ操作やクリック操作等を受け付けることにより、感情の選択を受け付ける。感情の選択を受け付けた端末装置３０は、この感情を示す文字列やアイコン等の画像を送信する要求を情報処理装置１０へ与え、当該要求に応じて情報処理装置１０から送信される画像を受信して表示する。

本実施形態では、第１質問表示画面に表示する上述の質問は、保護者と子供とが主画像表示領域１５２に表示される画像を閲覧しながら回答することを想定している。具体的には、「ひなちゃんのこのときの気持ちはどっちかな？」のような質問は、保護者と子供とが主画像表示領域１５２に表示される画像を閲覧しながら、保護者が子供にその時の気持ちを問うものであるから、例えば、保護者が第１質問表示画面に表示される上述の質問をみながら、口頭で子供に問うこともできる。また、ＵＩ画面の質問の近くに、当該質問への理解を助けるコメント（例えば、「この時の気持ちを押してね。」）を添えることのできる領域を設けてもよい。

図８、及び図９に示す第２質問表示画面に例示するように、質問表示領域１５３は、質問として、「ひなちゃんのこのときの気持ちはどれかな？」が表示されている。図８に例示するＵＩ画面では、この質問と共に、回答として、「幸せ」、「楽しい」、「満足」、及び「嬉しい」等のポジティブな感情を示す文字列と画像とが選択肢として左右に表示されている。また、図９に例示するＵＩ画面では、この質問と共に、回答として、「怒っている」、「怖い」、「悲しい」、及び「つらい」等のネガティブな感情を示す文字列と画像とが選択肢として左右に表示されている。この上述した質問は第２質問、又は第２の質問といい、上述した選択肢は第２の選択候補、又は第２選択候補という。第２の質問は、第１の質問に関する回答を詳細に問うものである。また、この第３の選択候補で選択し得る感情を「第２の感情」という。

すなわち、図７に例示した第１質問表示画面において、例えば「ポジティブ」が選択された場合には、次に表示される第２質問表示画面（図８参照）において具体的にどういったポジティブの感情であるのかを問うような具体的な質問を表示する。一方、図７に例示した第１質問表示画面において、例えば「ネガティブ」が選択された場合には、次に表示される第２質問表示画面（図９参照）において具体的にどういったネガティブの感情であるのかを問うような具体的な質問を表示する。

これらの質問（第２質問）はいずれも、保護者が子供のその時の感情を具体的に掘り下げて問うものである。これらの質問についても同様に、本実施形態では、保護者と子供とが主画像表示領域１５２に表示される画像を閲覧しながら具体的な感情を回答することを想定している。例えば、保護者は、回答の選択肢（「怒っている」、「怖い」、「悲しい」、及び「つらい」）を見て、子供に対し、「そのときの気持ちは怒っているかな？怖かったかな？悲しかったかな？それとも、つらかったかな？」と口頭で子供に問うこともできる。なお、図示する第１質問や第２質問の文言は一例にすぎず、例えば、同等の趣旨を問うために別の文言を用いてもよいし、文言ではなく音声にて質問を与えてもよい。

このような具体的な感情を選択肢として用意することにより、回答する人物である子供や、質問を投げかける保護者の負荷が少なくなる。また、信州大学の『信州心理臨床紀要』に掲載された論文によれば、自身で思いついた言葉でなく選択肢をもとにして感情のラベリングすることにより、ストレス軽減の効果がある。本システムにおいて、ネガティブとポジティブのそれぞれについて、選択肢をもとにした感情のラベリングを行うことで、ストレス軽減につながる可能性がある。すなわち、ネガティブな経験をした子供に、その時の画像を用いて具体的な感情を選択してもらうことで、子供は保護者にストレスを軽減してもらったと感じられる可能性が高い。

このように、本システムでは、親子で閲覧できる画像と、その画像に対する質問や回答の選択肢を親子に与えることにより、会話を促すことが期待できる。

なお、本実施形態では、第１質問の回答として２つの選択肢を与えるものとしたが、これに限定されず、例えば、２つよりも多い選択肢を与えてもよい。また、本実施形態では、文字列を含むアイコンを選択肢として表示するものとしたが、これに替えて画像を表示するものとしてもよい。また、本実施形態では、第２質問の回答として４つの選択肢を与えるものとしたが、これに限定されず、例えば、４つ未満、又は４つよりも多い選択肢を与えてもよい。また、本実施形態では、感情を示すアイコンを含む画像を選択肢として表示するものとしたが、これに替えて文字列を表示するものとしてもよい。

また、図１０及び図１１に示す第３質問表示画面に例示するように、質問表示領域１５３は、質問として、「どのアクションをとりますか？」が表示されている。図１０に例示するＵＩ画面では、この質問と共に、回答として、「共感する」、「プロセスを褒める」、「理由を聞く」、及び「期待を実感させる」等のネガティブな場合に保護者の取り得るアクションを示す文字列が選択肢として左右に表示されている。この上述した質問は第３質問、又は第３の質問といい、上述した選択肢は第３の選択候補、又は第３選択候補という。また、この第３の選択候補で選択し得る感情を「第３の感情」という。この質問（第３質問）は、本システムから保護者への問いであり、第１回答及び第２回答を受信して得た子供の感情や画像に写った行動に対して、いかに振舞うかを問うものである。

このような具体的なアクションを選択肢として用意することにより、保護者の入力することの負荷が減少する。また、保護者がとり得るアクションを示すことで、どのようなアクションをとればよいか思いつかない保護者に対する助言となる。

副画像表示領域１５４は、質問表示領域１５３の下側に設けられており、情報処理装置１０により抽出された一又は複数の画像を上下方向に並べて一覧表示する領域である。本実施形態において、副画像表示領域１５４に表示される画像はユーザの閲覧当日に撮影されたものであるものとするが、これに限られない。一覧表示される各画像は、元の画像を縮小したもの、いわゆるサムネイルであってよく、サムネイル画像の作成は情報処理装置１０又は端末装置３０のいずれにより行われてもよい。図示の例では、副画像表示領域１５４に２つの画像が左右に並べて一覧表示されている。

なお、これ以上の数の画像を副画像表示領域１５４に一覧表示する場合に、端末装置３０は、例えば副画像表示領域１５４の側部にスクロールバー等を表示し、副画像表示領域１５４に対するスクロール操作を受け付けて、副画像表示領域１５４に表示する画像をスクロールさせて切り替えてもよい。また副画像表示領域１５４に一覧表示される複数の画像の表示順は、例えば撮影時刻に応じて決定してもよい。端末装置３０は、副画像表示領域１５４に一覧表示された一又は複数の画像に対するタッチ操作又はクリック操作等を受け付けることにより、ユーザによる画像の選択を受け付ける。端末装置３０は、副画像表示領域１５４にて選択された画像を、主画像表示領域１５２に表示する。

本実施形態に係る情報処理システム１では、端末装置３０が表示するＵＩ画面を利用してユーザが操作を行うことで、表示する画像の条件を設定することができる。例えばユーザは、日付表示領域１５１にて日付の条件を設定することができ、主画像表示領域１５２や質問表示領域１５３にて表示させる画像を選択することができ、質問表示領域１５３にて感情の条件を設定することができる。ユーザは、これら複数の条件を全て設定する必要はなく、適宜に一又は複数の条件を設定すればよい。

また、ＵＩ上部には、主画像表示領域１５２、及び副画像表示領域１５４に表示可能な枚数を表示する。図７の例では、「１５枚」が表示可能な画像の枚数である。この表示可能な画像の枚数は、日付表示領域１５１に表示された日時に撮影された画像であり、情報処理装置１０により抽出され、端末装置３０に送信された画像の枚数である。

また、図示は省略するが、端末装置３０は、イベント（カリキュラム）のスケジュールを表示する領域を設け、ユーザにより選択されたイベントに関連付けて表示させる画像を抽出してもよい。また、本実施形態に係る情報処理システム１では、所定のアクションをとった後のフィードバック、親子での会話、及び、対象者である子供の様子等をコメントとして入力することができる領域を設けてもよい。また、学習で表示させるアクションや画像を変更してもよい。また、本実施形態に係る情報処理システム１では、主画像表示領域１５２や副画像表示領域１５４に表示された画像に対してコメント等の情報を付すことができてもよい。

＜情報処理装置１０による画像記憶処理＞
図１２は、本実施形態に係る情報処理装置１０の制御部１３が行う画像記憶処理の手順を示すフローチャートである。この図１２を用いて、情報処理装置１０による画像記憶処理について説明する。

（ステップＳ１０１）
本実施形態に係る情報処理装置１０の制御部１３の画像受信部１３０は、施設に設置された撮影装置２０が送信する画像を受信したか否かを判定する。撮影装置２０から画像を受信した場合（ステップＳ１０１：ＹＥＳ）、処理はステップＳ１０２に進む。一方、画像を受信していない場合（ステップＳ１０１：ＮＯ）、画像受信部１３０は、撮影装置２０から画像を受信するまで待機する。

（ステップＳ１０２）
制御部１３の画像識別部１３１は、撮影装置２０が撮影した画像に写された人物を検出する処理を行う。処理はステップＳ１０３に進む。

（ステップＳ１０３）
画像識別部１３１は、画像に人物が写っているか否かを判定する。画像に人物が写っている場合（ステップＳ１０３：ＹＥＳ）、処理はステップＳ１０４に進む。一方、画像に人物が写っていない場合（ステップＳ１０３：ＮＯ）、処理はステップＳ１０８に進む。

（ステップＳ１０４）
画像識別部１３１は、例えば、画像に写された人物の特徴量を取得し、ユーザＤＢ１２１に記憶された特徴量に基づいて、画像に写された人物が誰であるかを識別する処理を行う。処理はステップＳ１０５に進む。

（ステップＳ１０５）
画像識別部１３１は、画像に写された人物の表情を識別する処理を行う。処理はステップＳ１０６に進む。

（ステップＳ１０６）
画像識別部１３１は、例えば、ステップＳ１０５にて識別した表情に基づいて画像のスコアリングを行い、スコアが閾値を超えるか否かを判定することによって、この画像を記憶するか否かを判定する。画像を記憶すると判定した場合（ステップＳ１０９：ＹＥＳ）、処理はステップＳ１０７に進む。一方、画像を記憶しないと判定した場合（ステップＳ１０９：ＮＯ）、処理はステップＳ１０８に進む。

（ステップＳ１０７）
画像選別部１３２は、画像を画像記憶部１２０に記憶し、処理を終了する。なお、本実施形態では、ステップＳ１０６において画像を記憶しないと判定した場合、画像を破棄して処理を終了するものとしたが、ステップＳ１０１へ処理を戻し、画像を受信するまで待機するように構成してもよい。

なお本実施形態においては、撮影装置２０が撮影した画像から人物を検出する処理、画像に写された人物が誰であるかを識別する処理、及び、画像に写された人物の表情を識別する処理等を情報処理装置１０が行うものとするが、これに限るものではない。これら複数の処理の一部又は全部は撮影装置２０にて行われてもよい。例えば、撮影装置２０は、自身が撮影した画像から人物を検出する処理を行い、人物が写されていない画像を情報処理装置１０へ送信せずに破棄してもよい。また、例えば撮影装置２０は画像に写された人物の表情の識別等の処理を行い、処理結果を画像に付して情報処理装置１０へ送信してもよい。

＜情報処理装置１０による画像表示処理＞
図１３は、本実施形態に係る情報処理装置１０が行う画像表示処理の手順を示すフローチャートである。この図１３を用いて、情報処理装置１０による画像表示処理について説明する。

（ステップＳ２０１）
本実施形態に係る制御部１３の画像送信部１３３は、主画像表示領域１５２、及び副画像表示領域１５４に表示する画像を端末装置３０に対して送信する。本実施形態において、起動直後にＵＩ画面の主画像表示領域１５２、及び副画像表示領域１５４に表示する画像については、ランダムに抽出してもよいし、また、例えば、表情の識別（図１２のステップＳ１０５参照）を行った後に、笑顔の表情の画像と泣いている表情の画像との合計枚数が同じ枚数になるようにランダムに抽出してもよく、また、笑顔の表情の写っている画像のみを抽出してもよい。また、端末装置３０から画像の送信要求が与えられた場合には、画像送信部１３３は、送信要求に付された画像の条件を取得する。例えば、ユーザにより副画像表示領域１５４に表示される画像の中から特定の画像の送信要求が与えられた場合には、この画像を送信してもよい。また、ユーザにより日付表示領域１５１において対象の年月日が設定された場合には、この条件にて設定された画像を抽出し、端末装置３０に対して送信する。そして、処理がステップＳ２０２に進む。

（ステップＳ２０２）
制御部１３の質問送信部１３４は、第１質問を端末装置３０に対して送信する。この第１質問とは、一例として、「ひなちゃんのこのときの気持ちはどっちかな？」である（図７参照）。同時に、質問送信部１３４は、「ポジティブ」、及び「ネガティブ」の選択肢（図７参照）を回答として端末装置３０に対して送信する。そして、処理がステップＳ２０２に進む。

（ステップＳ２０３）
制御部１３の回答受信部１３５、第１質問の回答である第１回答を端末装置３０から受信した場合（ステップＳ２０３：ＹＥＳ）、処理がステップＳ２０４に進む。本例の場合、第１回答とは、「ポジティブ」という感情を示す情報と、「ネガティブ」という感情を示す情報のいずれかである。一方、第１回答を受信しなかった場合（ステップＳ２０３：ＮＯ）、第１回答を受信するまで待機する。なお、本実施形態では、第１回答を受信しなかった場合に第１回答を受信するまで待機するものとしたが、この場合、処置を終了してもよい。

（ステップＳ２０４）
質問送信部１３４は、第２質問を端末装置３０に対して送信する。この第２質問とは、一例として、「ひなちゃんのこのときの気持ちはどれかな？」である（図８，図９参照）。同時に、質問送信部１３４は、具体的な気持ちを示す画像からなるの４つの選択肢を端末装置３０に対して送信する。

本実施形態において、例えば、回答受信部１３５が、ステップＳ２０３に示した第１回答として、ユーザから「ポジティブ」を受信した場合、図８に例示した（ポジティブ選択時の）第２質問表示画面を表示させる。そのため、質問送信部１３４は、第２質問と同時に送信する第２回答のための選択肢として、「幸せ」、「楽しい」、「満足」、及び「嬉しい」等のポジティブな感情を示す文字列と画像とを端末装置３０に対して送信する。

一方、本実施形態において、例えば、回答受信部１３５が、ステップＳ２０３に示す第１回答として、ユーザから「ネガティブ」を受信した場合、図９に例示した（ネガティブ選択時の）第２質問表示画面を表示させる。そのため、質問送信部１３４は、第２質問と同時に送信する第２回答のための選択肢として、「怒っている」、「怖い」、「悲しい」、及び「つらい」等のネガティブな感情を示す文字列と画像とを端末装置３０に対して送信する。

（ステップＳ２０５）
回答受信部１３５が、第２質問の回答である第２回答を端末装置３０から受信した場合（ステップＳ２０５：ＹＥＳ）、処理がステップＳ２０に６進む。第２回答とは、「幸せ」、「楽しい」、「満足」、及び「嬉しい」等のポジティブな感情のうちのいずれか、又は、「怒っている」、「怖い」、「悲しい」、及び「つらい」等のネガティブな感情のうちのいずれかである。一方、第２回答を受信しなかった場合（ステップＳ２０５：ＮＯ）、第２回答を受信するまで待機するものとしたが、この場合、処理を終了してもよい。

（ステップＳ２０６）
質問送信部１３４は、第３質問を端末装置３０に対して送信する。この第３質問とは、一例として、「どのアクションをとりますか？」である（図１０，図１１参照）。同時に、質問送信部１３４は、具体的なアクションを示す画像からなるの４つの選択肢を端末装置３０に対して送信する。

本実施形態において、例えば、回答受信部１３５が、ステップＳ２０３に示した第１回答として、ユーザから「ネガティブ」を受信した場合、図１０に例示した（ネガティブ選択時の）第３質問表示画面を表示させる。そのため、質問送信部１３４は、第３質問と同時に送信する第３回答のための選択肢として、「共感する」、「プロセスを褒める」、「理由を聞く」、及び「期待を実感させる」等のネガティブな場合に保護者の取り得るアクションを示す文字列を端末装置３０に対して送信する。

一方、本実施形態において、例えば、回答受信部１３５が、ステップＳ２０３に示した第１回答として、ユーザから「ポジティブ」を受信した場合、図１１に例示した（ポジティブ選択時の）第３質問表示画面を表示させる。そのため、質問送信部１３４は、第３質問と同時に送信する第３回答のための選択肢として、「共感する」、「詳しく話を聞く」、「褒める」、及び「嬉しい感情を伝える」等のポジティブな場合に保護者の取り得るアクションを示す文字列を端末装置３０に対して送信する。

（ステップＳ２０７）
回答受信部１３５が、第３質問の回答である第３回答を端末装置３０から受信した場合（ステップＳ２０７：ＹＥＳ）、処理が終了する。第３回答とは、「共感する」、「詳しく話を聞く」、「褒める」、及び「嬉しい感情を伝える」等のポジティブな感情に対して保護者がとり得るアクションのうちのいずれか、又は、「共感する」、「プロセスを褒める」、「理由を聞く」、及び「期待を実感させる」等のネガティブな感情に対して保護者がとり得るアクションのうちのいずれかである。一方、第３回答を受信しなかった場合（ステップＳ２０７：ＮＯ）、第３回答を受信するまで待機するものとしたが、この場合、処理を終了してもよい。

＜端末装置３０における画像表示処理＞
図１４は、本実施形態に係る端末装置３０における画像表示処理の手順を示すフローチャートである。この図１４を用いて、端末装置３０における画像表示処理について説明する。

本実施形態において、ユーザは本サービスを利用するにあたり、アプリケーションプログラム等のユーザプログラム３４０を起動する。当該アプリケーションプログラムが起動されると、制御部３３の表示制御部３３０は、端末装置３０に、図７に例示したＵＩ画面を表示する。なお、起動直後のＵＩ画面は、主画像表示領域１５２、及び副画像表示領域１５４にランダムに画像が表示されているものであってもよいし、また、例えば、表情の識別（図１２のステップＳ１０５参照）が行われた後に、笑顔の表情の画像と泣いている表情の画像との合計枚数が同じ枚数になるようにランダムに表示されるようにしてもよく、また、笑顔の表情のみが抽出されて表示されてもよい。また、主画像表示領域１５２、及び副画像表示領域１５４に画像が表示されていない状態であってもよい。

（ステップＳ３０１）
端末装置３０の操作部３４により、副画像表示領域１５４に一覧表示された画像の中から一つの画像が選択された場合、情報処理装置１０の条件取得部３３１は、ユーザにより選択されたことを検知すると共に、端末装置３０の表示制御部３３０は、選択された一の画像を主画像表示領域１５２に表示する。なお、このステップＳ３０１の処理はスキップしてもよく、その場合、本システムにより主画像表示領域１５２に画像が表示されたＵＩ画像の表示を継続する。そして、処理がステップＳ３０２に進む。なお、続くステップＳ３０２～Ｓ３０４では、ユーザは、主画像表示領域１５２に表示された画像に対する質問について操作部３４を用いて回答を行う。ステップＳ３０２～Ｓ３０４のそれぞれにおいて、表示される質問は異なり、これらの内容は以下に詳述する。

（ステップＳ３０２）
質問表示領域１５３に表示された第１質問に対して回答を行った場合（ステップＳ３０２：ＹＥＳ）、処理がステップＳ３０３に進む。具体的には、図７に例示したように、「ひなちゃんの気持ちはどっちかな？」という質問と同時に、「ポジティブ」か「ネガティブ」かを問う、第１回答のための選択肢が質問表示領域１５３に表示される。ここで、当該選択肢の中から操作部３４によりいずれかの感情が選択されると、第１回答を送信したことになり処理がステップＳ３０３に進む。

一方、質問表示領域１５３に表示された第１質問に対して回答を行わなかった場合（ステップＳ３０２：ＮＯ）、処理が終了する。本実施形態において、回答を行わなかった場合に処理が終了するものとしたが、これに替えて、回答を行うまで待機しておいてもよいし、ステップＳ３０１に示す画像選択の処理に戻ってもよい。

（ステップＳ３０３）
質問表示領域１５３に表示された第２質問に対して回答を行った場合（ステップＳ３０３：ＹＥＳ）、処理がステップＳ３０４に進む。具体的には、図８に例示したように、「ひなちゃんの気持ちはどっちかな？」という質問と同時に、「幸せ」、「楽しい」、「満足」、及び「嬉しい」等のポジティブな感情のうちのいずれかを問う、第２回答のための選択肢が質問表示領域１５３に表示される。ここで、当該選択肢の中から操作部３４によりいずれかの感情が選択されると、第２回答を送信したことになり処理がステップＳ３０４に進む。あるいは、図９に例示したように、「ひなちゃんの気持ちはどっちかな？」という質問と同時に、「怒っている」、「怖い」、「悲しい」、及び「つらい」等のネガティブな感情のうちのいずれかを問う、第２回答のための選択肢が質問表示領域１５３に表示される。

一方、質問表示領域１５３に表示された第２質問に対して回答を行わなかった場合（ステップＳ３０３：ＮＯ）、処理が終了する。本実施形態において、回答を行わなかった場合に処理が終了するものとしたが、これに替えて、回答を行うまで待機しておいてもよいし、ステップＳ３０１に示す画像選択の処理に戻ってもよい。

（ステップＳ３０４）
質問表示領域１５３に表示された第３質問に対して回答を行った場合（ステップＳ３０４：ＹＥＳ）、処理が終了する。具体的には、図１０に例示したように、「どのアクションをとりますか？」という質問と同時に、「共感する」、「詳しく話を聞く」、「褒める」、及び「嬉しい感情を伝える」等のポジティブな場合に保護者の取り得るアクションのうちのいずれかを問う、第３回答のための選択肢が質問表示領域１５３に表示される。ここで、当該選択肢の中から操作部３４によりいずれかの感情が選択されると、第３回答を送信したことになり処理が終了する。あるいは、図１１に例示したように、「どのアクションをとりますか？」という質問と同時に、「共感する」、「プロセスを褒める」、「理由を聞く」、及び「期待を実感させる」等のネガティブな場合に保護者の取り得るアクションを問う、第３回答のための選択肢が質問表示領域１５３に表示される。

一方、質問表示領域１５３に表示された第３質問に対して回答を行わなかった場合（ステップＳ３０４：ＮＯ）、処理が終了する。本実施形態において、回答を行わなかった場合に処理が終了するものとしたが、これに替えて、回答を行うまで待機しておいてもよいし、ステップＳ３０１に示す画像選択の処理に戻ってもよい。

＜実施の形態２＞
上述した実施形態（実施の形態１ともいう）では、本システムにより抽出した画像、又は、ユーザにより選択された画像が主画像表示領域１５２に表示され、この主画像表示領域１５２に表示された画像に対して、質問表示領域１５３において質問が選択肢を表示してユーザが回答を行うものとした。実施の形態２では、本システムにより抽出した画像の中から、さらに本システム又はユーザプログラム３４０により所定の複数枚を選択し、ユーザがこれら複数枚の画像の中から、画像が撮影された時の気持ちを入力したい画像、又は、親子で話題に取り上げたい画像等を端末装置３０の操作部３４を用いて選択し、この選択された画像について質問や回答を行う。

また、上述した実施の形態１では、１つのＵＩ画面上に、日付表示領域１５１、主画像表示領域１５２、質問表示領域１５３、及び副画像表示領域１５４を備えるものとしたが、実施の形態２では、各領域を１つのＵＩ画面上に表示するものとする。なお、このようなＵＩ画面上での領域の表示方法は一例にすぎず、複数の領域を組み合わせて表示させてもよい。

＜第２の実施形態に係るＵＩ画面：画像表示処理＞
図１５～図２０は、本実施形態に係る端末装置３０が表示するＵＩ画面の一例を示す模式図である。なお、この図１５～図２０に例示するＵＩ画面は、施設の利用者である「ひなちゃん」の保護者が使用する端末装置３０が表示するＵＩ画面の一例である。図１５は選択画面の一例を示す図であり、図１６は第１質問表示画面の一例を示す図であり、図１７及び図１８は第２質問表示画面の一例を示す図であり、図１９及び図２０は第３質問表示画面の一例を示す図である。また、図１７及び図１９は、「ポジティブ」を選択した場合のＵＩ画面の一例であり、図１８及び図２０は「ネガティブ」を選択した場合のＵＩ画面の一例である。図１５～図２０を用いて、第２の実施形態に係るＵＩ画面について説明する。

なお、第２の実施形態に係る情報処理システム１では、予め、本システムにより、上述した画像のスコアリングを行うことにより所定枚数の画像が抽出され、端末装置３０に送信される。

質問画面について図１５を用いて説明する。この図１５に例示するように、質問画面は日付表示領域１５１と、選択対象画像表示領域１５５と、を備える。この選択対象画像表示領域１５５は、ＵＩ画面の中央に設けられており、所定枚数の画像がユーザにより選択可能な態様で表示されている。図１５に例示するＵＩ画面（選択画面）では、３枚の画像が選択可能な態様で表示されている。本実施形態に係る情報処理システム１からは、選択対象画像表示領域１５５に表示可能な枚数、又は、選択対象画像表示領域１５５に表示可能な枚数を超えた枚数の画像が端末装置３０に送られており、その中から本システムにより抽出された所定枚数の画像のみが、選択対象画像表示領域１５５に表示される。

また、図１５の例では、例えば、選択対象画像表示領域１５５の下に設けられているインジケーターを選択することにより、選択対象画像表示領域１５５に表示される画像が選択対象画像表示領域１５５に切り替わる。図１５に例示する選択可能な画像を表示する選択画面は一例であり、例えば、一度に選択可能な画像を表示させてもよい。また、インジケーターの個数は表示させる画面の個数と同一にしてもよい。

この選択対象画像表示領域１５５の下には、「選択する」のボタンが設けられており、このボタンを押すことにより、その際、選択対象画像表示領域１５５に表示されている画像が、次に表示されるＵＩ画面に表示され、続く質問や回答の対象となる。

図１５に例示した選択画面にて次のＵＩ画面に表示される画像を選択すると、図１６に例示する第１質問表示画面が表示される。第１質問表示画面について、図１６を用いて説明する。

図１６に例示するように、第１質問表示画面は、日付表示領域１５１と、主画像表示領域１５２と、質問表示領域１５３と、を備える。第１質問表示画面の質問表示領域１５３は、主画像表示領域１５２の下側に設けられており、例えば、質問と共に、回答として、感情を示す文字列や、感情を示すアイコンや文字列を含む画像が選択肢として表示される。端末装置３０は、質問表示領域１５３に表示されたいずれかの選択肢に対するタッチ操作やクリック操作等を受け付けることにより、感情の選択を受け付ける。感情の選択を受け付けた端末装置３０は、この感情を示す文字列やアイコン等の画像を送信する要求を情報処理装置１０へ与え、当該要求に応じて情報処理装置１０から送信される画像を受信して表示する。これらの第１質問やその回答、ＵＩ画面を構成する部品については第１の実施形態と同様であるため説明を省略する。

図１６に例示した第１質問表示画面にて第１質問について回答（感情を選択）すると、図１７又は図１８に例示する第２質問表示画面が表示される。第２質問表示画面について、図１７及び図１８を用いて説明する。

図１７及び図１８に例示するように、第２質問表示画面は、日付表示領域１５１と、主画像表示領域１５２と、質問表示領域１５３と、を備える。第２質問表示画面の質問表示領域１５３は、質問として、「ひなちゃんのこのときの気持ちはどれかな？」が表示されている。図１７に例示するＵＩ画面では、この質問と共に、回答として、「幸せ」、「楽しい」、「満足」、及び「嬉しい」等のポジティブな感情を示す文字列と画像とが選択肢として左右に表示されている。また、図１８に例示するＵＩ画面では、この質問と共に、回答として、「怒っている」、「怖い」、「悲しい」、及び「つらい」等のネガティブな感情を示す文字列と画像とが選択肢として左右に表示されている。この上述した質問は第２質問、又は第２の質問といい、上述した選択肢は第２の選択候補、又は第２選択候補という。第２の質問は、第１の質問に関する回答を詳細に問うものである。また、この第３の選択候補で選択し得る感情を「第２の感情」という。これらの第２質問やその回答、ＵＩ画面を構成する部品については第１の実施形態と同様であるため説明を省略する。

図１７又は図１８に例示した第２質問表示画面にて第２質問について回答（具体的な感情を選択）すると、図１９又は図２０に例示する第３質問表示画面が表示される。第３質問表示画面について、図１９及び図２０を用いて説明する。

図１９及び図２０に例示するように、第３質問表示画面は、日付表示領域１５１と、主画像表示領域１５２と、質問表示領域１５３と、を備える。第３質問表示画面の質問表示領域１５３は、質問として、「どのアクションをとりますか？」が表示されている。図１０に例示するＵＩ画面では、この質問と共に、回答として、「共感する」、「プロセスを褒める」、「理由を聞く」、及び「期待を実感させる」等のネガティブな場合に保護者の取り得るアクションを示す文字列が選択肢として左右に表示されている。この上述した質問は第３質問、又は第３の質問といい、上述した選択肢は第３の選択候補、又は第３選択候補という。また、この第３の選択候補で選択し得る感情を「第３の感情」という。この質問（第３質問）は、本システムから保護者への問いであり、第１回答及び第２回答を受信して得た子供の感情や画像に写った行動に対して、いかに振舞うかを問うものである。これらの第３質問やその回答、ＵＩ画面を構成する部品については第１の実施形態と同様であるため説明を省略する。

図１９又は図２０に例示した第３質問表示画面にて第３質問について回答（具体的な感情を選択）すると、図２１に例示する抽出画像表示画面が表示される。抽出画像表示画面について、図２１を用いて説明する。

図２１に例示するように、抽出画像表示画面は、日付表示領域１５１と、抽出画像表示領域１５６と、を備える。上述したように、予め本システムにより画像のスコアリングを行うことにより所定枚数の画像が抽出され、端末装置３０に送信されたが、これら抽出された画像（図２１の例では１５枚の画像）が、抽出画像表示画面の抽出画像表示領域１５６に表示される。また、この抽出画像表示領域１５の中から選択して親子の話題に取り上げたい画像がある場合などに、当該写真を選択することができてもよい。

実施の形態２に係る情報処理装置１０による画像記憶処理は、実施の形態１の画像記憶処理（図１２参照）と同様であるため、説明を省略する。

また、実施の形態２に係る情報処理装置１０による画像表示処理について図１３を用いて説明する。図１３は、実施の形態１の画像表示処理を示したものであるが、ステップＳ２０１のみ処理の内容が異なるためこれについて説明する。実施の形態２のステップＳ２０１では、画像識別部１３１が画像のスコアリングを行うことにより所定枚数の画像が抽出され、これら抽出された所定枚数の画像が端末装置３０に送信される。その際、抽出された所定枚数の画像の中から、本システムによりさらに抽出された所定枚数の画像のみが、選択対象画像表示領域１５５に表示される対象として送信される。これらの選択対象画像表示領域１５５に表示される対象である画像は、例えば、メタデータにある情報を付す等して判別可能な状態で端末装置３０に送信される。図１３に例示した他のステップについては第１の実施形態と同様であるため説明を省略する。

また、実施の形態２に係る端末装置３０による画像表示処理について図２２を用いて説明する。図２２は、に係る端末装置３０による画像表示処理を示したものであるが、ステップＳ３０２～Ｓ３０４は実施の形態１に係る端末装置３０による画像表示処理（図１４参照）と同様のため、説明を簡易化する。

図１５に例示した選択画面の選択対象画像表示領域１５５には、所定枚数の画像がユーザにより選択可能な態様で表示されている。ステップＳ３０１では、次のＵＩ画面で表示したい画像や、続く質問や回答の対象としたい（話題として取り上げた）画像を、例えばインジケーターを用いて切り替えて表示させ、「選択する」のボタンを押下すことで選択する。続くステップＳ３０２において、図１６に例示した第１質問表示画面が表示され、ユーザが第１質問に対して、「ポジティブ」又は「ネガティブの」感情を回答すれば、ステップＳ３０３に進む。ステップＳ３０３では、図１７又は図１８に例示した第２質問表示画面が表示され、ユーザが第２質問に対して、具体的な感情を回答すれば、ステップＳ３０４に進む。続くステップＳ３０４では、図１９又は図２０に例示した第３質問表示画面が表示され、ユーザが第３質問に対してアクションを回答すれば、ステップＳ３０５に進む。

ステップＳ３０５では、図２１に例示した抽出画像表示画面が表示される。予め本システムにより画像のスコアリングを行うことにより所定枚数の画像が抽出され、端末装置３０に送信されたが、これら抽出された画像（図２１の例では１５枚の画像）が、抽出画像表示画面の抽出画像表示領域１５６に表示される。また、この抽出画像表示領域１５の中から選択して親子の話題に取り上げたい画像がある場合などに、当該写真を選択することができてもよい。

＜その他＞
本実施形態において、１つのＵＩ画面上に、日付表示領域１５１、主画像表示領域１５２、質問表示領域１５３、及び副画像表示領域１５４を備えるものとしたが、これらはそれぞれ、異なるＵＩ画面上に備えられるものであってもよい。その場合、各領域を１つずつ備えたＵＩ画面を用意し、例えば、日付表示領域１５１を備えた１つのＵＩ画面を表示させた後に、主画像表示領域１５２を備えた１つのＵＩ画面を表示させ、その次に、質問表示領域１５３を備えた１つのＵＩ画面を表示させ、その次に、副画像表示領域１５４を備えた１つのＵＩ画面を表示させてもよい。また、これらの領域１５１～１５４のうち、複数の領域を組み合わせて１つのＵＩ画面を表示させてもよい。

また、本システムは保護者から第３回答、すなわち、具体的にとったアクションに関する情報を得るが、このアクションに関する情報と、例えば、その後の子供の笑顔が写っている写真の割合とを学習させ、その子供に適したアクションを示唆してもよい。また、例えば、本システムを利用する前後で子供に非認知能力を計測するためのテストを受講してもらい、そのテストのスコアと保護者がとったアクションとの関係を学習させ、その子供の非認知能力を高めるためのアクションを提示してもよい。

また、ＵＩ画面上に、本システム利用後の保護者の所感をテキストで入力可能な領域を設けてもよい。例えば、入力されたテキストの数が多く、子供の感情がポジティブである場合、親子の会話が盛り上がったものと判断してもよいし、入力されたテキストの数が少なく、子供の感情がネガティブである場合、親子の会話が盛り上がらず会話が進まなかったものと判断してもよい。そしてさらに上記のような学習を取り入れることにより、子供に適したアクションを提示してもよい。

また、主画像表示領域１５２や副画像表示領域１５４に表示させる画像をチューニングしてもよい。例えば、上記テストやテキスト入力により会話が進んだか否か、又は、非認知能力が向上したか否かがわかる場合、会話が進む画像をより表示させるように画像を抽出したり、非認知能力が向上するような画像を表示させるように画像を抽出してもよい。

撮影装置２０が撮影した画像に写された人物を識別する際に、例えば画像中における人物の顔の大きさ又は向き等によっては識別精度が低下する可能性がある。そこで、情報処理装置１０は、例えば、画像に写された人物を追跡する処理（トラッキング処理）を併用して、人物の識別を行ってもよい。

情報処理装置１０は、画像に人物の顔が大きく写されている場合又は画像に写されている人物の顔が正面（撮影装置２０）を向いている場合等のように識別精度が高いことが期待できる画像に基づく人物の識別結果を基準とし、この画像に続く一又は複数の画像に対してトラッキング処理を行う。トラッキング処理は、連続的に撮影された複数の画像において、対象物の移動を追跡する処理であり、例えばＢｏｏｓｔｉｎｇ、ＭＩＬ（Multiple Instance Learning）、ＴＬＤ（Tracking Learning and Detection）、ＭｅｄｉａｎＦｌｏｗ又はＫＣＦ（Kernelized Correlation Filters）等の手法が用いられ得る。情報処理装置１０は、トラッキング処理により同じ人物が写されていると判断できる複数の画像に対して、基準となる画像における人物の識別結果（例えば識別の確信度等）を後続の画像についての識別結果とし、後続の画像に識別結果の情報を付して記憶してもよい。

＜まとめ＞
以上の構成の本実施形態に係る情報処理システム１では、情報処理装置１０が条件に応じて抽出した一又は複数の画像を端末装置３０がＵＩ画面の副画像表示領域１５４に一覧表示し、一覧表示した一又は複数の画像から一の画像の選択を受け付け、選択された画像を主画像表示領域１５２に表示する。これにより、ユーザが定めた条件に適合する画像が複数存在する場合に、ユーザは複数の画像の中から所望の一の画像を容易に選択することができる。

また、本実施形態に係る情報処理システム１では、施設の利用者（子供）又はその関係者（保護者）が使用する端末装置３０は、この利用者に関する画像を表示する。これにより情報処理システム１は、端末装置３０の使用者に適切な画像表示を行うことが期待できる。

なお、本実施形態においては、撮影装置２０を設置する施設を保育園又は幼稚園等とし、撮影装置２０が施設を利用する子供の撮影を行う構成を示したが、施設は保育園又は幼稚園等に限らず、どのような施設であってもよい。施設は、屋内又は屋外のいずれのものであってもよい。また、施設には複数の撮影装置２０が設置されてよく、複数の撮影装置２０が情報処理装置１０へ撮影した画像を送信してよい。また、条件に応じた画像の抽出を情報処理装置１０が行うものとしたが、これに限るものではなく、端末装置３０が行ってもよい。

また、図示したＵＩ画面は一例であって、これに限るものではなく、各領域の配置及びデザイン等は適宜に変更され得る。また、本実施形態においては、ＵＩ画面の質問表示領域１５３にて表情の選択を受け付けたが、表情の選択に代えて、又は、表情の選択と共に、画像に写された人の行動を条件として選択可能としてもよい。

今回開示された実施形態は例示であり、制限的なものではない。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

また、本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

１ 情報処理システム
１０ 情報処理装置
１１ 通信部
１２ 記憶部
１３ 制御部
２０ 撮影装置
３０ 端末装置
３１ 通信部
３２ 記憶部
３３ 制御部
３４ 操作部
３５ 表示部
１０１ プロセッサ
１０２ メモリ
１０３ ストレージ
１０４ 通信Ｉ／Ｆ
１０５ 入出力Ｉ／Ｆ
１０６ ドライブ装置
１０７ 入力装置
１０８ 出力装置
１２０ 画像記憶部
１２１ ユーザＤＢ
１２２ サーバプログラム
１２３ 学習モデ
１２４ 質問情報記憶部
１２５ アクション情報記憶部
１３０ 画像受信部
１３１ 画像識別部
１３２ 画像選別部
１３３ 画像送信部
１３４ 質問送信部
１３５ 回答受信部
１３６ アクション送信部
１３７ 学習部
１５１ 日付表示領域
１５２ 主画像表示領域
１５３ 質問表示領域
１５４ 副画像表示領域
１５５ 選択対象画像表示領域
１５６ 抽出画像表示領域
３０１ プロセッサ
３０２ メモリ
３０３ ストレージ
３０４ 通信Ｉ／Ｆ
３０５ 入出力Ｉ／Ｆ
３０６ ドライブ装置
３０７ 入力装置
３０８ 出力装置
３０９ ディスクメディア
３４０ ユーザプログラム
３３０ 表示処理部
３３１ 条件取得部

Claims (11)

1. 情報処理装置が、
   子供が利用する施設に設置された撮影装置が撮影した画像から、前記施設で過ごす前記子供の様子を撮影した画像を抽出して表示し、
   前記画像についての第１の質問と、前記第１の質問の回答として第１の選択候補と、を表示し、
   前記子供に対して前記子供の保護者がとり得るアクションを表示する、
   情報処理方法。
2. 第１の感情に対応付けられた文字又は画像を前記第１の選択候補として複数表示し、
   前記第１の選択候補に基づいて前記第１の感情の選択を受け付ける、
   請求項１に記載の情報処理方法。
3. 前記第１の選択候補と共に、当該第１の選択候補が選択された場合に表示可能な画像の枚数を表示する、
   請求項２に記載の情報処理方法。
4. 前記画像についての第２の質問を表示し、
   第２の感情に対応付けられた文字又は画像を第２の選択候補として複数表示し、
   前記第２の選択候補に基づいて前記第２の感情の選択を受け付ける、
   請求項２に記載の情報処理方法。
5. 前記第２の感情は前記第１の感情を具体化したものであり、
   前記第２の選択候補は前記第１の選択候補を具体化したものである、
   請求項４に記載の情報処理方法。
6. 前記画像についての第３の質問を表示し、
   アクションに対応付けられた文字又は画像を第３の選択候補として複数表示し、
   前記第３の選択候補に基づいて前記アクションの選択を受け付ける、
   請求項１に記載の情報処理方法。
7. 前記第３の選択候補として前記保護者がとり得るアクションの選択候補を表示する、
   請求項６に記載の情報処理方法。
8. 前記抽出された画像を表示する第１の領域と、
   前記画像についての第１の質問、第２の質問、又は第３の質問と、前記第１の選択候補、前記第２の選択候補、又は前記第３の選択候補と、を表示して前記子供に関する感情の選択を受け付ける第２の領域と、
   前記第１の領域にて抽出された画像と共に抽出された一又は複数の画像を一覧表示して一の画像の選択を受け付ける第３の領域と、
   を含む画面を表示部に表示する、
   請求項４から請求項７までのいずれか１つに記載の情報処理方法。
9. 前記施設を利用する子供又は当該子供の保護者が使用する情報処理装置は、当該子供に係る画像を表示し、
   第１の質問、及び第２の質問は前記子供の感情を選択するものであり、
   第３の質問は前記子供に対して前記子供の保護者がとり得るアクションを選択するものである、
   請求項１から請求項７までのいずれか１つに記載の情報処理方法。
10. コンピュータに、
    子供が利用する施設に設置された撮影装置が撮影した画像から、前記施設で過ごす前記子供の様子を撮影した画像を抽出して表示する処理と、
    前記画像についての第１の質問と、前記第１の質問の回答として第１の選択候補と、を表示する処理と、
    前記子供に対して前記子供の保護者がとり得るアクションを表示する処理と、
    をコンピュータに実行させるためのプログラム。
11. 施設に設置された撮影装置が撮影した画像を取得する画像受信部と、
    前記画像受信部が取得した画像に写された子供を識別する識別部と、
    前記子供が利用する施設に設置された撮影装置が撮影した画像から、前記施設で過ごす前記子供の様子を撮影した画像を抽出して端末装置へ送信し、前記画像についての第１の質問と、前記第１の質問の回答として第１の選択候補と、を前記端末装置へ送信する通信部と、
    を備える、情報処理装置。
    
    

Images