JP6614457B2 - 情報処理装置、情報処理方法、プログラム、および情報処理システム - Google Patents

情報処理装置、情報処理方法、プログラム、および情報処理システム Download PDF

Info

Publication number
JP6614457B2
JP6614457B2 JP2016564774A JP2016564774A JP6614457B2 JP 6614457 B2 JP6614457 B2 JP 6614457B2 JP 2016564774 A JP2016564774 A JP 2016564774A JP 2016564774 A JP2016564774 A JP 2016564774A JP 6614457 B2 JP6614457 B2 JP 6614457B2
Authority
JP
Japan
Prior art keywords
message
unit
transmission
content
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2016564774A
Other languages
English (en)
Other versions
JPWO2016098589A1 (ja
Inventor
理央 山崎
直樹 永野
大二 伊藤
真里 斎藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2016098589A1 publication Critical patent/JPWO2016098589A1/ja
Application granted granted Critical
Publication of JP6614457B2 publication Critical patent/JP6614457B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/52—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail for supporting social networking services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/02—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail using automatic reactions or user delegation, e.g. automatic replies or chatbot-generated messages
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/107—Computer-aided management of electronic mailing [e-mailing]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/07—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
    • H04L51/08—Annexed information, e.g. attachments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/07—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
    • H04L51/10—Multimedia information

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Library & Information Science (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Databases & Information Systems (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Operations Research (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Information Transfer Between Computers (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)
  • Telephonic Communication Services (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Multimedia (AREA)

Description

本開示は、情報処理装置、情報処理方法、プログラム、および情報処理システムに関し、特に、コミュニケーションの継続を積極的に支援することができるようにした情報処理装置、情報処理方法、プログラム、および情報処理システムに関する。
近年、社会の高齢化に伴い、一人で暮らす高齢者が増えている。このような人たちの社会的孤立を避けるため、高齢者と家族とのコミュニケーションを行うための装置やサービスなどが多く提供されている。
しかしながら、高齢者にとっては機器の使い方が難しく、メッセージを簡単に送信することができないことがあった。また、そのコミュニケーション相手である家族にとっては、なかなか自分からコミュニケーションのための時間を取ることできず、メッセージを送信する機会を逸することがあった。そのため、結局、双方からコミュニケーションを継続することが困難な状態が発生していた。
これに対して、例えば、高齢者側がメッセージを簡単に発信することができるようにすることを目的とした多くの技術が開発されている。
例えば、特許文献１には、話し声を入力すれば相手にメールで音声データが届く発明が開示されている。また、特許文献２には、普段生活しているだけで生活情報が蓄積され、家族がいつでもその情報にアクセス可能となる発明が開示されている。また、特許文献３には、オペレータが利用者の代わりに遠隔から機器操作を行い、指定先への近況報告をサポートする発明が開示されている。また、特許文献４には、受け取ったメッセージの送信者や内容に応じて自動で返信メッセージを作成して返信することで、メッセージの送信者のモチベーションを継続させる発明が開示されている。
特開２００４−３４３５５６号公報 特開２０１０−１８７２８４号公報 特開２００２−８３０６１号公報 特開２０１１−１６５０４６号公報
しかしながら、上述したような特許文献１乃至４に開示されている発明は、送信者および受信者のどちらか一方の手間や操作の複雑性などを解消するものであった。そのため、高齢者と家族側との双方にとって、コミュニケーションのために時間や手間などを要することになっており、結局、コミュニケーションが継続しなくなることが想定される。
本開示は、このような状況に鑑みてなされたものであり、コミュニケーションの継続を積極的に支援することができるようにするものである。
本開示の一側面の情報処理装置は、ネットワークを介したコミュニケーションに使用される画像が選定され、その選定された前記画像の内容の種別に応じて文言のメッセージ内容が分類された複数のカテゴリのうちの、前記画像を分類し得る対応関係である前記カテゴリが特定され、その特定された前記カテゴリに分類されている複数の前記メッセージ内容の中から、送信の候補とする所定数の前記メッセージ内容を取得する取得部と、前記取得部により取得された所定数の前記メッセージ内容から、コミュニケーションする相手のユーザへ送信の対象とする前記メッセージ内容を選択させるための選択肢を作成して、所定のタイミングで提示する選択肢作成部とを備える。
本開示の一側面の情報処理方法またはプログラムは、ネットワークを介したコミュニケーションに使用される画像が選定され、その選定された前記画像の内容の種別に応じて文言のメッセージ内容が分類された複数のカテゴリのうちの、前記画像を分類し得る対応関係である前記カテゴリが特定され、その特定された前記カテゴリに分類されている複数の前記メッセージ内容の中から、送信の候補とする所定数の前記メッセージ内容を取得し、取得された所定数の前記メッセージ内容から、コミュニケーションする相手のユーザへ送信の対象とする前記メッセージ内容を選択させるための選択肢を作成して、所定のタイミングで提示する
ステップを含む。
本開示の一側面の情報処理システムは、送信の候補とする所定数の前記画像を選定する選定部と、その選定された前記画像の内容の種別に応じて文言のメッセージ内容が分類された複数のカテゴリのうちの、前記画像を分類し得る対応関係である前記カテゴリが特定され、その特定された前記カテゴリに分類されている複数の前記メッセージ内容の中から、送信の候補とする所定数の前記メッセージ内容を取得する送信内容取得部と、所定数の前記画像と、それらの画像に対応する前記取得部により取得された所定数の前記メッセージ内容とをそれぞれ組み合わせたメッセージから、コミュニケーションする相手のユーザへ送信の対象とする前記メッセージを選択させるための前記選択肢を作成して、所定のタイミングで提示する選択肢作成部と、前記選択肢のうちの、送信の対象として選択された前記メッセージを送信する送信部とを備える送信側の情報処理装置、および、前記画像が添付されたメッセージを受信する受信部と、前記受信部が受信した前記メッセージに添付されている前記画像に対応する前記カテゴリから、前記メッセージに対して返信するための所定数の前記メッセージ内容を取得する返信内容取得部とを備える受信側の情報処理装置を含んで構成される。
本開示の一側面においては、ネットワークを介したコミュニケーションに使用される画像が選定され、その選定された前記画像の内容の種別に応じて文言のメッセージ内容が分類された複数のカテゴリのうちの、前記画像を分類し得る対応関係である前記カテゴリが特定され、その特定された前記カテゴリに分類されている複数の前記メッセージ内容の中から、送信の候補とする所定数の前記メッセージ内容が取得され、取得された所定数の前記メッセージ内容から、コミュニケーションする相手のユーザへ送信の対象とする前記メッセージ内容を選択させるための選択肢が作成されて、所定のタイミングで提示される。
本開示の一側面によれば、コミュニケーションの継続を積極的に支援することができる。
本技術を適用したコミュニケーション支援システムの一実施の形態の構成例を示すブロック図である。 送信側情報処理装置の構成例を示すブロック図である。 送信促進通知画面の表示例を示す図である。 送信内容選択画面の表示例を示す図である。 受信側情報処理装置の構成例を示すブロック図である。 受信通知画面の表示例を示す図である。 返信内容選択画面の表示例を示す図である。 サーバの構成例を示すブロック図である。 メッセージ送信処理を説明するフローチャートである。 写真付きメッセージ選択肢を作成する処理を説明するフローチャートである。 メッセージ応答処理を説明するフローチャートである。 送信促進通知処理を説明するフローチャートである。 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
以下、本技術を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
図１は、本技術を適用したコミュニケーション支援システムの一実施の形態の構成例を示すブロック図である。
図１に示すように、コミュニケーション支援システム１１は、インターネットなどのネットワーク１２を介して、送信側情報処理装置１３、受信側情報処理装置１４、およびサーバ１５が接続されて構成される。
送信側情報処理装置１３は、図２乃至図４を参照して後述するように、所定のタイミングでメッセージの送信を送信者に促し、送信者による操作に従って、ネットワーク１２を介して受信側情報処理装置１４にメッセージを送信する。例えば、送信側情報処理装置１３としては、高齢者とコミュニケーションをとる家族が有する汎用性の高いスマートフォン端末により構成することが好ましい。
受信側情報処理装置１４は、図５乃至図７を参照して後述するように、送信側情報処理装置１３から送信されてくるメッセージを受信したタイミングで、そのメッセージを受信者に提示して、受信者に対して返信メッセージを選択させて送信させる。例えば、受信側情報処理装置１４としては、高齢者にとって利用しやすい大画面のタッチパネルを搭載したタブレット端末により構成することが好ましい。
サーバ１５は、図８を参照して後述するように、蓄積したユーザ情報に基づいてユーザの嗜好を分析し、その分析結果に基づいたタイミングで、送信側情報処理装置１３に対してメッセージの送信を促進する送信促進通知を送信する。
このように構成されるコミュニケーション支援システム１１は、送信側情報処理装置１３側の送信者（家族）に対して適切なタイミングでメッセージの送信を促すとともに、受信側情報処理装置１４側の受信者（高齢者）にとって簡易的な方法で返信メッセージを送ることができるようにする。これにより、コミュニケーション支援システム１１は、コミュニケーションの継続を積極的に支援することができる。
次に、図２は、図１の送信側情報処理装置１３の構成例を示すブロック図である。
図２に示すように、送信側情報処理装置１３は、記憶部２１、送信機会判定部２２、ユーザ通知部２３、写真選定部２４、文言取得部２５、送信内容選択肢作成部２６、表示部２７、操作部２８、およびデータ通信部２９を備えて構成される。
記憶部２１は、例えば、ハードディスクドライブや半導体メモリなどを有して構成され、送信側情報処理装置１３が情報処理を行うのに必要な各種のデータを記憶し、それらのデータの管理を行う。例えば、記憶部２１は、送信側情報処理装置１３が有する図示しないカメラにより撮影された写真（画像）や、送信側情報処理装置１３から送信したメッセージの履歴、送信側情報処理装置１３から送信されるメッセージに用いられる定型的な文言が登録されたテンプレートなどを記憶する。また、このテンプレートは、例えば、写真の内容に従った複数のカテゴリに分類されており、それぞれ写真の内容に関連する文言が登録されている。
送信機会判定部２２は、例えば、記憶部２１にアクセスして、記憶部２１に記憶されている写真の枚数を示す写真枚数の情報を取得し、その写真枚数に基づいて、メッセージを送信する通知を行うタイミングであるか否かの判定を行う。例えば、送信機会判定部２２は、メッセージの前回の送信時から写真枚数が増加した増加枚数が、所定枚数以上となったときに、メッセージを送信する通知を行うタイミングであると判定する。
そして、このように判定した場合、送信機会判定部２２は、メッセージ送信のユーザ通知を行うようにユーザ通知部２３に対する指示を行う。なお、増加枚数が所定枚数未満であるとき、送信機会判定部２２は、メッセージを送信する通知を行うタイミングでないと判定し、この場合、メッセージ送信のユーザ通知は行われない。また、送信機会判定部２２が、メッセージを送信する通知を行うタイミングの判定を行う基準となる所定枚数は、例えば、後述する図８のサーバ１５が有するユーザ情報管理部８１により管理されるユーザ情報を分析することで、最適な枚数に決定される。
ユーザ通知部２３は、メッセージ送信のユーザ通知を行うように送信機会判定部２２から指示があると、メッセージの送信を促す送信促進通知画面を表示部２７に表示する。例えば、図３に示すように、送信促進通知画面３１には、コミュニケーション支援システムのキャラクタの吹き出しに「楽しそうな写真がたまってきたよ！送る？」という文言とともに、「送る」と表示されたボタン３２および「送らない」と表示されたボタン３３が表示される。ボタン３２は、メッセージを送信するときに送信者により操作され、ボタン３３は、メッセージを送信しないときに送信者により操作される。また、ユーザ通知部２３は、後述するように、サーバ１５が送信する送信促進通知を受け取ったときにも、同様の送信促進通知画面を表示部２７に表示する。
写真選定部２４は、送信者がメッセージに写真を添付することを選択した場合に、記憶部２１に記憶されている写真の中から、送信者に適した所定枚数の写真を送信の候補として選定し、送信内容選択肢作成部２６に供給する。さらに、写真選定部２４は、選定した写真に対する画像認識を行って、何が写っているか写真の内容を認識した認識結果を文言取得部２５に通知する。また、写真選定部２４は、例えば、画像認識により内容を認識することができた画像を優先的に選択してもよい。
文言取得部２５は、送信者がメッセージを送信することを選択した場合に、記憶部２１に記憶されているテンプレートの中から、特定の文言を選択して送信内容選択肢作成部２６に供給する。例えば、文言取得部２５は、メッセージに写真を添付する場合には、写真選定部２４から通知される写真の内容の認識結果に基づいて、それらの写真の内容に関連する文言を取得する。このとき、上述したように、テンプレートは、写真の内容に従った複数のカテゴリに分類されて文言が登録されており、文言取得部２５は、認識した写真の内容に対応するカテゴリから、送信の候補とする文言を取得する。また、文言取得部２５は、写真選定部２４が写真の内容を認識することができなかった場合には、写真の内容に依存しない文言を取得する。または、文言取得部２５は、メッセージに写真を添付しない場合には、季節に応じたあいさつやネットワーク１２を介して取得できる話題のワードなどからランダムに構成される文言を取得する。
送信内容選択肢作成部２６は、写真選定部２４から供給される所定枚数の写真に、文言取得部２５から供給される文言を組み合わせて、送信者に送信内容を選択させる送信内容選択肢を作成する。そして、送信内容選択肢作成部２６は、所定数の送信内容選択肢の中から、送信するものを送信者に選択させるための送信内容選択画面を表示部２７に表示する。
例えば、図４には、メッセージに写真を添付した送信内容を選択させる送信内容選択画面４１の一例が示されている。図４の送信内容選択画面４１には、４つの送信内容選択肢が表示されており、１番目の送信内容選択肢は、家族の旅先での写真と、その写真の内容に関連する文言「楽しかったよ！」とが組み合わされている。また、２番目の送信内容選択肢は、ペットの写真と、その写真の内容に関連する文言「かわいいでしょ」とが組み合わされており、３番目の送信内容選択肢は、風景の写真と、その写真の内容に関連する文言「きれいだった！」とが組み合わされている。また、４番目の送信内容選択肢は、ケーキの写真と、その写真の内容に関連する文言「おいしかったよ」とが組み合わされている。
なお、送信内容選択画面４１に表示される送信内容選択肢は４つ以外でもよく、送信内容選択肢作成部２６は、送信者が選択しやすい数の送信内容選択肢、例えば、２つから６つ程度の送信内容選択肢を作成して表示させることができる。
表示部２７は、例えば、液晶ディスプレイや有機ＥＬ（Electro Luminescence）ディスプレイなどにより構成され、図３の送信促進通知画面３１や図４の送信内容選択画面４１などを表示する。
操作部２８は、タッチパネルやボタン、マイクなどにより構成されており、送信者の操作に従った操作入力を受け付け、その操作入力に基づいた判断を行う。例えば、送信者が、図３の送信促進通知画面３１に表示されるボタン３２に対する操作（例えば、タッチ）を行うと、操作部２８は、送信者が、メッセージを送信する操作入力を行ったと判断する。また、例えば、送信者が、図４の送信内容選択画面４１に表示されるいずれかの送信内容選択肢を指定する（例えば、送信内容選択肢の番号を読み上げる）と、操作部２８は、その指定された送信内容を送信対象として判断する。
データ通信部２９は、図１のネットワーク１２を介して、受信側情報処理装置１４およびサーバ１５との通信を行い、例えば、送信者が送信内容選択画面４１の中から送信対象として指定した送信内容のメッセージを送信する。また、データ通信部２９は、後述するように、サーバ１５から送信されてくる送信促進通知を受信して、ユーザ通知部２３に供給する。
このように送信側情報処理装置１３は構成されており、より簡易な操作でメッセージを送信することができ、受信者とのコミュニケーションを適切に促すことができる。
なお、送信側情報処理装置１３では、送信機会判定部２２は、上述したような写真の枚数の他、例えば、送信者の属性に基づいた特定の日時（誕生日や記念日、行事が行われる日時など）に従って、メッセージを送信するタイミングであると判定してもよい。
また、送信側情報処理装置１３では、写真選定部２４は、例えば、多くの人物が写っている写真や、受信者の好み（嗜好性）に合う写真、関連する文言を選択し易い（例えば、料理やペット、風景などの）写真、家族として事前に登録された優先度の高い人物が写っている写真、子供が写っている写真などを、優先的に選定することができる。また、写真選定部２４は、メッセージの送信履歴に基づいて写真の選定を行ってもよい。このように、写真の内容などに基づいて、送信者に適した写真を選択することで、より良好なコミュニケーションを継続することができる。
次に、図５は、図１の受信側情報処理装置１４の構成例を示すブロック図である。
図５に示すように、受信側情報処理装置１４は、記憶部５１、文言取得部５２、返信内容選択肢作成部５３、ユーザ通知部５４、表示部５５、操作部５６、およびデータ通信部５７を備えて構成される。
記憶部５１は、例えば、ハードディスクドライブや半導体メモリなどを有して構成され、受信側情報処理装置１４が情報処理を行うのに必要な各種のデータを記憶し、それらのデータの管理を行う。例えば、記憶部５１は、受信側情報処理装置１４から送信される返信メッセージに用いられる定型的な返答文言が登録されたテンプレートを記憶する。また、このテンプレートは、例えば、写真の内容に従った複数のカテゴリに分類されており、それぞれ写真の内容に関連する返答文言が登録されている。
ユーザ通知部５４は、送信側情報処理装置１３から送信されたメッセージをデータ通信部５７が受信したタイミングで、メッセージの受信を受信者に通知する受信通知画面を表示部５５に表示する。例えば、図６に示すように、受信通知画面６１には、コミュニケーション支援システムのキャラクタの吹き出しに「写真付きのメッセージが届いたよ」という文言とともに、「見る」と表示されたボタン６２および「後で」と表示されたボタン６３が表示される。ボタン６２は、メッセージをすぐに見るときに受信者により操作され、ボタン６３は、メッセージを後で見るときに受信者により操作される。
文言取得部５２は、データ通信部５７を介して送信側情報処理装置１３から送信されたメッセージを取得する。そして、文言取得部５２は、受信者がメッセージを見る際に、受信者から返信する返信メッセージとして用いられる所定数の返答文言を、記憶部５１に記憶されているテンプレートの中から選択して返信内容選択肢作成部５３に供給する。
例えば、文言取得部５２は、受信したメッセージに写真が添付されている場合には、その写真に対する画像認識を行って、認識された写真の内容に関連する返答文言を選択する。このとき、上述したように、テンプレートは、写真の内容に従った複数のカテゴリに分類されて文言が登録されており、文言取得部５２は、認識した写真の内容に対応するカテゴリから、返信の候補とする返答文言を取得する。また、文言取得部５２は、写真の内容を認識することができなかった場合には、写真の内容に依存しない文言を取得する。または、文言取得部５２は、受信したメッセージに写真が添付されていない場合には、一般的な返答文言をテンプレートからランダムに選択する。
返信内容選択肢作成部５３は、文言取得部５２から供給される返答文言からなる返信内容選択肢を作成し、所定数の返信内容選択肢の中から、返信するものを受信者に選択させるための返信内容選択画面を表示部５５に表示する。
例えば、図７には、受信したメッセージを表示するとともに、返信内容を選択させる返信内容選択画面７１の一例が示されている。図７の返信内容選択画面７１では、家族の旅先での写真と、その写真の内容に関連する文言「楽しかったよ！」とが組み合わされたメッセージ７２が表示されるとともに、返信内容表示領域７３に４つの返信内容選択肢が表示されている。返信内容表示領域７３には、メッセージ７２の写真の内容に関連して、１番目の返信内容選択肢として「みんな元気そうね！」が表示され、２番目の返信内容選択肢として「すてきな写真ね！」が表示され、３番目の返信内容選択肢として「楽しそうなところね！」が表示され、４番目の返信内容選択肢として「自然がたくさんね！」が表示されている。
表示部５５は、例えば、液晶ディスプレイや有機ＥＬディスプレイなどにより構成され、図６の受信通知画面６１や図７の送信内容選択画面４１などを表示する。
操作部５６は、タッチパネルやボタン、マイクなどにより構成されており、送信者の操作に従った操作入力に基づいた判断を行う。例えば、受信者が、図６の受信通知画面６１に表示されるボタン６２に対する操作（例えば、タッチ）を行うと、操作部５６は、受信者が、メッセージをすぐに見る操作入力を行ったと判断する。また、例えば、送信者が、図７の返信内容選択画面７１に表示されるいずれかの返信内容選択肢を指定する（例えば、返信内容選択肢の番号を読み上げる）と、操作部５６は、その指定された返信内容を返信対象として判断する。
データ通信部５７は、図１のネットワーク１２を介して、送信側情報処理装置１３およびサーバ１５との通信を行い、例えば、受信側情報処理装置１４から送信されてくるメッセージを受信して、文言取得部５２およびユーザ通知部５４に供給する。また、データ通信部５７は、受信者が返信内容選択画面７１の中から返信対象として指定した返信内容の返信メッセージを送信する。
なお、データ通信部５７から送信された返信メッセージは、図２の送信側情報処理装置１３のデータ通信部２９が受信してユーザ通知部２３に供給し、ユーザ通知部２３は、その返信メッセージの閲覧を促す通知を行う。そして、送信側情報処理装置１３では、返信メッセージを見た送信者に対して、返信内容に応じた適切なメッセージの送信を促す送信内容選択肢が表示部２７に表示され、コミュニケーションの継続が促進される。
このように受信側情報処理装置１４は構成されており、より簡易な操作で受信者に対して返信メッセージを送信させることができ、送信者とのコミュニケーションを適切に促すことができる。
なお、文言取得部５２が取得する返答文言は、上述したような写真の内容の他、例えば、受信者の属性（年齢や性格、趣味、嗜好性などのプロファイル）、過去に取得した返答文言の履歴、返信メッセージを送信した時期（日時や季節、行事が行われる日など）に基づいて取得してもよい。例えば、こどもの日に返信メッセージを送信する場合には、子供の写真を催促するような文言を選択することで、より活発なコミュニケーションを促すことができる。
また、受信側情報処理装置１４は、例えば、図示しないセンサによって、写真を見たときの受信者の表情や、うなずき（ジェスチャ）、視線などを検知することができ、それらの検知結果に基づいて、文言取得部５２が返答文言を取得することができる。例えば、それらの検出結果から、受信者の写真への興味度（嗜好性）を測定し、興味度の度合いによって返答文言を変更することで、より受信者の気持ちに合致したコミュニケーションを行うことができる。または、受信側情報処理装置１４は、表示部５５に写真の一覧を表示して、受信者の視線を検知することで、受信者の興味のある写真に対する返信メッセージを選択するようにしてもよい。
次に、図８は、図１のサーバ１５の構成例を示すブロック図である。
図８に示すように、サーバ１５は、ユーザ情報管理部８１、自動判定部８２、操作部８３、およびデータ通信部８４を備えて構成される。
ユーザ情報管理部８１は、自動判定部８２が送信促進通知を送信側情報処理装置１３に送信するタイミングであるか否かを判定する際に参照されるユーザ情報を管理する。例えば、ユーザ情報管理部８１が管理するユーザ情報のフォーマットにおいて、送信側情報処理装置１３のユーザを識別する送信ユーザＩＤ（Identification）や、そのユーザＩＤで識別されるユーザとコミュニケーションする相手となる受信側情報処理装置１４のユーザを識別する受信ユーザＩＤ、ユーザ間で送受信されたメッセージの内容を蓄積した内容データ、それらのメッセージの時系列を蓄積した時系列データなどが管理される。
また、内容データとしては、送受信されたメッセージを識別するメッセージＩＤや、メッセージを送信した送信者を識別する送信者ＩＤ、メッセージで送信された送信内容（写真や文言など）、メッセージを受信した受信者を識別する受信者ＩＤ、メッセージに対する返信メッセージの内容（返答文言）などが管理される。また、時系列データとしては、送受信されたメッセージを識別するメッセージＩＤや、メッセージを送信する通知を行うタイミングであると判定したトリガ（送信機会判定部２２または自動判定部８２）、送信促進通知が行われた時刻、メッセージが送信された送信時刻、受信したメッセージが表示された受信時刻、返信メッセージが送信された返信時刻などが管理される。
自動判定部８２は、ユーザ情報管理部８１において管理されているユーザ情報を分析し、メッセージを送信する通知を行う最適なタイミングを求めて、自動的に、通知を行うか否かの判定を行う。そして、自動判定部８２は、メッセージを送信する通知を行う最適なタイミングであると判定した場合、データ通信部８４を介して、送信側情報処理装置１３に対して送信促進通知を送信する。例えば、自動判定部８２は、受信者のユーザ情報に基づいて、受信者の空き時間を狙って通知を行ったり、メッセージが表示され易いタイミングに合わせて通知を行ったりしてもよい。
また、自動判定部８２は、ユーザのメッセージ内容に対する嗜好性を分析し、その嗜好性を分析した内容を、データ通信部８４を介して送信側情報処理装置１３に定期的に送信することができる。これにより、送信側情報処理装置１３においてメッセージを作成する精度を向上させること、即ち、ユーザの嗜好に合致したメッセージを作成することができる。また、ユーザ情報管理部８１は、この分析結果に基づいて、図２の送信機会判定部２２がメッセージを送信する通知を行うタイミングの判定を行う際に参照となる情報（例えば、上述した増加枚数）を決定し、データ通信部８４を介して送信側情報処理装置１３に送信することができる。
操作部８３は、例えば、キーボードやマウスなどにより構成され、コミュニケーション支援システム１１を運用するシステム運用者によって操作される。例えば、システム運用者によってメッセージを送信する通知を行う操作が行われると、操作部８３は、データ通信部８４を介して、送信側情報処理装置１３に対して送信促進通知を送信する。このように、コミュニケーション支援システム１１では、送信機会判定部２２または自動判定部８２による自動的な判断に基づいてメッセージの送信が促進される他、システム運用者の判断に基づいてメッセージの送信を促進することができる。
データ通信部８４は、図１のネットワーク１２を介して、送信側情報処理装置１３および受信側情報処理装置１４との通信を行い、送信側情報処理装置１３に送信促進通知を送信する。また、データ通信部８４は、送信側情報処理装置１３および受信側情報処理装置１４の間で送受信されるメッセージを取得して、ユーザ情報管理部８１に供給する。
このようにサーバ１５は構成されており、送信側情報処理装置１３に送信促進通知を送信することで、送信者に対して適切にメッセージの送信を促すことができ、送信者と受信者とのコミュニケーションの継続を積極的に支援することができる。
なお、例えば、ユーザ情報管理部８１において管理されるユーザ情報として、送信した写真に対する受信者の反応に関する情報（写真に対する興味度）を用いてもよい。例えば、受信側情報処理装置１４が備える図示しないセンサによって、上述したような検知結果を得ることができる場合、その検知結果をサーバ１５に送信して、ユーザ情報管理部８１が、写真に対する興味度として取得することができる。このようなユーザ情報を利用し、その後のコミュニケーション（例えば、選択する写真の内容や、取得する文言など）に反映することで、受信者の興味を引くコミュニケーションを行うことができる。
次に、図９は、送信側情報処理装置１３におけるメッセージ送信処理を説明するフローチャートである。
例えば、送信側情報処理装置１３では定期的にメッセージ送信処理を行うように設定されており処理が開始されると、ステップＳ１１において、送信機会判定部２２は、記憶部２１に記憶されている写真の枚数を示す写真枚数の情報を取得する。
ステップＳ１２において、送信機会判定部２２は、ステップＳ１１で取得した写真枚数の情報に従って、前回の送信時から写真枚数が増加した増加枚数が、所定枚数以上であるか否かを判定する。
ステップＳ１２において、送信機会判定部２２が、増加枚数が所定枚数以上であると判定した場合、処理はステップＳ１３に進み、送信機会判定部２２は、ユーザ通知部２３に対して、メッセージ送信のユーザ通知を行うように指示を行う。これに応じ、ユーザ通知部２３は、上述の図３に示したような送信促進通知画面３１を表示部２７に表示して、ユーザ通知を行う。
ステップＳ１４において、操作部２８は、ユーザ操作に基づいてメッセージを送信するか否か判定する。例えば、操作部２８は、送信促進通知画面３１の「送る」と表示されたボタン３２に対する操作が行われた場合には、メッセージを送信すると判定する。一方、操作部２８は、送信促進通知画面３１の「送らない」と表示されたボタン３３に対する操作が行われた場合には、メッセージを送信しないと判定して処理は終了される。
ステップＳ１４において、メッセージを送信すると判定された場合、処理はステップＳ１５に進み、操作部２８は、ユーザ操作に基づいて写真を添付するか否かを判定する。例えば、表示部２７に、「写真をつけますか？」という質問とともに、「はい」および「いいえ」と表示されたボタンを表示し、操作部２８は、それらのボタンに対する操作に基づいて判定を行う。
ステップＳ１４において、操作部２８が、写真を添付すると判定した場合、処理はステップＳ１６に進み、送信内容選択肢作成部２６は、写真付きメッセージ選択肢を作成する。なお、ステップＳ１６の処理については、図１０を参照して後述する。
一方、ステップＳ１４において、操作部２８が、写真を添付しないと判定した場合、処理はステップＳ１７に進み、送信内容選択肢作成部２６は、文言取得部２５により選択された文言のみのメッセージ選択肢を作成する。
ステップＳ１６またはＳ１７の処理後、処理はステップＳ１８に進み、送信内容選択肢作成部２６は、ステップＳ１６またはＳ１７で作成したメッセージ選択肢を、上述の図４に示したような送信内容選択画面４１により表示部２７に表示する。そして、操作部２８は、送信者による選択を受け付ける。
ステップＳ１９において、操作部２８は、ステップＳ１８において送信者により選択された送信内容選択肢を送信対象として、データ通信部２９を介してメッセージを送信させ、処理は終了される。
一方、ステップＳ１２において、送信機会判定部２２が、増加枚数が所定枚数以上でない（所定枚数未満である）と判定した場合、処理はステップＳ２０に進み、データ通信部２９は、サーバ１５から送信される送信促進通知を受信したか否かを判定する。データ通信部２９が、送信促進通知を受信したと判定した場合、処理はステップＳ１３に進み、以下、上述したのと同様の処理が行われる。一方、ステップＳ２０において、データ通信部２９が、送信促進通知を受信していないと判定した場合、処理は終了される。
次に、図１０は、図９のステップＳ１６において写真付きメッセージ選択肢を作成する処理を説明するフローチャートである。
ステップＳ３１において、写真選定部２４は、記憶部２１にアクセスして、まだ受信者に送信したことのない未送信の写真をランダムに１枚選択し、その写真に対する画像処理を行って、何が写っているか写真の内容の認識を行う。
ステップＳ３２において、写真選定部２４は、ステップＳ３１の処理で選択した写真の内容を認識することができたか否かを判定する。
ステップＳ３２において、写真選定部２４が、写真の内容を認識することができたと判定した場合、処理はステップＳ３３に進み、文言取得部２５は、その写真の内容に関連する文言を、記憶部２１に記憶されているテンプレートの中からランダムに選択する。例えば、子供が写っている写真であれば、「大きくなったでしょ」や「いつも元気です」などの文言が選択される。
一方、ステップＳ３２において、写真選定部２４が、写真の内容を認識することができなかったと判定した場合、処理はステップＳ３４に進み、文言取得部２５は、写真の内容に依存しない文言を、記憶部２１に記憶されているテンプレートの中からランダムに選択する。例えば、この場合、「こんな写真を撮りました」や「いい写真だよね」などの文言が選択される。
ステップＳ３３またはＳ３４の処理後、処理はステップＳ３５に進み、送信内容選択肢作成部２６は、ステップＳ３１で選択された写真と、ステップＳ３３またはＳ３４で取得された文言とを対応付けて送信内容選択肢を作成し、処理は終了される。
なお、この処理は、送信内容選択画面４１に表示される送信内容選択肢の数に従って繰り返され、その数の送信内容選択肢を作成して処理が終了されると、処理は図９のステップＳ１８に進む。
次に、図１１は、受信側情報処理装置１４におけるメッセージ応答処理を説明するフローチャートである。
例えば、送信側情報処理装置１３からのメッセージの送信があると処理が開始され、ステップＳ５１において、データ通信部５７は、そのメッセージを受信する。そして、データ通信部５７は、ユーザ通知部５４に対してメッセージの受信を通知するとともに、文言取得部５２にメッセージを供給する。
ステップＳ５２において、文言取得部５２は、ステップＳ５１で取得したメッセージに写真の添付があるか否かを判定する。
ステップＳ５２において、文言取得部５２が、写真の添付があると判定した場合、処理はステップＳ５３に進み、文言取得部５２は、メッセージに添付されている写真に対する画像認識を行い、何が写っているのか写真の内容を認識する。
ステップＳ５４において、文言取得部５２は、ステップＳ５３の画像認識の結果に基づいて、写真の内容を認識することができたか否かを判定する。なお、例えば、何が写っているのかを示す情報が写真に添付されている場合、文言取得部５２は、その情報に基づいて写真の内容を認識してもよい。
ステップＳ５４において、文言取得部５２が、写真の内容を認識することができたと判定した場合、処理はステップＳ５５に進む。ステップＳ５５において、文言取得部５２は、写真の内容の認識結果に基づいて、記憶部５１に記憶されているテンプレートの中から、写真の内容に関連する返答文言をランダムに取得する。例えば、料理の写真であるという認識結果であれば、文言取得部５２は、「おいしそう」や「私も食べたいなぁ」などの返答文言を取得する。
一方、ステップＳ５４において、文言取得部５２が、写真の内容を認識することができなかったと判定した場合、処理はステップＳ５６に進む。ステップＳ５６において、文言取得部５２は、記憶部５１に記憶されているテンプレートの中から、写真の内容に依存しない返答文言をランダムに取得する。例えば、文言取得部５２は、「こういう写真、もっと見たいな」や「おもしろいね」などの返答文言を取得する。
また、ステップＳ５２において、文言取得部５２が、写真の添付がないと判定した場合、処理はステップＳ５７に進み、文言取得部５２は、記憶部５１に記憶されているテンプレートの中から、一般的な返答文言をランダムに取得する。例えば、文言取得部５２は、「たまには遊びに来てね」や「毎日楽しそうだね」などの返答文言を取得する。
ステップＳ５５、ステップＳ５６、またはステップＳ５７の処理後、処理はステップＳ５８に進み、返信内容選択肢作成部５３は、文言取得部５２により取得された返答文言からなる返信内容選択肢を作成する。
ステップＳ５９において、返信内容選択肢作成部５３は、ステップＳ５８で作成した返信内容選択肢を、上述の図７に示したような返信内容選択画面７１により表示部５５に表示する。そして、操作部５６は、表示部５５に表示された返信内容選択画面７１に対する返信者による選択を受け付ける。
ステップＳ６０において、操作部２８は、ステップＳ５９において返信者により選択された返信内容選択肢を返信対象として、データ通信部５７を介して返信メッセージを送信させ、処理は終了される。
次に、図１２は、サーバ１５における送信促進通知処理を説明するフローチャートである。
例えば、サーバ１５では定期的に送信促進通知処理を行うように設定されており処理が開始されると、ステップＳ７１において、自動判定部８２は、ユーザ情報管理部８１からユーザ情報を読み込む。
ステップＳ７２において、自動判定部８２は、ステップＳ７１で読み込んだユーザ情報に基づいて、ユーザの嗜好を分析する。
ステップＳ７３において、自動判定部８２は、ステップＳ７２での分析結果に従って、メッセージの送信を促進する通知を行うか否かを判定する。
ステップＳ７３において、メッセージの送信を促進する通知を行うと判定された場合、処理はステップＳ７４に進み、自動判定部８２は、データ通信部８４を介して、送信側情報処理装置１３に対して送信促進通知を送信する。
一方、ステップＳ７３において、メッセージの送信を促進する通知を行わないと判定された場合、または、ステップＳ７４の処理後、処理は終了される。
以上のような各処理が行われることで、コミュニケーション支援システム１１では、送信者と受信者とのコミュニケーションの継続を積極的に支援することができる。例えば、送信者は、自分からメッセージを送信しようと思わなくても、メッセージの送信が促されたタイミングでメッセージを送信すればよく、コミュニケーションが停滞することを回避することができる。また、送信者および受信者のどちらも、選択肢の選択を行うだけでコミュニケーションを行うことができるので、心理的または物理的な負担が軽減され、コミュニケーションの継続性を向上させることができる。
なお、上述した実施の形態では、図２のユーザ通知部２３が送信促進通知画面３１を表示部２７に表示する例について説明したが、例えば、振動や、音声、発光などの通知機能を使用して、通知内容に紐づけられた通知を行うように通知機能に対する制御を行って、メッセージ送信の促進を送信者に通知してもよい。また、例えば、表示部２７に表示されるキャラクタの表情や動きなどにより、メッセージ送信の促進を送信者に通知することができる。このように、メッセージ送信の促進を送信者に通知することができれば、その方法については限定されることはない。
また、図２の操作部２８は、上述したように表示部２７に表示されるボタンに対する操作に基づいて操作入力を受け付ける他、音声やジェスチャ、視線などを検出することによって操作入力を受け付けることができる。また、図５の操作部５６についても同様である。このように、送信者または受信者の意思表示を受け付けることができれば、その方法については限定されることはない。
また、図９のメッセージ送信処理において、メッセージの送信の有無や写真の添付の有無を順番で送信者に操作入力させるのに替えて、例えば、写真付きメッセージ選択肢のうちの１つのメッセージを表示部２７に表示させて、そのメッセージを送信するか否かの操作入力を行うようにしてもよい。
さらに、図４の送信内容選択画面４１のように、決められた選択肢からのみ選択が行われるのではなく、写真や文言を選択し直したり、送信者が文言を編集することができるようにしてもよい。例えば、「さらに選択肢を表示する」と表示されたボタンを送信内容選択画面４１に追加して、そのボタンに対する操作が行われると、新たな選択肢が表示されるようにすることができる。
また、図２の記憶部２１または図５の記憶部５１に記憶されるテンプレートには、例えば、システム提供時に予め登録されている文言の他、適宜、新たに追加または編集した文言を登録（更新）することができる。また、それらの文言は、送信者または受信者の一人称や年齢、性別、性格などに応じて表現（話し方）を自動で変更することができる。
なお、コミュニケーション支援システム１１において、送信側情報処理装置１３、受信側情報処理装置１４、およびサーバ１５それぞれが備える機能は、いずれかが備えていればよく、例えば、送信側情報処理装置１３が、ユーザ情報管理部８１および自動判定部８２を備えていてもよく、自動判定部８２による判定結果を送信側情報処理装置１３自身に通知してもよい。即ち、コミュニケーション支援システム１１全体として、上述したような機能を提供することができればよい。また、１つの装置が、送信側情報処理装置１３と受信側情報処理装置１４との両方の機能を備えていてもよく、送信側と受信側とで、同一の機能を備えた送受信可能な装置を使用することができる。もちろん、送信または受信いずれかの機能に特化した装置を使用してもよい。
さらに、受信側情報処理装置１４としては、タブレット端末の他、例えば、送信側情報処理装置１３と同様のスマートフォン端末や、テレビジョン受像機、プロジェクタ、デジタルフォトフレームなど、メッセージを表示して操作入力を受け付けることが可能な各種の装置を使用することができる。または、受信側情報処理装置１４として、例えば、公共施設などに設置されている情報端末などを使用することができる。
なお、上述のフローチャートを参照して説明した各処理は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。また、プログラムは、１のCPUにより処理されるものであっても良いし、複数のCPUによって分散処理されるものであっても良い。
また、上述した一連の処理（情報処理方法）は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラムが記録されたプログラム記録媒体からインストールされる。
図１３は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
コンピュータにおいて、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３は、バス１０４により相互に接続されている。
バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、キーボード、マウス、マイクロホンなどよりなる入力部１０６、ディスプレイ、スピーカなどよりなる出力部１０７、ハードディスクや不揮発性のメモリなどよりなる記憶部１０８、ネットワークインタフェースなどよりなる通信部１０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア１１１を駆動するドライブ１１０が接続されている。
以上のように構成されるコンピュータでは、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５及びバス１０４を介して、RAM１０３にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ（CPU１０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア１１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
そして、プログラムは、リムーバブルメディア１１１をドライブ１１０に装着することにより、入出力インタフェース１０５を介して、記憶部１０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１０９で受信し、記憶部１０８にインストールすることができる。その他、プログラムは、ROM１０２や記憶部１０８に、あらかじめインストールしておくことができる。
なお、本技術は以下のような構成も取ることができる。
（１）
メッセージ内容が分類された複数のカテゴリのうちの、コミュニケーションに使用される画像に対応する前記カテゴリに分類されている複数の前記メッセージ内容の中から、送信の候補とする所定数の前記メッセージ内容を取得する取得部と、
前記取得部により取得された所定数の前記メッセージ内容から、送信の対象とする前記メッセージ内容を選択させるための選択肢を作成して、所定のタイミングで提示する選択肢作成部と
を備える情報処理装置。
（２）
送信の候補とする所定数の前記画像を選定する選定部と、
前記選定部により選定された所定数の前記画像のうちの、送信の対象として選択された前記画像が添付されたメッセージを送信する送信部と
をさらに備え、
前記取得部は、前記選定部により選定された所定数の前記画像それぞれに対応する前記カテゴリから前記メッセージ内容を取得し、
前記選択肢作成部は、所定数の前記画像と、それらの画像に対応する前記メッセージ内容とをそれぞれ組み合わせた前記選択肢を作成する
上記（１）に記載の情報処理装置。
（３）
前記カテゴリは、前記画像の内容ごとに前記メッセージ内容を分類しており、
前記選定部は、前記画像を記憶する記憶部に記憶されている複数の前記画像に対する画像認識を行い、
前記取得部は、前記選定部により認識することができた前記画像の内容に従った前記カテゴリから前記メッセージ内容を取得する
上記（１）または（２）に記載の情報処理装置。
（４）
前記取得部は、前記選定部が前記画像の内容を認識することができなかった場合、前記画像の内容に依存しない前記メッセージ内容を取得する
上記（３）に記載の情報処理装置。
（５）
前記メッセージの送信を行うタイミングであるか否かを判定する送信機会判定部
をさらに備え、
前記選択肢作成部は、前記送信機会判定部が前記メッセージの送信を行うタイミングであると判定すると、前記選択肢を作成して提示する
上記（１）から（４）までのいずれかに記載の情報処理装置。
（６）
前記送信機会判定部は、前記記憶部に記憶されている前記画像の枚数を取得し、前回の前記メッセージの送信時から前記画像の枚数が増加した増加枚数に従って、前記メッセージの送信を行うタイミングであるか否かの判定を行う
上記（５）に記載の情報処理装置。
（７）
前記送信機会判定部が前記メッセージの送信を行うタイミングであると判定したときに、前記メッセージの送信を促す通知を行う通知部
をさらに備える上記（５）または（６）に記載の情報処理装置。
（８）
前記選定部は、前記画像に対する画像認識の結果に基づいて、前記画像の内容に基づいて前記メッセージを送信する送信者に適した所定枚数の前記画像を送信の候補として選定する
上記（３）に記載の情報処理装置。
（９）
前記メッセージの送信を行うか否かの操作入力、および、前記メッセージに画像の添付を行うか否かの操作入力を受け付ける操作部
をさらに備える上記（２）から（８）までのいずれかに記載の情報処理装置。
（１０）
前記画像が添付されたメッセージを受信する受信部
をさらに備え、
前記取得部は、前記受信部が受信した前記メッセージに添付されている前記画像に対応する前記カテゴリから、前記メッセージに対して返信するための所定数の前記メッセージ内容を取得する
上記（１）に記載の情報処理装置。
（１１）
前記選択肢作成部は、前記受信部が前記メッセージを受信したタイミングで、返信の対象とする前記メッセージ内容を選択させるための選択肢を作成して、前記選択肢を提示する
上記（１０）に記載の情報処理装置。
（１２）
前記取得部は、前記メッセージを受信した受信者の属性、または、前記メッセージを受信した時期に応じて適切な前記メッセージ内容を取得する
上記（１０）または（１１）に記載の情報処理装置。
（１３）
前記選択肢作成部により提示された前記選択肢から返信の対象とする前記メッセージ内容を選択する操作入力を受け付ける操作部
をさらに備える上記（１０）から（１２）までのいずれかに記載の情報処理装置。
（１４）
前記メッセージを送信する送信者、前記メッセージを送信する相手となる受信者、前記メッセージの内容を蓄積した内容データ、前記メッセージを送信した時系列を蓄積した時系列データをユーザ情報として管理するユーザ情報管理部
をさらに備える上記（１）に記載の情報処理装置。
（１５）
前記ユーザ情報管理部により管理されている前記ユーザ情報を分析し、前記メッセージの送信を促す適切なタイミングを判定する判定部と、
前記判定部により適切なタイミングであると判定された場合に、前記メッセージの送信を促す通知を送信する通知送信部と
をさらに備える上記（１４）に記載の情報処理装置。
（１６）
メッセージ内容が分類された複数のカテゴリのうちの、コミュニケーションに使用される画像に対応する前記カテゴリに分類されている複数の前記メッセージ内容の中から、送信の候補とする所定数の前記メッセージ内容を取得し、
取得された所定数の前記メッセージ内容から、送信の対象とする前記メッセージ内容を選択させるための選択肢を作成して、所定のタイミングで提示する
ステップを含む情報処理方法。
（１７）
メッセージ内容が分類された複数のカテゴリのうちの、コミュニケーションに使用される画像に対応する前記カテゴリに分類されている複数の前記メッセージ内容の中から、送信の候補とする所定数の前記メッセージ内容を取得し、
取得された所定数の前記メッセージ内容から、送信の対象とする前記メッセージ内容を選択させるための選択肢を作成して、所定のタイミングで提示する
ステップを含む処理をコンピュータに実行させるプログラム。
（１８）
送信の候補とする所定数の前記画像を選定する選定部と、
メッセージ内容が分類された複数のカテゴリのうちの、前記選定部により選定された所定数の前記画像それぞれに対応する前記カテゴリに分類されている複数の前記メッセージ内容の中から、送信の候補とする所定数の前記メッセージ内容を取得する送信内容取得部と、
所定数の前記画像と、それらの画像に対応する前記取得部により取得された所定数の前記メッセージ内容とをそれぞれ組み合わせたメッセージから、送信の対象とする前記メッセージを選択させるための前記選択肢を作成して、所定のタイミングで提示する選択肢作成部と、
前記選択肢のうちの、送信の対象として選択された前記メッセージを送信する送信部と
を備える送信側の情報処理装置、および、
前記画像が添付されたメッセージを受信する受信部と、
前記受信部が受信した前記メッセージに添付されている前記画像に対応する前記カテゴリから、前記メッセージに対して返信するための所定数の前記メッセージ内容を取得する返信内容取得部と
を備える受信側の情報処理装置
を含んで構成される情報処理システム。
なお、本実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
１１ コミュニケーション支援システム， １２ ネットワーク， １３ 送信側情報処理装置， １４ 受信側情報処理装置， １５ サーバ， ２１ 記憶部， ２２ 送信機会判定部， ２３ ユーザ通知部， ２４ 写真選定部， ２５ 文言取得部， ２６ 送信内容選択肢作成部， ２７ 表示部， ２８ 操作部， ２９ データ通信部， ５１ 記憶部， ５２ 文言取得部， ５３ 返信内容選択肢作成部， ５４ ユーザ通知部， ５５ 表示部， ５６ 操作部， ５７ データ通信部， ８１ ユーザ情報管理部， ８２ 自動判定部， ８３ 操作部， ８４ データ通信部

Claims (18)

  1. ネットワークを介したコミュニケーションに使用される画像が選定され、その選定された前記画像の内容の種別に応じて文言のメッセージ内容が分類された複数のカテゴリのうちの、前記画像を分類し得る対応関係である前記カテゴリが特定され、その特定された前記カテゴリに分類されている複数の前記メッセージ内容の中から、送信の候補とする所定数の前記メッセージ内容を取得する取得部と、
    前記取得部により取得された所定数の前記メッセージ内容から、コミュニケーションする相手のユーザへ送信の対象とする前記メッセージ内容を選択させるための選択肢を作成して、所定のタイミングで提示する選択肢作成部と
    を備える情報処理装置。
  2. 送信の候補とする所定数の前記画像を選定する選定部と、
    前記選定部により選定された所定数の前記画像のうちの、送信の対象として選択された前記画像が添付された文言のメッセージを送信する送信部と
    をさらに備え、
    前記取得部は、前記選定部により選定された所定数の前記画像それぞれに対応する前記カテゴリから前記メッセージ内容を取得し、
    前記選択肢作成部は、所定数の前記画像と、それらの画像に対応する前記メッセージ内容とをそれぞれ組み合わせた前記選択肢を作成する
    請求項１に記載の情報処理装置。
  3. 前記カテゴリは、前記画像の内容ごとに前記メッセージ内容を分類しており、
    前記選定部は、前記画像を記憶する記憶部に記憶されている複数の前記画像に対する画像認識を行い、
    前記取得部は、前記選定部により認識することができた前記画像の内容に従った前記カテゴリから前記メッセージ内容を取得する
    請求項２に記載の情報処理装置。
  4. 前記取得部は、前記選定部が前記画像の内容を認識することができなかった場合、前記画像の内容に依存しない前記メッセージ内容を取得する
    請求項３に記載の情報処理装置。
  5. 前記メッセージの送信を行うタイミングであるか否かを判定する送信機会判定部
    をさらに備え、
    前記選択肢作成部は、前記送信機会判定部が前記メッセージの送信を行うタイミングであると判定すると、前記選択肢を作成して提示する
    請求項３に記載の情報処理装置。
  6. 前記送信機会判定部は、前記記憶部に記憶されている前記画像の枚数を取得し、前回の前記メッセージの送信時から前記画像の枚数が増加した増加枚数に従って、前記メッセージの送信を行うタイミングであるか否かの判定を行う
    請求項５に記載の情報処理装置。
  7. 前記送信機会判定部が前記メッセージの送信を行うタイミングであると判定したときに、前記メッセージの送信を促す通知を行う通知部
    をさらに備える請求項５に記載の情報処理装置。
  8. 前記選定部は、前記画像に対する画像認識の結果に基づいて、前記画像の内容に基づいて前記メッセージを送信する送信者に適した所定枚数の前記画像を送信の候補として選定する
    請求項３に記載の情報処理装置。
  9. 前記メッセージの送信を行うか否かの操作入力、および、前記メッセージに画像の添付を行うか否かの操作入力を受け付ける操作部
    をさらに備える請求項２に記載の情報処理装置。
  10. 前記画像が添付されたメッセージを受信する受信部
    をさらに備え、
    前記取得部は、前記受信部が受信した前記メッセージに添付されている前記画像に対応する前記カテゴリから、前記メッセージに対して返信するための所定数の前記メッセージ内容を取得する
    請求項１に記載の情報処理装置。
  11. 前記選択肢作成部は、前記受信部が前記メッセージを受信したタイミングで、返信の対象とする前記メッセージ内容を選択させるための選択肢を作成して、前記選択肢を提示する
    請求項１０に記載の情報処理装置。
  12. 前記取得部は、前記メッセージを受信した受信者の属性、または、前記メッセージを受信した時期に応じて適切な前記メッセージ内容を取得する
    請求項１０に記載の情報処理装置。
  13. 前記選択肢作成部により提示された前記選択肢から返信の対象とする前記メッセージ内容を選択する操作入力を受け付ける操作部
    をさらに備える請求項１０に記載の情報処理装置。
  14. 前記メッセージを送信する送信者、前記メッセージを送信する相手となる受信者、前記メッセージの内容を蓄積した内容データ、前記メッセージを送信した時系列を蓄積した時系列データをユーザ情報として管理するユーザ情報管理部
    をさらに備える請求項１に記載の情報処理装置。
  15. 前記ユーザ情報管理部により管理されている前記ユーザ情報を分析し、前記メッセージの送信を促す適切なタイミングを判定する判定部と、
    前記判定部により適切なタイミングであると判定された場合に、前記メッセージの送信を促す通知を送信する通知送信部と
    をさらに備える請求項１４に記載の情報処理装置。
  16. メッセージ内容が分類された複数のカテゴリのうちの、コミュニケーションに使用される画像に対応する前記カテゴリに分類されている複数の前記メッセージ内容の中から、送信の候補とする所定数の前記メッセージ内容を取得し、
    取得された所定数の前記メッセージ内容から、送信の対象とする前記メッセージ内容を選択させるための選択肢を作成して、所定のタイミングで提示する
    ステップを含む情報処理方法。
  17. ネットワークを介したコミュニケーションに使用される画像が選定され、その選定された前記画像の内容の種別に応じて文言のメッセージ内容が分類された複数のカテゴリのうちの、前記画像を分類し得る対応関係である前記カテゴリが特定され、その特定された前記カテゴリに分類されている複数の前記メッセージ内容の中から、送信の候補とする所定数の前記メッセージ内容を取得し、
    取得された所定数の前記メッセージ内容から、コミュニケーションする相手のユーザへ送信の対象とする前記メッセージ内容を選択させるための選択肢を作成して、所定のタイミングで提示する
    ステップを含む処理をコンピュータに実行させるプログラム。
  18. 送信の候補とする所定数の前記画像を選定する選定部と、
    その選定された前記画像の内容の種別に応じて文言のメッセージ内容が分類された複数のカテゴリのうちの、前記画像を分類し得る対応関係である前記カテゴリが特定され、その特定された前記カテゴリに分類されている複数の前記メッセージ内容の中から、送信の候補とする所定数の前記メッセージ内容を取得する送信内容取得部と、
    所定数の前記画像と、それらの画像に対応する前記取得部により取得された所定数の前記メッセージ内容とをそれぞれ組み合わせたメッセージから、コミュニケーションする相手のユーザへ送信の対象とする前記メッセージを選択させるための前記選択肢を作成して、所定のタイミングで提示する選択肢作成部と、
    前記選択肢のうちの、送信の対象として選択された前記メッセージを送信する送信部と
    を備える送信側の情報処理装置、および、
    前記画像が添付されたメッセージを受信する受信部と、
    前記受信部が受信した前記メッセージに添付されている前記画像に対応する前記カテゴリから、前記メッセージに対して返信するための所定数の前記メッセージ内容を取得する返信内容取得部と
    を備える受信側の情報処理装置
    を含んで構成される情報処理システム。
JP2016564774A 2014-12-15 2015-12-02 情報処理装置、情報処理方法、プログラム、および情報処理システム Expired - Fee Related JP6614457B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014253221 2014-12-15
JP2014253221 2014-12-15
PCT/JP2015/083841 WO2016098589A1 (ja) 2014-12-15 2015-12-02 情報処理装置、情報処理方法、プログラム、および情報処理システム

Publications (2)

Publication Number Publication Date
JPWO2016098589A1 JPWO2016098589A1 (ja) 2017-10-12
JP6614457B2 true JP6614457B2 (ja) 2019-12-04

Family

ID=56126483

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016564774A Expired - Fee Related JP6614457B2 (ja) 2014-12-15 2015-12-02 情報処理装置、情報処理方法、プログラム、および情報処理システム

Country Status (4)

Country Link
US (1) US10749834B2 (ja)
EP (1) EP3236360B1 (ja)
JP (1) JP6614457B2 (ja)
WO (1) WO2016098589A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018047932A1 (ja) * 2016-09-12 2018-03-15 日本電気株式会社 対話装置、ロボット、処理方法、プログラム
US10805412B2 (en) * 2017-05-15 2020-10-13 Microsoft Technology Licensing, Llc Automatic clean-up and sharing of image content
DE102019116705A1 (de) * 2019-06-19 2020-12-24 adviqo GmbH Verfahren zur Kommunikation mittels Messenger-Nachrichten und System zur Durchführung des Verfahrens

Family Cites Families (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002083061A (ja) 2000-09-08 2002-03-22 Hitachi Software Eng Co Ltd 近況情報報告支援方法およびシステム
JP2002244975A (ja) * 2001-02-14 2002-08-30 Bekku:Kk メッセージ画像の提供方法
US20030123737A1 (en) * 2001-12-27 2003-07-03 Aleksandra Mojsilovic Perceptual method for browsing, searching, querying and visualizing collections of digital images
JP3968277B2 (ja) * 2002-08-26 2007-08-29 株式会社日立製作所 メールサーバ、そのメールサーバを実現するためのプログラム及び携帯端末
US7187787B2 (en) * 2003-03-14 2007-03-06 Intelitrac, Inc. Method and apparatus for facial identification enhancement
JP2004297485A (ja) 2003-03-27 2004-10-21 Kyocera Mita Corp 複合装置、その制御方法、その制御プログラム、及びその複合装置を含む情報通信システム
JP3808844B2 (ja) 2003-05-16 2006-08-16 株式会社エヌ・ティ・ティ・ドコモ 通信端末
JP4752623B2 (ja) * 2005-06-16 2011-08-17 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US7801392B2 (en) * 2005-07-21 2010-09-21 Fuji Xerox Co., Ltd. Image search system, image search method, and storage medium
JP4636548B2 (ja) * 2005-08-31 2011-02-23 株式会社沖データ 通信装置、及び通信システム
US9690979B2 (en) * 2006-03-12 2017-06-27 Google Inc. Techniques for enabling or establishing the use of face recognition algorithms
US20100278396A1 (en) * 2008-01-18 2010-11-04 Nikon Corporation Image group title assigning device, image grouping device, representative image determination device for image group, image display device, camera, and image display program
US20090254624A1 (en) * 2008-04-08 2009-10-08 Jeff Baudin E-mail message management system
JP2010187284A (ja) 2009-02-13 2010-08-26 Nec Corp 生活見守りシステム、生活見守りサーバ、携帯端末、生活見守り方法、そのプログラムおよび記録媒体
US9485365B2 (en) * 2009-03-18 2016-11-01 Shutterfly, Inc. Cloud storage for image data, image product designs, and image projects
US9244941B2 (en) * 2009-03-18 2016-01-26 Shutterfly, Inc. Proactive creation of image-based products
US9195898B2 (en) * 2009-04-14 2015-11-24 Qualcomm Incorporated Systems and methods for image recognition using mobile devices
US8542950B2 (en) * 2009-06-02 2013-09-24 Yahoo! Inc. Finding iconic images
JP5218989B2 (ja) * 2009-08-07 2013-06-26 Ｎｅｃカシオモバイルコミュニケーションズ株式会社 通信端末装置、及び、プログラム
EP2426633A4 (en) * 2009-09-30 2015-01-21 Rakuten Inc SYSTEM FOR RECOMMENDING AN ARTICLE NOT PRESENT IN AN IMAGE
JP5402700B2 (ja) 2010-02-12 2014-01-29 富士通株式会社 返信メール作成装置および返信メール作成方法
JP5676147B2 (ja) * 2010-05-28 2015-02-25 富士通テン株式会社 車載用表示装置、表示方法および情報表示システム
TW201205307A (en) * 2010-07-30 2012-02-01 Ibm Method, apparatus and computer program product for efficiently sharing information
US10216393B2 (en) * 2010-07-30 2019-02-26 International Business Machines Corporation Efficiently sharing user selected information with a set of determined recipients
US8712930B1 (en) * 2010-08-09 2014-04-29 Google Inc. Encoding digital content based on models for predicting similarity between exemplars
KR101692399B1 (ko) * 2010-10-14 2017-01-03 삼성전자주식회사 감성 기반의 영상을 얻을 수 있는 디지털 영상 처리 장치 및 디지털 영상 처리 방법
US8843825B1 (en) * 2011-07-29 2014-09-23 Photo Mambo Inc. Media sharing and display system with persistent display
US8929687B2 (en) * 2011-08-29 2015-01-06 Dst Technologies, Inc. System and method for candidate sorting and clustering
TWI534721B (zh) * 2011-10-19 2016-05-21 致伸科技股份有限公司 具有人臉辨識功能之相片分享系統
US9122912B1 (en) * 2012-03-15 2015-09-01 Google Inc. Sharing photos in a social network system
WO2014013604A1 (ja) * 2012-07-20 2014-01-23 株式会社メディアシーク メッセージ編集装置、メッセージ通信端末及びメッセージ通信システム
JP6011185B2 (ja) * 2012-09-14 2016-10-19 株式会社バッファロー 画像情報処理システム、画像情報処理装置、及びプログラム
US20150169993A1 (en) * 2012-10-01 2015-06-18 Google Inc. Geometry-preserving visual phrases for image classification using local-descriptor-level weights
JP2014095967A (ja) * 2012-11-08 2014-05-22 Sony Corp 情報処理装置、情報処理方法およびプログラム
US10270720B2 (en) * 2012-12-20 2019-04-23 Microsoft Technology Licensing, Llc Suggesting related items
JP5763110B2 (ja) 2013-01-08 2015-08-12 ビッグローブ株式会社 送受信システム、コンピュータ、送受信装置、送受信方法、及びプログラム
EP2993907A4 (en) * 2013-04-30 2016-12-21 Sony Corp INFORMATION PROCESSING DEVICE AND INFORMATION PROCESSING METHOD
US9076270B2 (en) * 2013-05-14 2015-07-07 Google Inc. Generating compositions
JP6116065B2 (ja) * 2013-11-01 2017-04-19 フリュー株式会社 管理装置および管理装置の制御方法
US9189682B2 (en) * 2014-02-13 2015-11-17 Apple Inc. Systems and methods for sending digital images
US9830631B1 (en) * 2014-05-02 2017-11-28 A9.Com, Inc. Image recognition result culling
US9589205B2 (en) * 2014-05-15 2017-03-07 Fuji Xerox Co., Ltd. Systems and methods for identifying a user's demographic characteristics based on the user's social media photographs
US10210261B2 (en) * 2014-06-18 2019-02-19 Facebook, Inc. Ranking and filtering groups recommendations
JP5695257B1 (ja) * 2014-07-25 2015-04-01 楽天株式会社 画像処理装置、画像処理方法、および画像処理プログラム
US10721525B2 (en) * 2014-12-03 2020-07-21 Sony Corporation Information processing device, information processing method, and program
US10360223B2 (en) * 2015-12-28 2019-07-23 Facebook, Inc. Selecting content items provided to groups including a social networking system user based on interaction with the content items by social networking system users
US9928442B2 (en) * 2016-03-22 2018-03-27 Disney Enterprises, Inc. Joint photo stream and blog post summarization and exploration

Also Published As

Publication number Publication date
US10749834B2 (en) 2020-08-18
JPWO2016098589A1 (ja) 2017-10-12
WO2016098589A1 (ja) 2016-06-23
EP3236360B1 (en) 2020-07-22
EP3236360A1 (en) 2017-10-25
EP3236360A4 (en) 2018-08-15
US20170264586A1 (en) 2017-09-14

Similar Documents

Publication Publication Date Title
US10257676B1 (en) Systems and methods for facilitating online matching utilizing a wearable device
US11677794B2 (en) Technologies for multi-user interactive media streaming
US7898423B2 (en) Real-time event notification
US9912772B2 (en) Social mode for managing communications between a mobile device and a social networking system
KR101370795B1 (ko) 상태 인식을 이용한 휴대용 전자 장치
US20160050263A1 (en) Cloud system and method of displaying, by cloud system, content
KR20190086056A (ko) 메시징 애플리케이션들을 위한 자동적인 제안들 및 다른 콘텐츠
US20080086431A1 (en) Social interaction messaging and notification
TWI724337B (zh) 用於控制電子訊息及其交付後回應之電腦化系統及方法
US20170208022A1 (en) Chat system
JP6614457B2 (ja) 情報処理装置、情報処理方法、プログラム、および情報処理システム
JP7459185B2 (ja) 電子チャットインタフェースとの対話の改善
US20180349754A1 (en) Communication reply bot
US11409808B2 (en) Facilitating a collaboration experience using social networking information
US11411902B2 (en) Information processing apparatus and non-transitory computer readable medium storing information processing program
US11302317B2 (en) Information processing apparatus and information processing method to attract interest of targets using voice utterance
US20230198930A1 (en) Systems and methods for device selection and modified output upon receiving notifications
JP5823668B2 (ja) 情報処理装置、メッセージ伝達方法およびプログラム
US20170142056A1 (en) Method and electronic devices for processing emails
CN116156270B (zh) 一种信息播报控制方法、装置、设备及存储介质
US11716298B2 (en) Information processing apparatus, information processing method, and non-transitory computer readable medium
US20240212670A1 (en) Communication support system, communication support method, and non-transitory recording medium
JP2023028164A (ja) 情報処理装置、情報処理システム、情報処理方法、および情報処理プログラム
CN116348895A (zh) 设置的自动注册和智能分配
CN116348922A (zh) 基于用户熟悉度终止执行图像分类

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181012

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190806

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190925

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191010

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191023

R151 Written notification of patent or utility model registration

Ref document number: 6614457

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees