JP6746775B2 - 情報提供装置、端末装置、表示システム、プログラム及び情報提供方法 - Google Patents

情報提供装置、端末装置、表示システム、プログラム及び情報提供方法 Download PDF

Info

Publication number
JP6746775B2
JP6746775B2 JP2019508555A JP2019508555A JP6746775B2 JP 6746775 B2 JP6746775 B2 JP 6746775B2 JP 2019508555 A JP2019508555 A JP 2019508555A JP 2019508555 A JP2019508555 A JP 2019508555A JP 6746775 B2 JP6746775 B2 JP 6746775B2
Authority
JP
Japan
Prior art keywords
character
information
management information
unit
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2019508555A
Other languages
English (en)
Other versions
JPWO2018179591A1 (ja
Inventor
慧 渡部
慧 渡部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Publication of JPWO2018179591A1 publication Critical patent/JPWO2018179591A1/ja
Application granted granted Critical
Publication of JP6746775B2 publication Critical patent/JP6746775B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/203D [Three Dimensional] animation
    • G06T13/403D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Telephonic Communication Services (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Transfer Between Computers (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Description

本発明は、情報提供装置、端末装置、表示システム、プログラム及び情報提供方法に関する。
端末装置等で撮影した撮像画像に写っているマーカの近傍に、キャラクターの画像を重畳して表示する拡張現実(AR:Augmented Reality)の技術が従来技術として知られている。
例えば、特許文献1には、撮影画像に含まれるマーカを検出したら、当該マーカに対応する情報処理を開始し、対応するキャラクター、アイコンのオブジェクトを、被写空間に対応する3次元座標系に配置して撮影画像上に描画し、即時表示する情報処理装置が記載されている。
日本国公開特許公報「特開2015−41126号公報(2015年3月2日公開)」
しかしながら、上述のような従来技術は、機器等に付されたマーカの情報を参照してキャラクターの画像を重畳して表示しているに過ぎない。そのため、機器とキャラクターとの相関が希薄であり、ユーザがキャラクターに対して親近感を感じづらいという課題があった。
本発明は、上記課題を踏まえたものであり、その目的は、従来に比べて機器とキャラクターとの相関を向上させることにある。
上記の課題を解決するための、本発明の一態様に係る情報提供装置は、撮像画像にキャラクターの画像を重畳して表示する端末装置に対して情報を提供する情報提供装置であって、通信部と、制御部とを備え、上記制御部は、上記撮像画像に含まれる機器の個体を特定する機器識別情報を参照して、上記キャラクターの提示態様を管理するキャラクター管理情報を特定し、特定した上記キャラクター管理情報を、上記通信部を介して上記端末装置に送信するか、又は、上記キャラクター管理情報を参照して、上記機器の提示様態を特定する機器管理情報を特定し、特定した上記機器識別情報を、上記通信部を介して上記機器に送信するかの、少なくとも何れかの制御を行う。
上記の課題を解決するために、本発明の一態様に係る端末装置は、撮像部と提示部と制御部と通信部とを備える端末装置であって、上記提示部は表示部を備え、上記制御部は、撮像画像に含まれる機器の個体を特定する機器識別情報を参照して特定された、キャラクターの提示態様を管理するキャラクター管理情報を、上記端末装置に情報を提供する情報提供装置から取得して、上記表示部に、上記撮像部による撮像画像にキャラクターの画像が重畳するように表示させるか、又は、上記機器の個体を識別する機器識別情報を、上記通信部を介して上記情報提供装置に送信するかの少なくとも何れかの制御を行う。
上記の課題を解決するために、本発明の一態様に係る表示システムは、情報提供装置と端末装置とを含む表示システムであって、上記端末装置は、撮像部と提示部と端末制御部と端末通信部とを備え、上記提示部は表示部を備え、上記情報提供装置は、サーバ通信部とサーバ制御部とを備え、上記サーバ制御部は、撮像画像に含まれる機器の個体を特定する機器識別情報を参照して、キャラクターの提示態様を管理するキャラクター管理情報を特定し、特定した上記キャラクター管理情報を、上記サーバ通信部を介して上記端末装置に送信するか、又は、上記キャラクター管理情報を参照して、上記機器の提示様態を特定する機器管理情報を特定し、特定した上記機器識別情報を、上記サーバ通信部を介して上記機器に送信するかの、少なくとも何れかの制御を行い、上記端末制御部は、上記キャラクター管理情報を参照して、上記表示部に、上記撮像部による撮像画像にキャラクターの画像が重畳するように表示させる。
上記の課題を解決するために、本発明の一態様に係る情報提供方法は、撮像画像にキャラクターの画像を重畳して表示する端末装置に対して情報を提供する情報提供方法であって、上記撮像画像に含まれる機器の個体を特定する機器識別情報を参照して、上記キャラクターの提示態様を管理するキャラクター管理情報を特定し、特定した上記キャラクター管理情報を、上記端末装置に送信するキャラクター管理情報特定工程、及び、上記キャラクター管理情報を参照して、上記機器の提示態様を特定する機器管理情報を特定し、特定した上記機器識別情報を、上記機器に送信する機器管理情報特定工程のうちの少なくとも一方の工程を含む。
本発明の一態様によれば、従来に比べて機器とキャラクターとの相関を向上させることができるという効果を奏する。
本発明の実施形態1に係る表示システムの要部構成を示すブロック図である。 本発明の実施形態1に係る表示システムの概要を示す図である。 本発明の実施形態1に係るサーバの記憶部に格納されているキャラクター管理DB、キャラクター記憶DB及び機器管理DBの一例を示す図である。 本発明の実施形態1に係る表示システムにおける情報提供処理の流れの一例を示すシーケンス図である。 本発明の実施形態1に係る表示システムにおける情報提供処理の流れの一例を示すシーケンス図である。 本発明の実施形態1に係る表示システムにおける情報提供処理の流れの一例を示すシーケンス図である。 本発明の実施形態1に係る表示システムにおける情報提供処理の流れの一例を示すシーケンス図である。 本発明の実施形態2に係る表示システムにおける情報提供処理の流れの一例を示すシーケンス図である。 本発明の実施形態3に係る表示システムにおける情報提供処理の流れの一例を示すシーケンス図である。 本発明の実施形態3に係る表示システムにおける情報提供処理の流れの一例を示すシーケンス図である。 本発明の実施形態3に係る表示システムにおける情報提供処理の流れの一例を示すシーケンス図である。 本発明の実施形態4に係る表示システムにおける情報提供処理の流れの一例を示すシーケンス図である。 本発明の実施形態5に係る表示システムの要部構成を示すブロック図である。 サーバ又は端末装置として利用可能なコンピュータの構成を例示したブロック図である。
<実施形態1>
本実施形態に係る表示システム1について、図1から図7を参照して以下に説明する。ただし、この実施形態に記載されている構成は、特に特定的な記載がない限り、この発明の範囲をそれのみに限定する趣旨ではなく、単なる説明例に過ぎない。
〔表示システム1〕
次に、本実施形態に係る表示システム1の要部構成について、図1を参照して説明する。
図1は、本実施形態に係る表示システム1の要部構成を示すブロック図である。表示システム1は、図1に示すように、端末装置2と、サーバ(情報提供装置)3とを備えている。端末装置2とサーバ3とは、ネットワーク4を介して接続されており、端末装置2と家電機器5とは、無線LANルータ6を介して接続されている。
〔端末装置2〕
本実施形態に係る端末装置2の構成について、図1を参照して説明する。図1に示すように、本実施形態に係る端末装置2は、撮像部21と、端末情報入力部22と、端末制御部(制御部)23と、端末通信部(通信部)24と、提示部25とを備えている。
端末装置2としては、例えば、スマートフォン及びヘッドマウントディスプレイ等を挙げることができる。
なお、撮像部21及び提示部25は、それぞれ単体のハードウェアによって構成されていてもよいし、複数のハードウェアによって分散的に構成されていてもよい。
〔撮像部21〕
撮像部21は、家電機器(機器)5の撮像画像7(図2参照)を取得する。撮像部21としては、例えば、カメラ等を挙げることができる。
〔端末情報入力部22〕
端末情報入力部22は、アプリID及びパスワード等の端末識別情報、キャラクターID、情報ID及びキャラクター記憶情報等のキャラクター管理情報、並びに、発話情報等の入力をユーザから受け付ける。図1に示すように、端末情報入力部22は、端末音声入力部220及びテキスト入力部221を備えている。
[端末音声入力部220]
端末音声入力部220は、音声入力によって、上述の各種情報の入力を行うものであり、例えば、マイク等を挙げることができる。
[テキスト入力部221]
テキスト入力部221は、テキスト入力によって、上述の各種情報の入力を行うものである。テキスト入力部221としては、例えば、キーボード、ボタン、及び、ユーザの指又はペン等により、テキスト入力が可能なタッチパネル等を挙げることができる。この場合、タッチパネルとしては、例えば、図2に示すような表示部251と同一であってもよい。
なお、上述の端末音声入力部220及びテキスト入力部221の代わりに、又は、加えて、端末情報入力部22は、選択肢のうちの何れかをユーザに選択させ、端末識別情報の入力を受け付けてもよい。例えば、端末情報入力部22は、タッチパネル等の表示部251に表示された選択肢のボタンをユーザにタッチさせることによって、端末識別情報の入力を受けつけてもよい。これにより、端末情報入力部22は、端末識別情報をより迅速にユーザから受け付けることができる。
〔端末制御部23〕
端末制御部23は、機器識別情報を、端末通信部24を介してサーバ3に送信する。また、端末制御部23は、キャラクター管理情報を、端末通信部24を介して取得する。続いて端末制御部23は、キャラクター管理情報を参照して、表示部251に、撮像部21による撮像画像7にキャラクター8の画像が重畳するように表示させる。
ここで、機器識別情報とは、撮像部21により撮像された撮像画像7に含まれる家電機器5の個体を識別する情報のことを指す。具体的には、機器識別情報とは、例えば、図3のキャラクター管理DB(データベース)330における、デバイスID、又は撮像位置情報と機器種別情報とを含む情報のことを指す。
ここで、機器種別情報とは、家電機器5の外見から得られる種別情報である。
また、デバイスIDとは、家電機器5を一意に特定することができるIDであり、家電機器5一台毎に割り振られたIDである。換言すれば、デバイスIDとは、撮像画像7に含まれる家電機器5との通信により得られる、家電機器5の固有情報である。
なお、後述の通り、撮像画像7に含まれる家電機器5のデバイスIDを特定するには、各デバイスIDに対応する機器種別情報が特定可能になっている必要がある。各デバイスIDに対応する機器種別情報を特定する方法の例として、キャラクター管理DB(データベース)330がその対応付けたり、家電機器5がデバイスIDと機器種別情報とを一連の情報として提示したり、デバイスIDの一部が機器種別情報を含むようにデバイスIDを構成したりする方法を挙げることができる。
また、撮像位置情報とは、撮像画像7に家電機器5が含まれるときの、撮像画像7の撮像位置の位置情報であり、例えば、緯度、経度及び高度で表される。本実施例では、一般的な家等の建物では、同一の撮像位置から撮像した画像に、複数の家電機器5が含まれていることはあっても、それらのうち、同一の機器識別情報を有する家電機器5は高々1つであるという仮定をおく。そして、この仮定の下、撮像画像7の撮像位置情報と、撮像画像7に含まれる家電機器5の機器識別情報とを含む情報は、家電機器5を一意に特定することができるものと考える。
また、キャラクター管理情報とは、家電機器5に対応付けられたキャラクター8の提示態様を管理するものである。具体的には、キャラクター管理情報とは、図3の(a)のキャラクター管理DB330に示されるように、キャラクターID及び外見等を含む情報のことを指す。また、キャラクター管理情報は、図3の(b)のキャラクター記憶DB331に示されるように、情報ID及びキャラクター記憶情報も含む。また、図3には記載されていないが、キャラクター管理情報は、他に、発話内容、キャラクター8の服装及び表情等の情報を含んでいてもよい。
キャラクターIDとは、キャラクター8に割り振られるIDである。キャラクター8の外見とは、例えば、図2に示されるように、家電機器5がオーブンレンジである場合には、レンジに顔がある、擬人化され、デフォルメされたキャラクター(レンジ太郎)の外見等を挙げることができる。情報IDとは、キャラクター8が記憶している情報の種類を指す。キャラクター記憶情報とは、情報IDに対するキャラクター8に関する具体的な情報の内容を指す。例えば、キャラクター記憶情報は、キャラクター8とユーザとの対話履歴から得られる情報、及び、キャラクター8自身に関する情報を含む。キャラクター8の発話内容とは、キャラクター8による発話の内容を指す。発話する方法としては、例えば、文字による発話及び音声発話等を挙げることができる。キャラクター8の服装とは、キャラクター8が着ている服装のことを指す。
なお、上述の例では、機器識別情報は、機器種別情報、デバイスID、及び撮像位置情報等を含む。また、キャラクター管理情報は、キャラクターID、キャラクター8の外見、情報ID、キャラクター記憶情報、キャラクター8の発話内容、及び、キャラクター8の服装等を含む。ただし、本実施形態では、このような形態に限定されない。
本実施形態では、機器識別情報は、撮像部21により撮像された撮像画像7に含まれる家電機器5の個体を識別する情報であれば任意の情報であってもよい。また、キャラクター管理情報とは、家電機器5に対応付けられたキャラクター8の提示態様を管理するものであれば、任意の情報であってもよい。
また、上述の例では、家電機器5の撮像画像7を取得しているが、本実施形態では、これに限定されない。本実施形態では、機器であれば家電機器に限定されず、例えば、家庭用以外の電気機器の撮像画像7を取得することができる。
次に、端末制御部23の構成について、図1を参照して説明する。図1に示すように、端末制御部23は、機器識別情報特定部230、端末情報取得部234及び重畳画像生成部235として機能する。
[機器識別情報特定部230]
機器識別情報特定部230は、機器識別情報を特定する。
図1に示すように、機器識別情報特定部230は、画像認識部231、固有情報取得部232及び位置情報取得部233として機能する。
画像認識部231は機器種別情報を特定する。固有情報取得部232はデバイスIDを特定する。位置情報取得部233は撮像位置情報を特定する。これにより、機器識別情報特定部230は、デバイスID、又は撮像位置情報と機器種別情報とを参照し、機器識別情報を特定する。
(画像認識部231)
画像認識部231は、撮像部21が取得した撮像画像7を参照し、家電機器5の機器種別情報を特定する。例えば、スマートフォン等の端末装置2の撮像部21で家電機器5を捉えたとする。この場合、画像認識部231は、公知の画像認識技術を用いて、撮像部21が取得した撮像画像7に映された家電機器5をオーブンレンジに特定する。これにより、機器種別情報は、オーブンレンジとなる。
なお、上述の例では、端末装置2の端末制御部23が、画像認識部231として機能している。ただし、本実施形態ではこれに限定されない。本実施形態では、例えば、機器種別情報をサーバ3のサーバ制御部32が特定してもよい。すなわち、サーバ制御部32が、画像認識部231として機能してもよい。
この場合、サーバ制御部32は、端末装置2から撮像画像7を受信し、機器種別情報を特定する。また、サーバ制御部32は、当該機器種別情報と、端末装置2から受信したデバイスID及び撮像位置情報等の少なくとも何れかと、を参照し、機器識別情報を特定することができる。すなわち、本実施形態では、端末制御部23の代わりに、サーバ制御部32が、機器識別情報特定部230として機能してもよい。
(固有情報取得部232)
固有情報取得部232は、端末通信部24が、家電機器5の家電機器通信部50と通信を行うことによって、デバイスID等の固有情報を取得する。
ここで、図1に示すように 、端末通信部24と、家電機器通信部50とは同一の無線LANルータ6のような無線LAN通信機器にWi−Fi(登録商標)接続し、当該無線LAN通信機器を介して相互に通信を行う。これにより、固有情報取得部232は、デバイスID、及び無線LANルータ識別情報を取得することができる。
なお、端末通信部24と家電機器通信部50とが無線LANルータ6を介して通信を行う代わりに、端末通信部24と家電機器通信部50とがBluetooth(登録商標)等を用いて直接通信を行ってもよい。これにより固有情報取得部232がデバイスIDの識別情報を取得してもよい。
以下に、固有情報取得部232によるデバイスIDの取得の具体例について説明する。
(固有情報取得部232によるデバイスIDの取得の具体例1)
固有情報取得部232は、端末通信部24を介して、無線LANルータ6に接続されている全ての家電機器5に、デバイスIDを固有情報取得部232に送信するように命令する。これにより、固有情報取得部232は、複数の家電機器5から、複数のデバイスIDを取得する。この中から、固有情報取得部232は、撮像画像7に含まれる家電機器5のデバイスIDを特定する。
一般的な家等の建物では、同一の無線LANルータ6に接続されている同一の機器種別情報を有する家電機器5は高々1つである。そこで、本実施形態では、固有情報取得部222は、同一の無線LANルータ6から取得できるデバイスIDの中には、1つの機器種別情報に対応するデバイスIDは1つしかないという仮定のもと、画像認識部231が特定した、撮像画像7に含まれる家電機器5の機器種別情報に基づいて、デバイスIDを特定する。
ここで、固有情報取得部232は、例えば、キャラクター管理DB330を参照し、撮像画像7に含まれる家電機器5の機器種別情報に対応するデバイスIDを特定することができる。
また、デバイスIDの一部が機器種別情報となっている場合、固有情報取得部232は、デバイスIDと共に機器種別情報を家電機器5から取得し、これを用いて撮像画像7に含まれる家電機器5のデバイスIDを特定してもよい。
(固有情報取得部232によるデバイスIDの取得の具体例2)
また、固有情報取得部232は、無線LANルータ6に接続されている全ての家電機器5に、画像認識部231が特定した、撮像画像7に含まれる家電機器5の機器種別情報を送信し、送信した機器種別情報と家電機器5自身の機器種別情報とが一致した場合にデバイスIDを固有情報取得部232に送信するように命令してもよい。ここで、上記の具体例1と同様に、固有情報取得部232は、同一の無線LANルータ6に接続されている同一の機器識別情報を有する家電機器5は高々1つであるとの仮定のもと、撮像画像7に含まれる家電機器5のデバイスIDを特定する。
(位置情報取得部233)
位置情報取得部233は、撮像位置情報を取得する。図1に示すように、位置情報取得部233は、GPS受信機2330を備えている。位置情報取得部233は、GPS受信機2330を利用することで、撮像画像7を撮像したときの端末装置2の現在位置を、撮像位置情報として取得することができる。
ここで、一般的な家等の建物では、同一の撮像位置から撮像可能な同一の機器識別情報を有する家電機器5は高々1つである。そこで、本実施形態では、同一の撮像位置情報を持つ撮像画像7に含まれる、同一の機器種別情報に対応する家電機器5は、同一の個体である、という仮定のもと、サーバ制御部32は、位置情報取得部233によって取得された撮像画像7に対応する撮像位置情報と、撮像画像7に含まれる家電機器5の機器種別情報とを参照して、家電機器5を一意に特定する。
なお、本実施形態では、位置情報取得部233は、撮像位置情報を取得することができれば、GPS受信機2330を備えていなくてもよい。
[端末情報取得部234]
端末情報取得部234は、端末情報入力部22から、アプリID及びパスワード等の端末識別情報、キャラクターID、情報ID及びキャラクター記憶情報等のキャラクター管理情報、並びに、発話情報等を取得する。
ここで、アプリIDは、端末装置2毎に固有のキャラクター管理情報を有するキャラクター8を対応させ、マイキャラ登録するための端末装置2のIDのことを指す。すなわち、アプリIDは、当該端末装置2を有しているユーザを識別するためのIDでもある。また、ここでいうパスワードとは、キャラクター8をマイキャラ登録するために必要となるパスワードのことを指す。
例えば、端末情報取得部234が、端末情報入力部22の端末音声入力部220から音声を受け付けたとする。この場合、端末情報取得部234は、周知の音声認識システムにより、当該音声をテキスト化する。続いて、端末情報取得部234は、周知のテキスト解析を行い、テキストからアプリID、パスワード及び発話内容等を抽出する。
また、端末情報取得部234が、端末情報入力部22のテキスト入力部221からテキストを受け付けたとする。この場合、端末情報取得部234は、周知のテキスト解析を行い、テキストからアプリID、パスワード又は発話内容等を抽出する。
端末情報入力部22において、ユーザがボタンを選択した場合は、端末情報取得部234は、選択されたボタンが示す情報を、端末情報として特定する。
[重畳画像生成部235]
重畳画像生成部235は、キャラクター管理情報を、端末通信部24を介して取得する。また、重畳画像生成部235は、キャラクター管理情報を参照して、表示部251に、キャラクター8の画像を撮像画像7に重畳して表示させる。
また、重畳画像生成部235は、キャラクター8の表示部251における表示位置を、家電機器5の機器種別情報、及び、家電機器5の表示部251における位置に応じて特定する。例えば、重畳画像生成部235は、図2に示すように、家電機器5に重畳して表示したり、家電機器5に隣接するように表示したりするように表示部251に表示させる。これにより、家電機器5とキャラクター8とが関連付けられていることがユーザに感じ取れるようになる。
より具体的には、重畳画像生成部235は、キャラクター管理情報を参照して、モデルデータ及び表示位置データを生成し、モデルデータからキャラクター8を生成する。モデルデータは、例えば、線分及び多角形等の組合せにより、立位状態の物体を表現するポリゴンデータである。重畳画像生成部235は、端末制御部23が決定した発話内容に応じて、モデルデータに含まれる、物体の位置、向き、首、腕及び足の角度等を示すデータを調整し、キャラクター8を生成する。
重畳画像生成部235は、撮像部21が取得した撮像画像7に、キャラクター8の画像を重畳させる。重畳画像生成部235は、例えば、キャラクター8のポリゴンデータに対してレンダリング処理を行うことにより、家電機器5の画像の撮影方向に応じたキャラクター8の画像を生成する。
ここで、家電機器5同士で機器識別情報が異なる場合には、それに応じてキャラクター管理情報も異なる。例えば、図3のキャラクター管理DB330に示すように、機器識別情報のうち、機器種別情報がオーブンレンジと冷蔵庫とで異なるとする。この場合、図3のキャラクター管理DB330に示すように、機器種別情報が異なるのに応じて、それぞれの家電機器5に対応するキャラクターの外見も異なる。その結果、重畳画像生成部235は、異なる外見のキャラクター8の画像を表示部251に表示させることができる。
このように、重畳画像生成部235によれば、機器識別情報に応じて、異なるキャラクター8の画像を表示部251に表示させることができる。
〔端末通信部24〕
端末通信部24は、サーバ3のサーバ通信部(通信部)31及び家電機器5の家電機器通信部50と通信するための通信インターフェースであり、無線通信を行うものである。
端末通信部24は、端末制御部23における機器識別情報特定部230で特定した機器識別情報をサーバ3に送信する。
ここで、図1に示すように、端末通信部24は、家電機器5と同一の無線LANルータ6のような無線LAN通信機器を介して、Wi−Fi(登録商標)接続されている。一方、端末通信部24は、複数の無線装置から構成されており、無線LANルータ6の他に、LTE等の広域無線通信を行う機能を有していてもよい。図1に示すように、端末通信部24は、サーバ3と通信を行うときは、無線LANルータ6を介さずに通信を行ってもよい。すなわち、端末通信部24は、広域無線通信を用いて、ネットワーク4を通じてサーバ通信部31と通信を行ってもよい。
なお、端末通信部24と家電機器通信部50とが無線LANルータ6を介して通信を行う代わりに、端末通信部24と家電機器通信部50とがBluetooth(登録商標)等を用いて直接通信を行ってもよい。
〔提示部25〕
提示部25は、撮像画像7に、キャラクター管理情報が反映されたキャラクター8の画像が重畳するように表示させるものである。提示部25は、図1に示すように、端末音声出力部250及び表示部251を備えている。
[端末音声出力部250]
端末音声出力部250は、音声を出力するものである。
端末音声出力部250が出力する音声内容としては、端末制御部23が、キャラクター管理情報を参照して決定した、ユーザに対するキャラクター8の発話内容が挙げられる。
例えば、図3の(a)に示すように、機器識別情報のうち、機器種別情報が同じオーブンレンジであっても、それ以外の情報が異なるとする。この場合、機器識別情報のうちの他の情報が異なることに応じて、それぞれの家電機器5に対応するキャラクターID等のキャラクター管理情報も異なる。
その結果、端末制御部23は、例えば、キャラクターIDがCH_0001である場合、端末音声出力部250に「僕はA太郎である」と出力させることができる。また、キャラクターIDがCH_0002である場合、端末制御部23は、端末音声出力部250に「僕はB太郎である」と出力させることができる。このように、キャラクター8の外見が同じであっても、キャラクターID等が異なる等、キャラクター管理情報が全体として異なる場合には、端末音声出力部250は、異なる音声内容を出力することができる。
このように、端末音声出力部250は、機器識別情報に応じて、異なる音声を出力することができる。
[表示部251]
表示部251は、重畳画像生成部235により特定されたキャラクター8を、家電機器5の撮像画像7と共に表示する。すなわち、表示部251は、重畳画像生成部235により重畳した画像を表示する。
また、表示部251は、重畳画像生成部235により特定された表示位置に、キャラクター8を表示する。表示部251は、例えば、ディスプレイである。
〔サーバ3〕
次に、本実施形態に係るサーバ3の構成について、図1を参照して説明する。図1に示すように、本実施形態に係るサーバ3は、サーバ通信部(通信部)31、サーバ制御部(制御部)32、及び、記憶部33を備えている。
上述の例では、サーバ3が1つのサーバによって実現される構成を例に挙げて説明するが、本実施形態はこれに限定されない。本実施形態では、サーバ3の備える各部(各機能)の少なくとも一部を、他のサーバにより実現する構成を採用してもよい。
〔サーバ通信部31〕
サーバ通信部31は、ネットワーク4を介して端末装置2の端末通信部24と通信し、無線LANルータ6を介して家電機器5の家電機器通信部50と通信するための通信インターフェースである。
なお、サーバ通信部31と無線LANルータ6との間の通信は、ネットワーク4を介して行われてもよい。また、端末装置2と家電機器5が無線LANルータ6を介さずに直接通信する場合には、サーバ通信部31は、端末装置2を介して家電機器5の家電機器通信部50と通信してもよい。
サーバ通信部31は、端末装置2の端末通信部24から機器識別情報を取得する。また、サーバ通信部31は、サーバ制御部(制御部)32によって特定されたキャラクター管理情報を端末装置2の端末通信部24に送信する。
〔サーバ制御部32及び記憶部33〕
サーバ制御部32は、キャラクター管理情報特定部320及び機器管理情報特定部321として機能する。
[キャラクター管理情報特定部320]
キャラクター管理情報特定部320は、機器識別情報を参照して、キャラクター管理情報を特定する。また、キャラクター管理情報特定部320は、キャラクター8とユーザとの対話の履歴を参照し、キャラクター管理情報を更新する。
より具体的には、キャラクター管理情報特定部320は、記憶部33に格納されているキャラクター管理DB330を参照し、機器識別情報に対応するキャラクター管理情報を特定する。また、キャラクター管理情報特定部320は、キャラクター8とユーザとの対話の履歴を参照し、記憶部33のキャラクター記憶DB331を更新する。
キャラクター管理情報特定部320は、特定したキャラクター管理情報を、サーバ通信部31を介して端末装置2に送信する。
このように、キャラクター管理情報特定部320は、機器識別情報に対応するキャラクター管理情報を特定することで、家電機器5と相関するキャラクター管理情報を特定することができる。また、キャラクター管理情報特定部320は、機器識別情報に対応するキャラクター管理情報を、サーバ通信部31を介して端末装置2に送信することができる。これにより、キャラクター管理情報特定部320は、端末装置2に、家電機器5と相関するキャラクター8の画像を撮像画像7に重畳して表示させることができる。その結果、キャラクター管理情報特定部320は、家電機器5とキャラクター8との相関を向上させることができる。
なお、キャラクター管理情報特定部320が参照するキャラクター管理DB330を備えた記憶部33は、キャラクター管理情報特定部320を備えているサーバ3とは別のサーバに格納されていてもよい。この場合、キャラクター管理情報特定部320は、ネットワーク4を介して別のサーバに格納された記憶部33のキャラクター管理DB330を参照することができる。また、キャラクター管理DB330は、複数の記憶部33に分散されていてもよく、複数のサーバに分散されていてもよい。これにより、1つのサーバ3にかかる負担を軽減しながらキャラクター管理情報を特定することができる。
〔キャラクター管理情報の特定〕
以下、サーバ制御部32のキャラクター管理情報特定部320によるキャラクター管理情報の特定について、図3の(a)を参照して説明する。
図3の(a)は、サーバ3の記憶部33に格納されているキャラクター管理DB330の一例を示す図である。
ここで、キャラクター管理情報特定部320が、機器種別情報以外にデバイスID及び撮像位置情報のうちの少なくとも1つの機器識別情報を取得していたとする。この場合、キャラクター管理情報特定部320は、機器種別情報に対応するキャラクターの外見、及び、デバイスID又は撮像位置情報に対応するキャラクターIDが、図3の(a)のキャラクター管理DB330内に存在するかどうかを検索する。
例えば、機器種別情報がオーブンレンジであり、デバイスIDがHE_1212であったとする。この場合、キャラクター管理情報特定部320は、キャラクターの外見がレンジ太郎であり、キャラクターIDがCH_0001である情報をキャラクター管理情報として特定する。
同様に、機器種別情報がオーブンレンジであり、撮像位置情報が、緯度35.6°、経度140.0°及び高度30mであったとする。この場合、キャラクター管理情報特定部320は、キャラクターの外見がレンジ太郎であり、キャラクターIDがCH_0001である情報をキャラクター管理情報として特定する。
また、キャラクター管理情報特定部320が、機器種別情報以外にデバイスID及び撮像位置情報のうちの何れの情報も取得していないとする。又は、デバイスID及び撮像位置情報に対応するキャラクターIDが存在していないとする。この場合、キャラクター管理情報特定部320は、キャラクターの外見のみからなる情報を、キャラクター8を特定するためのキャラクター管理情報として特定する。すなわち、キャラクター8を特定するための情報として、キャラクターの外見のみが反映される。
なお、キャラクターIDが存在しない場合とは、例えば、図3の(a)のキャラクター管理DB330の、デバイスID及び撮像位置情報に対応するキャラクターIDが空欄である場合が挙げられる。
また、キャラクター8を特定するための情報として、キャラクターの外見のみが反映されるとき、発話内容及び服装等のキャラクター管理情報は、一般的なものとなる。これは、キャラクターIDがキャラクター8に反映されていないためである。
例えば、キャラクターの外見が、図2に示すようなレンジを擬人化したレンジ太郎であるとする。この場合、当該レンジ太郎は、「僕はレンジ太郎です」等、「僕はA太郎です」等に比べて、キャラクター8を特定しない内容を話す。また、この場合、当該レンジ太郎は図2に示すようなエプロンを着用しており、ダウンジャケットを着ているレンジ太郎に比べて、外見のもとになった家電機器5から想定され易い服装となる。
例えば、機器種別情報がオーブンレンジであるとする。この場合、キャラクター管理情報特定部320は、キャラクターの外見がレンジ太郎である情報をキャラクター管理情報として特定する。このように、機器種別情報以外の機器識別情報を取得できていない場合でも、キャラクター管理情報特定部320は、家電機器5と相関するキャラクター管理情報を特定することができる。
〔キャラクター管理情報の特定の変更例1〕
なお、キャラクター管理情報特定部320は、キャラクターの外見のみからなる情報を、キャラクター8を特定するためのキャラクター管理情報として特定しなくてもよい。キャラクター管理情報特定部320は、代わりに、新たなキャラクターIDをキャラクター管理DB330上に作成してもよい。これにより、キャラクター管理情報特定部320は、キャラクターの外見及び新たなキャラクターIDを含む情報をキャラクター管理情報として特定することができる。
〔キャラクター管理情報の特定の変更例2〕
上述の例では、キャラクター管理情報特定部320は、図3の(a)のキャラクター管理DB330における機器識別情報を参照してキャラクター管理情報を特定している。ただし、本実施形態ではこれに限定されない。本実施形態では、キャラクター管理情報特定部320は、機器識別情報を参照せずにキャラクター管理情報を特定してもよい。
ここで、キャラクター管理情報とは、図3の(a)に示されるキャラクターID及びキャラクターの外見だけでなく、図3の(b)に示される情報ID及びキャラクター記憶情報等も含む。そのため、キャラクター管理情報特定部320は、図3の(b)のキャラクター記憶DB331を参照して、キャラクター管理情報を特定することができる。
例えば、キャラクター管理情報特定部320は、端末装置2から取得したキャラクターID及び情報IDに対応するキャラクター記憶情報をキャラクター記憶DB331から特定することができる。これにより、キャラクター管理情報特定部320は、特定したキャラクター記憶情報を含むキャラクター管理情報を、サーバ通信部31を介して端末装置2に送信することができる。その結果、端末装置2の端末制御部23は、キャラクター記憶情報が反映されたキャラクター8を、提示部25を介してユーザに提示することができる。
〔キャラクター管理情報の更新〕
また、キャラクター管理情報特定部320は、キャラクター管理情報を特定するだけでなく、キャラクター管理情報を更新することもできる。
すなわち、キャラクター管理情報特定部320による「キャラクター管理情報の特定」とは、既にキャラクター管理DB330及びキャラクター記憶DB331の何れかに存在するキャラクター管理情報を特定することに限定されない。キャラクター管理情報特定部320による「キャラクター管理情報の特定」とは、キャラクター管理DB330及びキャラクター記憶DB331の何れかにキャラクター管理情報を新たに追加することも含む。
以下、キャラクター管理情報特定部320による、キャラクター管理情報の更新について、図3の(b)を用いて説明する。
ここで、キャラクター管理情報の更新について説明する前に、まず、サーバ3の記憶部33に格納されている、図3の(b)のキャラクター記憶DB331について説明する。
[キャラクター記憶DB331]
図3の(b)は、キャラクター記憶DB331の一例を示す図である。
ここで、図3の(b)の情報IDとは、上述したように、キャラクター8が記憶している情報の種類を指す。例えば、図3の(b)のキャラクター記憶DB331が示す情報IDのうち、「情報ID1」は、ユーザの好物を指す。「情報ID2」は、ユーザが何をしている人かを指す。「情報ID10」は、キャラクター8が誰の家に住んでいるかを指す。「情報ID20」は、キャラクター8の現在の行動を指す。「情報ID38」は、ユーザの誕生日を指す。
また、図3の(b)のキャラクター記憶情報とは、上述したように、情報IDに対するキャラクター8の具体的な情報の内容を指す。例えば、図3の(b)のキャラクター記憶DB331が示すように、「情報ID1」(ユーザの好物)に対して、キャラクター記憶情報「魚」が対応付けられている。これにより、キャラクター管理情報は、「ユーザの好物は魚」として特定される。
なお、図3の(b)のキャラクター記憶DB331において、アプリIDが空欄である箇所については、キャラクター8自身に関する情報であることを意味する。
[キャラクター管理情報の更新の具体例1]
上述の説明を踏まえ、以下に、キャラクター管理情報の更新について具体例を用いながら説明する。
例えば、端末制御部23が、キャラクターID「CH_0001」が反映されたキャラクター8によって、「好きな食べ物はなんですか?」とユーザに質問させたとする。また、キャラクター管理情報特定部320が、サーバ通信部31を介して、ユーザの端末装置2から「お魚」という回答を取得したとする。この場合、キャラクター管理情報特定部320は、「お魚」という回答から「魚」というキーワードを抽出する。
続いて、キャラクター管理情報特定部320は、キャラクター8による「好きな食べ物はなんですか?」という質問に関する「情報ID1」(ユーザの好物)と、ユーザの回答から抽出した「魚」とを対応付ける。すなわち、キャラクター管理情報特定部320は、キャラクターID「CH_0001」と、「情報ID1」とに対応するキャラクター記憶情報を「魚」に特定する。
そして、キャラクター管理情報特定部320は、図3の(b)のキャラクター記憶DB331に示すように、当該対応関係をキャラクター記憶DB331に反映する。これにより、キャラクター記憶DB331のキャラクター管理情報が更新される。
[キャラクター管理情報の更新の具体例2]
上述の例では、端末制御部23は、キャラクターID「CH_0001」が反映されたキャラクター8によって、ユーザに特定の情報IDに関する質問をさせている。また、キャラクター管理情報特定部320は、当該質問に対するユーザからの回答を参照してキャラクター管理情報を特定している。
ただし、本実施形態はこれに限定されない。本実施形態では、キャラクター管理情報特定部320は、ユーザの端末装置2から取得したキャラクターIDと、情報IDと、キャラクター記憶情報とからキャラクター管理情報を特定してもよい。
ここで、キャラクターID、情報ID、及び、キャラクター記憶情報等のキャラクター管理情報について、キャラクター管理情報特定部320は、ユーザがテキスト入力部221を介して入力した情報を直接的に取得してもよい。また、例えば、ユーザが情報ID及びキャラクター記憶情報を端末情報入力部22に直接入力せず、「好きな食べ物は魚です」と発話したとする。この場合、キャラクター管理情報特定部320は、ユーザの回答から、情報IDを「情報ID1(ユーザの好物)」に特定し、且つ、キャラクター記憶情報を「魚」に特定してもよい。
このように、キャラクター管理情報特定部320が、キャラクターID、情報ID、及び、キャラクター記憶情報を取得した場合も、キャラクター記憶DB331のキャラクター管理情報を更新することができる。
[機器管理情報特定部321]
機器管理情報特定部321は、キャラクター管理情報を参照して、機器管理情報を特定する。
より具体的には、機器管理情報特定部321は、キャラクター管理情報及び機器管理DB332を参照して機器管理情報を特定する。ここでいう機器管理情報の特定には、上述のキャラクター管理情報の特定と同様に、新たに取得した情報をもとに、機器管理情報を更新する意味も含まれる。
機器管理情報特定部321は、特定した機器管理情報を、サーバ通信部31を介して家電機器5に送信する。
このように、機器管理情報特定部321は、キャラクター管理情報を参照して機器管理情報を特定することで、キャラクター8が有する情報と相関する情報を家電機器5に参照させることができる。また、機器管理情報特定部321は、キャラクター管理情報を参照して特定された機器管理情報を端末装置2に送信することができる。これにより、端末装置2の端末制御部23は、当該機器管理情報を参照して、キャラクター8が有する情報と相関するキャラクター8の画像を撮像画像7に重畳して表示することができる。このように、機器管理情報特定部321が機器管理情報を特定することで、結果的に家電機器5とキャラクター8との相関をより向上させることができる。
(機器管理情報の特定)
以下、機器管理情報特定部321によるキャラクター管理情報の特定及び更新について、図3の(c)の機器管理DB332を参照して説明する。
ここで、機器管理情報の特定について説明する前に、まず、サーバ3の記憶部33に格納されている、図3の(c)の機器管理DB332について説明する。
(機器管理DB332)
図3の(c)は、機器管理DB332の一例を示す図である。
ここで、図3の(c)の機器管理DB332に示すように、機器管理情報は、機器種別情報、デバイスID、機器動作情報及び機器記憶情報を含む。このように、機器管理情報とは、上述の機器識別情報の一部を含む情報であって、家電機器5の個体を特定し、且つ、提示態様を特定する情報である。機器種別情報及びデバイスIDは上述した機器識別情報に含まれるものと同様であるため、説明を省略する。
機器動作情報とは、撮像画像7に含まれる家電機器5の動作に関する情報であり、より厳密には、家電機器5の現在の動作状態を表す情報のことを指す。機器動作情報は、表3の(b)のキャラクター記憶DB331の「情報ID20」(キャラクター8の現在の行動)に関連している。機器記憶情報とは、家電機器5が作動する際に参照する情報のことを指し、キャラクター記憶DB331の情報ID及びキャラクター記憶情報に関連している。なお、図3の(c)から明らかなように、機器動作情報及び機器記憶情報は、タプル形式で複数の情報として機器管理DB332に格納されており、随時更新して追加可能となっている。
(機器管理情報の特定の具体例1)
上述の説明を踏まえ、以下に、機器管理情報の特定について具体例を用いながら説明する。
例えば、上述したように、端末制御部23が、キャラクターID「CH_0001」が反映されたキャラクター8によって、「好きな食べ物はなんですか?」とユーザに質問させたとする。また、キャラクター管理情報特定部320が、サーバ通信部31を介して、ユーザの端末装置2から「お魚」という回答を取得したとする。この場合、キャラクター管理情報特定部320は、キャラクターID「CH_0001」と、「情報ID1」(ユーザの好物)と、キャラクター記憶情報「魚」とを対応付け、キャラクター記憶DB331を更新する。
この場合、機器管理情報特定部321は、キャラクター管理DB330の情報IDとキャラクター記憶情報とを参照し、機器管理DB332の機器記憶情報に「ユーザの好物:魚」を追加する。続いて、機器管理情報特定部321は、「ユーザの好物:魚」という機器記憶情報に対応する機器動作情報のうち、「レシピ提案」を機器動作情報として特定する。
ここで、ユーザが「今日は何作ろうかな?」と家電機器5に語りかけたとする。この場合、機器管理情報特定部321は、「レシピ提案」という機器動作情報と、「ユーザの好物:魚」という機器記憶情報とを対応付け、機器管理情報を「サバの味噌煮はいかがでしょう?」に特定する。機器管理情報特定部321は、当該機器管理情報を、サーバ通信部31を介して家電機器5に送信し、家電機器5の家電機器音声出力部521から出力させる。
これにより、機器管理情報特定部321は、ユーザの「今日は何作ろうかな?」という語りかけに対し、家電機器5に「サバの味噌煮はいかがでしょう?」と回答させることができる。また、機器管理情報特定部321は、キャラクターID「CH_0001」のキャラクター8のキャラクター管理情報を家電機器5に参照させることができる。
このように、機器管理情報特定部321は、ユーザからの語りかけを起点に、所定のキャラクターIDを有するキャラクター8のキャラクター管理情報を参照して機器管理情報を特定することができる。また、機器管理情報特定部321は、ユーザからの語りかけを起点に、所定のキャラクターIDを有するキャラクター8のキャラクター管理情報を家電機器5に参照させることができる。
(機器管理情報の特定の具体例2)
上述の例では、機器管理情報特定部321は、ユーザからの語りかけを起点に、特定した機器管理情報を家電機器5から出力させる形態について説明した。ただし、本実施形態ではこれに限定されない。本実施形態では、機器管理情報特定部321は、ユーザからの語りかけを起点とすることなく、自発的に特定した機器管理情報を家電機器5から出力させてもよい。
例えば、端末装置2に表示されるキャラクター8のキャラクターIDが「CH_0001」であり、家電機器5のデバイスIDが「HE_1212」だったとする。この場合、機器管理情報特定部321は、図3の(b)の機器管理DB332のデバイスID「HE_1212」に対応する機器動作情報「レシピ提案」と、機器記憶情報「ユーザの誕生日:6月6日」とを対応付ける。
これにより、機器管理情報特定部321は、「今日は誕生日でしたよね?御馳走を作りましょう!」という情報を機器管理情報として特定する。続いて、機器管理情報特定部321は、当該機器管理情報をデバイスID「HE_1212」の家電機器5に送信する。そして、機器管理情報特定部321は、家電機器5の家電機器音声出力部521から「今日は誕生日でしたよね?御馳走を作りましょう!」とユーザに対して発話させる。すなわち、機器管理情報特定部321は、キャラクターID「CH_0001」のキャラクター8のキャラクター管理情報を家電機器5に参照させることができる。
このように、機器管理情報特定部321は、自発的に、所定のキャラクターIDを有するキャラクター8のキャラクター管理情報を参照して機器管理情報を特定することができる。また、機器管理情報特定部321は、自発的に、所定のキャラクターIDを有するキャラクター8のキャラクター管理情報を家電機器5に参照させることができる。
次に、機器管理情報特定部321が、キャラクター管理情報を家電機器5に参照させるプロセスを、以下の情報提供処理において、更に詳細に説明する。
〔情報提供処理〕
本実施形態に係る表示システム1における情報提供処理(情報提供方法)について、図4を参照して説明する。図4は、本実施形態に係る表示システム1における情報提供処理の流れの一例を示すシーケンス図である。
本実施形態に係る表示システム1は、以下に説明するステップS101〜S109を実行することによって、情報提供処理を行う。
ステップS101:図3の(b)に示すキャラクター記憶DB331が更新された場合、まず、サーバ3は、キャラクター記憶DB331を参照する。そして、サーバ3は、キャラクター記憶DB331に新たに追加されたキャラクターID、情報ID及びキャラクター記憶情報を取得する。
ステップS102:次に、サーバ3は、図3の(a)に示すキャラクター管理DB330を参照し、キャラクターIDに対応するデバイスIDを取得する。
ステップS103:サーバ3の機器管理情報特定部321は、取得した情報ID及びキャラクター記憶情報から、機器記憶情報を特定する。
例えば、情報IDが「情報ID1」(ユーザの好物)であり、キャラクター記憶情報が「魚」である場合、サーバ3の機器管理情報特定部321は、機器記憶情報を「ユーザの好物:魚」に特定する。
ステップS104:サーバ3の機器管理情報特定部321は、図3の(c)に示す機器管理DB332を参照し、デバイスIDと、特定した機器記憶情報とを対応付ける。これにより、サーバ3の機器管理情報特定部321は、機器管理情報を特定し、更新する。その結果、機器管理DB332が更新される。
このように、サーバ3の機器管理情報特定部321によれば、機器管理情報が既存のものでなくても、キャラクター管理情報を参照して、機器管理情報を更新することができる。このように、サーバ3の機器管理情報特定部321によれば、家電機器5とキャラクター8との相関をより向上させることができる。
ステップS105:サーバ3の機器管理情報特定部321が、更新した機器管理情報を家電機器5に送信する場合(ステップS105のYES)、ステップS107に進む。サーバ3の機器管理情報特定部321が、更新した機器管理情報を家電機器5に送信しない場合(ステップS105のNO)、ステップS106に進む。
ステップS106:機器管理情報特定部321が機器管理情報を家電機器5に送信しない場合、情報提供処理を終了する。
ステップS107:サーバ3の機器管理情報特定部321は、サーバ通信部31を介して、更新した機器管理情報を家電機器5に送信する(機器管理情報特定工程)。すなわち、サーバ3の機器管理情報特定部321は、家電機器5に機器管理情報を参照させ、特定の動作をするように命令する。
ステップS108:家電機器5は、家電機器通信部50を介して、サーバ3から機器管理情報を受信する。
ステップS109:家電機器5は、受信した機器管理情報を参照して作動する。
〔情報提供処理の変更例1〕
表示システム1におけるサーバ3の機器管理情報特定部321が、キャラクター管理情報を家電機器5に参照させる情報提供処理は、上述の例に限定されない。サーバ3の機器管理情報特定部321は、キャラクター記憶DB331が更新された場合以外でも、情報提供処理を行うことができる。
本実施形態に係る表示システム1における情報提供処理の変更例1について、図5を参照して説明する。図5は、本実施形態に係る表示システム1における情報提供処理の流れの一例を示すシーケンス図である。
本実施形態に係る表示システム1は、以下に説明するステップS121〜S128を実行することによっても、情報提供処理を行うことができる。
ステップS121:家電機器5の操作部52が、ユーザによるボタン等の押圧を受けつけ、キャラクター管理情報を利用するアプリを起動している場合について説明する。
ここで、家電機器5が、キャラクター管理情報を参照してユーザに自発的に発話する場合、家電機器5は、まず、家電機器通信部50を介して、自身のデバイスID及び機器動作情報をサーバ3に送信する。
ステップS122:サーバ3の機器管理情報特定部321は、サーバ通信部31を介して、家電機器5からデバイスID及び機器動作情報を受信する。
ステップS123:サーバ3の機器管理情報特定部321は、図3の(c)に示す機器管理DB332を参照する。ここで、既に機器管理DB332に受信したデバイスID及び機器動作情報が含まれていたとする。この場合、機器管理情報特定部321は、家電機器5が、既に機器管理DB332に存在する機器記憶情報等の情報を取得しようとしているように判断する。そして、機器管理情報特定部321は、デバイスIDに対応する機器記憶情報を取得する。図3の(c)から明らかなように、当該機器記憶情報は、例えば、「ユーザの好物:魚」、「ユーザの嫌いな物:野菜」、「天気:晴れ」及び「ユーザの誕生日:6月6日」等、複数の情報となっている。
なお、仮に、受信したデバイスID及び機器動作情報が、機器管理DB332に含まれていない場合、機器管理情報特定部321は、家電機器5が、情報の更新を行おうとしていると判断する。この場合、機器管理情報特定部321は、デバイスIDと、それに対応する機器動作情報のうち、機器管理情報特定部321に記載されていない情報を、機器管理DB332に追加する。
ステップS124:サーバ3の機器管理情報特定部321は、家電機器5から取得した特定の機器動作情報を参照する。そして、機器管理情報特定部321は、複数の機器記憶情報の中から、特定の機器動作情報と相関する機器記憶情報を選択し、特定する。例えば、機器動作情報が「レシピ提案」である場合、サーバ3の機器管理情報特定部321は、上述の複数の機器記憶情報のうち、「ユーザの好物:魚」を機器記憶情報に特定する。
ステップS125:サーバ3の機器管理情報特定部321は、取得した機器動作情報と、特定した機器記憶情報とを対応付け、機器管理情報を特定する。
例えば、キャラクターID「CH_0001」に対応するデバイスID「HE_1212」の家電機器5が取得した機器動作情報が「レシピ提案」であるとする。また、特定した機器記憶情報が「ユーザの好物:魚」であるとする。この場合、サーバ3の機器管理情報特定部321は、機器管理情報を「サバの味噌煮はいかがでしょう?」に特定する。
ステップS126:サーバ3の機器管理情報特定部321は、サーバ通信部31を介して、特定した機器管理情報を家電機器5に送信する(機器管理情報特定工程)。すなわち、サーバ3の機器管理情報特定部321は、家電機器5に機器管理情報を参照させ、特定の動作をするように命令する。
例えば、サーバ3の機器管理情報特定部321は、家電機器5の家電機器音声出力部521から、「サバの味噌煮はいかがでしょうか?」と音声出力する動作命令を出す。
ステップS127:家電機器5は、家電機器通信部50を介して、サーバ3から機器管理情報を受信する。
ステップS128:家電機器5は、受信した機器管理情報を参照して作動する。
このように、家電機器5から、デバイスID及び機器動作情報をサーバ3に送信するだけで、機器管理情報特定部321は、家電機器5に、具体的な内容の発話等を行う動作命令をすることができる。
〔情報提供処理の変更例2〕
表示システム1におけるサーバ3の機器管理情報特定部321は、以下に示すような場合でも、情報提供処理を行うことができる。
本実施形態に係る表示システム1における情報提供処理の変更例2について、図6を参照して説明する。図6は、本実施形態に係る表示システム1における情報提供処理の流れの一例を示すシーケンス図である。
本実施形態に係る表示システム1は、以下に説明するステップS141〜S150を実行することによっても、情報提供処理を行うことができる。
ステップS141:家電機器5の操作部52が、ユーザによるボタン等の押圧を受けつけ、キャラクター管理情報を利用するアプリを起動している場合について説明する。
まず、家電機器5が、ユーザから音声による質問等の音声入力を受け付けたとする。これにより、家電機器5の家電機器制御部51は、家電機器音声入力部520を介して音声データを取得する。
ステップS142:家電機器5の家電機器制御部51は、家電機器通信部50を介して、自身のデバイスID及び取得した音声データを送信する。
ステップS143:サーバ3の機器管理情報特定部321は、サーバ通信部31を介して、家電機器5からデバイスID及び音声データを受信する。
ステップS144:サーバ3の機器管理情報特定部321は、周知の音声認識システムにより、音声データから機器動作情報を特定する。例えば、音声データが「今日は何作ろうかな?」である場合、サーバ3の機器管理情報特定部321は、音声データからキーワード「何」及び「作ろう」を抽出する。続いて、サーバ3の機器管理情報特定部321は、図3の(c)の機器管理DB332を参照する。そして、サーバ3の機器管理情報特定部321は、複数の機器動作情報の中から、当該キーワードに近い分野の動作情報である「レシピ提案」を機器動作情報として特定する。
ステップS145:サーバ3の機器管理情報特定部321は、図3の(c)の機器管理DB332を参照し、取得したデバイスIDに対応する複数の機器記憶情報を取得する。例えば、デバイスIDが「HE_1212」である場合、サーバ3の機器管理情報特定部321は、「ユーザの好物:魚」、「ユーザの嫌いな物:野菜」、「天気:晴れ」及び「ユーザの誕生日:6月6日」という機器記憶情報を取得する。
ステップS146:サーバ3の機器管理情報特定部321は、複数の機器記憶情報の中から、機器動作情報と相関する機器記憶情報を選択し、特定する。例えば、機器動作情報が「レシピ提案」である場合、機器管理情報特定部321は、上述の複数の機器記憶情報のうち、「ユーザの好物:魚」を機器記憶情報として特定する。
ステップS147:サーバ3の機器管理情報特定部321は、取得した機器動作情報と、特定した機器記憶情報とを対応付け、機器管理情報として特定する。例えば、キャラクターID「CH_0001」に対応するデバイスID「HE_1212」の家電機器5が取得した機器動作情報が「レシピ提案」であるとする。また、特定した機器記憶情報が「ユーザの好物:魚」であるとする。この場合、機器管理情報特定部321は、機器管理情報を「サバの味噌煮はいかがでしょう?」に特定する。
ステップS148:サーバ3の機器管理情報特定部321は、サーバ通信部31を介して、特定した機器管理情報を家電機器5に送信する(機器管理情報特定工程)。すなわち、サーバ3の機器管理情報特定部321は、家電機器5に機器管理情報を参照させ、特定の動作をするように命令する。例えば、サーバ3の機器管理情報特定部321は、家電機器5の家電機器音声出力部521から、「サバの味噌煮はいかがでしょうか?」と音声出力する動作命令を出す。
ステップS149:家電機器5は、家電機器通信部50を介して、サーバ3から機器管理情報を受信する。
ステップS150:家電機器5は、受信した機器管理情報を参照して作動する。
以上のことから、表示システム1におけるサーバ3の機器管理情報特定部321は、家電機器5に、音声入力を受け付けたときに、キャラクター管理情報を参照させて発話等の動作をさせることができる。
〔情報提供処理の変更例3〕
サーバ3の機器管理情報特定部321は、以下に示すような場合でも、情報提供処理を行うことができる。
本実施形態に係る表示システム1における情報提供処理の変更例3について、図7を参照して説明する。図7は、本実施形態に係る表示システム1における情報提供処理の流れの一例を示すシーケンス図である。
本実施形態に係る表示システム1は、以下に説明するステップS161〜S169を実行することによっても、情報提供処理を行うことができる。
ステップS161:以下、1日毎等、定期的なタイミング、又は、地震速報が流れたとき若しくはユーザの誕生日等、特定のタイミングで、サーバ3が、家電機器5に動作命令を出す形態について説明する。
まず、サーバ3の機器管理情報特定部321は、図3の(b)のキャラクター記憶DB331の情報IDを決定する。また、サーバ3の機器管理情報特定部321は、当該情報IDに対応するキャラクターID及びキャラクター記憶情報を検索する。
例えば、ユーザの誕生日が訪れた場合、サーバ3の機器管理情報特定部321は、キャラクター記憶DB331を参照し、「情報ID38」(ユーザの誕生日)に対応するキャラクターID及びキャラクター記憶情報を検索する。
ステップS162:サーバ3の機器管理情報特定部321が、情報IDに対応するキャラクターID及びキャラクター記憶情報を見つけることができた場合(ステップS162のYES)、ステップS164に進む。サーバ3の機器管理情報特定部321が、情報IDに対応するキャラクターID及びキャラクター記憶情報を見つけることができなかった場合(ステップS162のNO)、ステップS163に進む。
例えば、情報IDが「情報ID38」(誕生日)である場合、サーバ3の機器管理情報特定部321は、キャラクターIDを「CH_0004」に、キャラクター記憶情報を「6月6日」に特定することができる。
キャラクターID及びキャラクター記憶情報を見つけることができない場合とは、キャラクター記憶DB331の情報IDに対応するキャラクターID及びキャラクター記憶情報の少なくとも何れかが空欄である場合を指す。
ステップS163:サーバ3の機器管理情報特定部321が、情報IDに対応するキャラクターID及びキャラクター記憶情報を見つけることができなかった場合、処理を終了する。
ステップS164:サーバ3の機器管理情報特定部321は、図3の(a)のキャラクター管理DB330を参照し、キャラクターIDに対応するデバイスIDを特定する。
ステップS165:サーバ3の機器管理情報特定部321は、取得した情報ID及びキャラクター記憶情報から、機器記憶情報を特定する。
例えば、情報IDが「情報ID38」(ユーザの誕生日)であり、キャラクター記憶情報が「6月6日」である場合、サーバ3の機器管理情報特定部321は、機器記憶情報を「ユーザの誕生日:6月6日」に特定する。
ステップS166:サーバ3の機器管理情報特定部321は、図3の(c)に示す機器管理DB332を参照し、デバイスIDと、機器記憶情報とを対応付ける。これにより、サーバ3の機器管理情報特定部321は、機器管理情報を特定する。
例えば、デバイスIDが「HE_1212」であり、機器記憶情報が「ユーザの誕生日6月6日」である場合、サーバ3の機器管理情報特定部321は、機器管理情報を「今日は誕生日でしたよね?御馳走を作りましょう!」に特定する。
ステップS167:サーバ3の機器管理情報特定部321は、サーバ通信部31を介して、特定した機器管理情報を家電機器5に送信する(機器管理情報特定工程)。すなわち、サーバ3の機器管理情報特定部321は、家電機器5に機器管理情報を参照させ、特定の動作をするように命令する。
例えば、サーバ3の機器管理情報特定部321は、家電機器5の家電機器音声出力部521から、「今日は誕生日でしたよね?御馳走を作りましょう!」と音声出力する動作命令を出す。
ステップS168:家電機器5は、家電機器通信部50を介して、サーバ3から機器管理情報を受信する。
ステップS169:家電機器5は、受信した機器管理情報を参照して作動する。
このように、サーバ3の機器管理情報特定部321は、特定のタイミングで、家電機器5に、キャラクター管理情報を参照させて自発的に発話等の動作をさせることができる。
このように、本実施形態に係るサーバ3は、撮像画像7にキャラクター8の画像を重畳して表示する端末装置2に対して情報を提供するサーバ3であって、サーバ通信部31と、サーバ制御部32とを備え、サーバ制御部32は、撮像画像7に含まれる家電機器5の個体を特定する機器識別情報を参照して、キャラクター8の提示態様を管理するキャラクター管理情報を特定し、特定したキャラクター管理情報を、サーバ通信部31を介して端末装置2に送信するか、又は、キャラクター管理情報を参照して、家電機器5の提示態様を特定する機器管理情報を特定し、特定した機器管理情報を、サーバ通信部31を介して家電機器5に送信する。
サーバ3のサーバ制御部32は、機器識別情報を参照して特定したキャラクター管理情報を端末装置2に送信するか、又は、キャラクター管理情報を参照して特定した機器管理情報を家電機器5に送信する。そのため、キャラクター8の提示態様と家電機器5の提示態様とは、相関するものとなる。これにより、サーバ3は、キャラクター8と家電機器5との相関をより向上させることができる。
また、本実施形態に係るサーバ3では、サーバ制御部32は、機器識別情報を参照して、キャラクター管理情報を更新するか、又は、キャラクター管理情報を参照して、機器管理情報を更新するかの少なくとも何れかの制御を行う。
サーバ3のサーバ制御部32は、キャラクター管理情報が既存のものでなくても、機器識別情報を参照して、キャラクター管理情報を更新することができる。また、サーバ3のサーバ制御部32は、機器識別情報が既存のものでなくても、キャラクター管理情報を参照して、機器識別情報を更新することができる。これにより、サーバ3は、キャラクター8と家電機器5との相関をより向上させることができる。
また、本実施形態に係るサーバ3では、機器識別情報は、撮像画像7に含まれる家電機器5の外見から得られる種別情報である機器種別情報を含む。
サーバ3のサーバ制御部32は、機器識別情報のうち、機器種別情報と相関するキャラクター管理情報を特定することができる。また、サーバ3のサーバ制御部32は、機器種別情報に対応するキャラクター管理情報を端末装置2に送信することができる。これにより、サーバ制御部32を含むサーバ3は、端末装置2に、家電機器5の機器種別情報と相関するキャラクター8の画像を撮像画像7に重畳して表示させることができる。これにより、サーバ3は、家電機器5とキャラクター8との相関を更に向上させることができる。
また、本実施形態に係るサーバ3では、機器識別情報は、撮像画像7の撮像位置情報を更に含む。
サーバ3のサーバ制御部32は、機器識別情報のうち、撮像位置情報に更に相関するキャラクター管理情報を特定することができる。また、サーバ3のサーバ制御部32は、機器種別情報に加え、撮像位置情報に更に対応するキャラクター管理情報を端末装置2に送信することができる。これにより、サーバ制御部32を含むサーバ3は、端末装置2に、家電機器5の撮像位置情報に更に相関するキャラクター8の画像を撮像画像7に重畳して表示させることができる。これにより、サーバ3は、家電機器5とキャラクター8との相関を更に向上させることができる。
また、本実施形態に係るサーバ3では、機器識別情報は、撮像画像7に含まれる家電機器5との通信により得られるデバイスIDを更に含む。
サーバ3のサーバ制御部32は、機器識別情報のうち、デバイスIDに更に相関するキャラクター管理情報を特定することができる。また、サーバ3のサーバ制御部32は、機器種別情報に加え、デバイスIDに更に対応するキャラクター管理情報を端末装置2に送信することができる。これにより、サーバ制御部32を含むサーバ3は、端末装置2に、家電機器5のデバイスIDに更に相関するキャラクター8の画像を撮像画像7に重畳して表示させることができる。これにより、サーバ3は、家電機器5とキャラクター8との相関を更に向上させることができる。
また、本実施形態に係る端末装置2は、撮像部21と提示部25と端末制御部23と端末通信部24とを備える端末装置2であって、提示部25は表示部251を備え、端末制御部23は、撮像画像7に含まれる家電機器5の個体を特定する機器識別情報を参照して特定された、キャラクター8の提示態様を管理するキャラクター管理情報を、端末装置2に情報を提供するサーバ3から取得して、表示部251に、撮像部21による撮像画像7にキャラクター8の画像が重畳するように表示させるか、又は、家電機器5の個体を識別する機器識別情報を、端末通信部24を介してサーバ3に送信するかの少なくとも何れかの制御を行う。
本実施形態に係る端末装置2によれば、家電機器5に相関するキャラクター8の画像を撮像画像7に重畳して表示させることができる。これにより、端末装置2は、家電機器5とキャラクター8との相関をより向上させることができる。
また、本実施形態に係る端末装置2では、機器識別情報は、家電機器5の提示態様を特定する機器管理情報を特定するために参照されるキャラクター管理情報に対応している。
機器識別情報が、家電機器5の提示態様を特定する機器管理情報を特定するために参照されるキャラクター管理情報に対応している場合、家電機器5とキャラクター8との相関をさらに向上させることができる。
また、本実施形態に係る表示システム1は、サーバ3と端末装置2とを含む表示システム1であって、端末装置2は、撮像部21と提示部25と端末制御部23と端末通信部24とを備え、サーバ3は、サーバ通信部31とサーバ制御部32とを備え、サーバ制御部32は、撮像画像7に含まれる家電機器5の個体を特定する機器識別情報を参照して、キャラクター8の提示態様を管理するキャラクター管理情報を特定し、特定したキャラクター管理情報を、サーバ通信部31を介して端末装置2に送信するか、又は、キャラクター管理情報を参照して、家電機器5の提示様態を特定する機器管理情報を特定し、特定した機器管理情報を、サーバ通信部31を介して家電機器5に送信するかの、少なくとも何れかの制御を行い、端末制御部23は、キャラクター管理情報を参照して、表示部251に、撮像部21による撮像画像7にキャラクター8の画像が重畳するように表示させる。
本実施形態に係る表示システム1によれば、家電機器5に相関するキャラクター8の画像を撮像画像7に重畳して表示させることができる。これにより、表示システム1は、家電機器5とキャラクター8との相関をより向上させることができる。
また、本実施形態に係る情報提供方法は、撮像画像7にキャラクター8の画像を重畳して表示する端末装置2に対して情報を提供する情報提供方法であって、撮像画像7に含まれる家電機器5の個体を特定する機器識別情報を参照して、キャラクター8の提示態様を管理するキャラクター管理情報を特定し、特定したキャラクター管理情報を、端末装置2に送信するキャラクター管理情報特定工程、及び、キャラクター管理情報を参照して、家電機器5の提示態様を特定し、特定した機器識別情報を、家電機器5に送信する機器管理情報特定工程のうちの少なくとも一方の工程を含む。
本実施形態に係る情報提供方法によれば、家電機器5に相関するキャラクター8の画像を撮像画像7に重畳して表示させることができる。これにより、情報提供方法は、家電機器5とキャラクター8との相関をより向上させることができる。
<実施形態2>
実施形態1では、サーバ3のサーバ制御部32は、キャラクター管理情報を参照して機器管理情報を特定している。ただし、サーバ制御部は、実施形態2のサーバ30(不図示)のサーバ制御部34(不図示)のように、サーバ制御部32の機能の代わりに、又は、サーバ制御部32の機能に加えて、別の機能を備えていてもよい。
〔表示システム10〕
本実施形態に係る表示システム10(不図示)は、サーバ3の代わりに、サーバ30を備えている。サーバ30は、サーバ制御部32の代わりに、サーバ制御部34を備えている。サーバ制御部34は、キャラクター管理情報特定部320の代わりに、キャラクター管理情報特定部340を備えている。これらの点以外は、サーバ30は、サーバ3と同様の構成である。
〔サーバ30〕
サーバ30は、サーバ制御部34を備えている。
サーバ制御部34のキャラクター管理情報特定部340は、サーバ制御部32のキャラクター管理情報特定部320の有する機能に加えて、別の機能を備えている。当該別の機能は、機器管理情報を参照して、キャラクター管理情報を特定する機能である。
キャラクター管理情報特定部340は、機器管理情報を参照してキャラクター管理情報を特定し、端末装置2に送信する。これにより、端末装置2の撮像画像7に重畳して表示されるキャラクター8の画像は、家電機器5の提示態様に相関するものとなる。このように、キャラクター管理情報特定部340は、家電機器5に相関するキャラクター8の画像を撮像画像7に重畳して表示させることができる。
より具体的には、キャラクター管理情報特定部340は、機器動作情報に応じて、キャラクター8の提示態様を変更する。
これにより、キャラクター管理情報特定部340は、家電機器5の動作と、キャラクター8の動作とを、リアルタイムで連動させることができる。
[キャラクター管理情報特定部340の機能の具体例1]
以下、図3の(a)〜(c)を用いて、キャラクター管理情報特定部340の機能の具体例を説明する。
例えば、家電機器5が音楽再生を開始する場合、家電機器5は、キャラクター管理情報特定部340に、デバイスID「HE_3333」及び機器動作情報「音楽再生」を送信する。
当該デバイスID及び機器動作情報を取得したキャラクター管理情報特定部340は、図3の(a)のキャラクター管理DB330を参照し、デバイスID「HE_3333」に対応する「CH_0002」をキャラクターIDに特定する。また、キャラクター管理情報特定部340は、機器動作情報「音楽再生」に関連する「情報ID20」(キャラクター8の現在の行動)及び「音楽鑑賞」を情報ID及びキャラクター記憶情報に特定する。
ここで、キャラクター記憶DB331のキャラクターID「CH_0002」に対し、「情報ID20」と、キャラクター記憶情報「音楽鑑賞」とが対応付けられていないとする。この場合、キャラクター管理情報特定部340は、図3の(b)のキャラクター記憶DB331に示すように、当該対応関係をキャラクター記憶DB331に反映し、キャラクター記憶DB331を更新する。
このように、キャラクター管理情報特定部340は、キャラクター管理情報が既存のものでなくても、機器管理情報を参照して、キャラクター管理情報を更新することができる。その結果、キャラクター管理情報特定部340は、家電機器5とキャラクター8との相関をより向上させることができる。
なお、図3の(b)のキャラクター記憶DB331にアプリIDが記載されていない場合、キャラクター記憶DB331のキャラクター管理情報は、キャラクター8自身に関する情報を意味する。アプリIDが記載されている場合は、キャラクター記憶DB331に記載されている情報は、例えば、ユーザとキャラクター8との対話により、更新された情報を意味する。
キャラクター記憶DB331を更新後、キャラクター管理情報特定部340は、特定した「情報ID20」(キャラクター8の現在の行動)及びキャラクター記憶情報「音楽鑑賞」を端末装置2に送信する。端末装置2の端末制御部23は、家電機器5の音楽再生時に、当該情報ID及びキャラクター記憶情報を参照し、キャラクター8の提示態様を「音楽鑑賞」等に変更する。これにより、キャラクター管理情報特定部340は、家電機器5が音楽再生をしている最中に、キャラクターID「CH_0002」のキャラクター8にも音楽鑑賞させることができる。
また、家電機器5による音楽再生終了時には、キャラクター管理情報特定部340は、「情報ID20」(キャラクター8の現在の行動)及びキャラクター記憶情報「待機」を端末装置2に送信する。これにより、キャラクター管理情報特定部340は、家電機器5の動作と連動して、キャラクター8の音楽鑑賞の動作を終了させることができる。なお、ここでいう「待機」とは、前回までの動作を止めた状態で、次の状態まで待機するという動作状態を指す。
[キャラクター管理情報特定部340の機能の具体例2]
また、キャラクター管理情報特定部340は、1秒毎等、定期的にキャラクター記憶DB331に問い合わせることを繰り返し、キャラクター8の提示態様を変更するか否かを決定してもよい。
例えば、キャラクターIDが反映されたキャラクター8を表示中であるとき、端末装置2は、定期的に、サーバ30のキャラクター管理情報特定部340にキャラクターIDを送信する。
キャラクター管理情報特定部340は、キャラクター記憶DB331を参照し、取得したキャラクターIDに対応する情報ID及びキャラクター記憶情報が更新されているかどうかを確認する。また、キャラクター管理情報特定部340は、取得したキャラクターIDに対応する情報ID及びキャラクター記憶情報が、機器動作情報に関連しているかどうかを確認する。
ここで、取得したキャラクターIDに対応する情報ID及びキャラクター記憶情報が新たに追加されており、当該情報ID及びキャラクター記憶情報が、機器動作情報に関連していたとする。この場合、キャラクター管理情報特定部340は、新たに追加された情報ID及びキャラクター記憶情報を新たなキャラクター管理情報として特定する。そして、キャラクター管理情報特定部340は、当該キャラクター管理情報を端末装置2に送信する。端末装置2の端末制御部23は、当該キャラクター管理情報を参照し、キャラクター8の提示態様を変更する。
このように、キャラクター管理情報特定部340は、定期的にキャラクター記憶DB331に問い合わせることができる。これにより、キャラクター管理情報特定部340は、家電機器5の動作をキャラクター8の動作によりリアルタイムで反映させることができる。
〔情報提供処理〕
本実施形態に係る表示システム10における情報提供処理(情報提供方法)について、図8を参照して説明する。図8は、本実施形態に係る表示システム10における情報提供処理の流れの一例を示すシーケンス図である。
本実施形態に係る表示システム10は、以下に説明するステップS201〜S211を実行することによって、情報提供処理を行う。
ステップS201:家電機器5が新たな動作を開始したとする。この場合、家電機器5は、当該家電機器5自身のデバイスID及び機器動作情報を、家電機器通信部50を介してサーバ30に送信する。
ステップS202:サーバ30の機器管理情報特定部321は、デバイスID及び機器動作情報を、サーバ通信部31を介して家電機器5から受信する。
ステップS203:サーバ30の機器管理情報特定部321は、図3の(c)の機器管理DB332を参照し、デバイスIDと、機器動作情報とを対応付ける。これにより、サーバ30の機器管理情報特定部321は、機器管理情報を特定し、更新する。その結果、機器管理DB332が更新される。
ステップS204:サーバ30のキャラクター管理情報特定部340が、更新した機器管理情報における機器動作情報に応じてキャラクター8の提示態様を変更する場合(ステップS204のYES)、ステップS206に進む。サーバ30のキャラクター管理情報特定部340が、更新した機器管理情報における機器動作情報に応じてキャラクター8の提示態様を変更しない場合(ステップS204のNO)、ステップS205に進む。
ステップS205:サーバ30のキャラクター管理情報特定部340が、更新した機器管理情報における機器動作情報に応じてキャラクター8の提示態様を変更しない場合、情報提供処理を終了する。
ステップS206:サーバ30のキャラクター管理情報特定部340は、図3の(a)のキャラクター管理DB330を参照し、デバイスIDに対応するキャラクターIDを特定する。
例えば、デバイスIDが「HE_3333」であるとき、サーバ30のキャラクター管理情報特定部340は、キャラクターIDを「CH_0002」に特定する。
ステップS207:また、サーバ30のキャラクター管理情報特定部340は、機器動作情報から、情報ID及びキャラクター記憶情報を特定する。
例えば、機器動作情報が「音楽再生」である場合、サーバ30のキャラクター管理情報特定部340は、機器動作情報「音楽再生」に関連する「情報ID20」(キャラクター8の現在の行動)及び「音楽鑑賞」を情報ID及びキャラクター記憶情報に特定する。
ステップS208:サーバ30のキャラクター管理情報特定部340は、キャラクターIDと、情報ID及びキャラクター記憶情報とを対応付ける。これにより、サーバ30のキャラクター管理情報特定部340は、キャラクター管理情報を特定し、更新する。その結果、キャラクター記憶DB331が更新される。
例えば、図3の(b)のキャラクター記憶DB331に示すように、キャラクター管理情報特定部340は、「CH_0002」、「情報ID20」(キャラクター8の現在の行動)及びキャラクター記憶情報「音楽鑑賞」をキャラクター管理情報として特定する。
ステップS209:サーバ30のキャラクター管理情報特定部340は、サーバ通信部31を介して、特定した情報ID及びキャラクター記憶情報を端末装置2に送信する(キャラクター管理情報特定工程)。
このように、サーバ30のキャラクター管理情報特定部340は、キャラクター管理情報が既存のものでなくても、機器管理情報を参照して、キャラクター管理情報を更新することができる。このように、サーバ3のキャラクター管理情報特定部340によれば、家電機器5とキャラクター8との相関をより向上させることができる。これにより、サーバ30は、家電機器5とキャラクター8との相関をより向上させることができる。
ステップS210:端末装置2は、端末通信部24を介して、サーバ30のキャラクター管理情報特定部340から情報ID及びキャラクター記憶情報を受信する。
ステップS211:端末装置2の端末制御部23は、更新された情報ID及びキャラクター記憶情報を参照して、キャラクター8の提示態様を変更する。これにより、端末装置2の端末制御部23は、キャラクター8の動作に、家電機器5の動作をリアルタイムで反映させることができる。
また、本実施形態に関わるサーバ30では、サーバ制御部34は、撮像画像7に含まれる家電機器5の動作に関する情報である機器動作情報に応じて、キャラクター8の提示態様を変更する。
サーバ制御部34は、機器動作情報に応じて、キャラクター8の提示態様を変更する。そのため、サーバ制御部34は、家電機器5の動作と、キャラクター8の動作とを、リアルタイムで連動させることができる。これにより、サーバ30は、家電機器5とキャラクター8との相関を更に向上させることができる。
また、本実施形態に係る端末装置2では、端末制御部23は、撮像画像7に含まれる家電機器5の動作に関する情報である機器動作情報に応じて変更されたキャラクター8の提示態様を参照して、表示部251に、撮像部21による撮像画像7にキャラクター8の画像が重畳するように表示させる。
端末制御部23は、機器動作情報に応じて変更されたキャラクター8の提示態様を参照して、表示部251に、キャラクター8の画像を表示させることができる。これにより、端末制御部23は、表示部251に表示されたキャラクター8の動作を、家電機器5の動作に、リアルタイムで連動させることができる。これにより、端末装置2は、家電機器5とキャラクター8との相関を更に向上させることができる。
<実施形態3>
実施形態3に係る表示システム100のサーバ制御部35(不図示)のように、サーバ制御部は、サーバ制御部32又は34の機能に加えて、更なる機能を備えていてもよい。
〔表示システム100〕
本実施形態に係る表示システム100(不図示)は、サーバ3又は30の代わりに、サーバ300(不図示)を備えている。サーバ300は、サーバ制御部32又は34の代わりに、サーバ制御部35を備えている。サーバ制御部35は、キャラクター管理情報特定部320又は340の代わりに、キャラクター管理情報特定部350を備えている。これらの点以外は、サーバ300は、サーバ3又は30と同様の構成である。
〔サーバ300〕
サーバ300は、サーバ制御部35(不図示)を備えている。
サーバ制御部35のキャラクター管理情報特定部350(不図示)は、アプリID及びパスワード等の端末情報と、キャラクター8とユーザとの対話履歴から得られるキャラクター記憶情報と、を参照する。これにより、キャラクター管理情報特定部350は、キャラクター8の発話内容を決定する。
キャラクター管理情報特定部350は、決定したキャラクター8の発話内容のデータを端末装置2に送信する。これにより、端末装置2の端末制御部23は、発話内容のデータを、端末音声出力部250又は表示部251等の提示部25から出力することができる。その結果、端末装置2の端末制御部23は、あたかも、キャラクター8が、ユーザとの対話に応じて発話したかのようにユーザに認識させることができる。
なお、上述したように、キャラクター8の発話内容の出力は、端末音声出力部250による音声出力に限定されず、表示部251からの出力であってもよい。例えば、端末制御部23は、「魚が好きだったよね!」という発話内容を、端末音声出力部250から音声出力してもよいし、テキスト形式で表示部251に表示させてもよい。
[キャラクター管理情報特定部350の機能の具体例1]
以下、図3の(a)及び(b)を用いて、キャラクター管理情報特定部350の機能の具体例を説明する。
例えば、端末制御部23が、キャラクター8によって、「好きな食べ物はなんですか?」とユーザに質問させたとする。また、これに対し、ユーザが端末音声入力部220又はテキスト入力部221等の端末情報入力部22を介して「お魚かな」と回答したとする。この場合、キャラクター管理情報特定部350は、実施形態1及び2と同様に、キャラクターID「CH_0001」と、「情報ID1」(ユーザの好物)とに対応するキャラクター記憶情報を「魚」に特定する。また、キャラクター管理情報特定部350は、図3の(b)のキャラクター記憶DB331を更新する。
ここで、キャラクター管理DB330のキャラクターID「CH_0001」に対応するアプリIDの欄に、ユーザが使用中の端末装置2のアプリID「AP_0011」があるとする。この場合、キャラクター管理情報特定部350は、キャラクター8を、ユーザの端末装置2毎に割り当てられる、固有のキャラクター管理情報を有するキャラクター8に特定することができる。すなわち、キャラクター管理情報特定部350は、キャラクター8を、端末装置2に個別に割り当てられるマイキャラに特定することができる。
このように、キャラクター8がマイキャラに特定された場合、キャラクター管理情報特定部350は、ユーザに対するマイキャラの発話内容を、一般的なキャラクター8と異ならせることができる。
例えば、ユーザが使用中の端末装置2のアプリIDが「AP_0011」であり、キャラクターID「CH_0001」のキャラクター8が表示部251に表示されているとする。この場合、キャラクター管理情報特定部350は、図3の(b)のキャラクター記憶DB331における、キャラクターIDが「CH_0001」であるキャラクター管理情報を参照する。これにより、キャラクター管理情報特定部350は、キャラクター8の発話内容を決定する。
ここで、キャラクター8がマイキャラであるとする。この場合、キャラクター管理情報特定部350は、プライバシー情報を含むキャラクター管理情報も参照して発話内容を決定することができる。
例えば、キャラクター管理情報特定部350は、図3の(b)のキャラクター記憶DB331を参照し、マイキャラの発話内容を「魚が好きだったよね!」に決定することができる。また、キャラクター管理情報特定部350は、マイキャラの発話内容を「僕レンジ太郎!Aさんの家のレンジに住んでるよ!」に決定することができる。
また、ユーザがマイキャラに対して「千葉出身」である旨の回答をしたとする。この場合、キャラクター管理情報特定部350は、ユーザの「千葉出身」という情報を、プライバシー情報を含むキャラクター管理情報としてキャラクター記憶DB331に新たに追加することができる。
以上のように、キャラクター管理情報特定部350は、アプリIDと、キャラクター記憶情報とを参照して、キャラクター8の発話内容を決定する。そのため、キャラクター管理情報特定部350は、端末装置2毎にキャラクター8の発話内容を異ならせることができる。
[キャラクター管理情報特定部350の機能の具体例2]
(キャラクター管理情報特定部350の機能の具体例2−1)
上述の例では、キャラクター8がマイキャラである場合におけるキャラクター管理情報特定部350の機能を説明した。ただし、キャラクター管理情報特定部350の機能は、キャラクター8が他人のマイキャラであって、ユーザ自身のマイキャラでない場合にも応用することができる。
例えば、ユーザの端末装置2のアプリIDが「AP_0600」であり、キャラクターID「CH_0002」のキャラクター8が表示部251に表示されているとする。また、図3の(a)のキャラクター管理DB330のように、キャラクターID「CH_0002」に対応するアプリIDの欄に、アプリID「AP_0600」がなかったとする。
この場合、キャラクター管理情報特定部350は、図3の(b)のキャラクター記憶DB331を参照したとき、プライバシー情報が含まれるものを発話内容に決定しない。すなわち、キャラクター管理情報特定部350は、キャラクターID「CH_0002」に対応するキャラクター管理情報のうち、プライバシー情報を含まないものを参照し、発話内容を決定する。例えば、キャラクター管理情報特定部350は、「僕レンジ太郎!いま音楽鑑賞中だよ!」を発話内容に決定することができるが、「肉が好きだったよね!」を発話内容に決定することができない。
このような構成によっても、キャラクター管理情報特定部350は、アプリIDと、キャラクター記憶情報とを参照して、キャラクター8の発話内容を決定する。そのため、キャラクター管理情報特定部350は、端末装置2毎にキャラクター8の提示態様を異ならせることができる。
また、ユーザが、マイキャラでないキャラクター8に「千葉出身」である旨を回答したとする。このように、マイキャラでないキャラクター8にユーザがプライバシー情報を含む回答をした場合、キャラクター管理情報特定部350は、ユーザの「千葉出身」であるという情報を、キャラクター記憶DB331に追加しなくてもよい。
(キャラクター管理情報特定部350の機能の具体例2−2)
ここで、キャラクター管理情報特定部350は、キャラクター8が他人のマイキャラである場合でも、ユーザ自身のマイキャラにすることができる場合がある。
例えば、ユーザの端末装置2のアプリIDが「AP_0600」であり、キャラクターIDが「CH_0002」であるとする。この場合、キャラクター管理情報特定部350は、例えば、キャラクター8に、「僕をマイキャラにしたかったらパスワードを教えてね!」と発話させる。また、キャラクター管理情報特定部350は、端末情報入力部22から、ユーザによるパスワードを受け付ける。パスワードは音声形式によって端末音声入力部220に入力されてもよいし、テキスト形式でテキスト入力部221に入力されてもよい。
端末情報入力部22がユーザから音声入力又はテキスト入力を受け付けたとき、端末情報取得部234は、当該入力情報から、パスワードを抽出する。端末情報取得部234は、当該パスワードを、端末通信部24を介して、サーバ300のキャラクター管理情報特定部350に送信する。
キャラクター管理情報特定部350は、当該パスワードが、キャラクターID「CH_0002」に対応するパスワード「□Z△?」と同一かどうかを確認する。当該パスワードが「□Z△?」と一致した場合、キャラクター管理情報特定部350は、キャラクターID「CH_0002」と、パスワード「AP_0600」とを対応付ける。これにより、図3の(a)のキャラクター管理DB330のキャラクターID「CH_0002」に対するアプリIDの欄に、「AP_0600」が追加される。その結果、キャラクター管理情報特定部350は、他人のマイキャラであるキャラクター8を、アプリIDが「AP_0600」の端末装置2を有するユーザのマイキャラとすることができる。
[キャラクター管理情報特定部350の機能の具体例3]
上述の例では、キャラクター8が、キャラクターIDが反映されたキャラクター8である場合におけるキャラクター管理情報特定部350の機能を説明した。ただし、キャラクター管理情報特定部350の機能は、表示部251に表示されているキャラクター8が、キャラクターIDが反映されていない一般キャラである場合にも応用することができる。
ここでいう一般キャラとは、例えば、キャラクターID等の情報が反映されていないキャラクター8のことを指す。例えば、機器種別情報がオーブンレンジである場合、一般キャラの外見は、図2に示すような、レンジに顔がある、擬人化され、デフォルメされたキャラクター(レンジ太郎)の外見となる。また、一般キャラのレンジ太郎の発話内容は「僕!レンジ太郎!」等、固有の情報が含まれていない発話内容となる。
この場合においても、キャラクター管理情報特定部350は、キャラクター8をユーザ自身のマイキャラにすることができる場合がある。
この場合、キャラクター管理情報特定部350は、例えば、キャラクター8に、「僕をマイキャラにしたかったらパスワードを教えてね!」と発話させる。これにより、キャラクター管理情報特定部350は、アプリID、並びに、デバイスID及び撮像位置情報をユーザの端末装置2から受け付ける。
キャラクター管理情報特定部350は、取得したパスワード、並びに、デバイスID及び撮像位置情報のうちの少なくとも1つと、新たなキャラクターIDとを対応付ける。これにより、キャラクター管理DB330が更新される。その結果、一般キャラをユーザのマイキャラにすることができる。
〔情報提供処理〕
本実施形態に係る表示システム100における情報提供処理(情報提供方法)について、図9を参照して説明する。図9は、本実施形態に係る表示システム100における情報提供処理の流れの一例を示すシーケンス図である。
本実施形態に係る表示システム100は、以下に説明するステップS301〜S311を実行することによって、情報提供処理を行う。
ステップS301:端末装置2の表示部251が、キャラクターIDが反映されているキャラクター8を表示しており、キャラクター管理情報を特定するアプリを起動している場合について説明する。
まず、端末装置2の端末制御部23は、キャラクターID及び情報IDを、端末通信部24を介してサーバ300に送信する。
ステップS302:サーバ300のキャラクター管理情報特定部350は、は、サーバ通信部31を介して、端末装置2からキャラクターID及び情報IDを受信する。
ステップS303:サーバ300のキャラクター管理情報特定部350は、図3の(b)のキャラクター記憶DB331を参照する。そして、サーバ300のキャラクター管理情報特定部350は、キャラクターID及び情報IDに対応するキャラクター記憶情報を特定する。
ステップS304:次に、サーバ300のキャラクター管理情報特定部350は、図3の(b)のキャラクター記憶DB331を参照する。キャラクター記憶情報と、プライバシー情報とが対応付けられていることをサーバ300のキャラクター管理情報特定部350が確認した場合(ステップS304のYES)、ステップS305に進む。キャラクター記憶情報と、プライバシー情報とが対応付けられていないことをサーバ300のキャラクター管理情報特定部350が確認した場合(ステップS304のNO)、ステップS306に進む。
ステップS305:サーバ300のキャラクター管理情報特定部350は、図3の(b)のキャラクター記憶DB331を参照する。キャラクターIDと、アプリIDとが対応付けられていることをサーバ300のキャラクター管理情報特定部350が確認した場合(ステップS305のYES)、ステップS306に進む。キャラクターIDと、アプリIDとが対応付けられていないことをサーバ300のキャラクター管理情報特定部350が確認した場合(ステップS305のNO)、ステップS309に進む。
ステップS306:キャラクター管理情報特定部350は、キャラクター8をマイキャラに特定し、キャラクターIDと、アプリIDと、情報IDと、キャラクター記憶情報とを対応付ける。これにより、キャラクター管理情報特定部350は、キャラクター管理情報を特定し、マイキャラの発話内容を決定する。キャラクター管理情報特定部350は、サーバ通信部31を介して、特定したキャラクター管理情報を、端末装置2に送信する。
例えば、キャラクターIDが「CH_0001」であり、アプリIDが「AP_0011」であり、情報IDが「情報ID1」(ユーザの好物)であり、キャラクター記憶情報が「魚」であるとする。この場合、キャラクター管理情報特定部350は、マイキャラの発話内容を「魚が好きだったよね!」に決定することができる。発話内容を決定後、キャラクター管理情報特定部350は、端末装置2に、当該発話内容のデータを送信し、当該発話内容を出力させる動作命令をする。
ステップS307:端末装置2の端末制御部23は、端末通信部24を介して、サーバ300からキャラクター管理情報を受信する。
ステップS308:端末装置2の端末制御部23は、キャラクター管理情報を参照してユーザに発話する。
ステップS309:キャラクターIDとアプリIDとが対応付けられていない場合、キャラクター管理情報特定部350は、キャラクター管理情報を一般的なものに特定する。すなわち、キャラクター管理情報特定部350は、キャラクター8の発話内容を、プライバシー情報を含まない一般的なものに特定する。発話内容を決定後、キャラクター管理情報特定部350は、端末装置2に当該発話内容のデータを送信し、当該発話内容を出力する動作命令をする。
例えば、キャラクター管理情報特定部350は、キャラクター8の発話内容を「僕レンジ太郎!」に決定し、端末装置2に当該発話内容のデータを送信する。
ステップS310:端末装置2の端末制御部23は、端末通信部24を介して、サーバ300から一般的なキャラクター管理情報を受信する。
ステップS311:端末装置2の端末制御部23は、一般的なキャラクター管理情報を参照して、ユーザに発話する。
〔情報提供処理の変更例1〕
表示システム100におけるサーバ300のキャラクター管理情報特定部350は、以下に示すような場合でも、情報提供処理を行うことができる。
本実施形態に係る表示システム100における情報提供処理の変更例1について、図10を参照して説明する。図10は、本実施形態に係る表示システム100における情報提供処理の流れの一例を示すシーケンス図である。
本実施形態に係る表示システム100は、以下に説明するステップS321〜S326を実行することによっても、情報提供処理を行うことができる。
ステップS321:端末装置2の表示部251が、キャラクターIDが反映されている、他人のマイキャラを表示しており、端末装置2が、キャラクター管理情報を特定するアプリを起動している場合について説明する。
この場合、端末装置2の端末制御部23は、端末情報入力部22を介して、ユーザから入力されたパスワードを取得する。端末装置2の端末制御部23は、取得したパスワードとともに、キャラクターID及びアプリIDをサーバ300に送信する。
ステップS322:サーバ300のキャラクター管理情報特定部350は、サーバ通信部31を介して、端末装置2からパスワード、キャラクターID及びアプリIDを受信する。
ステップ323:サーバ300のキャラクター管理情報特定部350は、図3の(a)に示すキャラクター管理DB330を参照する。サーバ300のキャラクター管理情報特定部350は、取得したパスワードが、図3の(a)のキャラクター管理DB330のキャラクターIDに対応付けられたものと同一であるかどうかを確認する。
取得したパスワードと、図3の(a)のキャラクター管理DB330のパスワードとが同一であると、サーバ300のキャラクター管理情報特定部350が判断した場合(ステップS323のYES)、ステップS326に進む。サーバ300のキャラクター管理情報特定部350が、同一でないと判断した場合(ステップS323のNO)、ステップS324に進む。
ステップS324:サーバ300のキャラクター管理情報特定部350は、サーバ通信部31を介して、パスワードが間違えている旨を端末装置2に送信する。
ステップS325:端末装置2は、端末通信部24を介して、サーバ300からパスワードが間違えている旨の通知を受信する。端末装置2は、端末情報入力部22を介して、再びユーザからのパスワードの入力を受け付ける。
例えば、端末装置2は、提示部25の端末音声出力部250又は表示部251から、音声又はテキストの形式で、パスワードが間違えている旨を出力する。
ステップS326:サーバ300のキャラクター管理情報特定部350は、キャラクターIDと、アプリIDと、パスワードとを対応付ける。すなわち、サーバ300のキャラクター管理情報特定部350は、キャラクターIDに対応するアプリIDに、上述の情報提供処理を行った端末装置2のユーザのアプリIDを追加する。これにより、キャラクター管理DB330が更新され、他人のマイキャラだったキャラクター8が、上述の情報提供処理を行った端末装置2のユーザのマイキャラとなる。
〔情報提供処理の変更例2〕
表示システム100におけるサーバ300のキャラクター管理情報特定部350は、以下に示すような場合でも、情報提供処理を行うことができる。
本実施形態に係る表示システム100における情報提供処理の変更例2について、図11を参照して説明する。図11は、本実施形態に係る表示システム100における情報提供処理の流れの一例を示すシーケンス図である。
本実施形態に係る表示システム100は、以下に説明するステップS341〜S349を実行することによっても、情報提供処理を行うことができる。
ステップS341:端末装置2の表示部251が、キャラクターIDが反映されていない一般キャラを表示しており、端末装置2が、新規なキャラクター8を作成するアプリを起動している場合について説明する。
この場合、端末装置2の端末制御部23は、端末情報入力部22を介して、ユーザからパスワードを取得する。当該パスワードは、ユーザによって任意に設定される。
ステップS342:次に、端末装置2の端末制御部23は、デバイスID及び撮像位置情報の少なくとも何れかを取得できているかどうかを確認する。端末装置2の端末制御部23が、デバイスID及び撮像位置情報の少なくとも何れかを取得できていると判断した場合(ステップS342のYES)、ステップS344に進む。端末装置2の端末制御部23が、家電機器5のデバイスID及び撮像位置情報の何れも取得できていないと判断した場合(ステップS342のNO)、ステップS343に進む。
ステップS343:端末装置2の端末制御部23が、デバイスID及び撮像位置情報の何れも取得できていないと判断した場合、情報提供処理を終了する。
ステップS344:端末装置2の端末制御部23は、端末通信部24を介して、デバイスID及び撮像位置情報のうち、取得した各情報と、アプリIDと、パスワードとをサーバ300に送信する。
ステップS345:サーバ300のキャラクター管理情報特定部350は、サーバ通信部31を介して、端末装置2から各情報と、アプリIDと、パスワードとを端末装置2から受信する。
ステップS346:サーバ300のキャラクター管理情報特定部350は、各情報と、アプリIDと、パスワードと、機器種別情報と、キャラクターの外見とを対応付け、キャラクター管理情報を特定する。サーバ300のキャラクター管理情報特定部350は、当該キャラクター管理情報をキャラクター管理DB330に反映し、追加する。これにより、新規なキャラクター8が作成され、上述の情報提供処理を行った端末装置2に表示される一般キャラが、マイキャラとなる。
なお、キャラクター管理情報特定部350は、デバイスID及び撮像位置情報に関しては、取得できた情報のみ、図3の(a)のキャラクター管理DB330に追加する。
ステップS347:サーバ300のキャラクター管理情報特定部350は、サーバ通信部31を介して、特定したキャラクター管理情報を端末装置2に送信する。
ステップS348:端末装置2の端末制御部23は、端末通信部24を介して、キャラクター管理情報を受信する。
ステップS349:端末装置2の端末制御部23は、キャラクター管理情報を参照して、表示部251に、マイキャラの画像を撮像画像7に重畳して表示させる。
このように、本実施形態に係るサーバ300では、サーバ制御部35は、端末装置2と他の端末装置とを識別するためのアプリIDと、キャラクター8とユーザとの対話履歴から得られるキャラクター記憶情報と、を参照してキャラクター8の発話内容を決定する。
サーバ300のサーバ制御部35は、アプリIDと、キャラクター記憶情報とを参照して、キャラクター8の発話内容を決定する。そのため、キャラクター管理情報特定部350は、端末装置2毎にキャラクター8の発話内容を異ならせることができる。
また、本実施形態に係る端末装置2では、端末制御部23は、端末装置2と他の端末装置とを識別するためのアプリIDと、キャラクター8とユーザとの対話履歴から得られるキャラクター記憶情報と、を参照して決定されたキャラクター8の発話内容を、提示部25から出力させる。
端末装置2の端末制御部23は、アプリIDと、キャラクター記憶情報とを参照して決定されたキャラクター8の発話内容を提示部25から出力させる。そのため、端末制御部23は、端末装置2毎に異なる発話内容を提示部25から出力させることができる。
<実施形態4>
実施形態4のサーバ3000(不図示)のサーバ制御部36(不図示)のように、サーバ制御部は、サーバ制御部32、34又は35の機能に加えて、更なる機能を備えていてもよい。
〔表示システム500〕
本実施形態に係る表示システム500(不図示)は、サーバ3、30又は300の代わりに、サーバ3000(不図示)を備えている。サーバ3000は、サーバ制御部32、34又は35の代わりに、サーバ制御部36を備えている。サーバ制御部36は、キャラクター管理情報特定部320、340又は350の代わりに、キャラクター管理情報特定部360(不図示)を備えている。これらの点以外は、サーバ3000は、サーバ3、30又は300と同様の構成である。
〔サーバ3000〕
サーバ3000は、サーバ制御部36を備えている。
サーバ制御部36のキャラクター管理情報特定部360(不図示)は、サーバ制御部32、34又は35の有する機能に加えて、更なる機能を備えている。当該更なる機能は、互いに異なる複数の機器識別情報に対して、同一のキャラクター特定情報が対応付けられている対応情報を更に参照してキャラクター管理情報を特定する機能である。
ここで、新たに取得した機器識別情報が、既にキャラクター管理DB330内に存在する機器識別情報と異なっていたとする。また、新たに取得したアプリIDが、既にキャラクター管理DB330内に存在するアプリIDと同一であったとする。
この場合、キャラクター管理情報特定部360は、新たに取得した機器識別情報と、キャラクター管理DB330内に存在するアプリIDに対応するキャラクター管理情報とを対応付ける。すなわち、キャラクター管理情報特定部360は、新たに取得した機器識別情報と、既存のキャラクターID及びキャラクターの外見とを対応付ける。そして、キャラクター管理情報特定部360は、当該対応関係をキャラクター管理DB330内に反映し、追加する。
続いて、キャラクター管理情報特定部360は、追加された機器識別情報に対応するキャラクターID及びキャラクターの外見を、キャラクター管理情報として決定する。これにより、新規なキャラクター8が作成される。
このように、キャラクター管理情報特定部360は、機器識別情報が異なる家電機器5に対しても、同一のキャラクター管理情報であるように特定することができる。これにより、キャラクター管理情報特定部360は、一つのキャラクター管理情報に、複数の家電機器5を対応付けてグループ化することができる。その結果、キャラクター管理情報特定部360は、同一のキャラクター8を複数の家電機器5で共有することができる。
例えば、キャラクター管理情報特定部360は、ユーザ同士のデバイスIDが異なる場合でも、各ユーザの端末装置2に表示されるキャラクター8の外見及びキャラクターIDを同一にできる。すなわち、キャラクター管理情報特定部360は、各ユーザの端末装置2に表示されるキャラクター8の内部情報を同一にすることができる。その結果、例えば、「お魚が好きなんだよね!」等、各ユーザの端末装置2に表示されるキャラクター8の発話内容を同一にすることができる。
〔情報提供処理〕
本実施形態に係る表示システム500における情報提供処理(情報提供方法)について、図12を参照して説明する。図12は、本実施形態に係る表示システム500における情報提供処理の流れの一例を示すシーケンス図である。
本実施形態に係る表示システム500は、以下に説明するステップS401〜S415を実行することによって、情報提供処理を行う。
ステップS401:端末装置2の表示部251が、キャラクターIDが反映されていない一般キャラを表示している場合について説明する。また、この場合、端末装置2は、別の家電機器5に対応付けられているマイキャラを共有するアプリを起動している。
まず、端末装置2は、端末通信部24を介して、アプリIDをサーバ3000に送信する。
ステップS402:サーバ3000は、サーバ通信部31を介して、端末装置2からアプリIDを受信する。
ステップS403:サーバ3000のキャラクター管理情報特定部360は、図3の(a)のキャラクター管理DB330を参照し、新たに取得したアプリIDと同一のアプリIDを持つキャラクター管理情報を特定する。
ステップS404:キャラクター管理情報特定部360は、サーバ通信部31を介して、キャラクター管理情報を端末装置2に送信する。
ステップS405:端末装置2の端末制御部23は、端末通信部24を介して、サーバ3000からキャラクター管理情報を受信する。
ステップS406:端末装置2の端末制御部23は、受信したキャラクター管理情報を参照する。そして、端末制御部23は、アプリIDとキャラクターIDとが対応付けられているキャラクター管理情報を1組以上取得できているかどうかを確認する。端末装置2の端末制御部23が、当該キャラクター管理情報を1組以上取得できていると判断した場合(ステップS406のYES)、ステップS407に進む。端末装置2の端末制御部23が、当該キャラクター管理情報を1組も取得できていないと判断した場合(ステップS406のNO)、ステップS409に進む。
ステップS407:端末装置2の端末制御部23が、取得したキャラクター管理情報のうち、参照するものを選択する場合(ステップS407のYES)、ステップS408に進む。端末装置2の端末制御部23が、取得したキャラクター管理情報のうち、参照するものを選択しない場合(ステップS407のNO)、ステップS409に進む。
ステップS408:次に、端末装置2の端末制御部23は、デバイスID及び撮像位置情報のうちの少なくとも何れかを取得できているかどうかを確認する。端末装置2の端末制御部23が、デバイスID及び撮像位置情報のうちの少なくとも何れかを取得できていると判断した場合(ステップS408のYES)、ステップS410に進む。端末装置2の端末制御部23が、デバイスID及び撮像位置情報のうちの何れも取得できていないと判断した場合(ステップS408のNO)、ステップS409に進む。
ステップS409:端末装置2の端末制御部23が、デバイスID及び撮像位置情報のうちの何れも取得できていないと判断した場合、情報提供処理を終了する。
ステップS410:端末装置2の端末制御部23は、端末通信部24を介して、デバイスID及び撮像位置情報のうち、取得した各情報と、アプリIDと、パスワードとをサーバ3000に送信する。
ステップS411:サーバ3000のキャラクター管理情報特定部360は、サーバ通信部31を介して、各情報と、アプリIDと、パスワードとを受信する。
ステップS412:サーバ3000のキャラクター管理情報特定部360は、各情報と、アプリIDと、キャラクター管理情報とを対応付ける。すなわち、サーバ3000のキャラクター管理情報特定部360は、新たに取得した機器識別情報と、既存のキャラクターID及びキャラクターの外見とを対応付ける。そして、キャラクター管理情報特定部360は、当該対応関係をキャラクター管理DB330内に反映し、追加する。
続いて、サーバ3000のキャラクター管理情報特定部360は、追加された機器識別情報に対応するキャラクターID及びキャラクターの外見を、キャラクター管理情報として決定する。これにより、新規なキャラクター8が作成される。
なお、サーバ3000のキャラクター管理情報特定部360は、デバイスID及び撮像位置情報に関しては、取得できた情報のみ、図3の(a)のキャラクター管理DB330に追加する。また、キャラクター管理情報特定部360は、新規なキャラクター8を作成する際に機器識別情報を同一にしない。すなわち、キャラクター管理情報特定部360は、アプリIDが同一である場合も、機器識別情報を既存のものと同一にしない。キャラクター管理情報特定部360は、端末装置2で新たに取得した機器識別情報をそのままキャラクター管理DB330に反映する。
そのため、キャラクター管理情報特定部360によれば、機器識別情報が異なっていても、同一のキャラクターID及びキャラクターの外見を有するキャラクター管理情報のキャラクター8を作成することができる。これにより、キャラクター管理情報特定部360は、異なる機器識別情報に対し、同一のアプリIDを有している場合は、キャラクター管理情報を、同一に特定することができる。
ステップS413:サーバ3000のキャラクター管理情報特定部360は、サーバ通信部31を介して、キャラクター管理情報を端末装置2に送信する。
ステップS414:端末装置2の端末制御部23は、端末通信部24を介して、キャラクター管理情報をサーバ3000から受信する。
ステップS415:端末装置2の端末制御部23は、新たなキャラクター8を撮像画像7に重畳して表示させる。
<実施形態5>
上述した例では、端末装置2、及び、サーバ3、30、300又は3000を備える表示システム1、10、100及び500について説明したが、端末装置2、及び、サーバ3、30、300又は3000の何れかを含まなくてもよい。
すなわち、全ての部材を端末装置2が含んでいてもよく、全ての部材をサーバ3、30、300又は3000が含んでいてもよい。
以下に、サーバ3、30、300又は3000を含まない表示システム1000について説明する。
〔表示システム1000〕
本実施形態に係る表示システム1000は、端末装置20を備えている。
図13は、本実施形態に係る表示システム1000の要部構成を示すブロック図である。図13に示すように、本実施形態に係る端末装置20は、上述した端末装置2の構成に加えて、実施形態1においてサーバ3が備えている記憶部33を備えている。また、端末装置20は、端末制御部23の各部材に加え、実施形態1におけるサーバ3のサーバ制御部32のキャラクター管理情報特定部320及び機器管理情報特定部321も含む端末制御部26を備えている。
実施形態5に係る表示システム1000においても、実施形態1に係る表示システム1と同様の効果を奏することができる。
上述の実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
〔情報提供処理〕
本実施形態に係る表示システム1000における情報提供処理(情報提供方法)では、端末通信部24とサーバ通信部31とのデータのやり取りがない。また、当該情報提供処理では、サーバ3のサーバ制御部32の代わりに、端末装置20の端末制御部26で制御する。これらの点以外は、当該情報提供処理は、実施形態1に係る表示システム1の情報提供処理と同様に行うことができる。
<実施形態6>
実施形態5では、端末装置20の端末制御部26は、キャラクター管理情報を参照して機器管理情報を特定している。ただし、端末制御部は、実施形態6の端末装置200(不図示)の端末制御部27(不図示)のように、端末制御部26の機能の代わりに、又は、端末制御部26の機能に加えて、別の機能を備えていてもよい。当該別の機能は、機器管理情報を参照して、キャラクター管理情報を特定する機能である。
〔表示システム1500〕
本実施形態に係る表示システム1500(不図示)は、端末装置200(不図示)を備えている。
本実施形態に係る端末装置200は、上述した端末装置2の端末制御部23の各部材に加え、実施形態2におけるサーバ30のサーバ制御部34のキャラクター管理情報特定部340も含む端末制御部27を備えている。
実施形態6に係る表示システム1500においても、実施形態2に係る表示システム10と同様の効果を奏することができる。
〔情報提供処理〕
本実施形態に係る表示システム1500における情報提供処理(情報提供方法)では、端末通信部24とサーバ通信部31とのデータのやり取りがない。また、当該情報提供処理では、サーバ30のサーバ制御部34の代わりに、端末装置200の端末制御部27で制御する。これらの点以外は、当該情報提供処理は、実施形態2に係る表示システム10の情報提供処理と同様に行うことができる。
〔実施形態7〕
実施形態7に係る表示システム2000(不図示)の端末制御部28(不図示)のように、端末制御部は、端末制御部26又は27の機能に加えて、更なる機能を備えていてもよい。
〔表示システム2000〕
本実施形態に係る表示システム2000は、端末装置400(不図示)を備えている。
本実施形態に係る端末装置400は、上述した端末装置2の端末制御部23の各部材に加え、実施形態3に係るサーバ300のサーバ制御部35のキャラクター管理情報特定部350も含む端末制御部28を備えている。
実施形態7に係る表示システム2000においても、実施形態3に係る表示システム100と同様の効果を奏することができる。
〔情報提供処理〕
本実施形態に係る表示システム2000における情報提供処理(情報提供方法)では、端末通信部24とサーバ通信部31とのデータのやり取りがない。また、当該情報提供処理では、サーバ300のサーバ制御部35の代わりに、端末装置400の端末制御部28で制御する。これらの点以外は、当該情報提供処理は、実施形態3に係る表示システム100の情報提供処理と同様に行うことができる。
〔実施形態8〕
実施形態8に係る表示システム2500(不図示)の端末制御部29(不図示)のように、端末制御部は、端末制御部26、27又は28の機能に加えて、更なる機能を備えていてもよい。
〔表示システム2500〕
本実施形態に係る表示システム2500は、端末装置600(不図示)を備えている。
本実施形態に係る端末装置600は、上述した端末装置2の端末制御部23の各部材に加え、実施形態4に係るサーバ3000のサーバ制御部36のキャラクター管理情報特定部360も含む端末制御部29を備えている。
実施形態8に係る表示システム2500においても、実施形態4に係る表示システム500と同様の効果を奏することができる。
〔情報提供処理〕
本実施形態に係る表示システム2500における情報提供処理(情報提供方法)では、端末通信部24とサーバ通信部31とのデータのやり取りがない。また、当該情報提供処理では、サーバ3000のサーバ制御部36の代わりに、端末装置600の端末制御部29で制御する。これらの点以外は、当該情報提供処理は、実施形態4に係る表示システム500の情報提供処理と同様に行うことができる。
<実施形態9>
端末装置2、20、200、400、600及びサーバ3、30、300、3000の各ブロックは、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、1以上のプロセッサにより実行されるソフトウェアによって実現してもよい。後者の場合、端末装置2、20、200、400、600及びサーバ3、30、300、3000のそれぞれを、図14に示すようなコンピュータ(電子計算機)を用いて構成することができる。
図14は、端末装置2、20、200、400、600又はサーバ3、30、300、3000として利用可能なコンピュータ910の構成を例示したブロック図である。コンピュータ910は、バス911を介して互いに接続された演算装置912と、主記憶装置913と、補助記憶装置914と、入出力インターフェース915と、通信インターフェース916とを備えている。演算装置912、主記憶装置913、及び補助記憶装置914は、それぞれ、例えば1以上のプロセッサ、RAM(random access memory)、ハードディスクドライブ及びフラッシュメモリ等のストレージであってもよい。入出力インターフェース915には、ユーザがコンピュータ910に各種情報を入力するための入力装置920、及び、コンピュータ910がユーザに各種情報を出力するための出力装置930が接続される。入力装置920及び出力装置930は、コンピュータ910に内蔵されたものであってもよいし、コンピュータ910に接続された(外付けされた)ものであってもよい。例えば、入力装置920は、キーボード、マウス、タッチセンサ等であってもよく、出力装置930は、ディスプレイ、プリンタ、スピーカ等であってもよい。また、タッチセンサとディスプレイとが一体化されたタッチパネルのような、入力装置920及び出力装置930の双方の機能を有する装置を適用してもよい。そして、通信インターフェース916は、コンピュータ910が外部の装置と通信するためのインターフェースである。
補助記憶装置914には、コンピュータ910を端末装置2、20、200、400、600又はサーバ3、30、300、3000として動作させるための各種のプログラムが格納されている。そして、演算装置912は、補助記憶装置914に格納された上記プログラムを主記憶装置913上に展開して該プログラムに含まれる命令を実行することによって、コンピュータ910を、端末装置2、20、200、400、600又はサーバ3、30、300、3000が備える各部として機能させる。なお、補助記憶装置914が備える、プログラム等の情報を記録する記録媒体は、コンピュータ読み取り可能な「一時的でない有形の媒体」であればよく、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブル論理回路等であってもよい。
また、上記プログラムは、コンピュータ910の外部から取得してもよく、この場合、任意の伝送媒体(通信ネットワークや放送波等)を介して取得してもよい。そして、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
このように、本実施形態に係るコンピュータ910をサーバ制御部32、34、35又は36として機能させるためのプログラムは、サーバ3、30、300又は3000としてコンピュータ910を機能させるためのプログラムである。
コンピュータ910を機能させるためのプログラムは、サーバ3、30、300又は3000のサーバ制御部32、34、35又は36として好適に機能させることができる。
また、本実施形態に係るコンピュータ910を端末制御部23、26、27、28又は29として機能させるためのプログラムは、端末装置2、20、200、400又は600を機能させるためのプログラムである。
コンピュータ910を機能させるためのプログラムは、端末装置2、20、200、400又は600の端末制御部23、26、27、28又は29として好適に機能させることができる。
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。
1、10、100、500、1000、1500、2000、2500 表示システム
2、20、200、400、600 端末装置
3、30、300、3000 サーバ(情報提供装置)
4 ネットワーク
5 家電機器(機器)
6 無線LANルータ
7 撮像画像
8 キャラクター
21 撮像部
22 端末情報入力部
23、26、27、28、29 端末制御部(制御部)
24 端末通信部(通信部)
25 提示部
31 サーバ通信部(通信部)
32、34、35、36 サーバ制御部(制御部)
33 記憶部
50 家電機器通信部
51 家電機器制御部
52 操作部
220 端末音声入力部
221 テキスト入力部
230 機器識別情報特定部
231 画像認識部
232 固有情報取得部
233 位置情報取得部
234 端末情報取得部
235 重畳画像生成部
250 端末音声出力部
251 表示部
320、340、350、360 キャラクター管理情報特定部
321 機器管理情報特定部
330 キャラクター管理DB
331 キャラクター記憶DB
332 機器管理DB
520 家電機器音声入力部
521 家電機器音声出力部

Claims (12)

  1. 撮像画像にキャラクターの画像を重畳して表示する端末装置に対して情報を提供する情報提供装置であって、
    通信部と、制御部とを備え、
    上記制御部は、
    上記撮像画像に含まれる機器の個体を特定する機器識別情報を参照して、上記キャラクターの提示態様を管理するキャラクター管理情報を特定し、
    特定した上記キャラクター管理情報を、上記通信部を介して上記端末装置に送信するか、
    又は、
    上記キャラクター管理情報を参照して、上記機器の提示様態を特定する機器管理情報を特定し、
    特定した上記機器管理情報を、上記通信部を介して上記機器に送信するかの、少なくとも何れかの制御を行い、
    上記端末装置と他の端末装置とを識別するための端末識別情報と、上記キャラクターとユーザとの対話履歴から得られるキャラクター記憶情報と、を参照して上記キャラクターの発話内容を決定する
    ことを特徴とする情報提供装置。
  2. 上記制御部は、
    上記機器識別情報を参照して、上記キャラクター管理情報を更新するか、又は、
    上記キャラクター管理情報を参照して、上記機器管理情報を更新するかの少なくとも何れかの制御を行う
    ことを特徴とする請求項1に記載の情報提供装置。
  3. 上記制御部は、上記撮像画像に含まれる機器の動作に関する情報である機器動作情報に応じて、上記キャラクターの提示態様を変更する
    ことを特徴とする請求項1又は2に記載の情報提供装置。
  4. 上記機器識別情報は、上記撮像画像に含まれる機器の外見から得られる種別情報である機器種別情報を含む
    ことを特徴とする請求項1〜の何れか1項に記載の情報提供装置。
  5. 上記機器識別情報は、上記撮像画像の撮像位置情報を更に含む
    ことを特徴とする請求項に記載の情報提供装置。
  6. 上記機器識別情報は、上記撮像画像に含まれる機器との通信により得られる固有情報を更に含む
    ことを特徴とする請求項又はに記載の情報提供装置。
  7. 撮像部と提示部と制御部と通信部とを備える端末装置であって、
    上記提示部は表示部を備え、
    上記制御部は、
    撮像画像に含まれる機器の個体を特定する機器識別情報を参照して特定された、キャラクターの提示態様を管理するキャラクター管理情報を、上記端末装置に情報を提供する情報提供装置から取得して、上記表示部に、上記撮像部による撮像画像にキャラクターの画像が重畳するように表示させるか、又は、
    上記機器の個体を識別する機器識別情報を、上記通信部を介して上記情報提供装置に送信するかの少なくとも何れかの制御を行い、
    上記端末装置と他の端末装置とを識別するための端末識別情報と、上記キャラクターとユーザとの対話履歴から得られるキャラクター記憶情報と、を参照して決定された上記キャラクターの発話内容を、上記提示部から出力させ、
    上記機器識別情報は、上記機器の提示態様を特定する機器管理情報を特定するために参照される上記キャラクター管理情報に対応している
    ことを特徴とする端末装置。
  8. 上記制御部は、上記撮像画像に含まれる機器の動作に関する情報である機器動作情報に応じて変更された上記キャラクターの提示態様を参照して、上記表示部に、上記撮像部による撮像画像にキャラクターの画像が重畳するように表示させる
    ことを特徴とする請求項に記載の端末装置。
  9. 情報提供装置と端末装置とを含む表示システムであって、
    上記端末装置は、撮像部と提示部と端末制御部と端末通信部とを備え、
    上記提示部は表示部を備え、
    上記情報提供装置は、サーバ通信部とサーバ制御部とを備え、
    上記サーバ制御部は、
    撮像画像に含まれる機器の個体を特定する機器識別情報を参照して、キャラクターの提示態様を管理するキャラクター管理情報を特定し、
    特定した上記キャラクター管理情報を、上記サーバ通信部を介して上記端末装置に送信するか、
    又は、
    上記キャラクター管理情報を参照して、上記機器の提示様態を特定する機器管理情報を特定し、
    特定した上記機器管理情報を、上記サーバ通信部を介して上記機器に送信するかの、少なくとも何れかの制御を行い、
    上記端末装置と他の端末装置とを識別するための端末識別情報と、上記キャラクターとユーザとの対話履歴から得られるキャラクター記憶情報と、を参照して上記キャラクターの発話内容を決定し、
    上記端末制御部は、
    上記キャラクター管理情報を参照して、上記表示部に、上記撮像部による撮像画像にキャラクターの画像が重畳するように表示させる
    ことを特徴とする表示システム。
  10. 請求項1〜の何れか1項に記載の情報提供装置としてコンピュータを機能させるためのプログラムであって、上記制御部としてコンピュータを機能させるためのプログラム。
  11. 請求項7又は8に記載の端末装置としてコンピュータを機能させるためのプログラムであって、上記制御部としてコンピュータを機能させるためのプログラム。
  12. 撮像画像にキャラクターの画像を重畳して表示する端末装置に対して情報を提供する情報提供方法であって、
    上記撮像画像に含まれる機器の個体を特定する機器識別情報を参照して、上記キャラクターの提示態様を管理するキャラクター管理情報を特定し、
    特定した上記キャラクター管理情報を、上記端末装置に送信するキャラクター管理情報特定工程、
    及び、
    上記キャラクター管理情報を参照して、上記機器の提示態様を特定する機器管理情報を特定し、
    特定した上記機器管理情報を、上記機器に送信する機器管理情報特定工程のうちの少なくとも一方の工程、並びに、
    上記端末装置と他の端末装置とを識別するための端末識別情報と、上記キャラクターとユーザとの対話履歴から得られるキャラクター記憶情報と、を参照して上記キャラクターの発話内容を決定する発話内容決定工程を含む
    ことを特徴とする情報提供方法。
JP2019508555A 2017-03-31 2017-12-01 情報提供装置、端末装置、表示システム、プログラム及び情報提供方法 Expired - Fee Related JP6746775B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017071774 2017-03-31
JP2017071774 2017-03-31
PCT/JP2017/043354 WO2018179591A1 (ja) 2017-03-31 2017-12-01 情報提供装置、端末装置、表示システム、プログラム及び情報提供方法

Publications (2)

Publication Number Publication Date
JPWO2018179591A1 JPWO2018179591A1 (ja) 2019-11-07
JP6746775B2 true JP6746775B2 (ja) 2020-08-26

Family

ID=63674659

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019508555A Expired - Fee Related JP6746775B2 (ja) 2017-03-31 2017-12-01 情報提供装置、端末装置、表示システム、プログラム及び情報提供方法

Country Status (4)

Country Link
US (1) US20210279961A1 (ja)
JP (1) JP6746775B2 (ja)
CN (1) CN110476203A (ja)
WO (1) WO2018179591A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3403146A4 (en) * 2016-01-15 2019-08-21 iRobot Corporation AUTONOMOUS MONITORING ROBOT SYSTEMS
JP7379139B2 (ja) * 2019-12-20 2023-11-14 東芝ライフスタイル株式会社 情報処理システム、家電機器、およびプログラム
US11669215B2 (en) * 2020-09-11 2023-06-06 Future Dial, Inc. Computing device identifier retrieval
JP7416500B1 (ja) 2022-11-18 2024-01-17 合同会社Straid 情報システムおよび通信端末

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4419768B2 (ja) * 2004-09-21 2010-02-24 日本ビクター株式会社 電子機器の制御装置
CN101729735B (zh) * 2008-10-20 2012-08-22 深圳富泰宏精密工业有限公司 数码照片合成系统及方法
US9117008B2 (en) * 2010-08-31 2015-08-25 Canon Kabushiki Kaisha Display apparatus and display method for displaying the radiographing range of a human body to be examined
CN103140879B (zh) * 2010-09-30 2017-06-16 富士胶片株式会社 信息呈现装置、数字照相机、头戴式显示器、投影仪、信息呈现方法和信息呈现程序
JP5927822B2 (ja) * 2011-09-21 2016-06-01 カシオ計算機株式会社 画像通信システム
KR101966127B1 (ko) * 2013-09-05 2019-04-05 엘지전자 주식회사 로봇 청소기 시스템 및 그 제어방법
JP6104143B2 (ja) * 2013-12-09 2017-03-29 三菱電機株式会社 機器制御システム、および、機器制御方法

Also Published As

Publication number Publication date
JPWO2018179591A1 (ja) 2019-11-07
WO2018179591A1 (ja) 2018-10-04
CN110476203A (zh) 2019-11-19
US20210279961A1 (en) 2021-09-09

Similar Documents

Publication Publication Date Title
JP6746775B2 (ja) 情報提供装置、端末装置、表示システム、プログラム及び情報提供方法
US20210050013A1 (en) Information processing device, information processing method, and program
US10244293B2 (en) Information processing apparatus, information processing method, and program
JP6440513B2 (ja) 音声認識機能を用いた情報提供方法および機器の制御方法
JP2023002502A (ja) ホームオートメーションのためのインテリジェントアシスタント
CN111282268B (zh) 一种虚拟环境中的剧情展示方法、装置、终端及存储介质
US9727204B2 (en) Rearranging chat messages
US9936355B2 (en) Information processing apparatus, information processing method, and computer program
CN109862430B (zh) 多媒体播放方法及终端设备
WO2018093543A1 (en) Gaming server and method to generate context-aware gaming information
CN112151013A (zh) 智能设备交互方法
US20130159400A1 (en) User device, server, and operating conditions setting system
CN110399474B (zh) 一种智能对话方法、装置、设备及存储介质
US10721281B2 (en) Method, system and non-transitory computer-readable recording medium for providing a multilateral communication service
JP2014039140A (ja) 推定プログラム、推定装置、及び推定方法
CN113518297A (zh) 音箱交互方法、装置、系统和音箱
JP2019056913A (ja) 音声認識機能を用いた情報提供方法および機器の制御方法
CN112820265B (zh) 一种语音合成模型训练方法和相关装置
JPWO2020026799A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2019201283A (ja) 移動情報処理装置、移動情報処理方法、およびプログラム
KR20170093644A (ko) 휴대용 단말기 및 그 제어방법
JP2017220089A (ja) 情報処理システム、情報処理方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190418

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200421

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200619

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200707

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200805

R150 Certificate of patent or registration of utility model

Ref document number: 6746775

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees