JP4903519B2 - 機器の制御装置および方法ならびにプログラム - Google Patents

機器の制御装置および方法ならびにプログラム Download PDF

Info

Publication number
JP4903519B2
JP4903519B2 JP2006245135A JP2006245135A JP4903519B2 JP 4903519 B2 JP4903519 B2 JP 4903519B2 JP 2006245135 A JP2006245135 A JP 2006245135A JP 2006245135 A JP2006245135 A JP 2006245135A JP 4903519 B2 JP4903519 B2 JP 4903519B2
Authority
JP
Japan
Prior art keywords
instruction
target
executed
information
instructions
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006245135A
Other languages
English (en)
Other versions
JP2008062359A (ja
Inventor
陽介 高野
博昭 河田
義行 岩田
義人 南條
直義 金丸
健一朗 下倉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Nippon Telegraph and Telephone Corp
Original Assignee
NEC Corp
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp, Nippon Telegraph and Telephone Corp filed Critical NEC Corp
Priority to JP2006245135A priority Critical patent/JP4903519B2/ja
Publication of JP2008062359A publication Critical patent/JP2008062359A/ja
Application granted granted Critical
Publication of JP4903519B2 publication Critical patent/JP4903519B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、内蔵する制御プログラムに外部から指示を行うことができるロボットエージェント装置に関し、そのようなロボットエージェント装置を制御するための機器の制御装置および方法に関する。
従来のロボットエージェント装置を用いたインタラクションの一例が非特許文献1に記載されている。この文献では、ロボットエージェント装置がその近傍に居る子供と音声対話を行うこと、および、同じく近傍に居る子供がロボットを触ってロボットの様々な反応を楽しむこと、が例として紹介されている。
また、同文献には、携帯電話端末からロボットエージェント装置のカメラで撮影している画像を確認すること、および、携帯電話端末からロボットエージェント装置への動作指示を行う例が紹介されている。
チャイルドケアロボットPaPeRoの概要、日本ロボット学会・学術講演会,2005年9月
非特許文献1に記載されたインタラクションの例は、ロボットエージェント装置と子供との間の二者間で行われることに限定されており、子供の保護者がインタラクションの中に参加することができない。これに対し、非特許文献1に記載されている携帯電話端末を経由した機能を組み合わせることによって、ロボットエージェント装置と子供とがインタラクションを行う様子を遠隔地から確認することやインタラクション中にロボットに指示を行うシステムを想定することが可能である。
しかしながら、この場合には、保護者が携帯電話端末からロボットエージェント装置に接続した時点でロボットエージェント装置と子供とのインタラクションが実行されているかどうかは分からないことが課題となる。
本発明は、このような背景の下に行われたものであって、ロボットエージェント装置、ロボットエージェント装置の近傍に居る子供、および、前記二者とは異なる場所に居る保護者の三者の間でのインタラクションに適用される機器の制御装置および方法において、以下を実現することである。
第一の目的は、ロボットエージェント装置と子供とのインタラクションの時間に拘束されずに、保護者が参加できるようにすることである。
第二の目的は、ロボットの近傍に保護者に対応する子供がいない状況、および、複数のロボットが存在し、インタラクションに対応する子供がどのロボットの近傍にいるかどうか分からない状況にも対応することである。
本発明の機器の制御装置および方法では、発明の第一の目的を達成するために、次の方式を用いる。保護者は、まず、ロボットエージェント装置と子供とのインタラクションに先立って、ロボットエージェント装置への指示をロボットエージェント装置宛てに送る。ロボットエージェント装置は保護者からの指示を蓄積しておき(後述する第一の実施形態に含まれる管理蓄積手段2)、インタラクションの開始時にその指示を適用したかたちで実行を行う(後述する第一の実施形態に含まれる動作制御手段3)。ロボットエージェント装置と子供とのインタラクションの間、ロボットエージェント装置はその様子の画像または音声などを収集または蓄積し(後述する第一の実施形態に含まれる記録手段6)、インタラクションの後に、保護者に対して、収録したデータを返送する(後述する第一の実施形態に含まれる送信手段7)。保護者は、自身が指示したインタラクションの様子を観察して楽しむことができるとともに、保護者にはロボットエージェント装置への指示や様子の観察を行う時間的な制限は発生しないことになる。
発明の第二の目的を達成するためには、次の方式を用いる。ロボットエージェント装置は、到着した指示を行った保護者の識別子から、その子供の識別データを算出する(後述する第一の実施形態に含まれる管理蓄積手段2)。子供の識別データ、および、子供の識別データと保護者の識別子に対応関係を保持する機能がロボットエージェント装置に含まれると仮定する。インタラクションを始める前に、以下の(1)から(3)の手段の1つ以上を使って、ロボットエージェント装置の近傍にその子供が居る状態を作り出すことを試みる(後述する第一の実施形態に含まれるユーザ識別手段5)。
(1)子供の識別データに含まれる子供の名前をロボットエージェント装置が発声し、子供をロボットエージェント装置の近傍に呼び寄せる。
(2)子供の識別データに含まれる子供の顔画像データを利用して顔画像認識を行い、ロボットエージェント装置がその周辺を探索して。子供の近傍に移動する。顔画像認識の代わりに、例えば、ICタグが子供に付帯されており、ロボットエージェント装置がそのICタグを検出しながら移動することでも実現しうる。
(3)ロボットエージェント装置が複数台存在する仮定の下では、(1)(2)の方法を併用して、ロボットエージェント装置の近傍に居る子供を探索し(後述する第二の実施形態に含まれるユーザ情報収集手段12およびユーザ情報蓄積手段14)、近傍に居るロボットエージェント装置に保護者の指示を転送する(後述する第二の実施形態に含まれるロボット間通信手段13)。
以上により、ロボットエージェント装置の近傍に保護者に対応する子供がいない状況、および、複数のロボットエージェント装置が存在し、保護者に対応する子供がどのロボットエージェント装置の近傍にいるかどうか分からない状況にも対応することが可能になる。
すなわち、本発明は、自機器との間に電子的な通信手段を持たない対象に対し、受信した指示を実行する機器の制御装置であって、本発明の特徴とするところは、前記指示は前記対象の指定情報を含み、前記受信した指示を蓄積し、前記指定情報により指定された対象に対して実行すべき指示を選択する管理蓄積手段と、前記指示を実行する動作制御手段とを備えたところにある。
また、前記対象に対して前記指示を実行できるか否かの状況を分析する識別手段を備え、前記動作制御手段は、前記識別手段が前記対象に対して前記指示を実行できる状況と判断した後に前記指示を実行することが望ましい。
例えば、前記指示は、外部機器から送信され、前記指定情報が当該外部機器の識別情報より導出される。また、前記識別情報は、例えば、前記外部機器の送信元情報を含み、前記管理蓄積手段は、当該送信元情報と前記対象との対応情報を保持し、この対応情報を用いて前記指示を実行する前記対象を決定する。あるいは、前記指示には、当該指示の送信者の識別情報を含み、前記指定情報が当該送信者の識別情報より導出される。この場合には、前記管理蓄積手段は、前記送信者の識別情報と前記対象との対応情報を保持し、この対応情報を用いて前記指示を実行する前記対象を決定する。
また、前記管理蓄積手段は、蓄積された複数の指示を組み合わせて実行すべき指示の繋がりを決定することができる。ここで、実行すべき指示の繋がりを決定するとは、例えば、指示の実行順序の決定処理や実行すべき指示と実行しない指示とを振り分ける指示の調停処理をいう。
また、前記対象を発見する対象発見手段と、この対象発見手段により発見された前記対象の近傍に移動する移動手段とを備え、前記動作制御手段は、前記移動手段による移動が完了した後に前記指示を実行することが望ましい。
また、特定された前記対象の呼称を発声する発声手段を備え、前記動作制御手段は、前記発声手段による発声の後に前記指示を実行することができる。この場合には、前記呼称に対応する前記対象が自機器の近傍に移動したことを発見する対象発見手段を備え、前記動作制御手段は、前記対象発見手段が前記対象を発見した後に前記指示を実行することが望ましい。
また、前記識別手段は、前記動作制御手段によって実行される前記指示を前記対象が受け入れ可能であるか否かの状況を分析することもできる。前述したように、前記識別手段は、前記対象に対して前記指示を実行できるか否かの状況を分析すると述べたが、それに加えて、前記指示を前記対象が受け入れ可能であるか否かの状況を分析することにより、前記指示の実行を確実に行うことができる。
例えば、前記対象に対して前記指示を実行できる状況とは、機器が対象の近傍に存在するという状況であり、前記指示を前記対象が受け入れ可能である状況とは、単に対象が機器の近傍に存在するのみならず、対象が機器の方を注目していたり、対象が動作を停止し、指示の実行の開始を待っているという状況である。
また、機器が複数存在する場合には、例えば、各機器には、それぞれ前記対象がいずれの機器の近傍に居るかを互いに特定し合う相互特定手段を備え、前記動作制御手段は、前記特定手段により前記対象が自機器の近傍に居るときに前記指示を実行することにより、前記対象の近傍にある機器が適切に指示を実行することができる。
あるいは、機器が複数存在する場合には、例えば、前記対象がいずれの機器の近傍に居るかを一元的に管理する一元的管理手段を備え、この一元的管理手段は、複数の機器に対する複数の指示を統括的に受信し、受信した指示の対象が近傍に存在する機器に限定して当該指示を転送することもできる。これによれば、一元的管理手段により機器が管理すべき情報の一部を管理できるので、機器が管理すべき情報量を軽減させることができる。また、機器同士が個々に情報をやりとりする場合と比較して通信量も軽減させることができる。
あるいは、機器が複数存在する場合には、その内のいずれかの機器には、前記対象がいずれの機器の近傍に居るかを一元的に特定し、その特定結果を他機器に伝達する手段を備え、前記動作制御手段は、前記伝達する手段により得た情報に基づき前記対象が自機器の近傍に居るときに前記指示を実行することもできる。これによれば、一元的管理手段を設けることなく、一元的に情報を管理できるので、構成が複雑化することを回避できると共に、一つの機器以外の他の機器が管理すべき情報量を軽減させることができる。また、機器同士が個々に情報をやりとりする場合と比較して通信量も軽減させることができる。
また、指示の実行の状況を収集する記録手段と、この記録手段の記録結果を、指示を発信した外部機器、あるいは、指示の発信者宛に送信する手段とを備えることができる。
あるいは、指示の実行の状況を収集する記録手段と、この記録手段の記録結果を、指示が実行された対象によって特定される外部機器、あるいは、利用者宛に送信する手段とを備えることができる。
あるいは、指示の実行の状況を収集する記録手段と、この記録手段の記録結果を、指示が実行された対象によって特定される外部機器であって、かつ、指示を発信した外部機器に送信する手段とを備えることができる。
あるいは、指示の実行の状況を収集する記録手段と、この記録手段の記録結果を、指示が実行された対象によって特定される利用者であって、かつ、指示の発信者でもある利用者宛に送信する手段とを備えることができる。
また、前記記録手段は、自機器の外部状況の動画または静止画または音声のいずれか1つ以上を記録する手段を備えることが望ましい。
また、前記管理蓄積手段は、実行済みの指示を抹消することが望ましい。あるいは、前記指示がその実行される時刻値を含み、前記管理蓄積手段は、蓄積された指示に含まれる時刻値が現在の時刻値よりも過ぎている場合には、同指示を抹消することもできる。あるいは、前記指示がその蓄積される最長時間値を含み、前記管理蓄積手段は、蓄積された指示に含まれる時間値よりも長い時間、同指示を蓄積している場合には、同指示を抹消することもできる。あるいは、前記管理蓄積手段は、受信した指示を、先行して蓄積された同一の対象に対する指示を抹消した上で蓄積することもできる。
あるいは、前記管理蓄積手段は、受信した指示を、先行して蓄積された同一の対象に対する指示を抹消せずに蓄積してもよい。あるいは、前記管理蓄積手段は、受信した指示に含まれる値により、先行して蓄積された同一の対象に対する指示を抹消するか否かを判定し、その判定結果に基づき前記先行して蓄積された同一の対象に対する指示を抹消し、あるいは、抹消せず当該受信した指示を蓄積してもよい。
例えば、前記機器は、ロボットエージェント装置を内蔵する機器として構成される。これによれば、遠隔地からロボットエージェント装置に指示を与え、このロボットエージェント装置に所望する動作を所定の対象に対して実行させるシステムを構築することができる。
また、本発明を機器の制御方法の観点から観ることもできる。すなわち、自機器との間に電子的な通信手段を持たない対象に対し、受信した指示を実行する機器の制御装置において行われる機器の制御方法であって、本発明の特徴とするところは、前記指示は前記対象の指定情報を含み、前記受信した指示を蓄積し、前記指定情報により指定された対象に対して実行すべき指示を選択し、前記指示を実行するところにある。
また、前記対象に対して前記指示を実行できるか否かの状況を分析し、前記対象に対して前記指示を実行できる状況と判断した後に前記指示を実行することが望ましい。例えば、前記指示は、外部機器から送信され、前記指定情報が当該外部機器の識別情報より導出される。前記識別情報は、例えば、前記外部機器の送信元情報を含み、当該送信元情報と前記対象との対応情報を保持し、この対応情報を用いて前記指示を実行する前記対象を決定する。
あるいは、前記指示には、例えば、当該指示の送信者の識別情報を含み、前記指定情報が当該送信者の識別情報より導出される。この場合には、前記送信者の識別情報と前記対象との対応情報を保持し、この対応情報を用いて前記指示を実行する前記対象を決定することができる。
また、蓄積された複数の指示を組み合わせて実行すべき指示の繋がりを決定することができる。
また、前記対象を発見し、この発見された前記対象の近傍に移動し、移動が完了した後に前記指示を実行することができる。
また、特定された前記対象の呼称を発声し、この発声の後に前記指示を実行することができる。このときには、前記呼称に対応する前記対象が自機器の近傍に移動したことを検出した後に前記指示を実行することが望ましい。
また、実行される前記指示を前記対象が受け入れ可能であるか否かの状況を分析することもできる。
また、機器が複数存在する場合には、例えば、各機器は、それぞれ前記対象がいずれの機器の近傍に居るかを互いに特定し合い、前記対象が自機器の近傍に居るときに前記指示を実行する。あるいは、機器が複数存在する場合には、前記対象がいずれの機器の近傍に居るかを一元的に管理すると共に、複数の機器に対する複数の指示を統括的に受信し、受信した指示の対象が近傍に存在する機器に限定して当該指示を転送する。あるいは、機器が複数存在する場合には、その内のいずれかの機器が、前記対象がいずれの機器の近傍に居るかを一元的に特定し、その特定結果を他機器に伝達し、この伝達により得た情報に基づき前記対象が自機器の近傍に居るときに前記指示を実行する。
また、指示の実行の状況を収集して記録し、この記録結果を、指示を発信した外部機器、あるいは、指示の発信者宛に送信することができる。あるいは、指示の実行の状況を収集して記録し、この記録結果を、指示が実行された対象によって特定される外部機器、あるいは、利用者宛に送信することができる。あるいは、指示の実行の状況を収集して記録し、この記録結果を、指示が実行された対象によって特定される外部機器であって、かつ、指示を発信した外部機器に送信することができる。あるいは、指示の実行の状況を収集して記録し、この記録結果を、指示が実行された対象によって特定される利用者であって、かつ、指示の発信者でもある利用者宛に送信することができる。
また、前記記録する際に、自機器の外部状況の動画または静止画または音声のいずれか1つ以上を記録することができる。
また、実行済みの指示を抹消することができる。あるいは、前記指示がその実行される時刻値を含み、蓄積された指示に含まれる時刻値が現在の時刻値よりも過ぎている場合には、同指示を抹消することができる。あるいは、前記指示がその蓄積される最長時間値を含み、蓄積された指示に含まれる時間値よりも長い時間、同指示を蓄積している場合には、同指示を抹消することができる。あるいは、受信した指示を、先行して蓄積された同一の対象に対する指示を抹消した上で蓄積することができる。
あるいは、受信した指示を、先行して蓄積された同一の対象に対する指示を抹消せずに蓄積することもできる。あるいは、受信した指示に含まれる値により、先行して蓄積された同一の対象に対する指示を抹消するか否かを判定し、その判定結果に基づき前記先行して蓄積された同一の対象に対する指示を抹消し、あるいは、抹消せず当該受信した指示を蓄積することもできる。
例えば、前記機器は、ロボットエージェント装置を内蔵する機器として構成される。
また、本発明を、汎用の情報処理装置にインストールすることにより、その汎用の情報処理装置に、本発明の機器の制御装置に相応する機能を実現させるプログラムの観点から観ることができる。本発明のプログラムは記録媒体に記録されることにより、前記汎用の情報処理装置は、この記録媒体を用いて本発明のプログラムをインストールすることができる。あるいは、本発明のプログラムを保持するサーバからネットワークを介して直接前記汎用の情報処理装置に本発明のプログラムをインストールすることもできる。
これにより、汎用の情報処理装置を用いて、本発明の機器の制御装置および方法を実現することができる。
本発明の第一の効果は、ロボットエージェント装置、ロボットエージェント装置の近傍に居る子供、および、前記二者とは異なる場所に居る保護者の三者の間でのインタラクションにおいて、ロボットエージェント装置と子供の遊びの時間に拘束されずに、保護者が参加できることである。第一の効果は、本発明において、保護者の指示を蓄積する管理蓄積手段(第一の実施形態に含まれる管理蓄積手段2)、蓄積された保護者からの指示を後の時間に実行する動作制御手段(第一の実施形態に含まれる動作制御手段3)、子供の様子を記録する記録手段(第一の実施形態に含まれる記録手段6)、および、保護者が後で参照できるように収録データとして送信する送信手段(第一の実施形態に含まれる記録手段7)を構成したことにより実現される。
本発明の第二の効果は、ロボットエージェント装置の近傍に、保護者に対応する子供がいない状況、および、複数のロボットエージェント装置が存在し、保護者に対応する子供がどのロボットエージェント装置の近傍にいるかどうか分からない状況においても、子供が近傍に居ることを確認したのちにインタラクションを実施することができることである。第二の効果は、本発明において、管理蓄積手段(第一の実施形態に含まれる管理蓄積手段2)により保護者の識別子から対応する子供の識別データを求めること、および、ユーザ識別手段(第一の実施形態に含まれるユーザ識別手段5)により識別データを元に子供を識別した上でインタラクションを実施することにより実現される。
ロボットエージェント装置が複数台存在する場合の効果は、ユーザ情報収集手段(第二の実施形態に含まれるユーザ情報収集手段12およびユーザ情報蓄積手段14)によって、それぞれのロボットエージェント装置の近傍に居る子供の情報が収集されることにより、保護者からの指示を子供の近傍にいるロボットエージェント装置に転送し実施させることで実現される。
(第一の実施形態)
本発明の第一の実施形態について図面を参照して詳細に説明する。図1を参照すると、第一の実施形態は、ロボットエージェント装置21と、通信端末20とから構成されている。ロボットエージェント装置21は、受信手段1と、管理蓄積手段2と、動作制御手段3と、ロボット制御手段4と、ユーザ識別手段5と、記録手段6と、送信手段7と、マイク8、カメラ9、音源デバイス10、ロボット可動部11とを含む。
これらの手段はそれぞれ次のように動作する。ユーザ(保護者)は、通信端末20を用いて、ロボットエージェント装置21への指示を入力し、送信する。具体的には、携帯電話端末を用いて、ロボットエージェント装置21への指示を記載したメール文を作成し、これをロボットエージェント装置21に向けて送信する方法により実現することができる。
指示には、通信端末20の識別子が付与されているものとする。通信端末20の識別子は具体的には通信端末20の電話番号やメールアドレスを用いる。あるいは、通信端末20の識別子の代わりに、通信端末20を利用する保護者の識別子を採用してもよい。
送信されたユーザの指示は、受信手段1によって受信される。受信手段1はそこに含まれるロボットエージェント装置21への指示、および、送信元である通信端末20の識別子を管理蓄積手段2に送る。管理蓄積手段2は、受け取ったロボットエージェント装置21への指示、および、送信元である通信端末の識別子を格納するとともに、通信端末の識別子から対応する子供の識別データを算出して格納する。管理蓄積手段2は、さらに通信端末20の識別子から子供の識別データを求めるための機能を有するものとする。
子供の識別データを格納するデータの形式を図2に示す。図2の例では、ロボットエージェント装置21への指示として実施するダンスの種類を、通信端末20の識別子としてメールアドレスを、子供の識別データとして子供の名前をそれぞれ格納している。
管理蓄積手段2は、受信手段1において複数のユーザから指示が送信される場合には、それらの指示を格納するとともに、同時に満たすことのできない指示に対する調停処理を行う。ユーザからの指示がロボットエージェント装置21が行うダンスの種類である場合には、複数の指示を集計して、最も指示の多いダンスの種類を求め、その種類を採用する。別の方法として、時間的に最も早く到着した指示を採用する方法、ロボットエージェント装置21が様々な部位から構成されている場合には部位単位に指示を割当てていく方法、過去に採用したユーザからの指示は採用の優先度を下げる方法もとり得る。
管理蓄積手段2には、受信手段1において同一ユーザから複数の指示が受信される場合の処理を含めることができる。指示が蓄積される時点で管理蓄積手段2内に同一ユーザからの先行する指示が既に蓄積されている場合には、先行する指示を上書きして格納する方法、先行する指示と同時に満たすべき指示として蓄積する方法、後続する指示を先行する指示とは別の時間に適用するものとして蓄積する方法、当該指示を棄却する方法、のいずれかを処理方法としてとり得る。また、指示にこれらの方法のいずれかを選択する旨の指定が含まれ、それに基づいて管理蓄積手段2における処理を指示毎に決定する方法もとり得る。
動作制御手段3は、図3のフローチャートに示す手順に従って、ロボットエージェント装置21と子供とのインタラクションの全体を制御する。管理蓄積手段2は、ロボットエージェント装置21がインタラクションを提供する子供の識別データを選択して取得するために、動作制御手段3から呼び出される。
ロボット制御手段4は、インタラクションの実現のために動作制御手段3から呼び出される。ロボット制御手段4は、インタラクションに必要な発声を行うために音源デバイス10を使用し、インタラクションに必要なロボットエージェント装置21の動きを実現するためにロボット可動部11を使用する。ユーザ識別手段5は、インタラクションに先立って、管理蓄積手段2から取得された識別子に対応する子供を検出するために、動作制御手段3から呼び出される。
ユーザ識別手段5は、子供に呼びかけを行うために、音源デバイス10を使用し、子供からの返答を入力するためにマイク8を使用し、子供の顔画像を識別するためにカメラ9を使用する。ユーザ識別手段5が子供を識別するための手段として具体的には以下の方法がある。
(1)音声により、子供の名前を呼び、インタラクションを始めるのでそばに来るように要求する。これだけでユーザを識別したとすることもできるが、必要により、後述する(1)から(4)を組み合わせることもできる。
(2)(1)の後で、子供からの返事の音声を入力する。
(3)周囲の画像を入力し、顔画像認識を行って、子供の顔を識別する。この処理は(1)および(2)に引き続き、確認のために実施することもできる。
(4)子供がインタラクションの開始を待っている状態であることを確認する。具体的には、子供がロボットエージェント装置21の方を向いているかどうかを画像認識により確認すること、さらに、子供が静かに待っていることを音声認識により確認することで実現できる。
これらの方法以外に、子供が携帯するICタグのような発信器からの信号により、子供を確認する方法もとり得る。
以上は、子供の状況を確認する手順であるが、これ以外に、ロボットエージェント装置21自体の状況も確認し、子供の状況と合せてインタラクションを開始できるかの判断に利用することができる。確認すべき状況としては、ロボットエージェント装置21が内蔵バッテリで駆動している場合には、その残量がインタラクションに必要な量だけ残されているか、および、インタラクションに必要なロボットエージェント装置21の機能に故障が無いかがある。
記録手段6は、インタラクションの間に子供の様子を撮影するために動作制御手段3から呼び出される。記録手段6は、子供の画像を入力するためにカメラ9を使用し、子供の音声を入力するためにマイク8を使用する。送信手段7は、インタラクションの実施後に、記録手段6によって収録されたデータを通信端末20に送信するために動作制御手段3から呼び出される。具体的には、まず、収録データを携帯電話端末で閲覧可能な形式に変換する。次に、携帯電話端末に送信するメールを生成し、そのメールに収録データを添付ファイルとして添付して送信する。
動作制御手段3における処理の手順を図3のフローチャートを用いて説明する。まず、管理蓄積手段2を呼び出し、当該インタラクションに対して指示が格納されているかどうかを確認する(ステップA1)。もし、指示が格納されていなければ、ロボット制御手段4を呼び出してインタラクションを実行する(ステップA2)。
ステップA1で指示が格納されている場合には、ユーザ識別手段5を呼び出して、管理蓄積手段2に格納された指示に付帯する子供の識別データに照合する子供がロボットエージェント装置21の近傍にいるかどうかを検出する(ステップA3)。もし、近傍に子供を識別できない場合には、ステップA10に進む(ステップA4)。
ステップA10では、ロボット制御手段4を呼び出して、子供を近傍に呼び寄せる試みを行う(ステップA10)。次に再度、子供がロボットエージェント装置21の近傍にいるかどうかを検出し(ステップA11)、もし、再度近傍に子供を識別できない場合には、ステップA2に進む(ステップA12)。ステップA4としてステップA12で子供を識別できた場合には、記録手段6を呼び出して、子供の画像の収録を開始する(ステップA5)。引き続き、ロボット制御手段4を呼び出して、指示によって修正されたインタラクションを実行する(ステップA6)。
インタラクションがロボットエージェント装置21によるダンスであり、指示がダンスの種別であった場合には、指示された種別のダンスが実行される。また、インタラクションが子供へのクイズであり、指示がクイズの出題であった場合には、指示された出題のクイズが実行される。
インタラクションが終了すると、再度記録手段6を呼び出して、画像の収録を終了する(ステップA7)。最後に、送信手段7を呼び出し、管理蓄積手段2に格納された指示に付帯する通信端末20の識別子が指す通信端末20に対して収録されたデータを送信する(ステップA8)。
次に、第一の実施の形態の効果について説明する。
第一の効果は、管理蓄積手段2により、保護者からの要求をいったん蓄積し、動作制御手段3により、蓄積された保護者からの指示を後の時間に実行し、記録手段6によりインタラクションの状況を収録し、記録手段6により収録されたデータを保護者に送信することにより、ロボットエージェント装置21と子供とのインタラクションの時間に拘束されずに、保護者が参加できることである。
第二の効果は、管理蓄積手段2により、保護者の識別子から対応する子供の識別データを求め、ユーザ識別手段5により識別データを元に子供を識別した上で遊びやコミュニケーションを実施することにより、子供が近傍に居ることを確認したのちに実施することができることである。
(第二の実施形態)
本発明の第二の実施形態について図面を参照して詳細に説明する。図4を参照すると、第二の実施形態では、第一の実施形態に加えて、他のロボットエージェント装置50が構成され、ロボットエージェント装置22内に追加で、ユーザ情報収集手段12、ロボット間通信手段13、ユーザ情報蓄積手段14を含む。
これらの手段は次のように動作する。ユーザ情報収集手段12はロボットエージェント装置22の動作中に、ユーザ識別手段5を呼び出して、近傍に居る子供の識別を実施する。識別は、第一の実施形態におけるインタラクション開始時の動作と同様の、音声による呼びかけによる確認、あるいは、顔画像認識による識別によって行う。
ユーザ情報収集手段12は、ユーザ情報蓄積手段14に、識別された子供の識別データを蓄積するとともに、ロボット間通信手段13を呼び出して、他のロボットエージェント装置50に子供の識別データ、および、当該ロボットエージェント装置50の識別子の対を転送する。
これらのデータは、他のロボットエージェント装置50に含まれるロボット間通信手段13によって受け取られ、他のロボットエージェント装置50に含まれるユーザ情報蓄積手段14に格納される。さらに、ユーザ情報蓄積手段14に格納される情報は格納時から起算して一定時間を経過したのちに棄却するものとする。
以上の手順を通じて、複数台存在するロボットエージェント装置には、それぞれのロボットエージェント装置の近傍に居る子供の情報が形成される。
ロボットエージェント装置の近傍に居る子供の情報を形成する他の方法としては、サーバ装置上に総てのロボットエージェント装置の近傍に居る子供の情報を転送して格納する方法、および、いずれか1台のロボットエージェント装置がすべてのロボットエージェント装置の近傍に居る子供の情報を保持する方法を用いることも可能である。
なお、サーバ装置を用いる場合には、このサーバ装置がロボットエージェント装置に対する指示も一元的に管理し、受信した指示の利用者が近傍に存在するロボットエージェント装置に限定して当該指示を転送することができる。
第二の実施形態に構成される管理蓄積手段2’は、第一の実施形態に構成される管理蓄積手段2の処理とは異なり、以下の処理を行う。図5は第二の実施形態における管理蓄積手段2’の処理の手順を示すフローチャートである。図5に示すように、管理蓄積手段2’は、ユーザ(通信端末20)からの指示を受信手段1を介して受信すると(ステップB1)、送信元である通信端末20の識別子から対応する子供の識別データを算出(ステップB2)したのち、ユーザ情報蓄積手段14を呼び出して、識別データに対応する子供が当該ロボットエージェント装置22の近傍に居るかどうかを確認する(ステップB3)。
もし、近傍に居る場合には(ステップB4)、第一の実施形態に構成される管理蓄積手段2の処理と同様に、受け取ったロボットエージェント装置への指示内容、送信元である通信端末20の識別子、および、子供の識別データを格納する(ステップB5)。当該ロボットエージェント装置22の近傍に居ない場合には(ステップB4)、ロボット間通信手段13を呼び出すことにより、ユーザ情報蓄積手段14から検索した(ステップB6およびB7のYES)子供の近傍に居る他のロボットエージェント装置50に保護者からの指示を転送する(ステップB8)。転送された指示内容は、他のロボットエージェント装置50に含まれる受信手段1によって受信される。子供の近傍に居るロボットエージェント装置が不明な場合には(ステップB6およびB7のNO)、保護者からの指示を棄却する(ステップB9)。棄却以外には、保護者に指示を差し戻すこと、管理蓄積手段2に蓄積して、一定時間後に再度子供の近傍に居るロボットエージェント装置への転送を試みること、という方法がある。
次に、第二の実施形態の効果について説明する。
ユーザ情報収集手段12、ロボット間通信手段13、ユーザ情報蓄積手段14により、複数台存在するロボットエージェント装置の近傍に居る子供の情報が収集される。この情報を元に、到着した保護者からの指示を、対応する子供の近傍に居るロボットエージェント装置に転送することによって、保護者に対応する子供がどのロボットの近傍にいるかどうか分からない状況にも対応することが可能になる。
(第三の実施形態)
上述した第一および第二の実施形態では、利用者が幼い子供である例を説明したが、子供の年齢が比較的高く、子供自らも携帯電話端末などの通信端末20を所持しているような場合には、記録手段6により収録されたデータを保護者が所持する通信端末20のみならず、利用者である子供自身が所持する通信端末20に対しても送信し、利用者が自らの画像または音声の記録を楽しむことができる。
すなわち、記録手段6により収録されたデータの送信先は、予め管理蓄積手段2あるいは記録手段6もしくは送信手段7にユーザが任意に設定することができ、送信先となる通信端末20が複数存在する場合にも、これら複数の通信端末20に対して記録手段6により収録されたデータを配信することができる。
なお、上記第一〜第三の実施形態においては、通信端末20が携帯電話端末である場合を想定して説明したが、通信端末20が携帯電話端末以外の通信端末であり、例えば、通信端末20とロボットエージェント装置21または22とが赤外線通信または無線通信によって直接的に通信を行う場合にも本発明の機器の制御装置および方法を適用できることは言うまでもない。
(第四の実施形態)
第四の実施形態は、汎用の情報処理装置にインストールすることにより、その汎用の情報処理装置に、第一〜第三の実施形態のロボットエージェント装置に相応する機能を実現させるプログラムとしての実施形態である。
このプログラムは、記録媒体に記録されて汎用の情報処理装置にインストールされ、あるいは通信回線を介して汎用の情報処理装置にインストールされることにより当該汎用の情報処理装置に、第一〜第三の実施形態のロボットエージェント装置における各手段にそれぞれ相応する機能を実現させることができる。汎用の情報処理装置は、例えば、汎用のマイクロ・コンピュータである。
上記実施形態では、ロボットエージェント装置が子供とインタラクションを行うという形態を示しているが、子供以外にも、動物、植物、家電やオフィスにある什器やドアなどを含むロボットエージェント装置との間に電子的な通信手段を持たない任意の対象に適用することが可能である。
本発明は、留守宅や幼児施設に居る子供とロボットエージェント装置との間で行われるインタラクションに遠隔地にいる保護者が参加するという用途に適用することができる。また、別居している、あるいは、養護施設に居る高齢者とロボットエージェント装置との間で行われるインタラクションに、遠隔地に居る家族や医者らが参加するという用途に適用することができる。
第一の実施形態の構成を示すブロック図。 第一の実施形態の構成に含まれる管理蓄積手段に格納されるデータの形式を示す図。 第一実施形態の構成に含まれる動作制御手段の処理の手順を示すフローチャート。 第二の実施形態の構成を示すブロック図。 第二の実施形態の構成に含まれる管理蓄積手段の処理の手順を示すフローチャート。
符号の説明
1 受信手段
2、2’ 管理蓄積手段
3 動作制御手段
4 ロボット制御手段
5 ユーザ識別手段
6 記録手段
7 送信手段
8 マイク
9 カメラ
10 音源デバイス
11 ロボット可動部
12 ユーザ情報収集手段
13 ロボット間通信手段
14 ユーザ情報蓄積手段
20 通信端末
21、22 ロボットエージェント装置
50 他のロボットエージェント装置

Claims (53)

  1. 自機器との間に電子的な通信手段を持たない対象に対し、受信した指示を実行する機器の制御装置であって、
    前記指示は前記対象の指定情報を含み、
    前記受信した指示を一旦蓄積し、前記指定情報により指定された対象に対して実行すべき指示を選択する管理蓄積手段と、
    前記指定された対象を識別し前記蓄積した指示を前記管理蓄積手段から読み出して蓄積時の後の時間に実行する動作制御手段と
    を備え、
    前記管理蓄積手段は、複数の送信者から送信された指示を蓄積する手段と、この蓄積した指示のうちどの送信者からの指示を実行するかを選択する手段とを含み、
    前記動作制御手段は、選択された指示の対象を識別し、その識別した対象に対する指示を前記管理蓄積手段から取得して実行する手段を含む
    ことを特徴とする機器の制御装置。
  2. 前記対象に対して前記指示を実行できるか否かの状況を分析する識別手段を備え、
    前記動作制御手段は、前記識別手段が前記対象に対して前記指示を実行できる状況と判断した後に前記指示を実行する
    請求項1記載の機器の制御装置。
  3. 前記指示は、外部機器から送信され、前記指定情報が当該外部機器の識別情報より導出される請求項1記載の機器の制御装置。
  4. 前記識別情報は、前記外部機器の送信元情報を含み、
    前記管理蓄積手段は、当該送信元情報と前記対象との対応情報を保持し、この対応情報を用いて前記指示を実行する前記対象を決定する
    請求項3記載の機器の制御装置。
  5. 前記指示には、当該指示の送信者の識別情報を含み、前記指定情報が当該送信者の識別情報より導出される請求項1記載の機器の制御装置。
  6. 前記管理蓄積手段は、前記送信者の識別情報と前記対象との対応情報を保持し、この対応情報を用いて前記指示を実行する前記対象を決定する
    請求項5記載の機器の制御装置。
  7. 前記管理蓄積手段は、蓄積された複数の指示を組み合わせて実行すべき指示の繋がりを決定する請求項1記載の機器の制御装置。
  8. 前記対象を発見する対象発見手段と、
    この対象発見手段により発見された前記対象の近傍に移動する移動手段と
    を備え、
    前記動作制御手段は、前記移動手段による移動が完了した後に前記指示を実行する
    請求項1記載の機器の制御装置。
  9. 特定された前記対象の呼称を発声する発声手段を備え、
    前記動作制御手段は、前記発声手段による発声の後に前記指示を実行する
    請求項1記載の機器の制御装置。
  10. 前記呼称に対応する前記対象が自機器の近傍に移動したことを発見する対象発見手段を備え、
    前記動作制御手段は、前記対象発見手段が前記対象を発見した後に前記指示を実行する
    請求項9記載の機器の制御装置。
  11. 前記識別手段は、前記動作制御手段によって実行される前記指示を前記対象が受け入れ可能であるか否かの状況を分析する請求項2記載の機器の制御装置。
  12. 機器が複数存在し、各機器には、それぞれ前記対象がいずれの機器の近傍に居るかを互いに特定し合う相互特定手段を備え、
    前記動作制御手段は、前記特定手段により前記対象が自機器の近傍に居るときに前記指示を実行する
    請求項1記載の機器の制御装置。
  13. 機器が複数存在し、前記対象がいずれの機器の近傍に居るかを一元的に管理する一元的管理手段を備え、
    この一元的管理手段は、複数の機器に対する複数の指示を統括的に受信し、受信した指示の対象が近傍に存在する機器に限定して当該指示を転送する
    請求項1記載の機器の制御装置。
  14. 機器が複数存在し、その内のいずれかの機器には、前記対象がいずれの機器の近傍に居るかを一元的に特定し、その特定結果を他機器に伝達する手段を備え、
    前記動作制御手段は、前記伝達する手段により得た情報に基づき前記対象が自機器の近傍に居るときに前記指示を実行する
    請求項1記載の機器の制御装置。
  15. 指示の実行の状況を収集する記録手段と、
    この記録手段の記録結果を、指示を発信した外部機器、あるいは、指示の発信者宛に送信する手段と
    を備えた請求項1記載の機器の制御装置。
  16. 指示の実行の状況を収集する記録手段と、
    この記録手段の記録結果を、指示が実行された対象によって特定される外部機器、あるいは、利用者宛に送信する手段と
    を備えた請求項1記載の機器の制御装置。
  17. 指示の実行の状況を収集する記録手段と、
    この記録手段の記録結果を、指示が実行された対象によって特定される外部機器であって、かつ、指示を発信した外部機器に送信する手段と
    を備えた請求項1記載の機器の制御装置。
  18. 指示の実行の状況を収集する記録手段と、
    この記録手段の記録結果を、指示が実行された対象によって特定される利用者であって、かつ、指示の発信者でもある利用者宛に送信する手段と
    を備えた請求項1記載の機器の制御装置。
  19. 前記記録手段は、自機器の外部状況の動画または静止画または音声のいずれか1つ以上を記録する手段を備えた請求項15ないし18のいずれかに記載の機器の制御装置。
  20. 前記管理蓄積手段は、実行済みの指示を抹消する請求項1記載の機器の制御装置。
  21. 前記指示がその実行される時刻値を含み、
    前記管理蓄積手段は、蓄積された指示に含まれる時刻値が現在の時刻値よりも過ぎている場合には、同指示を抹消する請求項1記載の機器の制御装置。
  22. 前記指示がその蓄積される最長時間値を含み、
    前記管理蓄積手段は、蓄積された指示に含まれる時間値よりも長い時間、同指示を蓄積している場合には、同指示を抹消する
    請求項1記載の機器の制御装置。
  23. 前記管理蓄積手段は、受信した指示を、先行して蓄積された同一の対象に対する指示を抹消した上で蓄積する請求項1記載の機器の制御装置。
  24. 前記管理蓄積手段は、受信した指示を、先行して蓄積された同一の対象に対する指示を抹消せずに蓄積する請求項1記載の機器の制御装置。
  25. 前記管理蓄積手段は、受信した指示に含まれる値により、先行して蓄積された同一の対象に対する指示を抹消するか否かを判定し、その判定結果に基づき前記先行して蓄積された同一の対象に対する指示を抹消し、あるいは、抹消せず当該受信した指示を蓄積する請求項1記載の機器の制御装置。
  26. 前記機器は、ロボットエージェント装置を内蔵する機器として構成される請求項1ないし25のいずれかに記載の機器の制御装置。
  27. 自機器との間に電子的な通信手段を持たない対象に対し、受信した指示を実行する機器の制御装置において行われる機器の制御方法であって、
    前記指示は前記対象の指定情報を含み、複数の送信者から送信された指示を管理蓄積手段に一旦蓄積し
    この蓄積した指示のうちどの送信者から送信された指示を実行するかを選択し、
    前記指定情報により指定された対象に対して実行すべき指示を選択し、前記指定された対象を識別して蓄積した時間の後の時間に識別した対象に対する指示を前記管理蓄積手段から取得して前記指示を実行する、
    ことを特徴とする機器の制御方法。
  28. 前記対象に対して前記指示を実行できるか否かの状況を分析し、前記対象に対して前記指示を実行できる状況と判断した後に前記指示を実行する請求項27記載の機器の制御方法。
  29. 前記指示は、外部機器から送信され、前記指定情報が当該外部機器の識別情報より導出される請求項27記載の機器の制御方法。
  30. 前記識別情報は、前記外部機器の送信元情報を含み、当該送信元情報と前記対象との対応情報を保持し、この対応情報を用いて前記指示を実行する前記対象を決定する請求項29記載の機器の制御方法。
  31. 前記指示には、当該指示の送信者の識別情報を含み、前記指定情報が当該送信者の識別情報より導出される請求項27記載の機器の制御方法。
  32. 前記送信者の識別情報と前記対象との対応情報を保持し、この対応情報を用いて前記指示を実行する前記対象を決定する請求項31記載の機器の制御方法。
  33. 蓄積された複数の指示を組み合わせて実行すべき指示の繋がりを決定する請求項27記載の機器の制御方法。
  34. 前記対象を発見し、この発見された前記対象の近傍に移動し、移動が完了した後に前記指示を実行する請求項27記載の機器の制御方法。
  35. 特定された前記対象の呼称を発声し、この発声の後に前記指示を実行する請求項27記載の機器の制御方法。
  36. 前記呼称に対応する前記対象が自機器の近傍に移動したことを検出した後に前記指示を実行する請求項35記載の機器の制御方法。
  37. 実行される前記指示を前記対象が受け入れ可能であるか否かの状況を分析する請求項28記載の機器の制御方法。
  38. 機器が複数存在する場合には、各機器は、それぞれ前記対象がいずれの機器の近傍に居るかを互いに特定し合い、前記対象が自機器の近傍に居るときに前記指示を実行する請求項27記載の機器の制御方法。
  39. 機器が複数存在する場合には、前記対象がいずれの機器の近傍に居るかを一元的に管理すると共に、複数の機器に対する複数の指示を統括的に受信し、受信した指示の対象が近傍に存在する機器に限定して当該指示を転送する請求項27記載の機器の制御方法。
  40. 機器が複数存在する場合には、その内のいずれかの機器が、前記対象がいずれの機器の近傍に居るかを一元的に特定し、その特定結果を他機器に伝達し、この伝達により得た情報に基づき前記対象が自機器の近傍に居るときに前記指示を実行する請求項27記載の機器の制御方法。
  41. 指示の実行の状況を収集して記録し、この記録結果を、指示を発信した外部機器、あるいは、指示の発信者宛に送信する請求項27記載の機器の制御方法。
  42. 指示の実行の状況を収集して記録し、この記録結果を、指示が実行された対象によって特定される外部機器、あるいは、利用者宛に送信する請求項27記載の機器の制御方法。
  43. 指示の実行の状況を収集して記録し、この記録結果を、指示が実行された対象によって特定される外部機器であって、かつ、指示を発信した外部機器に送信する請求項27記載の機器の制御方法。
  44. 指示の実行の状況を収集して記録し、この記録結果を、指示が実行された対象によって特定される利用者であって、かつ、指示の発信者でもある利用者宛に送信する請求項27記載の機器の制御方法。
  45. 前記記録する際に、自機器の外部状況の動画または静止画または音声のいずれか1つ以上を記録する請求項41ないし44のいずれかに記載の機器の制御方法。
  46. 実行済みの指示を抹消する請求項27記載の機器の制御方法。
  47. 前記指示がその実行される時刻値を含み、蓄積された指示に含まれる時刻値が現在の時刻値よりも過ぎている場合には、同指示を抹消する請求項27記載の機器の制御方法。
  48. 前記指示がその蓄積される最長時間値を含み、蓄積された指示に含まれる時間値よりも長い時間、同指示を蓄積している場合には、同指示を抹消する請求項27記載の機器の制御方法。
  49. 受信した指示を、先行して蓄積された同一の対象に対する指示を抹消した上で蓄積する請求項27記載の機器の制御方法。
  50. 受信した指示を、先行して蓄積された同一の対象に対する指示を抹消せずに蓄積する請求項27記載の機器の制御方法。
  51. 受信した指示に含まれる値により、先行して蓄積された同一の対象に対する指示を抹消するか否かを判定し、その判定結果に基づき前記先行して蓄積された同一の対象に対する指示を抹消し、あるいは、抹消せず当該受信した指示を蓄積する請求項27記載の機器の制御方法。
  52. 前記機器は、ロボットエージェント装置を内蔵する機器として構成される請求項27ないし51のいずれかに記載の機器の制御方法。
  53. 情報処理装置にインストールすることにより、その情報処理装置に、請求項1ないし26のいずれかに記載の機器の制御装置に相応する機能を実現させるプログラム。
JP2006245135A 2006-09-11 2006-09-11 機器の制御装置および方法ならびにプログラム Expired - Fee Related JP4903519B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006245135A JP4903519B2 (ja) 2006-09-11 2006-09-11 機器の制御装置および方法ならびにプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006245135A JP4903519B2 (ja) 2006-09-11 2006-09-11 機器の制御装置および方法ならびにプログラム

Publications (2)

Publication Number Publication Date
JP2008062359A JP2008062359A (ja) 2008-03-21
JP4903519B2 true JP4903519B2 (ja) 2012-03-28

Family

ID=39285495

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006245135A Expired - Fee Related JP4903519B2 (ja) 2006-09-11 2006-09-11 機器の制御装置および方法ならびにプログラム

Country Status (1)

Country Link
JP (1) JP4903519B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6886334B2 (ja) * 2017-04-19 2021-06-16 パナソニック株式会社 相互作用装置、相互作用方法、相互作用プログラム及びロボット

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003345435A (ja) * 2002-05-24 2003-12-05 Mitsubishi Heavy Ind Ltd ロボットおよびロボットシステム
JP2004017200A (ja) * 2002-06-14 2004-01-22 Mitsubishi Heavy Ind Ltd 情報サービスロボットシステム
JP4595436B2 (ja) * 2004-03-25 2010-12-08 日本電気株式会社 ロボット、その制御方法及び制御用プログラム
JP4153909B2 (ja) * 2004-12-01 2008-09-24 株式会社東芝 ロボット、モジュール選択装置およびロボットの制御方法

Also Published As

Publication number Publication date
JP2008062359A (ja) 2008-03-21

Similar Documents

Publication Publication Date Title
CN111971647A (zh) 语音识别设备、语音识别设备的协作系统和语音识别设备的协作方法
US20180052837A1 (en) Information processing apparatus, information processing method, and information processing system
CN105120099A (zh) 拍摄控制方法和装置
JP2015002506A (ja) セキュリティシステム
CN110389697A (zh) 数据交互方法和装置、存储介质及电子装置
JP4469867B2 (ja) コミュニケーションの状況を管理する装置、方法およびプログラム
JP4992421B2 (ja) 訪問者監視システム
CN107534703A (zh) 利用seemail的通话接听
JP4903519B2 (ja) 機器の制御装置および方法ならびにプログラム
JP5732409B2 (ja) 携帯端末装置、操作手法通知システム、および操作通知方法
CN109599100A (zh) 交互式电子设备控制系统、交互式电子设备及其控制方法
JP2002351972A (ja) ネットワークを利用した監視システム
JP3881277B2 (ja) 集合住宅用インターホンシステム
EP2015540A2 (en) Security system, terminal, information delivering method, program and recording medium
JP4245005B2 (ja) 来訪者管理システム
CN108886552A (zh) 对讲系统以及该系统涉及的数据转发方法
JP2003018305A (ja) ドアフォンシステム
JP7143170B2 (ja) 集合住宅用インターホンシステム
JP6175961B2 (ja) 通信システム、方法、通信装置およびプログラム
JP5937831B2 (ja) 端末装置、端末装置の制御方法及び端末装置の制御プログラム
JP2022103906A (ja) 情報処理システムおよび情報処理方法
JP7133781B2 (ja) インターホン装置及びインターホンシステム
JP2006139384A (ja) 情報処理装置及びプログラム
JP3922999B2 (ja) 通信装置、プログラムおよび記録媒体
KR20210131324A (ko) 정보 처리 장치 및 정보 처리 방법

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20080327

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20080327

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20081007

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100909

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100921

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101119

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110510

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110617

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111213

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120105

R150 Certificate of patent or registration of utility model

Ref document number: 4903519

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150113

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees