JP5909475B2 - 遠隔対話装置及び方法 - Google Patents

Description

この発明は、遠隔対話を行うための技術に関する。

特許文献１において、ネットワークを介して異なる地点で合奏する電子楽器において、往路の遅延時間と復路の遅延時間を加算した遅延時間だけ遅らせて楽音を発生させることについて言及されている。

特開２００７−１７８８６０号公報

しかし、特許文献１は、合奏を行うための技術であり、遠隔対話を行うための技術ではない。

この発明は、遠隔対話において違和感を軽減又は除去するための遠隔対話装置及び方法を提供することを目的とする。

この発明の一態様による遠隔対話装置は、第一人物が行動を変化させた場合、第一人物が行動を変化させた時刻から所定の遅延時間だけ遅れて第一人物の変化後の行動である第一行動の映像を第一表示部に表示させる第一制御部と、第一表示部と、第一人物が行動を変化させた時刻から第一遅延時間だけ遅れて第一人物の変化後の行動である第一行動の映像が表示される、第二地点に配置された第二表示部と、を備え、第二表示部に表示された第一人物の第一行動に反応して第二地点に位置している第二人物が行動を変化させた場合、第二人物が行動を変化させた時刻から第二遅延時間だけ遅れて第二人物の変化後の行動である第二行動の映像が第一表示部に更に表示されるとして、所定の遅延時間は、第一遅延時間と第二遅延時間とを加算した時間であり、第一人物が行動を変化させる前においては、第一人物の映像は、第一表示部には表示されておらず、行動の変化は、所定の非言語行動の変化である。
この発明の一態様による遠隔対話装置は、第一人物が行動を変化させた場合、第一人物が行動を変化させた時刻から所定の遅延時間だけ遅れて第一人物の変化後の行動である第一行動の映像を第一表示部に表示させる第一制御部と、第一表示部と、第一人物が行動を変化させた時刻から第一遅延時間だけ遅れて第一人物の第一行動の映像が表示される、第二地点に配置された第二表示部と、を含み、第二表示部に表示された第一人物の第一行動に反応して第二地点に位置している第二人物が行動を変化させた場合、第二人物が行動を変化させた時刻から第二遅延時間だけ遅れて第二人物の変化後の行動である第二行動の映像が第一表示部に更に表示されるとして、所定の遅延時間は、第一遅延時間と第二遅延時間とを加算した時間であり、第一表示部に表示された第一人物の第一行動は、第一人物の第一行動の映像を第一表示部に表示させてから所定の時間の経過後に第一表示部に表示されなくなり、行動の変化は、所定の非言語行動の変化である。
この発明の一態様による遠隔対話装置は、第一人物が行動を変化させた場合、第一人物が行動を変化させた時刻から所定の遅延時間だけ遅れて第一人物の変化後の行動である第一行動の映像を第一表示部に表示させる第一制御部と、第一表示部と、第一人物が行動を変化させた時刻から第一遅延時間だけ遅れて第一人物の第一行動の映像が表示される、第二地点に配置された第二表示部と、を含み、第二表示部に表示された第一人物の第一行動に反応して第二地点に位置している第二人物が行動を変化させた場合、第二人物が行動を変化させた時刻から第二遅延時間だけ遅れて第二人物の変化後の行動である第二行動の映像が第一表示部に更に表示されるとして、所定の遅延時間は、第一遅延時間と第二遅延時間とを加算した時間であり、第一人物が行動を変化させる前においては、第一人物の映像は、第一表示部に遅延なしで表示されており、行動の変化は、所定の非言語行動の変化である。
この発明の一態様による遠隔対話装置は、第一人物が行動を変化させた場合、第一人物が行動を変化させた時刻から所定の遅延時間だけ遅れて第一人物の変化後の行動である第一行動の映像を第一表示部に表示させる第一制御部と、第一表示部と、第一人物が行動を変化させた時刻から第一遅延時間だけ遅れて第一人物の第一行動の映像が表示される、第二地点に配置された第二表示部と、を含み、第二表示部に表示された第一人物の第一行動に反応して第二地点に位置している第二人物が行動を変化させた場合、第二人物が行動を変化させた時刻から第二遅延時間だけ遅れて第二人物の変化後の行動である第二行動の映像が第一表示部に更に表示されるとして、所定の遅延時間は、第一遅延時間と第二遅延時間とを加算した時間であり、第一表示部は、第一人物が位置している第一地点とは異なる第三地点に配置されており、第一人物が行動を変化させた場合、第一遅延時間だけ遅延した第一人物の映像に代えて所定の遅延時間だけ遅延した第一人物の映像が第一表示部に表示され、第一人物の第一行動が第一表示部に表示されてから所定の時間の経過後に所定の遅延時間だけ遅延した第一人物の映像に代えて第一遅延時間だけ遅延した第一人物の映像が第一表示部に表示され、行動の変化は、所定の非言語行動の変化である。

第一人物が行動を変化させた場合、第一人物が行動を変化させた時刻から第一遅延時間と第二遅延時間とを加算した時間である所定の遅延時間だけ遅れて第一人物の変化後の行動である第一行動を表示することにより、違和感を軽減又は除去することができる。

第一実施形態の遠隔対話装置の例を示すブロック図。 第二実施形態の遠隔対話装置の例を示すブロック図。 第一実施形態の遠隔対話装置及び方法を説明するための図。 第一実施形態の遠隔対話装置及び方法を説明するための図。 第二実施形態の遠隔対話装置及び方法を説明するための図。 遠隔対話方法の例を示す流れ図。 第二実施形態の遠隔対話装置及び方法を説明するための図。 第二実施形態の遠隔対話装置の変形例を示すブロック図。

以下、この発明の実施形態について詳細に説明する。

［第一実施形態］
第一実施形態の遠隔対話装置は、図１に示すように、第一地点に配置されている第一地点装置１００及び第二地点に配置されている第二地点装置２００を例えば備えている。

第一地点装置１００は、第一入力部１０１、第一行動認識部１０２、第一制御部１０３及び第一表示部１０４を例えば備えている。第二地点装置２００は、第二入力部２０１、第二行動認識部２０２、第二制御部２０３及び第二表示部２０４を例えば備えている。

第一地点に位置する第一人物及び第二地点に位置する第二人物は、第一地点装置１００及び第二地点装置２００を介して遠隔対話を行う。図１では略記しているが、第一地点装置１００及び第二地点装置２００は、遠隔対話を行うための、音声信号を得るためのマイク等の収音部、音声信号及び映像についての情報等のデータを送受信するための送受信部、音声信号に基づく音声を発するためのスピーカー等の構成を有しているとする。

第一地点装置１００の第一表示部１０４は、ＣＲＴ、液晶ディスプレイ等の表示装置である。第一人物が行動を変化させる前においては、第一人物の映像は第一表示部１０４には表示されないように第一制御部１０３により制御されている。図３の例では、第一人物が行動を変化させる前においては、すなわち時刻０より前の時刻においては、第一人物の映像は第一表示部１０４には表示されていない。

また、第一表示部１０４は、受け取った第二人物の映像についての情報に基づいて、第二人物の映像を表示する。一般に、遠隔対話においては、システム遅延及び／又は通信の遅延等により、遠隔対話をしている相手側の映像は遅れて表示される。第二人物の映像が第一表示部１０４に表示されるまでの遅延時間を、第二遅延時間Δ₂₁とする。言い換えれば、第二人物が行動を変化させた時刻から第一表示部１０４に第二人物の変化後の行動である第二行動が表示されるまでの遅延時間を、第二遅延時間Δ₂₁とする。

第一入力部１０１は、ビデオカメラ等の映像を撮影することができる装置である。第一入力部１０１で取得された第一人物の映像についての情報は、第一行動認識部１０２と、第一制御部１０３と、第二地点装置２００の第二表示部２０４とに提供される。第一入力部１０１は、第一人物の少なくとも頭部を映した映像を撮影すればよい。ここで、頭部とは、表情を認識できる程度に顔の領域を含む部分であるとする。

第一行動認識部１０２は、受け取った第一人物の映像についての情報に基づいて、第一人物の行動を認識することにより、第一人物の行動の変化を検出する。第一行動認識部１０２が第一人物の行動の変化を検出した場合、第一人物の行動の変化を検出した旨の情報が、第一制御部１０３及び第二地点装置２００の第二制御部２０３に提供される。第一人物の行動として、例えば表情、視線、頭部ジェスチャ、発話有無等が認識される。第一行動認識部１０２における行動の認識の詳細については後述する。第一行動認識部１０２は、所定の時間間隔で第一人物の行動を認識し、直前に認識された行動と異なる行動が認識されたかどうかに基づいて、第一人物の行動の変化を検出する。第一行動認識部１０２は、行動の変化として、例えば表情の変化を検出する。

例えば図３に示すように第一人物が時刻０において無表情という行動を笑顔という行動に変化させたとする。この第一人物の行動の変化は、第一行動認識部１０２により検出され、第一人物の行動の変化を検出した旨の情報が、第一制御部１０３及び第二制御部２０３に提供される。

第一制御部１０３は、第一人物の行動の変化を検出した旨の情報を受け取った場合、行動を変化させる前の第一人物の映像を第一表示部１０４に表示させるように制御する。例えば、第一制御部１０３は、所定の遅延時間Δ₁₂＋Δ₂₁だけ前の第一人物の映像、すなわち時刻-（Δ₁₂＋Δ₂₁）からの第一人物の映像を第一表示部１０４に表示させることを開始するように制御する。この結果、第一表示部１０４には、第一人物が行動を変化させた時刻から所定の遅延時間Δ₁₂＋Δ₂₁だけ遅れて第一人物の変化後の行動である第一行動が表示されることになる（ステップＳ２）。所定の遅延時間Δ₁₂＋Δ₂₁は、第一遅延時間Δ₁₂と第二遅延時間Δ₂₁とを加算した時間である。後述するように、第一遅延時間Δ₁₂は第一人物が行動を変化させた時刻から第二表示部２０４に第一人物の変化後の行動である第一行動が表示されるまでの遅延時間である。

また、第一制御部１０３は、第一人物の第一行動を第一表示部１０４に表示させてから所定の時間の経過後に、第一人物の映像を第一表示部１０４に表示することを終了する制御を行う。所定の時間は想定される第二人物のリアクションの時間よりも長いとする。例えば、所定の時間を１から数秒程度とする。図３の例だと、第一制御部１０３は、時刻Δ₁₂＋Δ₂₁+所定の時間において第一人物の映像を第一表示部１０４に表示することを終了する制御を行う。

なお、第一制御部１０３は、第二人物の行動の変化を検出した旨の情報を現時刻から所定の時間（例えば１から数秒程度）以前に第二行動認識部２０２から受け取っている場合には、第一制御部１０３による上記の第一人物の映像を第一表示部１０４に表示することを開始させる処理及び第一人物の映像を第一表示部１０４に表示することを終了する処理は行わない。

第二表示部２０４は、ＣＲＴ、液晶ディスプレイ等の表示装置である。第二人物が行動を変化させる前においては、第二人物の映像は第二表示部２０４には表示されないように第一制御部１０３により制御されている。

また、第二表示部２０４は、受け取った第一人物の映像についての情報に基づいて、第一人物の映像を表示する。一般に、遠隔対話においては、システム遅延及び／又は通信の遅延等により、遠隔対話をしている相手側の映像は遅れて表示される。第一人物の映像が第二表示部２０４に表示されるまでの遅延時間を、第一遅延時間Δ₁₂とする。言い換えれば、第一人物が行動を変化させた時刻から第二表示部２０４に第一人物の変化後の行動である第一行動が表示されるまでの遅延時間を、第一遅延時間Δ₁₂とする。この結果、第二表示部２０４には、第一人物が行動を変化させた時刻から第一遅延時間Δ₁₂だけ遅れて第一人物の第一行動が表示されることになる（ステップＳ１）。

図３の例では、時刻Δ₁₂において、第一人物の第一行動が第二表示部２０４に表示されることになる。

第二入力部２０１は、ビデオカメラ等の映像を撮影することができる装置である。第二入力部２０１で取得された第二人物の映像についての情報は、第二行動認識部２０２と、第二制御部２０３と、第一地点装置１００の第一表示部１０４とに提供される。第二入力部２０１は、第二人物の少なくとも頭部を映した映像を撮影すればよい。ここで、頭部とは、表情を認識できる程度に顔の領域を含む部分であるとする。

ここで、図３に示すように、第二表示部２０４に表示された第一人物の第一行動に反応した第二人物が時刻Δ₁₂＋fにおいて無表情という行動を笑顔という行動に変化させたとする。後述するように、fは、第二人物の実際のリアクションの時間である。

上記したように、第二人物の映像は第二遅延時間Δ₂₁だけ遅れて第一表示部１０４に表示される。したがって、図３の例では、第二人物の映像を受け取った第一表示部１０４は、時刻Δ₂₁＋Δ₁₂＋fにおいて、第二人物の変化後の行動である第二行動を表示することになる。

このように、第二表示部２０４に表示された第一人物の第一行動に反応して第二地点に位置している第二人物が行動を変化させた場合、第二人物が行動を変化させた時刻から第二遅延時間Δ₂₁だけ遅れて第二人物の変化後の行動である第二行動が第一表示部１０４に更に表示されることになる（ステップＳ３）。

なお、第二行動認識部２０２及び第二制御部２０３は、第一行動認識部１０２及び第一制御部１０３と同様である。

すなわち、第二行動認識部２０２は、受け取った第二人物の映像についての情報に基づいて、第二人物の行動を認識することにより、第二人物の行動の変化を検出する。第二行動認識部２０２が第二人物の行動の変化を検出した場合、第二人物の行動の変化を検出した旨の情報が、第二制御部２０３及び第一地点装置１００の第一制御部１０３に提供される。第二人物の行動として、例えば表情、視線、頭部ジェスチャ、発話有無等が認識される。第二行動認識部２０２における行動の認識の詳細については後述する。第二行動認識部２０２は、所定の時間間隔で第二人物の行動を認識し、直前に認識された行動と異なる行動が認識されたかどうかに基づいて、第二人物の行動の変化を検出する。第二行動認識部２０２は、行動の変化として、例えば表情の変化を検出する。

また、第二制御部２０３は、第二人物の行動の変化を検出した旨の情報を受け取った場合、行動を変化させる前の第二人物の映像を第二表示部２０４に表示させるように制御する。例えば、第二制御部２０３は、所定の遅延時間Δ₂₁＋Δ₁₂だけ前の第二人物の映像、すなわち時刻-（Δ₂₁＋Δ₁₂）からの第二人物の映像を第二表示部２０４に表示させるように制御する。

また、第二制御部２０３は、第二人物の第二行動を第二表示部２０４に表示させてから所定の時間の経過後に、第二人物の映像を第二表示部２０４に表示することを終了する制御を行う。所定の時間は想定される第二人物のリアクションの時間よりも長いとする。例えば、所定の時間を１から数秒程度とする。

なお、第二制御部２０３は、第一人物の行動の変化を検出した旨の情報を第一行動認識部１０２から受け取っている場合には、第二制御部２０３による上記の第二人物の映像を第二表示部２０４に表示させる処理及び第二人物の映像を第二表示部２０４に表示することを終了する処理は行わない。

図３の例の場合、第二制御部２０３は、第一人物の行動の変化を検出した旨の情報を第一行動認識部１０２から受け取っているため、第二制御部２０３による上記の第二人物の映像を第二表示部２０４に表示させる処理及び第二人物の映像を第二表示部２０４に表示することを終了する処理は行われない。

このように、第一制御部１０３及び第二制御部２０３は、それぞれ第二人物の行動の変化を検出した旨の情報及び第一人物の行動の変化を検出した旨の情報を受け取っているかどうかに基づいて、それぞれ第一人物の第一行動を第一表示部１０４に及び第二人物の第二行動を第二表示部２０４に表示させるかどうかを決定している。

第一実施形態では、第一表示部１０４には、第一人物が行動を変化させた時刻から所定の遅延時間Δ₁₂＋Δ₂₁だけ遅れて第一人物の第一行動が表示されるように制御が行われている。以下、この制御の意義について説明する。

もし、この制御が行われない場合には、図４に示すように、第一人物が行動を変化させた時刻０において第一表示部１０４に第一人物の第一行動が表示されることになる。一方、図４に示すように、第一人物の第一行動に対するリアクションである第二人物の第二行動は、図３の例と同様に、時刻Δ₁₂＋Δ₂₁＋fにおいて第一表示部１０４に表示される。

図４の例では、第二人物は、実際には、第一人物の変化後の行動である笑顔という第一行動を見てからｆ時間後に笑顔になるという行動の変化をしている。しかし、第一表示部１０４を見ている第一人物は、第二人物の実際のリアクションの時間であるf時間から、更に所定の遅延時間Δ₁₂＋Δ₂₁だけ遅れて、第二人物の笑顔になるという行動の変化を見ることになる。このように、実際のリアクションの時間と表示されるリアクションの時間とが異なると、遠隔対話をしている人物間に違和感が生じることがある。一般論として、自分が微笑みかけても相手の微笑みがすぐに返ってこない場合には、遅れて微笑が返ってきたとしても自分に共感していないという印象を受けてしまいがちである。ここで、第二人物は実際には共感しておりすぐに笑顔を返したとしても、すなわちリアクションの時間fが短いとしても、遅延時間Δ₁₂＋Δ₂₁が長い場合には、第一人物は、自分が微笑みかけても第二人物の微笑みがすぐに返ってこないので、第一人物は第二人物が自分に共感していないと判断してしまう可能性がある。

これに対して、上記の制御を行い、第一人物が行動を変化させた時刻から所定の遅延時間Δ₁₂＋Δ₂₁だけ遅れて第一人物の変化後の行動である第一行動が第一表示部１０４に表示されるようにすると、図３に示すように、実際のリアクションの時間=表示されるリアクションの時間=fとなり、実際のリアクションの時間と表示されるリアクションの時間とを一致させることができる。したがって、上記の制御により、図４の例では生じた遠隔対話をしている人物間の違和感を軽減又は除去することができるのである。

第一表示部１０４には普段第一人物の映像は表示されないように第一制御部１０３により制御されている。また、第二表示部２０４には普段第二人物の映像は表示されないように第二制御部２０３により制御されている。もしこれらの制御が行われない場合には、例えば、第一制御部１０３は第一人物の行動の変化を検出した旨の情報を受け取った場合行動を変化させる前の第一人物の映像を第一表示部１０４に表示させるが、この表示のときに映像が不連続となり違和感が生じる可能性がある。この違和感を生じさせないようにするために、これらの制御が行われるのである。この違和感を許容できる場合には、これらの制御を行わなくてもよい。

これまで、第一人物が第二人物よりも先に行動を変化させる図３の例に挙げて説明したが、第二人物が第一人物よりも先に行動を変化させる場合がある。以下、第二人物が第一人物よりも先に行動を変化させる図７の例を用いて第一実施形態の遠隔対話装置の説明を行う。

図７に示すように第二人物が時刻０において無表情という行動を笑顔という行動に変化させたとする。この第二人物の行動の変化は、第二行動認識部２０２により検出され、第二人物の行動の変化を検出した旨の情報が、第二制御部２０３及び第一制御部１０３に提供される。

この場合、第二制御部２０３は、所定の遅延時間Δ₂₁＋Δ₁₂だけ前の第二人物の映像、すなわち時刻-（Δ₂₁＋Δ₁₂）からの第二人物の映像を第二表示部２０４に表示させるように制御する。これにより、第二表示部２０４には、第二人物が行動を変化させた時刻から所定の遅延時間Δ₂₁＋Δ₁₂だけ遅れて第二人物の変化後の行動である第二行動が表示されることになる。また、この第二人物の第二行動の表示は、時刻Δ₁₂＋Δ₂₁+所定の時間において消える。

また、第二人物の映像が第一表示部１０４に表示されるまでの遅延時間は第二遅延時間Δ₂₁であるため、時刻Δ₂₁において第二人物の第二行動が第一表示部１０４に表示されることになる。

第一表示部１０４に表示された第二人物の第二行動に反応した第一人物が時刻Δ₂₁＋fにおいて無表情という行動を笑顔という行動に変化させたとする。

このとき、第一人物の映像が第二表示部２０４に表示されるまでの遅延時間は第一遅延時間Δ₁₂であるため、第一人物の映像は第一遅延時間Δ₁₂だけ遅れて第二表示部２０４に表示される。したがって、図７の例では、第一人物の映像を受け取った第二表示部２０４は、時刻Δ₂₁＋Δ₁₂＋fにおいて、第一人物の変化後の行動である第一行動を表示することになる。

このように、第一表示部１０４に表示された第二人物の第二行動に反応して第一地点に位置している第一人物が行動を変化させた場合、第一人物が行動を変化させた時刻から第一遅延時間Δ₁₂だけ遅れて第一人物の変化後の行動である第一行動が第二表示部２０４に更に表示されることになる。

なお、図７の例の場合、第一制御部１０３は、第二人物の行動の変化を検出した旨の情報を第二行動認識部２０２から受け取っているため、第一制御部１０３による第一人物の映像を第一表示部１０４に表示させる処理及び第一人物の映像を第一表示部１０４に表示することを終了する処理は行われない。

このように、第二人物が第一人物よりも先に行動を変化させる場合にも、実際のリアクションの時間=表示されるリアクションの時間=fとなり、実際のリアクションの時間と表示されるリアクションの時間とを一致させることができ遠隔対話をしている人物間の違和感を軽減又は除去することができる。

［第二実施形態］
図２に例示するように、第一表示部１０４は、第一地点及び第二地点とは異なる第三地点に配置されていてもよい。

第二実施形態の遠隔対話装置は、第一地点に位置する第一人物及び第二地点に位置する第二人物が第一地点装置１００及び第二地点装置２００を介して行う遠隔対話を、第三地点に位置する第三人物が対話に参加することなく傍観する状況を想定している。

以下、第一実施形態と異なる部分を中心に説明し、第一実施形態と同様の部分については重複説明となることを避けるために説明を省略する。

第二実施形態の遠隔対話装置は、図２に示すように、第三地点に配置されている第三地点装置３００を更に備えている。第三地点装置３００は、第一行動認識部１０２、第一制御部１０３及び第一表示部１０４を例えば備えている。第一地点装置１００は、第一入力部１０１を備えている。

第一実施形態では、第一制御部１０３は、第一人物が行動を変化させる前においては、第一人物の映像が第一表示部１０４には表示されないように制御していた。しかし、第二実施形態では、第一制御部１０３はこの制御を行わない。すなわち、第一表示部１０４には、第一人物の映像と第二人物の映像との両方が普段から表示されている。

この表示の下で、図５に例示すように、第一人物が時刻０において無表情という行動を笑顔という行動に変化させた場合、第一制御部１０３は、所定の遅延時間Δ₁₂＋Δ₂₁だけ前の第一人物の映像、すなわち時刻−（Δ₁₂＋Δ₂₁）からの第一人物の映像を第一表示部１０４に表示させるように制御する。言い換えれば、第一制御部１０３は、第一遅延時間Δ₁₂だけ遅延した第一人物の映像に代えて所定の遅延時間Δ₁₂＋Δ₂₁だけ遅延した第一人物の映像が第一表示部１０４に表示されるように制御する。この結果、第一表示部１０４には、時刻Δ₁₂＋Δ₂₁において第一人物の変化後の行動である第一行動が表示されることになる。

また、図５に例示するように、第二表示部２０４に表示された第一人物の第一行動に反応した第二人物が時刻Δ₁₂＋fにおいて無表情という行動を笑顔という行動に変化させた場合、第二人物の変化後の行動である第二行動は第二遅延時間Δ₂₁だけ遅延して第一表示部１０４に表示される。すなわち、第一表示部１０４には、時刻Δ₁₂＋Δ₂₁＋fにおいて第二人物の第二行動が表示されることになる。

このように、第一表示部１０４において、所定の遅延時間Δ₁₂＋Δ₂₁だけ遅らせて第一人物の第一行動が表示されるように制御すると、第一実施形態と同様に、実際のリアクションの時間=表示されるリアクションの時間=fとなり、実際のリアクションの時間と表示されるリアクションの時間とを一致させることができる。したがって、上記の制御により、第一表示部１０４において第一人物と第二人物との間の対話を傍観している第三人物の違和感を軽減又は除去することができる。

なお、第一実施形態と同様に、第一制御部１０３は、第一人物の第一行動を第一表示部１０４に表示させてから所定の時間の経過後に、第一人物の映像を第一表示部１０４に表示することを終了する制御を行う。所定の時間は想定される第二人物のリアクションの時間よりも長いとする。例えば、所定の時間を１から数秒程度とする。

第二実施形態では、この制御は、第一制御部１０３が、第一人物の第一行動が第一表示部１０４に表示されてから所定の時間の経過後に所定の遅延時間Δ₁₂＋Δ₂₁だけ遅延した第一人物の映像に代えて第一遅延時間Δ₁₂だけ遅延した第一人物の映像が第一表示部１０４に表示されるように制御することで例えば実現される。すなわち、遅延量をΔ₁₂＋Δ₂₁からΔ₁₂に戻すことで実現される。

ところで、第一人物の映像が第三地点に配置されている第一表示部１０４に表示されるまでの所定の遅延時間を、第三遅延時間Δ₃とする。言い換えれば、第一人物が行動を変化させた時刻から第三地点に配置されている第一表示部１０４に第一人物の変化後の第一行動が表示されるまでの所定の遅延時間を、第三遅延時間Δ₃とする。そして、第三遅延時間Δ₃＞所定の遅延時間Δ₁₂＋Δ₂₁であるとする。この場合、第一制御部１０３は、第一表示部１０４において、第三遅延時間Δ₃だけ遅らせて第一人物の第一行動及び第二人物の第二行動が表示されるように制御してもよい。第三遅延時間Δ₃＞所定の遅延時間Δ₁₂＋Δ₂₁である場合には、この制御により、実際のリアクションの時間=表示されるリアクションの時間=fとなり、第一表示部１０４において第一人物と第二人物との間の対話を傍観している第三人物の違和感を軽減又は除去することができる。

図２の例では、第一行動認識部１０２及び第一制御部１０３が、第三地点装置３００に設けられていた。しかし、第一行動認識部１０２及び第一制御部１０３は、第三地点装置３００ではなく、第一地点装置１００に設けられていてもよい。この場合において、第三実施形態に設けられた第一表示部１０４と同じ機能を有する第一表示部１０４が更に第一地点装置１００に設けられていてもよい。この場合、図８に例示するように、遠隔対話装置は合計２個の第一表示部１０４を有することになり、一方の第一表示部１０４が第一地点装置１００に設けられ、他方の第一表示部１０４が第三地点装置３００に設けられることになる。この図８に例示する遠隔対話装置は、第一実施形態で説明した遠隔対話装置として機能することもできるし、第二実施形態で説明した遠隔対話装置としても機能することができる。

また、第三地点装置３００に設けられた第一表示部１０４が更に第二表示部２０４として機能するものであってもよい。すなわち、第二表示部２０４が第二制御部２０３から受ける制御と同様の制御を、第三地点装置３００に設けられた第一表示部１０４が第二制御部２０３から更に受けてもよい。この場合であって、第二人物が第一人物よりも先に行動を変化させた場合、すなわち例えば第二人物が第一人物よりも先に時刻０において無表情という行動を笑顔という行動に変化させた場合、第二制御部２０３は、所定の遅延時間Δ₂₁＋Δ₁₂だけ前の第二人物の映像、すなわち時刻−（Δ₂₁＋Δ₁₂）からの第二人物の映像を第二表示部２０４として機能する第三地点装置３００に設けられた第一表示部１０４に表示させるように制御する。言い換えれば、第二制御部２０３は、第二遅延時間Δ₂₁だけ遅延した第二人物の映像に代えて所定の遅延時間Δ₂₁＋Δ₁₂だけ遅延した第二人物の映像が第一表示部２０４に表示されるように制御する。この結果、第三地点装置３００に設けられた第一表示部１０４には、時刻Δ₂₁＋Δ₁₂において第二人物の変化後の行動である第二行動が表示されることになる。

また、第一実施形態と同様に、第二制御部２０３は、第二人物の第二行動を第一表示部１０４に表示させてから所定の時間の経過後に、第二人物の映像を第一表示部１０４に表示することを終了する制御を行う。所定の時間は想定される第一人物のリアクションの時間よりも長いとする。例えば、所定の時間を１から数秒程度とする。

第二実施形態では、この制御は、第二制御部２０３が、第二人物の第二行動が第一表示部１０４に表示されてから所定の時間の経過後に所定の遅延時間Δ₂₁＋Δ₁₂だけ遅延した第二人物の映像に代えて第二遅延時間Δ₂₁だけ遅延した第二人物の映像が第一表示部１０４に表示されるように制御することで例えば実現される。すなわち、遅延量をΔ₂₁＋Δ₁₂からΔ₂₁に戻すことで実現される。

なお、第一行動認識部１０２、第一制御部１０３、第二行動認識部２０２及び第二制御部２０３は、どこに設けられていてもよい。例えば、これらの全部又は一部が第三地点装置３００に設けられていてもよいし、これらの全部又は一部が図示していないサーバーに設けられていてもよい。

また、第一行動認識部１０２及び第一制御部１０３は、第一地点装置１００と第三地点装置３００の両方に設けられていてもよい。同様に、第二行動認識部２０２及び第二制御部２０３は、第一地点装置１００と第三地点装置３００の両方に設けられていてもよい。

［第一行動認識部及び第二行動認識部］
以下、第一行動認識部１０２及び第二行動認識部２０２における行動の認識の詳細について説明する。

第一行動認識部１０２及び第二行動認識部２０２はそれぞれ第一人物及び第二人物の映像についての情報に基づいて第一人物の行動及び第二人物の行動を認識し、これらの認識結果に基づいて第一人物の行動の変化及び第二人物の行動の変化を検出する。例えば、表情、視線、頭部ジェスチャ、および発話有無の4つの行動チャネルを認識対象とする。行動チャネルとは、行動の形態のことである。表情は、感情を表す主要な経路である。例えば、無表情／微笑／哄笑／苦笑／思考中／その他、の6状態を表情の認識対象とする。視線は、感情を誰に伝えようとしているのかということと、他者の行動を観察していることとの少なくとも一方などを表している。表情と視線の認識方法は、「特開２０１２−１８５７２７号公報（参考文献１）」又は「熊野史朗, 大塚和弘, 三上弾, 大和淳司, “複数人対話を対象とした表情と視線に基づく共感／反感の推定モデルとその評価”, 電子情報通信学会技術報告，ヒューマンコミュニケーション基礎研究会, HCS 111(214), pp. 33-38，2011.（参考文献２）」に記載の方法を用いればよい。

頭部ジェスチャは、しばしば他者の意見に対する態度の表明として表出される。例えば、なし／頷き／首ふり／傾げ／これらの組み合わせ、の4状態を頭部ジェスチャの認識対象とする。頭部ジェスチャの認識方法は、周知のいかなる方法も用いることができる。例えば「江尻康, 小林哲則, “対話中における頭部ジェスチャの認識”, 電子情報通信学会技術研究報告, PRMU2002-61, pp.31-36, Jul.2002.（参考文献３）」に記載の方法を用いればよい。発話有無は、話し手／聞き手という対話役割の主要な指標となる。例えば、発話／沈黙、の2状態を発話有無の認識対象とする。発話有無の認識方法は、映像中の音声パワーを検出してあらかじめ定めた閾値を超えた場合に発話していると判断すればよい。もしくは映像中の対話者の口元の動きを検出することで発話の有無を検出してもよい。それぞれの行動は一台の装置ですべて認識してもよいし、行動ごとに別々の装置を用いて認識しても構わない。例えば、表情の認識であれば、行動認識装置の一例として「特許４９４２１９７号公報（参考文献４）」を使用すればよい。

［変形例等］
この発明は上述の実施形態に限定されるものではなく、この発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。上記実施例において説明した各種の処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。

例えば、第一地点装置１００及び第二地点装置２００は、遅延時間設定部（図示せず）を備えていてもよい。遅延時間設定部は、第一遅延時間及び第二遅延時間を測定し、測定された第一遅延時間及び第二遅延時間を加算し、加算により得られた時間を所定の遅延時間とする。

また、上記実施形態で説明した各装置における各種の処理機能をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記各装置における各種の処理機能がコンピュータ上で実現される。

この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。

また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。

このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。

また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

１００ 第一地点装置
１０１ 第一入力部
１０２ 第一行動認識部
１０３ 第一制御部
１０４ 第一表示部
２００ 第二地点装置
２０１ 第二入力部
２０２ 第二行動認識部
２０３ 第二制御部
２０４ 第二表示部
３００ 第三地点装置

Claims (12)

1. 第一人物が行動を変化させた場合、上記第一人物が行動を変化させた時刻から所定の遅延時間だけ遅れて上記第一人物の変化後の行動である第一行動の映像を第一表示部に表示させる第一制御部と、
   上記第一表示部と、
   上記第一人物が行動を変化させた時刻から第一遅延時間だけ遅れて上記第一人物の上記第一行動の映像が表示される、第二地点に配置された第二表示部と、を含み、
   上記第二表示部に表示された上記第一人物の上記第一行動に反応して上記第二地点に位置している第二人物が行動を変化させた場合、上記第二人物が行動を変化させた時刻から第二遅延時間だけ遅れて上記第二人物の変化後の行動である第二行動の映像が上記第一表示部に更に表示されるとして、
   上記所定の遅延時間は、上記第一遅延時間と上記第二遅延時間とを加算した時間であり、
   第一人物が行動を変化させる前においては、第一人物の映像は、上記第一表示部には表示されておらず、
   上記行動の変化は、所定の非言語行動の変化である、
   遠隔対話装置。
2. 第一人物が行動を変化させた場合、上記第一人物が行動を変化させた時刻から所定の遅延時間だけ遅れて上記第一人物の変化後の行動である第一行動の映像を第一表示部に表示させる第一制御部と、
   上記第一表示部と、
   上記第一人物が行動を変化させた時刻から第一遅延時間だけ遅れて上記第一人物の上記第一行動の映像が表示される、第二地点に配置された第二表示部と、を含み、
   上記第二表示部に表示された上記第一人物の上記第一行動に反応して上記第二地点に位置している第二人物が行動を変化させた場合、上記第二人物が行動を変化させた時刻から第二遅延時間だけ遅れて上記第二人物の変化後の行動である第二行動の映像が上記第一表示部に更に表示されるとして、
   上記所定の遅延時間は、上記第一遅延時間と上記第二遅延時間とを加算した時間であり、
   上記第一表示部に表示された上記第一人物の上記第一行動は、上記第一人物の上記第一行動の映像を上記第一表示部に表示させてから所定の時間の経過後に上記第一表示部に表示されなくなり、
   上記行動の変化は、所定の非言語行動の変化である、
   遠隔対話装置。
3. 第一人物が行動を変化させた場合、上記第一人物が行動を変化させた時刻から所定の遅延時間だけ遅れて上記第一人物の変化後の行動である第一行動の映像を第一表示部に表示させる第一制御部と、
   上記第一表示部と、
   上記第一人物が行動を変化させた時刻から第一遅延時間だけ遅れて上記第一人物の上記第一行動の映像が表示される、第二地点に配置された第二表示部と、を含み、
   上記第二表示部に表示された上記第一人物の上記第一行動に反応して上記第二地点に位置している第二人物が行動を変化させた場合、上記第二人物が行動を変化させた時刻から第二遅延時間だけ遅れて上記第二人物の変化後の行動である第二行動の映像が上記第一表示部に更に表示されるとして、
   上記所定の遅延時間は、上記第一遅延時間と上記第二遅延時間とを加算した時間であり、
   第一人物が行動を変化させる前においては、第一人物の映像は、上記第一表示部に遅延なしで表示されており、
   上記行動の変化は、所定の非言語行動の変化である、
   遠隔対話装置。
4. 請求項２の遠隔対話装置において、
   第一人物が行動を変化させる前においては、第一人物の映像は、上記第一表示部には表示されていない、
   遠隔対話装置。
5. 請求項２の遠隔対話装置において、
   第一人物が行動を変化させる前においては、第一人物の映像は、上記第一表示部に遅延なしで表示されている、
   遠隔対話装置。
6. 第一人物が行動を変化させた場合、上記第一人物が行動を変化させた時刻から所定の遅延時間だけ遅れて上記第一人物の変化後の行動である第一行動の映像を第一表示部に表示させる第一制御部と、
   上記第一表示部と、
   上記第一人物が行動を変化させた時刻から第一遅延時間だけ遅れて上記第一人物の上記第一行動の映像が表示される、第二地点に配置された第二表示部と、を含み、
   上記第二表示部に表示された上記第一人物の上記第一行動に反応して上記第二地点に位置している第二人物が行動を変化させた場合、上記第二人物が行動を変化させた時刻から第二遅延時間だけ遅れて上記第二人物の変化後の行動である第二行動の映像が上記第一表示部に更に表示されるとして、
   上記所定の遅延時間は、上記第一遅延時間と上記第二遅延時間とを加算した時間であり、
   上記第一表示部は、上記第一人物が位置している第一地点とは異なる第三地点に配置されており、
   上記第一人物が行動を変化させた場合、上記第一遅延時間だけ遅延した上記第一人物の映像に代えて上記所定の遅延時間だけ遅延した上記第一人物の映像が上記第一表示部に表示され、上記第一人物の第一行動が上記第一表示部に表示されてから所定の時間の経過後に上記所定の遅延時間だけ遅延した上記第一人物の映像に代えて上記第一遅延時間だけ遅延した上記第一人物の映像が上記第一表示部に表示され、
   上記行動の変化は、所定の非言語行動の変化である、
   遠隔対話装置。
7. 第一人物が行動を変化させた場合、上記第一人物が行動を変化させた時刻から所定の遅延時間だけ遅れて上記第一人物の変化後の行動である第一行動の映像を第一表示部に表示させる第一制御部と、
   上記第一表示部と、
   上記第一人物が行動を変化させた時刻から第一遅延時間だけ遅れて上記第一人物の上記第一行動の映像が表示される、第二地点に配置された第二表示部と、を含み、
   上記第二表示部に表示された上記第一人物の上記第一行動に反応して上記第二地点に位置している第二人物が行動を変化させた場合、上記第二人物が行動を変化させた時刻から第二遅延時間だけ遅れて上記第二人物の変化後の行動である第二行動の映像が上記第一表示部に更に表示されるとして、
   上記所定の遅延時間は、上記第一遅延時間と上記第二遅延時間とを加算した時間であり、
   上記第一表示部は、上記第一人物が位置している第一地点に配置されており、
   上記行動の変化は、所定の非言語行動の変化である、
   遠隔対話装置において、
   上記第一人物が行動を変化させた場合、上記第一遅延時間だけ遅延した上記第一人物の映像に代えて上記所定の遅延時間だけ遅延した上記第一人物の映像が上記第一表示部に表示され、上記第一人物の第一行動が上記第一表示部に表示されてから所定の時間の経過後に上記所定の遅延時間だけ遅延した上記第一人物の映像に代えて上記第一遅延時間だけ遅延した上記第一人物の映像が上記第一表示部に表示される、
   遠隔対話装置。
8. 請求項１から７の何れかの遠隔対話装置において、
   上記行動の変化は、所定の、表情、視線、頭部ジェスチャ及び発話有無の少なくとも１つの変化である、
   遠隔対話装置。
9. 第一制御部が、第一人物が行動を変化させた場合、上記第一人物が行動を変化させた時刻から所定の遅延時間だけ遅れて上記第一人物の変化後の行動である第一行動の映像を第一表示部に表示させる第一制御ステップと、
   第二地点に配置された第二表示部に、上記第一人物が行動を変化させた時刻から第一遅延時間だけ遅れて上記第一人物の上記第一行動の映像が表示されるステップと、
   上記第一表示部に、上記第二表示部に表示された上記第一人物の上記第一行動に反応して上記第二地点に位置している第二人物が行動を変化させた場合、上記第二人物が行動を変化させた時刻から第二遅延時間だけ遅れて上記第二人物の変化後の行動である第二行動の映像が表示されるステップと、を含み、
   上記所定の遅延時間は、上記第一遅延時間と上記第二遅延時間とを加算した時間であり、
   第一人物が行動を変化させる前においては、第一人物の映像は、上記第一表示部には表示されておらず、
   上記行動の変化は、所定の非言語行動の変化である、
   遠隔対話方法。
10. 第一制御部が、第一人物が行動を変化させた場合、上記第一人物が行動を変化させた時刻から所定の遅延時間だけ遅れて上記第一人物の変化後の行動である第一行動の映像を第一表示部に表示させる第一制御ステップと、
    第二地点に配置された第二表示部に、上記第一人物が行動を変化させた時刻から第一遅延時間だけ遅れて上記第一人物の上記第一行動の映像が表示されるステップと、
    上記第一表示部に、上記第二表示部に表示された上記第一人物の上記第一行動に反応して上記第二地点に位置している第二人物が行動を変化させた場合、上記第二人物が行動を変化させた時刻から第二遅延時間だけ遅れて上記第二人物の変化後の行動である第二行動の映像が表示されるステップと、を含み、
    上記所定の遅延時間は、上記第一遅延時間と上記第二遅延時間とを加算した時間であり、
    上記第一表示部に表示された上記第一人物の上記第一行動は、上記第一人物の上記第一行動の映像を上記第一表示部に表示させてから所定の時間の経過後に上記第一表示部に表示されなくなり、
    上記行動の変化は、所定の非言語行動の変化である、
    遠隔対話方法。
11. 第一制御部が、第一人物が行動を変化させた場合、上記第一人物が行動を変化させた時刻から所定の遅延時間だけ遅れて上記第一人物の変化後の行動である第一行動の映像を第一表示部に表示させる第一制御ステップと、
    第二地点に配置された第二表示部に、上記第一人物が行動を変化させた時刻から第一遅延時間だけ遅れて上記第一人物の上記第一行動の映像が表示されるステップと、
    上記第一表示部に、上記第二表示部に表示された上記第一人物の上記第一行動に反応して上記第二地点に位置している第二人物が行動を変化させた場合、上記第二人物が行動を変化させた時刻から第二遅延時間だけ遅れて上記第二人物の変化後の行動である第二行動の映像が表示されるステップと、を含み、
    上記所定の遅延時間は、上記第一遅延時間と上記第二遅延時間とを加算した時間であり、
    第一人物が行動を変化させる前においては、第一人物の映像は、上記第一表示部に遅延なしで表示されており、
    上記行動の変化は、所定の非言語行動の変化である、
    遠隔対話方法。
12. 第一制御部が、第一人物が行動を変化させた場合、上記第一人物が行動を変化させた時刻から所定の遅延時間だけ遅れて上記第一人物の変化後の行動である第一行動の映像を第一表示部に表示させる第一制御ステップと、
    第二地点に配置された第二表示部に、上記第一人物が行動を変化させた時刻から第一遅延時間だけ遅れて上記第一人物の上記第一行動の映像が表示されるステップと、
    上記第一表示部に、上記第二表示部に表示された上記第一人物の上記第一行動に反応して上記第二地点に位置している第二人物が行動を変化させた場合、上記第二人物が行動を変化させた時刻から第二遅延時間だけ遅れて上記第二人物の変化後の行動である第二行動の映像が表示されるステップと、を含み、
    上記所定の遅延時間は、上記第一遅延時間と上記第二遅延時間とを加算した時間であり、
    上記第一表示部は、上記第一人物が位置している第一地点とは異なる第三地点に配置されており
    上記第一人物が行動を変化させた場合、上記第一遅延時間だけ遅延した上記第一人物の映像に代えて上記所定の遅延時間だけ遅延した上記第一人物の映像が上記第一表示部に表示され、上記第一人物の第一行動が上記第一表示部に表示されてから所定の時間の経過後に上記所定の遅延時間だけ遅延した上記第一人物の映像に代えて上記第一遅延時間だけ遅延した上記第一人物の映像が上記第一表示部に表示され、
    上記行動の変化は、所定の非言語行動の変化である、
    遠隔対話方法。

Images