JP6433209B2 - 対話用通信システム及び対話用通信方法 - Google Patents

対話用通信システム及び対話用通信方法 Download PDF

Info

Publication number
JP6433209B2
JP6433209B2 JP2014190250A JP2014190250A JP6433209B2 JP 6433209 B2 JP6433209 B2 JP 6433209B2 JP 2014190250 A JP2014190250 A JP 2014190250A JP 2014190250 A JP2014190250 A JP 2014190250A JP 6433209 B2 JP6433209 B2 JP 6433209B2
Authority
JP
Japan
Prior art keywords
communication
distance
unit
person
detection unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014190250A
Other languages
English (en)
Other versions
JP2016063413A (ja
Inventor
吏 中野
吏 中野
貴司 折目
貴司 折目
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Daiwa House Industry Co Ltd
Original Assignee
Daiwa House Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daiwa House Industry Co Ltd filed Critical Daiwa House Industry Co Ltd
Priority to JP2014190250A priority Critical patent/JP6433209B2/ja
Priority to PCT/JP2015/076530 priority patent/WO2016043279A1/ja
Priority to US15/511,834 priority patent/US9961300B2/en
Publication of JP2016063413A publication Critical patent/JP2016063413A/ja
Application granted granted Critical
Publication of JP6433209B2 publication Critical patent/JP6433209B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/10Architectures or entities
    • H04L65/1059End-user terminal functionalities specially adapted for real-time communication
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M11/00Telephonic communication systems specially adapted for combination with other electrical systems
    • H04M11/06Simultaneous speech and data transmission, e.g. telegraphic transmission over the same conductors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M3/00Automatic or semi-automatic exchanges
    • H04M3/42Systems providing special services or facilities to subscribers
    • H04M3/56Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
    • H04M3/563User guidance or feature selection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/12Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M3/00Automatic or semi-automatic exchanges
    • H04M3/42Systems providing special services or facilities to subscribers
    • H04M3/56Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
    • H04M3/567Multimedia conference systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)

Description

本発明は、対話用通信システム及び対話用通信方法に係り、対話用通信を適切な手順にて終了することが可能な対話用通信システム及び対話用通信方法に関する。
互いに離れた複数の空間に居る者同士が互いの映像を見ながら対話を行うための通信技術は、既に周知である。かかる対話用通信は、互いに離れた複数の空間の各々に対して設けられた通信ユニット同士が通信することにより実現される。
ところで、上記の対話用通信を終了させる際、対話者の一方が所定の終了条件を満たすような動作(以下、終了動作)を行うことになる。従来の対話用通信システムでは、対話終了の合図となる言葉を発したり身振りを行ったりすることが終了動作として採用されていた(例えば、特許文献1及び2参照)。一例を挙げて説明すると、特許文献1及び2に記載の通信システムでは、対話者の一方が「さよなら」等の言葉を発したり、手を振る等の身振りを行ったりするのを対話終了の合図として検出する。そして、対話終了の合図となる動作の検知をトリガーとして、対話用通信が中断する。
特開2014−90230号公報 特開2010−183205号公報
上記の特許文献1及び2のように対話終了用の合図として言葉や身振りを用いる場合には、様々な対話者や対話のシチュエーション(例えば、対話者の属性や対話者同士の関係に応じて話し言葉及び身振りが変わること)に対応するために、上記の言葉や身振りを数多く想定し、事前に登録しておくことになる。しかしながら、すべてのシチュエーションを想定して言葉や身振りを事前登録しておくことは、事実上極めて困難である。一方で、対話終了の合図として登録された発言や身振りを対話者が意図せずに行うと、対話を続行したいという意思に反して対話用通信が中断されてしまうこととなる。
また、対話者が対話時に居る空間(部屋)内に人感センサを設け、当該人感センサが空間内においてヒトを検知しなくなったことを対話終了条件とする構成も考えられる。ただし、このような構成では、対話者が上記空間の外に出た時点で同空間内に居続けるヒトを、上記の人感センサが誤検知してしまう、かかる場合には、対話が終了しているにも拘らず対話用通信が続行される形になる。
また、対話者が対話時に居る空間(部屋)内に音声検知センサを設け、当該音声検知センサが空間内において音声を検知しなくなったことを対話終了条件とする構成も考えられる。ただし、このような構成も上記の構成と同様、対話者が上記空間の外に出た時点で同空間内において発生する雑音を、上記の音声検知センサが誤検知してしまい、結果として、対話が終了しているにも拘らず対話用通信が続行される形になる。
そこで、本発明は、上記の課題に鑑みてなされたものであり、その目的とするところは、互いに離れた空間に居る者同士が対話するために実行される対話用通信を、対話者にとって適切なタイミングで終了することが可能な対話用通信システム、及び対話用通信方法を提供することである。
また、本発明の他の目的は、対話者が対話を終了した時点で対話者が居る空間内に居続ける者や同空間内で発生した雑音等を認識することにより対話用通信を誤って続行させてしまう事態を防止することである。
前記課題は、本発明の対話用通信システムによれば、互いに離れた複数の空間の各々に対して設けられた通信ユニット同士が通信することで、前記複数の空間の各々に居る対話者間の対話を実現する対話用通信システムであって、前記通信ユニットは、前記複数の空間のうち、一方の空間内に居る前記対話者の顔画像を記憶する記憶部と、該記憶部に前記顔画像が記憶された前記対話者と前記一方の空間内に設定された基準位置との間の距離を検出する距離検出部と、前記記憶部に前記顔画像が記憶された前記対話者の顔又は視線の向きを検出する向き検出部と、前記距離検出部が検出した前記距離及び前記向き検出部が検出した前記向きに応じて、前記通信ユニット同士間の通信を続行するか否かを判定する判定部と、を有し、前記向き検出部が検出した前記向きが前記基準位置に設置された機器に対して所定の向きとなっている間、前記判定部は、前記通信ユニット同士間の通信を続行すると判定し、前記向き検出部が検出した前記向きが前記機器に対して前記所定の向きとは異なる向きとなった後に、前記距離検出部が検出した前記距離が増加したとき、前記判定部は、下記の条件(1)及び(2)のうちのいずれかが満たされると、前記通信ユニット同士間の通信を終了すると判定することにより解決される。
(1)前記記憶部に前記顔画像が記憶された前記対話者が、前記距離検出部が前記距離を検出不可能な位置に居ること。
(2)前記向き検出部が検出した前記向きが、予め設定された時間以上、前記機器に対して前記所定の向きとは異なる向きに維持されていること。
上記の構成では、対話者の顔又は視線の向きが基準位置に設置された機器に対して所定の向きとなっているとき、対話用通信を続行する。一方で、対話者の顔又は視線の向きが上記の機器に対して所定の向きとは異なる向きとなった場合、その後に対話者と基準位置との間の距離が増加したとき(すなわち、対話者が基準位置から離れたとき)、上記の条件(1)及び(2)のいずれかが成立した時点で対話用通信を終了する。
すなわち、本発明の対話用通信システムでは、対話者の顔又は視線の向き、並びに対話者の位置(厳密には、基準位置に対する相対位置)を対話用通信の終了を判断する際のパラメータとして用いる。これにより、いずれか一方のパラメータのみで対話用通信の終了を判断する場合に生じる不具合、例えば顔又は視線を一瞬だけ変えたときに対話用通信が終了してしまう事態を回避することが可能となる。また、あらゆる対話シチュエーションを想定して、対話終了用の合図とする言葉や身振りを数多く登録しておく必要もない。
以上の作用により、本発明の対話用通信システムによれば、対話者にとって対話用通信を終了すべき時点で適切に終了させることが可能となる。
また、上記の対話用通信システムにおいて、前記通信ユニットは、前記対話者を登録する登録部を更に有し、前記記憶部は、前記登録部により登録された前記対話者の前記顔画像を記憶し、前記登録部は、前記一方の空間内に居る者であって、前記向き検出部によって検出される顔又は視線の向きが前記機器に対して前記所定の向きとなった者を前記対話者として登録すると好適である。
上記の構成では、対話に際して対話者の顔画像を登録することとし、具体的には、基準位置に配置された機器に対して顔又は視線の向きが所定の向きとなった者を、対話者として登録する。そして、判定部は、対話者として登録された者の顔又は視線の向き、並びにその者の位置をパラメータとして対話用通信の終了の可否を判定する。これにより、対話終了時点で対話者が居る空間内に居続ける者や同空間内で発生する雑音等を認識して対話用通信を誤って続行してしまうという事態を、回避することが可能となる。
また、上記の対話用通信システムにおいて、前記登録部は、前記一方の空間内に居る者であって、前記向き検出部によって検出される顔又は視線の向きが前記機器に対して前記所定の向きとなった者のうち、下記の条件(3)を満たす者を前記対話者として登録すると尚好適である。
(3)前記向き検出部によって検出される顔又は視線の向きが前記機器に対して前記所定の向きとなった時点から所定時間が経過するまでの期間中に、前記距離検出部によって検出される前記基準位置との間の距離が増加していないこと。
上記の構成では、顔又は視線の向きが所定の向きとなってから所定時間が経過するまでの間に基準位置から遠ざかっていないことを登録条件とし、かかる条件を満たした者を対話者として登録する。これにより、対話者の誤登録を防止し、真に対話者として登録すべき者だけを対話者として登録することが可能となる。
また、上記の対話用通信システムにおいて、前記通信ユニットは、前記複数の空間のうち、他方の空間内に居る前記対話者の映像を表示する表示画面を形成するディスプレイを前記機器として有し、前記基準位置は、前記空間内における前記ディスプレイの設置位置であり、前記所定の向きは、前記表示画面を正面視している向きであると更に好適である。
上記の構成では、顔又は視線の向きがディスプレイの表示画面を正面視する向きとなることを登録条件としている。ここで、表示画面を正面視する行為は、対話しようとする意思の表れである。したがって、上記の内容を登録条件として採用することにより、対話者として登録すべきではない者(すなわち、対話の意思がないのにディスプレイ廻りに居る者)を誤登録してしまうのを、効果的に防止することが可能となる。
また、上記の対話用通信システムにおいて、前記距離検出部は、前記一方の空間内に設置され、前記対話者が前記一方の空間内に居るときには前記距離に応じた信号を出力するセンサを有し、前記距離検出部が前記距離を検出不可能な位置は、前記センサが前記対話者を検知することが可能なエリアの外であると益々好適である。
上記の構成では、対話者がセンサの検知エリアの外に出ることを、対話用通信の終了条件の一つとしている。ここで、センサの検知エリアの外に出る行為は、対話している場所から離れること、すなわち対話を終了しようとする意志の表れである。したがって、上記の内容を対話終了条件として採用することにより、対話者の意思を反映して終了するのが妥当と考えられるタイミングにて対話用通信を終了することが可能となる。
また、前述の課題は、本発明の対話用通信方法によれば、互いに離れた複数の空間の各々に対して設けられた通信ユニット同士が通信することで、前記複数の空間の各々に居る対話者間の対話を実現する対話用通信方法であって、前記通信ユニットが有する記憶部が、前記複数の空間のうち、対応する空間内に居る前記対話者の顔画像を記憶することと、前記通信ユニットが有する距離検出部が、前記記憶部に前記顔画像が記憶されたた前記対話者と前記対応する空間内に設定された基準位置との間の距離を検出することと、前記通信ユニットが有する向き検出部が、前記記憶部に前記顔画像が記憶された前記対話者の顔又は視線の向きを検出することと、前記通信ユニットが有する判定部が、前記距離検出部が検出した前記距離及び前記向き検出部が検出した前記向きに応じて、前記通信ユニット同士間の通信を続行するか否かを判定することと、を有し、前記向き検出部が検出した前記向きが前記基準位置に設置された機器に対して所定の向きとなっている間、前記判定部は、前記通信ユニット同士間の通信を続行すると判定し、前記向き検出部が検出した前記向きが前記機器に対して前記所定の向きとは異なる向きとなった後に、前記距離検出部が検出した前記距離が増加したとき、前記判定部は、下記の条件(1)及び(2)のうちのいずれかが満たされると、前記通信ユニット同士間の通信を終了すると判定することにより解決される。
(1)前記記憶部に前記顔画像が記憶された前記対話者が、前記距離検出部が前記距離を検出不可能な位置に居ること。
(2)前記向き検出部が検出した前記向きが、予め設定された時間以上、前記機器に対して前記所定の向きとは異なる向きに維持されていること。
上記の方法によれば、対話者の顔又は視線の向き、並びに対話者の位置(厳密には、基準位置に対する相対位置)をパラメータとして対話用通信の終了を判断するので、これらのパラメータのうちのいずれか一つのみを採用して対話用通信の終了を判断する場合と比較して、より適切なタイミングにて対話用通信を終了することが可能となる。
本発明の対話用通信システム及び対話用通信方法によれば、対話者の顔又は視線の向き、並びに対話者の位置(厳密には、基準位置に対する相対位置)をパラメータとして、対話用通信の終了を判断する。これにより、いずれか一方のパラメータのみで対話用通信の終了を判断する場合に生じる不具合、例えば顔又は視線を一瞬だけ変えたとき、あるいは、対話中に若干移動したときに対話用通信が終了してしまう事態を回避することが可能となる。また、あらゆる対話者や対話のシチュエーションを想定して対話終了用の合図とする言葉や身振りを数多く登録する必要もない。これにより、対話者や対話のシチュエーションに依存することなく、対話用通信を適切なタイミングで終了することが可能となる。
さらに、対話者は登録されることになっており、対話者として登録された者の顔又は視線の向き及びその者の位置に基づいて対話用通信の終了の可否を判定する。これにより、対話終了時点で対話者が居た空間内に居続ける者や同空間内で発生する雑音等を認識して対話用通信を誤って続行してしまう事態を回避することが可能となる。
本発明の一実施形態に係る対話用通信システムの構成を示した図である。 対話者が居る空間内における通信ユニットの各構成機器の配置を示す図であり、図2の(A)は正面図を、(B)は平面図をそれぞれ示している。 図3の(A)及び(B)は、本発明のディスプレイの一例を示した図である。 ホームサーバの構成を機能面から示した図である。 対話開始フローの流れを示した図である。 対話終了フローの流れを示した図である。 対話者の顔の向きが変わった様子を示した図である。 対話者の位置が移動した様子を示した図である。 対話者が退室した時点で対話者以外の者が在室している状況を示した図である。 対話者が退室した時点で雑音が生じている状況を示した図である。
以下、本発明の一実施形態(以下、本実施形態)について図面を参照しながら説明する。
本実施形態に係る対話用通信システム(以下、本システムS)は、互いに離れた複数の空間の各々に居る対話者間の対話を実現するためのものである。より具体的に説明すると、本システムSを利用することにより、各空間に居る対話者は、互いの姿(映像)を見ながら対話することが可能である。なお、本システムSは、各対話者が各自の自宅にて対話相手と対話するために用いられるものである。ただし、これに限定されるものではなく、自宅以外の場所(例えば、集会所や商業施設等)に居る者と対話するために本システムSを用いてもよい。また、同じ建物内で互いに離れている部屋にいる者同士が対話するために本システムSを用いることとしてもよい。
以降、本システムSの構成について分かり易く説明するために、二人の対話者が本システムSを利用して対話するケースを例に挙げて説明することとし、一方の対話者をAさん、他方の対話者をBさんとする。ただし、本システムSを通じて同時に対話することが可能な人数については、二人に限らず、三人以上であってもよい。
本システムSは、図1に示すように、Aさん及びBさんの各々が保有する通信ユニット1A、1Bによって構成されている。図1は、本システムSの構成を示した図である。通信ユニット1A、1Bは、各対話者(すなわち、Aさん及びBさんの各々)の自宅内に設置されている。そして、通信ユニット1A、1B同士の間で通信、すなわち、対話用のデータ通信(以下、対話用通信)が行われることで、Aさん及びBさんは、各自の自宅で相手の姿を見ながら対話(会話)することが可能となる。
以下、通信ユニット1A、1Bの構成について説明する。なお、Aさん側の通信ユニット1A及びBさん側の通信ユニット1Bは、いずれも同様の構成となっているので、以下では、Aさん側の通信ユニット1Aの構成のみを説明することとする。
<<通信ユニットの構成>>
通信ユニット1Aは、撮像装置としてのカメラ2と、集音装置としてのマイク3と、映像表示装置としてのディスプレイ5と、音声再生装置としてのスピーカ6と、通信装置としてのホームサーバ10と、を有する。ホームサーバ10同士は、インターネット等の外部通信ネットワークGNを介して通信可能に接続されている。そして、ホームサーバ10間の通信を通じて、Aさんの映像や音声を示すデータがBさん側に送信され、同様に、Bさんの映像や音声を示すデータがAさん側に送信される。
より具体的に説明すると、カメラ2、マイク3、ディスプレイ5及びスピーカ6は、図2の(A)及び(B)に示すように、いずれもAさんの自宅にある所定空間(具体的には、Aさんの自宅内にある部屋Ra)内に設置されている。図2は、Aさんが対話時に居る部屋Ra内における通信ユニット1Aの各構成機器の配置を示す図であり、同図の(A)は正面図を、(B)は平面図をそれぞれ示している。そして、Aさんは、部屋Raに居るとき、本システムSを通じた対話(遠隔対話)を行うことが可能である。すなわち、Aさんが部屋Raに在室している間にカメラ2がAさんの映像を撮像し、マイク3がAさんの音声を集音する。これと同時に、ディスプレイ5の表示画面にBさんの映像が表示され、スピーカ6からはBさんの音声の再生音が発せられる。
カメラ2は、部屋RaにおいてAさんの映像を撮影し、その映像信号をホームサーバ10に対して出力する公知のカメラ(具体的には、ネットワークカメラ)である。なお、本システムSにおいて、カメラ2は、図2の(A)に示すようにディスプレイ5の直上位置に設置されている。そして、カメラ2は、Aさんがディスプレイ5の正面位置に立っている状態では、Aさんの全身像を撮影することが可能である。
マイク3は、部屋RaにおいてAさんが発する音声を集音し、その音声信号をホームサーバ10に対して出力する公知のマイク(具体的には、ネットワークマイク)である。なお、本システムSにおいて、マイク3は、図2の(A)に示すようにディスプレイ5の直上位置に設置されている。そして、マイク3は、Aさんがディスプレイ5の正面位置に立って同ディスプレイ5の表示画面に表示された映像(すなわち、Bさんの映像)に対して話し掛けているときの音声を集音する。
カメラ2から出力された映像信号、及び、マイク3から出力された音声信号は、ホームサーバ10によって受信された後にデジタルデータに変換され、さらにデータ結合されて一つの動画データをなすようになる。この動画データは、Aさん側のホームサーバ10からBさん側のホームサーバ10に向けて送信される。
その一方で、Aさん側のホームサーバ10は、Bさん側のホームサーバ10から送信された動画データを受信すると、当該動画データを展開する。これにより、動画データが示す映像及び音声、すなわち、Bさんの映像及び音声が再生されるようになる。つまり、ホームサーバ10は、Bさん側のホームサーバ10から送信された動画データを展開し、当該動画データに基づいてディスプレイ5及びスピーカ6を制御する。この結果、ディスプレイ5の表示画面には、Bさんの映像、より厳密にはBさん側のカメラ2によって撮影された映像が表示されるようになる。これと同時に、スピーカ6からは、Bさんの音声、より厳密にはBさん側のマイク3によって集音された音声の再生音が発せられるようになる。
ちなみに、Bさん側のカメラ2、マイク3、ディスプレイ5及びスピーカ6は、Bさんの自宅に設けられた通信ユニット1Bを構成するものであり、いずれもBさんの自宅にある所定空間(具体的には、Bさんの自宅内にある部屋)内に設置されている。
また、本システムSでは、ディスプレイ5が通常時には部屋Ra内に配置された装飾品、具体的には姿見として機能し、対話時にのみ表示画面を形成するものとなっている。以下、図3の(A)及び(B)を参照しながらディスプレイ5の構成について更に詳しく説明する。図3の(A)及び(B)は、ディスプレイ5の一構成例を示した図であり、(A)が通常時(非対話時)の状態を、(B)が対話時の状態をそれぞれ示している。
ディスプレイ5は、Aさん宅の部屋Ra内に配置された姿見の一部分、具体的には鏡面部分を構成する。そして、ディスプレイ5は、図3の(A)に示すように、対話が行われていない期間(通常時)には表示画面を形成せずに鏡面部分としての外観を呈している。一方、AさんがBさんと対話を行う際、ディスプレイ5は、図3の(B)に示すように表示画面を形成する。
より詳しく説明すると、部屋Raにはセンサの一例である距離センサ4が設けられている。この距離センサ4は、光学式又は超音波式の距離センサであり、図2の(A)に示すようにディスプレイ5の直上位置に設置されている。距離センサ4は、その検知エリア内に居る者を検知し、その者と基準位置との間の距離を計測し、当該距離に応じた信号をホームサーバ10に出力する。ここで、基準位置について説明すると、本システムSでは、ディスプレイ5の表面(表示画面が形成される側の面)の位置が基準位置に設定されている。したがって、距離センサ4は、Aさんが部屋Raにおいて距離センサ4の検知エリア内にいるとき、Aさんとディスプレイ5との距離、具体的には図2の(B)に図示の距離dを計測する。なお、基準位置は、ディスプレイ5の設置位置に限定されるものではなく、部屋Ra内に設定されていれば他の位置(例えば、カメラ2の設置位置)であってもよい。
一方、ホームサーバ10は、距離センサ4からの出力信号に基づいて、Aさんとディスプレイ5との距離dを割り出す。そして、割り出した距離dが所定の距離以下であるとき、ホームサーバ10は、ディスプレイ5に対して表示画面形成命令を出力する。この命令を受信したディスプレイ5は、それまで鏡面を構成していた部分に表示画面を形成するようになる。そして、形成された表示画面には、Bさんの映像が表示されるようになる。
以上のように本システムSでは映像表示用の表示画面が姿見として兼用されているディスプレイ5によって構成されており、表示画面の形成・消去が自在に切り替え可能となっている。そして、ディスプレイ5は、ディスプレイ5との間の距離dが所定距離以下とならない限り表示画面を形成せず、姿見として機能する。これにより、通常時(非対話時)には表示画面の存在を気付き難くし、ディスプレイ5を室内インテリアとして有効に利用することが可能となる。なお、ディスプレイ兼用の姿見の構成については、例えば国際公開第2009/122716号に記載された構成のように公知の構成が利用可能である。
ちなみに、ディスプレイ5については、ディスプレイ兼用の姿見に限定されず、部屋Ra内に配置された建築材料、家具若しくは装飾品の一部分を構成するものであって、表示画面の形成・消去を自在に切り替えられるものであれば制限なく利用可能である。例えば、建物のドアや内壁を構成する建築材料、あるいは、タンス等の家具の一部を上記ディスプレイとして用いてもよい。ただし、ディスプレイ5としては、建築材料、家具若しくは装飾品として兼用されるものに限定されるものではなく、通常のディスプレイ機器を用いることとしてもよい。
次に、ホームサーバ10の構成について詳しく説明する。ホームサーバ10は、所謂ホームゲートウェイをなすコンピュータであり、CPU、ROMやRAMからなるメモリ、ハードディスクドライブ、通信用インターフェース及びI/Oポートを有する。また、メモリには各種プログラムが格納されている。
ホームサーバ10の機能について説明すると、他のホームサーバ10との通信機能、カメラ2及びマイク3からの出力信号に基づいて動画データを生成する機能、受信した動画データを展開して映像や音声を再生する機能が搭載されている。さらに、本システムSでは、上述した機能の他、動画データの送受信のために行われる通信処理、すなわち対話用通信の終了を自動的に判定する機能が追加されている。なお、各機能は、ホームサーバ10のメモリに記憶されたプログラムがCPUによって読み出されて実行されることで発揮されるものであるが、各機能を実現するための具体的な技術(技法)については公知のものが利用可能である。
以下、図4を参照しながら、ホームサーバ10の構成を機能面から改めて説明することとする。図4は、ホームサーバ10の構成を機能面から示したブロック図である。ホームサーバ10は、図4に示すデータ処理部、すなわち、データ取得部11、データ送信部12、データ受信部13、映像表示部14、音声再生部15、登録部16、記憶部17、距離検出部18、向き検出部19及び判定部20を有する。以下、各データ処理部について個別に説明する。
(データ取得部11について)
データ取得部11は、I/Oポートを介してカメラ2及びマイク3からの出力信号、具体的には映像信号と音声信号を受信し、それぞれをデジタル化してからエンコードすることで映像データ及び音声データを取得する。なお、本システムSでは、同システムの起動中、カメラ2及びマイク3が常時作動し、これに伴って、データ取得部11もシステム起動中、常時、映像データ及び音声データを取得することになっている。ただし、これに限定されるものではなく、例えばAさんが部屋Raに入室したときに、不図示の人感センサがAさんを検知し、かかる入室検知に連動してカメラ2、マイク3及びデータ取得部11が作動することとしてもよい。
(データ送信部12について)
データ送信部12は、データ取得部11が取得した映像データ及び音声データを結合(具体的には、多重化)して一つの動画データを生成し、かかる動画データをBさん側のホームサーバ10に向けて随時送信する。
(データ受信部13について)
データ受信部13は、Bさん側のホームサーバ10から送信されてくる動画データを、外部ネットワークGNを通じて受信する。なお、受信した動画データは、Aさん側のホームサーバ10のメモリの所定領域、若しくはハードディスクドライブに保存される。
(映像表示部14について)
映像表示部14は、データ受信部13が受信した動画データをその保存領域から読み出し、当該動画データから映像データを抽出する。そして、映像表示部14は、抽出された映像データをデコードして展開した上で、ディスプレイ5に対して表示命令を出力する。かかる表示命令を受け付けたディスプレイ5は、その表示画面にBさんの全身画像及び周辺空間の映像を表示するようになる。
ところで、本システムSでは、ディスプレイ5が姿見兼用のディスプレイとなっている。映像表示部14は、Bさんの映像を表示するにあたり、姿見としての外観を呈している状態のディスプレイ5に対して表示画面形成命令を出力する。表示画面形成命令の出力は、ディスプレイ5が表示画面を形成していない状態において所定条件が成立したことをトリガーとして実行される。ここで、画面形成条件とは、後述する距離検出部18が距離センサ4からの出力信号に基づいて算出した距離、具体的には、ディスプレイ5の前方正面位置に立つ対話者とディスプレイ5との間の距離dが所定距離以下になることである。
(音声再生部15について)
音声再生部15は、データ受信部13が受信した動画データをその保存領域から読み出し、当該動画データから音声データを抽出する。そして、音声再生部15は、抽出された音声データをデコードして展開した上で、スピーカ6に対して再生命令を出力する。かかる再生命令を受け付けたスピーカ6は、Bさんの音声の再生音を発するようになる。
(登録部16について)
登録部16は、対話用通信の開始に際して対話者を登録するものであり、ホームサーバ10のCPUがメモリに記憶された対話者登録プログラムを実行することによって実現されるものである。この登録部16による登録処理では、対話者の顔画像を登録することになっている。具体的に説明すると、部屋Ra内に居る者が所定の登録条件を満たしたとき、登録部16は、その時点の映像を示す映像信号をカメラ2から取得し、かかる映像信号から上記登録条件を満たした者の顔画像を認識する。そして、登録部16は、認識した顔画像を対話者の顔画像として登録する。
なお、登録部16による登録処理は、対話用通信が行われる度に実行される。より具体的に説明すると、Aさんが部屋Raに入室してBさんとの対話を行う場合、Aさんを対話者として登録する登録処理が実行される。一方、Aさん以外のヒト(例えば、Aさんの家族)が部屋Raに入室してBさんとの対話を行う場合には、そのヒトを対話者として登録する登録処理が実行される。また、対話用通信が終了すると、登録した顔画像は削除されることになっている。そして、新たな対話用通信が行われるときには、その時点で登録条件を満たす者を対話者として登録するようになる。
以上のように対話用通信が行われる度に登録処理が実行されることで、部屋Raに入室してBさんとの対話を行う者、すなわち、対話者が変動する場合にも適切に対応することが可能となる。特に、後述する対話用通信の自動終了を判定するにあたり対話者を登録しておくことで、対話者を把握し、当該対話者の動作に応じて対話用通信を自動終了すべきか否かを適切に判定することが可能となる。なお、登録処理の具体的な流れや登録条件については、後の項で詳しく説明する。
(記憶部17について)
記憶部17は、登録部16により登録された対話者の顔画像を記憶するものであり、ホームサーバ10のメモリ若しくはハードディスクドライブにより構成される。この記憶部17への顔画像の記憶は、前述したように対話用通信毎に行われ、また、対話用通信が終了する都度、記憶部17に記憶された顔画像が削除される。
(距離検出部18について)
距離検出部18は、記憶部17に顔画像が記憶された対話者(すなわち、対話者として登録された者)とディスプレイ5との間の距離dを検出するものであり、ホームサーバ10が上述の距離センサ4と協働することにより実現される。具体的に説明すると、ホームサーバ10のCPUが、メモリに記憶された距離検出プログラムを実行し、当該距離検出プログラムによるデータ処理において、距離センサ4からの出力信号が示す値を入力として上記の距離dを割り出す。なお、距離検出部18が距離dを検出することが可能な範囲は、距離センサ4の検知エリアであり、本システムSでは、ディスプレイ5の前方に位置する数メートルの範囲内に設定されている。したがって、対話者が距離センサ4の検知エリアの外に位置するとき(例えば、部屋Raを退室したとき)には、距離検出部18は、距離dを検出することが不可能となる。
(向き検出部19について)
向き検出部19は、記憶部17に顔画像が記憶された対話者(すなわち、対話者として登録された者)の顔の向き、より厳密にはディスプレイ5の表示画面を正面視した状態からの顔のずれ量を検出するものである。この向き検出部19は、ホームサーバ10がカメラ2と協働することにより実現される。具体的に説明すると、ホームサーバ10のCPUが、メモリに記憶された向き検出プログラムを実行し、当該向き検出プログラムによるデータ処理において、カメラ2から出力される映像信号から対話者の顔画像を認識し、認識した顔画像から対話者の顔の向きを特定する。なお、顔画像から顔の向きを特定する方法としては、公知の画像解析技術が利用可能である。
また、本システムSにおいて向き検出部19は、対話者の顔の向きを検出するものであるが、検出対象については顔の向きに限定されるものではなく、対話者の視線の向きを検出するものであってもよい。
(判定部20について)
判定部20は、対話用通信の実行中、距離検出部18が検出した距離d、及び向き検出部19が検出した対話者の顔の向きに応じて対話用通信を続行するか否かを判定するものである。この判定部20は、ホームサーバ10のCPUがメモリに記憶された判定プログラムを実行することにより実現される。
判定部20は、対話用通信の実行中、向き検出部19が検出した顔の向きがディスプレイ5に対して所定の向きとなっている限り、対話用通信を続行すると判定する。一方、向き検出部19が検出した顔の向きが所定の向きとは異なる向きとなった場合、その後に距離検出部18が検出した距離dが増加すると、判定部20は、所定の通信終了条件が満たされた時点で対話用通信を終了すると判定する。なお、ディスプレイ5に対する所定の向きとは、ディスプレイ5の表示画面を正面視している向きのことである。
そして、ホームサーバ10(厳密には、データ取得部11、データ送信部12及びデータ受信部13)は、判定部20が通信終了を判定した時点で、対話用通信を自動的に終了する。以上のように、本システムSでは、判定部20が通信終了を判定すると、それまで継続していた対話用通信を自動的に終了することになっている。また、判定部20が通信終了を判定するには、対話者が所定の通信終了条件を満たすことが必要となる。これにより、対話用通信が適切なタイミングで終了されるようになる。かかる点が本システムSの特徴であり、以下に説明する対話開始フロー及び対話終了フローにおいて具現化されている。
<<対話用通信の流れについて>>
次に、本システムSにおいて通信ユニット1A、1B間で行われる通信、すなわち、対話用通信の流れ、特にその開始フロー(対話開始フロー)及び終了フロー(対話終了フロー)について図5及び6を参照しながら説明する。図5は、対話開始フローの流れを示した図である。図6は、対話終了フローの流れを示した図である。
以下に説明する対話開始フロー及び対話終了フローでは、本発明の対話用通信方法が適用されている。すなわち、対話開始フロー及び対話終了フローのそれぞれにおいて順次実施される各ステップは、本発明の対話用通信方法を特定する各工程に相当する。そして、対話開始フロー及び対話終了フローの各ステップは、各通信ユニット1A、1Bのホームサーバ10によって実施される。
なお、対話開始フローについては、Aさん側のホームサーバ10及びBさん側のホームサーバ10の双方が、それぞれ図5に図示の各ステップを実施することになる。このため、以下では、Aさん側のホームサーバ10における対話開始フローのみを説明することとする。また、対話終了フローについては、Aさん側のホームサーバ10及びBさん側のホームサーバ10のうちのいずれかが図6に図示の各ステップを実施することになる。このため、以下では、Aさん側のホームサーバ10において対話終了フロー中の各ステップが実施されるケースを例に挙げて説明することとする。ただし、以下に説明する内容については、Bさん側のホームサーバ10でも同様に適用され得ることは言うまでもない。
(対話開始フローについて)
対話開始フローは、Aさんが部屋Raに入室しディスプレイ5の前方正面に立った状態(つまり、距離センサ4の検知エリア内に入った状態)で開始される。対話開始フローは、図5に図示の手順に従って進行する。具体的に説明すると、対話開始フローでは、先ず、ディスプレイ5の前方位置に立ったAさんの映像をカメラ2が撮像し、その映像信号をホームサーバ10が取得(受信)する(S001)。その後、ホームサーバ10は、前述した向き検出部19の機能により、カメラ2から取得した映像信号からAさんの映像を認識し、さらに、Aさんの顔の向きを検出する(S002)。そして、ホームサーバ10は、検出した顔の向きがディスプレイ5の表示画面を正面視している向きであるかどうかを判別する(S003)。
顔の向きがディスプレイ5の表示画面を正面視している向きである場合、ホームサーバ10は、Aさんとディスプレイ5との間の距離dに応じた信号(以下、距離信号)を距離センサ4から取得(受信)する(S004)。そして、ホームサーバ10は、前述した距離検出部18の機能により、上記の距離信号に基づいて距離dを検出する(S005)。ホームサーバ10は、距離信号を取得するステップS004、及び、距離dを検出するステップS005を一定間隔毎に繰り返す。
そして、ディスプレイ5の表示画面を正面視したAさんの顔の向きを検出してから所定時間が経過した段階で(S006)、ホームサーバ10は、当該所定時間内でAさんの位置がディスプレイ5から離れたかどうかを判別する(S007)。換言すると、ホームサーバ10は、検出されたAさんの顔の向きがディスプレイ5の表示画面を正面視した向きになってから所定時間が経過するまでの期間中に、ステップS005で検出した距離dが増加したか否かを判別する。なお、本システムSでは、距離dが増加していたとしても、規定量(例えば、10cm)未満の増加量であれば増加していないものとして扱うことにしている。
上記の判別ステップS007において「Aさんの位置がディスプレイ5から離れていない」という結果が得られた場合、ホームサーバ10は、前述した登録部16の機能により、ディスプレイ5の前方位置でその表示画面を正面視している者、すなわち、Aさんを対話者として登録する(S008)。具体的には、Aさんの位置がディスプレイ5から離れていないという判別結果が得られた時点の映像を示す映像信号をカメラ2から取得し、かかる映像信号からAさんの顔画像を認識し、認識した顔画像をハードディスクドライブ(記憶部17)に記憶する。
以上のように本システムSでは、部屋Ra内に居る者のうち、下記二つの登録条件(R1)、(R2)を満たす者を対話者として登録することにしている。
(R1)ホームサーバ10によって検出された顔の向きがディスプレイ5の表示画面を正面視した向きとなっていること。
(R2)顔の向きがディスプレイ5の表示画面を正面視した向きとなった時点から所定時間が経過するまでの期間中に、ホームサーバ10によって検出されたディスプレイ5との間の距離dが増加していないこと(ディスプレイ5から離れていないこと)。
そして、顔画像の登録をトリガーとして、通信ユニット1A,1Bの間で対話用通信が開始され、双方のユニット同士が互いに動画データを送受信するようになる(S009)。これにより、Aさんは、ディスプレイ5の表示画面にてBさんの姿を見ながら、スピーカ6を通じてBさんの音声の再生音を聞くようになる。同様に、Bさんは、ディスプレイ5の表示画面にてAさんの姿を見ながら、スピーカ6を通じてBさんの音声の再生音を聞くようになる。
(対話終了フロー)
対話終了フローは、対話用通信の実行期間中に開始されて、図6に図示の手順に従って進行する。より厳密に説明すると、対話終了フローは、対話用通信の実行期間中に常時繰り返される第1ステージと、第1ステージにおいて所定の条件を満たした場合に実行される第2ステージと、第2ステージにおいて所定の条件を満たした場合に実行される第3ステージと、対話用通信を実際に終了する第4ステージに分かれている。
第1ステージでは、対話者であるAさんの顔の向きを確認する。具体的には、ディスプレイ5の前方位置に立ったAさんの映像をカメラ2が撮像し、その映像信号をホームサーバ10が取得(受信)する(S021)。その後、ホームサーバ10は、前述した向き検出部19の機能により、カメラ2から取得した映像信号からAさんの映像を認識し、さらに、Aさんの顔の向きを検出する(S022)。そして、ホームサーバ10は、検出した顔の向きがディスプレイ5の表示画面を正面視している向きであるかどうかを判別する(S023)。
そして、顔の向きがディスプレイ5の表示画面を正面視している向きでない場合、第2ステージに移行する。第2ステージでは、Aさんとディスプレイ5との間の距離dを確認する。具体的に説明すると、ホームサーバ10は、距離dに応じた距離信号を距離センサ4から取得(受信)する(S024)。また、ホームサーバ10は、前述した距離検出部18の機能により、上記の距離信号に基づいて距離dを検出する(S025)。そして、ホームサーバ10は、検出した距離dと、それ以前に検出した距離dのうちの直近のもの(例えば、対話開始フローのステップS005で検出した距離d)と、を比較してAさんの位置がディスプレイ5から離れたかどうかを判別する(S026)。すなわち、ホームサーバ10は、今回検出した距離dが前回検出した距離dよりも増加したか否かを判別する。なお、本システムSでは、距離dが増加したとしても所定量(例えば、10cm)未満の増加量であれば、増加していないものとして扱うことにしている。
そして、上記の判別ステップS026においてAさんの位置がディスプレイ5から離れたという結果が得られた場合、すなわち、今回検出した距離dが前回検出した距離dよりも増加している場合、第3ステージに移行する。ここで、今回検出した距離dが前回検出した距離dよりも増加しているケースには、距離dが大きくなり過ぎて検出不可能となったケース、すなわち、Aさんの位置が距離センサ4の検知エリアの外へ移動したケースを含む。一方、上記の判別ステップS026においてAさんの位置がディスプレイ5から離れていないという判別結果が得られた場合、第1ステージに戻ることになる。
第3ステージでは、ホームサーバ10が、前述した判定部20の機能により、対話用通信の終了条件を満たしているかどうかを判定する。具体的に説明すると、ステップS025で検出した距離dに基づいて、Aさんの位置が距離センサ4の検知エリアの外にあるか否かを判定する(S027)。つまり、ホームサーバ10は、距離検出部18が距離dを検出不可能な位置にAさんが居るか否かを判定する。そして、ホームサーバ10は、Aさんの位置が距離センサ4の検知エリアの外に在ると判定した場合、通信終了と判定し、第4ステージへ移行する。
一方、Aさんの位置が距離センサ4の検知エリアの外にはないと判定した場合、ホームサーバ10は、その後、カメラ2から映像信号を取得し、当該映像信号からAさんの映像を認識する(S028)。また、ホームサーバ10は、認識したAさんの映像からAさんの顔の向きを検出する(S029)。そして、ホームサーバ10は、所定時間中、映像信号を取得するステップS028、及び、Aさんの顔の向きを検出するステップS029を繰り返す(S030)。ここで、所定時間とは、第1ステージのステップS023においてAさんの顔の向きがディスプレイ5の表示画面を正面視した向きとは異なるという判別結果を得てから、通信終了判定用の時間が経過するまでの期間のことである。また、通信終了判定用の時間とは、通信終了の判定用に予め設定された時間のことであり、例えば、60秒に設定されている。
所定時間の経過後、ホームサーバ10は、所定時間内においてAさんの顔の向きが一度もディスプレイ5の表示画面を正面していないかどうか、換言すると、所定時間中、Aさんの顔の向きがディスプレイ5の表示画面を正面視した向きとは異なる向きに維持されていたか否かを判定する(S031)。そして、所定時間内においてAさんの顔の向きが一度もディスプレイ5の表示画面を正面していないと判定したとき、ホームサーバ10は、通信終了と判定し、第4ステージに移行する。
第4ステージでは、ホームサーバ10(Aさん側のホームサーバ10)が通信相手であるホームサーバ10(Bさん側のホームサーバ10)との間でのデータの送受信を中止し、対話用通信を終了する(S033)。なお、本システムSでは、対話用通信の終了に先駆けて、ハードディスクドライブに記憶された対話者の顔画像、すなわちAさんの顔画像を削除する(S032)。ただし、顔画像を削除するタイミングについては、対話用通信の終了直前に限定されるものではなく、対話用通信の終了後であってもよい。
以上のように本システムSでは、対話用通信の実行中、下記三つの終了条件(S1)〜(S3)をすべて満たしたときに対話用通信を自動的に終了することにしている。
(S1)対話者の顔の向きがディスプレイ5の表示画面を正面視した向きとは異なっていること。
(S2)対話者とディスプレイ5との間の距離dが増加したこと(対話者がディスプレイ5から離れたこと)。
(S3)下記2つの要件(S3−1)、(S3−2)のうちのいずれかを満たすこと。
(S3−1)対話者が距離センサ4の検知エリアの外に居ること。
(S3−2)対話者の顔の向きが所定時間以上、ディスプレイ5の表示画面を正面視した向きとは異なる向きに維持されていること。
以上までに説明した本システムSの構成によれば、対話用通信を終了すべき時点で適切に終了させることが可能となる。具体的に説明すると、本システムSでは、対話者の顔の向き、及び対話者とディスプレイ5との間の距離d(換言すると、ディスプレイ5に対する対話者の相対位置)を通信終了判断用のパラメータとして用いている。これにより、いずれか一方のパラメータのみで通信終了を判断してしまう場合に生じる不具合を回避することが可能となる。
より分かり易く説明ために、対話者の顔の向きがディスプレイ5の表示画面を正面視した向きと異なることのみを通信終了の条件として採用しているケースを想定する。かかるケースにおいて、図7のように対話者(同図中のAさん)が立ち位置を変えずに顔の向きを一瞬だけ変えた場合、その後に対話者が対話を続けようとしても、対話用通信が中断してしまうことになる。図7は、対話者であるAさんが顔の向きのみを変えたときの様子を示した図であり、Aさんを上方から見たときの図である。
また、別のケースとして、ディスプレイ5に対する対話者の相対位置が変化することのみを通信終了の条件として採用しているケースを想定する。かかるケースにおいて、図8に示すように対話者(同図中のAさん)が若干移動した場合、その後に対話者が対話を続けようとしても、対話用通信が中断してしまうことになる。図8は、対話者であるAさんの位置が移動した様子を示した図であり、カメラ2が撮影した映像を示す図になっている。
これに対して、本システムSでは、上述したように三つの終了条件(S1)〜(S3)のすべてが成立しない限り、対話用通信を継続することとしている。したがって、対話者の意思に反して対話用通信を終了させてしまうという上記の不具合を回避することが可能である。
また、本システムSでは、対話用通信の開始に際して対話者の顔画像を登録することとし、顔画像が登録された対話者が上記三つの終了条件(S1)〜(S3)に相当する動作を行うことで、確実に対話用通信を終了させることが可能となる。
より分かり易く説明するために、部屋Ra内に人感センサを設け、人感センサが部屋Ra内においてヒトを検知しなくなったことを通信終了の条件とするケースを例に挙げて説明する。かかるケースでは、図9に示すように、対話者(図中のAさん)が対話を終えて部屋Raを退室したとしても、その時点で部屋Ra内に居続けるヒト(図中のCさん)がいれば、Cさんを人感センサが検知してしまう、このような場合には、対話が終了しているにも拘らず対話用通信が誤って続行されることになってしまう。なお、図9は、対話者であるAさんが退室した時点で対話者以外の者であるCさんが在室している状況を示した図であり、カメラ2が撮影した映像を示す図になっている。
また、別のケースとして、部屋Ra内に音声検知センサを設け、音声検知センサが部屋Ra内において音声を検知しなくなったことを通信終了の条件とするケースを例に挙げて説明する。かかるケースでは、図10に示すように、対話者(図中のAさん)が対話を終えて部屋Raを退室したとしても、その時点で部屋Ra内に雑音(例えば、テレビの音)が発生していると、当該雑音を音声検知センサが検知してしまう。このような場合には、対話が終了しているにも拘らず対話用通信が誤って続行されることになってしまう。なお、図10は、対話者であるAさんが退室した時点で雑音が生じている状況を示した図であり、カメラ2が撮影した映像を示す図になっている。
これに対して、本システムSでは、顔画像が記憶された対話者の動作に基づいて通信終了の判定を行う。これにより、対話終了時点で部屋Ra内に居続ける者や部屋Ra内で発生する雑音等を認識して対話用通信を誤って続行してしまうという事態を回避することが可能となる。特に、本システムSでは、対話用通信の終了条件として上述した三つの条件(S1)〜(S3)が設定されている。このため、それぞれ終了条件の成否を効率よく判断する観点から考えても、その判断対象となる動作を対話者として登録された者の動作に限定しておく方が好適である。
さらに、本システムSでは、対話者が距離センサ4の検知エリアの外に出ることを通信終了の条件の一つとしている。ここで、距離センサ4の検知エリアの外に出る行為は、例えば対話を終えて部屋Raから退室する際に行われるのであり、対話者が対話を終了しようとする意志を反映した行為である。したがって、対話者が距離センサ4の検知エリアの外に出ることを通信終了の条件として採用すれば、対話者の意思を反映して終了するのが妥当と考えられるタイミングにて対話用通信を終了することが可能となる。
また、対話者の登録については、部屋Ra内に居る者のうち、顔の向きがディスプレイ5の表示画面を正面視した向きとなり、かつ、ディスプレイ5に対する距離が一定期間中変化していない者を対話者として登録することにしている。このような登録条件を満たすということは、登録しようとする者(登録対象者)に対話の意思があることを反映している。換言すると、本システムSでは、対話の意思に従って行われる動作を登録条件としている。このため、対話の意思がない者を誤って登録してしまうのを防止し、真に対話者として登録すべき者だけを登録することが可能となる。
<<その他の実施形態>>
上記の実施形態では、本発明の対話用通信システム及び対話用通信方法について一例を挙げて説明した。ただし、上記の実施形態は、本発明の理解を容易にするための一例に過ぎず、本発明を限定するものではない。すなわち、本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物が含まれることは勿論である。
また、上記の実施形態では、ホームサーバ10が対話者の顔又は視線の向きを検出する際、ディスプレイ5に対する向きを検出することとし、より詳しくは、ディスプレイ5の表示画面を正面視している向きになっているか否かを検出することとした。ただし、顔又は視線の向きを検出する際の基準となる機器については、ディスプレイ5に限定されるものではなく、他の機器(例えばカメラ2やマイク3)であってもよい。
また、上記の実施形態では、データ取得部11、データ送信部12、データ受信部13、映像表示部14、音声再生部15、登録部16、記憶部17、距離検出部18、向き検出部19及び判定部20がすべてホームサーバ10によって構成されることとした。ただし、これに限定されるものではなく、上記のデータ処理部のうち、少なくとも一つがホームサーバ10とは異なる装置によって構成されることとしてもよい。
また、上記の実施形態では、対話時に居る空間内に居る者のうち、上述した二つの登録条件(R1)、(R2)を満たす者を対話者として登録することとした。ただし、登録条件については、上記二つの条件(R1)、(R2)以外の条件が更に追加されることとしてもよい。
また、上記の実施形態では、対話用通信を実施する度に対話者の登録を行うこととしたが、これに限定されるものではない。例えば、対話者(厳密には、対話者の顔画像)を事前に登録しておくこととしてもよい。かかる構成では、対話用通信を開始するにあたってディスプレイ5の正面位置に立つ者の顔画像を認識し、認識した顔画像と予め登録していた対話者の顔画像とを照合する。そして、双方の顔画像が合致することを条件として対話用通信を開始すればよい。
また、上記の実施条件では、対話用通信の実行中、上述した三つの終了条件(S1)〜(S3)をすべて満たしたときに対話用通信を自動的に終了することとした。ただし、終了条件については、上記三つの条件(S1)〜(S3)以外の条件が更に追加されることとしてもよい。
1A,1B 通信ユニット
2 カメラ
3 集音装置
4 距離センサ
5 ディスプレイ
6 スピーカ
10 ホームサーバ
11 データ取得部
12 データ送信部
13 データ受信部
14 映像表示部
15 音声再生部
16 登録部
17 記憶部
18 距離検出部
19 向き検出部
20 判定部
GN 外部ネットワーク
Ra 部屋
S 本システム

Claims (6)

  1. 互いに離れた複数の空間の各々に対して設けられた通信ユニット同士が通信することで、前記複数の空間の各々に居る対話者間の対話を実現する対話用通信システムであって、
    前記通信ユニットは、
    前記複数の空間のうち、一方の空間内に居る前記対話者の顔画像を記憶する記憶部と、
    該記憶部に前記顔画像が記憶された前記対話者と前記一方の空間内に設定された基準位置との間の距離を検出する距離検出部と、
    前記記憶部に前記顔画像が記憶された前記対話者の顔又は視線の向きを検出する向き検出部と、
    前記距離検出部が検出した前記距離及び前記向き検出部が検出した前記向きに応じて、前記通信ユニット同士間の通信を続行するか否かを判定する判定部と、を有し、
    前記向き検出部が検出した前記向きが前記基準位置に設置された機器に対して所定の向きとなっている間、前記判定部は、前記通信ユニット同士間の通信を続行すると判定し、
    前記向き検出部が検出した前記向きが前記機器に対して前記所定の向きとは異なる向きとなった後に、前記距離検出部が検出した前記距離が増加したとき、前記判定部は、下記の条件(1)及び(2)のうちのいずれかが満たされると、前記通信ユニット同士間の通信を終了すると判定することを特徴とする対話用通信システム。
    (1)前記記憶部に前記顔画像が記憶された前記対話者が、前記距離検出部が前記距離を検出不可能な位置に居ること。
    (2)前記向き検出部が検出した前記向きが、予め設定された時間以上、前記機器に対して前記所定の向きとは異なる向きに維持されていること。
  2. 前記通信ユニットは、
    前記対話者を登録する登録部を更に有し、
    前記記憶部は、前記登録部により登録された前記対話者の前記顔画像を記憶し、
    前記登録部は、前記一方の空間内に居る者であって、前記向き検出部によって検出される顔又は視線の向きが前記機器に対して前記所定の向きとなった者を前記対話者として登録することを特徴とする請求項1に記載の対話用通信システム。
  3. 前記登録部は、前記一方の空間内に居る者であって、前記向き検出部によって検出される顔又は視線の向きが前記機器に対して前記所定の向きとなった者のうち、下記の条件(3)を満たす者を前記対話者として登録することを特徴とする請求項2に記載の対話用通信システム。
    (3)前記向き検出部によって検出される顔又は視線の向きが前記機器に対して前記所定の向きとなった時点から所定時間が経過するまでの期間中に、前記距離検出部によって検出される前記基準位置との間の距離が増加していないこと。
  4. 前記通信ユニットは、前記複数の空間のうち、他方の空間内に居る前記対話者の映像を表示する表示画面を形成するディスプレイを前記機器として有し、
    前記基準位置は、前記空間内における前記ディスプレイの設置位置であり、
    前記所定の向きは、前記表示画面を正面視している向きであることを特徴とする請求項1乃至3のいずれか一項に記載の対話用通信システム。
  5. 前記距離検出部は、前記一方の空間内に設置され、前記対話者が前記一方の空間内に居るときには前記距離に応じた信号を出力するセンサを有し、
    前記距離検出部が前記距離を検出不可能な位置は、前記センサが前記対話者を検知することが可能なエリアの外であることを特徴とする請求項1乃至4のいずれか一項に記載の対話用通信システム。
  6. 互いに離れた複数の空間の各々に対して設けられた通信ユニット同士が通信することで、前記複数の空間の各々に居る対話者間の対話を実現する対話用通信方法であって、
    前記通信ユニットが有する記憶部が、前記複数の空間のうち、対応する空間内に居る前記対話者の顔画像を記憶することと、
    前記通信ユニットが有する距離検出部が、前記記憶部に前記顔画像が記憶されたた前記対話者と前記対応する空間内に設定された基準位置との間の距離を検出することと、
    前記通信ユニットが有する向き検出部が、前記記憶部に前記顔画像が記憶された前記対話者の顔又は視線の向きを検出することと、
    前記通信ユニットが有する判定部が、前記距離検出部が検出した前記距離及び前記向き検出部が検出した前記向きに応じて、前記通信ユニット同士間の通信を続行するか否かを判定することと、を有し、
    前記向き検出部が検出した前記向きが前記基準位置に設置された機器に対して所定の向きとなっている間、前記判定部は、前記通信ユニット同士間の通信を続行すると判定し、
    前記向き検出部が検出した前記向きが前記機器に対して前記所定の向きとは異なる向きとなった後に、前記距離検出部が検出した前記距離が増加したとき、前記判定部は、下記の条件(1)及び(2)のうちのいずれかが満たされると、前記通信ユニット同士間の通信を終了すると判定することを特徴とする対話用通信方法。
    (1)前記記憶部に前記顔画像が記憶された前記対話者が、前記距離検出部が前記距離を検出不可能な位置に居ること。
    (2)前記向き検出部が検出した前記向きが、予め設定された時間以上、前記機器に対して前記所定の向きとは異なる向きに維持されていること。
JP2014190250A 2014-09-18 2014-09-18 対話用通信システム及び対話用通信方法 Active JP6433209B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2014190250A JP6433209B2 (ja) 2014-09-18 2014-09-18 対話用通信システム及び対話用通信方法
PCT/JP2015/076530 WO2016043279A1 (ja) 2014-09-18 2015-09-17 対話用通信システム及び対話用通信方法
US15/511,834 US9961300B2 (en) 2014-09-18 2015-09-17 Conversation communication system and conversation communication method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014190250A JP6433209B2 (ja) 2014-09-18 2014-09-18 対話用通信システム及び対話用通信方法

Publications (2)

Publication Number Publication Date
JP2016063413A JP2016063413A (ja) 2016-04-25
JP6433209B2 true JP6433209B2 (ja) 2018-12-05

Family

ID=55533315

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014190250A Active JP6433209B2 (ja) 2014-09-18 2014-09-18 対話用通信システム及び対話用通信方法

Country Status (3)

Country Link
US (1) US9961300B2 (ja)
JP (1) JP6433209B2 (ja)
WO (1) WO2016043279A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3493533B1 (en) * 2016-08-01 2024-04-03 Sony Group Corporation Information processing device, information processing method, and program
CN107688614B (zh) * 2017-08-04 2018-08-10 平安科技(深圳)有限公司 意图获取方法、电子装置及计算机可读存储介质
JP6769475B2 (ja) 2018-12-04 2020-10-14 日本電気株式会社 情報処理システム、認証対象の管理方法、及びプログラム
US11627283B2 (en) * 2019-05-09 2023-04-11 Present Communications, Inc. Method for enabling synthetic autopilot video functions and for publishing a synthetic video feed as a virtual camera during a video call
JP7284401B2 (ja) 2019-09-12 2023-05-31 富士通株式会社 視線情報処理プログラム、情報処理装置および視線情報処理方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4475579B2 (ja) * 2004-11-11 2010-06-09 日本電信電話株式会社 映像コミュニケーション装置および映像コミュニケーション装置の制御方法
JP5217922B2 (ja) * 2008-11-10 2013-06-19 日本電気株式会社 電子広告システム、電子広告配信装置、及びプログラム
JP2010183205A (ja) * 2009-02-03 2010-08-19 Panasonic Electric Works Co Ltd 通話システム
JP6138453B2 (ja) 2012-10-29 2017-05-31 京セラ株式会社 テレビ電話機能付き機器、プログラムおよびテレビ電話機能付き機器の制御方法
US9282127B1 (en) * 2014-07-31 2016-03-08 Anthony Nicholas Burns Mobile dating application utilizing social media, facial recognition and GPS-based user pairing

Also Published As

Publication number Publication date
JP2016063413A (ja) 2016-04-25
US20170310928A1 (en) 2017-10-26
WO2016043279A1 (ja) 2016-03-24
US9961300B2 (en) 2018-05-01

Similar Documents

Publication Publication Date Title
JP6433209B2 (ja) 対話用通信システム及び対話用通信方法
JP6468712B2 (ja) 通信ユニット
US9787848B2 (en) Multi-beacon meeting attendee proximity tracking
US20170373877A1 (en) Doorbell communication systems and methods
EP3602241B1 (en) Method and apparatus for interaction with an intelligent personal assistant
CN113874936A (zh) 用于优化分布式系统中的用户偏好的定制输出
JPWO2017168936A1 (ja) 情報処理装置、情報処理方法、及びプログラム
US11405584B1 (en) Smart audio muting in a videoconferencing system
JP2020529771A5 (ja)
JP5211001B2 (ja) 会議通信システム、会議通信方法及びプログラム
KR20150096419A (ko) 능동 화자 검출을 위한 비디오 및 오디오 태깅 기법
JP6678315B2 (ja) 音声再生方法、音声対話装置及び音声対話プログラム
CN107422856A (zh) 用于机器处理用户命令的方法、装置和存储介质
US20230090745A1 (en) Doorbell communication systems and methods
US20200382333A1 (en) Doorbell communication systems and methods
JP6842489B2 (ja) 電子機器、制御方法およびプログラム
WO2015060290A1 (ja) 対話システム及び対話方法
WO2016110047A1 (zh) 远程会议系统和进行远程会议的方法
JP6182464B2 (ja) 画像表示システム及び画像表示方法
JP2010062797A (ja) インターホンシステム
WO2016159163A1 (ja) 映像表示システム及び映像表示方法
JP2017126861A (ja) 映像表示システム及び映像表示方法
JP2003244669A (ja) 視線検出機能を有するテレビ会議システム
JP7420078B2 (ja) 情報処理装置及び情報処理方法
JP6112913B2 (ja) 監視カメラシステム及び方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170904

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170908

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181009

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181106

R150 Certificate of patent or registration of utility model

Ref document number: 6433209

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250