JP5925373B1 - コミュニケーション支援システム - Google Patents

コミュニケーション支援システム Download PDF

Info

Publication number
JP5925373B1
JP5925373B1 JP2015200936A JP2015200936A JP5925373B1 JP 5925373 B1 JP5925373 B1 JP 5925373B1 JP 2015200936 A JP2015200936 A JP 2015200936A JP 2015200936 A JP2015200936 A JP 2015200936A JP 5925373 B1 JP5925373 B1 JP 5925373B1
Authority
JP
Japan
Prior art keywords
user
information
user terminal
face image
terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2015200936A
Other languages
English (en)
Other versions
JP2017073062A (ja
Inventor
壮志 河村
壮志 河村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LYKAON
Original Assignee
LYKAON
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LYKAON filed Critical LYKAON
Priority to JP2015200936A priority Critical patent/JP5925373B1/ja
Application granted granted Critical
Publication of JP5925373B1 publication Critical patent/JP5925373B1/ja
Publication of JP2017073062A publication Critical patent/JP2017073062A/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】ユーザに作業負担をかけることなく、セキュリティを高めることができるコミュニケーション支援システムを提供する。【解決手段】ネットワークを介してユーザ端末UT間で行う情報交換を支援するコミュニケーションサイトを提供するサーバ装置1を備えるコミュニケーション支援システムであって、サーバ装置1は、ユーザIDにユーザの顔画像を対応付けて記憶するユーザ情報データベース20と、ユーザ端末UTからのアクセス要求を受け付けると、ユーザ端末UTからカメラCが撮像した画像を取得する情報提供部11と、情報提供部11が取得した画像から検知し抽出した顔画像と、ユーザ情報データベース20に記憶された顔画像とを照合する顔認証照合処理を行い、ユーザのアクセス権限の有無を判定する顔認証照合部12とを備えている。【選択図】図1

Description

本発明は、ネットワークを介して特定のユーザ同士で行う情報交換を支援するコミュニケーション支援システムに関し、例えば、企業の従業員間の業務連絡や情報交換等を支援するためのコミュニケーション支援システムに関する。
従来から、企業や学校等の組織内におけるコミュニケーションの活性化や、部門間や支店間における情報格差を解消させるために、多くの組織でソーシャルネットワーキングサービス(以下「SNS(social networking service)」という)が導入されている。
上記のSNSでは、一般的に、企業の従業員等のユーザは、PCやスマートフォン等のユーザ端末からSNSを提供するシステムにアクセスし、当該システムから提供されるログイン画面に「ユーザID」及び「パスワード」を入力し、システムから認証されることにより、システムにログインでき、システムが提供する各種サービス(チャットサイト等の提供)が受けられるようになっている。尚、SNSを提供するシステムにログインするために「ユーザID」及び「パスワード」を入力するシステムは、例えば、特許文献1に開示されている。
特開2010−277202号公報(段落0045〜0047)
しかしながら、特許文献1に記載の発明は、以下に示す課題を有している。
具体的には、特許文献1に記載の発明のように、「ユーザID」及び「パスワード」を入力させてユーザ認証を行うシステムは、ユーザにとって操作が面倒であることに加えて、「ユーザID」及び「パスワード」を何らかの方法で入手した他人によるなりすましが可能であるという課題を有している。
また、「ユーザID」及び「パスワード」を入力させるシステムでは、定期的に「パスワード」を変更させることにより、セキュリティを高めることが行われている。しかし、「ユーザID」及び「パスワード」を入力させる方法が非常に多くのシステムで採用され、一人のユーザが複数のシステムで「ユーザID」及び「パスワード」を設定することが一般的であるため、ユーザが利用する各システムのパスワードを定期的に変更した場合、各システムの「パスワード」を覚えきれず管理できなくなるという問題も生じている。
なお、「ユーザID」及び「パスワード」によるユーザ認証を行うシステムは、ユーザのログイン作業の負担軽減のために、一般的に自動ログイン機能を提供しているが、この自動ログイン機能を使えるように設定されたユーザ端末は、誰でもログインできてしまうというセキュリティ上の脆弱性を有している。
本発明は、上記技術的課題に鑑みてなされたものであり、その目的は、ネットワークを介してユーザ端末間で行う情報交換を支援するコミュニケーションサイトを提供するサーバ装置を備えるコミュニケーション支援システムであって、ユーザに作業負担をかけることなく、セキュリティを高めることができるコミュニケーション支援システムを提供することにある。
上記課題を解決するためになされた本発明は、ネットワークを介してユーザ端末間で行う情報交換を支援するコミュニケーションサイトを提供するサーバ装置を備えるコミュニケーション支援システムに適用される。前記ユーザ端末には、該ユーザ端末の近傍を撮像するカメラが接続或いは実装されている。
そして、前記サーバ装置は、ユーザIDに、該ユーザIDにより特定されるユーザの顔画像を対応付けて記憶するユーザ情報データベースと、前記ユーザ端末からのアクセス要求を受け付けると、該ユーザ端末に対して、前記カメラにより該ユーザ端末の近傍を撮像させ、該ユーザ端末からカメラが撮像した画像を取得する情報提供部と、前記情報提供部が取得した画像から検知し抽出した顔画像と、前記ユーザ情報データベースに記憶された顔画像とを照合する顔認証照合処理を行い、前記抽出した顔画像と一致する顔画像が前記ユーザ情報データベースに記憶されていれば、前記ユーザ端末を操作するユーザにアクセス権限が有り、前記抽出した顔画像と一致する顔画像が前記ユーザ情報データベースに記憶されていなければ、前記ユーザ端末を操作するユーザにアクセス権限が無いと判定する顔認証照合部とを有し、前記情報提供部は、前記アクセス権限が有ると判定されたユーザが操作するユーザ端末を前記コミュニケーションサイトにログインさせ、前記アクセス権限が無いと判定されたユーザが操作するユーザ端末からのアクセスを拒否するようになっており、さらに、前記情報提供部は、前記ログインさせた状態のユーザ端末から、所定のタイミングで、前記カメラに該ユーザ端末の近傍を撮像させて得られたログイン端末画像を取得し、
前記顔認証照合部は、前記取得したログイン端末画像から顔画像を検知する顔画像検知処理を行い、該顔画像検知処理により顔画像が検知できなければ該ユーザ端末からユーザが離間していると判定し、前記ログイン端末画像から顔画像を検知する顔画像検知処理により顔画像が検知できた場合、該ログイン端末画像から検知できた顔画像を抽出し、該抽出した顔画像と、前記アクセス権限が有ると判定されたときに一致した前記ユーザ情報データベースに記憶されている顔画像とを照合する顔認証照合処理を行い、該抽出した顔画像と、前記アクセス権限が有ると判定されたときに一致した前記ユーザ情報データベースに記憶されている顔画像とが一致すれば、ログインしたユーザが継続使用していると判定し、前記抽出した顔画像と、前記アクセス権限が有ると判定されたときに一致した前記ユーザ情報データベースに記憶されている顔画像とが一致しなければ、さらに、前記ログイン端末画像から検知し抽出した顔画像と、前記ユーザ情報データベースに記憶された顔画像とを照合する顔認証照合処理を行い、前記抽出した顔画像と一致する顔画像が前記ユーザ情報データベースに記憶されていれば、前記ユーザ端末を操作するユーザがログインしたユーザと代わっており且つアクセス権限がある変更認証ユーザであると判定し、前記抽出した顔画像と一致する顔画像が前記ユーザ情報データベースに記憶されていなければ、前記ユーザ端末を操作するユーザがログインしたユーザと代わっており且つアクセス権限が無いと判定することを特徴とする。
上記の構成によれば、ユーザ端末を操作するユーザがコミュニケーションサイトにアクセスする際に、ユーザ端末の近傍(例えば前方側)の画像が撮像され、撮像された画像から顔画像を検知・抽出し、抽出した顔画像を用いた顔認証照合処理によりユーザ認証をして、ユーザ端末にコミュニケーションサイトにアクセスさせるか否かを認証している。すなわち、本発明では、従来技術のシステムのように、「ユーザID」及び「パスワード」を用いたユーザ認証によるログイン処理を行うものではないため、他人がなりすましてシステムにアクセスすることが効果的に防止される。また、本発明によれば、従来技術の「ユーザID」及び「パスワード」を用いるシステムの自動ログイン機能のようなセキュリティ上の脆弱性が生じることがない。
また、本発明は、ユーザの顔画像による生体認証でアクセスの権限が判定されるため、従来技術のシステムのように、セキュリティの向上を目的としてパスワードを定期的に変更したり、パスワードを記憶しておいたりする必要がない。
また、本発明の構成によれば、コミュニケーション支援システムに登録されたユーザは、サーバ装置に接続可能なユーザ端末であれば簡単にログインできる。すなわち、普段、業務で使用しているユーザ端末以外からも、特別な設定をすることなくログインできる。
また、前記情報提供部は、前記ユーザ端末からユーザが離間していると判定した場合に、前記ログインさせた状態のユーザ端末を前記コミュニケーションサイトからログアウトさせるように構成されていてもよい。
上記の構成によれば、コミュニケーションサイトにログインしたユーザがユーザ端末から離間している(離れている)と判定された場合に、当該ユーザ端末をコミュニケーションサイトから自動的ログアウトさせることができ、アクセス権限の無い人物がコミュニケーションサイトを利用することを効果的に防止することができる。
また、前記サーバ装置は、ログイン状態のユーザ端末を識別する端末IDにログインしているユーザの前記ユーザIDを対応付けて記憶するアクセス情報データベースを有し、前記情報提供部は、前記ログインしたユーザが継続使用していると判定された場合には、前記ユーザ端末のログイン状態を継続させ、前記ユーザ端末を操作するユーザがログインしたユーザと代わっており且つアクセス権限が有る変更認証ユーザであると判定された場合には、前記ユーザ端末のログイン状態を継続させると共に、前記アクセス情報データベースにアクセスして、前記ログイン状態のユーザ端末を識別する端末IDに対応付ける前記ユーザIDを前記変更認証ユーザのユーザIDに変更し、前記ユーザ端末を操作するユーザがログインしたユーザと代わっており且つアクセス権限が無いと判定された場合には、前記ログインさせた状態のユーザ端末を前記コミュニケーションサイトからログアウトさせるように構成されていてもよい。
上記の構成によれば、ログイン状態のユーザ端末の前に、アクセス権限の無い人物がいると判定された場合に、当該ユーザ端末をコミュニケーションサイトからログアウトさせることができ、アクセス権限の無い人物がコミュニケーションサイトに参加することが防止される。
また、上記構成によれば、ログインしたユーザ端末を操作しているユーザが、別のユーザに代わった場合、その代わったユーザの顔画像を撮像し、撮像した顔画像を用いたユーザ認証を行い、代わったユーザがシステム(ユーザ情報データベース)に登録されていればログイン状態が継続されるようになっている。すなわち、正規のユーザであれば、コミュニケーションサイトに継続してアクセスされた状態になる。そのため、例えば、共同作業を行っている場合等において、ユーザ端末を操作するユーザ(作業者)を交代する際にも面倒なログイン手続きをする必要がない。
また、前記検知した顔画像が複数ある場合には、複数の顔画像のうちの最大サイズの顔画像を特定して、前記画像から特定した顔画を抽出し、該抽出した顔画像を用いて前記顔認証照合処理を行うように構成されていてもよい。
前記ユーザ端末は、ユーザから操作を受け付ける入力部と、前記コミュニケーションサイトにログインすると、前記入力部から入力された操作量を取得する操作量計測部とを有し、前記サーバ装置の情報提供部は、前記コミュニケーションサイトにログインしているユーザ端末から前記操作量を取得すると共に、前記操作量に応じて表現されたユーザを示すアバターを生成し、該ユーザ端末に提供するコミュニケーションサイトの画面上に、前記アバターを表示させるように構成されていてもよい。
上記の構成によれば、コミュニケーションサイト上で情報交換等を行っている他のユーザに、自身(ユーザ)の状態を視覚的に伝えることができる。そのため、例えば、忙しそうなユーザに業務や雑用を依頼するのを控え、手の空いているユーザに業務や雑用を依頼することができ、効率的な業務分担の効果が期待される。
また、前記ユーザ端末は、前記コミュニケーションサイトにログインすると、前記カメラが撮像したユーザの画像からユーザの瞬き数を計測する画像処理部を有し、前記サーバ装置の情報提供部は、前記コミュニケーションサイトにログインしているユーザ端末から前記瞬き数を取得すると共に、該瞬き数が正常値でなければ、前記ユーザ端末に健康状態に関するメッセージを提供するように構成されていてもよい。
上記の構成によれば、ユーザ端末に、例えば、「眼が疲れていませんか」や「ドライアイになっている虞があります」などの情報を提供することができ、コミュニケーションサイトにログインしているユーザが体調を崩すことを防止する効果が期待できる。
また、前記顔認証照合部は、顔認証照合処理によりアクセス権限が有ると判定したユーザについては、さらに前記抽出した顔画像から該ユーザの表情を推定するようになっており、前記情報提供部は、アクセス状態になっている各ユーザ端末のユーザの前記推定した表情から、アクセスしているユーザ端末により形成されるグループの雰囲気を推定し、該ユーザ端末に提供するコミュニケーションサイトの画面の背景に、前記推定した雰囲気に対応する画像を表示するように構成されていてもよい。
また、前記ネットワークが事業所内に設置されたLANで構成され、前記サーバ装置が前記事業所内において該LANに接続されていてもよい。
このように、本発明では、サーバ装置が事業所内にローカルで設置されているため、情報アクセス範囲に制限を設けた状態でコミュニケーションサイトが活用されることになり、社内情報等が漏洩するリスクを軽減させることができる。
また、前記情報提供部は、前記コミュニケーションサイトにログインしているユーザ端末を操作するユーザ同士が情報交換を行うチャット画面を提供するようになっており、前記サーバ装置は、前記チャット画面が提供されたユーザ端末を操作するユーザのユーザIDを記憶するチャット参加データベースと、前記チャット画面上で受け付けた投稿情報と、該投稿情報を投稿したユーザのユーザIDと、該投稿情報を閲覧したユーザのユーザIDとを対応付けて記憶するチャットログデータベースとを有し、
さらに、前記情報提供部は、前記コミュニケーションサイトにログインしているユーザ端末からのチャット参加要求を受け付けると、該ユーザ端末を操作するユーザのユーザIDを前記チャット参加データベースに記憶させると共に、前記ユーザ端末にチャット画面を提供し、前記チャット画面上で前記ユーザ端末から投稿情報を受け付けると、前記チャットログデータベースに、前記受け付けた投稿情報及び該投稿情報を投稿したユーザのユーザIDを対応付けて記憶させると共に、チャット画面上に該受け付けた投稿情報を閲覧可能な状態で提示し、前記チャット画面で投稿情報が閲覧される度に、該投稿情報を閲覧したユーザ端末から該投稿情報を閲覧したユーザのユーザIDを取得すると共に、チャットログデータベースにアクセスして、該閲覧された投稿情報に対応付けて、該取得した投稿情報を閲覧したユーザのユーザIDを記憶させていくようになっており、前記チャット画面上で提示された投稿情報の閲覧状況確認要求を受け付けると、前記チャットログデータベース及び前記チャット参加データベースを用いて、前記チャット画面に参加しているユーザが前記投稿情報を読んでいるか否かを示した閲覧状況情報を生成し、該ユーザ端末に該閲覧状況情報を提供するようになっていてもよい。
このように構成したのは以下の理由による。従来のSNSでは、サイト上に投稿したメッセージ等の投稿情報が、当該サイトに参加しているメンバーに読まれているか否かを確認することができなかった。本発明では、上記構成を採用することにより、サイトに参加しているメンバーが投稿情報を読んでいるか否か(すなわち、投稿者が投稿情報の既読者と未読者)をリアルタイムで確認することができる。
そのため、本発明によれば、従来のSNSと比べて、緊急性の高い社内情報や、浸透が必要とされる情報の伝達を的確に行うことが可能となる。
また、本発明によれば、例えば、少人数(2人)で情報交換をするときにも、相手が自分の投稿情報(メッセージ)を読んだのか否かをリアルタイムで確認することができる。すなわち、コミュニケーションサイトにログインできるユーザ同士の情報交換であれば、一般的な電子メールではなく、本発明を用いることにより、相手に重要な情報を確実に伝える効果が期待できる。
また、前記サーバ装置には、前記コミュニケーションサイトへのアクセスを許可するユーザ端末を識別する端末IDを記憶しているユーザ端末データベースが設けられており、前記情報提供部は、前記ユーザ端末からのアクセス要求を受け付けると、該ユーザ端末から前記カメラが撮像した画像を取得する処理の前処理として、該ユーザ端末から端末IDを取得し、該取得した端末IDが前記ユーザ端末データベースに記憶されていれば、前記カメラが撮像した画像を取得する処理を行い、該取得した端末IDが前記ユーザ端末データベースに記憶されていなければ、前記ユーザ端末からのアクセスを拒否することが望ましい。

この構成によれば、サーバ装置に紐付けされていないユーザ端末は、コミュニケーションサイトにアクセスすることができない。そのため、例えば、コミュニケーションサイトが企業内SNSとして利用される場合、所定のユーザ端末を用いなれば社内情報を取得したり、閲覧したりすることができなくなり、情報セキュリティの向上が図られる。また、この構成によれば、例えば、企業の従業員が自宅で使用しているパソコン等の私用の情報端末からのアクセスを制限することができるため、コンピュータウイルス等に感染するリスクを軽減させることができる。
本発明によれば、ネットワークを介してユーザ端末間で行う情報交換を支援するコミュニケーションサイトを提供するサーバ装置を備えるコミュニケーション支援システムであって、ユーザに作業負担をかけることなく、セキュリティを高めることができるコミュニケーション支援システムを提供することができる。
本発明の実施形態のコミュニケーション支援システムの全体構成を示した模式図である。 本発明の実施形態のコミュニケーション支援システムに用いられるユーザ情報データベースを示した模式図である。 本発明の実施形態のコミュニケーション支援システムに用いられるアクセス情報データベースを示した模式図である。 本発明の実施形態のコミュニケーション支援システムで用いられるチャットログデータベースを示した模式図である。 本発明の実施形態のコミュニケーション支援システムのログイン処理及びログアウト処理を説明するための模式図である。 本発明の実施形態のコミュニケーション支援システムが行う、一のユーザ端末からログイン中のユーザが、他のユーザ端末に移動したときに行われるログイン処理を説明するための模式図である。 本発明の実施形態のコミュニケーション支援システムが行う、複数のユーザが撮像された際のログイン処理を説明するための模式図である。 本発明の実施形態のコミュニケーション支援システムがユーザ端末に提供するチャット画面の一例を示した模式図である。 本発明の実施形態のコミュニケーション支援システムが提供するチャット画面上で表示するユーザの忙しさ等の状態を反映させたアバターを説明するための模式図である。 本発明の実施形態のコミュニケーション支援システムにより行われる、ユーザの体調に対応した提言を行う処理を説明するための模式図である。 本発明の実施形態のコミュニケーション支援システムにより行われる、社内の雰囲気に応じてチャット画面の背景を変更する処理を説明するための模式図である。 本発明の実施形態のコミュニケーション支援システムが行うログイン処理を示したフローチャートである。 図12のS13において、複数のユーザが検知されたと判定された際に行われるユーザ特定処理及びユーザ認証処理を示したフローチャートである。 本発明の実施形態のコミュニケーション支援システムにより行われる、ログイン状態中のユーザ端末に対するユーザ認証処理を示したフローチャートである。 本発明の実施形態のコミュニケーション支援システムが行う自動ログアウト処理を示したフローチャートである。 図14のS103において、複数のユーザが検知されたと判定された際に行われるユーザ特定処理及びユーザ認証処理を示したフローチャートである。 本発明の実施形態のコミュニケーション支援システムが提供するチャット画面の背景を決めるための背景判定テーブルの一例を示した模式図である。 本発明の実施形態のコミュニケーション支援システムが行うログイン処理の変形例を示したフローチャートである。
以下、本発明の実施形態について図面を用いて説明する。先ず、本実施形態のコミュニケーション支援システムの構成について図1〜図11を参照しながら説明する。
尚、本実施形態のコミュニケーション支援システムは、企業に所属するユーザ(社員)同士が情報交換や情報共有をできるようにするための社内SNSとして用いられる例を示しているが、特にこれに限定されるものではない。例えば、本実施形態のコミュニケーション支援システムは、企業に限定されないグループの構成メンバー(ユーザ)が利用するSNSにも適用可能である。
図1に示すように、本実施形態のコミュニケーション支援システムは、ネットワークNWを介してユーザ端末UTに接続されるサーバ装置1を備えている。このサーバ装置1は、ユーザ端末UTに対して、特定のユーザ(サーバ装置1に登録されているユーザ)同士が情報交換やスケジュール管理等を行うためのコミュニケーションサイトを提供するようになっている。
尚、本実施形態のコミュニケーション支援システムでは、ネットワークNWが専用回線(図示する例では、本社に設置されたLAN(Local Area Network)と、支社や営業所に設置されたLANと、LAN同士を接続するVPN(Virtual Private Network)とを有する専用回線)で構成されており、セキュリティの向上が図られている。すなわち、本実施形態では、サーバ装置1が事業所内にローカルで設置されており、情報アクセス範囲に制限がある状態でSNSを活用できるため、社内情報の漏洩リスクが軽減される。
また、サーバ装置1は、ユーザ端末UTがコミュニケーションサイトにアクセスする際に、ユーザ端末UTを操作するユーザの顔画像を利用した顔認証照合処理によるユーザ認証を行い、認証されたユーザをコミュニケーションサイトにログインさせ、コミュニケーションサイトにより提供されるチャット等の各機能を利用できるようにしている。
具体的には、図5に示すように、サーバ装置1へのログイン処理では、先ず、ユーザ端末UTに接続されたカメラC(或いは、ユーザ端末UTに搭載(実装)されたカメラC)に、ユーザ端末UTを操作するユーザを撮像させる(ユーザ端末UTの表示部(ディスプレイ画面)と相対向する前方(近傍))を撮像させる。そして、サーバ装置1は、その撮像させた画像を取得し、取得した画像から顔画像を検知し抽出し、「検知・抽出した顔画像」と「予め登録されたユーザの顔画像」とを用いた顔認証照合処理によるユーザ認証を行う。サーバ装置1は、上記のユーザ認証により、「抽出した顔画像」が「登録された顔画像のユーザ」と認証されると、コミュニケーションサイトにログインさせる。また、サーバ装置1は、「撮像した顔画像」が登録された顔画像のユーザと認証されなければ、エラーメッセージを表示して、コミュニケーションサイトへのアクセスを拒否する。
また、サーバ装置1は、ログイン状態になっているユーザ端末UTに接続されたカメラC(或いは、ユーザ端末に搭載されたカメラC)に、所定のタイミングで、ユーザ端末UTの近傍(ユーザ端末UTのディスプレイ画面と相対向する前方側)を撮像させ、その撮像した画像を取得し、取得した画像を用いて、ユーザ端末UTの前方に、ログインしたユーザと同じユーザがいるか否かを確認するユーザ確認処理を行う。
上記のユーザ確認処理では、サーバ装置1は、取得した画像から顔画像を検知し抽出する画像処理(顔画像検知処理)を行う。サーバ装置1は、顔画像検知処理により顔画像が検知できず一定時間経過している場合には、ユーザ端末UTの前方に誰もいないと判定し(ユーザ端末UTからユーザが離間していると判定し)、ログイン状態のユーザ端末UTをコミュニケーションサイトからログアウトさせる自動ログアウト処理を行う(図5参照)。
また、サーバ装置1は、顔画像検知処理により顔画像を検知できれば、抽出した顔画像と、ログインしたユーザの顔画像(登録された顔画像)とを用いた顔認証照合によるユーザ認証を行い、抽出した顔画像がログインしたユーザの顔画像と同一であると認証されるとログイン状態を継続させる。
また、図7に示すように、サーバ装置1は、抽出した顔画像がログインしたユーザの顔画像と同一でなければ、さらに、抽出した顔画像と、予め登録されたユーザの顔画像とを用いた顔照合によるユーザ認証を行う。そして、サーバ装置1は、上記認証により、撮像した顔画像のユーザが登録された顔画像のユーザと認証されると(ログインしたユーザとは別の登録されたユーザであると認証されると)、ログインユーザを切り代えるユーザ切り代え処理を行う。尚、サーバ装置1は、抽出した顔画像が、登録された顔画像のユーザと認証されなければ、自動ログアウト処理を行う。
また、図7に示すように、本実施形態では、カメラCが撮像した画像から複数の顔画像を検知できたときには(撮像した画像のフレーム内に複数の人物が写っている場合には)、最大サイズの顔画像を特定して、特定した顔画像と、予め登録されたユーザの顔画像とを用いた顔照合によるユーザ認証を行う。
また、サーバ装置1は、ログインしたユーザ端末UTに、図8に示すチャット画面100を表示させてチャット機能を提供する。このチャット画面100上では、あるユーザ端末UTを操作するユーザと、他のユーザ端末UTを操作するユーザとの間でメッセージ交換ができるようになっている。
図示するチャット画面100には、過去に投稿されたメッセージを表示する領域101と、グループに参加しているユーザ(メンバー)を表示する領域102と、最新で投稿されたメッセージを表示する領域103とが設けられている。尚、領域103には、投稿したユーザを表すアバター(アイコン)103aが表示されている。
また、サーバ装置1は、ユーザ端末UTから、キーボードのタイピング数やマウスのクリック数等の操作量情報(ユーザの忙しさを数値化した「忙しさ指標」)を取得する。また、サーバ装置1は、上記の忙しさ指標に対応するアバター(ユーザの忙しさを表したアバター103bを作成し、チャット画面100上に表示する。例えば、ユーザが忙しければ、図9に示すような人物を示すキャラクターが汗をかいている状態を表現したアバター103bを表示させる。このようにすると、メッセージを投稿しているユーザの忙しさを、チャットに参加している他のメンバーが視覚により簡単に把握することができる。
また、サーバ装置1は、ユーザ端末UTからユーザの「瞬き数」を取得し、取得した「瞬き数」が所定値以上であれば、例えば、図10に示すように、該当するユーザが操作するユーザ端末UTに対して、「眼が疲れていませんか」などの健康状態に関するメッセージ110をポップアップ表示させる。尚、ユーザ端末UTは、後述するように、カメラCで撮像したユーザの画像からユーザの瞬き数を計測し、サーバ装置1に、計測した瞬き数を送信するようになっている。
また、サーバ装置1は、コミュケーションサイトにログインしているユーザの表情(或いは忙しさ指標)から、ログインしているユーザ全体の雰囲気(参加者の雰囲気)を推定し、チャット画面100上に表示する画面の背景として、推定した雰囲気に対応する画像を表示するようになっている(図11参照)
また、ユーザ端末UTは、パソコンやスマートフォン等の情報処理端末により構成されており、ネットワークNWを介して、サーバ装置1にアクセスできるようになっている。また、ユーザ端末UTには、操作するユーザを認証するためのカメラCが接続されている(或いは、ユーザ端末UTにカメラCが搭載されている)。尚、ユーザ端末UTは、有線でネットワークNWに接続されるようになっていてもいいし、無線によりネットワークNWに接続されるようになっていてもよい。
以下、本実施形態のコミュニケーション支援システムを構成する各装置について詳細に説明する。
《サーバ装置1》
先ず、サーバ装置置1の構成を説明する。
図1に示すように、サーバ装置1は、制御部10と、情報提供部11と、顔認証照合部12と、ユーザ状態判定部13と、ユーザ情報データベース20と、アクセス態情報データベース21と、チャットログデータベース22と、チャットに参加中のユーザの情報(ユーザID)を管理するチャット参加データベース(図示せず)とを有している。
尚、サーバ装置1のハードウェア構成は、特に限定されるものではないが、例えば、中央処理装置(CPU)、主記憶装置、補助記憶装置、入出力I/F及び通信I/Fを備えるコンピュータ(1台或いは複数台のコンピュータ)により構成される。
また、前記補助記憶装置には、各部(制御部10、情報提供部11、顔認証照合部12、ユーザ状態判定部13)の機能を実現するためのプログラムが格納されている。また、前記補助記憶装置には、ユーザ情報データベース20、アクセス情報データベース21、チャットログデータベース22及びチャット参加データベース(図示せず)が格納されている。
そして、サーバ装置1の各部(制御部10、情報提供部11、顔認証照合部12、ユーザ状態判定部13)の機能は、前記中央処理装置(CPU)が前記補助記憶装置に格納された前記プログラムを主記憶装置にロードして実行することにより実現される。
次に、サーバ装置1の各データベースのデータ構造について説明する。
《ユーザ情報データベース20》
ユーザ情報データベース20は、コミュニケーションサイトへのアクセスを許可する(ログインさせる)ユーザの情報を登録するためのデータベースであり、ユーザを識別するユーザIDに、「そのユーザのユーザ名」、「そのユーザの所属・役職」及び「そのユーザの顔画像」を対応付けて記憶するように構成されたデータベースである。
具体的には、図2に示すように、ユーザ情報データベース20は、ユーザIDを登録するためのフィールド20aと、ユーザ名を登録するためのフィールド20bと、ユーザの所属・役職を登録するためのフィールド20cと、そのユーザの顔を写した顔画像(例えば、jpeg形式の画像データ)を登録するためのフィールド20dとを有するレコードで構成されている(複数のレコードにより構成されている)。
ここで、上記のユーザIDとは、ユーザ毎に割り当てられた一意のデータであり、例えば、英数字記号等により構成されている。また、図示する例では、ユーザ名に、ユーザの氏名を用いているが、氏名ではなくあだ名や、イニシャル(IT(田中一郎のイニシャル))を用いるようにしてもよい。
《アクセス情報データベース21》
アクセス情報データベース21は、コミュニケーションサイトにログインしたユーザのアクセスログ情報を登録するためのデータベースであり、ログインしたユーザを識別するユーザIDに、ログインしたユーザ端末UTを識別する端末ID、ログイン時間、サイトにアクセスできる有効期限、ログインしたユーザの状態情報(表情、体調、仕事状況(忙しさ))等を対応付けて記憶するように構成されたデータベースである。
具体的には、図3に示すように、アクセス情報データベース21は、ユーザIDを登録するためのフィールド21aと、ログインしたユーザ端末UTを識別する端末IDを登録するためのフィールド21bと、ログイン時間を登録するためのフィールド21cと、アクセスできる有効期限を登録するためのフィールド21dと、ログインしたユーザの表情を登録するためのフィールド21eと、ログインしたユーザの体調を登録するためのフィールド21fと、ログインしたユーザの忙しさ指標を登録するためのフィールド21gと、ログイン状態にあるか否かを示す情報を登録するためのフィールド21hとを有するレコードで構成されている(複数のレコードにより構成されている)。
ここで、上記の端末IDは、ユーザ端末UT毎に割り当てられた一意のデータであり、例えば、英数字記号等により構成されている。
また、アクセスできる有効期限は、ログインしたユーザがログイン状態を継続できる期限(日時時間)を示す情報であり、所定時間毎に行われるユーザ認証処理をする度に更新される。尚、ユーザがログインした際には、フィールド21dには、ログインした時間(アクセスログ時間)から所定時間加算した時間(例えば、アクセスログ時間に30分を付加した時間)が登録される。
また、ユーザの表情とは、カメラCが撮像したユーザの顔画像から推定したものであり、フィールド21eには、例えば、「笑顔」、「無表情」、「泣き顔」等の表情を示す情報が登録される。
また、ユーザの体調は、ユーザ端末UTから取得した「ユーザの瞬き数」から推定したものであり、フィールド21fには、例えば、「疲れ目」、「正常」、「ドライアイ」などの情報が登録される。
また、ユーザの忙しさ指標とは、ユーザ端末UTから取得した操作量情報(キーボードのタイピング数やマウスのクリック数を加算した数値情報)であり、数値が大きくなる程忙しいことを示している。
また、フィールド21hには、ログイン状態であることを示す情報(ログイン中)及びログアウト状態であることを示す情報(ログアウトしていることを示す情報、及びログアウトした日時(○○年○月○日:○時○分○秒))のいずれかが登録される。
《チャットログデータベース22》
チャットログデータベース22は、コミュニケーションサイトが提供するチャット画面(図8参照)上で投稿された情報を登録するためのデータベースであり、チャット画面上に登録されたグループ(或いはテーマ)を識別する「グループID」に、投稿情報を識別する「投稿情報ID」、その投稿をしたユーザの「ユーザID」、「投稿日時(○○年○月○日:○時○分○秒)」及び「投稿内容情報(投稿情報)」、その投稿を閲覧したユーザの「ユーザID」を対応付けて記憶するように構成されている。
具体的には、図4に示すように、チャットログデータベース22は、グループIDを登録するためのフィールド22aと、投稿情報IDを登録するためのフィールド22bと、投稿したユーザのユーザIDを登録するためのフィールド22cと、投稿日時を登録するためのフィールド22dと、投稿内容情報を登録するためフィールド23eと、閲覧したユーザのユーザIDを登録するためのフィールド22fとを有するレコードで構成されている(複数のレコードにより構成されている)。
ここで、上記のグループIDとは、グループ毎に割り当てられた一意のデータであり、例えば、英数字記号等により構成されている。また、投稿情報IDとは、投稿情報毎に割り当てられた一意のデータであり、例えば、英数字記号等により構成されている。また、フィールド22eに登録される投稿内容情報は、例えば、ユーザ端末UTから入力されたメッセージ等のテキストデータや、画像やPDF等の添付ファイル等である。
尚、図示しないチャット参加データベースは、グループIDに、当該グループIDにより特定されるグループに参加しているユーザのユーザIDを対応付けて記憶させたものである。
次に、サーバ装置1の各機能部について説明する。
図1に示すように、制御部10は、サーバ装置1全体の動作を制御したり、サーバ装置1の各種設定を受け付けたりする。
情報提供部11は、顔認証照合部12が行うユーザ認証処理によりアクセス権限があると認証されたユーザが操作するユーザ端末UTに対して、コミュニケーションサイトにログインさせてチャット機能等を提供する。一方、情報提供部11は、顔認証照合部12が行うユーザ認証処理により、アクセス権限が無いと認証されたユーザが操作するユーザ端末UTからのアクセス要求を拒否する。
尚、情報提供部11は、アクセス要求をするユーザ端末UTから、ユーザ認証情報(認証情報)を取得し、顔認証照合部12に取得した認証情報を送信するようになっている。この認証情報には、「ユーザ端末UTの前方を撮像した画像」及び「端末ID」が含まれている。
具体的には、情報提供部11は、顔認証照合部12から下記で説明する「アクセス許可情報」を受け付けると、ユーザ端末UTをコミュニケーションサイトにログインさせる。尚、「アクセス許可情報」には、「ユーザID」、「端末ID」及び「表情」が含まれている。
また、情報提供部11は、ユーザ端末UTをログインさせた時間(ログイン時間)に、所定時間加算した有効期限を算出する。そして、情報提供部11は、「アクセス許可情報」に含まれる「ユーザID」に、「端末ID」、「ログイン時間」、「有効期限」、「表情」及び「ログイン中」を対応付けたレコードを生成し、アクセス情報データベース21に登録(格納)する。尚、ログインをしたときには、まだ、ユーザの「体調」及び「忙しさ」が取得されていないため、上記レコードの「体調」及び「忙しさ」を登録するフィールド21f及び21gに「NULL」を登録しておき、ユーザの「体調」及び「忙しさ」を取得できたときに、フィールド21f、21gに「体調」、「忙しさ」を登録する。
また、情報提供部11は、顔認証照合部12から下記で説明する「アクセス拒否情報」を受け付けると、対応するユーザ端末UTからのアクセス要求を拒否する。
顔認証照合部12は、情報提供部11を介して、ユーザ端末UTから送信される「ユーザ端末UTの前方を撮像した画像」及び「端末ID」を取得すると、取得した画像から顔画像を検知して抽出する処理(顔画像検知処理)を行う。
この顔画像検知処理の結果、顔画像が検知できなければ、顔認証照合部12は、ユーザ端末UTにアクセス権限が無いと判定し、取得した「端末ID」に、「アクセス権限が無い旨を示す情報」とを対応付けた「アクセス拒否情報」を生成し、情報提供部11に「アクセス拒否情報」を送信する。
一方、顔画像抽出処理の結果、顔画像が検知できた場合には、顔認証照合部12は、検知した顔画像と一致する顔画像が、ユーザ情報データベース20に登録されているか否かを判定する顔認証照合処理を行う。
上記の顔認証照合処理により、検知した顔画像と一致する顔画像が、ユーザ情報データベース20に登録されていた場合、顔認証照合部12は、ユーザ端末UTを操作しているユーザがアクセス権限のある正規ユーザと認証すると共に、ユーザ情報データベース20から「抽出した顔画像と一致する顔画像」に対応付けられている「ユーザID」を読み出す。この場合、顔認証照合部12は、さらに、抽出した顔画像の表情から、ユーザの表情(「笑顔」、「無表情」、「泣き顔」等の表情)を推定する。
そして、顔認証照合部12は、取得した「端末ID」に、読み出した「ユーザID」と、推定した「表情」と、「アクセス権限があると認証した旨を示す情報」とを対応付けた「アクセス許可情報」を生成し、情報提供部11に「アクセス許可情報」を送信する。
上記の顔認証照合処理の結果、抽出した顔画像と一致する顔画像が、ユーザ情報データベース20に登録されていない場合、顔認証照合部12は、ユーザ端末UTを操作するユーザにアクセス権限が無いと判定し、情報提供部11に、取得した「端末ID」に、「アクセス権限が無い旨を示す情報」とを対応付けた「アクセス拒否情報」を生成し、情報提供部11に送信する。
ユーザ状態判定部13は、情報提供部11を介して、ユーザ端末UTから送信される「ユーザの瞬き数」からユーザの体調(「疲れ目」、「正常」、「ドライアイ」)を推定する。尚、ユーザ端末UTから送信される「ユーザの瞬き数」には、端末IDが紐付けられている。また、ユーザ状態判定部13は、推定した体調を、取得した端末IDに対応付けて情報提供部11に送信する。
《ユーザ端末》
次に、ユーザ端末UTの構成を説明する。
ユーザ端末UTは、制御部30と、画像処理部31と、コミュニケーション処理部32と、操作量計測部33と、通信処理部34とを有している。
尚、ユーザ端末UTのハードウェア構成は、特に限定されるものではないが、例えば、中央処理装置(CPU)、主記憶装置、補助記憶装置、入出力I/F及び通信I/F、液晶ディスプレイ等の表示装置(表示部)、キーボードやマウス等の入力装置(入力部)を備えるコンピュータや携帯端末(スマートフォンや携帯電話等)等により構成される。
また、前記補助記憶装置には、各部(制御部30、画像処理部31、コミュニケーション処理部32、操作量計測部33、通信処理部34)の機能を実現するためのプログラムが格納されている。また、前記補助記憶装置には、ユーザ端末UTを識別する端末IDが格納されている。
そして、ユーザ端末UTの各部(制御部30、画像処理部31、コミュニケーション処理部32、操作量計測部33、通信処理部34)の機能は、前記中央処理装置(CPU)が前記補助記憶装置に格納された前記プログラムを主記憶装置にロードして実行することにより実現される。
以下、ユーザ端末UTの構成を順次説明していく。
制御部30は、ユーザ端末UT全体の動作を制御したり、ユーザ端末UTの各種設定を受け付けたり、入力部を介して、ユーザからの操作を受け付けたりする。
画像処理部31は、コミュニケーション処理部32からの要求(画像取得要求)に応じて、カメラCが撮像した画像(ユーザ端末UTのディスプレイ画面と相対向する前方の画像)を取得し、色補正等の画像処理を施した上で、コミュニケーション処理部32に「取得した画像」を送信する。
また、画像処理部31は、コミュニケーション処理部32からの要求(体調確認要求)に応じて、カメラCが撮像したユーザの画像(動画等の画像)を取得し、取得した画像からユーザの瞬き数をカウントする。そして、画像処理部31は、コミュニケーション処理部32にカウントした「瞬き数」を送信する。
コミュニケーション処理部32は、ユーザ端末を操作するユーザからのコミュニケーションサイトへのアクセス要求を受けると、サーバ装置1にアクセス要求を行う。また、コミュニケーション処理部32は、アクセス要求に応じてサーバ装置1が返信するログイン画面(図示せず)を受信し、その受信したログイン画面を表示部に表示すると共に、画像処理部31に画像取得要求を送信する。このログイン画面には、「カメラCの前に顔を向けて下さい」等のメッセージが表示されている。
また、コミュニケーション処理部32は、画像取得要求に応じて画像処理部31が送信する画像を取得(受信)すると、通信処理部34を介して、サーバ装置1の情報提供部11に、「取得した画像」及び「端末ID(ユーザ端末UTの補助記憶装置から読み出した端末ID)」を含む認証情報を送信する。
そして、コミュニケーション処理部32は、送信した認証情報に対して、サーバ装置1がアクセスを許可するとコミュニケーションサイトにログインすることができる。一方、コミュニケーション処理部32は、送信した認証情報に対して、サーバ装置1がアクセスを拒否すると表示部にエラーメッセージ(「ユーザ認証できませんでした」等のエラーメッセージ)を出力する。
また、コミュニケーション処理部32は、コミュニケーションサイトにログインできた場合、サーバ装置1からのユーザ確認要求に応じて(例えば、ログインしてから20分経過後に出力されるユーザ確認要求に応じて)、画像処理部31に画像取得要求を送信する。そして、コミュニケーション処理部32は、画像取得要求に応じて画像処理部31が送信する画像を取得すると、上記同様、通信処理部34を介して、サーバ装置1の情報提供部11に、「取得した画像」及び「端末ID(ユーザ端末UTの補助記憶装置から読み出した端末ID)」を含む認証情報を送信する。
そして、コミュニケーション処理部32が送信した認証情報に対して、サーバ装置1がログイン状態を継続すると判定すると、コミュニケーションサイトへのログイン状態が維持され、サーバ装置1がログイン状態を継続しないと判定すると、コミュニケーションサイトからログアウトされる。
尚、コミュニケーション処理部32は、ログアウトした場合には、操作量計測部33に、ログアウトした旨を示す情報(ログアウト通知)を送信する。
また、コミュニケーション処理部32は、コミュニケーションサイトにログインできた場合、所定のタイミング(例えば、10分間隔)で、画像処理部31に体調確認要求を送信する。コミュニケーション処理部32は、体調確認要求に応じて画像処理部31が送信する「瞬き数」を取得(受信)すると、通信処理部34を介して、サーバ装置1の情報提供部11に、「取得した瞬き数」及び「端末ID(ユーザ端末UTの補助記憶装置から読み出した端末ID)」を含む体調情報を送信する。
また、コミュニケーション処理部32は、コミュニケーションサイトにログインできた場合、操作量計測部33に操作量計測要求を送信する。また、コミュニケーション処理部32は、操作量測定要求に応じて、操作量測定部33がで送信する「操作量」を取得(受信)すると、通信処理部34を介して、サーバ装置1の情報提供部11に、取得した「操作量」及び「端末ID(ユーザ端末UTの補助記憶装置から読み出した端末ID)」を含む操作量情報を送信する。
操作量計測部33は、コミュニケーション処理部32から操作量測定要求を受信すると、制御部10を介して、ユーザ端末UTの入力部から入力された操作量(キーボードのタイプ数及びマウスのクリック数)を取得すると共に、所定時間毎の操作量をカウントする(例えば、○○年○月○日 ○時○分〜○時○分の操作量が1000等)。操作量計測部33は、コミュニケーション処理部32に、カウントした操作量(忙しさ指標)を送信する。
尚、操作量計測部33は、コミュニケーション処理部32からログアウト通知を受信すると、次の操作量測定要求を受信するまで、操作量を計測する処理を停止する。
《ログイン処理》
次に、本実施形態のコミュニケーション支援システムが行う処理について説明する。
先ず、本実施形態のコミュニケーション支援システムのログイン処理について、図12〜16を参照しながら説明する。
尚、図12は、本実施形態のコミュニケーション支援システムが行うログイン処理を示したフローチャートである。図13は、図12のS13において、複数のユーザが検知されたと判定された際に行われるユーザ特定処理及びユーザ認証処理を示したフローチャートである。図14は、本実施形態のコミュニケーション支援システムにより行われる、ログイン状態中のユーザ端末に対するユーザ認証処理を示したフローチャートである。図15は、本実施形態のコミュニケーション支援システムが行う自動ログアウト処理を示したフローチャートである。図16は、図14のS103において、複数のユーザが検知されたと判定された際に行われるユーザ特定処理及びユーザ認証処理を示したフローチャートである。
図12に示すように、サーバ装置1の情報提供部11は、ユーザ端末UTからのアクセス要求を受け付けると、ユーザ端末UTに接続されたカメラCに、ユーザ端末UTの前方側(近傍)を撮像させて、ユーザ端末UTからカメラCが撮像した画像を取得し(S10)、S11、S12の処理に進む。
具体的には、S10では、ユーザ端末UTがサーバ装置1にアクセス要求をすると、サーバ装置1からユーザ端末1にログイン画面が提供される。このログイン画面には、例えば、ユーザがカメラCに顔を向けるように促すメッセージやイラストなどが表示され、ユーザ端末UTを操作するユーザに対して、カメラCの前に顔を向けるように促すことができる。
また、ユーザ端末UTのコミュニケーション処理部32は、表示部にログイン画面を表示させると、画像処理部31に画像取得要求を送信する。画像処理部31は、コミュニケーション処理部32からの画像取得要求に応じて、カメラCが撮像した画像(ユーザ端末UTの表示部(ディスプレイ画面)と相対向する前方の画像)を取得し、色補正等の画像処理を施した上で、コミュニケーション処理部32に「取得した画像」を送信する。また、コミュニケーション処理部32は、画像処理部31が送信する画像を取得すると、通信処理部34を介して、サーバ装置1の情報提供部11に、「取得した画像」及び「端末ID(ユーザ端末UTの補助記憶装置から読み出した端末ID)」を含む認証情報を送信する。その後、サーバ装置1の情報提供部11は、ユーザ端末UTのコミュニケーション処理部32から送信された認証情報(画像及び端末ID)を受信する。
S11、S12では、サーバ装置1の情報提供部11は、S10で取得した「画像」及び「端末ID」を顔認証照合部12に送信し、顔認証照合部12に、顔画像の検知処理(顔画像検知処理)を行わせる。顔認証照合部12は、S10で取得した画像から顔画像を検知して抽出する顔画像検知処理を実行し、顔画像が検知できればS13の処理に進む。一方、顔認証照合部12は、顔画像が検知できなければ、S10で認証情報を送信してきたユーザ端末UTにアクセス権限が無いと判定し、取得した「端末ID」に、「アクセス権限が無い旨を示す情報」とを対応付けた「アクセス拒否情報」を生成し、情報提供部11に「アクセス拒否情報」を送信し、S16の処理に進む。
尚、上記の顔画像検知処理では、取得した画像に複数の顔(人物)が含まれているときには、複数人の顔画像が検知され抽出される。また、本実施形態の顔画像検知処理は、周知技術を用いるため詳細な説明は省略する。
S16では、情報提供部11は、ユーザ認証できない旨を示すエラーメッセージを生成し、S10において認証情報を送信してきたユーザ端末UTに対して、生成したエラーメッセージを送信して、当該ユーザ端末UTからのアクセス要求を拒否して、処理を終了する。この処理工程により、ユーザ端末UTの表示部に、エラーメッセージが表示され、ユーザ端末UTを操作するユーザに対してログインできないことを認識させることができる。
次に、S12において、顔画像が検知された場合に進むS13処理を説明する。
S13では、顔認証照合部12は、S12で検知された顔画像が「一人」であるか否かを判定し、「一人」であればS14、S15の処理に進み、「一人」でなければ(複数の顔画像を検知していれば)、図13に示す「複数人物検知処理時のユーザ特定処理」へ移行する。
S14、S15では、顔認証照合部12は、S12で検知・抽出された顔画像と、ユーザ情報データベース20に登録された顔画像(ユーザ情報データベース20の各レコードに登録された顔画像)とを照合する顔認証照合処理を行い、S12で検知・抽出された顔画像が、ユーザ情報データベースし20に登録された顔画像と一致するか否かを判定する。
そして、顔認証照合部12は、S11で検知された顔画像がユーザ情報データベース20に登録された顔画像と一致する場合、ユーザ端末UTを操作しているユーザがアクセス権限のある正規ユーザであると認証すると共に、ユーザ情報データベース20から「抽出した顔画像と一致する顔画像」に対応付けられている「ユーザID」を読み出す。この場合、顔認証照合部12は、さらに、抽出した顔画像の表情から、ユーザの表情(「笑顔」、「無表情」、「泣き顔」等の表情)を推定する。
そして、顔認証照合部12は、取得した「端末ID」に、読み出した「ユーザID」と、推定した「表情」と、「アクセス権限があると認証した旨を示す情報」とを対応付けた「アクセス許可情報」を生成し、情報提供部11に「アクセス許可情報」を送信する。
一方、顔認証照合部12は、S11で検知された顔画像がユーザ情報データベース20に登録された顔画像と一致しない場合(すなわち、S11で検知された顔画像と一致する顔画像が、ユーザ情報データベース20に登録されていなければ)、ユーザ端末UTを操作するユーザにアクセス権限が無いと判定し、情報提供部11に、取得した「端末ID」に、「アクセス権限が無い旨を示す情報」とを対応付けた「アクセス拒否情報」を生成し、情報提供部11に送信して、上述したS16の処理に進む。
S17では、情報提供部11は、顔認証照合部12から送信された「アクセス許可情報」を受信し、S10において認証情報を送信してきたユーザ端末UTに対するログイン処理を実行し、S18の処理に進む。
ここで、上記のログイン処理について説明する。
具体的には、情報提供部11は、顔認証照合部12から「アクセス許可情報」を受信すると、認証情報を送信してきたユーザ端末UTをコミュニケーションサイトにログインさせる。
また、情報提供部11は、ユーザ端末UTをログインさせた時間(ログイン時間)に、所定時間加算した有効期限を算出する。尚、上記のログイン時間は、サーバ装置1に実装されている時計機能から取得する。
そして、情報提供部11は、フィールド21aに「アクセス許可情報」に含まれる「ユーザID」、フィールド21bに「アクセス許可情報」に含まれる「端末ID」、フィールド21cに「ログイン時間」、フィールド21dに算出した「有効期限」、フィールド21eに「アクセス許可情報」に含まれる「表情」、フィールド21f及び21gに「NULL」、フィール21hに「ログイン中」が登録されたレコードを生成し、アクセス情報データベース21に格納する。
S18では、情報提供部11は、S17でログインしたユーザが別端末(ログインさせたユーザ端末UTと別のユーザ端末UT)にログインした状態になっているか否かを判定し、別端末にログイン状態になっていればS19の処理に進む、別端末にログイン状態になっていなければ処理を終了する。
具体的には、S18では、情報提供部11は、アクセス情報データベース21にアクセスし、S17において格納したレコード以外のレコードの中に、S17でログイン処理させたユーザのユーザIDが登録され且つフィールド21hに「ログイン中」が登録されたレコードがあるか否かを判定する。判定の結果、S17において格納したレコード以外のレコードの中に、S17でログイン処理させたユーザIDが登録され且つフィールド21hが「ログイン中」になっているレコードがあれば、そのレコードを特定し、S17でログインさせたユーザが別端末でログイン状態になっていると判定してS19に進む。
一方、情報提供部11は、アクセス情報データベース21のうちのS17で格納したレコード以外のレコードの中に、S17でログイン処理させたユーザIDが登録され且つフィールド21hに「ログイン中」が登録されたレコードがなければ、S17でログインさせたユーザが別端末でログインした状態になっていないと判定して処理を終了する。
S19では、情報提供部11は、S18で特定したレコードに登録された端末IDのユーザ端末UTをログアウト状態にし、さらに、S18で特定したレコードのフィールド21hを「ログイン中」から「ログアウト」に更新して処理を終了する。なお、情報提供部11は、フィールド21hに、ログアウトを示す情報と共に「ログアウト時間(○○年○月○日○時○分○秒)」も登録する。
次に、S13において、検知された顔画像が「一人」ではないと判定させた場合に行われる「複数人物検知処理時のユーザ特定処理」について図13を参照しながら説明する。
図13に示すように、顔認証照合部12は、検知された複数の顔画像の中から最大サイズの顔画像を特定し抽出し、S21、S22の処理に進む(S20)。最大サイズの顔画像の特定は、例えば、検知された各顔画像の画素数を比較して、画素数が最大の顔画像を最大サイズの顔画像と特定する。
S21、S22では、顔認証照合部12は、S20で特定し抽出した顔画像と、ユーザ情報データベース20に登録された顔画像(ユーザ情報データベース20の各レコードに登録された顔画像)とを照合する顔認証照合処理を行い、S20で特定し抽出された顔画像が、ユーザ情報データベースし20に登録された顔画像と一致するか否かを判定する。
上記判定の結果、S20で特定された顔画像が、ユーザ情報データベース20に登録された顔画像と一致する場合、図12のS14、15と同様の処理を行い、図12のS17のログイン処理に進む。すなわち、顔認証照合部12は、ユーザ端末UTを操作しているユーザがアクセス権限のある正規ユーザであると認証すると共に、ユーザ情報データベース20から「抽出した顔画像と一致する顔画像」に対応付けられている「ユーザID」を読み出す。また、顔認証照合部12は、抽出した顔画像の表情から、ユーザの表情(「笑顔」、「無表情」、「泣き顔」等の表情)を推定する。そして、顔認証照合部12は、取得した「端末ID」に、読み出した「ユーザID」と、推定した「表情」と、「アクセス権限があると認証した旨を示す情報」とを対応付けた「アクセス許可情報」を生成し、情報提供部11に「アクセス許可情報」を送信する。
一方、上記判定の結果、S20で特定された顔画像がユーザ情報データベース20に登録された顔画像と一致しなければ、図12のS14、15と同様の処理を行い、S23の処理に進む。すなわち、顔認証照合部12は、ユーザ端末UTを操作するユーザにアクセス権限が無いと判定し、情報提供部11に、取得した「端末ID」に、「アクセス権限が無い旨を示す情報」とを対応付けた「アクセス拒否情報」を生成し、情報提供部11に送信してS23に進む。
尚、S23の処理は、上述したS16と略同様のため説明を省略する。
次に、コミュニケーションサイトにログイン状態中におけるユーザ端末UTのユーザを確認するユーザ確認処理について、図14〜図16を参照しながら説明する。
図14に示すように、サーバ装置1の情報提供部11は、ログイン状態のユーザ端末UTから、認証情報(「ユーザ端末UTの前方を撮像した画像」及び「端末ID」)を取得し(S100)、S101、S102の処理に進む。
具体的には、S100では、情報提供部11は、ログイン状態にあるユーザ端末UTに対して、所定のタイミング(ログイン処理してから所定時間(3分)経過後や、アクセス許可時間を更新してから所定時間(3分)経過後等のタイミング)で、ユーザ確認要求を送信する。
上記のユーザ確認要求を受信したユーザ端末UTは、画像処理部31を介して、カメラCが撮像する画像(ユーザ端末UTの表示部(ディスプレイ画面)と相対向する前方の画像)を取得し、通信処理部34を介して、サーバ装置1の情報提供部11に、「取得した画像」及び「端末ID」を含む認証情報を送信する。
S101、S102では、上述した図12のS11、S12と同様の処理を行う。すなわち、顔認証照合部12が、情報提供部11を介してユーザ端末UTから送信された「画像」及び「端末ID」を取得し、取得した「画像」から顔画像を検知して抽出する「顔画像検知処理」を行う。顔認証照合部12は、顔画像検知処理の結果、顔画像が検知できればS103に進む。一方、顔認証照合部12は、顔画像検知処理の結果、顔画像が検知できなければ、図15に示す自動ログアウト処理に進む。尚、図15に示す「自動ログアウト処理」については後述する。
S103では、上述した図12のS13と同様の処理、すなわち、顔認証照合部12は、S102で検知された顔画像が「一人」であるか否かを判定し、「一人」であればS104、S105の処理に進み、「一人」でなければ、図16に示す「複数人物検知時のユーザ特定処理」に移行する。尚、図16に示す「複数人物検知時のユーザ特定処理」については後述する。
S104、S105では、顔認証照合部12は、S101で検知・抽出した顔画像と、該当するログイン中のユーザ端末UTにログインしたユーザの顔画像(S14、S15でアクセス権限が有ると判定されたときに一致した顔画像(ユーザ情報データベース20に記憶されている顔画像))とを照合する顔認証照合処理を行い、S101で検知・抽出された顔画像が、ログイン処理の際に認証されたユーザの顔画像と一致するか否かを判定する。そして、顔認証照合部12は、S101で検知・抽出された顔画像が、ログイン処理の際に認証されたユーザの顔画像と一致すると、ログインしたユーザが継続使用していると判定し、情報提供部11にその旨(ログインしたユーザが継続使用している旨)を送信し、S106の処理に進む。一方、顔認証照合部12は、S101で検知・抽出された顔画像が、ログイン処理の際に認証されたユーザの顔画像と一致しなければ、S107、108の処理に進む。
尚、本実施形態では、ログイン認証したユーザの顔画像は、例えば、以下のように、ユーザ情報データベース20から読み出される。具体的には、顔認証照合部12は、アクセス情報データベース21にアクセスし、フィールド21bに「S100で取得した認証情報に含まれる端末ID」が登録され、且つフィールド21hに「ログイン中」が登録されているレコード(ログイン中となっていたユーザのユーザIDが登録されたレコード)を選択する。また、顔認証照合部12は、上記の選択されたレコードのフィールド21aに登録された「ユーザID」を抽出する。そして、顔認証照合部12は、ユーザ情報データベース20にアクセスし、上記の抽出した「ユーザID」に対応付けられている顔画像を読み出し、この読み出した顔画像をログインしたユーザの顔画像とする。
S106では、情報提供部11は、顔認証照合部12が送信した「ログインしたユーザが継続使用している旨」を受信すると、認証情報を送信してきたユーザ端末UTのログイン状態を継続させたまま処理を終了する。
尚、S106では、さらに、情報提供部11は、S104で選択したログイン中のユーザのユーザIDが登録されたレコードのフィールド21dの有効期限を更新する処理も行う。具体的には、情報提供部11は、顔認証照合部12から送信された「ログインしたユーザが継続使用している旨」を受信した時間(○年○月○日○時○分○秒)に、所定時間加算した有効期限を算出する。そして、情報提供部11は、S104で選択したログインしたユーザのユーザIDが登録されたレコードのフィールド21dに、本ステップにおいて算出した有効期限を上書きする(更新登録する)。
次に、S107、108の処理を説明する。
S107、S108では、情報提供部11は、S101で検知し抽出された顔画像と、ユーザ情報データベース20に登録された顔画像とを照合する顔認証照合処理を行い、S101で検知・抽出された顔画像が、ユーザ情報データベースし20に登録された顔画像と一致するか否かを判定する。
尚、S107、S108では、ユーザ情報データベース20に格納されたレコードのうち、S104で選択したレコード(ログイン中となっているユーザのユーザIDが登録されたレコード)以外のレコードに登録された顔画像が、S101で検知・抽出された顔画像と照合される。
そして、顔認証照合部12は、S101で検知された顔画像がユーザ情報データベース20に登録された顔画像と一致する場合、ユーザ端末UTを操作しているユーザがログインしたユーザと代わっており且つアクセス権限のある正規ユーザ(変更認証ユーザ)と認証すると共に、ユーザ情報データベース20から「抽出した顔画像と一致する顔画像」に対応付けられている「ユーザID」を読み出す。この場合、顔認証照合部12は、さらに、S101で検知し抽出された顔画像の表情から、ユーザの表情(「笑顔」、「無表情」、「泣き顔」等の表情)を推定する。そして、顔認証照合部12は、取得した「端末ID」に、読み出した「ユーザID」と、推定した「表情」と、「アクセス権限があると認証した旨を示す情報」とを対応付けた「アクセス許可情報」を生成し、情報提供部11に「アクセス許可情報」を送信し、S109の処理に進む。
一方、顔認証照合部12は、S101で検知された顔画像がユーザ情報データベース20に登録された顔画像と一致しない場合、ユーザ端末UTを操作するユーザがログインしたユーザと代わっており且つアクセス権限が無いと判定し、情報提供部11に、取得した「端末ID」に、「アクセス権限が無い旨を示す情報」とを対応付けた「アクセス拒否情報」を生成し、情報提供部11に送信して、図15のS121の処理に進む。
S109では、情報提供部11は、顔認証照合部12からの「アクセス許可情報」を受信すると、ユーザ認証情報を送信してきたユーザ端末UTに対して、ログインユーザの切り換え処理を実行する。
具体的には、情報提供部11は、顔認証照合部12から「アクセス許可情報」を受信すると、S100において認証情報を送信してきたユーザ端末UTに対して、ユーザを切り換えた上でログインを継続している旨示す「ユーザ切り換え情報」を送信する。ユーザ端末UTの表示部には、ユーザを切り換えた上でログイン状態にしている旨が表示される。例えば、チャット画面100上に、ユーザ切り換えをした旨のメッセージが表示される。
また、情報提供部11は、「ユーザ切り換え情報」を送信した時刻を、切り換えによりログイン状態になったユーザのログイン時間と認定し、認定したログイン時間に、所定時間加算した有効期限を算出する。また、情報提供部11は、「ユーザ切り換え情報」を送信した時刻を、切り換えによりログアウト状態になったユーザのログアウト時間と認定する。
そして、情報提供部11は、フィールド21aに「アクセス許可情報」に含まれる「ユーザID」、フィールド21bに「アクセス許可情報」に含まれる「端末ID」、フィールド21cに認定した「ログイン時間」、フィールド21dに算出した「有効期限」、フィールド21eに「アクセス許可情報」に含まれる「表情」、フィールド21f及び21gに「NULL」、フィール21hに「ログイン中」が登録されたレコードを生成し、アクセス情報データベース21に格納する。
さらに、情報提供部11は、S104で選択されたレコード(ログイン中となっていたユーザのユーザIDが登録されたレコード)のフィールド21hに登録されている「ログイン中」を、「ログアウト及びログアウト時間(○○年○月○日○時○分○秒)」に更新する。
S110では、上述した図12のS18に相当する処理、すなわち、S109でユーザを切り換えてログイン状態にしたユーザが別端末にログインした状態になっているか否かを判定し、別端末においてログイン状態になっていればS111の処理に進み、別端末にログイン状態になっていなければ処理を終了する。
具体的には、S110では、情報提供部11は、アクセス情報データベース21にアクセスし、S109において格納したレコード以外のレコードの中に、S109でユーザを切り換えてログイン状態にしたユーザのユーザIDが登録され且つフィールド21hに「ログイン中」が登録されたレコードがあるか否かを判定する。判定の結果、S109において格納したレコード以外のレコードの中に、S109でユーザを切り換えてログイン状態にしたユーザのユーザIDが登録され且つフィールド21hが「ログイン中」になっているレコードがあれば、そのレコードを特定し、S109でユーザ切り換えしてログイン状態にしたユーザが別端末でログイン状態になっていると判定してS111に進む。
一方、判定の結果、S109において格納したレコード以外のレコードの中に、S109でユーザを切り換えてログイン状態にしたユーザのユーザIDが登録され且つフィールド21hが「ログイン中」になっているレコードがなければ、S109でユーザ切り換えしてログイン状態にしたユーザが別端末でログイン状態になっていないと判定して処理を終了する。
S111では、情報提供部11は、S110で特定したレコードに登録された端末IDにより特定されるユーザ端末UTをログアウト状態にし、さらに、S110で特定したレコードのフィールド21hを「ログイン中」から「ログアウト」に更新して処理を終了する。なお、情報提供部11は、フィールド21hに、ログアウトを示す情報と共に「ログアウト時間(○○年○月○日○時○分○秒)」も登録する。
次に、図14のS102において、取得した「画像」から顔画像が検知できない場合に行う自動ログアウト処理について図15を用いて説明する。
図示するように、S120では、顔認証照合部12は、図14のS102において顔画像が検知できないと判定してから所定時間経過(例えば、3分経過)しているか否かを判定する。
上記判定の結果、所定時間経過していれば(顔が検知できなくなった状態が所定時間続いていれば)、顔認証照合部12は、ユーザ端末からユーザが離間しており且つユーザ端末UTにアクセス権限が無いと判定し、取得した「端末ID」に、「アクセス権限が無い旨を示す情報」とを対応付けた「アクセス拒否情報」を生成し、情報提供部11に送信して、S121の処理に進む。
上記判定の結果、所定時間経過していなければS122〜S124の処理に進む。尚、図14のS102から移行してきて最初に行われるS120では、所定時間経過していないため、S122〜S124の処理に進む。
S122では、顔認証照合部12は、情報提供部11を介して、S100において取得した端末IDのユーザ端末UTから再度、画像及び端末IDを含む認証情報を取得し、S123、S124の処理に進む。
具体的には、情報提供部11が、S100において取得した端末IDのユーザ端末UTに対して、ユーザ確認要求を送信する。
上記のユーザ確認要求を受信したユーザ端末UTは、画像処理部31を介して、カメラCが撮像する画像(ユーザ端末UTの表示部(ディスプレイ画面)と相対向する前方の画像)を取得し、通信処理部34を介して、サーバ装置1の情報提供部11に、「取得した画像」及び「ユーザ端末UTの補助記憶装置から読み出した端末ID」を含む認証情報を送信する。そして、顔画像照合部12が情報提供部11より認証情報(画像及び端末ID)を取得する。
S123、S124では、顔認証照合部12は、図14のS101、102と同様の処理を行い、顔画像が検知できれば図14のS103に進み、顔画像が検知できなければS120の処理に戻る。
次にS121の処理を説明する。
S121では、情報提供部11は、顔認証照合部12から送信される「アクセス拒否情報」を受信すると、「アクセス拒否情報」に含まれる端末IDにより特定されるユーザ端末UTをログアウト状態にし、アクセス情報データベース21の対応するレコードを更新して処理を終了する。
尚、アクセス情報データベース21の対応するレコードの更新は以下のように行う。具体的には、情報提供部11は、アクセス情報データベース21にアクセスし、フィールド21bに「S100で取得した認証情報に含まれる端末ID」が登録され、且つフィールド21hに「ログイン中」が登録されているレコードを選択する。そして、情報提供部11は、選択したレコードのフィールド21hを「ログイン中」から「ログアウト」に更新して処理を終了する。なお、情報提供部11は、フィールド21hに、ログアウトを示す情報と共に「ログアウト時間(○○年○月○日○時○分○秒)」も登録する。
次に、図14のS103において、検知された顔画像が「一人」ではないと判定された場合に行われる「複数人物検知処理時のユーザ特定処理」について図16を参照しながら説明する。
図16に示すように、顔認証照合部12は、抽出された複数の顔画像の中から最大サイズの顔画像を特定し、S204、S205の処理に進む(S200)。尚、S200の処理は、上述した図13のS20と同じである。
S204、S205では、顔認証照合部12は、S200で特定した顔画像と、該当するユーザ端末UTにログインしたユーザの顔画像(S14、S15でアクセス権限が有ると判定されたときに一致した顔画像(ユーザ情報データベース20に記憶されている顔画像))とを照合する顔認証照合処理を行い、S200で特定し抽出された顔画像が、ログイン処理の際に認証されたユーザの顔画像と一致するか否かを判定する。そして、顔認証照合部12は、S200で特定し抽出された顔画像が、ログイン処理の際に認証されたユーザの顔画像と一致すると、情報提供部11に「ログインしたユーザが継続使用している旨」を送信し、S206の処理に進む。一方、顔認証照合部12は、S200で特定し抽出された顔画像が、ログイン処理の際に認証されたユーザの顔画像と一致しなければ、S207以降の処理に進む。
尚、S204、S205の顔認証照合処理は、上述した図14のS104、105と略同様の手順であるため詳細な説明を省略する。
また、S207以降(S207〜S211)の処理は、上述した図14のS107〜S111の処理と同様のあるため、説明を省略する。
《忙しさ指標取得処理》
次に、本実施形態のコミュニケーション支援システムの「忙しさ指標」を取得する処理について説明する。
上述したログイン処理により、コミュニケーションサイトにログインしたユーザ端末UTは、ログイン状態になっている間、ユーザ端末UTのキーボードやマウス等が操作された操作量を計測して、所定のタイミングで、サーバ装置1に計測した操作量(操作量情報)を送信するように構成されている。
具体的には、ユーザ端末UTのコミュニケーション処理部32は、サーバ装置1が提供するコミュニケーションサイトにログインすると、操作量計測部33に操作量計測要求を送信する。
操作量計測部33は、コミュニケーション処理部32からの操作量測定要求を受信すると、制御部10を介して、ユーザ端末UTの入力部から入力された操作量(キーボードのタイプ数及びマウスのクリック数)を取得すると共に、所定時間毎の操作量情報を算出する(例えば、○○年○月○日 ○時○分〜○時○分の操作量が1000等)。また、操作量計測部33は、所定間隔(例えば、20分間隔)で、コミュニケーション処理部32に、算出した操作量(忙しさ指標)を送信する。
尚、操作量計測部33は、コミュニケーション処理部32からログアウトした旨を示す情報(ログアウト通知)を受信するまで、操作量計測処理を行うようになっている。
そして、コミュニケーション処理部32は、操作量測定部33が送信する「操作量」を取得(受信)すると、通信処理部34を介して、サーバ装置1の情報提供部11に、取得した「操作量」及び「端末ID」を含む操作量情報を送信する。
また、サーバ装置1の情報提供部11は、ユーザ端末UTからの「操作量情報」を受信すると、アクセス情報データベース21にアクセスして、フィールド21に受信した「操作量情報」に含まれる端末IDが登録され且つフィールド21hが「ログイン中」になっているレコードを特定し、特定したレコードのフィールド21gに受信した「操作量(忙しさ指標)」を登録する。これにより、サーバ装置1は、コミュニケーションサイトにログイン中のユーザの忙しさを把握することができる。
《体調情報取得処理》
次に、本実施形態のコミュニケーション支援システムの「体調情報」を取得する処理について説明する。
上述したログイン処理により、コミュニケーションサイトにログインしたユーザ端末UTは、ログイン状態になっている間、ユーザ端末UTを操作するユーザの「瞬き数」を計測し、所定のタイミングで、サーバ装置1に計測した「瞬き数」を送信するように構成されている。
具体的には、ユーザ端末UTのコミュニケーション処理部32は、コミュニケーションサイトにログインすると、所定のタイミング(例えば、10分間隔)で、画像処理部31に体調確認要求を送信する。
画像処理部31は、コミュニケーション処理部32からの要求(体調確認要求)に応じて、カメラCが撮像したユーザを撮像した画像(動画やコマ送り画像)を取得し、取得した画像からユーザの瞬き数をカウントする。そして、画像処理部31は、コミュニケーション処理部32にカウントした「瞬き数」を送信する。
そして、コミュニケーション処理部32は、上記の体調確認要求に応じて画像処理部31が送信する「瞬き数」を取得(受信)すると、通信処理部34を介して、サーバ装置1の情報提供部11に、取得した「瞬き数」及び「端末ID」を含む「体調情報」を送信する。
また、サーバ装置1のユーザ状態判定部13は、情報提供部11を介して、ユーザ端末UTからの「体調情報」を受信し、受信した「体調情報」に含まれる「瞬き数」からユーザの体調(「疲れ目」、「正常」、「ドライアイ」)を推定し、推定した「体調」を、取得した「端末ID」に対応付けて情報提供部11に送信する。
サーバ装置1の情報提供部11は、上記の「体調」及び「端末ID」を受信すると、アクセス情報データベース21にアクセスして、フィールド21に受信した「端末ID」が登録され且つフィールド21hが「ログイン中」になっているレコードを特定し、特定したレコードのフィールド21fに受信した「体調(「疲れ目」、「正常」、「ドライアイ」)」を登録する。これにより、サーバ装置1は、コミュニケーションサイトにログイン中のユーザの体調を把握することができる。
尚、サーバ装置1の情報提供部11は、上記の受信した「体調」が正常でなければ(「疲れ目」や「ドライアイ」であれば)、受信した「端末ID」により特定されるユーザ端末UTに対して、ユーザ端末UTの表示部に、「眼が疲れていませんか」や「ドライアイになっている虞があります」などのメッセージ(健康情報)をポップアップ表示させる。これにより、コミュニケーションサイトにログインしているユーザが体調を崩すことを防止する効果が期待できる。
《チャット機能》
次に、本実施形態のコミュニケーション支援システムが提供するコミュニケーションサイトのチャット機能について説明する。尚、本実施形態は、ユーザの状態(忙しさ等)を反映したアバター(ユーザを示すアイコン)を表示する機能、ログインしている各ユーザの表情(或いは忙しさ)に対応した背景をチャット画面に表示させる機能、及び体調が悪いユーザにメッセージ(健康情報)を通知する機能に特徴があるため、その特徴がある機能を中心に説明する。また、本実施形態のメッセージ交換処理自体は周知技術であるため、詳細な説明は省略する。
サーバ装置1の情報提供部11は、コミュニケーションサイトにログインしているユーザ端末UTにメイン画面(図示せず)を提供する。このメイン画面上には、各種機能(スケジュール管理機能、メール機能、会議室予約機能、チャット機能等)が選択可能に表示されている。情報提供部11は、ユーザ端末UTがメイン画面上で「チャット(チャット参加要求)」を選択すると、その選択(チャット参加要求)を受け付け、ユーザ端末UTにチャットメニュー画面(図示せず)を表示させる。
図示しないチャットメニュー画面には、チャットで討論しているグループ(例えば、スイーツファクトリ運用プロジェクトを議論するためのグループ)が選択可能に提示されており、ユーザ端末UTを操作するユーザは、チャットメニュー画面上で、参加するグループ(グループID)を選択できるようになっている。
情報提供部11は、チャットメニュー画面上でユーザ端末UTからグループの選択を受け付けると、チャット参加データベース(図示せず)に、受け付けたグループの「グループID」と、当該ユーザ端末UTを操作するユーザの「ユーザID」とを対応付けて記憶させる。また、情報提供部11は、該当するユーザ端末UTに対して、受け付けたグループ内でメッセージ交換をするためのチャット画面100(図8参照)を提供する。尚、情報提供部11は、ユーザ情報データベース20、アクセス情報データベース21、チャット参加データベース(図示せず)及びチャットログデータベース22を用いて、チャット画面100を生成するようになっている。
具体的には、情報提供部11は、あるグループのチャット画面100作成する場合、チャット参加データベース(図示せず)にアクセスし、当該グループを識別するグループIDに対応付けられたユーザID(グループに参加しているユーザのユーザID)を抽出し、抽出したユーザIDのユーザの「ユーザ名」及び「所属・役職」をユーザ情報データベース20から取得する。また、情報提供部11は、アクセス情報データベース21にアクセスして、抽出したユーザIDが登録されたレコードを抽出し、抽出したレコードから、そのユーザIDのユーザの「表情」、「忙しさ指標」を取得する。また、情報提供部11は、チャットログデータベース22にアクセスして、当該グループを識別するグループIDが登録されたレコードを抽出する。
そして、情報提供部11は、上記の抽出したレコード及び取得した各情報を用いて、現在日時と投稿日時が近い所定件数の投稿情報(メッセージ)を表示する領域101と、グループに参加しているユーザ(メンバー)を表示する領域102と、最新で投稿されたメッセージが表示され且つ投稿したユーザを表すアバター(アイコン)103aが表示されている領域103とが含まれるチャット画面100を生成し、グループに参加しているユーザのユーザ端末UTに提供する。
尚、情報提供部11は、各ユーザの「忙しさ指標」に応じて、図8に示すアバター103a(ユーザが忙しくしていないときの表示例)や、図9に示すアバター103b(ユーザが忙しくしているときの表示例)を表示する。
また、ユーザ端末UTのコミュケーション処理部32は、表示されているチャット画面100上において、投稿情報(メッセージ(或いはファイルを添付したメッセージ))を投稿できるようになっている。投稿された投稿情報(メッセージ)は、投稿したユーザのユーザID及びグループIDと共に情報提供部11に送られる。
そして、情報提供部11は、チャット画面100上でユーザ端末UTから投稿情報を受け付けると、その投稿情報(メッセージ)を識別する投稿情報IDを生成する。そして、情報提供部11は、フィールド22aに受け付けたグループID、フィールド22bに生成した投稿情報ID、フィールド22cに受け付けたユーザID、フィールド22dに投稿日時、フィールド22eに受け付けたメッセージ、フィールド22fに「NULL」が登録されたレコードを作成し、チャットログ情報データベース22に登録する。また、情報提供部11は、上記の登録されたレコードの投稿情報(メッセージ)が反映されたチャット画面100を生成し、グループに参加しているユーザが操作しているユーザ端末UTに送信する。このチャット画面上100上では、受け付けた投稿情報が閲覧可能な状態で提示され、且つ投稿情報の近傍に、そのユーザの「ユーザ名」及び「所属・役職」が提示されている。
また、ユーザがユーザ端末UTを操作して、チャット画面100上に提示された投稿情報を閲覧すると、当該ユーザ端末UTから情報提供部11に、閲覧したことを示す閲覧済情報(閲覧された投稿情報の投稿情報IDと、ユーザ端末を操作するユーザのユーザIDとが含まれる閲覧済情報)が送信される。情報提供部11は、閲覧済情報を受け付けると、チャットログデータベース22にアクセスし、受け付けた閲覧済情報に含まれる投稿情報IDが登録されたレコードを特定し、特定したレコードのフィールド22fに、受け付けた閲覧済情報に含まれるユーザIDを登録する。尚、情報提供部11は、チャット画面100上で投稿情報(メッセージ)が閲覧される度に、当該投稿情報を閲覧したユーザが操作するユーザ端末から該投稿情報を閲覧したユーザのユーザIDを取得すると共に、取得したユーザIDをフィールド22fに登録していくようになっている。
また、チャット画面100に表示された投稿情報(メッセージ)の近傍には、その投稿情報の閲覧状況の確認を受け付けるための閲覧状況確認部101aが設けられている。
そして、ユーザ端末UTが閲覧状況確認部101aをクリックすると、情報提供部11に閲覧状況確認要求(投稿情報を特定する投稿情報IDが含まれる閲覧状況確認要求)が送信される。
情報提供部11は、前記閲覧状況確認要求を受け付けると、チャットログデータベース22にアクセスし、当該閲覧状況確認要求に含まれる投稿情報IDが登録されたレコードからグループID及び既読ユーザ(ユーザID)を取得する。このチャットログデータベース22から取得したユーザIDのユーザが既読ユーザと認定される。
また、情報提供部11は、チャット参加データベース(図示せず)にアクセスし、抽出したグループIDに対応付けられたユーザIDを取得する。そして、情報提供部11は、チャット参加データベースから取得したユーザIDのうち、チャットログデータベース22から取得したユーザID(既読ユーザのユーザID)と相違するユーザIDのユーザを未読ユーザと認定する。
そして、情報提供部11は、ユーザ情報データベースにアクセスし、未読ユーザのユーザIDの氏名と、既読ユーザのユーザIDの氏名とを取得し、グループに参加している各ユーザが投稿情報(メッセージ)を読んだのか(既読なのか)或いは読んでいないか(未読なのか)を一覧表示した閲覧状況情報(ユーザの氏名に対応付けて閲覧したか否かを示す情報を提示した情報)を生成し、前記閲覧状況確認要求を送信したユーザ端末UTに提供する。
この構成により、図8に示すように、グループの参加メンバー(ユーザ)は、投稿された投稿情報(メッセージ)がグループの誰に読まれているか否かを確認できる。
さらに、情報提供部11は、図11に示すように、チャット画面100を生成する際に、グループに参加している各メンバー(ユーザ)の「表情」や「忙しさ指標」から、グループ全体の雰囲気(笑顔のユーザが多いとき明るい状態、通常の忙しさのユーザが多いときには平気的な状態等)を推定し、チャット画面100の背景を、推定した状態に応じた背景にすることができるようになっている。
尚、上記のチャット画面100の背景を以下のように決めてもよい。
具体的には、サーバ装置1に、図17に例示する背景判定テーブル40を記憶させておく。この背景判定テーブル40は、グループの参加者の笑顔の割合毎に、背景画像(晴天画像、雲り画像等の背景)を対応付けて登録したものである。図示する例では、参加者の笑顔の割合が「60%〜100%」に「晴天画像」が対応付けられ、参加者の笑顔の割合が「40%〜59%」に「曇り画像」が対応付けられ、参加者の笑顔の割合が「20%〜39%」に「雨画像」が対応付けられ、参加者の笑顔の割合が「0%〜19%」に「嵐画像」が対応付けられている。
この場合、情報提供部11は、チャット画面100を生成する際に、アクセス情報データベース21にアクセスして、グループに参加している各メンバー(ユーザ)の「表情」を読み出し、読み出した「表情」から「笑顔の割合」を算出する。また、情報提供部11は、背景判定テーブル40にアクセスし、算出した「笑顔の割合」に対応する背景画像を読み出す。例えば、算出した「笑顔の割合」が「70%」であれば「晴天画像」が読み出され、算出した「笑顔の割合」が「10%」であれば「嵐画像」が読み出される。そして、情報提供部11は、読み出した背景画像を背景に用いたチャット画面100を生成し、ユーザ端末UTに生成したチャット画面100を提供する。
また、本実施形態のサーバ装置1は、上述したように、ユーザ端末UTからの「体調情報」を取得し、取得した「体調情報」に含まれる「瞬き数」からユーザの体調(「疲れ目」、「正常」、「ドライアイ」)を推定する機能を有している。情報提供部11は、上記の機能を利用し、グループに参加しているユーザの体調が正常ではないときには(疲れ目、ドライアイ)、そのユーザが操作するユーザ端末UTに対して、「眼が疲れていませんか」などのメッセージ110をポップアップ表示させる。
以上、説明したように、本実施形態のコミュニケーション支援システムは、ユーザ端末UTを操作するユーザがコミュニケーションサイトにアクセスする際に、ユーザ端末UTの前方側の画像が撮像され、撮像された画像から顔画像を検知・抽出し、抽出した顔画像を用いた顔認証照合処理によりユーザ認証をし、ユーザ端末UTをアクセスさせるか否かを判定している。
すなわち、本実施形態では、従来技術のシステムのように、「ユーザID」及び「パスワード」を用いたユーザ認証によるログイン処理を行うものではないため、他人がなりすましてシステムにアクセスすることが効果的に防止される。また、本実施形態のユーザ認証によれば、従来技術の「ユーザID」及び「パスワード」を用いるシステムの自動ログイン機能のようなセキュリティ上の脆弱性が生じることがない。
また、本実施形態は、ユーザの顔画像による生体認証でアクセスの権限が判定されるため、従来技術のシステムのように、セキュリティを高めるためにパスワードを定期的に変更したり、パスワードを記憶しておいたりする必要がない。
また、本実施形態のコミュニケーション支援システムでは、システムに登録されたユーザであれば、サーバ装置1に接続可能なユーザ端末UTであれば簡単にログインできる(図6参照)。すなわち、普段、業務で使用いているユーザ端末UT以外からも、面倒な操作をすることなくログインできる。
また、本実施形態のコミュニケーション支援システムでは、ログインしたユーザ端末UTの前方をカメラCで撮像し、撮像された画像からログインしたユーザがユーザ端末UTを操作しているか否かを確認する確認処理を行っている。そして、本実施形態では、確認処理により、ログインしたユーザがユーザ端末UTを離れていると判定された場合や、ユーザ端末UTの前に、当該システムに登録されていない人物(アクセス権限の無い人物)がいると検知された場合に、当該ユーザ端末をシステムからログアウトさせている。その結果、本実施形態によれば、アクセス権限の無い人物がシステムにアクセスすることを効果的に防止することができる。
また、本実施形態では、ユーザ端末UTを操作しているログインユーザが、別のユーザに代わった場合、その代わったユーザの顔画像を撮像し、撮像した顔画像を用いたユーザ認証を行い、代わったユーザがシステムに登録されていればログイン状態が継続されるようになっている。すなわち、正規のユーザであれば、システムに継続してアクセスされた状態になり、正規のユーザでなければ、システムからログアウトされる状態になるため、共同作業を行っている場合等において、ユーザに負担をかけることなく、セキュリティが確保される。
また、本実施形態のコミュニケーション支援システムが提供するコミュニケーションサイトのチャット画面では、メッセージを投稿したユーザを示すアバターが、ユーザ自身の状態(忙しさ)を反映されたものになるため、ネット上で情報交換している他のユーザに、メッセージを投稿したユーザの状態を伝えることができる。そのため、例えば、忙しそうなメンバー(ユーザ)に業務や雑用を依頼するのを控え、手の空いているメンバー(ユーザ)に業務や雑用を依頼することができ、効率的な業務分担の効果が期待される。
また、本実施形態のサーバ装置1は、ユーザ端末UTからの「体調情報」を取得し、取得した「体調情報」に含まれる「瞬き数」からユーザの体調(「疲れ目」、「正常」、「ドライアイ」)を推定している。また、サーバ装置1は、推定した「体調」が正常でなければ(「疲れ目」や「ドライアイ」であれば)、受信した「端末ID」により特定されるユーザ端末UTに対して、ユーザ端末UTの表示部に、「眼が疲れていませんか」や「ドライアイになっている虞があります」などのメッセージをポップアップ表示させている。これにより、コミュニケーションサイトにログインしているユーザが体調を崩すことを防止する効果が期待できる。
尚、本発明は、上述した実施形態に限定されるものではなく、その要旨の範囲内において種々の変更が可能である。
例えば、上述した実施形態では、ユーザの状態(ユーザ情報データベース20に登録された表情や忙しさ等)を反映したアバター(ユーザを示すアイコン)や、ログインしている各ユーザの表情や忙しさに対応した背景や、体調が悪いユーザへのメッセージ通知は、いずれも、チャット画面上で行っているが、特にこれに限定されるものではない。例えば、コミュニケーションサイトにおいて提供されるスケジュール管理機能を提供する画面上において、ユーザの状態(忙しさ等)を反映したアバター(ユーザを示すアイコン)や、ログインしている各ユーザの忙しさに対応した背景や、体調が悪いユーザへのメッセージ通知を行うようにしてもよい。
また、上述した実施形態のログイン処理を変形して、ユーザ端末UTを操作するユーザが所定期間(所定回数)連続して同一人物であると認証された場合にのみ、ログインさせるようにしてもよい。このログイン処理の変形例について図18を参照しながら説明する。
ここで、図18は、本実施形態のコミュニケーション支援システムが行うログイン処理の変形例を示したフローチャートである。
尚、図18に示すフローチャートのS310〜S316は、上述した図12に示すフローチャートのS10〜S16と同様の処理である。また、図18に示すフローチャートのS319、S320、S321は、上述した図12に示すフローチャートのS17、S18、S19と同様の処理である。そのため、以下では、上述した図12に示すフローチャートと異なる処理のみを詳細に説明し、上述した図12に示すフローチャートと同じ処理については説明を省略或いは簡略化する。
具体的には、サーバ装置1は、ユーザ端末UTから認証情報(カメラCが撮像した画像及び端末ID)を取得し(S310)、取得した画像から顔画像の検知処理(顔画像検知処理)を行い(S311、S312)、顔画像が検知できればS313の処理に進み、顔画像が検知できなければ、上述したS16と同様の処理(S316)を行う。
S313では、上述した図12のS13と同様の処理を行い、検知された顔画像が「一人」であればS314、S315の処理に進み、検知された顔画像が「複数人」であれば「複数人物検知処理時のユーザ特定処理」へ移行する。
尚、「複数人特定処理時のユーザ特定処理」は、上述した図13の処理と略同様であるため説明を省略する(本変形例では、図13のS22において「登録画像と一致」したと判定された場合に、図18のS317に移行する)。
S314、S315では、サーバ装置1は、上述した図12のS14、S15と同様の処理を行い、S312で検知・抽出された顔画像が、ユーザ情報データベースし20に登録された顔画像と一致すればS317に進み、一致しなければ上述したS16と同様の処理(S316)を行う。
S317では、サーバ装置1の顔認証照合部12は、同一人物の連続検知回数を算出する処理を行い、S318に進む。
具体的には、サーバ装置1の顔認証照合部12は、「抽出した顔画像と一致する顔画像」に対応付けられている「ユーザID」に連続検知回数を対応付けた連続検知回数情報を生成し、メモリ(主記憶装置)の所定作業領域に記憶(仮記憶)させる。
尚、顔認証照合部12は、本ステップ(S317)を行う際に、メモリの所定作業領域に連続検知回数情報が記憶されていなければ、「抽出した顔画像と一致する顔画像」に対応付けられている「ユーザID」に「連続検知回数の「1」」を対応付けた連続検知回数情報を生成し、メモリの所定作業領域に、生成した連続検知回数情報を記憶(仮記憶)させる。
また、顔認証照合部12は、本ステップにおいて、所定作業領域に連続検知回数情報が記憶されていれば、記憶された連続検知回数情報の「ユーザID」と、「抽出した顔画像と一致する顔画像」に対応付けられている「ユーザID」とが同じであるか否かを判定する。
そして、顔認証照合部12は、記憶された連続検知回数情報の「ユーザID」と、「抽出した顔画像と一致する顔画像」に対応付けられている「ユーザID」とが同じであれば、記憶された連続検知回数情報を抽出し、抽出した連続検知回数情報の中の「連続検知回数」を「1」加算した情報に変更し、メモリの所定作業領域に記憶された連続検知回数情報を、変更した連続検知回数情報に更新する上書き処理を行う。
一方、顔認証照合部12は、記憶された連続検知回数情報の「ユーザID」と、「抽出した顔画像と一致する顔画像」に対応付けられている「ユーザID」とが同じでなければ、記憶された連続検知回数情報を消去した上で、新たに、「抽出した顔画像と一致する顔画像」に対応付けられている「ユーザID」に「連続検知回数の「1」」を対応付けた連続検知回数情報を生成し、メモリ(主記憶装置)の所定作業領域に記憶(仮記憶)させる。
S318では、顔認証照合部12は、メモリ(主記憶装置)の所定作業領域に記憶(仮記憶)している連続検知回数情報の「連続検知回数」が所定回数以上(例えば、3回以上)であるか否かを判定する。この判定の結果、「連続検知回数」が所定回数以上(例えば、3回以上)であれば、同一人物が所定期間(所定回数)以上連続してユーザ端末UTを操作していると判定し、メモリに記憶された連続検知回数情報を消去した上で、S319〜S321の処理に進む。尚、S319〜S321の処理は、図12に示すフローチャートのS17、S18、S19と同様であるため、説明を省略する。
一方、上記の判定の結果、「連続検知回数」が所定回数以上でなければ、S310の処理に戻る。
また、上述した実施形態において、コミュニケーションサイトにアクセスできるユーザ端末UTを予め定めておき(すなわち、サーバ装置1にユーザ端末UTを紐付けしておき)、予め定めたユーザ端末UTだけがコミュニケーションサイトにアクセスできるように構成してもよい。
この場合、サーバ装置1に、コミュニケーションサイトへのアクセスを許可するユーザ端末を識別する端末IDを記憶させたユーザ端末データベース(図示せず)を設けておく。
尚、端末IDには、ユーザ端末UTのマック・アドレス(Media Access Control address)を用いるようにしても良い。或いは、コミュニケーションサイトの管理者が、アクセスを許可するユーザ端末を認定し、且つサーバ装置1とユーザ端末UTとを紐付けする設定処理(ユーザ端末データベースに端末IDを登録する設定処理)を行うときに、ユーザ端末UTに一意の端末IDを割り当て、ユーザ端末UTのメモリに、割り当てた端末IDを記憶させておいてもよい。
また、サーバ装置1の情報提供部11は、ユーザ端末UTからのアクセス要求を受け付けると、ユーザ端末UTからカメラが撮像した画像を取得する処理(図12のS10の処理)の前処理として、そのユーザ端末UTから端末IDを取得する。そして、情報提供部11は、取得した端末IDがユーザ端末データベース(図示せず)に記憶されているか否かを判定する。
上記判定の結果、取得した端末IDがユーザ端末データベース(図示せず)に記憶されていれば、情報提供部11は、図12のS10以降の処理を行う。すなわち、情報提供部11は、ユーザ端末UTからカメラCが撮像した画像を取得し、その取得した画像から顔画像を検知し抽出する処理等を行う。また、上記判定の結果、取得した端末IDがユーザ端末データベース(図示せず)に記憶されていなければ、情報提供部11は、ユーザ端末UTからのアクセスを拒否する。
このように構成することで、サーバ装置1に紐付けされていないユーザ端末UTは、コミュニケーションサイトにアクセスすることができなくなる。その結果、例えば、コミュニケーションサイトが企業内SNSとして利用される場合、所定のユーザ端末UTを用いなれば社内情報を取得したり、閲覧したりすることができなくなり、システムのセキュリティの向上が図られる。また、この構成によれば、例えば、企業の従業員が自宅で使用しているパソコン等の私用の情報端末からのアクセスを制限することができるため、コンピュータウイルス等への感染リスクを軽減させることができる。
1…サーバ装置
10…制御部
11…情報提供部
12…顔認証照合部
13…ユーザ状態判定部
20…ユーザ情報データベース
21…アクセス態情報データベース
22…チャットログデータベース
40…背景判定テーブル

C…カメラ
UT…ユーザ端末
30…制御部
31…画像処理部
32…コミュニケーション処理部
33…操作量計測部
34…通信処理部

Claims (10)

  1. ネットワークを介してユーザ端末間で行う情報交換を支援するコミュニケーションサイトを提供するサーバ装置を備えるコミュニケーション支援システムであって、
    前記ユーザ端末には、該ユーザ端末の近傍を撮像するカメラが接続或いは実装されており、
    前記サーバ装置は、
    ユーザIDに、該ユーザIDにより特定されるユーザの顔画像を対応付けて記憶するユーザ情報データベースと、
    前記ユーザ端末からのアクセス要求を受け付けると、該ユーザ端末に対して、前記カメラにより該ユーザ端末の近傍を撮像させ、該ユーザ端末からカメラが撮像した画像を取得する情報提供部と、
    前記情報提供部が取得した画像から検知し抽出した顔画像と、前記ユーザ情報データベースに記憶された顔画像とを照合する顔認証照合処理を行い、前記抽出した顔画像と一致する顔画像が前記ユーザ情報データベースに記憶されていれば、前記ユーザ端末を操作するユーザにアクセス権限が有り、前記抽出した顔画像と一致する顔画像が前記ユーザ情報データベースに記憶されていなければ、前記ユーザ端末を操作するユーザにアクセス権限が無いと判定する顔認証照合部とを有し、
    前記情報提供部は、前記アクセス権限が有ると判定されたユーザが操作するユーザ端末を前記コミュニケーションサイトにログインさせ、前記アクセス権限が無いと判定されたユーザが操作するユーザ端末からのアクセスを拒否するようになっており、
    さらに、前記情報提供部は、前記ログインさせた状態のユーザ端末から、所定のタイミングで、前記カメラに該ユーザ端末の近傍を撮像させて得られたログイン端末画像を取得し、
    前記顔認証照合部は、
    前記取得したログイン端末画像から顔画像を検知する顔画像検知処理を行い、該顔画像検知処理により顔画像が検知できなければ該ユーザ端末からユーザが離間していると判定し、
    前記ログイン端末画像から顔画像を検知する顔画像検知処理により顔画像が検知できた場合、該ログイン端末画像から検知できた顔画像を抽出し、該抽出した顔画像と、前記アクセス権限が有ると判定されたときに一致した前記ユーザ情報データベースに記憶されている顔画像とを照合する顔認証照合処理を行い、
    該抽出した顔画像と、前記アクセス権限が有ると判定されたときに一致した前記ユーザ情報データベースに記憶されている顔画像とが一致すれば、ログインしたユーザが継続使用していると判定し、
    前記抽出した顔画像と、前記アクセス権限が有ると判定されたときに一致した前記ユーザ情報データベースに記憶されている顔画像とが一致しなければ、さらに、前記ログイン端末画像から検知し抽出した顔画像と、前記ユーザ情報データベースに記憶された顔画像とを照合する顔認証照合処理を行い、前記抽出した顔画像と一致する顔画像が前記ユーザ情報データベースに記憶されていれば、前記ユーザ端末を操作するユーザがログインしたユーザと代わっており且つアクセス権限がある変更認証ユーザであると判定し、前記抽出した顔画像と一致する顔画像が前記ユーザ情報データベースに記憶されていなければ、前記ユーザ端末を操作するユーザがログインしたユーザと代わっており且つアクセス権限が無いと判定することを特徴とするコミュニケーション支援システム。
  2. 記情報提供部は、前記ユーザ端末からユーザが離間していると判定した場合に、前記ログインさせた状態のユーザ端末を前記コミュニケーションサイトからログアウトさせることを特徴とする請求項1に記載のコミュニケーション支援システム。
  3. 前記サーバ装置は、ログイン状態のユーザ端末を識別する端末IDにログインしているユーザの前記ユーザIDを対応付けて記憶するアクセス情報データベースを有し、
    前記情報提供部は、
    前記ログインしたユーザが継続使用していると判定された場合には、前記ユーザ端末のログイン状態を継続させ、
    前記ユーザ端末を操作するユーザがログインしたユーザと代わっており且つアクセス権限が有る変更認証ユーザであると判定された場合には、前記ユーザ端末のログイン状態を継続させると共に、前記アクセス情報データベースにアクセスして、前記ログイン状態のユーザ端末を識別する端末IDに対応付ける前記ユーザIDを前記変更認証ユーザのユーザIDに変更し、
    前記ユーザ端末を操作するユーザがログインしたユーザと代わっており且つアクセス権限が無いと判定された場合には、前記ログインさせた状態のユーザ端末を前記コミュニケーションサイトからログアウトさせることを特徴とする請求項1又は2に記載のコミュニケーション支援システム。
  4. 前記検知した顔画像が複数ある場合には、複数の顔画像のうちの最大サイズの顔画像を特定して、前記画像から特定した顔画を抽出し、該抽出した顔画像を用いて前記顔認証照合処理を行うことを特徴とする請求項1〜のいずれかに記載のコミュニケーション支援システム。
  5. 前記ユーザ端末は、
    ユーザから操作を受け付ける入力部と、
    前記コミュニケーションサイトにログインすると、前記入力部から入力された操作量を取得する操作量計測部とを有し、
    前記サーバ装置の情報提供部は、前記コミュニケーションサイトにログインしているユーザ端末から前記操作量を取得すると共に、前記操作量に応じて表現されたユーザを示すアバターを生成し、該ユーザ端末に提供するコミュニケーションサイトの画面上に、前記アバターを表示させることを特徴とする請求項1〜のいずれかに記載のコミュニケーション支援システム。
  6. 前記ユーザ端末は、前記コミュニケーションサイトにログインすると、前記カメラが撮像したユーザの画像からユーザの瞬き数を計測する画像処理部を有し、
    前記サーバ装置の情報提供部は、前記コミュニケーションサイトにログインしているユーザ端末から前記瞬き数を取得すると共に、該瞬き数が正常値でなければ、前記ユーザ端末に健康状態に関するメッセージを提供することを特徴とする請求項1〜のいずれかに記載のコミュニケーション支援システム。
  7. 前記顔認証照合部は、前記顔認証照合処理によりアクセス権限が有ると判定したユーザについては、さらに前記抽出した顔画像から該ユーザの表情を推定するようになっており、
    前記情報提供部は、アクセス状態になっている各ユーザ端末のユーザの前記推定した表情から、アクセスしているユーザ端末により形成されるグループの雰囲気を推定し、該ユーザ端末に提供するコミュニケーションサイトの画面の背景に、前記推定した雰囲気に対応する画像を表示することを特徴とする請求項1〜のいずれかに記載のコミュニケーション支援システム。
  8. 前記ネットワークが事業所内に設置されたLANで構成され、前記サーバ装置が前記事業所内において該LANに接続されていることを特徴とする請求項1〜のいずれかに記載のコミュニケーション支援システム。
  9. 前記情報提供部は、前記コミュニケーションサイトにログインしているユーザ端末を操作するユーザ同士が情報交換を行うチャット画面を提供するようになっており、
    前記サーバ装置は、
    前記チャット画面が提供されたユーザ端末を操作するユーザのユーザIDを記憶するチャット参加データベースと、
    前記チャット画面上で受け付けた投稿情報と、該投稿情報を投稿したユーザのユーザIDと、該投稿情報を閲覧したユーザのユーザIDとを対応付けて記憶するチャットログデータベースとを有し、
    さらに、前記情報提供部は、
    前記コミュニケーションサイトにログインしているユーザ端末からのチャット参加要求を受け付けると、該ユーザ端末を操作するユーザのユーザIDを前記チャット参加データベースに記憶させると共に、前記ユーザ端末にチャット画面を提供し、
    前記チャット画面上で前記ユーザ端末から投稿情報を受け付けると、前記チャットログデータベースに、前記受け付けた投稿情報及び該投稿情報を投稿したユーザのユーザIDを対応付けて記憶させると共に、チャット画面上に該受け付けた投稿情報を閲覧可能な状態で提示し、
    前記チャット画面で投稿情報が閲覧される度に、該投稿情報を閲覧したユーザ端末から該投稿情報を閲覧したユーザのユーザIDを取得すると共に、チャットログデータベースにアクセスして、該閲覧された投稿情報に対応付けて、該取得した投稿情報を閲覧したユーザのユーザIDを記憶させていくようになっており、
    前記チャット画面上で提示された投稿情報の閲覧状況確認要求を受け付けると、前記チャットログデータベース及び前記チャット参加データベースを用いて、前記チャット画面に参加しているユーザが前記投稿情報を読んでいるか否かを示した閲覧状況情報を生成し、該ユーザ端末に該閲覧状況情報を提供することを特徴とする請求項1〜のいずれかに記載のコミュニケーション支援システム。
  10. 前記サーバ装置には、前記コミュニケーションサイトへのアクセスを許可するユーザ端末を識別する端末IDを記憶しているユーザ端末データベースが設けられており、
    前記情報提供部は、前記ユーザ端末からのアクセス要求を受け付けると、該ユーザ端末から前記カメラが撮像した画像を取得する処理の前処理として、該ユーザ端末から端末IDを取得し、該取得した端末IDが前記ユーザ端末データベースに記憶されていれば、前記カメラが撮像した画像を取得する処理を行い、該取得した端末IDが前記ユーザ端末データベースに記憶されていなければ、前記ユーザ端末からのアクセスを拒否することを特徴とする請求項1〜のいずれかに記載のコミュニケーション支援システム。
JP2015200936A 2015-10-09 2015-10-09 コミュニケーション支援システム Expired - Fee Related JP5925373B1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015200936A JP5925373B1 (ja) 2015-10-09 2015-10-09 コミュニケーション支援システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015200936A JP5925373B1 (ja) 2015-10-09 2015-10-09 コミュニケーション支援システム

Publications (2)

Publication Number Publication Date
JP5925373B1 true JP5925373B1 (ja) 2016-05-25
JP2017073062A JP2017073062A (ja) 2017-04-13

Family

ID=56069526

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015200936A Expired - Fee Related JP5925373B1 (ja) 2015-10-09 2015-10-09 コミュニケーション支援システム

Country Status (1)

Country Link
JP (1) JP5925373B1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106603245A (zh) * 2017-01-03 2017-04-26 上海金融云服务集团安全技术有限公司 一种基于带外混合生物认证技术的设备补办方法
JP7336681B2 (ja) 2019-02-01 2023-09-01 パナソニックIpマネジメント株式会社 顔認証システムおよび顔認証方法
US11843573B2 (en) * 2019-01-18 2023-12-12 Fujifilm Business Innovation Corp. Control device and non-transitory computer readable medium storing control program

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6970373B2 (ja) 2017-07-31 2021-11-24 京セラドキュメントソリューションズ株式会社 ログインログアウトシステム、電子機器およびログインログアウトプログラム
CN107679861B (zh) 2017-08-30 2022-11-11 创新先进技术有限公司 资源转移方法、资金支付方法、装置及电子设备
US20220245226A1 (en) * 2019-06-26 2022-08-04 Nec Corporation Information processing apparatus, information processing method, and storage medium
WO2021182219A1 (ja) 2020-03-10 2021-09-16 ファナック株式会社 メッセージ交換装置、及びメッセージ交換方法
JP6964174B1 (ja) * 2020-11-30 2021-11-10 真旭 徳山 情報処理装置、情報処理方法、及びプログラム
WO2023166599A1 (ja) * 2022-03-02 2023-09-07 株式会社ハピネスプラネット 情報処理システムおよびプログラム
WO2024009603A1 (ja) * 2022-07-05 2024-01-11 株式会社Nttドコモ アバター生成装置及びアバター使用許可装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008310383A (ja) * 2007-06-12 2008-12-25 Nomura Research Institute Ltd コミュニティサイト提供システム、コミュニティサイト提供方法及びコンピュータプログラム
JP2012209657A (ja) * 2011-03-29 2012-10-25 Toshiba Corp メッセージ管理システム、メッセージ管理方法及びメッセージ管理プログラム
JP2012532366A (ja) * 2009-06-30 2012-12-13 イーストマン コダック カンパニー 閲覧者の要因および反応に応じた画像表示制御を行う方法および装置
JP2014059894A (ja) * 2008-05-27 2014-04-03 Qualcomm Incorporated ユーザのステータスを示すためにアバタステータスを自動的に更新するための方法およびシステム
JP2014092847A (ja) * 2012-11-01 2014-05-19 Sony Computer Entertainment Inc 情報処理装置
JP2014191463A (ja) * 2013-03-26 2014-10-06 Nippon Telegraph & Telephone East Corp 通知システム、通知方法及びコンピュータプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008310383A (ja) * 2007-06-12 2008-12-25 Nomura Research Institute Ltd コミュニティサイト提供システム、コミュニティサイト提供方法及びコンピュータプログラム
JP2014059894A (ja) * 2008-05-27 2014-04-03 Qualcomm Incorporated ユーザのステータスを示すためにアバタステータスを自動的に更新するための方法およびシステム
JP2012532366A (ja) * 2009-06-30 2012-12-13 イーストマン コダック カンパニー 閲覧者の要因および反応に応じた画像表示制御を行う方法および装置
JP2012209657A (ja) * 2011-03-29 2012-10-25 Toshiba Corp メッセージ管理システム、メッセージ管理方法及びメッセージ管理プログラム
JP2014092847A (ja) * 2012-11-01 2014-05-19 Sony Computer Entertainment Inc 情報処理装置
JP2014191463A (ja) * 2013-03-26 2014-10-06 Nippon Telegraph & Telephone East Corp 通知システム、通知方法及びコンピュータプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JPN6016005557; 伊藤 隆二: 電子情報通信学会2005年総合大会講演論文集 情報・システム2 , 20050307, p.240 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106603245A (zh) * 2017-01-03 2017-04-26 上海金融云服务集团安全技术有限公司 一种基于带外混合生物认证技术的设备补办方法
US11843573B2 (en) * 2019-01-18 2023-12-12 Fujifilm Business Innovation Corp. Control device and non-transitory computer readable medium storing control program
JP7336681B2 (ja) 2019-02-01 2023-09-01 パナソニックIpマネジメント株式会社 顔認証システムおよび顔認証方法

Also Published As

Publication number Publication date
JP2017073062A (ja) 2017-04-13

Similar Documents

Publication Publication Date Title
JP5925373B1 (ja) コミュニケーション支援システム
US8490157B2 (en) Authentication—circles of trust
US9282090B2 (en) Methods and systems for identity verification in a social network using ratings
CN109120597B (zh) 身份校验、登录方法、装置及计算机设备
US20160063277A1 (en) Method, apparatus, and media for creating social media channels
US20210029105A1 (en) Secure and confidential sharing of digital content
US20130110957A1 (en) Segmenting access to electronic message boards
CN107886602B (zh) 一种开锁及共享房屋方法、开锁及共享房屋系统
US20230412539A1 (en) Limited functionality interface for communication platform
US20090165089A1 (en) Methods and Apparatus for Management of User Presence in Communication Activities
US11757811B2 (en) System and method for processing user messages among organizations
US9361004B2 (en) Indicating organization of visitor on user interface of user engaged in collaborative activity with visitor
CN106506443A (zh) 一种信息查看方法及装置
CN110489663B (zh) 一种社交内容控制方法、装置及计算机设备
US20150278718A1 (en) Systems and methods for communication sharing in a relationship management system
CN106384058A (zh) 发布图片的方法和装置
JP2012203756A (ja) 認証装置及び方法
CN107656959A (zh) 一种留言方法、装置及留言设备
CN109885993B (zh) 一种身份认证系统、设备及计算机可读存储介质
CN106254226A (zh) 一种信息同步方法及装置
US20190354659A1 (en) Authentication of users based on snapshots thereof taken in corresponding acquisition conditions
US20140215353A1 (en) Controlling which users from an organization are to be part of a community space in an easy and error-free manner
JP2004185066A (ja) 勤怠管理方法、及び勤怠管理システム
US10546152B2 (en) Member information management system and member information management program
KR20130133620A (ko) 개인데이터 공유 장치 및 방법

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160217

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160324

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160413

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160419

R150 Certificate of patent or registration of utility model

Ref document number: 5925373

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees