JP6331293B2

JP6331293B2 - 通信端末、通信システム、プログラム

Info

Publication number: JP6331293B2
Application number: JP2013179635A
Authority: JP
Inventors: 佑哉秋本
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2013-08-30
Filing date: 2013-08-30
Publication date: 2018-05-30
Anticipated expiration: 2033-08-30
Also published as: JP2015049602A

Description

本発明は、通信ネットワークを介して通信可能に接続された他の通信端末と通信する通信端末等に関する。

カメラやマイクを備えた通話端末同士で画像データや音声データを送受信して離れた場所のユーザ同士が会議を行う遠隔会議システムが知られている。各通話端末はディスプレイに会議の相手の通話端末が送信した画像データを表示し、音声をスピーカから出力する。これにより複数の拠点のユーザは同じ会議室で会議を行うのと遜色ない感覚で会議を行える。

このような遠隔会議システムでは、正規のユーザになりすました不正なユーザが会議に参加することを防ぐため、会議へ参加するユーザの認証を行う仕組みが設けられる場合がある（例えば、特許文献１参照。）。特許文献１には、認証情報を取得した認証情報取得手段のそれぞれに対応する認証レベルの合計が、参加要求の対象とされた会議体に対応するセキュリティレベル以上である場合に、その会議体への参加を許可するユーザ認証装置が開示されている。

しかしながら、従来のユーザ認証装置では、すでに会議に参加している参加者の本人確認ができないという問題がある。すなわち、従来のユーザ認証装置は、会議への参加前にユーザを認証するのみであり、いったん会議に参加したユーザを認証することができなかった。

例えば、生命保険の手続を会社側の担当者と顧客が行う場合を例に説明する。このような手続では、顧客は遠隔会議システムへログインするための認証情報を持っていない場合が多いので、そもそも会議への参加前にユーザ認証装置がユーザを認証することができない。一方、会社側は、会議に参加しているユーザが当人か否かの本人確認を行いたい場合が少なくない。したがって、遠隔会議システムを使用するユーザによっては、会議の開始後にユーザを認証可能であることが望まれる。

本発明は、上記課題に鑑み、会議の開始後にユーザの認証を行うことができる通信端末を提供することを目的とする。

本発明は、通信ネットワークを介して通信可能に接続された他の通信端末と通信する通信端末であって、前記他の通信端末との間で通信セッションを確立し、前記他の通信端末が有する撮像部が撮像して取得した画像データと前記他の通信端末が有するマイクが取得した音声データを前記通信セッションにより受信する通信手段と、前記通信手段が受信した前記画像データに基づく映像を表示手段に表示する表示制御手段と、前記通信セッションによって前記画像データと前記音声データを受信している際に、前記他の通信端末の前記撮像部が撮像することによって取得した本人確認書類のための画像データの映像が表示されている表示画面を取り込むことで第１の画像データを取得し、前記通信セッションによって前記画像データと前記音声データを受信している際に、前記他の通信端末の前記撮像部が撮像することによって取得した前記本人確認書類によって本人であることが確認される対象の本人の画像データの映像が表示されている表示画面を取り込むことで第２の画像データを取得する画像データ取り込み手段と、前記第１の画像データと前記第２の画像データの照合結果を取得して、又は、前記第１の画像データと前記第２の画像データを照合して、照合結果を表示手段に表示する照合結果表示手段と、を有することを特徴とする。

会議の開始後にユーザの認証を行うことができる通信端末を提供することができる。

本実施形態の通話システムの概略的な動作を説明する図の一例である。本発明の一実施形態に係る通話システムの概略図である。通話端末間で通話を実現する場合の通信状況を示す概念図である。本実施形態に係る通話端末のハードウェア構成図である。本実施形態に係る通話管理システムのハードウェア構成図である。本実施形態の通話システムの一部を構成する通話端末、通話管理システム及びデータサーバの機能ブロック図である。中継装置管理テーブルを示す概念図である。端末認証管理テーブルを示す概念図である。端末状態管理テーブルを示す概念図である。宛先リスト管理テーブルを示す概念図である。セッション管理テーブルを示す概念図である。通話端末間で通話を開始する準備を行い、セッションを確立する処理を示すシーケンス図である。通話端末１０ａａが通話端末１０ｄａから送信された画像データを撮像する手順を示すシーケンス図の一例である。本人確認アプリＡ、Ｂによる表示画面の取り込みの手順を模式的に説明する図の一例である。本人確認アプリＡ、Ｂによる表示画面の取り込みの手順を模式的に説明する図の一例である。通話端末１０ａａからデータサーバへのスクリーンショット１，２の登録を模式的に説明する図の一例である。図１３のステップＳ１０４においてデータサーバの照合部がスクリーンショット１，２の本人画像を照合する手順を示すフローチャート図の一例である。本人画像の一致度の算出について説明する図の一例である。閾値について説明する図の一例である。照合結果が「一致」「不一致」の場合に通話端末のディスプレイに表示される画面例を、それぞれ示す図である。照合結果が「不明」の場合に通話端末のディスプレイに表示される画面例を示す図である。図２１で「手動確認」と表示されたボタンが押下され、データサーバから送信されたスクリーンショット１，２が表示された画面の一例を示す図である。

図１は本実施形態の通話システムの概略的な動作を説明する図の一例である。
通話端末１０ａａは企業側に配置され、通話端末１０ｄａは支店側又は自宅などの遠隔地（以下、単に「顧客側」という）に配置されている。顧客は本人確認書類を所持しており、通話端末１０ｄａが備えるカメラにより撮像することができる。
（１）本店の担当者は、本人確認書類の画像データを取得するため、本人確認アプリＡを起動させる。通話端末１０ｄａは本人確認アプリＡからの通知により本人確認アプリＢを起動させる。通話端末１０ｄａが撮像した顧客などの画像データは通話端末１０ａａに送信されディスプレイ１２０に表示されるが、通話端末１０ａａは保存することはできない。
（２）顧客は、本店の担当者からの指示などを利用して、通話端末１０ｄａのカメラで本人確認書類を撮像する。
（３）そして、顧客が担当者による説明に応じて決定ボタンを押下すると通話端末１０ｄａから通話端末１０ａａに取り込み許可が通知され、本人確認書類が表示された表示画面のスクリーンショット１を本人確認アプリＡが作成する。
（４）次に、担当者は通話端末１０ａａを操作して、顧客本人を撮像可能な状態に通話端末１０ｄａを移行させる。また、顧客は、本店の担当者からの指示などを利用して、通話端末１０ｄａのカメラで自分を撮像する。
（５）そして、顧客が担当者による説明に応じて決定ボタンを押下すると通話端末１０ｄａから通話端末１０ａａに取り込み許可が通知され、顧客本人が表示された表示画面のスクリーンショット２を本人確認アプリＡが作成する。
（６）通話端末１０ａａはスクリーンショット１，２をデータサーバに送信する。
（７）データサーバはスクリーンショット１の本人確認書類の本人画像と、スクリーンショット２の本人画像を照合して、本人か否かを判定する。

以上により、通話端末１０ａａはデータサーバから２つの本人画像の照合結果を取得することができる。このように、本実施形態の遠隔会議システムは、担当者が本人確認アプリＡを起動させることで、顧客が本人確認書類の人物になりすましているか否かを判定することが可能となる。したがって、通話端末１０ａａと１０ｄａが通信を開始した後の任意のタイミングで（会議が開始された後でも）本人確認することができる。

＜＜実施形態の全体構成＞＞
図２は、本発明の一実施形態に係る通話システムの概略図である。通話システム１は特許請求の範囲の「通信システム」の一例であり、通話端末１０は特許請求の範囲の「通信端末」の一例である。図２に示されているように、通話システム１は、複数の通話端末（１０ａａ，１０ａｂ，…）、各通話端末（１０ａａ，１０ａｂ，…）用のディスプレイ（１２０ａａ，１２０ａｂ，…）、複数の印刷端末（２０ａ，２０ｂ，２０ｃ，２０ｄ）、複数の中継装置（３０ａ，３０ｂ，３０ｃ，３０ｄ）、通話管理システム５０、プログラム提供システム９０、データサーバ８０，メンテナンスシステム１００、及び、印刷端末（２０ａａ、２０ｂａ、２０ｃａ、２０ｄａ）によって構築されている。この通話システム１によって、通話データの一例としての画像データ及び音声データの通信が行われることで、遠隔地間のテレビ会議等を実現することができる。なお、複数のルータ（７０ａ，７０ｂ，７０ｃ，７０ｄ，７０ａｂ，７０ｃｄ）は、通話データの最適な経路の選択を行う。

また、通話端末（１０ａａ，１０ａｂ，…）、印刷端末２０ａａ、中継装置３０ａ、及びルータ７０ａは、ＬＡＮ２ａによって通信可能に接続されている。通話端末（１０ｂａ，１０ｂｂ，…）、印刷端末２０ｂａ、中継装置３０ｂ、及びルータ７０ｂは、ＬＡＮ２ｂによって通信可能に接続されている。また、ＬＡＮ２ａ及びＬＡＮ２ｂは、ルータ７０ａｂが含まれた専用線２ａｂによって通信可能に接続されている。更に、ＬＡＮ２ａ、ＬＡＮ２ｂ、及び専用線２ａｂは、所定の地域Ｘ内で構築されている。例えば、地域Ｘは日本であり、ＬＡＮ２ａは東京の事業所内で構築されており、ＬＡＮ２ｂは大阪の事業所内で構築されている。

一方、通話端末（１０ｃａ，１０ｃｂ，…）、印刷端末２０ｃａ、中継装置３０ｃ、及びルータ７０ｃは、ＬＡＮ２ｃによって通信可能に接続されている。通話端末（１０ｄａ，１０ｄｂ，…）、印刷端末２０ｄａ、中継装置３０ｄ、及びルータ７０ｄは、ＬＡＮ２ｄによって通信可能に接続されている。また、ＬＡＮ２ｃ及びＬＡＮ２ｄは、ルータ７０ｃｄが含まれた専用線２ｃｄによって通信可能に接続されている。更に、ＬＡＮ２ｃ、ＬＡＮ２ｄ、及び専用線２ｃｄは、所定の地域Ｙ内で構築されている。例えば、地域Ｙはアメリカ合衆国であり、ＬＡＮ２ｃはニューヨークの事業所内で構築されており、ＬＡＮ２ｄはワシントンＤ．Ｃ．の事業所内で構築されている。地域Ｘ及び地域Ｙは、それぞれルータ（７０ａｂ，７０ｃｄ）からインターネット２ｉを介して通信可能に接続されている。

なお、以下では、複数の通話端末（１０ａａ，１０ａｂ，…）のうち任意の通話端末は、「通話端末１０」と表され、複数のディスプレイ（１２０ａａ，１２０ａｂ，…）のうち任意のディスプレイは「ディスプレイ１２０」と表され、複数の印刷端末（２０ａａ，２０ｂａ，…）のうち任意の印刷端末は、「印刷端末２０」と表され、また、複数の中継装置（３０ａ，３０ｂ，…）のうち任意の中継装置は「中継装置３０」と表されている。更に、テレビ会議の開始を要求する要求元としての端末は「要求元端末」と表され、要求先である宛先（中継先）としての端末は「宛先端末」と表されている。また、ルータ（７０ａ，７０ｂ，７０ｃ，７０ｄ，７０ａｂ，７０ｃｄ）のうち任意のルータは、「ルータ７０」と表されている。また、印刷端末（２０ａａ、２０ｂａ、２０ｃａ…）のうち任意の印刷端末は、「印刷端末２０」と表されている。

また、通話管理システム５０、プログラム提供システム９０、メンテナンスシステム１００、及び、データサーバ８０は、インターネット２ｉに接続されている。なお、通話管理システム５０、プログラム提供システム９０、メンテナンスシステム１００、及び、データサーバ８０は、地域Ｘ又は地域Ｙに設置されていてもよいし、これら以外の地域に設置されていてもよい。

また、本実施形態では、ＬＡＮ２ａ、ＬＡＮ２ｂ、専用線２ａｂ、インターネット２ｉ、専用線２ｃｄ、ＬＡＮ２ｃ、及びＬＡＮ２ｄによって、本実施形態の通信ネットワーク２が構築されている。この通信ネットワーク２には、有線だけでなく、ＷｉＦｉ(Wireless Fidelity)やＢｌｕｅｔｏｏｔｈ（登録商標）、ＴｒａｎｓｆｅｒＪｅｔ（登録商標）、ＮＦＣ等の無線による通信が行われる箇所があってもよい。

また、図２において、通話端末１０、印刷端末２０、中継装置３０、通話管理システム５０、各ルータ７０、プログラム提供システム９０、メンテナンスシステム１００及びデータサーバ８０の下に示されている４組の数字は、一般的なＩＰｖ４におけるＩＰアドレスを簡易的に示している。例えば、通話端末１０ａａのＩＰアドレスは「１．２．１．３」である。また、ＩＰｖ４ではなく、ＩＰｖ６を用いてもよいが、説明を簡略化するため、ＩＰｖ４を用いて説明している。

なお、各通話端末１０は、複数の事業所間での通話や、同じ事業所内の異なる部屋間での通話だけでなく、同じ部屋内での通話や、屋外と屋内又は屋外と屋外での通話で使われてもよい。各通話端末１０が屋外で使われる場合には、携帯電話通信網等の無線による通信が行われる。

ここで、図２に示されている通話端末１０は、通話データの送受信により、利用者（担当者）の通話を実現する端末であり、例えば、テレビ会議端末である。また、印刷端末２０は、所定のデータの一例として、画像データやテキストデータ等の印刷データを用紙に印刷する端末であり、例えば、プリンタ、ＦＡＸ機、コピー機、又はこれらの機能を複合したＭＦＰ(Multifunction Peripheral)である。

また、中継装置３０は、複数の通話端末１０の間で、通話データの中継を行うコンピュータシステムである。通話管理システム５０は、通話端末１０及び印刷端末２０からのログイン認証、通話端末１０及び印刷端末２０の稼動状態や通信状況の管理、宛先リストの管理、及び中継装置３０の通信状況等を一元的に管理するコンピュータシステムである。なお、画像データの画像は、動画であっても静止画であってもよく、動画と静止画の両方であってもよい。

プログラム提供システム９０は、通話端末１０、印刷端末２０、中継装置３０、通話管理システム５０、メンテナンスシステム１００に、それぞれで使用されるプログラムを、通信ネットワーク２を介してそれぞれに提供するコンピュータシステムである。

データサーバ８０は、各通話端末１０がアップロードした本人確認書類が撮像されたスクリーンショット１と、本人が撮像されたスクリーンショット２の照合を行う。また、スクリーンショット１，２の閲覧要求に対する閲覧を制御する。

メンテナンスシステム１００は、通話端末１０、印刷端末２０、中継装置３０、通話管理システム５０、及びプログラム提供システム９０のうちの少なくとも１つの維持、管理、又は保守を行うためのコンピュータシステムである。例えば、メンテナンスシステム１００が国内に設置され、通話端末１０、印刷端末２０、中継装置３０、通話管理システム５０、又はプログラム提供システム９０が国外に設置されている場合、メンテナンスシステム１００は、通信ネットワーク２を介して遠隔的に、通話端末１０、印刷端末２０、中継装置３０、通話管理システム５０、及びプログラム提供システム９０のうちの少なくとも１つの維持、管理、保守等のメンテナンスを行う。また、メンテナンスシステム１００は、通信ネットワーク２を介さずに、通話端末１０、印刷端末２０、中継装置３０、通話管理システム５０、及びプログラム提供システム９０のうちの少なくとも１つにおける機種番号、製造番号、販売先、保守点検、又は故障履歴の管理等のメンテナンスを行う。

続いて、図３を用いて、２つの通話端末の間で通話を実現する場合の通信状況について説明する。なお、図３は通話端末間で通話を実現する場合の通信状況を示す概念図である。

この通話システム１では、通話開始の要求元である要求元端末(通話端末１０)と、この要求元端末の通信相手としての宛先端末（通話端末１０）との間で、通話のための各種データの送受信が行われる。また、要求元端末（通話端末１０）から、この要求元端末の通信相手としての印刷端末２０へ印刷データが送信され、印刷端末２０で印刷データが用紙に印刷される。通話端末１０は主に通話するための機能を有し、印刷端末２０は主に印刷するための機能を有するため、それぞれの処理能力は異なっている。

また、要求元端末と通話管理システム５０との間、宛先端末（通話端末１０）と通話管理システム５０との間、及び、宛先端末（印刷端末２０）と通話管理システム５０との間では、それぞれ各種の管理情報を送受信するための管理用の通信セッションseiが確立される。また、この通信セッションseiは、呼制御用の通信セッションでもある。

また、各通話端末１０は、中継装置３０を介して、所定の呼制御方式と符号化方式による通信方式を利用して、通話データの通信を行う。

呼制御方式の例としては、(1)SIP(Session Initiation Protocol)、(2)H.323、(3)SIPを拡張したプロトコル、(4)インスタントメッセンジャーのプロトコル、(5)SIPのMESSAGEメソッドを利用したプロトコル、(6)インターネットリレーチャットのプロトコル(IRC(Internet Relay Chat))、(7)インスタントメッセンジャーのプロトコルを拡張したプロトコル等が挙げられる。このうち、(4)インスタントメッセンジャーのプロトコルは、例えば、(4-1)XMPP(Extensible Messaging and Presence Protocol)、又は(4-2)ICQ（登録商標）、AIM（登録商標）、若しくはSkype（登録商標）などで利用されるプロトコルである。また、(7)インスタントメッセンジャーのプロトコルを拡張したプロトコルは、例えば、Jingleである。

符号化方式の例としては、H.264/SVC(Scalable Video Coding)や、H.264/AVC(Advanced Video Coding)等が挙げられる。具体的には、符号化方式がH.264/SVCの場合には、要求元端末としての通話端末１０と中継装置３０との間では、高解像度の画像データ、中解像度の画像データ、低解像度の画像データ、及び音声データの４つの通話データを送受信するための通話用の第１の通信セッションsed1が確立されている。更に、中継装置３０と宛先端末としての通話端末１０との間では、高解像度の画像データ、中解像度の画像データ、低解像度の画像データ、及び音声データの４つの通話データを送受信するための通話用の第２の通信セッションsed2が確立されている。

＜＜実施形態のハードウェア構成＞＞
次に、本実施形態のハードウェア構成を説明する。なお、通話端末１０は、専用のハードウェア（製品）と汎用的な情報処理装置のどちらでも実現可能であるため、外観図は様々である。例えば、図２、３に示した外観図やＰＣ(Personal Computer)、タブレット、スマートフォン、ＰＤＡなどの外観図が挙げられる。タブレット、スマートフォン、ＰＤＡ（Personal Digital Assistant）の場合、ディスプレイ１２０は通話端末１０により内蔵されている。また、ディスプレイ１２０が内蔵されていてもいなくても、通話端末１０がプロジェクタを有しディスプレイ１２０の表示内容を投影してもよい。

中継装置３０、通話管理システム５０、プログラム提供システム９０、メンテナンスシステム１００、及び、データサーバ８０についても、それぞれ一般のサーバ・コンピュータの外観と同じであるため、外観の説明を省略する。

図４は、本実施形態に係る通話端末のハードウェア構成図である。図４に示されているように、本実施形態の通話端末１０は、通話端末１０全体の動作を制御するＣＰＵ(Central Processing Unit)１０１、ＩＰＬ(Initial Program Loader)等のＣＰＵ１０１の駆動に用いられるプログラムを記憶したＲＯＭ(Read Only Memory)１０２、ＣＰＵ１０１のワークエリアとして使用されるＲＡＭ(Random Access Memory)１０３、通話端末１０用のプログラム、画像データ、及び音声データ等の各種データを記憶するフラッシュメモリ１０４、ＣＰＵ１０１の制御にしたがってフラッシュメモリ１０４に対する各種データの読み出し又は書き込みを制御するＳＳＤ（Solid State Drive）１０５、フラッシュメモリ等の記録メディア１０６に対するデータの読み出し又は書き込み（記憶）を制御するメディアドライブ１０７、通話端末１０の宛先を指定する場合などに操作される操作ボタン１０８、通話端末１０の電源のＯＮ／ＯＦＦを切り換えるための電源スイッチ１０９、通信ネットワーク２を利用してデータ伝送をするためのネットワークＩ／Ｆ(Interface)１１１を備えている。

また、通話端末１０は、ＣＰＵ１０１の制御に従って被写体を撮像して画像データを取得する内蔵型のカメラ１１２、このカメラ１１２の駆動を制御する撮像素子Ｉ／Ｆ１１３、音声を入力する内蔵型のマイク１１４、音声を出力する内蔵型のスピーカ１１５、ＣＰＵ１０１の制御に従ってマイク１１４及びスピーカ１１５との間で音声信号の入出力を処理する音声入出力Ｉ／Ｆ１１６、ＣＰＵ１０１の制御に従って外付けのディスプレイ１２０に画像データを伝送するディスプレイＩ／Ｆ１１７、各種の外部機器を接続するための外部機器接続Ｉ／Ｆ１１８、通話端末１０の各種機能の異常を知らせるアラームランプ１１９、及び上記各構成要素を図４に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン１１０を備えている。

ディスプレイ１２０は、被写体の画像や操作用等を表示する液晶や有機ＥＬによって構成された表示部である。また、ディスプレイ１２０は、ケーブル１２０ｃによってディスプレイＩ／Ｆ１１７に接続される。このケーブル１２０ｃは、アナログＲＧＢ（ＶＧＡ）信号用のケーブルであってもよいし、コンポーネントビデオ用のケーブルであってもよいし、ＨＤＭＩ（登録商標）(High-Definition Multimedia Interface)やＤＶＩ(Digital Video Interactive)信号用のケーブルであってもよい。

カメラ１１２は、レンズや、光を電荷に変換して被写体の画像（映像）を電子化する固体撮像素子を含み、固体撮像素子として、ＣＭＯＳ(Complementary Metal Oxide Semiconductor)や、ＣＣＤ（Charge Coupled Device）等が用いられる。

外部機器接続Ｉ／Ｆ１１８には、ＵＳＢ(Universal Serial Bus)ケーブル等によって、外付けカメラ、外付けマイク、及び外付けスピーカ等の外部機器がそれぞれ電気的に接続可能である。外付けカメラが接続された場合には、ＣＰＵ１０１の制御に従って、内蔵型のカメラ１１２に優先して、外付けカメラが駆動する。同じく、外付けマイクが接続された場合や、外付けスピーカが接続された場合には、ＣＰＵ１０１の制御に従って、それぞれが内蔵型のマイク１１４や内蔵型のスピーカ１１５に優先して、外付けマイクや外付けスピーカが駆動する。

なお、記録メディア１０６は、通話端末１０に対して着脱自在な構成となっている。また、ＣＰＵ１０１の制御にしたがってデータの読み出し又は書き込みを行う不揮発性メモリであれば、フラッシュメモリ１０４に限らず、ＥＥＰＲＯＭ（Electrically Erasable and Programmable ROM）等を用いてもよい。

図５は、本実施形態に係る通話管理システム５０のハードウェア構成図である。通話管理システム５０は、通話管理システム５０全体の動作を制御するＣＰＵ５０１、ＩＰＬ等のＣＰＵ５０１の駆動に用いられるプログラムを記憶したＲＯＭ５０２、ＣＰＵ５０１のワークエリアとして使用されるＲＡＭ５０３、通話管理システム５０用のプログラム等の各種データを記憶するＨＤ５０４、ＣＰＵ５０１の制御にしたがってＨＤ５０４に対する各種データの読み出し又は書き込みを制御するＨＤＤ(Hard Disk Drive)５０５、フラッシュメモリ等の記録メディア５０６に対するデータの読み出し又は書き込み（記憶）を制御するメディアドライブ５０７、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示するディスプレイ５０８、通信ネットワーク２を利用してデータ通信するためのネットワークＩ／Ｆ５０９、文字、数値、各種指示などの入力のための複数のキーを備えたキーボード５１１、各種選択又は指定の実行及びカーソルの移動などを行うマウス５１２、着脱可能な記録媒体の一例としてのＣＤ−ＲＯＭ(Compact Disc Read Only Memory)５１３に対する各種データの読み出し又は書き込みを制御するＣＤ−ＲＯＭドライブ５１４、及び、上記各構成要素を図５に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン５１０を備えている。

一方、中継装置３０、プログラム提供システム９０、メンテナンスシステム１００及びデータサーバ８０は、上記通話管理システム５０と同様のハードウェア構成を有しているため、その説明を省略する。但し、各ＨＤ５０４には、中継装置３０、プログラム提供システム９０、メンテナンスシステム１００及びデータサーバ８０をそれぞれ制御するためのプログラム等の各種データが記憶されている。

なお、通話端末１０、印刷端末２０、中継装置３０、プログラム提供システム９０、メンテナンスシステム１００及びデータサーバ８０用の各プログラムは、インストール可能な形式又は実行可能な形式のファイルによって、コンピュータで読み取り可能な記録媒体（記録メディア１０６等）に記録されて流通されるようにしてもよい。また、上記記録媒体の他の例として、ＣＤ−Ｒ(Compact Disc Recordable)、ＤＶＤ(Digital Versatile Disk)、ブルーレイディスク等が挙げられる。

＜＜実施形態の機能構成＞＞
次に、本実施形態の機能構成について説明する。
図６は、本実施形態の通話システム１の一部を構成する通話端末１０、通話管理システム５０及びデータサーバ８０の機能ブロック図である。図６では、通話端末１０、通話管理システム５０及びデータサーバ８０が、通信ネットワーク２を介してデータ通信することができるように接続されている。

＜通話端末の機能構成＞
通話端末１０は、送受信部１１、操作入力受付部１２、撮像部１３、キャプチャ部１４、音声入力部１５ａ、音声出力部１５ｂ、表示制御部１６、照合要求部１７、宛先リスト作成部１８ａ、問い合わせ部１８ｂ、問い合わせ受付部１８ｃ、データ登録部１８ｄ、閲覧部１８ｅ、及び、記憶・読出処理部１９を有している。これら各部は、図４に示されている各構成要素のいずれかが、フラッシュメモリ１０４からＲＡＭ１０３上に展開された通話端末１０用のプログラムに従ったＣＰＵ１０１からの命令によって動作することで実現される機能又は手段である。

また、通話端末１０は、図４に示されているＲＡＭ１０３、及び図４に示されているフラッシュメモリ１０４によって構築される記憶部１０００を有している。この記憶部１０００には、後述する画像保存ＤＢ１００１、本人確認アプリ１００２及び宛先リスト情報１００３が記憶される。

（通話端末の各機能構成）
図６に示されている通話端末１０の送受信部１１は、図４に示されているＣＰＵ１０１からの命令、及び図４に示されているネットワークＩ／Ｆ１１１によって実現され、通信ネットワーク２を介して他の端末、装置又はシステムと各種データ（または情報）の送受信を行う。この送受信部１１は、所望の宛先端末と通話を開始する前から、通話管理システム５０より、通信相手の候補としての各端末の状態を示す各状態情報の受信を開始する。

更に、送受信部１１は、上記電源オンの受け付けを契機とし、通信ネットワーク２を介して通話管理システム５０に、ログインを要求する旨を示すログイン要求情報、及び要求元端末の現時点のＩＰアドレスを自動的に送信する。また、利用者が電源スイッチ１０９をＯＮの状態からＯＦＦにすると、送受信部１１が通話管理システム５０へ電源をＯＦＦする旨の状態情報を送信した後に、操作入力受付部１２が電源を完全にＯＦＦにする。これにより、通話管理システム５０側では、通話端末１０が電源オンから電源オフになったことを把握することができる。なお、ログインの要求は電源オンが契機ではなく、通話端末１０に対する利用者の指示入力を契機としてもよい。

操作入力受付部１２は、図４に示されているＣＰＵ１０１からの命令によって実現され、利用者による各種入力を受け付ける。例えば、利用者が、通話端末の電源スイッチ１０９をＯＮにすると、図６に示されている操作入力受付部１２が電源オンを受け付けて、電源をＯＮにする。

撮像部１３は、図４に示されているＣＰＵ１０１からの命令、並びに図４に示されているカメラ１１２及び撮像素子Ｉ／Ｆ１１３によって実現され、被写体を撮像して、この撮像して得た画像データを出力する。

キャプチャ部１４は、図４に示されているＣＰＵ１０１からの命令によって実現され、会議の相手の通話端末から本人確認書類又は本人の画像の取り込み許可を受信すると、表示制御部１６がディスプレイ１２０に表示している画面を取り込み（キャプチャする）スクリーンショットを作成する。なお、キャプチャ時は顧客が分かりやすいように、音声出力部１５ｂより効果音などの音を出力しても良い。記憶・読出処理部１９は、取り込まれたスクリーンショットを画像保存ＤＢ１００１に一時保存する。一時保存されたスクリーンショットは、送受信部１１から通信ネットワーク２を通じてデータサーバ８０に送信される。

音声入力部１５ａは、図４に示されているＣＰＵ１０１からの命令、及び音声入出力Ｉ／Ｆ１１６によって実現され、マイク１１４によって利用者の音声が音声信号に変換された後、この音声信号に係る音声データを入力する。音声出力部１５ｂは、図４に示されているＣＰＵ１０１からの命令、及び音声入出力Ｉ／Ｆ１１６によって実現され、音声データに係る音声信号をスピーカに出力し、スピーカ１１５から音声を出力させる。

表示制御部１６は、図４に示されているＣＰＵ１０１からの命令、及びディスプレイＩ／Ｆ１１７によって実現され、撮像部１３が撮像した画像データ及び会議の相手の通話端末から受信した画像データを組み合わせ、この組み合わされた画像データをディスプレイ１２０に送信するための制御を行う。

照合要求部１７は図４に示されているＣＰＵ１０１からの命令によって実現され、データサーバ８０に登録されているスクリーンショット１，２それぞれに撮像されている本人画像が一致するか否かの照合を要求する。照合の要求時にスクリーンショット１，２をデータサーバ８０に登録してもよい。照合と登録を１回の送信で行うことができる。

宛先リスト作成部１８ａは、通話管理システム５０から受信した、後述の端末状態管理テーブルに基づいて、宛先リスト情報１００３を作成し、宛先リスト情報１００３に基づき宛先リスト画面を作成する。宛先リスト画面は、宛先リスト情報１００３の印刷端末２０の一覧を選択可能に表示する画面であるが、詳細は省略する。

問い合わせ部１８ｂは、画像データを送信している通話端末に画像データを保存してよいか否かを問い合わせる。問い合わせ受付部１８ｃは、問い合わせ部１８ｂからの問い合わせに対し、又は、問い合わせが無くても画像データを保存してよいという取り込み許可を送信する。

データ登録部１８ｄは、キャプチャ部１４が取り込み画像保存ＤＢ１００１に記憶されたスクリーンショットをデータサーバ８０に登録する。データサーバ８０のＩＰアドレスは通話管理システム５０から通話端末に通知されるか、又は、予め本人確認アプリＡに設定されている。

閲覧部１８ｅは、担当者がデータサーバ８０に登録されたスクリーンショットを閲覧する際に、データサーバ８０からスクリーンショットをダウンロードする。閲覧部１８ｅは、例えばブラウザアプリである。

記憶・読出処理部１９は、図４に示されているＣＰＵ１０１からの命令及び図４に示すＳＳＤ１０５によって実行され、又はＣＰＵ１０１からの命令によって実現され、記憶部１０００に各種データを記憶したり、記憶部１０００に記憶された各種データを読み出す処理を行う。この記憶部１０００には、通話端末１０を識別するための端末ＩＤ(Identification）、及びパスワード等が記憶される。

記憶部１０００には、宛先端末との通話を行う際に受信される画像データ及び音声データが、受信される度に上書き記憶される。このうち、上書きされる前の画像データによってディスプレイ１２０に画像が表示され、上書きされる前の音声データによってスピーカ１１５から音声が出力される。

本人確認アプリ１００２について説明する。担当者が後述する所定のボタン１２０５を押下すると、記憶・読出処理部１９は本人確認アプリ１００２を読み出して、図４のＣＰＵ１０１が本人確認アプリＡを実行する。これにより本人確認アプリＡが起動する。本人確認アプリＡは、画像データを送信している通話端末に本人確認アプリＢを起動させる通知を送信する。

相手端末で起動する本人確認アプリＢは、操作入力受付部１２により顧客が画面の取り込みを許可する操作（後述する決定ボタン１２０２の押下）をしたことが検出された場合、取り込み許可を、本人確認アプリＡを起動している通話端末１０に送信する。なお、取り込み許可は保存を許可する旨を示す情報であればよい。

したがって、本人確認アプリ１００２は、担当者が起動させた場合に本人確認書アプリＡとしての機能（例えば、問い合わせ部１８ｂ、キャプチャ部１４、照合要求部１７、データ登録部１８ｄ）が有効になり、本人確認書アプリＡからの通知により起動した本人確認アプリＢとしての機能（例えば、問い合わせ受付部１８ｃ）が有効になる。

なお、本人確認アプリＡ、Ｂが起動することは必ずしも必須ではなく、本人確認アプリの機能が通話端末１０用のプログラムに組み込まれていればよい。

なお、本実施形態の端末ＩＤ及び後述の中継装置ＩＤは、それぞれ端末１０及び中継装
置３０を一意に識別するために使われる言語、文字、記号、又は各種のしるし等の識別情
報を示す。また、端末ＩＤ及び中継装置ＩＤは、上記言語、文字、記号、及び各種のしる
しのうち、少なくとも２つが組み合わされた識別情報であってもよい。

＜通話管理システムの機能構成＞
通話管理システム５０は、送受信部５１、端末認証部５２、状態管理部５３、判断部５４、セッション管理部５５、及び記憶・読出処理部５９を有している。これら各部は、図５に示されている各構成要素のいずれかが、ＨＤ５０４からＲＡＭ２０３上に展開された通話管理システム５０用のプログラムに従ったＣＰＵ２０１からの命令によって動作することで実現される機能又は手段である。また、通話管理システム５０は、図５に示されているＨＤ２０４により構築される記憶部５０００を有している。この記憶部５０００には、以下に示すような各テーブルによって構成されているＤＢ（５００１，５００２，５００３，５００４，５００５）が構築される。

（中継装置管理テーブル）
図７は、中継装置管理テーブルを示す概念図である。記憶部５０００には、図７に示されているような中継装置管理テーブルによって構成されている中継装置管理ＤＢ５００１が構築されている。この中継装置管理テーブルでは、各中継装置３０の中継装置ＩＤ毎に、各中継装置３０の稼動状態、稼動状態が示される状態情報が通話管理システム５０で受信された受信日時、中継装置３０のＩＰアドレス、及び中継装置３０における最大データ通話速度（Ｍｂｐｓ）が関連付けられて管理される。

（端末認証管理テーブル）
図８は、端末認証管理テーブルを示す概念図である。記憶部５０００には、図８に示されているような端末認証管理テーブルによって構成されている端末認証管理ＤＢ５００２が構築されている。この端末認証管理テーブルでは、通話管理システム５０によって管理される全ての端末１０の各端末ＩＤに対して、認証用のパスワードが関連付けられて管理される。

（端末状態管理テーブル）
図９は、端末状態管理テーブルを示す概念図である。記憶部５０００には、図９に示されているような端末状態管理テーブルによって構成されている端末状態管理ＤＢ５００３が構築されている。この端末状態管理テーブルでは、各通話端末１０及び各印刷端末２０の端末ＩＤ毎に、端末の種類、各端末を宛先とした場合の宛先名、各端末の稼動状態、後述のログイン要求情報が通話管理システム５０で受信された受信日時、及び各端末のＩＰアドレスが関連付けられて管理される。なお、端末ＩＤ、端末の種類、及び宛先名は、各通話端末１０及び印刷端末２０が、通話システム１を利用して通信するために、通話管理システム５０に登録される際に、記憶されて管理される。

（宛先リスト管理テーブル）
図１０は、宛先リスト管理テーブルを示す概念図である。記憶部５０００には、図１０に示されているような宛先リスト管理テーブルによって構成されている宛先リスト管理ＤＢ５００４が構築されている。この宛先リスト管理テーブルでは、通話の開始を要求する要求元端末の端末ＩＤに対して、通信相手の候補として登録されている宛先端末の端末ＩＤが全て関連付けられて管理される。この通信相手の候補は、任意の要求元端末から通話管理システム５０に対する追加又は削除の要請により、追加又は削除されることで更新される。

また、宛先リスト管理テーブルには印刷端末の印刷端末の端末ＩＤが登録されている。この印刷端末は、例えば、会議の相手が印刷物を取りに行ける会議の相手の通話端末の近くになる印刷端末、及び、自拠点の担当者が印刷物を取りに行ける通話端末である。

（セッション管理テーブル）
図１１は、セッション管理テーブルを示す概念図である。記憶部５０００には、図１１に示されているようなセッション管理テーブルによって構成されているセッション管理ＤＢ５００５が構築されている。このセッション管理テーブルでは、通話データ（画像データ及び音声データ）の中継に使用される中継装置３０の中継装置ＩＤ、要求元端末の端末ＩＤ、宛先端末の端末ＩＤ、宛先端末において画像データが受信される際の受信の遅延時間（ｍｓ）、及びこの遅延時間を示す遅延時間情報を宛先端末から送られて来て通話管理システム５０で受信された受信日時が関連付けられて管理される。なお、２つの通話端末１０の間で通話を行う場合には、上記宛先端末ではなく要求元端末から送信されてきた遅延時間情報に基づいて、遅延時間情報の受信日時を管理してもよい。但し、３つ以上の通話端末１０の間で通話を行う場合には、画像データ及び音声データの受信側の端末１０から送信されてきた遅延時間情報に基づいて、遅延時間情報の受信日時が管理される。

（通話管理システムの各機能構成）
次に、通話管理システム５０の各機能構成について詳細に説明する。送受信部５１は、図５に示されているＣＰＵ５０１からの命令、及び図５に示されているネットワークＩ／Ｆ５０９によって実行され、通信ネットワーク２を介して他の端末、装置又はシステムと各種データ（または情報）の送受信を行う。

端末認証部５２は、図５に示されているＣＰＵ５０１からの命令によって実現され、送受信部５１を介して受信されたログイン要求情報に含まれている端末ＩＤ及びパスワードを検索キーとして、端末認証管理テーブルを検索し、この端末認証管理テーブルに同一の端末ＩＤ及びパスワードが管理されているかを判断することによって端末認証を行う。

状態管理部５３は、図５に示されているＣＰＵ５０１からの命令によって実現され、ログイン要求してきた要求元端末の稼動状態を管理すべく、端末状態管理テーブルに、この要求元端末の端末ＩＤ、要求元端末の稼動状態、通話管理システム５０でログイン要求情報が受信された受信日時、及び要求元端末のＩＰアドレスを関連付けて記憶して管理する。また、状態管理部５３は、通話端末１０又は印刷端末２０から送られてきた、電源をＯＦＦする旨の状態情報に基づいて、端末状態管理テーブルのオンラインを示す稼動状態をオフラインに変更する。

判断部５４は、図５に示されているＣＰＵ５０１からの命令によって実現され、稼動状態情報で示される稼動状態が「オンライン」であるか否かを判断する。更に、判断部５４は、「オンライン」と判断した場合には、所定の通話端末１０に対して、稼動状態情報を送信可能と判断し、「オンライン」ではないと判断した場合には、所定の通話端末１０に対して、稼動状態情報を送信不可と判断する。

セッション管理部５５は、図５に示されているＣＰＵ５０１からの命令によって実現され、記憶部５０００のセッション管理テーブルに、通話データの中継に使用される中継装置３０の中継装置ＩＤ、要求元端末の端末ＩＤ、宛先端末の端末ＩＤ、宛先端末において画像データが受信される際の受信の遅延時間（ｍｓ）、及びこの遅延時間が示されている遅延時間情報を宛先端末から送られて来て通話管理システム５０で受信された受信日時が関連付けて記憶して管理する。また、セッション管理部５５は、通信セッションを確立するために使用されるセッションＩＤを作成する。

記憶・読出処理部５９は、図５に示されているＣＰＵ５０１からの命令、及び図５に示されているＨＤＤ５０５によって実行され、記憶部５０００に各種データを記憶したり、記憶部５０００に記憶された各種データを読み出す処理を行う。

<<データサーバの機能構成>>
データサーバ８０は、送受信部８１、閲覧制御部８２、照合部８３、及び、記憶・読出処理部８４を有している。これら各部は、図５に示されている各構成要素のいずれかが、ＲＡＭ５０３上に展開されたデータサーバ用のプログラムに従ったＣＰＵ５０１からの命令によって動作することで実現される機能又は手段である。

送受信部８１は、図５に示したＣＰＵ５０１からの命令、及び図５に示したネットワークＩ／Ｆ５０９によって実現され、通信ネットワーク２を介して通話端末１０と各種データ(例えばスクリーンショット)の送受信を行う。

閲覧制御部８２は、スクリーンショットＤＢ８００１に記憶されたスクリーンショットに対する、通話端末１０からの閲覧要求を制御する。例えば、Ｗｅｂサーバである。

照合部８３は、図５に示したＣＰＵ５０１からの命令によって実現され、スクリーンショット１，２にそれぞれ撮像されている本人画像を照合し、照合結果を通話端末１０に送信する。照合結果とは、本人確認書類に撮像されている本人と、顧客として撮像された本人が一致するか否か、又は、不明かという判定結果である。

記憶・読出処理部８４は、図５に示されているＣＰＵ５０１からの命令、及び図５に示されているＨＤＤによって実行され、記憶部８０００に各種データを記憶したり、記憶部８０００に記憶された各種データを読み出す処理を行う。スクリーンショットを送信した通話端末１０の端末ＩＤをフォルダ名とするフォルダにスクリーンショットを登録し、スクリーンショットを要求した通話端末１０の端末ＩＤをフォルダ名とするフォルダからスクリーンショットを読み出す。

また、データサーバ８０は、記憶部８０００に後述するスクリーンショットＤＢ８００１を構築する。スクリーンショットＤＢ８００１には、各通話端末１０から送信されたスクリーンショットを通話端末毎に記憶する。

＜＜実施形態の処理または動作＞＞
続いて、図１２を用いて、本実施形態の処理または動作について説明する。図１２は、通話端末間で通話を開始する準備を行い、セッションを確立する処理を示すシーケンス図である。
S1：まず、要求元端末（通話端末１０ａａ）の利用者（担当者）が、電源スイッチ１０９をＯＮにすると、操作入力受付部１２が電源オンを受け付けて、通話端末１０の電源をＯＮにする。
S2：送受信部１１は、電源オンの受け付けを契機とし、通信ネットワーク２を介して通話管理システム５０に、ログイン要求を示すログイン要求情報を送信する。このログイン要求情報には、要求元端末である端末１０ａａを識別するための端末ＩＤ、及びパスワードが含まれている。これら端末ＩＤ、及びパスワードは、記憶・読出処理部１９を介して記憶部１０００から読み出されて、送受信部１１に送られたデータである。要求元端末（端末１０ａａ）から通話管理システム５０へログイン要求情報が送信される際は、受信側である通話管理システム５０は、送信側である端末１０ａａのＩＰアドレスを把握することができる。また、ログイン要求は、上述のように、電源オンではなく、利用者の指示入力を契機としてもよい。更に、端末ＩＤ及びパスワードは、要求元端末に対して利用者が入力できるようにしてもよい。
S3：次に、通話管理システム５０の端末認証部５２は、送受信部５１を介して受信したログイン要求情報に含まれている端末ＩＤ及びパスワードを検索キーとして、端末認証管理テーブルを検索し、この端末認証管理テーブルに同一の端末ＩＤ及び同一のパスワードが管理されているかを判断することによって端末認証を行う。
S4：この端末認証部５２によって、同一の端末ＩＤ及び同一のパスワードが管理されているため、正当な利用権限を有する通話端末１０からのログイン要求であると判断された場合には、状態管理部５３は、端末状態管理テーブルに、通話端末１０ａａの端末ＩＤ、端末の種類及び宛先名で示されるレコード毎に、稼動状態、上記ログイン要求情報が受信された受信日時、及び端末１０ａａのＩＰアドレスを関連付けて記憶する。
S5：そして、通話管理システム５０の送受信部５１は、上記端末認証部５２によって得られた認証結果が示された認証結果情報を、通信ネットワーク２を介して、上記ログイン要求してきた要求元端末（通話端末１０ａａ）に送信する。
S6：通話管理システム５０の記憶・読出処理部５９は、ログイン要求してきた要求元端末（通話端末１０ａａ）の端末ＩＤ「０１ａａ」に基づいて宛先リスト管理テーブルを検索することにより、上記要求元端末（通話端末１０ａａ）の端末ＩＤ「０１ａａ」を通信相手の候補として登録している他の要求元端末の端末ＩＤを抽出する。ここでは、説明の簡略化のため、ステップＳ６で抽出された端末ＩＤが、通話端末１０ｄａの端末ＩＤ「０１ｄａ」の場合について、以下続けて説明する。
S7：次に、送受信部５１は、端末１０ｄａに対して、要求元端末（通話端末１０ａａ）の端末ＩＤ「０１ａａ」と、要求元端末（通話端末１０ａａ）の稼動状態を示した稼動状態情報とが含まれた「端末の状態情報」を送信する。これにより、通話端末１０ｄａの送受信部１１は、端末１０ａａの状態情報を受信する。

この後、端末１０ａａは、通話管理システム５０に対し宛先リスト管理テーブルに登録された宛先端末ＩＤを要求して、宛先リスト情報（端末ＩＤ、宛先名）及び各端末の稼働状態を取得する。端末１０ａａの表示制御部１６は宛先リストを一覧表示する宛先リスト画面（不図示）をディスプレイ５０８に表示する。
S8：利用者は、宛先リスト一覧の中から通話を開始する宛先の端末を選択すると、操作入力受付部１２は、宛先端末（通話端末１０ｄｂ）との通話を開始する要求を受け付ける。
S9：要求元端末（通話端末１０ａａ）の送受信部１１は、要求元端末（通話端末１０ａａ）の端末ＩＤ「０１ａａ」、及び宛先端末（通話端末１０ｄａ）の端末ＩＤ「０１ｄａ」が含まれ、通話を開始したい旨を示す開始要求情報を、通話管理システム５０へ送信する。これにより、通話管理システム５０の送受信部５１は、上記開始要求情報を受信すると共に、送信元である要求元端末（通話端末１０ａａ）のＩＰアドレス「１．２．１．３」を受信することができる。
S10：そして、状態管理部５３は、開始要求情報に含まれる要求元端末（通話端末１０ａａ）の端末ＩＤ「０１ａａ」及び宛先端末（通話端末１０ｄａ）の端末ＩＤ「０１ｄａ」に基づき、端末状態管理テーブルにおいて、上記端末ＩＤ「０１ａａ」及び端末ＩＤ「０１ｄａ」がそれぞれ含まれるレコードの稼動状態のフィールド部分を、ともに「オンライン（通話可能）」から「オンライン（通話中）」に変更する。
S11：次に、セッション管理部５５は、記憶部５０００のセッション管理テーブルに、利用される中継装置３０ａの中継装置ＩＤ「１１１ａ」、要求元端末（通話端末１０ａａ）の端末ＩＤ「０１ａａ」、及び宛先端末（通話端末１０ｄａ）の端末ＩＤ「０１ｄａ」を関連付けて記憶して管理する。この場合、例えば、要求元端末（通話端末１０ａａ）のＩＰアドレスに近いＩＰアドレスの中継装置３０ａが選ばれる。
S12：次に、通話管理システム５０の送受信部５１は、中継装置３０ａに対して、セッション初期化要求情報を送信する。これにより、中継装置３０ａでは、セッション初期化要求情報を受信する。このセッション初期化要求情報は、中継装置３０ａの通信セッションを初期化する命令であり、要求元端末（通話端末１０ａａ）のＩＰアドレス「１．２．１．３」、及び宛先端末（通話端末１０ｄａ）のＩＰアドレス「１．３．２．３」が含まれている。各ＩＰアドレスは、端末状態管理テーブルにおいて、ステップＳ６２によって受信された要求元端末（通話端末１０ａａ）の端末ＩＤ及び宛先端末（通話端末１０ｄｂ）の端末ＩＤにそれぞれ対応するＩＰアドレスである。
S13：次に、中継装置３０ａは、ステップＳ１２によって受信した要求元端末（通話端末１０ａａ）のＩＰアドレス「１．２．１．３」に基づき、要求元端末（通話端末１０ａａ）にセッション開始指示情報を送信する。このセッション開始指示情報は、要求元端末（通話端末１０ａａ）に通信セッションを開始する指示である。また、この際、中継装置３０ａのＩＰアドレス「１．２．１．２」も送信される。
S14：同じく、中継装置３０ａは、ステップＳ１２によって受信した宛先端末（通話端末１０ｄａ）のＩＰアドレス「１．３．２．３」に基づき、宛先端末（通話端末１０ｄａ）にセッション開始指示情報を送信する。このセッション開始指示情報は、宛先端末（通話端末１０ｄａ）に通信セッションを開始する指示である。また、この際、中継装置３０ａのＩＰアドレス「１．２．１．２」も送信される。
S15：これにより、要求元端末（通話端末１０ａａ）と中継装置３０ａとの間で、第１の通信セッションsed1が確立される。
S16：また、宛先端末（通話端末１０ｄａ）と中継装置３０ａとの間で、第２の通信セッションsed2が確立される。

これにより、要求元端末（通話端末１０ａａ）と宛先端末（通話端末１０ｄａ）との間で通話が開始され、図１４のIに示すような表示画面（通話画面）が要求元端末（通話端末１０ａａ）側と宛先端末（通話端末１０ｄａ）のディスプレイ１２０に表示される。

＜＜本人確認書類又は本人が撮像された画像データの取り込み＞＞
本人確認書類とは、原則的に本人しか入手・所持できない書類であり、その書類を持っていることで本人である蓋然性が高いことを証明する書類である。本人確認書類には本人が撮像された画像と共に、本人の個人情報が記載されていることが一般的である。個人情報としては、氏名、生年月日、現住所、居所、本籍、電話番号、顔写真、車両のナンバー、マイナンバーなどがある。また、個人情報が記述された書類としては、免許証、保険証、パスポート、住民票、戸籍謄本、などがある。なお、本人確認書類は紙でなくカードであってもよい。また、本実施形態では、取り込み許可が必要な画像として、本人確認書類に対する撮像画像の画像データを例に説明するが、本人確認書類に限られず、機密性の高い情報が記述された機密文書の画像データを通話端末１０が取り込む際に、許可を必要とすることもできる。さらに、本人確認書類は機密文書以外にも顧客が顧客の許可なしに保存されることを望まない情報が含まれる画像データを通話端末１０が取り込む際に、許可を必要とすることもできる。

また、本人確認書類だけでなく本人の肖像も個人情報として取り扱われる場合があるので、本実施形態では本人が直接、撮像された本人画像の取り込みに許可を必要とする。

図１３は、通話端末１０ａａが通話端末１０ｄａから送信された画像データを撮像する手順を示すシーケンス図の一例である。図１４、１５は、本人確認アプリＡ、Ｂによる表示画面の取り込みの手順を模式的に説明する図の一例である。本店側の通話端末１０ａａと顧客側の通話端末１０ｄａで遠隔会議を行なっている。なお、セッションを確立している通話端末は２台だけであるとする。

図１４のＩ（ａ）、Ｉ（ｂ）に示すように、表示画面の取り込みを開始する前は、通話端末１０ａａ、１０ｄａは通常会議モードである。通常会議モードは会議する通話端末それぞれのカメラが撮像した画像データを互いに送受信するモードであり、担当者又は顧客がディスプレイ１２０の表示画面のレイアウトを設定することができる。通常会議モードでは以下のようなレイアウトが可能である。
・フルスクリーン(相手画像)モード
・PandPモード（自拠点を含む参加拠点が同じ大きさで配列される）
・PinPモード（自拠点を含まないPandPモードの右下に小さく自映像が表示される）
・マルチビューモード（相手映像をメインにして右側、下側、左側に残りの拠点（自拠点含む）の映像が小さく表示される）
図１４のＩ（ａ）、Ｉ（ｂ）はどちらもＰｉｎＰモードである。

S81：担当者は、本人確認アプリＡ（本店用）を起動するための通話端末１０ａａの所定のボタン１２０５を押下する。これにより、操作入力受付部１２は本人確認アプリＡを起動させる操作を受け付け、通話端末１０ａａは本人確認アプリＡを起動させる。所定のボタンでなく、ディスプレイ１２０に表示された本人確認アプリＡのアイコンを担当者が選択することで起動させてもよい。
S82：起動した本人確認アプリＡは、送受信部１１を介して本人確認アプリＡが起動したことを通話管理システム５０に通知する。
S83：通話管理システム５０の送受信部５１は、本人確認アプリＡが起動したことを、セッション管理テーブルに登録された通話端末１０ａａの相手端末である通話端末１０ｄａに通知する。

S84：通話端末１０ｄａの送受信部１１は、通話端末１０ａａで本人確認アプリＡが起動されたという通知を受信し、通話端末１０ｄａは本人確認アプリＢを起動する。本人確認アプリＢを起動中は、決定ボタン１２０２のみ押すことが可能であり、他のキーは操作入力受付部１２によりロックされる（決定ボタン１２０２以外の操作は無視される）。すなわち、本人確認アプリＢを起動中は、本人確認書類及び本人の画像データの送信以外の処理は禁止される。
S85：本人確認アプリＡは通話端末１０ａａを書類撮像モードＡに設定する。図１４のII（ａ）に示すように、書類撮像モードＡでは、表示制御部１６は通話端末１０ｄａから送信される画像データをフルスクリーンでディスプレイ１２０に表示する。ただし、通話端末１０ｄａから取り込みの許可が送信されるまでは表示画面を取り込めない。すなわち、本人確認アプリＡ及び通話端末１０ａａはボタンなど画像データを取り込むためのユーザインタフェースを有していない。仮に、通話端末１０ａａがボタンなど画像データを取り込むためのユーザインタフェースを有していても、本人確認アプリＡが起動中はそのようなボタンの操作は無視される。
S86：通話端末１０ａａの送受信部１１は、通話端末１０ａａが書類撮像モードＡに移行したことを通話管理システム５０に通知する。この通知は、通話端末１０ｄａを書類撮像モードＢに移行させるためのものである。
S87：通話管理システム５０の送受信部５１は、書類撮像モードＡに移行したことを通話端末１０ｄａに通知する。
S88：通話端末１０ｄａの送受信部１１は、通話端末１０ａａが書類撮像モードＡに移行したという通知を受信して、本人確認アプリＢは通話端末１０ｄａを書類撮像モードＢに移行する。

図１４のII（ｂ）に示すように、書類撮像モードＢでは、表示制御部１６は自映像をフルスクリーンでディスプレイ１２０ｄａに表示する。また、本人確認書類を設置するためのガイド枠１２０１を表示する。本人確認書類はその種類によって大きさが異なるので、適切なサイズのガイド枠１２０１を表示するため、本店の担当者が本人確認書類の種類（免許証、保険証、パスポート、住民票、戸籍謄本等）を本人確認アプリＡに指示してもよい。本人確認アプリＡは本人確認書類の種類又はガイド線のサイズを本人確認アプリＢに通知するので、本人確認書類の大きさに適切なガイド枠を表示できる。

また、本人確認アプリＢは、本人確認書類を通話端末１０ｄａに接続されているカメラで撮像するように誘導するダイアログを表示する。図のダイアログには「本人確認書類を青い四角に合わせて決定を押してください。」と表示されている。

通話端末１０ｄａ側の顧客は指示に従って、本人確認書類を通話端末１０ｄａのカメラで撮像する。図１４のIII（ｂ）に示すように、通話端末１０ｄａのディスプレイ１２０ｄａにはフルスクリーンモードで本人確認書類の画像データが表示される。

これにより送受信部１１は本人確認書類の画像データを通話端末１０ａａに送信し始める。送信されただけで取り込みは許可されていないが、顧客が許可するまでは通話端末１０ａａの表示制御部１６は本人確認書類の画像データに個人情報が読めなくなる画像処理（例えば、ＮｏＣｏｐｙと表示したり、モザイク処理、輝度低下処理、コントラスト低下処理など）を施す。

図１４のIII（ａ）に示すように、通話端末１０ａａのディスプレイ１２０ａａにはフルスクリーンで本人確認書類の画像データが表示される。しかし、顧客が許可するまでは本人確認書類の画像データを取り込むことはできない。また、ＮｏＣｏｐｙと表示されているので、デジタルカメラなどで撮像しても個人情報は記録されない。

S89：本店の担当者は、通話端末１０ａａのディスプレイ１２０ａａに表示された本人確認書類の画像データを見て撮像品質を確認し、顧客に本人確認書類の取り込みの許可を求め、取り込んでよい場合は決定ボタンを押すよう音声で指示する（または、ダイアログで取り込みの許可を求めるメッセージを表示してもよい。）。通話端末１０ｄａの顧客は決定ボタン１２０２を押下する。この決定ボタン１２０２の押下が取り込みの許可に相当する。本人確認アプリＢは送受信部１１により本人確認書類の画像データと取り込み許可を通話管理システム５０に送信する。なお、決定ボタンの押下には、ハード的なボタンの押下、タッチパネルの決定ボタンへのタッチ、マウスによる決定ボタンのクリック、ジェスチャー入力、音声操作（例えば、「取り込み許可」と発声すること）などが含まれる。

したがって、本実施形態の問い合わせ部１８ｂは以下のように動作する。
・担当者が音声により取り込みの許可を要求する場合、問い合わせ部１８ｂは不要になる。
・担当者がダイアログで取り込みの許可を求める場合、担当者がダイアログを通話端末１０ｄａに表示させるために操作する通話端末１０ａａのボタンなどの押下が許可の要求の契機となる。したがって、ダイアログを表示させるボタンの押下により、問い合わせ部１８ｂが通話端末１０ｄａに問い合わせる。
・本人確認アプリＡが起動すると本人確認アプリＢが起動し、本人確認アプリＢが取り込みの許可を求めるダイアログを自動的に表示する場合は、本人確認アプリＡが起動するための所定のボタン１２０５の押下が許可の要求の契機となる。したがって、所定のボタン１２０５の押下により、問い合わせ部１８ｂが通話端末１０ｄａに問い合わせる。
S90：通話管理システム５０は本人確認書類の画像データと取り込み許可を通話端末１０ａａに送信する。
S91：通話端末１０ｄａの決定ボタンの押下によって、通話端末１０ａａは取り込み許可を受信し、通話端末１０ａａのキャプチャ部１４は、ディスプレイ１２０ａａに表示されている表示画面を取り込んで、スクリーンショット１を通話端末１０ａａの画像保存ＤＢ１００１に一時保存する。すなわち、通話端末１０ａａのキャプチャ部１４は、担当者がなんら操作しなくても表示画面のスクリーンショット１を作成する。スクリーンショット１の作成が完了すると、本人確認アプリＡはその旨を表示する。取り込み許可の受信により本人確認アプリＡが通話端末１０ａａにおけるスクリーンショット１の作成操作を有効にして、担当者が該作成操作を行ってスクリーンショット１を作成してもよい。なお、表示制御部１６は、取り込み許可と共に送信された画像データに対し個人情報が読めなくなる画像処理を行わない。キャプチャ部１４は、この画像データを取り込むので、個人情報が良好に撮像された画像データを保存できる。

S92：一時保存されたスクリーンショット１は、自動的に本店のデータサーバ８０に送信される。具体的には、データ登録部１８ｄは画像保存ＤＢ１００１に保存されたスクリーンショット１を送受信部１１によりデータサーバ８０に送信する。登録の際、データサーバ８０の記憶・読出処理部８４はスクリーンショット１を少なくとも端末ＩＤに紐づけてスクリーンショットＤＢ８００１に登録する。なお、データサーバ８０への登録は、次述する本人撮像モードにより本人を撮像した後でもよい。すなわち、スクリーンショット２の後にスクリーンショット１を登録してもよいし、スクリーンショット１，２は同時に登録してもよい。
S93：データサーバ８０は、保存完了を通話端末１０ａａに送信する。通話端末１０ａａから指定の印刷機にスクリーンショット１を送信し、印刷してもよい。

S94：担当者は、本人確認書類の画像データの取り込みが終わると通話端末１０ａａを操作して本人撮像モードＡに移行する。または、スクリーンショット１の取り込みにより、担当者の操作がなくても本人撮像モードＡに移行してもよい。
S95：通話端末１０ａａの送受信部１１は、通話端末１０ａａが本人撮像モードＡに移行したことを通話管理システム５０に通知する。この通知は、通話端末１０ｄａを本人撮像モードＢに移行させるためのものである。
S96：通話管理システム５０の送受信部５１は、本人撮像モードＡに移行したことを通話端末１０ｄａに通知する。
S97：通話端末１０ｄａの送受信部１１は、通話端末１０ａａが本人撮像モードＡに移行したという通知を受信して、本人確認アプリＢは通話端末１０ｄａを本人撮像モードＢに移行する。

図１５のＩ（ａ）に示すように、本店の担当者は、顧客に対し本人をカメラで映すように指示している。また、図１５のII（ｂ）に示すように、本人撮像モードＢでは、表示制御部１６は自映像をフルスクリーンでディスプレイ１２０ｄａに表示する。また、本人の上半身の位置あわせするためのガイド枠１２０１を表示する。

これにより送受信部１１は本人の画像データを通話端末１０ａａに送信し始める。送信されただけで取り込みは許可されていないが、顧客が許可するまでは通話端末１０ａａの表示制御部１６は本人の画像データを読めなくなる画像処理（例えば、ＮｏＣｏｐｙと表示したり、モザイク処理、輝度低下処理、コントラスト低下処理など）を施す。図１５のII（ａ）に示すように、通話端末１０ａａのディスプレイ１２０ａａにはフルスクリーンで本人の画像データが表示される。

S98：本店の担当者は、通話端末１０ａａのディスプレイ１２０ａａに表示された本人の画像データを見て撮像品質を確認し、顧客に本人画像の取り込みの許可を求め、取り込んでよい場合は決定ボタンを押すよう音声で指示する（または、ダイアログで取り込みの許可を求めるメッセージを表示してもよい。）。図１５のIII（ｂ）に示すように、通話端末１０ｄａの顧客は決定ボタン１２０２を押下する。この決定ボタン１２０２の押下が取り込みの許可に相当する。本人確認アプリＢは送受信部１１により本人の画像データと取り込み許可を通話管理システム５０に送信する。
S99：通話管理システム５０は本人確認書類の画像データと取り込み許可を通話端末１０ａａに送信する。
S100：通話端末１０ｄａの決定ボタンの押下によって、通話端末１０ａａは取り込み許可を受信し、通話端末１０ａａのキャプチャ部１４は、ディスプレイ１２０ａａに表示されている表示画面を取り込んで、スクリーンショット２を通話端末１０ａａの画像保存ＤＢ１００１に一時保存する。すなわち、通話端末１０ａａのキャプチャ部１４は、担当者がなんら操作しなくても表示画面のスクリーンショット２を作成する。スクリーンショット２の作成が完了すると、本人確認アプリＡはその旨を表示する。取り込み許可の受信により本人確認アプリＡが通話端末１０ａａにおけるスクリーンショット２の作成操作を有効にして、担当者が該作成操作を行ってスクリーンショット１を作成してもよい。なお、表示制御部１６は、取り込み許可と共に送信された画像データに対し個人情報が読めなくなる画像処理を行わない。キャプチャ部１４は、この画像データを取り込むので、個人情報が良好に撮像された画像データを保存できる。

S101：一時保存されたスクリーンショット２は、自動的に本店のデータサーバ８０に送信される。具体的には、データ登録部１８ｄは画像保存ＤＢ１００１に保存されたスクリーンショット２を送受信部１１によりデータサーバ８０に送信する。登録の際、データサーバ８０の記憶・読出処理部８４はスクリーンショット２を少なくとも端末ＩＤに紐づけてスクリーンショットＤＢ８００１に登録する。登録について詳しくは図１６に基づき説明する。
S102：データサーバ８０は、保存完了を通話端末１０ａａに送信する。

S103：次いで、通話端末１０ａａの照合要求部１７はスクリーンショット１と２の照合をデータサーバ８０に要求する。照合要求部１７は、例えば端末ＩＤを送信することで、スクリーンショット１に対応するスクリーンショット２を指示する。また、照合要求時に再度、スクリーンショット１，２を送信してもよい。

なお、照合はデータサーバ以外で行ってもよい。例えば、通話端末１０ａａに十分なリソースがあれば通話端末１０ａａが照合を行うことができる。また、データサーバ８０にはスクリーンショット１，２の登録のみを行い、別の情報処理装置が照合してもよい。
S104：データサーバ８０の送受信部８１が画像照合要求を受信すると、照合部８３がスクリーンショット１と２の画像を照合する。詳細は後述する。
S105：照合部８３は照合結果を通話端末１０ａａに送信する。
S106：照合結果がほぼ一致したことを示すか又はほぼ一致しないことを示す場合、本人確認アプリＡは照合結果をそのまま表示するなどして担当者に明示する。一方、照合結果がどちらとも言えない場合（以下、照合結果が不明の場合という）、担当者としては書類撮像モードで取り込んだ本人確認書類の本人画像と、本人撮像モードで取り込んだ本人画像が一致するか否かを目視により確認したい場合がある。そこで、本人確認アプリＡは、照合結果が不明の場合、手動比較要求をデータサーバ８０に送信する。手動比較要求はデータサーバ８０に対するスクリーンショット１，２の送信要求である。

S107：データサーバ８０の送受信部８１が手動照合要求を受信すると、照合部８３はスクリーンショット１、２を通話端末１０ａａに送信する。

S108：通話端末１０ａａの本人確認アプリＡは、照合結果が不明でない場合、又は、不明であったが手動照合が終了すると、後述するように担当者が画面を操作することで本人確認アプリＡを終了させる。なお、本人確認アプリＡは一時保存したスクリーンショット１，２を削除する。また、明示的な操作がなくても、本人確認アプリＡが終了し、その際にスクリーンショット１，２を削除してもよい。
S109：通話端末１０ａａは本人確認アプリＡが終了したことを通話管理システム５０に送信する。この送信はアプリ終了直前に本人確認アプリＡが送信してもよい。
S110：通話管理システム５０は本人確認アプリＡが終了したことを通話端末１０ｄａに通知する。
S111：通話端末１０ｄａの本人確認アプリＢは、本人確認アプリＡが終了したという通知により自動的に終了する。すなわち、通話端末１０ｄａから本人撮像モードＢを終了することはできない。これにより、顧客の誤操作により本人確認アプリＢを終了することを防止できる。

通話端末１０ａａと通話端末１０ｄａはそれぞれ本人確認アプリＡ，Ｂを終了すると、通話端末１０ａａと１０ｄｂは通常会議モードへ戻り、書類撮像モードＡ、Ｂになる前のレイアウト（図１４のＩ（ａ）、Ｉ（ｂ））に戻る。

なお、本人確認アプリＡは先に本人撮像モードになって本人が撮像された画像データを取り込み、その後に、書類撮像モードになって本人確認書類が撮像された画像データを取り込んでもよい。

このように、データサーバ８０がスクリーンショット１，２の本人画像を照合することで、通話端末１０ａａは任意のタイミングで本人認証することができる。

また、図１３では通話管理システム５０を介して通話端末１０ａａと１０ｄａが通信したが、通話管理システム５０を介することなく又は通話管理システム５０の介在を最小限にして、通話端末１０ａａと１０ｄａが直接、通信してもよい。

<<データサーバへの登録>>
図１６は、通話端末１０ａａからデータサーバ８０へのスクリーンショット１，２の登録を模式的に説明する図の一例である。通話端末１０のデータ登録部１８ｄは、データサーバ８０に対し、スクリーンショット１，２を送信する。データ登録部１８ｄは、例えばＨＴＴＰのＰＯＳＴコマンドでスクリーンショットのファイル（０１ｄａ_ＸＸＸ．ｊｐｇ）を送信する。

データ登録部１８ｄは、送信するスクリーンショットに所定の規則でファイル名を付与する。スクリーンショット１，２のファイル名は「端末ＩＤ」と「日時」の文字列を含むように生成される。端末ＩＤは本人確認書類の画像データを送信した通話端末１０の端末ＩＤであり、日付は通話端末が内蔵する時計から取得する。

例えば、端末ＩＤ「０１ｄａ」から送信された本人確認書類の画像データを、「2012/7/7 14:50 23秒」に取り込んだ場合、スクリーンショットのファイル名は「01da_20120707145023.拡張子」となる。

また、データ登録部１８ｄは、自端末に紐づけてスクリーンショット１，２をデータサーバ８０に登録する。自端末に紐づけるとは、例えば、端末ＩＤをフォルダ名とするフォルダに記憶すること、ファイル名に自端末の端末ＩＤを含めること、ファイルのタグやメタデータに自端末の端末ＩＤを含めること、などであるが、どのような方法で紐づけてもよい。スクリーンショット１，２を区別する場合も同様に、"１""２"のようなフォルダを作成しておきフォルダ別に登録してもよいし、ファイル名やメタデータにスクリーンショット１，２の識別情報を含めておいてもよい。

図１６では、データサーバに「photoshot/data/01aa/1/」「photoshot/data/01aa/2/」というフォルダが作成されている。したがって、データ登録部１８ｄは、スクリーンショット１を「POST http:// photoshot/data/01aa/1/01da_20120707145023.拡張子」というコマンドで登録し、スクリーンショット２を「POST http:// photoshot/data/01aa/2/01da_20120707145023.拡張子」というコマンドで登録する。

データサーバ８０の記憶・読出処理部８４は、予め管理者からの操作を受け付けて、通話端末毎にスクリーンショット１，２用のフォルダ（又はディレクトリ）を作成しておく。データサーバ８０の送受信部８１がスクリーンショット１，２を受信すると、記憶・読出処理部８４は送信されたスクリーンショット１を「photoshot/data/01aa/1/」に保存し、スクリーンショット２を「photoshot/data/01aa/2/」に保存する。

照合する際は、「photoshot/data/01aa/1/」と「photoshot/data/01aa/2/」からそれぞれスクリーンショット１，２を読み出せばよい。１つのフォルダに複数のスクリーンショットが記憶されている場合は、それぞれのフォルダから最も日時が新しいスクリーンショット１，２を読み出して照合する。

なお、データサーバ８０は、スクリーンショットを保存した通話端末にのみスクリーンショットの閲覧を許可したり、ある期間のスクリーンショットの閲覧を許可するなどの制御ができる。例えば、閲覧制御部８２は、通話端末に端末ＩＤとパスワードを要求し、端末認証管理ＤＢ５００２の端末認証管理テーブルに登録された端末ＩＤとパスワードに一致するとアクセスを許可する。そして、記憶・読出処理部８４は通話端末１０ａａがアクセスできるフォルダを、フォルダ名が「０１ａａ」というフォルダのみに制限する。

＜＜画像照合の手順＞＞
図１７は、図１３のステップＳ１０４においてデータサーバ８０の照合部８３がスクリーンショット１，２の本人画像を照合する手順を示すフローチャート図の一例である。

照合部８３は、スクリーンショット１，２における本人画像の一致度を定量的に（数値で）算出する（Ｓ１０４１）。画像照合については図１８にて説明する。

照合部８３は、ステップＳ１０４１で算出した類似度と閾値を比較して、判断可能か否かを判定する（Ｓ１０４２）。閾値は上側の閾値と、下側の閾値があり、あらかじめデータサーバ８０へ登録されている。閾値については図１９にて説明する。

照合部８３は以下のように照合結果を決定する。
類似度が上側の閾値よりも大きい場合：照合結果＝「一致」
類似度が下側の閾値よりも小さい場合：照合結果＝「不一致」
類似度が下側の閾値以上、上側の閾値以下の場合：照合結果＝「不明」
一致、又は、不一致と判定された場合、判断可能と判定できる。すなわち、「一致」の場合は本人確認書類の本人と、カメラで撮像された本人が一致する可能性が高く、「不一致」の場合は本人確認書類の本人と、カメラで撮像された本人が一致しない可能性が高いと判断できる。

判断可能と判定された場合（Ｓ１０４２のＹｅｓ）、照合部８３は照合結果を通話端末に通知する（Ｓ１０４３）。照合結果の通知の画面については図２０で説明する。

ユーザは照合結果を確認してデータサーバ８０に確認結果を送信するので、データサーバ８０は通話端末から確認結果を取得する（Ｓ１０４４）。

一方、判断可能と判定されない場合（Ｓ１０４２のＮｏ）、照合部８３は通話端末に対し手動判断の問い合わせを行う（Ｓ１０４５）。手動判断の問い合わせの画面については図２１で説明する。

担当者が手動判断を希望しない場合（Ｓ１０４６のＮｏ）、データサーバ８０は処理を終了する。

担当者が手動判断を希望した場合（Ｓ１０４６のＹｅｓ）、照合部８３は通話端末から送信されていたスクリーンショット１，２を通話端末に送信する（Ｓ１０４７）。これにより、担当者は目視で、本人確認書類の本人と、カメラで撮像された本人が一致するか否かを判断できる。スクリーンショット１，２が表示された画面については図２２で説明する。

ユーザはスクリーンショット１，２を確認してデータサーバ８０に確認結果を送信するので、データサーバ８０は通話端末から確認結果を取得する（Ｓ１０４４）。

図１８は、本人画像の一致度の算出について説明する図の一例である。画像の一致度の算出は、既存の画像照合技術を用いてよい。

照合部８３は、スクリーンショット１，２のそれぞれから顔を検出する（Ｓ１０４１−１）。画像データから顔を検出するには、Ｈａａｒ−Ｌｉｋｅ特徴量を使用した方法が知られている。画像データに対しＨａａｒ−Ｌｉｋｅ特徴量と一致する特徴部分があるか否かを走査する。このＨａａｒ−Ｌｉｋｅ特徴量をいくつか用意しておき、一致する部分に投票する処理を繰り返すことで、投票数が多い領域を顔が含まれる領域として検出する。なお、スクリーンショット１，２の顔領域のサイズは異なっているので、特定した顔領域のサイズを正規化する。

次に、照合部８３は顔が含まれる領域から特徴データを検出する（Ｓ１０４１−２）。まず、特徴点として、例えば、眉、目、鼻、鼻孔、唇などを検出する。これらは、エッジ処理、黒画素の連結領域、左右の対称性などから特定することができる。また、特徴点を特定できれば、それぞれで特徴データを作成できる。特徴データは、例えば、顔の重心位置に対する特徴点までの距離、各特徴点の間隔、特徴点同士を結ぶ角度などである。

次に、照合部８３は特徴データを比較して類似度を算出する（Ｓ１０１３）。例えば、目と目の間の距離などの対応する特徴データ同士で差分を取って、本人確認書類の特徴データで除した値を１から引けば、各特徴データの一致度が得られる。一致度を特徴データ毎に求め、合計すれば２つの本人画像の類似度が得られる。なお、類似度は最高で例えば１００になるように正規化される。

図１９は、閾値について説明する図の一例である。類似度が"０"（完全に一致していない）〜"100"（一致している）という範囲で示されている。下側の閾値が"７５"、上側の閾値が"８５"である。したがって、算出された類似度が、"８５"よりも大きい場合は一致、"７５"に満たない場合は不一致、75〜85の場合は不明と判断される。

＜＜画面例＞＞
図２０（ａ）は照合結果が「一致」の場合に通話端末のディスプレイ１２０に表示される画面例を、図２０（ｂ）は照合結果が「不一致」の場合に通話端末のディスプレイ１２０に表示される画面例を、それぞれ示す図である。

図２０（ａ）では「本人確認できました」というメッセージと、「会議へ戻る」と表示されたボタン１９０１が表示されている。担当者はメッセージを確認してボタン１９０１を押下する。このボタン１９０１を押下することで、本人確認アプリＡを終了させることができる。

図２０（ｂ）では「本人確認できませんでした」というメッセージと、「会議へ戻る」と表示されたボタン１９０２が表示されている。担当者はメッセージを確認してボタン１９０２を押下する。このボタン１９０２を押下することで、本人確認アプリＡを終了させることができる。

図２１は、照合結果が「不明」の場合に通話端末のディスプレイ１２０に表示される画面例を示す図である。図２１では「確認結果が不明です」というメッセージと、「手動確認」と表示されたボタン１９０３、「会議へ戻る」と表示されたボタン１９０４が表示されている。この図２１の画面は、特許請求の範囲の表示要求を受け付ける画面の一例である。

担当者はメッセージを確認して、目視により本人確認する場合は「手動確認」と表示されたボタン１９０３を押下し、目視により本人確認しない場合は「会議へ戻る」と表示されたボタン１９０４を押下する。目視により本人確認しない場合とは、例えば不明の場合は、再度、本人の撮像からやり直すなどの規則があるような場合や、別の方法で本人確認できる場合である。

図２２は図２１で「手動確認」と表示されたボタン１９０３が押下され、データサーバ８０から送信されたスクリーンショット１，２が表示された画面の一例を示す図である。図２２では、本人確認書類が撮像されたスクリーンショット１，本人が撮像されたスクリーンショット２が並べて表示される。また、顔領域のサイズが同程度になるように変倍されている。なお、このスクリーンショット１，２は、データサーバ８０から送信されたものでも、通話端末１０が一時保存しているものでもよい。担当者はスクリーンショット１，２を比較して本人確認を目視で行うことができる。目視により本人確認したら、担当者は「会議へ戻る」と表示されたボタン１９０５を押下する。このボタン１９０５を押下することで、本人確認アプリＡを終了させることができる。

担当者は、一致していると判断すれば会議を継続し、一致しているか否かあいまいであると判断すれば、本人の撮像からやり直すことができる。

以上説明したように、本実施形態の遠隔会議システムでは、本人確認書類の当人が会議に参加しているか否かを任意のタイミングで確認できる。また、通話端末１０ａａが、本人確認書類及び本人が撮像された画像データを取り込む際には、本人の許可が必要なので顧客が保存を望まない画像データが保存されることを防止できる。

なお、本実施例の形態は本発明の範囲を限定するものではなく、用途や目的に応じて様々なシステム構成例があることは言うまでもない。例えば、通話管理システム５０とデータサーバ８０とが１つの情報処理装置として配置されていてもよい。

また、通話管理システム５０が有する機能を、複数の情報処理装置が分散して有していてもよいし、データサーバ８０が有する機能を、複数の情報処理装置が分散して有していてもよい。

また、通話端末１０の機能の一部を通話管理システム５０又はデータサーバ８０が有していてもよい。また、通話端末１０が有する機能は、通話端末が内蔵している必要はなく、通話端末１０が呼び出して利用できればよい。

また、通話管理システム５０が有する記憶部５０００は通話管理システム５０がアクセス可能なネットワーク上にあればよく、データサーバ８０が有する記憶部８０００はデータサーバ８０がアクセス可能なネットワーク上にあればよく、通話端末１０が有する記憶部１０００は通話端末１０がアクセス可能なネットワーク上にあればよい。

１通話システム
１０通話端末
２０印刷端末
３０中継装置
５０通話管理システム
８０データサーバ
１２０ディスプレイ
１２０２決定ボタン

特開２０１０−１９８５３６号公報

Claims

通信ネットワークを介して通信可能に接続された他の通信端末と通信する通信端末であって、
前記他の通信端末との間で通信セッションを確立し、前記他の通信端末が有する撮像部が撮像して取得した画像データと前記他の通信端末が有するマイクが取得した音声データを前記通信セッションにより受信する通信手段と、
前記通信手段が受信した前記画像データに基づく映像を表示手段に表示する表示制御手段と、
前記通信セッションによって前記画像データと前記音声データを受信している際に、前記他の通信端末の前記撮像部が撮像することによって取得した本人確認書類のための画像データの映像が表示されている表示画面を取り込むことで第１の画像データを取得し、
前記通信セッションによって前記画像データと前記音声データを受信している際に、前記他の通信端末の前記撮像部が撮像することによって取得した前記本人確認書類によって本人であることが確認される対象の本人の画像データの映像が表示されている表示画面を取り込むことで第２の画像データを取得する画像データ取り込み手段と、
前記第１の画像データと前記第２の画像データの照合結果を取得して、又は、前記第１の画像データと前記第２の画像データを照合して、照合結果を表示手段に表示する照合結果表示手段と、を有することを特徴とする通信端末。
前記画像データ取り込み手段は、前記他の通信端末から保存を許可する旨を示す情報を取得した場合に、前記表示手段に表示されている前記第１の画像データと前記第２の画像データをそれぞれ取り込む、ことを特徴とする請求項１に記載の通信端末。
前記照合結果が不明であった場合、前記照合結果表示手段は不明という照合結果と共に、前記第１の画像データと前記第２の画像データの表示要求を受け付ける画面を表示手段に表示する、ことを特徴とする請求項１又は２に記載の通信端末。
前記表示要求を受け付けた場合、前記照合結果表示手段は、外部から前記第１の画像データと前記第２の画像データを取得するか、又は、記憶手段に記憶している前記第１の画像データと前記第２の画像データを読み出して、前記第１の画像データと前記第２の画像データが共に配置された画面を表示手段に表示する、
ことを特徴とする請求項３に記載の通信端末。
前記第１の画像データは、前記通信端末を利用する利用者本人の写真が配置された文書が撮像された画像の画像データであり、前記第２の画像データは前記利用者本人が撮像された画像の画像データであり、
前記照合結果には、前記第１の画像データの利用者と前記第２の画像データの利用者が同一人物か否か、又は、不明かが含まれる、
ことを特徴とする請求項１〜４のいずれか１項に記載の通信端末。
前記他の通信端末に対し前記画像データの保存の許可を要求する許可要求手段と、
当該通信端末を前記画像データを保存する動作モードに移行するための動作モード移行受け付け手段とを有し、
前記動作モードに移行した場合、前記許可要求手段は、前記動作モードになったことを前記他の通信端末に通知することで、前記他の通信端末を許可操作以外の操作を受け付けない撮像モードに移行させ、
前記動作モード移行受け付け手段が前記動作モードの終了を受け付けた場合、前記許可要求手段は、前記他の通信端末を前記撮像モードから許可操作以外の操作を受け付ける通常モードに移行させる、ことを特徴とする請求項１に記載の通信端末。
当該通信端末を前記画像データを保存する動作モードに移行するための動作モード移行受け付け手段を有し、
前記動作モードでは、前記通信手段が受信する前記画像データの代わりに、前記表示制御手段は前記第１の画像データと前記第２の画像データを並べて前記表示手段に表示し、
前記動作モード移行受け付け手段が前記動作モードの終了を受け付けた場合、前記通信手段が受信する前記画像データを表示する画面に戻る請求項１に記載の通信端末。
通信ネットワークを介して通信端末と他の通信端末が通信する通信システムであって、
前記他の通信端末との間で通信セッションを確立し、前記他の通信端末が有する撮像部が撮像して取得した画像データと前記他の通信端末が有するマイクが取得した音声データを前記通信セッションにより受信する通信手段と、
前記通信手段が受信した前記画像データに基づく映像を表示手段に表示する表示制御手段と、
前記通信セッションによって前記画像データと前記音声データを受信している際に、前記他の通信端末の前記撮像部が撮像することによって取得した本人確認書類のための画像データの映像が表示されている表示画面を取り込むことで第１の画像データを取得し、
前記通信セッションによって前記画像データと前記音声データを受信している際に、前記他の通信端末の前記撮像部が撮像することによって取得した前記本人確認書類によって本人であることが確認される対象の本人の画像データの映像が表示されている表示画面を取り込むことで第２の画像データを取得する画像データ取り込み手段と、
前記画像データ取り込み手段が取り込んだ前記第１の画像データと前記第２の画像データを照合する照合手段と、
前記照合手段による前記第１の画像データと前記第２の画像データの照合結果を表示手段に表示する照合結果表示手段と、
を有することを特徴とする通信システム。
他の通信端末との間で通信セッションを確立し、前記他の通信端末が有する撮像部が撮像して取得した画像データと前記他の通信端末が有するマイクが取得した音声データを前記通信セッションにより受信する通信手段と、
前記通信手段で受信された前記画像データに基づく映像を表示手段に表示する表示制御手段と、
前記通信セッションによって前記画像データと前記音声データを受信している際に、前記他の通信端末の前記撮像部が撮像することによって取得した本人確認書類のための画像データの映像が表示されている表示画面を取り込むことで第１の画像データを取得し、
前記通信セッションによって前記画像データと前記音声データを受信している際に、前記他の通信端末の前記撮像部が撮像することによって取得した前記本人確認書類によって本人であることが確認される対象の本人の画像データの映像が表示されている表示画面を取り込むことで第２の画像データを取得する画像データ取り込み手段と、
前記第１の画像データと前記第２の画像データの照合結果を表示手段に表示する照合結果表示手段と、を有する通信端末と、
前記画像データ取り込み手段により取り込まれた前記第１の画像データと前記第２の画像データを照合するデータサーバと、を有することを特徴とする通信システム。
コンピュータにインストールされると、
他の通信端末との間で通信セッションを確立し、前記他の通信端末が有する撮像部が撮像して取得した画像データと前記他の通信端末が有するマイクが取得した音声データを前記通信セッションにより受信する通信ステップと、
前記通信ステップで受信された前記画像データに基づく映像を表示手段に表示する表示制御ステップと、
前記通信セッションによって前記画像データと前記音声データを受信している際に、前記他の通信端末の前記撮像部が撮像することによって取得した本人確認書類のための画像データの映像が表示されている表示画面を取り込むことで第１の画像データを取得し、
前記通信セッションによって前記画像データと前記音声データを受信している際に、前記他の通信端末の前記撮像部が撮像することによって取得した前記本人確認書類によって本人であることが確認される対象の本人の画像データの映像が表示されている表示画面を取り込むことで第２の画像データを取得する画像データ取り込みステップと、
前記第１の画像データと前記第２の画像データの照合結果を取得するか、又は、前記第１の画像データと前記第２の画像データを照合して、照合結果を表示手段に表示する照合結果表示ステップと、をコンピュータに実行させるプログラム。