JP6911609B2 - 情報処理装置、情報処理方法、情報処理プログラム、テレビ会議システム、及び生体情報取得システム - Google Patents

Description

本発明は、情報処理装置、情報処理方法、情報処理プログラム、テレビ会議システム、及び生体情報取得システムに関する。

今日において、例えば所定の自動車運送事業者に対しては、運行の安全を確保するために、運転手が乗務する前等に点呼を実施し、運転手の疲労等の状態を把握することが義務付けられている。運転手が遠隔地に位置している場合、運行管理者は、テレビ会議システムを介して運転手の映像、及び音声を取得し、点呼を実施する。これにより、運転手が遠隔地に位置している場合でも点呼を行うことができ、自動車運送事業者に課せられた義務を果たすことができる。

ここで、従来のテレビ会議システムでは、生体情報の取得していなかったが、カメラ装置で撮像した撮像画像に基づいて生体情報を取得できれば、上述の自動車運送事業者等において、運転手の体調管理等に資することができる。その際、運転手等の対象者に意識させることなく生体情報を取得できれば、より好ましい。

本発明は、上述の課題に鑑みてなされたものであり、生体情報を取得して対象者の評価等に資することを可能とした情報処理装置、情報処理方法、情報処理プログラム、テレビ会議システム、及び生体情報取得システムの提供を目的とする。

上述した課題を解決し、目的を達成するために、本発明は、通常撮像画像である第１撮像画像を得るための第１パラメータ、及び生体情報の解析用の第２撮像画像を得るための第２パラメータの一方を撮像部に設定するパラメータ設定部と、第２撮像画像から生体情報を生成する生体情報生成部と、パラメータ設定部で第２パラメータが設定されることで第２撮像画像が得られている間、第２撮像画像の色合いを、第１撮像画像の色合いに補正した補正画像を生成する色補正部と、生体情報生成部で生成された生体情報を出力し、パラメータ設定部により第１パラメータが設定されている間、第１撮像画像を出力し、パラメータ設定部により第２パラメータが設定されている間、色補正部で第１撮像画像の色合いに補正された補正画像を出力する出力制御部と、を有する。

本発明によれば、生体情報を取得して対象者の評価等に資することができるという効果を奏する。

図１は、第１の実施の形態となるテレビ会議システムのシステム構成図である。 図２は、図２は、運転手用、及び管理者用の端末装置のハードウェア構成を示す図である。 図３は、サーバ装置のハードウェア構成を示す図である。 図４は、運転手用の端末装置のＴＶ会議プログラムを実行することで実現される各機能の機能ブロック図である。 図５は、サーバ装置用のＴＶ会議プログラムに含まれる解析プログラムを実行することで実現される各機能の機能ブロック図である。 図６は、第１の実施の形態のＴＶ会議システムにおけるＴＶ会議動作の流れを示すフローチャートである。 図７は、疲労度の測定処理の詳細な動作の流れを示すフローチャートである。 図８は、カメラ制御部、及び画像変換部の、さらに詳細な機能ブロック図である。 図９は、撮像パラメータの最適化処理、及び色補正テーブルの更新処理の詳細な動作の流れを示すフローチャートである。 図１０は、脈波解析用の撮像領域を説明するための図である。 図１１は、最適化前画像の画素値と最適化後画像の画素値との関係の例を示す図である。 図１２は、色補正テーブルの一例を示す図である。 図１３は、撮像パラメータの最適化処理の詳細な動作の流れを示すフローチャートである。 図１４は、脈波信号の算出処理の詳細な動作の流れを示すフローチャートである。 図１５は、ノイズ除去処理を施した脈波信号の一例を示す図である。 図１６は、サーバ装置で行われる疲労度の評価処理の流れを示すフローチャートである。 図１７は、通常の撮像画像と脈波解析用の撮像画像とのＲＧＢ値の差を説明するための図である。 図１８は、第２の実施の形態となるテレビ会議システムのシステム構成図である。 図１９は、第３の実施の形態となるテレビ会議システムの要部のブロック図である。

本発明は、画像情報に基づいて対象者の生体情報を取得して利用に供する装置又はシステムであれば、どのような装置又はシステムにも適用可能である。以下、一例として、テレビ会議システム（ＴＶ会議システム）に適用した実施の形態を説明する。

（第１の実施の形態）
（システム構成）
図１は、第１の実施の形態となるＴＶ会議システムのシステム構成図である。一例ではあるが、このＴＶ会議システムは、所定の自動車運送事業者が、遠隔地の営業所に勤務する運転手の点呼、及び健康管理等を行うために用いられるシステムとなっている。具体的には、図１に示す端末装置１は、遠隔地の営業所に設けられた運転手用の端末装置である。これに対して、端末装置２は、自動車運送事業者の管理者用の端末装置である。各端末装置１，２は、例えばインターネット等の所定のネットワーク４を介して相互に通信可能に接続されている。

端末装置１には、撮像装置５が設けられている。また、端末装置１には、運転手用（対象者用）のＴＶ会議プログラムが記憶されている。端末装置１は、このＴＶ会議プログラムに基づいて、撮像装置５で撮像された運転手の顔画像、及び音声をサーバ装置３に送信する。同様に、端末装置２には、撮像装置６が設けられている。また、端末装置２には、管理者用のＴＶ会議プログラムが記憶されている。端末装置２は、このＴＶ会議プログラムに基づいて、撮像装置６で撮像された管理者の顔画像、及び音声をサーバ装置３に送信する。

サーバ装置３には、サーバ装置用のＴＶ会議プログラムが記憶されている。サーバ装置３は、このＴＶ会議プログラムに基づいて、運転手用の端末装置１から送信された画像、及び音声を管理者側の端末装置２に送信し、管理者用の端末装置２から送信された画像、及び音声を運転手側の端末装置２に送信する。これにより、各端末装置１，２を介して運転手、及び管理者のテレビ会議が可能となり、遠隔地の営業所に勤務している運転手の点呼等を可能とすることができる。

また、サーバ装置３に記憶されているＴＶ会議プログラムには、対象者の疲労度等を解析する解析プログラムが含まれている。サーバ装置３は、運転手の端末装置１から送信される例えば脈波信号等の生体情報に基づいて、運転手の疲労度等を算出して各端末装置１，２にそれぞれ送信する。これにより、管理者は運転手の健康管理を行うことができ、運転手は自己の健康管理を行うことができる。詳しくは、後述する。

（端末装置のハードウェア構成）
図２は、各端末装置１，２のハードウェア構成を示す図である。各端末装置１，２は、いわゆるデスクトップ型、ノート型又は一体型等のパーソナルコンピュータ装置と同様のハードウェア構成を有している。このため、各端末装置１，２は、ＣＰＵ（Central Processing Unit）１１、記憶部１２、入出力制御部１３、及び通信部１４を有している。ＣＰＵ１１〜通信部１４は、バスライン１５を介して相互に接続されている。なお、この例では、各端末装置１，２は、パーソナルコンピュータ装置と同様の構成を有することとしたが、各端末装置１，２として、タブレット端末又はスマートフォン等を用いてもよい。

入出力制御部１３には、撮像装置５（又は撮像装置６）の他、キーボード装置、及びマウス装置等の入力装置１６と、運転手又は管理者の音声を集音するマイクロホン装置１７と、運転手又は管理者の音声を出力するスピーカ装置１８と、運転手又は管理者の顔画像、及び疲労度の解析結果等を表示するための表示装置１９が接続されている。

なお、入出力制御部１３に対して、例えば呼気に含まれるアルコール分を検出するアルコール検査装置を接続してもよい。また、入出力制御部１３に対して、免許証、社員証、保険証等の読み取りを行うスキャナ装置を接続してもよい。

ＣＰＵ１１は、各処理に対応する演算又はデータの加工等を行う演算装置、及びハードウェアを制御する。また、ＣＰＵ１１は、記憶部１２等に記憶されるＯＳ（Operating System）、及びアプリケーションプログラムに基づいて、各種処理を実行する。

記憶部１２は、例えば主記憶装置、及び補助記憶装置で構成されており、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、ハードディスク装置（ＨＤＤ）等を用いることができる。この記憶部１２には、対象者（運転手）用のＴＶ会議プログラム又は管理者用のＴＶ会議プログラムが記憶されている。ＣＰＵ１１は、このＴＶ会議プログラムに基づいて、運転手、及び管理者間のＴＶ会議に対応する画像、及び音声を通信制御する。また、運転手の端末装置１のＣＰＵ１１は、対象者（運転手）用のＴＶ会議プログラムに基づいて、運転手の顔画像から脈波を検出し、この検出出力をサーバ装置３に送信する。サーバ装置３は、脈波の検出出力から、運転手の疲労度等を解析する。

表示装置１９は、例えば液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ等を用いることができる。なお、入力装置１６、及び表示装置１９は、両者が一体化された、いわゆるタッチパネル等でもよい。

通信部１４は、ネットワークに接続を図るための、例えばＵＳＢ（Universal Serial Bus）ポート又はＬＡＮポート等の通信インタフェースを有している。マイクロホン装置１７、及びスピーカ装置１８は、一体型でもよい。

撮像装置５，６は、例えばＷｅｂカメラ装置であり、ＵＳＢケーブル等で端末装置５又は端末装置６に接続されている。一例ではあるが、この撮像装置５，６は、Ｒ（Ｒｅｄ：赤）、Ｇ（Ｇｒｅｅｎ；緑）、及びＢ（Ｂｌｕｅ：青）の各撮像画像に基づいて運転手又は管理者等のカラー画像を得るようになっている。なお、端末装置５，６にカメラ装置が内蔵されている場合は、撮像装置５，６として、内蔵されているカメラ装置を用いても良い。

（サーバ装置のハードウェア構成）
図３は、サーバ装置３のハードウェア構成を示す図である。この図３に示すようにサーバ装置３は、ＣＰＵ２１、記憶部２２、及び通信部２３を有している。記憶部２２には、ＯＳの他、各種アプリケーションプログラムが記憶されている。ＣＰＵ２１は、端末装置１から運転手の脈波の検出出力を受信すると、記憶部２２に記憶されているＴＶ会議プログラムに含まれる解析プログラム基づいて、脈波の検出出力を解析する。通信部２３は、この解析結果を、運転手の端末装置１、及び管理者の端末装置２にそれぞれ送信する。

（運転手用の端末装置におけるＴＶ会議プログラムの機能）
次に、図４は、運転手用の端末装置１のＴＶ会議プログラムを実行することで実現される各機能の機能ブロック図である。運転手用の端末装置１のＣＰＵ１１は、記憶部１２に記憶されているＴＶ会議プログラムを実行することで、カメラ制御部３１、脈波計算部３２、画像取得部３３、画像変換部３４、通信制御部３５、及び表示制御部３６の各機能を実現する。

カメラ制御部３１は、撮像装置１の撮像開始、及び撮像停止等の動作制御の他、ゲイン、及びホワイトバランス等の撮像パラメータの変更等の制御を行う。後述するが、第１の実施の形態のＴＶ会議システムの場合、カメラ制御部３１は、疲労度評価のための脈波解析の間、脈波解析用の撮像パラメータを撮像装置５に設定し（撮像パラメータを脈波解析用に最適化し）、脈波解析以外の間は、通常撮像用の撮像パラメータを撮像装置５に設定する（撮像パラメータを通常撮像用に最適化する）。

画像取得部３３は、疲労度評価のための脈波解析の間は、脈波解析用の撮像パラメータに基づいて撮像装置５で撮像された運転手（点呼の対象者）の解析用撮像画像（第２撮像画像の一例）を取得し、脈波解析以外の間は、通常撮像用の撮像パラメータに基づいて撮像装置５で撮像された運転手の通常撮像画像（第１撮像画像の一例）を取得する。なお、撮像画像は、例えば８ビットのＲＧＢ画像であり、１フレーム毎に撮像装置５から取得される。撮像画像が８ビットの画像である場合は、撮像画像を構成する各画素は、０〜２５５の画素値（輝度値）を有する。尚、本明細書では、Ｒ画素、Ｇ画素、Ｂ画素の各画素値について、信号値とも表現する。また、この例では、撮像画像は、ＲＧＢ表色系の画像であることとしたが、この他、ＸＹＺ表色系、ＵＶＷ表色系又はＬＡＢ表色系の画像としてもよい。

脈波計算部３２は、画像取得部３３で取得された解析用画像に基づき、運転手の脈波を計算し、計算結果となる「脈波信号」を生成する。

画像変換部３４は、脈波解析の間に画像取得部３３で取得された運転手の解析用撮像画像を、通常撮像画像に変換処理する。具体的には、脈波解析用の撮像パラメータで撮像された解析用撮像画像の色バランスを、通常撮像用の撮像パラメータで撮像された通常撮像画像の色バランスに変換処理する。

すなわち、脈波解析の間に撮像される解析用撮像画像は、脈波解析用の撮像パラメータで撮像されているため、通常撮像画像とは色バランスが異なる。このため、解析用撮像画像をそのままＴＶ会議に用いると、脈波解析の間、色バランスが不自然な違和感のある画像が表示される不都合を生ずる。このため、画像変換部３４は、脈波解析の間、脈波解析用の撮像パラメータで撮像された解析用撮像画像を、通常撮像画像の色バランスと同様の色バランスに変換する処理を行う。これにより、脈波解析の間も、通常撮像画像と同様の撮像画像を表示できる。詳しくは、後述する。

なお、画像変換部３４は、必要に応じて撮像画像の圧縮処理等を行ってもよい。また、画像変換処理が施された撮像画像は、端末装置１の表示装置１９に表示されると共に、管理者用の端末装置２に転送される。

通信制御部３５は、テレビ会議用（点呼処理用）の撮像画像を、端末装置１、及び端末装置２の間で送受信するように、通信部１４を制御する。また、通信制御部３５は、脈波解析の間は、画像変換部３４で色バランスの変換処理が施された撮像画像を管理者用の端末装置２に転送するように、通信部１４を制御する。また、通信制御部３５は、脈波計算部３２で生成された運転手の脈波信号を、サーバ装置３に転送するように通信部１４を制御する。

表示制御部３６は、管理者用の端末装置２から受信した撮像画像、画像変換部３４で通常撮像画像と同様の色バランスとなるように変換された撮像画像、及びサーバ装置３で解析された運転手の疲労度の評価結果等を表示装置１９に表示制御する。

なお、図４に示したカメラ制御部３１〜表示制御部３６は、ソフトウェアで実現することとしたが、カメラ制御部３１〜表示制御部３６のうち、一部又は全部を、ＩＣ（Integrated Circuit）等のハードウェアで実現してもよい。

また、図４に示した各機能を実現するＴＶ会議プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）等のコンピュータ装置で読み取り可能な記録媒体に記録して提供してもよい。また、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）、ブルーレイディスク（登録商標）、半導体メモリ等のコンピュータ装置で読み取り可能な記録媒体に記録して提供してもよい。また、ＴＶ会議プログラムは、インターネット等のネットワーク経由でインストールするかたちで提供してもよい。また、ＴＶ会議プログラムは、携帯端末内のＲＯＭ等に予め組み込んで提供してもよい。

（サーバ装置における解析プログラムの機能）
次に、図５は、サーバ装置３に記憶されているＴＶ会議プログラムに含まれる解析プログラムを実行することで実現される各機能の機能ブロック図である。サーバ装置３のＣＰＵ２１は、記憶部２２に記憶されているＴＶ会議プログラムのうち、解析プログラムを実行することで、脈拍間隔検出部４１、リサンプリング部４２、パワースペクトル算出部４３、及び疲労指標算出部４４の各機能を実現する。

詳しくは、後述するが、脈拍間隔検出部４１〜疲労指標算出部４４は、運転手用の端末装置１から受信した運転手の脈波信号を所定時間蓄積した後に解析し、点呼対象者となる運転手の疲労度を評価する。そして、脈拍間隔検出部４１〜疲労指標算出部４４は、評価結果となる疲労度情報を、通信部２３を介して運転手の端末装置１、及び管理者の端末装置２の双方に送信する。

なお、図４に示した脈拍間隔検出部４１〜疲労指標算出部４４は、ソフトウェアで実現することとしたが、脈拍間隔検出部４１〜疲労指標算出部４４のうち、一部又は全部を、ＩＣ（Integrated Circuit）等のハードウェアで実現してもよい。

また、図４に示した各機能を実現する解析プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）等のコンピュータ装置で読み取り可能な記録媒体に記録して提供してもよい。また、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）、ブルーレイディスク（登録商標）、半導体メモリ等のコンピュータ装置で読み取り可能な記録媒体に記録して提供してもよい。また、解析プログラムは、インターネット等のネットワーク経由でインストールするかたちで提供してもよい。また、解析プログラムは、携帯端末内のＲＯＭ等に予め組み込んで提供してもよい。

（ＴＶ会議動作）
次に、図６のフローチャートを用いて、第１の実施の形態のＴＶ会議システムにおけるＴＶ会議動作の流れを説明する。このフローチャートは、運転手用、及び管理者用の各端末装置１，２の間において、ネットワーク４を介した通信コネクションが確立されることで処理がスタートなり、ステップＳ１から順に各処理が実行される。

＜ユーザ情報入力（ステップＳ１）＞
まず、管理者は、端末装置２を介して点呼対象者名（運転手名）、乗務する自動車の登録番号又は識別できる記号等のユーザ情報を、運転手の端末装置１から取得する。これは、例えば、点呼対象者に端末装置１の入力装置１６を用いて入力させたユーザ情報を、管理者の端末装置２で取得すればよい。

または、点呼対象者名に関連付けて、乗務する自動車の登録番号又は識別記号等を端末装置１の記憶部１２等に記憶しておき、運転免許証の読み取りを行うリーダ装置を使用して点呼対象者の運転免許証から点呼対象者名を取得した際に、点呼対象者名に関連付けられている乗務する自動車の登録番号又は識別記号等の情報を記憶部１２から読み出し、点呼対象者名と共に管理者の端末装置２に送信してもよい。

＜点呼情報入力（ステップＳ２）＞
次に、管理者の端末装置２は、点呼日時、及び点呼方法に関する点呼情報を取得する。例えば、運転手に端末装置１の入力装置１６を介して点呼情報を入力させ、管理者の端末装置２で、運転手により入力された点呼情報を取得すれば良い。点呼日時は、例えば運転手用の端末装置１又は管理者用の端末装置２に設けられているタイマから時刻情報を取得すればよい。

＜テレビ会議開始（ステップＳ３）＞
次に、点呼対象者（運転手）と点呼執行者間（管理者）との間で通信を開始する。一例ではあるが、運転手により、端末装置１の表示装置１９に表示された管理者の呼び出しボタン（ソフトウェアキー）が操作されると、テレビ会議が開始となる。テレビ会議が開始となると、運転手の端末装置１は、撮像装置５で撮像された運転手の撮像画像（主に運転手の顔画像）と、マイクロホン装置１７で集音された運転手の音声を送信する。運転手の撮像画像、及び音声は、サーバ装置３を介して管理者の端末装置２に転送される。管理者の端末装置２は、取得した運転手の撮像画像を表示装置１９に表示すると共に、運転手の音声を、スピーカ装置１８を介して出力する。

また、管理者の端末装置２は、撮像装置６で撮像された管理者の撮像画像（主に管理者の顔画像）と、マイクロホン装置１７で集音された管理者の音声を送信する。管理者の撮像画像、及び音声は、サーバ装置３を介して運転手の端末装置１に転送される。運転手の端末装置１は、取得した管理者の撮像画像を表示装置１９に表示すると共に、管理者の音声を、スピーカ装置１８を介して出力する。これにより、運転手と管理者との間でＴＶ会議（運転手の点呼）が行われる。

＜疲労度測定処理（ステップＳ４）＞
次に、運転手の端末装置１のＣＰＵ１１は、表示装置１９に疲労度の測定要求画面を表示し、運転手に疲労度の測定要求を行う。疲労度の測定要求画面は、例えば疲労度の測定開始ボタン（ソフトウェアキー）と、運転手の撮像画像の表示エリアと、管理者の撮像画像の表示エリアが配置された画面である。

運転手により、疲労度の測定開始ボタンが操作されると、端末装置１のＣＰＵ１１は、運転手の顔の撮像画像に基づいて脈波を検出し、この検出結果となる脈波信号をサーバ装置３に送信する。サーバ装置３のＣＰＵ２１は、脈波信号に基づいて疲労度の測定を行い、この測定結果に基づいて疲労度の評価を行う。そして、サーバ装置３のＣＰＵ２１は、この疲労度の評価結果を、運転手の端末装置１、及び管理者の端末装置２にそれぞれ送信する。運転手の端末装置１、及び管理者の端末装置２は、サーバ装置３から受信した疲労度の評価結果を表示装置１９にそれぞれ表示する。

疲労度の評価は、例えば疲労度を表す数値（値が大きいほど疲労度が高いことを意味する）で表す。疲労度は、グラフ等を用いて表示しても良い。また、過去の評価結果、及びアドバイス等を併せて表示しても良い。

＜アルコールチェック（ステップＳ５）＞
次に、運転手の酒気帯びの有無、及びアルコール濃度等の情報を取得するアルコールチェックを行う。これは、例えば運転手がアルコール検知器を用いてアルコール濃度を測定し、入力装置１６を操作して測定結果を端末装置１に入力する。端末装置１は、サーバ装置３を介して管理者の端末装置２に測定結果を送信する。管理者は、受信して表示される測定結に基づいて、運転手の酒気帯びの有無、及びアルコール濃度等を判断する。なお、運転手の端末装置１にアルコール検知器を接続し、端末装置１は、アルコール検知器の測定結果を、サーバ装置３を介して端末装置２に送信する構成としてもよい。

＜業務情報取得（ステップＳ６）＞
次に、運転手の乗務前における点呼の場合、管理者は、日常点検の状況等の業務情報を運転手から取得する。また、運転手の乗務後における点呼の場合、管理者は、自動車、道路、及び運行状況、交替運転手に対する通告等の業務情報を、運転手から取得する。これらの業務情報は、例えば管理者が、端末装置２を介して運転手に所定の質問を行い、運転手が端末装置１を介して回答結果を入力し、この回答結果を業務情報として管理者の端末装置２で取得すれば良い。

＜指示情報の取得（ステップＳ７）＞
次に、管理者は、運転手に対して点呼結果となる指示を行う。具体的には、管理者はステップＳ２で取得した点呼情報、ステップＳ４で取得した疲労度の測定結果、ステップＳ５で取得したアルコールチェックの結果、ステップＳ６で取得した業務情報等に基づき、運転手に対する安全運行の指示情報を、端末装置２からサーバ装置３を介して運転手の端末装置１に送信する。運転手の端末装置１は、管理者の端末装置２から受信した安全運行の指示情報を表示装置１９に表示する。これにより、運転手は、端末装置１に接続された表示装置１９を介して、管理者からの安全運行の指示を得ることができる。

＜テレビ会議終了（ステップＳ８）＞
管理者から運転手に対して安全運行の指示が行われると、図６のフローチャートの全処理が終了となり、ＴＶ会議による運転手の点呼が終了する。

（疲労度の測定処理の詳細）
次に、図６のフローチャートのステップＳ４における疲労度の測定処理を、図７のフローチャートを用いて詳細に説明する。

＜撮像パラメータの最適化、及び色補正テーブルの更新（ステップＳ１１）＞
疲労度の測定処理が開始となると、図４に示す運転手の端末装置１のカメラ制御部３１は、撮像装置５の撮像パラメータを、通常撮像画像用の撮像パラメータから、脈波解析用の撮像パラメータに変更（最適化）する。また、画像変換部３４は、撮像パラメータを脈波解析用に変更することで色合いが変化する撮像画像を元の色に戻すための色補正テーブルの更新を行う。このステップＳ１１における撮像パラメータの最適化処理、及び色補正テーブルの更新処理は、図９のフローチャートを用いて詳細に説明する。

＜脈波解析用画像の取得（ステップＳ１２）＞
次に、カメラ制御部３１は、運転手の撮像を行うように、脈波解析用の撮像パラメータを設定した撮像装置５を撮像制御する。一例ではあるが、カメラ制御部３１は、図１０に点線の四角で示すように、運転手の顔のうち、脈波信号を取得し易い、鼻、及び鼻の周囲の部位を撮像するように、撮像装置５を制御する。なお、生体の脈波信号が取得可能な肌領域が含まれていれば、顔以外の領域を撮影してもよい。例えば、脈波は、指先の腹側の肌領域でも取得できるため、この指先の肌側を含む領域を撮影してもよい。画像取得部３３は、撮像装置５により撮像された脈波の解析用画像を取得する。

＜脈波信号の算出（ステップＳ１３）＞
ステップＳ１２で取得した解析用画像は、脈波解析用に撮像パラメータを最適化して撮像された生体画像である。そのため、通常撮像画像用の撮像パラメータで撮像された通常撮像画像と比較して、脈拍に伴う画素値の変化を顕著に観測することができる。脈波計算部３２は、このような脈波解析用の撮像画像に基づいて、運転手の脈波を示す脈波信号を生成する。この脈波信号の生成動作の詳細は、図１４のフローチャートを用いて説明する。

＜脈波信号の出力（ステップＳ１４）＞
次に、通信制御部３５は、ステップＳ１３で生成された脈波信号をサーバ装置３に送信するように通信部１４を制御する。サーバ装置３は、運転手の端末装置１から受信した脈波信号を用いて、運転手の疲労度を評価する。脈波信号は、信号雑音比が高いという特徴があるため、この脈波信号を用いて運転手の疲労度を評価することで、より精度の高い評価が可能となる。また、脈波の解析、及び評価の演算は、ＣＰＵに大きな負荷となるが、実施の形態のＴＶ会議システムの場合、この演算をサーバ装置３で行う。このため、端末装置１に対して脈波の解析、及び評価の演算の大きな負荷が掛かり、端末装置１の処理に遅延が発生する等の不都合を防止できる。

＜色補正（ステップＳ１５）＞
次に、画像変換部３４は、色補正テーブル（図１２を用いて後述）を用いて、ステップＳ１２で取得した脈波解析用の撮像画像の色補正を行う。色補正テーブルには、脈波解析用に撮像パラメータを最適化して撮像された脈波解析用の撮像画像の画素値が、表示用となる通常撮像画像用の撮像パラメータで撮像された通常撮像画像の画素値と同じ又は近似する画素値に補正されるように、補正前の画素値と補正後の画素値とが対応付けられて記憶されている。このため、画像変換部３４は、脈波解析用の撮像画像の各画素に対応する補正後の画素値を、色補正テーブルを参照して順次取得することで、脈波解析用の撮像画像の色合いを、通常撮像画像の色合いに色補正した画像を生成する。

＜表示用画像の出力（ステップＳ１６）＞
次に、表示制御部３６は、色補正された撮像画像を、端末装置１に接続されている表示装置１９に表示制御する。これにより、脈波解析用の色合いの撮像画像を表示用の色合いに補正した通常の撮像画像を、運転手側の表示装置１９に表示できる。また、通信制御部３５は、色補正された撮像画像を、サーバ装置３に送信するように通信部１４を制御する。サーバ装置３は、色補正された撮像画像を管理者用の端末装置２に送信する。管理者用の端末装置２は、色補正された撮像画像を、端末装置２に接続されている表示装置１９に表示制御する。これにより、脈波解析用の色合いの撮像画像を表示用の色合いに補正した通常の撮像画像を、管理者側の表示装置１９に表示できる。従って、脈波解析用の撮像画像を取得している間であっても、通常の撮像画像と同じ色合いの撮像画像を、各端末装置１，２間で送受信でき、自然かつ円滑にＴＶ会議による点呼を可能とすることができる。

（撮像パラメータの最適化処理と色補正テーブルの更新処理の詳細動作）
次に、図７のフローチャートのステップＳ１１における撮像パラメータの最適化と色補正テーブルの更新処理を詳細に説明する。まず、図８は、カメラ制御部３１、及び画像変換部３４の、さらに詳細な機能ブロック図である。この図８に示すように、カメラ制御部３１は、取得部５１、パラメータ最適化部５２、及びパラメータ設定部５３の各機能を有している。また、画像変換部３４は、色補正テーブル作成部５４、及び色補正テーブル更新部５５の各機能を有している。

図９は、撮像パラメータの最適化処理、及び色補正テーブルの更新処理の詳細な動作の流れを示すフローチャートである。

＜最適化前画像の取得（ステップＳ２１）＞
この図９のフローチャートにおいて、まず、パラメータ最適化部５２は、撮像装置５に対して通常の撮像画像用の撮像パラメータを設定する。この通常の撮像画像用の撮像パラメータに基づいて撮像された撮像画像（最適化前画像）を、取得部５１が撮像装置５から取得する。

一例として、撮像装置５は、図１０に示すように、運転手の顔領域を撮像する。図１０に点線で囲んでしめす撮像領域である、顔の鼻、及び鼻の周辺領域は、脈拍に伴う血液量変化によって画素値（特にＧ成分の値）が変化する。このため、この撮像領域の画素値の時間的な変化を解析することで、運転手の脈波を検出して脈波信号を生成できる。

＜撮像パラメータの最適化（ステップＳ２２）＞
次に、パラメータ最適化部５２は、脈波解析用の撮像パラメータを撮像装置５に設定する。すなわち、パラメータ最適化部５２は、撮像パラメータを脈波解析用の撮像パラメータに最適化する。脈波解析に最適な撮像画像は、信号雑音比の高い脈波信号を算出可能な撮像画像である。信号雑音比の高い脈波信号を用いることで、精度の高い疲労度の評価結果を得ることができる。

＜最適化後画像の取得（ステップＳ２３）＞
次に、取得部５１は、脈波解析用に最適化された撮像パラメータを用いて撮像された脈波解析用の撮像画像（最適化後画像）を撮像装置５から取得する。なお、撮像領域は、図１０を用いて説明した撮像領域と同じ撮像領域の撮像画像であることが望ましい。

＜色補正テーブルの作成（ステップＳ２４）＞
次に、色補正テーブル作成部５４は、ステップＳ２１で取得した最適化前画像の画素値と、ステップＳ２３で取得した最適化後画像の画素値の対応関係に基づき、最適化後画像の画素値を最適化前画像の画素値に補正するための色補正テーブルを作成する。色補正テーブルは、例えば最適化後の画素値と、最適化後の画素値に対応する最適化前の画素値の情報を、ＲＧＢの色毎に記憶したテーブルであり、記憶部１２に記憶される。例えば、Ｇの色補正テーブルを作成する場合、色補正テーブル作成部５４は、最適化後の各画素のＧ値と、最適化前の同画素のＧ値との関係をプロットし、その関係を所定の関数で近似することで、Ｇの色補正テーブルを作成する。Ｒの色補正テーブル、及びＢの色補正テーブルを作成する場合も同様である。

図１１は、最適化前画像の画素値と最適化後画像の画素値との関係を示す図である。撮像パラメータの最適化の際に、撮像装置５のゲインを大きく変更した場合、図９に示すように傾きが１より大きい直線で近似することができる。例えば、最適化前画像の画素値Ｇ０は、最適化後画像では画素値Ｇ１（＞Ｇ０）となる。

図１２に色補正テーブルの一例を示す。色補正テーブルには、最適化後の画素値と、それに対応する最適化前の画素値の情報が記憶される。この色補正テーブルを参照することで、最適化後画像の画素値から、対応する最適化前画像の画素値を決定することができる。なお、色補正テーブルは、最適化後画像の画素値と最適化前画像の画素値を対応づけることができれば、補正式を用いる等の他の方法を用いて作成してもよい。

＜色補正テーブルの更新（ステップＳ２５）＞
次に、色補正テーブル更新部５５は、記憶部１２に記憶された色補正テーブルを、ステップＳ２４で作成した色補正テーブルに更新する。画像変換部３４は、脈波の解析中において、脈波解析用の撮像画像の色合いを、更新した色補正テーブルを用いて、通常の撮像画像の色合いに補正する。これにより、脈波の解析中であっても、通常の色合いの撮像画像を表示できる。なお、この例では、ＲＧＢ表色系の色補正処理を行うこととしたが、この他、ＸＹＺ表色系、ＵＶＷ表色系又はＬＡＢ表色系の色補正処理を行ってもよい。

（撮像パラメータの最適化処理）
次に、図１３のフローチャートを用いて、図９のフローチャートのステップＳ２２における撮像パラメータの最適化処理の詳細な動作の流れを説明する。この図１３のフローチャートは、図９のフローチャートのステップＳ２１において、通常の撮像画像用の撮像パラメータで撮像された最適化前画像が取得されることでステップＳ３１から順に処理が行われる。

＜撮像パラメータの変更（ステップＳ３１）＞
まず、ステップＳ３１では、パラメータ最適化部５２が、撮像装置５の撮像パラメータを、脈波解析用の撮像画像用の撮像パラメータに変更する。具体的には、パラメータ最適化部５２は、露光時間、ゲイン、ガンマ値、ホワイトバランス等、取得される画像の画素値に影響を与えるパラメータを変更する。例えば、後述するステップＳ３５の判定において、撮像領域の画素値が基準より小さいと判定した場合、パラメータ最適化部５２は、ゲインをより大きな値に変更することで、撮像領域の画素値を大きくする。

また、予め最適な撮像パラメータを予測できる場合、パラメータ最適化部５２は、この予測される最適値に各撮像パラメータの値をそれぞれ設定する。一例ではあるが、過去に最適化された各撮像パラメータの値を記憶部１２に記憶しておき、パラメータ最適化部５２は、ステップＳ３１において、記憶部１２から撮像パラメータを読み出して撮像装置５に設定することで、最適値となる撮像パラメータの設定が可能となる。

＜生体画像の取得（ステップＳ３２）＞
次に、パラメータ最適化部５２は、ステップＳ３１で変更した脈波解析用の撮像パラメータを用いて撮像装置５で撮像された脈波解析用の撮像画像を、取得部５１を介して取得する。撮像する生体（この例の場合、運転手）の撮像領域は、撮像パラメータの変更前後で同じ撮像領域であることが好ましい。

＜肌領域の画素の抽出（ステップＳ３３）＞
次に、パラメータ最適化部５２は、ステップＳ３２で取得した撮像画像から、図１０を用いて説明した生体の肌領域（図１０の点線で囲んだ撮像領域）の画素を抽出する。生体の肌領域は、例えば、既存の顔認識技術を用いて目、鼻、口等の特徴点の座標を検出し、その座標の情報に基づき、図１０に示す撮像領域のように頬や鼻を含む矩形の領域を設定すればよい。パラメータ最適化部５２は、撮像画像の画素が、設定した肌領域内に位置する場合、その画素の画素値を抽出する。

＜肌色値の算出（ステップＳ３４）＞
次に、パラメータ最適化部５２は、ステップＳ３３で抽出した肌領域の画素の画素値から、生体の肌領域の色を表す肌色値を算出する。肌色値は、例えば肌領域の画素のＲＧＢ各色の平均値（Ｒ平均値、Ｇ平均値、Ｂ平均値）を用いて表すことができる。その他、肌領域の画素のＲＧＢ各色の中央値等を肌色値として用いてもよい。

＜肌色値が所定範囲内かの判定（ステップＳ３５）＞
次に、パラメータ最適化部５２は、ステップＳ３４で算出した肌色値が、予め設定した所定範囲内か否かを判定する。パラメータ最適化部５２は、例えばＲＧＢの各色について「所定範囲」を設定し、肌色値の各色の画素値がそれぞれ、この所定範囲内であるか否かを判定する。ステップＳ３４で算出した肌色値が所定範囲内であった場合、パラメータ最適化部５２は、この図１３のフローチャートの撮像パラメータの最適化処理を終了する。

これに対して、肌色値（特にＧ値）が所定範囲の下限値より小さい場合（ステップＳ３５：Ｎｏ）、図７のフローチャートのステップＳ１３で脈波信号を生成した際に、必要とする信号雑音比の脈波信号が得られない可能性がある。このため、パラメータ最適化部５２は、処理をステップＳ３１に戻し、肌色値（特にＧ値）が所定範囲の下限値以上となるように、撮像装置５の撮像パラメータを変更する。これに対して、肌色値が所定範囲の上限値より大きい場合（ステップＳ３５：Ｎｏ）、脈波の検出中に顔に当たる光の量が変化すると、画素値が飽和して脈波の検出が困難となる可能性がある。このため、肌色値が所定範囲の上限値より大きい場合、パラメータ最適化部５２は、ステップＳ３１に処理を戻し、顔に当たる光の量が変化しても画素値が飽和しないように、撮像装置５の撮像パラメータを変更する。

肌色値が所定の範囲外となる場合は（輝度が低い場合又は高い場合）、脈波信号の信号雑音比が低下するため、撮像パラメータを変更することで信号雑音比を改善することができる。また肌色値が所定の範囲内となっている場合は、撮像パラメータを変更しなくても高い信号雑音比の脈波信号を取得することができるため、撮像パラメータを変更しないことで調整にかかる時間を省略することができる。

（脈波信号の算出処理）
次に、図１４のフローチャートを用いて、図７のフローチャートのステップＳ１３における脈波信号の算出の詳細な動作の流れを説明する。この図１４のフローチャートは、図７のフローチャートのステップＳ１２において、脈波解析用の撮像パラメータで撮像された最適化後画像が取得されることで、ステップＳ４１から順に処理が行われる。

＜肌領域の画素の抽出（ステップＳ４１）＞
まず、脈波計算部３２は、ステップＳ４１において、ステップＳ１２で取得した脈波解析用の撮像画像から、図１０に示した肌領域（撮像領域）の画素を抽出する。

＜肌領域の画素値の平均化（ステップＳ４２）＞
次に、生体の脈拍に起因する画素値の変化は、微小な変化であり、１画素単位ではノイズの影響が大きい。このため、脈波計算部３２は、ステップＳ４１で抽出した肌領域の各画素値をＲＧＢの色毎に平均化し、ＲＧＢの平均化信号を生成する。これにより、脈波信号に対するノイズの影響を低減できる。

＜ＲＧＢ信号の合成（ステップＳ４３）＞
次に、脈波計算部３２は、以下の演算式に基づいて、ステップＳ４２で生成したＲＧＢの平均化信号を合成処理（加算処理）し、脈波信号を生成する。

ｐ_０（ｎ）＝（ａ_ｒ×ｒ（ｎ））＋（ａ_ｇ×ｇ（ｎ））＋（ａ_ｂ×ｂ（ｎ））

この演算式において、ｐ_０（ｎ）、ｒ（ｎ）、ｇ（ｎ）、及びｂ（ｎ）は、それぞれｎフレーム目における脈波信号、Ｒ信号、Ｇ信号、Ｂ信号の信号値を表す。また、ａ_ｒ、ａ_ｇ、ａ_ｂは、各信号の重み付け係数を表す。一例ではあるが、各信号の重み付け係数として、ａ_ｒ＝０、ａ_ｇ＝１、ａ_ｂ＝０を用いることができる。

脈拍による信号値の変化は、Ｇ信号に対して最も顕著に現れる。よって、Ｇ信号を脈波信号として用いて脈波指標を算出することができる。また、別の例として、各信号の重み付け係数は、ａ_ｒ−ｋ（ｋは、正の値）、ａ_ｇ＝１、ａ_ｂ＝０を用いることができる。すなわち、Ｇ信号から係数ｋで補正したＲ信号を減算処理した信号値を脈波信号として用いる。これにより、Ｇ信号に含まれる体動等に起因するノイズ成分を低減することができる。係数ｋは、脈波信号に含まれるノイズ成分が最小となるように決定することが望ましい。また、係数ｋはフレーム毎に最適化した値を用いてもよい。

＜周波数解析によるノイズの低減（ステップＳ４４）＞
次に、脈波計算部３２は、ステップＳ４３で算出した脈波信号に対して周波数解析を行い、脈波信号に含まれるノイズ成分を除去する。ノイズ成分の除去手法としては、脈波信号に、例えば以下の（１）〜（３）の一連の処理を適用する手法を用いる。すなわち、
（１）フーリエ変換処理により脈波信号のパワースペクトルを算出し、
（２）算出したパワースペクトルから、バンドパスフィルターにより、脈波成分に起因するピークを含む周波数帯を抽出し、
（３）抽出した周波数帯域の脈波信号に逆フーリエ変換処理を施すことで、ノイズ成分を除去する。

図１５は、このようなノイズ除去処理を施した脈波信号の一例を示す図である。この図１５の横軸は、撮像開始からの経過時間を表す。各フレームの時間間隔Δｔが一定の場合、経過時間ｔは、ｔ＝ｎΔｔで算出できる。図１５の縦軸は、脈波信号の信号値（８ｂｉｔ換算時）を表す。この図１５からわかるように、脈波信号は、脈拍に応じて周期的に信号値が変化する時系列データである。この脈波信号は、運転手の端末装置１からサーバ装置３に送信される。サーバ装置３は、以下に説明するように、脈波信号に基づいて、運転手の疲労度を評価し、この評価結果を、上述のように運転手の端末装置１、及び管理者の端末装置２の双方に送信する。

（疲労度の評価処理）
次に、図１６のフローチャートを用いて、サーバ装置３で行われる疲労度の評価処理を説明する。

＜脈拍間隔の検出（ステップＳ５１）＞
まず、図５に示すサーバ装置３の脈拍間隔検出部４１は、運転手の端末装置１から受信した上述の脈波信号の脈拍間隔を検出する。脈波信号から検出したｍ番目の脈拍のピーク時間をＴｍ、ピーク時間Ｔｍにおける脈拍間隔をＩ（Ｔｍ）とすると、Ｉ（Ｔｍ）は次式で算出できる。

Ｉ（Ｔｍ）＝Ｔｍ−Ｔ_ｍ−１

脈拍のピーク時間は、例えば脈波信号が極大となる時間を用いることができる。脈波信号が極大となる時間は、光電式容積脈波計（ＰＰＧ）で測定された容積脈波の立ち上がり開始時間に相当し、次に極大となる時間までの時間区間が１拍分の波形に対応する。このとき、ｍ番目の脈拍のピーク時間 は、ｍ−１番目の脈拍の波形において信号値が極小となる時間から、ｍ番目の脈拍の波形おいて信号値が極小となるまでの時間区間の中で、信号値が最大となる時間から算出できる。脈拍のピーク時間は、脈波信号が極小となる時間を用いても良い。また、脈波信号が極小となる時間は、光電式容積脈波計で測定された容積脈波の振幅が最大となる時間に相当する。なお、脈拍のピーク時間は、ピーク近傍の信号値に基づいて補正した補正ピーク時間を用いても良い。

＜リサンプリング（ステップＳ５２）＞
次に、ステップＳ５２では、リサンプリング部が、ステップＳ５１で検出した脈拍間隔の時系列データの時間間隔が等間隔になるように、リサンプリング処理を行う。リサンプリング処理の時間間隔は、例えば０．２５（ｓｅｃ）となっている。リサンプリング処理する経過時間における信号値は、例えば線形補間手法又はスプライン補間手法等を用いて補間処理する。

＜パワースペクトルの算出（ステップＳ５３）＞
次に、パワースペクトル算出部４３が、ステップＳ５２で算出した脈拍間隔の時系列データから、パワースペクトルを算出する。パワースペクトルを算出する手法としては、既知の周波数解析手法を用いることができる。例えば、最大エントロピー法によって指定の周波数におけるパワーを求めることができる。ラグ等のパラメータは適当な値を設定すればよい。

＜疲労指標の算出（ステップＳ５４）＞
次に、疲労指標算出部４４は、ステップＳ５３で算出したパワースペクトルに基づき、疲労指標を算出する。疲労指標の算出は、既知の方法を用いれば良い。例えば、０．０４〜０．１５（Ｈｚ）の周波数帯のパワー積分値をＬＦ値（LF：Low Frequency、低周波値）、０．１５〜０．４０（Ｈｚ）の周波数帯のパワー積分値をＨＦ値（HF：Hi Frequency、高周波値）として、その比をとることで疲労指標であるＬＦ／ＨＦ値を算出することができる。

すなわち、ＨＦ値は、例えば３秒〜４秒程度の周期を持つ呼吸を信号源とする変動波、又は、その周波数領域のパワースペクトルの合計量を指す値である。また、ＬＦ値は、メイヤー波と呼ばれる約１０秒周期の血圧変化を信号源とする変動波、又は、その周波数領域のパワースペクトルの合計量を指す値である。疲労指標算出部４４は、交感神経と副交感神経の緊張状態のバランスに応じて、心拍変動へのＨＦの変動波とＬＦの変動波の大きさが変わることを利用して、心拍変動から自律神経のバランス（ＬＦ／ＨＦ値＝疲労指標）を推定する。

一例ではあるが、サーバ装置３は、例えば「０．８」等のＬＦ／ＨＦ値（、及び所定のメッセージ、アルコールチェック結果等）を、疲労度の評価結果として運転手の端末装置１、及び管理者の端末装置２の双方に送信する。運転手は、疲労度の評価結果に基づいて運転の実行又は休暇の取得を自己判断し、管理者は、疲労度の評価結果に基づいて、運転手に対する運行の許可又は不許可の判断を行う。

（第１の実施の形態の効果）
以上の説明から明らかなように、第１の実施の形態のＴＶ会議システムは、脈波解析用の撮像パラメータで撮像した脈波解析用の撮像画像に基づいて、運転手の脈波を検出し、この脈波に基づいて、運転手の疲労度を解析して、運転手、及び管理者の各端末装置１，２に提供する。また、脈波を検出している間の撮像画像を、通常の色合いの撮像画像に補正して出力する。これにより、脈波を検出している間であっても、各端末装置１，２間で送受信している撮像画像が、通常とは異なる色合いとなる不都合を防止できる。従って、ＴＶ会議システムで運転手の点呼を行いながら、自然な流れで脈波等の生体情報を取得して運転手の疲労度の評価等を行うことができる。

ここで、テレビ会議に最適な撮像画像とは、見た目に近い色が再現されている画像である。この画像から得られる運転手の肌領域のＲＧＢ値は、例えば、図１７（ａ）に示すようになる。すなわち、肌内部の血管中に存在するヘモグロビン色素の影響でＢ、及びＧの波長域の光が強く吸収されるため、信号値は一般的にＲが最も大きく、次いでＧ、Ｂの順となる。また、肌内部のメラニン色素の影響で、可視波長域の光が全体的に吸収されるため、ＲＧＢの信号値は全体的にやや低い値となることが多い。

テレビ会議時にこのような画像を用いると、テレビ会議を介さずに直接対面で対話する場合と近い感覚で対話をすることができる。また、対象者の顔色を見て、健康状態を推測することも可能である。

しかし、上述したテレビ会議に最適な画像（通常の撮像パラメータで撮像した撮像画像）を脈波解析に用いた場合、信号雑音比の高い脈波信号を得ることができず、疲労度等を精度よく評価することが困難となる。

すなわち、画像から脈波信号を算出する技術は、脈拍に伴い血中のヘモグロビン量が増減すると、肌領域からの反射光量が変化し、撮像装置のセンサ受光量が変化することを利用しているが、このときのセンサ受光量の変化は非常に微小な変化となる。このため、図１７（ａ）に示すように、肌領域の信号レベルが低いと、肌領域のセンサ受光量が変化しても、量子化後の信号値が変化せず、脈波の情報が得られないことがある。よって、画像から取得できる脈波信号の信号雑音比が悪化する。この問題は、量子化後のビット数が低い場合（８ｂｉｔなど）に起こりやすい。

一方、脈波解析に最適な画像とは、肌領域のＧ信号値が高く、かつＲ信号値が飽和しないカラーバランス（色合い）を再現できている画像である。この画像から得られる運転手の肌領域のＲＧＢ値は、例えば図１７（ｂ）のようになる。肌領域のＲＧＢ値が、図１７（ｂ）となるような画像は、撮像装置のホワイトバランス、及びゲインを調整することで得ることができる。

すなわち、撮像画像全体（ＲＧＢ画像全体）のゲインを大きくする際に、Ｒ信号が飽和しないように、Ｒ信号値を下げ、Ｂ信号値を上げるように（赤みを抑え、青みを強調するように）調整する。最も大きいＲ信号値を下げ、最も小さいＢ信号値を上げ、ＲＧＢ各信号値のレベルが同じようなレベルとすることで、撮像画像全体（ＲＧＢ画像全体）のゲインを大きくする際に、信号値が飽和するまでに余裕が生じ、調整しない場合と比較すると、ゲインをより大きくすることができる。

このように、ＲＧＢ各信号値のレベルを調整し、撮像画像全体（ＲＧＢ画像全体）のゲインを大きくすると、肌領域のＲＧＢ値が図１７（ｂ）に示す信号値となる画像を得ることができる。そして、図１７（ｂ）に示す信号値となる画像を用いると、脈拍に伴う血中のヘモグロビン量の増減に応じた撮像装置のセンサ受光量の微小な変化を、適切に捉えることができる。

脈波解析時に図１７（ｂ）のように肌領域のＧ信号値が高い画像を用いると、脈拍に伴う肌領域のセンサ受光量の変化によって、量子化後の信号値が変化しやすくなるため、撮像画像から信号雑音比の高い脈波信号を算出することができる（図１５参照）。これにより、運転手の疲労度等を精度よく評価することができる。

また、脈波解析用の撮像画像は、上述したようにホワイトバランス、及びゲインの値等を調整しているため、見た目の色とは異なる不自然な色の画像となり、テレビ会議に使用した場合は、表示される画像に違和感を覚え、また、運転手の顔色も分かりづらい。このため、実施の形態のＴＶ会議システムでは、脈波解析用の撮像画像を通常の色合いの撮像画像に補正して出力する。これにより、脈波を検出している間であっても、各端末装置１，２間で送受信する撮像画像を、通常の色合いの撮像画像とすることができる。

（第２の実施の形態）
次に、第２の実施の形態のＴＶ会議システムの説明をする。上述の第１の実施の形態のＴＶ会議システムは、ＴＶ会議用（点呼用）の画像の配信制御、及び運転手の疲労度の評価を、一つのサーバ装置３で行う例であった。これに対して、第２の実施の形態のＴＶ会議システムは、ＴＶ会議用（点呼用）の画像の配信制御を行うサーバ装置、及び運転手の疲労度の評価を行うサーバ装置を、それぞれ設けた例である。なお、上述の第１の実施の形態と、以下に説明する第２の実施の形態は、この点のみが異なる。このため、以下、両者の差異の説明のみ行い、重複説明は省略する。

図１８は、第２の実施の形態のＴＶ会議システムのシステム構成図である。この図１８に示すように、第２の実施の形態のＴＶ会議システムは、第１のサーバ装置１０１、及び第２のサーバ装置１０２を有している。各サーバ装置１０１、１０２は、それぞれネットワーク４を介して、運転手側の端末装置１、及び管理者側の端末装置２に接続されている。

このようなＴＶ会議システムにおいて、運転手の端末装置１は、画像変換部３４でテレビ会議用に通常の色合いの撮像画像に変換された表示用画像を、ネットワーク４を介して第１のサーバ装置１０１に送信する。第１のサーバ装置１０１は、表示用画像を管理者の端末装置２に転送する。これにより、脈波の解析中であっても、管理者の端末装置２に接続されている表示装置１９に、運転手の顔の表示用画像を通常の色合いで表示される。

また、運転手の端末装置１は、脈波計算部３２で計算された運転手の脈波信号を、ネットワーク４を介して第２のサーバ装置１０２に送信する。第２のサーバ装置１０２は、この脈波信号を受信して所定時間蓄積後に解析し、運転手の疲労度を評価する。疲労度の評価結果は、運転手の端末装置１、及び管理者の端末装置２に、それぞれ転送される。

このような第２の実施の形態のＴＶ会議システムは、テレビ会議のための表示用画像を取り扱うサーバ装置（第１のサーバ装置１０１）と、脈波の解析、及び疲労度の評価を行うサーバ装置（第２のサーバ装置１０２）が、それぞれ独立している。このため、ＣＰＵに負荷のかかる脈波解析、及び疲労度の評価処理を、専用の第２のサーバ装置１０２で実行できる。従って、上述の第１の実施の形態と同じ効果の他、テレビ会議のための表示用画像を取り扱う第１のサーバ装置１０１で処理の遅延等の障害が発生する不都合を防止できる。また、脈波解析手法を、より効果の高い手法に変更する等のメンテナンスを実施する場合でも、テレビ会議用の第１のサーバ装置１０１を稼働した状態で実施することができるため、メンテナンスを容易化することができる。

（第３の実施の形態）
次に、第３の実施の形態のＴＶ会議システムの説明をする。上述の各実施の形態のＴＶ会議システムは、ＴＶ会議に用いる表示用画像、及び脈波の解析用画像を、運転手の端末装置１側で生成する例であった。これに対して、第３の実施の形態のＴＶ会議システムは、ＴＶ会議に用いる表示用画像、及び脈波の解析用画像を、撮像装置５側で生成する例である。なお、上述の各実施の形態と、以下に説明する第３の実施の形態は、この点のみが異なる。このため、以下、両者の差異の説明のみ行い、重複説明は省略する。

図１９は、第３の実施の形態のＴＶ会議システムの運転者の端末装置１に接続されている撮像装置５の要部のブロック図である。この図１９に示すように、撮像装置５は、パラメータ設定部５３で設定された撮像パラメータで、被写体を撮像して撮像信号を生成する計測部１５１を有している。また、撮像装置５は、計測部１５１からの撮像信号に基づいて、ＴＶ会議で用いる表示用画像を生成する表示用画像生成部１５２と、計測部１５１からの撮像信号に基づいて、脈波解析用画像を生成する解析用画像生成部１５３とを有している。

表示用画像生成部１５２は、計測部１５１で生成された画像のＲＧＢの各チャンネルの信号値に対して所定の補正を施し、補正した信号値を量子化して表示用画像を生成する。ここで得られる表示用画像は、図７のフローチャートのステップ１５の色補正処理で得られる表示用画像に相当し、各チャンネルの信号値が表示用として最適な色再現となるように補正された画像である。

脈波解析用画像生成部１５３は、計測部１５１生成された画像のＲＧＢの各チャンネルの信号値に対して所定の補正を施し、補正した信号値を量子化して脈波解析用画像を生成する。ここで得られる脈波解析用画像は、図７のフローチャートのステップ１２で取得される脈波解析用画像に相当し、各チャンネルの信号値が脈波解析に最適な色再現となるように補正された画像である。

運転手の端末装置１の画像取得部３３は、撮像装置５の表示用画像生成部１５２で生成された表示用画像、及び解析用画像生成部１５３で生成された脈波解析用画像を取得する。表示用画像は、サーバ装置３（又は第１のサーバ装置１０１）に送信され、テレビ会議に用いられる。これに対して、脈波解析用画像は、端末装置１の脈波計算部３２により、脈波信号の生成に用いられる。生成された脈波信号は、サーバ装置３（又は第２のサーバ装置１０２）に送信され、疲労度の評価に用いられることは上述のとおりである。

なお、表示用画像生成部１５２、及び解析用画像生成部１５３は、ハードウェアで実現してもよいし、ソフトウェアで実現してもよい。

このような第３の実施の形態のＴＶ会議システムは、ＴＶ会議に用いる表示用画像、及び脈波の解析に用いる脈波解析用画像を撮像装置５側で生成できるため、端末装置１のＣＰＵ１１の負担を大幅に軽減できる他、上述の第１の実施の形態、及び第２の実施の形態と同様の効果を得ることができる。

最後に、上述の実施の形態は、本発明の一例であり、本発明の発明の範囲を限定することは意図していない。この新規な実施の形態は、その他の様々な形態で実施可能である。また、発明の要旨を逸脱しない範囲で、実施の形態に対する種々の省略、置き換え、変更を行うことも可能である。

例えば、上述の実施の形態の説明では、生体情報として脈波を検出することとしたが、これは、瞳孔等の他の生体情報を検出してもよい。この場合でも、上述と同様の効果を得ることができる。

また、撮像装置５で、１人のみならず、複数の対象者を撮像し、各対象者の疲労度をそれぞれ評価してもよい。この場合でも、上述と同様の効果を得ることができる。

また、上述の各実施の形態は、本発明をＴＶ会議システムに適用した例であったが、例えば空港、ショッピングモール、駅構内、道路等で利用者又は通行人を撮像し、この撮像画像に基づいて健康状態等を判別するシステムに適用してもよい。この場合でも、上述と同様の効果を得ることができる。

また、上述のＣＰＵ１１、及びＣＰＵ２１としては、ソフトウェアによって各機能を実行するようにプログラムされたプロセッサ、及び各機能を実行するよう設計されたＡＳＩＣ（Application Specific Integrated Circuit）、ＩＣ（Integrated Circuit）又は回路モジュールなどのハードウェアを含むものとする。

また、上述の実施の形態は、情報処理技術分野における通常の知識を有した技術者であれば、ＡＳＩＣ（Application Specific Integrated Circuits）、及び従来の回路モジュールを接続して構成した装置によって実施することが可能である。

また、上述の実施の形態に記載された各機能は、それぞれ、一又は複数の処理回路（Circuit）によって実現することが可能である。なお、「処理回路」とは、ソフトウェアによって各機能を実行するようプログラムされたプロセッサ、各機能を実行するように設計されたＡＳＩＣ、及び回路モジュール等のハードウェアを含むものとする。

このような実施の形態、及び変形例は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１ 端末装置
２ 端末装置
３ サーバ装置
４ ネットワーク
５ 撮像装置
６ 撮像装置
１１ ＣＰＵ
１２ 記憶部
１３ 入出力制御部
１４ 通信部
１５ バスライン
１６ 入力装置
１７ マイクロホン装置
１８ スピーカ装置
１９ 表示装置
２１ ＣＰＵ
２２ 記憶部
２３ 通信部
３１ カメラ制御部
３２ 脈波計算部
３３ 画像取得部
３４ 画像変換部
３５ 通信制御部
３６ 表示制御部
４１ 脈拍間隔検出部
４２ リサンプリング部
４３ パワースペクトル算出部
４４ 疲労指標算出部
５１ 取得部
５２ パラメータ最適化部
５３ パラメータ設定部
５４ 色補正テーブル作成部
５５ 色補正テーブル更新部
１０１ 第１のサーバ装置
１０２ 第２のサーバ装置
１５１ 計測部
１５２ 表示用画像生成部
１５３ 解析用画像生成部

特許第６１０４４５８号公報

Claims (10)

1. 通常撮像画像である第１撮像画像を得るための第１パラメータ、及び生体情報の解析用の第２撮像画像を得るための第２パラメータの一方を撮像部に設定するパラメータ設定部と、
   前記第２撮像画像から生体情報を生成する生体情報生成部と、
   前記パラメータ設定部で前記第２パラメータが設定されることで前記第２撮像画像が得られている間、前記第２撮像画像の色合いを、前記第１撮像画像の色合いに補正した補正画像を生成する色補正部と、
   前記生体情報生成部で生成された生体情報を出力し、前記パラメータ設定部により前記第１パラメータが設定されている間、前記第１撮像画像を出力し、前記パラメータ設定部により前記第２パラメータが設定されている間、前記色補正部で前記第１撮像画像の色合いに補正された前記補正画像を出力する出力制御部と、
   を有する情報処理装置。
2. 前記パラメータ設定部は、
   撮像部からの撮像画像の肌色値が所定の範囲内となるように調整した前記第２パラメータを前記撮像部に設定すること
   を特徴とする請求項１に記載の情報処理装置。
3. 前記色補正部は、
   前記第１撮像画像の色情報と、前記第２撮像画像の色情報との対応関係を示す色補正情報が画素毎に記憶された色補正情報記憶部を作成する作成部を有し、
   前記色補正情報記憶部に記憶されている前記色補正情報に基づいて、前記第２撮像画像の色合いを、前記第１撮像画像の色合いに補正した前記補正画像を生成すること
   と特徴とする請求項１又は請求項２に記載の情報処理装置。
4. 前記第１撮像画像の色情報、及び前記第２撮像画像の色情報は、複数の色成分で形成されており、
   前記生体情報生成部は、所定の重み付け係数を乗算処理した各前記色情報を加算処理することで前記生体情報を生成すること
   を特徴とする請求項１から請求項３のうち、いずれか一項に記載の情報処理装置。
5. 通常撮像画像である第１撮像画像を得るための第１パラメータ、及び生体情報の解析用の第２撮像画像を得るための第２パラメータの一方を撮像部に設定するパラメータ設定ステップと、
   前記第２撮像画像から生体情報を生成する生体情報生成ステップと、
   前記パラメータ設定ステップで前記第２パラメータが設定されることで前記第２撮像画像が得られている間、前記第２撮像画像の色合いを、前記第１撮像画像の色合いに補正した補正画像を生成する色補正ステップと、
   前記生体情報生成ステップで生成された生体情報を出力し、前記パラメータ設定ステップで前記第１パラメータが設定されている間、前記第１撮像画像を出力し、前記パラメータ設定ステップで前記第２パラメータが設定されている間、前記色補正ステップで前記第１撮像画像の色合いに補正された前記補正画像を出力する出力制御ステップと、
   を有する情報処理方法。
6. 通常撮像画像である第１撮像画像を得るための第１パラメータ、及び生体情報の解析用の第２撮像画像を得るための第２パラメータの一方を撮像部に設定するパラメータ設定ステップと、
   前記第２撮像画像から生体情報を生成する生体情報生成ステップと、
   前記パラメータ設定ステップで前記第２パラメータが設定されることで前記第２撮像画像が得られている間、前記第２撮像画像の色合いを、前記第１撮像画像の色合いに補正した補正画像を生成する色補正ステップと、
   前記生体情報生成ステップで生成された生体情報を出力し、前記パラメータ設定ステップで前記第１パラメータが設定されている間、前記第１撮像画像を出力し、前記パラメータ設定ステップで前記第２パラメータが設定されている間、前記色補正ステップで前記第１撮像画像の色合いに補正された前記補正画像を出力する出力制御ステップと、
   をコンピュータに実行させることを特徴とする情報処理プログラム。
7. 請求項１から請求項４のうち、いずれか一項に記載の情報処理装置と、
   他の情報処理装置と、
   所定のネットワークを介して、前記情報処理装置及び前記他の情報処理装置の間の通信を中継するサーバ装置と、
   を備えたテレビ会議システムであって、
   前記サーバ装置は、前記情報処理装置から受信した前記生体情報を解析することで得られた評価結果を、前記情報処理装置及び前記他の情報処理装置にそれぞれ送信し、
   前記情報処理装置は、前記サーバ装置から前記評価結果を取得し、
   前記他の情報処理装置は、前記情報処理装置から出力された前記第１撮像画像及び前記補正画像を、前記ネットワークを介して取得し、前記サーバ装置からの前記評価結果を前記ネットワーク介して取得すること
   を特徴とするテレビ会議システム。
8. 前記サーバ装置は、
   前記第１撮像画像の中継を行う第１のサーバ装置と、
   前記生体情報の解析、及び評価を行い、前記評価結果を前記情報処理装置、及び前記他の情報処理装置にそれぞれ送信する第２のサーバ装置と、を備えること
   を特徴とする請求項７に記載のテレビ会議システム。
9. 請求項１から請求項４のうち、いずれか一項に記載の情報処理装置と、
   他の情報処理装置と、
   所定のネットワークを介して、前記情報処理装置及び前記他の情報処理装置の間の通信を中継するサーバ装置と、
   を備えた生体情報取得システムであって、
   前記サーバ装置は、前記情報処理装置から受信した前記生体情報を解析することで得られた評価結果を、前記情報処理装置及び前記他の情報処理装置にそれぞれ送信し、
   前記情報処理装置は、前記サーバ装置から前記評価結果を取得し、
   前記他の情報処理装置は、前記情報処理装置から出力された前記第１撮像画像及び前記補正画像を、前記ネットワークを介して取得し、前記サーバ装置からの前記評価結果を前記ネットワーク介して取得すること
   を特徴とする生体情報取得システム。
10. 前記サーバ装置は、
    前記第１撮像画像の中継を行う第１のサーバ装置と、
    前記生体情報の解析、及び評価を行い、前記評価結果を前記情報処理装置、及び前記他の情報処理装置にそれぞれ送信する第２のサーバ装置と、を備えること
    を特徴とする請求項９に記載の生体情報取得システム。

Images