JP7456274B2 - 撮像制御装置、およびプログラム - Google Patents

撮像制御装置、およびプログラム Download PDF

Info

Publication number
JP7456274B2
JP7456274B2 JP2020083336A JP2020083336A JP7456274B2 JP 7456274 B2 JP7456274 B2 JP 7456274B2 JP 2020083336 A JP2020083336 A JP 2020083336A JP 2020083336 A JP2020083336 A JP 2020083336A JP 7456274 B2 JP7456274 B2 JP 7456274B2
Authority
JP
Japan
Prior art keywords
imaging
unit
biological
signal value
imaging unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020083336A
Other languages
English (en)
Other versions
JP2021177822A (ja
Inventor
一樹 船橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2020083336A priority Critical patent/JP7456274B2/ja
Publication of JP2021177822A publication Critical patent/JP2021177822A/ja
Application granted granted Critical
Publication of JP7456274B2 publication Critical patent/JP7456274B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)

Description

本発明は、撮像制御装置、およびプログラムに関する。
心臓の血液駆出に伴う血管の膨張・収縮を表す脈波信号(生体信号の一例)を、撮像部で撮影した反射光画像(生体画像の一例)を用いて非接触で計測する技術が開発されている。撮像部の受光素子で受光する生体の肌領域からの反射光量は、血中のヘモグロビン量によって変化するため、反射光画像を一定時間連続して撮影し、当該反射光画像に基づいて、肌領域からの反射光量の変化を解析することにより、生体の脈波信号を取得することができる。
反射光画像を用いて非接触で脈波信号を取得する技術は、従来の接触式の脈波信号の計測技術と比較して、計測装置を装着することによる煩わしさが無いことや、PC(Personal Computer)に内蔵されている汎用カメラ等を計測に利用することができるため、専用の計測装置を準備する必要が無いという利点がある。そのため、反射光画像を用いて脈波信号のピーク数やピーク間隔を高精度に測定することができれば、より簡単に、脈拍数や脈拍間隔等の生体指標を評価することが可能である。
しかしながら、反射光画像を用いて取得する脈波信号は、接触式の計測技術で測定された脈波信号と比較して、信号雑音比(S/N比)が小さく、脈拍間隔等の生体指標の算出精度が低くなる場合がある。
本発明は、上記に鑑みてなされたものであって、信号雑音比が大きい生体信号を検出できる生体画像を撮像可能とする撮像制御装置、およびプログラムを提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明は、撮像部によって生体を撮像した生体画像を取得する生体画像取得部と、前記生体画像取得部により取得される前記生体画像内における前記生体の生体位置が所定位置であるか否かを判定し、前記撮像部によって前記生体を撮像した前記生体画像に基づいて、前記生体の生体信号を検出する生体画像解析部と、前記生体位置が前記所定位置であると判定された後かつ前記生体信号の検出前に前記撮像部の撮像パラメータを制御する撮像制御部と、を備える。前記撮像パラメータは、前記撮像部が有する受光素子により受光する単位時間当たりの受光量を入力とし、前記生体画像の色信号値を出力とした場合における入出力の関係を示す入出力カーブを変化させる前記撮像部のパラメータであり、前記撮像制御部は、前記生体位置の画素のG信号値の度数分布が、下記の式(1)および式(2)を満たすように、前記撮像パラメータを制御する。
σg>σg0・・・(1)
2σg<μg<1-2σg・・・(2)
ここで、前記G信号値は、0~1に規格化されている。また、σg0は、前記撮像パラメータの制御前における前記G信号値の標準偏差を表す。また、μgは、前記撮像パラメータの制御後における前記G信号値の平均値を表す。また、σgは、前記撮像パラメータの制御後における前記G信号値の標準偏差を表す。
本発明によれば、信号雑音比が大きい生体信号を検出できる生体画像を撮像可能とする、という効果を奏する。
図1は、第1の実施の形態にかかる撮像制御装置による撮像部の撮像パラメータの制御結果の一例を説明するための図である。 図2は、第1の実施の形態にかかる撮像制御装置により制御される撮像部の入出力カーブの一例を説明するための図である。 図3は、第1の実施の形態にかかる撮像制御装置により制御される撮像部の入出力カーブの一例を説明するための図である。 図4は、第1の実施の形態にかかる撮像制御装置により制御される撮像部により撮像される生体画像から検出される脈波信号の一例を説明するための図である。 図5は、第1の実施の形態にかかる撮像制御装置により制御される撮像部の構成の一例を示す図である。 図6は、従来の撮像部における入出力カーブの一例を示す図である。 図7は、第1の実施の形態にかかる撮像制御装置により制御される撮像部により撮像される生体画像の一例を説明するための図である。 図8は、第1の実施の形態にかかる撮像制御装置による撮像部の非線形変換パラメータの制御処理の一例を説明するための図である。 図9は、第1の実施の形態にかかる撮像制御装置による撮像部の線形変換パラメータの制御処理の一例を説明するための図である。 図10は、第1の実施の形態にかかる撮像制御装置によって非線形変換パラメータ制御処理および線形変換パラメータ制御処理を実行した撮像部100の入出力カーブの一例を示す図である。 図11は、第1の実施の形態にかかる撮像制御装置のハードウェア構成の一例を示すブロック図である。 図12は、第1の実施の形態にかかる撮像制御装置の機能構成の一例を示すブロック図である。 図13は、第1の実施の形態にかかる撮像制御装置による撮像部の線形変換パラメータ制御処理の一例を説明するための図である。 図14は、第1の実施の形態にかかる撮像制御装置による撮像部の非線形変換パラメータの制御処理の一例を説明するための図である。 図15は、第1の実施の形態にかかる撮像制御装置が記憶する撮像パラメータの初期値の一例を示す図である。 図16は、第1の実施の形態にかかる撮像制御装置による非線形変換パラメータの選定処理の流れの一例を示すフローチャートである。 図17は、第1の実施の形態にかかる撮像制御装置による撮像部の撮像パラメータの制御処理の流れの一例を示すフローチャートである。 図18は、第1の実施の形態にかかる撮像制御装置による線形変換パラメータの第1制御方法の流れの一例を示すフローチャートである。 図19は、第1の実施の形態にかかる撮像制御装置によって取得する生体画像の一例を示す図である。 図20は、第1の実施の形態にかかる撮像制御装置に記憶される線形変換テーブルの一例を示す図である。 図21は、μgにおける撮像部の入出力カーブの傾きによる脈波信号の信号雑音比の分布の変化の一例を説明するための図である。 図22は、傾き係数と、脈波信号の信号雑音比が精度担保に必要な信号雑音比を下回る確率と、の関係の一例を示す図である。 図23は、第1の実施の形態にかかる撮像制御装置による撮像パラメータの制御処理の全体の流れの一例を示すフローチャートである。 図24は、第2の実施の形態にかかる撮像制御装置による線形変換パラメータの第2制御方法の流れの一例を示すフローチャートである。 図25は、第3の実施の形態にかかる撮像制御装置による線形変換パラメータの第3制御方法の流れの一例を示すフローチャートである。
以下に添付図面を参照して、撮像制御装置、およびプログラムの実施の形態を詳細に説明する。
本実施の形態は、信号雑音比(S/N比)が大きい生体信号(例えば、脈波信号)を検出可能な反射光画像(例えば、動画像。以下、生体画像という。)を、汎用のカメラを用いて撮像することを可能とする撮像制御装置、およびプログラムである。
信号雑音比が大きい生体信号(例えば、脈波信号)を検出可能な生体画像とは、当該生体画像に含まれる肌領域等の生体位置の画素の色信号値が生体の脈拍の周期で変化し、かつその変化量が大きい特性を持った画像である。従来、そのような特性を持った生体画像を撮像するためには、専用の高感度カメラや高ビット数(例えば、10ビット以上)のカメラを用いる必要があり、PC(Personal Computer)やスマートフォンに内蔵されているような低感度かつ低ビット数(例えば、8ビット)の汎用のカメラでは、上記の特性を持った生体画像を撮像することは困難である。
この課題に対して、生体画像に含まれる肌領域等の生体位置の画素のG信号値の度数分布(ヒストグラム)が広がるように、カメラの撮像パラメータを制御することにより、汎用のカメラを用いた場合であっても、上記の特性を持った生体画像を撮像することが可能となる。
図1は、第1の実施の形態にかかる撮像制御装置による撮像部の撮像パラメータの制御結果の一例を説明するための図である。まず、図1を用いて、本実施の形態にかかる撮像制御装置による撮像部の撮像パラメータの制御結果の一例について説明する。図1に示すヒストグラムの縦軸は、生体画像I内の肌領域200の画素のG信号値の画素数を表す。また、図1に示すヒストグラムの横軸は、生体画像I内の肌領域200の画素のG信号値を表す。
従来の撮像部によって撮像される生体画像I内の肌領域200の画素のG信号値のヒストグラムは、図1に示すように、広がりが小さい。そのため、当該生体画像Gから検出される脈波信号等の生体信号の信号雑音比が小さくなり、生体指標の算出精度が低くなる場合がある。それに対して、本実施の形態にかかる撮像制御装置により撮像パラメータを制御した撮像部によって撮像される生体画像I内の肌領域200の画素のG信号値のヒストグラムは、図1に示すように、広がりが大きくなる。そのため、当該生体画像Iから検出される生体信号の信号雑音比が大きくなり、生体指標の算出精度が高くすることができる。
図2および図3は、第1の実施の形態にかかる撮像制御装置により制御される撮像部の入出力カーブの一例を説明するための図である。次に、図2および図3を用いて、本実施の形態にかかる撮像制御装置により制御される撮像部の入出力カーブの一例について説明する。図2および図3において、横軸は、撮像部が有する受光素子により受光する単位時間当たりの光強度(受光量)を表す。また、図2および図3において、縦軸は、撮像部により撮像される生体画像Iの色信号値(例えば、RGB信号値)を表す。図2および図3に示す入出力カーブは、撮像部が有する受光素子により受光する単位時間当たりの光強度を入力とし、かつ、生体画像Iの色信号値を出力とした場合における入出力の関係を示す曲線である。
生体画像I内の肌領域200の画素のG信号値のヒストグラムが広がるように撮像部の撮像パラメータを制御すると、入出力カーブが変化して、図2に示すように、肌領域200のG波長域の光強度に対応する入出力カーブの傾きが大きくなる。言い換えると、肌領域200のG波長域の光強度に対応する入出力カーブの傾きが大きくなるため、肌領域200の画素のG信号値のヒストグラムが広がる。
また、図3に示すように、肌領域200のG波長域の光強度に対応する入出力カーブの傾きが大きくなると、生体の脈拍によって肌領域200のG波長域の光強度が微小に変化した場合、肌領域200のG信号値の変化量が大きくなる。そして、生体画像Iから検出できる脈波信号等の生体信号の信号雑音比には、G信号値の変化量が最も大きく寄与するため(血中のヘモグロビンがG波長域の光を強く吸収する特性を持つため)、G信号値の変化量が大きくなると、生体画像Iから検出できる生体信号の信号雑音比が大きくなる。
図4は、第1の実施の形態にかかる撮像制御装置により制御される撮像部により撮像される生体画像から検出される脈波信号の一例を説明するための図である。次に、図4を用いて、本実施の形態にかかる撮像制御装置により制御される撮像部により撮像される生体画像から検出される検出される脈波信号の一例について説明する。図4において、横軸は、時間を表し、縦軸は、RGB信号値または脈波信号を表す。
図4に示すように、本実施の形態にかかる撮像制御装置により撮像パラメータが制御される撮像部の出力(G信号値)は、従来の撮像部の出力(G信号値)と比較して、その変化量が大きいため、生体画像Iから検出される脈波信号の信号雑音比(S/N比)が大きくなる。そのため、生体画像Iを用いた生体指標の算出精度を高くすることができる。
図5は、第1の実施の形態にかかる撮像制御装置により制御される撮像部の構成の一例を示す図である。次に、図5を用いて、本実施の形態にかかる撮像制御装置により制御される撮像部100の構成の一例について説明する。
撮像部100は、図5に示すように、レンズ101と、イメージセンサ102と、A/Dコンバータ103と、イメージプロセッサ104と、を有する。レンズ101は、被写体(生体)からの光を集光する。イメージセンサ102は、レンズ101を介して被写体からの光を受光する受光素子を有する。A/Dコンバータ103は、イメージセンサ102により受光した光の光強度をデジタル信号に変換する。イメージプロセッサ104は、A/Dコンバータ103によってデジタル信号に変換された光強度を、RGB画像の画素のRGB信号値に変換して出力する。
図6は、従来の撮像部における入出力カーブの一例を示す図である。図6において、縦軸は、従来の撮像部100により撮像される生体画像の色信号値(出力)を表す。また、横軸は、従来の撮像部500のイメージセンサ102により受光する単位時間当たりの光強度(入力)を表す。次に、図6を用いて、従来の撮像部100の入出力カーブの一例について説明する。
従来の撮像部100の入出力カーブでは、図6に示すように、肌領域200の光強度に対応する入出力カーブの傾きが小さいため、生体の脈拍によって肌領域200の光強度が微小に変化した場合、肌領域200の色信号値の変化量が小さい。そのため、従来の撮像部100により撮像される生体画像Iから検出される脈波信号の信号雑音比が小さくなり、生体画像Iに基づく生体指標の算出精度が低下する。これに対して、本実施の形態にかかる撮像制御装置により制御される撮像部100の入出力カーブは、上述したように、肌領域200の光強度に対応する入出力カーブの傾きが大きいため、生体の脈拍によって肌領域200の光強度が微小に変化した場合でも、肌領域200の色信号値の変化量が大きくなる。そのため、生体画像Iから検出される脈波信号の信号雑音比が大きくなり、生体画像Iに基づく生体指標の算出精度を向上させることができる。
図7は、第1の実施の形態にかかる撮像制御装置により制御される撮像部により撮像される生体画像の一例を説明するための図である。次に、図7を用いて、本実施の形態にかかる撮像制御装置により制御される撮像部100により撮像される生体画像Iの一例について説明する。
本実施の形態にかかる撮像制御装置により制御される撮像部100から出力される生体画像Iは、図7に示すように、例えば、640×480画素であり、各画素が8ビットのRGB信号値(色信号値の一例)で表される動画像である。また、当該動画像のフレームレートは、例えば、30フレーム/秒である。
図8は、第1の実施の形態にかかる撮像制御装置による撮像部の非線形変換パラメータの制御処理の一例を説明するための図である。図9は、第1の実施の形態にかかる撮像制御装置による撮像部の線形変換パラメータの制御処理の一例を説明するための図である。図8および図9において、縦軸は、撮像部100から出力される生体画像の色信号値(出力、0~1に規格化して表記)を表し、横軸は、撮像部100に入力される光の光強度(入力、0~1に規格化して表記)を表す。次に、図8および図9を用いて、本実施の形態にかかる撮像制御装置による撮像部100の制御処理の一例について説明する。
本実施の形態にかかる撮像制御装置は、生体画像内の肌領域(生体位置)の画素のG信号値の度数分布(ヒストグラム)が大きい生体画像が撮像部100によって撮像されるように、当該撮像部100の撮像パラメータを制御する。以下の説明において、σg0は、撮像部100の撮像パラメータの制御前の生体画像から検出される生体の肌領域の画素のG信号値の度数分布の標準偏差を表す。また、μgは、撮像部100の撮像パラメータの制御後の生体画像から検出される肌領域の画素のG信号値の度数分布の平均値を表す。また、σgは、撮像部100の撮像パラメータの制御後の生体画像から検出される生体の肌領域の画素のG信号値の度数分布の標準偏差を表す。また、μrは、撮像部100の撮像パラメータの制御後の生体画像から検出される生体の肌領域の画素のR信号値の度数分布の平均値を表す。また、μbは、撮像部100の撮像パラメータの制御後の生体画像から検出される生体の肌領域の画素のB信号値の度数分布の平均値を表す。
まず、生体指標の算出に用いる生体画像の撮像部100による撮像前における非線形変換パラメータ制御処理の一例について説明する。
本実施の形態にかかる撮像制御装置は、2σg<St<1-2σgを満たす色信号値St(以下、出力信号値という)において入出力カーブの傾きが最大となるように、撮像部100の撮像パラメータのうち、入出力カーブを非線形に変換する撮像パラメータ(例えば、ガンマ、コントラスト。以下、非線形変換パラメータという。)を制御する非線形変換パラメータ制御処理を実行する。
図8において、点線は、一般的な撮像部100の入出力カーブであり、撮像部100により撮像される撮像画像をディスプレイ上で表示した際に自然に見えるように、撮像部100に対して非線形のガンマ補正が施されている。一方、図8において、実線は、2σg<St<1-2σgを満たす出力信号値Stにおいて入出力カーブの傾きが最大となるように、撮像部100の非線形変換パラメータを制御した場合に得られる入出力カーブである。点線で示す入出力カーブでは色信号値が0の際に傾きが最大となっている。一方、実線で示す入出力カーブでは、色信号値が出力信号値Stの際に傾きが最大となり、色信号値が出力信号値Stから離れるに従って、その傾きが小さくなる。よって、2σg<St<1-2σgを満たす出力信号値Stにおいて入出力カーブの傾きが最大となるように、撮像部100の非線形変換パラメータを制御することによって、撮像部100により撮像される生体画像は、出力信号値Stから離れた色信号値においては、入力に対する変化が小さく有効諧調数が低下するが、出力信号値St近傍の色信号値においては、入力に対する変化が大きく有効諧調数が増加している。
次に、生体指標の算出に用いる生体画像の撮像部100による撮像時における線形変換パラメータ制御処理の一例について説明する。
本実施の形態にかかる撮像制御装置は、撮像部100により撮像される生体画像の肌領域の画素の色信号値の分布が、|μg-St|<|μg0-St|、|μg-St|<|μr-St|、および|μg-St|<|μb-St|を満たすように、撮像部100の入出力カーブを線形に変換する撮像パラメータ(例えば、露光時間、ゲイン。以下、線形変換パラメータという。)を制御する線形変換パラメータ制御処理を実行する。
図9において、点線は、線形変換パラメータを制御前の撮像部100の入出力カーブであり、実線は、線形変換パラメータを制御後の撮像部100の入出力カーブである。撮像部100に入力される光のRGBのそれぞれの光強度は、生体の肌領域から撮像部100に入射された光がカラーフィルタによってRGBに分解されて、イメージセンサ102に照射された際の各色の光の光強度である。一般的に、生体の肌領域からの反射光は、R成分(赤色の波長成分)>G成分(緑色の波長成分)>B成分(青色の波長成分)となるため、生体の肌領域からの反射光の単位時間当たりの受光量も、Rの光強度>Gの光強度>Bの光強度の関係となる。そして、線形変換パラメータの制御前の撮像部100の入出力カーブでは、生体の肌領域のG信号値が出力信号値Stから大きく離れているが、線形変換パラメータを制御後の撮像部100の入出力カーブは、生体の肌領域のG信号値が出力信号値St近傍に変化する。
ここで、脈拍による肌領域からの光の光強度の時間的な変化は、ヘモグロビンがGの光を強く吸収する特性を持つため、Rの光強度やBの光強度よりも、Gの光強度で大きくなる。そのため、Gの光強度の変化に対するG信号値の変化が大きくなるように入出力カーブを制御すると、脈拍による光強度の変化を色信号値に対して最も効率良く反映させることができ、色信号値の変化から検出できる脈波信号の信号雑音比が大きくなる。そのため、本実施の形態にかかる撮像制御装置は、非線形変換パラメータ制御処理および線形変換パラメータ制御処理を実行することによって、図9に示すように、入出力カーブにおいて、撮像部100に入力される光の光強度の変化に対する色信号値の変化が大きく有効諧調数が高い領域を、肌領域のG信号値の近傍に分配することができる。そのため、本実施の形態にかかる撮像制御装置によれば、大きい信号雑音比の脈波信号を検出することが可能となる。
図10は、第1の実施の形態にかかる撮像制御装置によって非線形変換パラメータ制御処理および線形変換パラメータ制御処理を実行した撮像部の入出力カーブの一例を示す図である。図10において、縦軸は、撮像部100により撮像される生体画像の色信号値(出力、0~1に規格化して表記)を表し、横軸は、撮像部100に入力される光の光強度(入力、0~1に規格化して表記)を表す。次に、図10を用いて、非線形変換パラメータ制御処理および線形変換パラメータ制御処理を実行した撮像部100の入出力カーブの一例について説明する。
図10に示すように、非線形変換パラメータ制御処理および線形変換パラメータ制御処理を実行していない撮像部100の入出力カーブ(点線で示す)と、非線形変換パラメータ制御処理および線形変換パラメータ制御処理を実行した撮像部100の入出力カーブ(実線で示す)と、を比較すると、非線形変換パラメータ制御処理および線形変換パラメータ制御処理を実行した撮像部100の入出力カーブの方が、その傾きが大きくなっている。すなわち、非線形変換パラメータ制御処理および線形変換パラメータ制御処理を実行すると、肌領域の画素のG信号値の度数分布が広がるため、非線形変換パラメータ制御処理および線形変換パラメータ制御処理を実行しない場合と比較して、信号雑音比が大きい脈波信号が検出可能となる。
図11は、第1の実施の形態にかかる撮像制御装置のハードウェア構成の一例を示すブロック図である。次に、図11を用いて、本実施の形態にかかる撮像制御装置1のハードウェア構成の一例について説明する。
本実施の形態にかかる撮像制御装置1は、図11に示すように、CPU(Central Processing Unit)2と、記憶装置3と、I/F4と、を有する。そして、CPU2、記憶装置3、およびI/F4は、システムバス5を介して接続されている。また、I/F4は、撮像部100と接続されている。
CPU2は、中央処理装置であり、撮像制御装置1において実行する各種処理を実現するための演算およびデータの加工等を行う演算装置、およびハードウェアを制御する制御装置として機能する。CPU2は、記憶装置3に記憶されるプログラム等に基づいて、各種処理を実行する。
記憶装置3は、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)、HDD(Hard Disk Drive)、およびSSD(Solid State Drive)、またはこれらの組み合わせである。すなわち、記憶装置3は、主記憶装置および補助記憶装置等で構成される。I/F4は、例えば、USB(Universal Serial Bus)等であり、撮像部100等の外部装置と接続するためのインタフェースである。
撮像部100は、例えば、汎用のWebカメラ、PCに内蔵のカメラ、タブレットやスマートフォン等に内蔵のカメラである。また、撮像部100は、少なくともRGBの3チャンネルを有する撮像装置である。
撮像制御装置1は、CPU2、記憶装置3、およびI/F4の他、キーボードやマウス等の入力装置、液晶ディスプレイ等の出力装置を有していても良い。また、撮像制御装置1は、ネットワークを介して撮像部100を接続されていても良い。
図12は、第1の実施の形態にかかる撮像制御装置の機能構成の一例を示すブロック図である。次に、図12を用いて、本実施の形態にかかる撮像制御装置1の機能構成の一例について説明する。
本実施の形態にかかる撮像制御装置1は、図12に示すように、カメラ制御部10、記憶部20、生体画像取得部30、および生体画像解析部40を有する。また、本実施の形態にかかる撮像制御装置1は、図12に示すように、撮像部100と接続されている。
撮像部100は、後述するカメラ制御部10からの指示に基づいて、生体画像の撮像を行う撮像機能を有する。具体的には、撮像部100は、被写体(生体)から照射される光をレンズ101で集光し、イメージセンサ102上に二次元に配列された受光素子によって、レンズ101で集光した光を受光する。撮像部100の受光素子上には、光をRGBに分解するカラーフィルタが配列されており、被写体から照射された光をRGBの3色の光に分解して受光する。撮像部100の受光素子によって受光したRGBのそれぞれの光は、A/D変換により光量(光強度)に応じた高ビット数(例えば、12ビット)のデジタル信号に変換され、ガンマ補正等の各種補正処理が施された後、低ビット数(例えば、8ビット)の色信号値(例えば、RGB信号値)に変換されて出力される。
また、撮像部100は、生体画像に基づく生体指標を算出(計測)する際の露光時間や、上述の各種補正処理の補正レベルを制御可能な撮像パラメータを有し、当該撮像パラメータを制御することによって、当該撮像部100の入出力カーブを変化させる機能を有する。ここで、撮像パラメータは、非線形変換パラメータおよび線形変換パラメータを含む。
線形変換パラメータは、撮像部100の受光素子により受光する単位時間当たりの光強度(入力)と、撮像部100により撮像する生体画像の色信号値(出力)と、の関係を示す入出力カーブを線形に変換するパラメータである。例えば、線形変換パラメータは、撮像部100の露光時間やゲインが該当する。
図13は、第1の実施の形態にかかる撮像制御装置による撮像部の線形変換パラメータ制御処理の一例を説明するための図である。図13において、横軸は、撮像部100の受光素子により受光する単位時間当たりの光強度(入力、0~1に規格化して表記)を表し、縦軸は、撮像部100により撮像する生体画像の色信号値(出力、0~1に規格化して表記)を表す。ここで、図13を用いて、本実施の形態にかかる撮像制御装置1による撮像部100のゲインおよび露光時間の制御処理の一例について説明する。
撮像制御装置1によって、撮像部100の露光時間を長くするか、または撮像部100のゲインを大きくすると、撮像部100の入出力カーブは、図13に示すように、その傾きが大きくなり、撮像部100の入力に対する出力の変化が大きくなる。一方、撮像制御装置1によって、撮像部100の露光時間を短くするか、または撮像部100のゲインを小さくすると、撮像部100の入出力カーブは、図13に示すように、その傾きが小さくなり、撮像部100の入力に対する出力の変化が小さくなる。
非線形変換パラメータは、撮像部100の受光素子により受光する単位時間当たりの光強度(入力)と、撮像部100により撮像する生体画像の色信号値(出力)と、の関係を示す入出力カーブを非線形に変換するパラメータである。例えば、非線形変換パラメータは、ガンマやコントラストが該当する。
図14は、第1の実施の形態にかかる撮像制御装置による撮像部の非線形変換パラメータの制御処理の一例を説明するための図である。図14において、横軸は、撮像部100の受光素子により受光する単位時間当たりの光強度(入力、0~1に規格化して表記)を表し、縦軸は、撮像部100により撮像する生体画像の色信号値(出力、0~1に規格化して表記)を表す。ここで、図14を用いて、本実施の形態にかかる撮像制御装置1による撮像部100のコントラストの制御処理の一例について説明する。
撮像制御装置1によって、撮像部100のコントラストを高くすると、撮像部100の入出力カーブは、図14に示すように、その傾きが、中間領域において大きくなり、両端領域において小さくなる。
撮像部100の撮像パラメータは、所定範囲内で変更することができる。ここで、所定範囲は、予め設定される範囲であり、任意に変更可能である。また、撮像パラメータを変更した場合における撮像部100の入出力カーブの変化量は、撮像部100によって異なる。
図12に戻り、カメラ制御部10(撮像制御部の一例)は、撮像部100の撮像パラメータや撮像部100の動作を制御する機能や、撮像部100から、当該撮像部100の機種や撮像パラメータを変更可能な所定範囲を取得する機能等を有する。そして、カメラ制御部10は、撮像部100から取得する機種や所定範囲、後述する記憶部20に記憶される撮像パラメータの制御に関する情報、後述する生体画像解析部40による生体画像内の肌領域の色信号値等に基づいて、撮像パラメータを制御する。
本実施の形態では、カメラ制御部10は、後述する生体画像解析部40によって生体画像内における生体位置が所定位置であると判定された後かつ後述する生体画像解析部40による生体画像に基づく脈拍信号等の生体信号の検出前に撮像部100の撮像パラメータを制御する。そして、カメラ制御部10、後述する生体画像解析部40によって生体信号が検出されている間、撮像部100の撮像パラメータを制御しないことが望ましい。
これにより、後述する生体画像解析部40によって生体画像に基づいて生体の脈拍信号等の生体信号を検出する前に撮像部100の撮像パラメータを最適に制御することができるので、生体画像から検出される生体信号の信号雑音比を向上させることができる。また、後述する生体画像解析部40によって生体画像に基づいて生体信号を検出している間、撮像部100の撮像パラメータの制御が行われないので、撮像部100の撮像パラメータの制御によって生体信号が変化することが防止できる。
また、本実施の形態では、カメラ制御部10は、後述する生体画像取得部30により取得される生体画像内における生体の位置である生体位置の画素のG信号値の度数分布が、下記の式(1)および式(2)を満たすように、撮像部100の撮像パラメータを制御する。これにより、撮像部100の入出力カーブにおいて、当該撮像部100の受光素子により受光する光の光強度(入力)に対する、撮像部100により撮像される生体画像内の生体位置のG信号値(出力)の変化を大きくして、有効諧調数を増加させることができる。その結果、信号雑音比が大きい生体信号を検出可能な生体画像を取得することができる。
σg>σg0・・・(1)
2σg<μg<1-2σg・・・(2)
ここで、G信号値は、0~1に規格化されている。また、σg0は、撮像パラメータを制御前におけるG信号値の標準偏差を表す。また、μgは、撮像パラメータの制御後におけるG信号値の平均値を表す。また、σgは、撮像パラメータの制御後におけるG信号値の標準偏差を表す。
また、本実施の形態では、カメラ制御部10は、撮像部100の受光素子によって受光するG波長域の受光量に対応する入出力カーブの傾きが1より大きくなるように、撮像部100の撮像パラメータを制御する。これにより、撮像部100の入出力カーブにおいて、当該撮像部100の入力に対する出力の変化量をさらに大きくして、有効諧調数が高い領域を、生体位置のG信号値近傍に配置することができる。その結果、信号雑音比がさらに大きい生体信号を検出可能な生体画像を取得することができる。
記憶部20は、撮像部100によって被写体を撮像する際に初期値として設定する各種の撮像パラメータを記憶する機能を有する。撮像制御装置1によって制御可能な撮像パラメータの種類や制御範囲は、撮像部100によって異なる。そのため、本実施の形態では、記憶部20は、撮像部100の機種毎に、撮像パラメータの初期値を記憶する。
図15は、第1の実施の形態にかかる撮像制御装置が記憶する撮像パラメータの初期値の一例を示す図である。本実施の形態では、記憶部20は、図15に示すように、撮像部100の機種毎に、ガンマ、コントラスト、露光時間、ゲイン等の複数の撮像パラメータの最適な組み合わせを初期値として記憶する。これにより、被写体の撮像する撮像部100が異なる場合でも、カメラ制御部10は、最適な撮像パラメータの組み合わせを初期値として撮像部100に設定することができる。
図12に戻り、生体画像取得部30は、撮像部100により撮像された生体画像を取得する機能を有する。本実施の形態では、生体画像取得部30は、少なくともRGBの3チャンネルの生体画像を取得する。また、本実施の形態では、生体画像取得部30は、撮像部100により生体画像として撮像される動画像を、1フレームずつ取得する。
生体画像解析部40は、生体画像取得部30により取得される生体画像から、肌領域に含まれる画素を検出し、当該検出した画素の色信号値(例えば、RGB信号値)の分布を解析する機能を有する。本実施の形態では、生体画像解析部40は、生体画像取得部30により取得される生体画像内における生体の肌領域等の生体位置が所定位置であるか否かを判定する。ここで、所定位置は、生体画像内における予め設定される位置であり、例えば、生体画像内における生体の位置、大きさ、向き等を含む。
また、本実施の形態では、生体画像解析部40は、撮像部100により撮像される生体画像に基づいて、生体の脈拍信号等の生体信号を検出する。ただし、本実施の形態では、上述したように、カメラ制御部10が、生体画像解析部40によって生体画像内における生体位置が所定位置であると判定された後かつ生体画像解析部40による生体画像に基づく脈拍信号等の生体信号の検出前に撮像部100の撮像パラメータを制御する。そのため、生体画像解析部40は、生体画像内における生体位置が所定位置であると判定されかつカメラ制御部10によって撮像部100の撮像パラメータが制御された後、撮像部100により撮像される生体画像に基づいて、生体の脈拍信号等の生体信号を検出する。
図16は、第1の実施の形態にかかる撮像制御装置による非線形変換パラメータの選定処理の流れの一例を示すフローチャートである。次に、図16を用いて、撮像制御装置1による非線形変換パラメータの選定処理の流れの一例について説明する。
撮像部100による生体の撮像を開始する前に、カメラ制御部10は、撮像部100を制御して、非線形変換パラメータを変えながら、標準チャートを順次撮像する(ステップS1601)。ここで、非線形変換パラメータは、撮像部100のガンマやコントラストを含む。非線形変換パラメータを変更可能な範囲は、撮像部100の機種によって決まっている。そのため、カメラ制御部10は、その範囲内において非線形変換パラメータを、適当な値ずつ変更して、撮像部100によって標準チャートを撮像する。
例えば、コントラストを0~255の範囲で変更可能な撮像部100である場合、カメラ制御部10は、撮像部100のコントラストを、0から32ずつ増やしながら標準チャートを撮像する。ここで、標準チャートは、反射率が互いに異なる複数のパッチが配置されたチャートである。標準チャートに配置されるパッチの標準的な光源(例えば、D50の光源)の下での輝度(例えば、XYZ表色系のY値)は、既知であるものとする。
次いで、カメラ制御部10は、撮像部100により撮像した標準チャートの各パッチの輝度値と、撮像部100により撮像される撮像画像の色信号値と、の関係に基づいて、非線形変換パラメータ毎に、撮像部100の入出力カーブを生成する(ステップS1602)。入出力カーブは、上述したように、標準チャートの各パッチから撮像部100に入射される光の光強度と、撮像部100により撮像される撮像画像の色信号値との関係を示すカーブである。標準チャートの各パッチから撮像部100に入射される光の光強度は、例えば、標準チャートの各パッチの輝度値(0~100)である。また、撮像部100により撮像される撮像画像の色信号値は、例えば、各パッチのG信号値の平均値である。カメラ制御部10は、撮像部100に入射される光の光強度を横軸としかつ撮像部100により撮像される撮像画像の色信号値を縦軸とするグラフに対して、標準チャートの各パッチの光強度に対応する色信号値をプロットし、プロット間をスプライン補間等を用いて補間することによって、入出力カーブを生成する。
次いで、カメラ制御部10は、非線形変換パラメータ毎に、当該非線形変換パラメータについて生成した入出力カーブの傾きの最大値と、当該最大値に対応する色信号値である出力信号値Stを算出する(ステップS1603)。カメラ制御部10は、撮像部100に入射される光の光強度(例えば、各パッチの輝度値)の変化量に対する、撮像部100に撮像される撮像画像の色信号値の変化量を、入出力カーブの傾きとして算出する。
次に、カメラ制御部10は、非線形変換パラメータ毎に算出する入出力カーブの傾きの最大値と、当該最大値に対応する出力信号値Stと、に基づいて、生体画像に基づく脈波信号等の生体信号の検出に最適な非線形変換パラメータを選定する(ステップS1604)。本実施の形態では、カメラ制御部10は、以下の3つの基準を満たす非線形変換パラメータを選定する。
(1) 出力信号値Stがσg<St<1-σgを満たすこと
(2) 撮像部100の入力と出力をそれぞれ0~1に規格した場合における入出力カーブの傾きの最大値が1以上であること
(3) 上記の(1)および(2)の両方を満たす非線形変換パラメータが複数存在する場合、当該複数の非線形変換パラメータのうち入出力カーブの傾きが最大の非線形変換パラメータであること
最後に、カメラ制御部10は、選定した非線形変換パラメータと、当該非線形変換パラメータについて生成した入出力カーブの傾きの最大値に対応する出力信号値St(以下、ターゲット信号値という)と、を記憶部20に保存する(ステップS1605)。撮像部100の機種毎に、最適な非線形変換パラメータとターゲット信号値は異なる。そのため、カメラ制御部10は、撮像部100の機種毎に、非線形変換パラメータおよびターゲット信号値を記憶部20に保存する。
図17は、第1の実施の形態にかかる撮像制御装置による撮像部の撮像パラメータの制御処理の流れの一例を示すフローチャートである。次に、図17を用いて、撮像制御装置1による撮像部100の非線形変換パラメータの制御処理の流れの一例について説明する。
カメラ制御部10は、まず、撮像部100から、撮像部情報を取得する(ステップS1701)。ここで、撮像部情報は、撮像部100の機種、制御可能な撮像パラメータの種類、当該撮像パラメータの初期値、当該撮像パラメータを制御可能な制御範囲等である。
次いで、カメラ制御部10は、撮像部情報に基づいて、記憶部20から、撮像部100の機種に対応する非線形変換パラメータ(例えば、ガンマおよびコントラスト)およびターゲット信号値を取得する(ステップS1702)。
次いで、カメラ制御部10は、記憶部20から取得した非線形変換パラメータに基づいて、撮像部100の非線形変換パラメータを制御する(ステップS1703)。具体的には、カメラ制御部10は、撮像部100の現在の非線形変換パラメータが、記憶部20から取得した非線形変換パラメータになるように、撮像部100を制御する。
次に、カメラ制御部10は、非線形変換パラメータを制御後の撮像部100により撮像される生体画像に基づいて、撮像部100の線形変換パラメータを制御する(ステップS1704)。本実施の形態では、カメラ制御部10は、LUT(Look Up Table)を用いて線形変換パラメータを制御する第1制御方法(ホワイトバランス調整を含む)によって、撮像部100の線形変換パラメータを制御する。
図18は、第1の実施の形態にかかる撮像制御装置による線形変換パラメータの第1制御方法の流れの一例を示すフローチャートである。次に、図18を用いて、線形変換パラメータの第1制御方法の流れの一例について説明する。
カメラ制御部10は、撮像部100に対して生体画像の撮像開始を指示する。撮像部100に対して生体画像の撮像開始が指示された後、生体画像取得部30は、撮像部100により生体画像として撮像される動画像を1フレームずつ取得する(ステップS1801)。本実施の形態では、生体画像取得部30は、640×480画素かつ各画素が8ビットの色信号値(例えば、RGB信号値)で表され、フレームレートが30フレーム/秒の動画像を生体画像として取得する。その際、生体画像取得部30は、撮像部100によって生体の肌領域を撮像した生体画像を取得するものとする。
図19は、第1の実施の形態にかかる撮像制御装置によって取得する生体画像の一例を示す図である。ここで、図19を用いて、本実施の形態にかかる撮像制御装置1によって取得する生体画像Iの一例について説明する。
本実施の形態では、生体画像取得部30は、図19に示すように、撮像部100によって生体の顔を含む肌領域200を撮像した撮像画像を生体画像Iとして取得する。
図18に戻り、生体画像解析部40は、生体画像取得部30により取得される生体画像から肌領域の画素を抽出し、抽出した画素のRGB信号値を検出する(ステップS1802)。本実施の形態では、生体画像解析部40は、生体画像内の画素のRGB信号値に基づいて、肌領域の画素を抽出する。例えば、生体画像解析部40は、顔検出技術を用いて、生体画像から顔領域に含まれる画素を抽出する。次いで、生体画像解析部40は、抽出した画素のRGB信号値が、肌色を表すRGB信号値の範囲内に含まれる場合に、当該抽出した画素を肌領域の画素と判定する。
または、本実施の形態では、生体画像解析部40は、顔検出技術を用いて生体画像から検出した顔の特徴点の座標位置に基づいて、肌領域の画素を抽出することも可能である。例えば、生体画像解析部40は、顔検出技術を用いて、生体画像から、口や鼻等の顔の特徴点の座標位置を検出し、当該座標位置に基づいて、生体画像に含まれる肌領域の画素を抽出する。図19に示す生体画像Iが取得された場合、生体画像解析部40は、顔検出技術を用いて検出される顔の特徴点の座標位置に基づいて、鼻や頬を含む肌領域200を検出する。または、ユーザ等によって、生体画像内における肌領域の始点、幅、および高さが予め入力されている場合、生体画像解析部40は、予め入力される肌領域の始点、幅、および高さに基づいて、生体画像から肌領域の画素を抽出しても良い。
次いで、カメラ制御部10は、生体画像解析部40により抽出される肌領域の画素のRGB信号値が所定の範囲外か否かを判定する(ステップS1803)。ここで、所定の範囲は、予め設定されるRGB信号値の範囲であり、撮像部100の入出力カーブのG信号値をターゲット信号値St近傍に存在するRGB信号値の範囲である。本実施の形態では、所定の範囲は、下記の条件を満たす範囲である。
R信号値の条件(以下、R信号値条件という):μr<Rmax=1-2σr
G信号値の条件(以下、G信号値条件という):|μg-St|<ε
B信号値の条件(以下、B信号値条件という):μb>Bmin=2σb
ここで、R信号値、G信号値、B信号値は、それぞれ0~1に規格化されている。また、ここで、μrは、R信号値の分布の平均値(または、中央値、最頻値)である。また、σrは、R信号値の標準偏差である。また、μgは、G信号値の分布の平均値(または、中央値、最頻値)である。また、μbは、B信号値の分布の平均値(または、中央値、最頻値)である。また、σbは、G信号値の分布の標準偏差である。また、Stは、ターゲット信号値である。また、εは、μgとターゲット信号値Stとの差分の許容誤差であり、例えば、0.06である。
R信号値条件は、計測中の生体の体動によるR信号値の変化に基づいて設定することも可能である。具体的には、カメラ制御部10は、計測中の生体の体動によるR信号値の変化量ΔSrを予め評価し、R信号値条件を、μr<1-2σr-ΔSrとしても良い。B信号値条件も、同様にして、計測中の生体の体動によるB信号値の変化に基づいて設定することも可能である。具体的には、カメラ制御部10は、計測中の生体の体動によるB信号値の変化量ΔSbを予め評価し、B信号値条件を、μb<2σb+ΔSbとしても良い。
本実施の形態では、カメラ制御部10は、肌領域の画素のRGB信号値の少なくとも1つが、R信号値条件、G信号値条件、およびB信号値条件を満たさない場合に、肌領域の画素のRGB信号値が所定の範囲外であると判定する。本実施の形態では、カメラ制御部10は、肌領域の画素のRGB信号値が、R信号値条件、G信号値条件、およびB信号値条件の全てを満たした場合に、肌領域の画素のRGB信号値が所定の範囲内にあると判定する。
生体画像解析部40により抽出される肌領域の画素のRGB信号値が所定の範囲内である場合(ステップS1803:No)、カメラ制御部10は、撮像部100の線形変換パラメータの制御を行わない。一方、生体画像解析部40により抽出される肌領域の画素のRGB信号値が所定の範囲外であると判定した場合(ステップS1803:Yes)、カメラ制御部10は、撮像部100の線形変換パラメータ(例えば、露光時間、ゲイン、ホワイトバランス)を制御する(ステップS1804)。
本実施の形態では、カメラ制御部10は、記憶部20に記憶される線形変換テーブルを用いて、撮像部100の線形変換パラメータの設定値を決定する。ここで、線形変換テーブルは、撮像部100の撮像パラメータの初期値(例えば、非線形変換パラメータの設定値および線形変換パラメータの初期値)に従って撮像した生体画像における肌領域のRGB信号値と、当該RGB信号値を上記の所定の条件(R信号値条件、G信号値条件、B信号値条件)を満たすRGB値に変換可能な線形変換パラメータと、を対応付けるテーブルである。
例えば、線形変換テーブルにおいて、生体画像解析部40により抽出される肌領域の画素のG信号値がターゲット信号値Stより小さいRGB信号値には、線形変換パラメータの初期値より大きいゲインの設定値が対応付けられている。よって、カメラ制御部10は、撮像部100の線形変換パラメータが含むゲインを、生体画像解析部40により抽出される肌領域の画素のRGB信号値と対応付けらえるゲインに変更する。これにより、生体画像内の肌領域の画素のG信号値をターゲット信号値Stに近づけることができる。
また、例えば、線形変換テーブルにおいて、生体画像解析部40により抽出される肌領域の画素のR信号値が最大値Rmaxより大きいRGB信号値には、初期値より小さい(言い換えると、R信号値を低下させ、B信号値を増加させる処理が行われる)ホワイトバランスの設定値が対応付けられている。よって、カメラ制御部10は、撮像部100の線形変換パラメータが含むホワイトバランスを、生体画像解析部40により抽出される肌領域の画素のRGB信号値と対応付けられるホワイトバランスに変更する。これにより、生体画像内の肌領域の画素のR信号値を小さくすることができる。
本実施の形態では、線形変換テーブルは、撮像部100の機種毎に予め作成されて、記憶部20に保存されている。カメラ制御部10は、記憶部20から、撮像部100の機種に対応する線形変換テーブルを読み出して、当該線形変換テーブルを用いて、撮像部100の線形変換パラメータを制御する。また、線形変換テーブルは、生体画像内の肌領域のRGB信号値が取り得る全ての組み合わせに対応する線形変換パラメータを含む必要はなく、当該RGB信号値が取り得る組み合わせに対応する線形変換パラメータを離散的に含んでいても良い。その場合、カメラ制御部10は、線形変換テーブルにおいて、生体画像解析部40により抽出される肌領域のRGB信号値に対応付けられる線形変換パラメータが存在しない場合、補間によって、当該RGB信号値に対応する線形変換パラメータを算出する。
図20は、第1の実施の形態にかかる撮像制御装置に記憶される線形変換テーブルの一例を示す図である。ここで、撮像制御装置1に記憶される線形変換テーブルの一例について説明する。図20に示す線形変換テーブルにおいて、RGB信号値は、8ビットで表される。また、図20に示す線形変換テーブルにおいて、ゲインの値は、g1>g2>g3>g4の関係を有し、その値が大きくなるに従って出力信号値が大きくなる。また、図20に示す線形変換テーブルにおいて、ホワイトバランスの値は、w1>w2の関係を有し、その値が小さくなるに従ってR信号値が小さくなりかつB信号値が大きくなる。
本実施の形態では、図20に示す線形変換テーブルにおいて、RGB信号値に対応付けられる露光時間、ゲイン、ホワイトバランス等の線形変換パラメータの組合せは、撮像部100の入出力カーブが、|μg-St|<εとなるように、撮像部100を制御できる線形変換パラメータである。よって、撮像部100の入出力カーブにおいて、撮像部100の入力の変化に対する出力の変化が大きく、有効諧調数が高い領域を、肌領域のG信号値の近傍に分配することができる。そのため、本実施の形態にかかる撮像制御装置1によれば、信号雑音比が大きい脈波信号を検出することが可能な生体画像を撮像することができる。
また、撮像部100により撮像される生体画像内の肌領域の画素のR信号値が、R信号値条件を満たさない場合、R信号値が、既に飽和しているか、若しくは生体の体動によって飽和する可能性が高いため、生体画像に基づいて検出される脈波信号の信号雑音比が低下したり、生体の体動に起因するノイズの除去が困難になったりする場合がある。本実施の形態では、図20に示す線形変換テーブルにおいて、RGB信号値に対応付けられる線形変換パラメータの組合せは、生体画像内の肌領域の画素のR信号値がμr<Rmaxとなるように制御できる、撮像部100の線形変換パラメータである。そのため、本実施の形態にかかる撮像制御装置1によれば、生体画像内の肌領域の画素のR信号値を飽和させることなく、信号雑音比が大きい脈波信号を検出することが可能な生体画像を撮像することができる。
また、撮像部100により撮像される生体画像内の肌領域の画素のB信号値が、B信号値条件を満たさない場合、B信号値が、潰れているか、若しくは生体の体動によって潰れてしまう可能性が高く、生体画像に基づいて検出される脈波信号の信号雑音比が低下したり、生体の体動に起因するノイズの除去が困難になったりする場合がある。本実施の形態では、図20に示す線形変換テーブルにおいて、RGB信号値に対応付けられる線形変換パラメータの組合せは、生体画像内の肌領域の画素のB信号値がμb>Bminとなるように制御できる、撮像部100の線形変換パラメータである。そのため、本実施の形態にかかる撮像制御装置1によれば、生体画像内の肌領域の画素のB信号値が潰れることなく、信号雑音比が大きい脈波信号を検出することが可能な生体画像を撮像することができる。
上述した図17に示す撮像部100の撮像パラメータの制御処理の流れによれば、以下の効果を得ることができる。
生体画像内の肌領域の画素のRGB信号値は、生体や照明環境によって大きく変化するため、撮像部100の最適な撮像パラメータは、撮像部100により撮像する生体や照明環境によって異なる。本実施の形態にかかる撮像制御装置1によれば、撮像部100の非線形変換パラメータを制御した後に、撮像部100によって生体を撮像し、撮像した生体画像から検出される肌領域のRGB信号値に基づいて、撮像部100の線形変換パラメータを制御する。これにより、撮像部100により撮像する生体や照明環境が変化した場合でも、RGB信号値が所定の範囲内に存在する生体画像を撮像することが可能となるので、生体や照明環境が変化した場合でも、信号雑音比が大きい脈波信号を検出可能な生体画像を撮像することができる。
また、撮像部100の入出力カーブが出力信号値Stにおいて傾きが最大となるように非線形変換パラメータを制御するためには、反射率が異なる複数のパッチを含む標準チャートを撮像部100に撮像し、各パッチの反射率(輝度値)と色信号値との関係から得られる撮像部100の入出力カーブのRGB信号値が上記の条件を満たすか否かを判定する必要があり、非線形変換パラメータの制御に手間と時間がかかる。本実施の形態にかかる撮像制御装置1によれば、生体画像に基づく脈波信号等の生体信号の検出に最適な非線形変換パラメータを予め選定しているため、手間と時間をかけずに非線形制御パラメータを制御することができる。ここで、撮像部100の入出力カーブにおいて傾きが最大となる出力信号値Stは、生体や照明環境には依存せず、露光時間やゲイン等の線形変換パラメータを制御した場合も変化しない。そのため、生体画像に基づく生体信号の検出に最適な非線形変換パラメータを予め選定しておき、線形変換パラメータを、生体画像内の肌領域の画素のRGB信号値に基づいて制御することによって、生体や照明環境が変化した場合でも、信号雑音比が大きい脈波信号を検出可能な生体画像を撮像することができ、かつ、生体画像に基づく生体信号の検出に最適な非線形変換パラメータの選定に要する手間と時間を削減することができる。
さらに、本実施の形態にかかる撮像制御装置1によれば、予め作成される線形変換テーブルを用いて、撮像部100の線形変換パラメータを制御することによって、線形変換パラメータを制御しながら、撮像部100による生体の撮像を繰り返して、線形変換パラメータが、上記の条件を満たす否かを判定する必要が無いので、線形変換パラメータを短時間で制御することができる。
図21は、μgにおける撮像部の入出力カーブの傾きによる脈波信号の信号雑音比の分布の変化の一例を説明するための図である。図21において、横軸は、生体画像から検出される脈波信号の信号雑音比(S/N比)を表し、縦軸は、当該信号雑音比の確率密度を表す。次に、図21を用いて、μgにおける撮像部100の入出力カーブの傾きと、生体画像から検出される脈波信号の信号雑音比の確率密度との関係の一例について説明する。
Lg=Lmax×αで表される傾き係数αが0.5~1.0の範囲で変化した場合、生体画像から検出される脈波信号の信号雑音比の確率密度分布は、図21に示すように変化する。ここで、Lgは、μgにおける撮像部100の入出力カーブの傾きを表す。また、Lmaxは、撮像部100の入出力カーブの傾きの最大値を表す。生体画像から検出される脈波信号の信号雑音比は、同じ撮像部100を使用した場合でも、生体の肌の色や、血行状態、照明条件等によって変化するため、生体画像から検出される脈波信号の信号雑音比の確率密度分布は、図21に示すように、広がりを持った分布となる。そして、傾き係数αが小さくなると、生体画像から検出される脈波信号の振幅が小さくなるため、信号雑音比の確率密度分布は、信号雑音比が小さい側へシフトする。また、脈波信号の信号雑音比が小さくなると、脈波信号を解析して算出する生体指標(例えば、脈拍間隔)の精度を担保することが困難となる。どの程度小さい信号雑音比を許容できるかは、算出する生体指標や解析方法等によって異なる。図21は、生体画像に基づいて算出する脈波信号であり、傾き係数αが1.0である場合に、脈波信号の信号雑音比が精度担保に必要な信号雑音比を下回る確率が2.5%以下の水準となる解析方法を用いた例である。
図22は、傾き係数と、脈波信号の信号雑音比が精度担保に必要な信号雑音比を下回る確率と、の関係の一例を示す図である。図22において、横軸は、傾き係数αを表し、縦軸は、脈波信号の信号雑音比が精度担保に必要な信号雑音比を下回る確率を表す。次に、図22を用いて、傾き係数αと、精度担保に必要な脈波信号の信号雑音比と、の関係の一例について説明する。
図22に示す、傾き係数αと、精度担保に必要な脈波信号の信号雑音比と、の関係は、撮像部100を制御する撮像パラメータや、撮像部100のノイズ特性等によって変化するが、ここでは、撮像部100の撮像パラメータを制御して傾き係数αを変化させても、撮像部100のノイズ特性は変化しないものとする。図24に示すように、傾き係数αが0.8より小さくなると、脈波信号の信号雑音比が精度担保に必要な信号雑音比を下回る確率が10%以上となる。また、図22に示すように、傾き係数αが0.6より小さくなると、脈波信号の信号雑音比が精度担保に必要な信号雑音比を下回る確率が30%以上となる。また、傾き係数αが0.5より小さくなると、脈波信号の信号雑音比が精度担保に必要な信号雑音比が得られなくなり、実用が困難となる。
そのため、傾き係数αは少なくとも0.6以上である必要がある。そこで、カメラ制御部10は、撮像部100の入出力カーブが、下記の2つの条件を満たすように、撮像部100の撮像パラメータを制御する。
(1)2σg<St<1-2σgを満たす出力信号値Stにおいて、撮像部100の入出力カーブの傾きが最大値Lmaxであること
(2)Lg≧Lmax×0.6
これにより、撮像部100により撮像される生体画像に基づいて算出される脈波信号の信号雑音比が、精度担保に必要な信号雑音比を下回る確率を30%未満にすることができるので、脈波信号の信号雑音比の劣化を抑制することができる。
図23は、第1の実施の形態にかかる撮像制御装置による撮像パラメータの制御処理の全体の流れの一例を示すフローチャートである。次に、図23を用いて、本実施の形態にかかる撮像制御装置1による撮像パラメータの制御処理の全体の流れの一例について説明する。
撮像制御装置1は、ユーザから生体信号の計測指示を取得する(ステップS2301)。本実施の形態では、撮像制御装置1は、出力装置である液晶ディスプレイに対して、生体信号の計測開始を指示するボタンを表示し、当該ボタンが押下された場合に、生体信号の計測指示を取得する。ユーザから生体信号の計測指示を取得すると、カメラ制御部10は、撮像部100による生体の撮像を開始する(ステップS2302)。
生体画像取得部30は、撮像部100により撮像される生体画像を取得する。生体画像解析部40は、生体画像取得部30により取得される生体画像内の生体位置が所定位置であるか否かを判定する(ステップS2303)。ここで、所定位置は、予め設定される位置であり、生体画像内における生体の位置、大きさ、向き等である。
本実施の形態では、生体画像解析部40は、顔検出技術によって生体画像から検出される顔の特徴点の座標位置が予め設定される位置の範囲に収まっているか否かを判定する。そして、生体画像解析部40は、生体画像から検出される顔の特徴点の座標位置が予め設定される位置の範囲に収まっていないと判定した場合、生体画像から適切な生体信号が検出できない可能性があるため、生体位置が所定の位置でないと判定する。
また、本実施の形態では、生体画像解析部40は、顔検出技術によって生体画像から検出される顔の特徴点間の距離(例えば、目と目の間の距離)が予め設定される距離の範囲に収まっているか否かを判定する。そして、生体画像解析部40は、生体画像から検出される顔の特徴点間の距離が予め設定される距離の範囲に収まっていないと判定した場合、生体画像から適切な生体信号が検出できない可能性があるため、生体位置が所定の位置でないと判定する。
また、本実施の形態では、生体画像解析部40は、顔検出技術によって生体画像から検出される顔の向きを表す数値が予め設定される値の範囲に収まっているか否かを判定する。そして、生体画像解析部40は、生体画像から検出される顔の向きを表す数値が予め設定される値の範囲に収まっていないと判定した場合、生体画像から適切な生体信号が検出できない可能性があるため、生体位置が所定の位置でないと判定する。
生体画像内の生体位置が所定の位置でないと判定された場合(ステップS2303:No)、生体画像解析部40は、ユーザに対して、生体画像内における生体位置の調整を指示する(ステップS2304)。本実施の形態では、生体画像解析部40は、出力装置である液晶ディスプレイに対して、生体の顔の位置、大きさ、向き等が適切でない旨のメッセージを表示して、ユーザに対して、その姿勢等を調整することで、生体画像内における生体位置が適切になるように促す。
生体画像内の生体位置が所定の位置であると判定された場合(ステップS2303:Yes)、カメラ制御部10は、撮像部100の撮像パラメータを制御する(ステップS2305)。カメラ制御部10によって撮像部100の撮像パラメータが制御された後、生体画像解析部40は、生体画像取得部30により取得される生体画像に基づいて、脈波信号等の生体信号の検出を開始する(ステップS2306)。本実施の形態では、生体画像解析部40は、既知の方法によって、生体画像に基づいて、生体信号を検出するものとする。カメラ制御部10は、生体画像に基づいて、生体信号を検出している間、撮像部100の撮像パラメータの制御を行わない。
本実施の形態では、撮像制御装置1は、生体画像内における生体位置が適切な位置になった状態で撮像部100の撮像パラメータの制御が行われるため、撮像部100の撮像パラメータを高精度に最適化することができる。また、生体画像内における生体位置が適切になり、撮像部100の撮像パラメータの制御が終了した後、生体信号の検出が開始されるため、生体信号を最適な状態で検出できる。さらに、生体信号の検出中に撮像部100の撮像パラメータが制御されことが無いため、撮像部100の撮像パラメータが制御されることによる生体信号への影響を防止することができる。
このように、第1の実施の形態にかかる撮像制御装置1によれば、生体画像解析部40によって生体画像に基づいて生体の脈拍信号等の生体信号を検出する前に撮像部100の撮像パラメータを最適に制御することができるので、生体画像から検出される生体信号の信号雑音比を向上させることができる。また、生体画像解析部40によって生体画像に基づいて生体信号を検出している間、撮像部100の撮像パラメータの制御が行われないので、撮像部100の撮像パラメータの制御によって生体信号が変化することが防止できる。
(第2の実施の形態)
本実施の形態は、生体画像に基づいて検出される生体信号の信号雑音比が最大化されるように線形変換パラメータを制御する第2制御方法によって、撮像部の線形変換パラメータを制御する例である。以下の説明では、上述の実施の形態と同様の構成については説明を省略する。
図24は、第2の本実施の形態にかかる撮像制御装置による線形変換パラメータの第2制御方法の流れの一例を示すフローチャートである。次に、図24を用いて、線形変換パラメータの第2制御方法の流れの一例について説明する。以下の説明では、ステップS2401およびステップS2402で示す処理は、図18で示すステップS1801およびステップS1802に示す処理と同様である。
カメラ制御部10は、生体画像解析部40により抽出される肌領域の画素のG信号値が所定の範囲外であるか否かを判定する(ステップS2403)。本実施の形態では、カメラ制御部10は、肌領域の画素のG信号値が、G信号値条件:|μg-St|<εを満たす場合、肌領域の画素のG信号値が所定の範囲内にあると判定し、肌領域の画素のG信号値が、G信号値条件を満たさない場合、肌領域の画素のG信号値が所定の範囲外であると判定する。
生体画像解析部40により抽出される肌領域の画素のG信号値が所定の範囲外であると判定した場合(ステップS2403:Yes)、カメラ制御部10は、撮像部100の現在のゲイン、および図17のステップS1701で取得される撮像部情報が示すゲインの制御範囲に基づいて、撮像部100のゲインを、|μg-St|が小さくなるように制御可能であるか否かを判定する(ステップS2404)。μg>Stかつ撮像部100の現在のゲインが最小値である場合、またはμg<Stかつ撮像部100の現在のゲインが最大値である場合、カメラ制御部10は、撮像部100のゲインを、|μg-St|が小さくなるように制御することができないと判定して(ステップS2404:No)、ステップS2406に進む。一方、それ以外の場合、カメラ制御部10は、撮像部100のゲインを、|μg-St|が小さくなるように制御できると判定して(ステップS2404:Yes)、撮像部100のゲインを、|μg-St|が小さくなるように制御する(ステップS2405)。
具体的には、μg>Stの場合、カメラ制御部10は、撮像部100のゲインを小さくする。これにより、生体画像内の肌領域の画素のG信号値のμgが小さくなり、|μg-St|を小さくすることができる。一方、μg<Stの場合、カメラ制御部10は、撮像部100のゲインを大きくする。これにより、生体画像内の肌領域の画素のG信号値のμgが大きくなり、|μg-St|を小さくすることができる。
また、カメラ制御部10は、撮像部100のゲインの変更量を、|μg-St|の大きさに応じて変化させることも可能である。具体的には、カメラ制御部10は、|μg-St|が大きくなるに従って、撮像部100のゲインの変更量を大きくする。一方、カメラ制御部10は、|μg-St|が小さくなるに従って、撮像部100のゲインの変更量を小さくする。撮像部100のゲインを制御した後、カメラ制御部10は、再度、ステップS2101~ステップS2103を実行して、ゲインを制御した撮像部100により撮像される生体画像内の肌領域の画素のG信号値が、所定の範囲外であるか否かを判定する。
ステップS2404において、撮像部100のゲインを制御することができないと判定した場合、カメラ制御部10は、撮像部100の露光時間を、|μg-St|が小さくなるように制御する(ステップS2406)。具体的には、カメラ制御部10は、μg>Stの場合、撮像部100の露光時間を短くする。これにより、μgが小さくなり、|μg-St|を小さくすることができる。一方、カメラ制御部10は、μg<Stの場合、撮像部100の露光時間を長くする。これにより、μgが小さくなり、|μg-St|を小さくすることができる。撮像部100の露光時間を短くした後、カメラ制御部10は、再度、ステップS2401~ステップS2403を実行して、露光時間を変更した撮像部100により撮像される生体画像内の肌領域の画素のG信号値が、所定の範囲外であるか否かを判定する。
ステップS2403において、生体画像解析部40により抽出される肌領域の画素のG信号値が所定の範囲内であると判定した場合(ステップS2403:No)、カメラ制御部10は、撮像部100のゲインまたは露光時間の制御が不要と判断し、ステップ2407に進む。そして、カメラ制御部10は、生体画像解析部40により抽出される肌領域の画素のRB信号値が所定の範囲外であると否かを判定する(ステップS2407)。本実施の形態では、カメラ制御部10は、肌領域の画素のR信号値が、当該R信号値条件:μr<Rmaxを満たし、かつ肌領域の画素のB信号値が、当該B信号値条件:μb<Bminを満たした場合に、肌領域のRB信号値が所定の範囲内に存在すると判定する。一方、カメラ制御部10は、肌領域の画素のR信号値が、当該R信号値条件:μr<Rmaxを満たさない場合、または肌領域の画素のB信号値が、当該B信号値条件:μb<Bminを満たさない場合、肌領域の画素のRB信号値が所定の範囲外であると判定する。
生体画像解析部40により抽出される肌領域の画素のRB信号値が所定の範囲内であると判定した場合(ステップS2407:No)、カメラ制御部10は、撮像部100のホワイトバランスの制御を行わずに、撮像部100の撮像パラメータの制御を終了する。一方、生体画像解析部40により抽出される肌領域の画素のRB信号値が所定の範囲外であると判定した場合(ステップS2407:Yes)、カメラ制御部10は、生体画像解析部40により抽出される肌領域の画素のRB信号値が、R信号値条件およびB信号値条件を満たすように、撮像部100のホワイトバランスを制御する(ステップS2408)。
本実施の形態では、肌領域の画素のR信号値がμr≧Rmaxである場合または肌領域の画素のB信号値がμb≦Bminである場合、カメラ制御部10は、肌領域の画素のR信号値が低下しかつ肌領域の画素のB信号値が増加するように、撮像部100のホワイトバランスを制御する。これにより、肌領域の画素のR信号値のμrが小さくなりかつ肌領域の画素のB信号値のμbが大きくなるので、肌領域の画素のRB信号値が、R信号値条件およびB信号値条件を満たすように、撮像部100のホワイトバランスを制御することができる。
また、本実施の形態では、カメラ制御部10は、μr-RmaxまたはBmin-μbの大きさに応じて、撮像部100のホワイトバランスの制御量(変更量)を変化させることも可能である。具体的には、カメラ制御部10は、μr-RmaxまたはBmin-μbが大きくなるに従って、撮像部100のホワイトバランスの制御量を大きくする。一方、カメラ制御部10は、μr-RmaxまたはBmin-μbが小さくなるに従って、撮像部100のホワイトバランスの制御量を小さくする。これにより、より短時間で、R信号値条件およびB信号値条件を満たすホワイトバランスの設定値を得ることができる。
撮像部100のホワイトバランスを制御した後、カメラ制御部10は、再度、ステップS2401~ステップS2402、ステップS2407を実行して、ホワイトバランスを制御した撮像部100により撮像される生体画像内の肌領域の画素のRB信号値が、所定の範囲外であるか否かを判定する。
すなわち、第2制御方法では、撮像部100の線形変換パラメータを制御した場合における、撮像部100により撮像される生体画像内の肌領域のRGB信号値の変化に基づいて、撮像部100の線形変換パラメータを制御する。その際、第2制御方法では、撮像部100のホワイトバランスよりも、撮像部100のゲインおよび露光時間を優先して制御する。これにより、生体画像内の肌領域の画素のG信号値が、より確実にG信号値条件を満たすことができるので、言い換えると、μgおよびStをより近づけることができるので、信号雑音比が大きい生体信号を検出可能な生体画像の撮像が可能となる。
また、第2制御方法では、生体画像内の肌領域の画素のG信号値が、当該G信号値条件を満たすように、撮像部100のゲインおよび露光時間を制御する際、ゲインを優先して制御する。ただし、撮像部100の露光時間をゲインよりも優先して制御することも可能であるが、撮像部100の露光時間の初期値として、生体画像内の肌領域の画素のG信号値がStよりも大きくなる可能性が高い露光時間を設定する場合(例えば、撮像部100のフレームレートの低下が起こらない範囲で最長の露光時間を初期値として設定する場合)、撮像部100のゲインを優先して制御する方が、露光時間の低下を最小限に抑えることができ、生体画像から検出可能な生体信号の信号雑音比を大きくすることができる。一般的に、撮像部100のある色信号値を再現できる露光時間とゲインの組合せは複数存在するが、露光時間が長くかつゲインが小さい組み合わせと、露光時間が短くかつゲインが大きい組み合わせと、を比較した場合、前者の方が、生体画像から検出できる生体信号のノイズが小さくなるためである。
このように、第2の実施の形態にかかる撮像制御装置1によれば、生体画像内の肌領域の画素のG信号値が、より確実にG信号値条件を満たすことができるので、信号雑音比が大きい生体信号を検出可能な生体画像の撮像が可能となる。
(第3の実施の形態)
本実施の形態は、生体画像に基づいて検出される生体信号のロバスト性が最大化されるように線形変換パラメータを制御する第3制御方法によって、撮像部の線形変換パラメータを制御する例である。以下の説明では、上述の実施の形態と同様の構成については説明を省略する。
図25は、第3の実施の形態にかかる撮像制御装置による線形変換パラメータの第3制御方法の流れの一例を示すフローチャートである。次に、図25を用いて、線形変換パラメータの第3制御方法の流れの一例について説明する。以下の説明では、ステップS2501およびステップS2502で示す処理は、図18で示すステップS1801およびステップS1802で示す処理と同様である。
カメラ制御部10は、生体画像解析部40により抽出される肌領域の画素のG信号値が所定の範囲外であるか否かを判定する(ステップS2503)。本実施の形態では、カメラ制御部10は、肌領域の画素のG信号値が、G信号値条件:|μg-St|<εを満たす場合、肌領域の画素のG信号値が所定の範囲内にあると判定し、撮像部100のゲインおよび露光時間の制御を行わず、ステップS2505へ進む。一方、カメラ制御部10は、肌領域の画素のG信号値が、G信号値条件を満たさない場合、肌領域の画素のG信号値が所定の範囲外であると判定し、ステップS2504へ進み、撮像部100のゲインおよび露光時間を制御する。
肌領域の画素のG信号値が所定の範囲外であると判定した場合(ステップS2503:Yes)、カメラ制御部10は、肌領域の画素のRB信号値が所定の範囲外であるか否かを判定する(ステップS2504)。本実施の形態では、カメラ制御部10は、肌領域の画素のR信号値が当該R信号値条件:μr<Rmaxを満たさない場合、若しくは、肌領域の画素のB信号値が当該B信号値条件:μb>Bminを満たさない場合、肌領域の画素のRB信号値が所定の範囲外であると判定し、ステップS2506へ進む。一方、カメラ制御部10は、肌領域の画素のRB信号値のそれぞれが各信号値の条件を満たす場合、肌領域の画素のRB信号値が所定の範囲内であると判定し、ステップS2507へ進む。
肌領域の画素のG信号値が所定の範囲内であると判定した場合も(ステップS2503:No)、カメラ制御部10は、ステップS2504と同様に、肌領域の画素のRB信号値が所定の範囲外であるか否かを判定する(ステップS2505)。そして、カメラ制御部10は、肌領域の画素のRB信号値が所定の範囲外であると判定した場合、ステップS2506へ進む。一方、カメラ制御部10は、肌領域の画素のRB信号値が所定の範囲内であると判定した場合、撮像部100の線形変換パラメータの制御処理を終了する。
肌領域の画素のRB信号値が所定の範囲外であると判定した場合(ステップS2504:Yes、ステップS2505:Yes)、カメラ制御部10は、生体画像解析部40により抽出される肌領域の画素のRB信号値が、それぞれの条件を満たすように、撮像部100のホワイトバランスを制御する(ステップS2506)。本実施の形態では、カメラ制御部10は、図24に示すステップS2408と同様に、撮像部100のホワイトバランスを制御する。そして、撮像部100のホワイトバランスを制御した後、カメラ制御部10は、再度、ステップS2501~ステップS2503、およびステップS2504またはステップS2505を実行して、ホワイトバランスを制御した撮像部100により撮像される生体画像内の肌領域の画素のRB信号値が、所定の範囲外であるか否かを判定する。
肌領域の画素のRB信号値が所定の範囲内であると判定した場合(ステップS2504:No)、カメラ制御部10は、図24に示すステップS2404と同様に、撮像部100の現在のゲイン、および図17のステップS1701で取得される撮像部情報が示すゲインの制御範囲に基づいて、撮像部100のゲインを、|μg-St|が小さくなるように制御可能であるか否かを判定する(ステップS2507)。
撮像部100のゲインを、|μg-St|が小さくなるように制御可能であると判定した場合(ステップS2507:Yes)、カメラ制御部10は、図24に示すステップS2405と同様に、撮像部100のゲインを、|μg-St|が小さくなるように制御する(ステップS2508)。撮像部100のゲインを制御した後、カメラ制御部10は、再度、ステップS2501~ステップS2503を実行し、ゲインを制御後の撮像部100により撮像される生体画像内の肌領域の画素のG信号値が当該G信号値条件を満たしているか否かを判定する。
一方、撮像部100のゲインを、|μg-St|が小さくなるように制御することができないと判定された場合(ステップS2507:No)、カメラ制御部10は、図24に示すステップS2406と同様に、撮像部100の露光時間を、|μg-St|が小さくなるように制御する(ステップS2509)。撮像部100の露光時間を短くした後、カメラ制御部10は、再度、ステップS2501~ステップS2504を実行して、露光時間を変更した撮像部100により撮像される生体画像内の肌領域の画素のG信号値が、所定の範囲外であるか否かを判定する。
すなわち、第3制御方法では、第2制御方法と同様に、撮像部100の線形変換パラメータの制御した場合における、撮像部100により撮像される生体画像のRGB信号値に基づいて線形変換パラメータを制御する。その際、第3制御方法では、撮像部100のゲインおよび露光時間よりも、撮像部100のホワイトバランスを優先して制御する。これにより、生体画像内の肌領域の画素のRB信号値が、より確実に各信号値の条件を満たすことができるので、言い換えると、μr<Rmaxおよびμb>Bminを確実に満たすことができるので、信号雑音比が大きい生体信号を検出可能な生体画像の撮像が可能となる。
このように、第3の実施の形態にかかる撮像制御装置1によれば、生体画像内の肌領域の画素のRB信号値が、より確実に各信号値の条件を満たすことができるので、信号雑音比が大きい生体信号を検出可能な生体画像の撮像が可能となる。
なお、第1~3の実施の形態の撮像制御装置1で実行されるプログラムは、ROM等に予め組み込まれて提供される。また、第1~3の実施の形態の撮像制御装置1で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでCD-ROM、フレキシブルディスク(FD)、CD-R、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。
さらに、第1~3の実施の形態の撮像制御装置1で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、第1~3の実施の形態の撮像制御装置1で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
第1~3の実施の形態の撮像制御装置1で実行されるプログラムは、上述した各部(カメラ制御部10、生体画像取得部30、生体画像解析部40)を含むモジュール構成となっており、実際のハードウェアとしてはCPU2(プロセッサの一例)が上記ROMからプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、カメラ制御部10、生体画像取得部30、生体画像解析部40が主記憶装置上に生成されるようになっている。
1 撮像制御装置
2 CPU
3 記憶装置
4 I/F
10 カメラ制御部
20 記憶部
30 生体画像取得部
40 生体画像解析部
100 撮像部
特許第6104458号公報 特開2017-158675号公報 特開2015-205222号公報

Claims (7)

  1. 撮像部によって生体を撮像した生体画像を取得する生体画像取得部と、
    前記生体画像取得部により取得される前記生体画像内における前記生体の生体位置が所定位置であるか否かを判定し、前記撮像部によって前記生体を撮像した前記生体画像に基づいて、前記生体の生体信号を検出する生体画像解析部と、
    前記生体位置が前記所定位置であると判定された後かつ前記生体信号の検出前に前記撮像部の撮像パラメータを制御する撮像制御部と、を備え、
    前記撮像パラメータは、前記撮像部が有する受光素子により受光する単位時間当たりの受光量を入力とし、前記生体画像の色信号値を出力とした場合における入出力の関係を示す入出力カーブを変化させる前記撮像部のパラメータであり、
    前記撮像制御部は、前記生体位置の画素のG信号値の度数分布が、下記の式(1)および式(2)を満たすように、前記撮像パラメータを制御する、撮像制御装置。
    σg>σg0・・・(1)
    2σg<μg<1-2σg・・・(2)
    ここで、前記G信号値は、0~1に規格化されている。また、σg0は、前記撮像パラメータの制御前における前記G信号値の標準偏差を表す。また、μgは、前記撮像パラメータの制御後における前記G信号値の平均値を表す。また、σgは、前記撮像パラメータの制御後における前記G信号値の標準偏差を表す。
  2. 前記撮像制御部は、G波長域の前記受光量に対応する前記入出力カーブの傾きが1より大きくなるように、前記撮像パラメータを制御する請求項に記載の撮像制御装置。
  3. 前記撮像パラメータのうち線形変換パラメータの初期値に従って前記撮像部により撮像した前記生体画像における前記生体位置の前記色信号値と、当該色信号値を所定の条件を満たす色信号値に変換可能な線形変換パラメータと、を対応付ける線形変換テーブルを記憶する記憶部を備え、
    前記線形変換パラメータは、前記入出力カーブを線形に変換する撮像パラメータであり、
    前記撮像制御部は、前記線形変換テーブルを用いて、前記撮像部の前記線形変換パラメータを制御する、請求項またはに記載の撮像制御装置。
  4. 前記撮像制御部は、前記撮像パラメータのうち前記入出力カーブを線形に変換する線形変換パラメータを制御した際の前記色信号値の変化に基づいて、前記線形変換パラメータを制御する、請求項またはに記載の撮像制御装置。
  5. 前記線形変換パラメータは、前記撮像部のゲイン、露光時間、およびホワイトバランスを含み、
    前記撮像制御部は、前記撮像部のゲインおよび露光時間を、前記撮像部のホワイトバランスより優先して制御するか、若しくは、前記撮像部のホワイトバランスを、前記撮像部のゲインおよび露光時間より優先して制御する、請求項に記載の撮像制御装置。
  6. 前記撮像制御部は、前記生体信号が検出される間、前記撮像パラメータを制御しない、請求項1からのいずれか一に記載の撮像制御装置。
  7. コンピュータを、
    撮像部によって生体を撮像した生体画像を取得する生体画像取得部と、
    前記生体画像取得部により取得される前記生体画像内における前記生体の生体位置が所定位置であるか否かを判定し、前記撮像部によって前記生体を撮像した前記生体画像に基づいて、前記生体の生体信号を検出する生体画像解析部と、
    前記生体位置が前記所定位置であると判定された後かつ前記生体信号の検出前に前記撮像部の撮像パラメータを制御する撮像制御部と、して機能させ、
    前記撮像パラメータは、前記撮像部が有する受光素子により受光する単位時間当たりの受光量を入力とし、前記生体画像の色信号値を出力とした場合における入出力の関係を示す入出力カーブを変化させる前記撮像部のパラメータであり、
    前記撮像制御部は、前記生体位置の画素のG信号値の度数分布が、下記の式(3)および式(4)を満たすように、前記撮像パラメータを制御する、プログラム。
    σg>σg0・・・(3)
    2σg<μg<1-2σg・・・(4)
    ここで、前記G信号値は、0~1に規格化されている。また、σg0は、前記撮像パラメータの制御前における前記G信号値の標準偏差を表す。また、μgは、前記撮像パラメータの制御後における前記G信号値の平均値を表す。また、σgは、前記撮像パラメータの制御後における前記G信号値の標準偏差を表す。
JP2020083336A 2020-05-11 2020-05-11 撮像制御装置、およびプログラム Active JP7456274B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020083336A JP7456274B2 (ja) 2020-05-11 2020-05-11 撮像制御装置、およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020083336A JP7456274B2 (ja) 2020-05-11 2020-05-11 撮像制御装置、およびプログラム

Publications (2)

Publication Number Publication Date
JP2021177822A JP2021177822A (ja) 2021-11-18
JP7456274B2 true JP7456274B2 (ja) 2024-03-27

Family

ID=78509894

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020083336A Active JP7456274B2 (ja) 2020-05-11 2020-05-11 撮像制御装置、およびプログラム

Country Status (1)

Country Link
JP (1) JP7456274B2 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006186933A (ja) 2004-12-28 2006-07-13 Oki Electric Ind Co Ltd 情報端末装置
WO2014136310A1 (ja) 2013-03-08 2014-09-12 富士フイルム株式会社 脈波伝播速度の測定方法及びシステム並びに撮像装置
JP2019170868A (ja) 2018-03-29 2019-10-10 株式会社日立製作所 生体情報検出装置および生体情報検出方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006186933A (ja) 2004-12-28 2006-07-13 Oki Electric Ind Co Ltd 情報端末装置
WO2014136310A1 (ja) 2013-03-08 2014-09-12 富士フイルム株式会社 脈波伝播速度の測定方法及びシステム並びに撮像装置
JP2019170868A (ja) 2018-03-29 2019-10-10 株式会社日立製作所 生体情報検出装置および生体情報検出方法

Also Published As

Publication number Publication date
JP2021177822A (ja) 2021-11-18

Similar Documents

Publication Publication Date Title
US8702608B2 (en) Method for estimating acoustic velocity of ultrasonic image and ultrasonic diagnosis apparatus using the same
US8767103B2 (en) Color filter, image processing apparatus, image processing method, image-capture apparatus, image-capture method, program and recording medium
US20160338603A1 (en) Signal processing device, signal processing method, and computer-readable recording medium
JP5879745B2 (ja) 分光推定パラメーター生成装置およびその方法、並びにコンピュータープログラム
US20090105544A1 (en) Imaging apparatus and endoscope system
US20070140553A1 (en) Dental colorimetry apparatus
JP2020157102A (ja) 脈波測定装置、脈波測定プログラム、脈波測定方法及び脈波測定システム
JP7229676B2 (ja) 生体情報検出装置および生体情報検出方法
JP5988093B2 (ja) 画像処理装置、物体識別装置、及びプログラム
US11266331B2 (en) Optical apparatus and information processing method
US9153013B2 (en) Image processing apparatus, image processing method and computer readable medium
US20200015688A1 (en) Blood pressure measurement method, device and storage medium
JPWO2020188825A1 (ja) 内視鏡システム
KR20130006011A (ko) 초음파 근육 영상 처리 장치
CN114859381A (zh) 一种大气成分差分吸收激光成像雷达廓线探测方法及系统
JP2007278950A (ja) マルチバンド撮像装置およびカラーフィルタの特性設定方法
JP7456274B2 (ja) 撮像制御装置、およびプログラム
JP6319980B2 (ja) 歯牙測色方法、歯牙測色装置、及び歯牙測色プログラム
JP2004007462A (ja) フレア光の影響に対しデジタル画像を補正する方法
JP7106821B2 (ja) 生体信号解析装置、生体信号解析方法及びプログラム
CN111970965A (zh) 模型设定装置、非接触式血压测定装置、模型设定方法、模型设定程序以及记录介质
US10080091B2 (en) Signal processing device and signal processing method
JP4679175B2 (ja) 撮像システム及び制御装置
US9978144B2 (en) Biological information measurement apparatus, biological information measurement method, and computer-readable recording medium
JP7330867B2 (ja) 撮像装置、情報処理装置、情報処理システム、データの生成方法、およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230224

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230920

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230926

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231124

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240213

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240226

R151 Written notification of patent or utility model registration

Ref document number: 7456274

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151