JP6826733B2 - 信号制御装置、信号制御プログラム、及び信号制御方法 - Google Patents

Description

本発明は、人物の映像を表示する映像情報に含まれる映像信号を制御する信号制御装置、信号制御プログラム、及び信号制御方法に関する。

近年、健康意識の高まりや生活習慣病の増加に伴い、人物の身体の情報を取得する方法が種々提案されている。中でも、非接触的手法を介して生体の情報を取得する技術として、人物の映像を表示する映像データ（映像情報）を解析する手法が注目されている。この手法によれば、例えば人物の肌面が映った映像信号から脈波信号を抽出することによって、人物の心拍数や血圧値等の生体情報を計測することができる。

上述した技術を用いることで、他人の身体が映った映像をもとにして生体情報や健康情報を算出することができ、またこれらの情報を本人の知らぬところで利用できてしまう。身体が映った映像は、例えば、ビデオカメラで撮影したり、録画したりすることで取得した映像情報、テレビ放送などから録画した映像情報、あるいは、インターネット上に無数に存在する映像情報等から容易に入手することができる。このため、プライバシー保護の観点から、映像情報から生体情報を得ることが困難となるような手法が求められている。

このような手法としては、例えば映像に含まれる身体部分にぼかし処理やザイク処理を施す方法が提案されている。また、映像情報に対して、ＭＰＥＧやMP４等の既存の圧縮技術を用いて動画圧縮処理を施す方法が提案されている。

また、特許文献１には、人物が撮影された映像情報の肌領域における画素値を平滑化する画像処理装置について記載されている。この平滑化は、映像情報のあるフレームとその前後のフレームにおける肌領域の画素値の平均値を算出することで行われる。特許文献１によれば、肌領域の画素値の時間に対する微小変動が平滑化されて緩やかになり、脈拍数の推定が困難になるとされている。

特開２０１６−１１２３２５号公報

映像情報に対してぼかし処理やモザイク処理を施した場合には、処理を施した箇所の脈波信号の抽出を困難にすることができる。しかしながらこの場合には、空間解像度が低くなるため映像が不自然となってしまう。また、映像情報に対して高圧縮率での圧縮処理を施した場合には、脈波信号を抽出し難くすることができる。しかしながら、この場合には、圧縮率が増加するにしたがって映像品質が劣化してしまう。

また、フレーム間の移動平均処理に基づく特許文献１の技術により行う平滑化では、心拍成分のみを効率的に除去することは困難である。さらには、特許文献１の技術は、アルゴリズムが簡単ではないこと、フレーム間で肌領域における対応する画素又は小領域を特定しないと平滑化すべき時系列が得られないこと、メモリや計算時間が画素数に比例する以上のオーダーで増加することと等の理由から、計算処理の負荷が高いという課題がある。また、画素単位ではなく小領域単位で平滑化を行うことでメモリや計算時間の節約をすることができるが、この場合には空間解像度が悪くなり、映像品質との両立が困難である。

本発明は、かかる背景技術に鑑みてなされたものであり、映像情報からの生体情報の取得を困難にするとともに、映像品質の低下を抑えて、計算処理の負荷が低い信号制御装置、信号制御プログラム、及び信号制御方法を提供することを目的とする。なお、この目的に限らず、後述する発明を実施するための形態に示す各構成により導かれる作用効果であって、従来の技術によっては得られない作用効果を奏することも本件の他の目的である。

本件は、以下に示す種々の具体的態様を提供する。
［１］複数の画素からなる時系列の映像フレームによって構成され、人物の映像を表示する映像情報から、所定の長さの時間窓に応じた複数の前記映像フレームを取得するフレーム取得部と、前記複数の映像フレーム間で共通する箇所の時系列の画素が示す映像信号に含まれて、輝度成分を有する輝度信号について、前記映像フレームに含まれる前記複数の画素がそれぞれ示す複数の前記輝度信号の位相を時間幅又は時間軸でずらすように制御を行う位相制御部とを備えることを特徴とする信号制御装置。

［２］前記位相制御部は、前記複数の輝度信号を、それぞれランダムな時間幅で遅延させる、［１］に記載の信号制御装置。
［３］前記位相制御部は、前記時系列の画素が示す前記映像信号を抽出し、抽出した前記映像信号に含まれる前記輝度信号に前記時間幅の時間遅れを付与して、前記映像信号を抽出した前記時系列の画素に、前記時間遅れを付与した前記輝度信号を格納する、［２］に記載の信号制御装置。

［４］前記輝度信号から前記人物の平均心拍間隔を算出する心拍間隔算出部と、前記心拍間隔算出部で算出した前記平均心拍間隔の間で一様となる乱数に従った時間を生成する乱数時間生成部をさらに備え、前記位相制御部は、前記複数の輝度信号を、それぞれ前記乱数時間生成部が生成した前記時間のランダムな時間幅で遅延させる、［２］又は［３］に記載の信号制御装置。
［５］人体が平常時に通常示す心拍間隔である通常心拍間隔の間で一様となる乱数に従った時間を生成する乱数時間生成部をさらに備え、前記位相制御部は、前記複数の輝度信号を、それぞれ前記乱数時間生成部が生成した前記時間のランダムな時間幅で遅延させる、
［２］又は［３］に記載の信号制御装置。

［６］前記映像フレームにおいて、前記人物の肌が露出している部分に対応する前記画素の領域である肌領域を特定する肌領域特定部をさらに備え、前記位相制御部は、前記時間窓に含まれる最初の前記映像フレームにおいて、前記肌領域に含まれる前記画素が示す前記輝度信号の位相をずらすように制御を行う、［２］〜［５］のいずれか１項に記載の信号制御装置。
［７］前記位相制御部は、前記時間窓に含まれる最初の前記映像フレーム、及び前記時間幅が経過した後の前記映像フレームにおいて、前記肌領域に含まれる前記画素が示す前記輝度信号の位相をずらすように制御を行う、［６］に記載の信号制御装置。

［８］コンピュータを、複数の画素からなる時系列の映像フレームによって構成され、人物の映像を表示する映像情報から、所定の長さの時間窓に応じた複数の前記映像フレームを取得するフレーム取得部と、前記複数の映像フレーム間で共通する箇所の時系列の画素が示す映像信号に含まれて、輝度成分を有する輝度信号について、前記映像フレームに含まれる前記複数の画素がそれぞれ示す複数の前記輝度信号の位相を時間幅又は時間軸でずらすように制御を行う位相制御部として機能させることを特徴とする信号制御プログラム。

［９］複数の画素からなる時系列の映像フレームによって構成され、人物の映像を表示する映像情報から、所定の長さの時間窓に応じた複数の前記映像フレームを取得するフレーム取得ステップと、前記複数の映像フレーム間で共通する箇所の時系列の画素が示す映像信号に含まれて、輝度成分を有する輝度信号について、前記映像フレームに含まれる前記複数の画素がそれぞれ示す複数の前記輝度信号の位相を時間幅又は時間軸でずらすように制御を行う位相制御ステップとを備えることを特徴とする信号制御方法。

本件によれば、映像情報からの生体情報の取得を困難にするとともに、映像品質の低下を抑えて、計算処理の負荷が低い信号制御装置、信号制御プログラム、及び信号制御方法を提供することができる。

実施形態に係る信号制御装置、及び信号制御システムのハードウェア構成の例を示すブロック図である。 実施形態に係る信号制御装置、及び信号制御システムの機能構成の例を示すブロック図である。 （ａ）〜（ｃ）は信号制御装置の処理を説明するためのチャートである。 （ａ）、（ｂ）は信号制御装置の処理を説明するためのチャートである。 実施形態に係る信号制御装置における処理の一例を示すフローチャートである。 映像信号が3原色（赤・緑・青）で構成される場合の、位相変更処理前の各部位の中の1つの画素の緑色輝度信号の時間変化とそれに0.5Hzから1.5Hzの心拍周波数帯域通過フィルタを施した時の出力を示すグラフであり、（ａ）は中指の指先の輝度信号の時間変化を示し、（ｂ）は中指の付け根の輝度信号の時間変化を示し、（ｃ）は掌の輝度信号の波時間変化を示している。 映像信号が3原色（赤色・緑色・青色）で構成される場合の、位相変更処理前の各部位の中の1つの画素の緑色輝度信号の時間変化とそれに0.5Hzから1.5Hzの心拍周波数帯域通過フィルタを施した時の出力を示すグラフであり、（ａ）は額の輝度信号の時間変化を示し、（ｂ）は目元の輝度信号の時間変化を示し、（ｃ）は口元の輝度信号の時間変化を示している。 位相変更処理前の各部位の輝度信号のパワースペクトルを示すグラフであり、（ａ）は中指の指先の輝度信号のパワースペクトルを示し、（ｂ）は中指の付け根の輝度信号のパワースペクトルを示し、（ｃ）は手の平の輝度信号のパワースペクトルを示している。 位相変更処理前の各部位の輝度信号のパワースペクトルを示すグラフであり、（ａ）は額の輝度信号のグラフのパワースペクトルを示し、（ｂ）は目元の輝度信号のパワースペクトル示し、（ｃ）は口元の輝度信号のパワースペクトルを示している。 顔と掌に対応する画素全部の緑色輝度信号を足し合わせた複合信号の時間変化を示すグラフであり、（ａ）は位相変更処理前の複合信号の時間変化を示し、（ｂ）は位相変更処理後の複合信号の時間変化を示す。 顔と掌に対応する画素全部の緑色輝度信号のパワースペクトルを示すグラフであり、（ａ）は位相変更処理前の複合信号のパワースペクトルを示し、（ｂ）は位相変更処理後の複合信号のパワースペクトルを示す。 変形例に係る信号制御装置、及び信号制御システムの機能構成の例を示すブロック図である。

以下、図面を参照して、本発明の一実施形態としての信号制御装置について説明する。以下に示す実施形態はあくまでも例示に過ぎず、以下の実施形態で明示しない種々の変形や技術の適用を排除する意図はない。本実施形態の各構成は、それらの趣旨を逸脱しない範囲で種々変形して実施することができる。また、必要に応じて取捨選択することができ、あるいは適宜組み合わせることができる。また、図中において、同一の符号を付した部分は特に断らない限り、同一若しくは同様の部分を示す。

本明細書において、「〜」を用いてその前後に数値又は物性値を挟んで表現する場合、その前後の数値又は物性値を含むものとして用いることとする。例えば「１〜１００」との数値範囲の表記は、その下限値「１」及び上限値「１００」の双方を包含するものであり、「１以上１００以下」を表す。他の数値範囲の表記も同様である。

［１．構成］
一実施形態に係る信号制御装置について、図１〜図１１を参照して説明する。
本実施形態に係る信号制御装置は、人物の映像を表示する映像情報（映像データ）が示す映像信号に含まれる輝度信号の位相をずらすように制御を行うものである。ここで、輝度信号は、映像信号が可視光の3原色（赤色・緑色・青色）で構成される場合であっても赤外光領域の場合であっても、それらに心拍数成分が含まれている場合には位相をずらすように制御を行う。また、本実施形態に係る信号制御システムは、人物の映像を撮影して映像情報を得るとともに、撮影により得られた映像情報が示す映像信号に含まれる輝度信号の位相をずらすように制御を行うものである。本明細書において、信号制御装置、及び信号制御システムは、それぞれ映像信号を制御する「映像信号制御装置」、及び「映像信号制御システム」とも位置づけることができる。なお、本実施形態では、映像情報から血流の変化を示す脈波情報の取得を困難にするように処理を行う場合を例示する。

［１−１．ハードウェア構成］
図１に示すように、本実施形態に係る信号制御システム１００は、少なくとも、信号制御装置２００を備えている。信号制御システム１００は、さらに、映像取得装置３００と、出力装置４００とを備えている。信号制御装置２００は、例えば、映像取得装置３００で得られた映像データを処理するためのコンピュータとして構成されている。信号制御装置２００は、中央処理装置（ＣＰＵ；Central Processing Unit）１０、及びメモリ７０を備え、これらはバス（図示略）を介して相互に通信可能に接続されている。また、信号制御装置２００は、キーボード、マウス等の入力装置（図示略）をさらに備えている。信号制御装置２００は、デスクトップコンピュータ又はラップトップコンピュータ等のパーソナルコンピュータ（ＰＣ）、スマートフォン、タブレット端末等のコンピュータとして構成されている。

なお、本実施形態において、コンピュータとは、ハードウェアとオペレーティングシステムとを含む概念であり、オペレーティングシステムの制御の下で動作するハードウェアを意味している。また、オペレーティングシステムが不要でアプリケーションプログラム単独でハードウェアを動作させるような場合には、そのハードウェア自体がコンピュータに相当する。ハードウェアは、少なくとも、ＣＰＵ等のマイクロプロセッサと、記録媒体に記録されたコンピュータプログラムを読み取るための手段とを備えている。
以下、各構成要素について説明する。

＜ＣＰＵ＞
ＣＰＵ１０は、種々の制御や演算を行なう処理装置であり、メモリ７０に格納された後述する本件のプログラムを読み出して実行することにより、種々の機能を実現する。そして、ＣＰＵ１０が、このプログラムを実行することにより、図２で示すように、処理部１１０の各機能手段としてそれぞれ機能する。なお、処理部１１０における処理機能の実現手段はプログラムに限定されず、信号制御装置２００に搭載されるハードウェアにより実現されてもよい。例えば、処理部１１０を、ＲＯＭ，ＲＡＭ，ＣＰＵ等を内蔵したワンチップマイコンとして構成してもよいし、あるいは、ＤＳＰ（Digital Signal Processor）、ＦＰＧＡ（Field-Programmable Gate Array）やＡＳＩＣ（Application Specific Integrated Circuit）等の電子回路として構成してもよい。

＜メモリ＞
メモリ７０は、種々のデータやプログラムを格納するデータ記憶装置である。本実施形態では、メモリ７０がデータ記憶装置として機能するが、データ記憶装置は、ＲＡＭ（Random Access Memory）等の揮発性メモリや、ＲＯＭ、フラッシュメモリ等の不揮発性メモリ、またはＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、光ディスク等の記憶装置によって構成される。

＜映像取得装置＞
映像取得装置３００は、撮像素子としてＣＣＤ（Charge Coupled Device；電荷結合素子）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor；相補型金属酸化膜半導体）を用いたイメージセンサを有する可視光領域あるいは赤外光領域で動作するビデオカメラである。映像取得装置３００は、可視光領域を対象とする場合にはＲ（赤）、Ｇ（緑）、Ｂ（青）等の３種以上の受光素子を搭載することができる。また、映像取得装置３００は、可視光領域あるいは赤外光領域の光を発するＬＥＤを搭載した反射型フォトセンサであってもよい。映像取得装置３００は、撮影対象者である人物の身体を撮影して、その映像情報を取得する。そして、映像取得装置３００は、映像情報を後述する映像情報取得部１２１に出力する（図２参照）。

映像取得装置３００による対象者の身体の撮影部位は特に限定されないが、通常、輝度信号に心拍数成分が多く含まれる肌面の露出の多さにより撮影が容易な部位が好ましく、例えば、手、顔等が挙げられる。中でも、撮影領域の広さから、掌、前額部、頬がより好ましい。特には、信号のＳＮ比の高い映像脈波を取得しやすい観点から、血圧上昇時に細動脈が交感神経の支配をうけて末梢血管抵抗を上昇させる部位が好適に用いられる。このような部位は、手、脚等の四肢等の末梢の部位が挙げられ、中でも、手が好ましく、掌がさらに好ましい。映像取得装置３００によって取得される映像情報に含まれる映像は、上述した対象者の身体の一部位のみを含む映像であってもよく、対象者の身体の二部位以上を含む映像であってもよく、対象者の身体の一部位のうち一部分の領域のみを含む映像であってもよい。

＜出力装置＞
出力装置４００は、例えば、ＣＲＴ（Cathode Ray Tube）、ＬＣＤ（Liquid Crystal Display）、有機ＥＬディスプレイ（Organic Light-Emitting Diode Display）等のディスプレイである。出力装置４００は、処理部１１０で処理された情報、及び記憶部１７０に格納される情報等を表示することができる。例えば、出力装置４００は、映像情報取得部１２１で取得された映像情報の映像を表示することができる。また、出力装置４００は、肌領域特定部１４１で特定された肌領域を表示することができる。また、出力装置４００は、位相制御部１５０で位相変更処理された映像情報の映像を表示することができる。出力装置４００は、入力装置によって入力操作を受け付けるためのＧＵＩ（Graphical User Interface）を表示することもできる。なお、出力装置４００は、スピーカー等の音声出力装置を備えていてもよい。

［１−２．機能構成］
図２に示すように、信号制御システム１００を機能的に表すと、信号制御装置２００、映像取得装置３００、及び出力装置４００を備えて構成される。また、信号制御装置２００を機能的に表すと、処理部１１０、及び記憶部１７０を備えて構成される。
以下、各構成要素の構成を説明する。

＜記憶部＞
記憶部１７０は、メモリ７０を用いて、ファイルシステム又はデータベースシステムによりデータを格納している。本実施形態における記憶部１７０は、映像情報記憶部１７１、及び処理結果記憶部１７２を備えて構成される。記憶部１７０は、例えば、後述する映像情報、及び処理結果等のデータを格納することができる。また、記憶部１７０は、ＣＰＵ１０に実行させることで、後述する処理部１１０の映像情報取得部１２１、フレーム取得部１３１、肌領域特定部１４１、位相制御部１５０、及び出力制御部１６１としてそれぞれ機能させるプログラムを予め保存する。これらのプログラムをあわせて、本件のプログラム（生体情報計測プログラムともいう。）と称する。記憶部１７０の各構成要素の説明は後述する。なお、生体情報計測プログラムは、ＣＰＵ１０に実行させることで、少なくともフレーム取得部１３１及び位相制御部１５０として機能させるプログラムとして構成される。

＜処理部＞
処理部１１０は、ＣＰＵ１０で演算処理される機能部位であり、各機能は個別のプログラムとして構成されている。図２に示すように、処理部１１０は、映像情報取得部１２１、フレーム取得部１３１、肌領域特定部１４１、位相制御部１５０、及び出力制御部１６１としてそれぞれ機能する。処理部１１０の各部の説明は後述する。

本件のプログラムは、例えばフレキシブルディスク、ＣＤ（ＣＤ−ＲＯＭ，ＣＤ−Ｒ，ＣＤ−ＲＷ等）、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−ＲＡＭ，ＤＶＤ−Ｒ，ＤＶＤ＋Ｒ，ＤＶＤ−ＲＷ，ＤＶＤ＋ＲＷ，ＨＤ ＤＶＤ等）、ブルーレイディスク、磁気ディスク、光ディスク、光磁気ディスク、ＵＳＢメモリ、ＳＤメモリカード等の、コンピュータ読取可能な記録媒体に記録された形態で提供される。そして、信号制御装置２００はその記録媒体からプログラムを読み取って内部記憶装置（例えば、メモリ７０）又は外部記憶装置に転送し格納して用いる。又は、それらのプログラムを、例えば磁気ディスク、光ディスク、光磁気ディスク等の図示しない記憶装置（記録媒体）に記録しておき、その記憶装置からネットワークを通じて、信号制御装置２００に提供するようにしてもよい。

［１−３．記憶部］
＜映像情報記憶部＞
映像情報記憶部１７１は、映像情報を記憶する。具体的には、映像情報記憶部１７１は、映像取得装置３００によって取得された人物の映像を表示する映像情報を記憶する。例えば、映像情報記憶部１７１は、人物の所定の部位を含む映像を示す映像情報を記憶することができる。

＜処理結果記憶部＞
処理結果記憶部１７２は、後述する処理部１１０によって実行される処理の結果を記憶する。具体的には、処理結果記憶部１７２は、位相制御部１５０によって位相変更処理を施された映像情報を記憶することができる。

［１−４．処理部］
＜位相変更処理について＞
処理部１１０は、映像情報に対して、映像信号に含まれる輝度信号の位相をずらすように制御する位相変更処理を行う。ここでまず、図３，図４を参照して、位相変更処理の原理について説明する。

映像（動画）を表示する映像情報（「映像（動画）ファイル」、「映像（動画）データ」とも称される。）は、時系列の映像フレームを複数格納することによって構成されているということができる。個々の映像フレームは、それぞれ所定の解像度を有する複数の画素からなる画像である。通常、映像情報は、データの圧縮を施された所定のファイルフォーマット、又はコンテナフォーマットの形式のデータとして提供される。映像情報を構成する複数の映像フレームおいて、所定の解像度の画像の中に占められる特定の箇所（座標）の画素について、複数の映像フレーム間で共通する箇所の時系列の画素は、時系列の映像信号を示している。

ここで、生体の皮膚に照射された光は、皮下組織で散乱と吸収が生じ、その一部が反射光として皮膚の表面を通して対外へ戻る。このとき、血液に含まれるヘモグロビンによって光が吸収を受けることから、反射光の強度は皮下の血液量の増減によって変動する。すなわち、ビデオカメラ等によって人物を撮影した場合に、この映像に含まれる人物の肌の領域に対応する位置の画素の輝度値は、心臓の拍動に伴って血管内に生じる血流の変化を受けて変化する。例えば、心臓の縮小に伴い末梢血における血流に含まれるヘモロビンが増加した際には、ヘモグロビンによる光の吸収が増加して、映像中の肌領域の輝度値が低下する。

上述の通り、人物の肌部分の映像を表示する映像情報においては、血流の変化に伴って、肌領域の映像信号に含まれる輝度値が変化する。可視光の場合には特に血中ヘモグロビンの吸収率が高い緑色輝度成分が特に顕著であるが，赤色輝度成分、青色輝度成分、あるいは赤外光輝度成分にも心拍数成分が含まれる。しかしながら、単独の画素の時系列が示す映像信号は、通常、乱雑な波形を示す。このため、単独の画素の映像信号のみからは、血液量の変動等の生体情報を得ることはできない。これは、アナログ情報である生体皮膚表面の反射光の強度を、デジタル信号に変換して映像信号として格納する際の量子化誤差が影響しているものと推測される。これに対して、複数の画素の輝度の時系列がそれぞれ示す複数の映像信号を足し合わせた映像信号、あるいは、それを画素の数で除した映像信号（以降、「複数信号」とも称する。）は、生体の血液量の変動を反映した波形を示す。このため、複数信号からは、脈波の波形を示す脈波情報を得ることができる。これは、個々の画素の輝度信号の波形が一見、乱雑に見える場合であっても、位相が揃ったこれらの信号を足し合わせることで、複数信号では量子化誤差が軽減されて元の脈波情報が復元できているものと推測される。本発明者らは、上述した知見のもと、映像フレームに含まれる複数の画素がそれぞれ示す複数の映像信号の位相を互いにずらすように制御を行う位相変更処理によって、複数信号から生体情報の取得を困難にすることができることを見出した。

まず、位相変更処理を行うにあたって、図３（ａ）に示すように、所定の長さの時間窓に応じた複数の映像フレームを取得する。ここでは、人物の映像を表示する複数の映像フレームを示している。また、図３（ｂ）では、取得した複数の映像フレームのうち、時系列順で最初の一つ目の映像フレームの画像を示している。次に、時間窓に含まれる映像フレームにおいて、人物の肌が露出している部分に対応する画素の領域である肌領域を特定する。図３（ｃ）では、一つ目の映像フレームにおいて特定された肌領域を示している。ここでは、人物の映像から肌領域が特定されることで、肌領域以外の人物の頭髪、衣服、眼、及び口腔に対応する領域と、人物の背景に対応する領域とが除かれて、肌領域が表示されている。

続いて、時間窓に含まれる複数の映像フレームにおいて、複数の映像フレーム間で共通する箇所の時系列の画素が示す映像信号を抽出する。中でも、肌領域に含まれる画素が示す映像信号を抽出する。図４（ａ）では、眉間の位置の時系列の画素から抽出した映像信号Ａ１の波形を上段に、口元の位置の時系列の画素から抽出した映像信号Ｂ１の波形を下段に示している。映像信号の抽出は、時間窓に含まれる時系列で最初の映像フレームから最後の映像フレームまでが示す映像信号について行う。

さらに、図４（ｂ）に示すように、抽出された映像信号Ａ１，Ａ２にそれぞれ時間遅れを付与して、映像信号を抽出した時系列の画素に、時間遅れを付与した映像信号を格納する。具体的にここではまず、抽出された映像信号から、平均心拍間隔Ｔａを算出している。次に、抽出された映像信号Ａ１に対して、時間Ｔ１の時間遅れを信号の初めに付与することで、時間遅れが付与された映像信号Ａ２を得ている。映像信号Ａ２は、時間Ｔ１の時間遅れの付与によって、最初の映像フレームに対応する信号の開始時点から時間Ｔ１の時点までには映像信号が含まれず、時間Ｔ１後から映像信号Ａ１の信号を含むようになっている。また、抽出された映像信号Ｂ１に対して、時間Ｔ２の時間遅れを信号の初めに付与することで、時間遅れが付与された映像信号Ｂ２を得ている。映像信号Ｂ２は、時間Ｔ２の時間遅れの付与によって、信号の開始時点から時間Ｔ２の時点までには映像信号が含まれず、時間Ｔ２後から映像信号Ｂ１の信号を含むようになっている。これらの時間Ｔ１，Ｔ２は、算出された平均心拍間隔Ｔａの間で、一様となる乱数に従って生成された時間分の時間幅に相当する。

さらに、時間窓に含まれる複数の映像フレームにおいて、映像信号Ａ１を抽出した眉間の位置の時系列の画素に、映像信号Ａ２を格納する。このとき、映像信号Ａ２は時間Ｔ１の時間遅れを有するため、映像信号を抽出した最初の映像フレームから時間Ｔ１後の時点までの映像フレームには、当初の映像信号Ａ１がそのまま含まれることになる。さらに、最初の映像フレームから時間Ｔ１が経過した時点の映像フレームから、映像信号Ａ１が開始することになる。言い換えれば、最初の映像フレームから時間Ｔ１が経過した時点から、最後の映像フレームまでの間の時間Ｔ１１の間に映像信号Ａ１が格納される。なお、映像信号Ａ１のうち、最後から遡って時間Ｔ１分の信号は、時間窓に含まれる映像フレームの長さを超過するため、格納されずにカットされる。同様にして、時間窓に含まれる映像信号Ｂ１を抽出した口元の位置の時系列の画素に、映像信号Ｂ２を格納する。

このように位相変更処理を行うことで、眉間の位置の時系列の画素が示す映像信号と、口元の位置の時系列の画素が示す映像信号とは、時間Ｔ１と時間Ｔ２との差に相当する分の位相差が生じることになる。なお、ここでは２箇所の時系列の画素の映像信号を例示したが、肌領域に含まれる他の画素が示す映像信号についても同様にして位相変更処理を施す。これにより、肌領域に含まれる複数の画素が示す映像信号には、それぞれ時間遅れの時間差に相当する分の位相差が生じることになる。

上述したように、複数の映像フレーム間で共通する箇所の時系列の画素が示す映像信号を抽出して、それぞれランダムな時間幅の時間遅れを付与してから映像信号を格納することで、映像情報に含まれる各画素が示す映像信号をランダムな時間幅で遅延させている。これにより、映像フレームに含まれる複数の画素がそれぞれ示す複数の映像信号の位相をずらすように制御が行われる。このように位相変更処理が行われた映像情報では、映像情報に含まれる複数の映像信号を足し合わせた複合信号であっても、足しあわされるそれぞれの映像信号の位相が揃っていないために、脈波情報の復元が困難となっている。

映像情報に含まれる肌領域の画素が示す映像信号に対して位相変更処理を行うことで、映像情報からの生体情報の取得を困難にすることができる。位相変更処理を肌領域のすべての画素を対象とすれば完全に取得できなくすることができるが、このようにすると処理に要する計算量が多くなる。計算量を低減するには、肌領域における位相変更の処理対象とする画素を空間的に間引きするか、あるいは、肌領域を複数の小領域に分割し、この小領域に含まれる画素には同一の位相変更処理を行えばよい。ただし、前者の場合には間引きする画素数を多くすればするほど、後者の場合は小領域の分割数を少なくすればするほど、生体情報の取得が容易になるとともに、空間分解能が低減する。

なお、上記説明では、映像信号に対して処理を行う場合を例示した。映像信号には種々のフォーマットが用いられているが、生体情報は、映像信号の中でも輝度成分を有する輝度信号に含まれている。このため、映像信号のフォーマットに応じて、少なくとも輝度信号について位相をずらすように制御を行えばよい。例えば、映像信号がＲＧＢ信号の場合は、輝度信号を有するＲ信号、Ｇ信号、Ｂ信号について位相をずらすように制御を行えばよい。また、映像信号がＹＣｂＣｒ信号の場合は、ＹＣｂＣｒ信号のすべての成分について処理を行ってもよいが，計算量を減らすためには輝度信号を有するＹ信号について位相をずらすように制御を行えばよい。映像信号が赤外光の場合はその輝度信号に対して行えばよい。

本実施形態に係る信号制御装置２００は、上述した原理のもとに位相変更処理を行う。以下、信号制御装置２００による処理に関して、各構成要素を挙げて順に説明する。

＜映像情報取得部＞
映像情報取得部１２１は、映像取得装置３００を介して、人物の身体の映像を示す映像情報を取得する。映像情報取得部１２１は、取得した人物の映像情報を、フレーム取得部１３１に出力する。なお、映像情報取得部１２１は、映像情報記憶部１７１に記憶されている映像情報を読み出すことで、映像情報を取得してもよい。また、映像情報取得部１２１は、外部の通信端末又は外部の記憶装置に記憶されている映像情報を、ネットワーク又は電気回線等を介して映像情報を含むデータを受信することで、映像情報を取得してもよい。本実施形態では、映像情報は、複数の画素からなる時系列の映像フレームによって構成されて、少なくとも人物の映像を表示する映像フレームを含むものである。

＜フレーム取得部＞
フレーム取得部１３１は、映像情報から、所定の長さの時間窓に応じた複数の映像フレームを取得する。時間窓の長さの下限は、安静時の成人の平均的な心拍間隔である0.9秒以上である。時間窓の長さが上記の下限値以下であると、時間遅れを付与して位相変更処理を行った場合に、変更前の信号が残るとともに、時間遅れを付与した映像信号が時間窓の長さからオーバーしてしまうことで、各画素の映像信号の間で効率的に位相をずらすことができなくなってしまうことがある。計算機のメモリ以内であれば時間窓の長さの上限は特に限定されない。時間窓に含まれるフレーム数は限定されず、映像情報のフレームレート（ＦＰＳ；Frames Per Second）及び時間窓の長さに応じて適宜定められる。フレーム取得部１３１は、取得した時間窓の映像フレームを、肌領域特定部１４１に出力する。

＜肌領域特定部＞
肌領域特定部１４１は、フレーム取得部１３１によって取得された映像フレームの映像に含まれる人物の肌領域を特定する。具体的には、肌領域特定部１４１は、映像中の色情報に基づいて肌領域を自動で特定する。肌領域特定部１４１は、特定した肌領域の座標を映像信号抽出部１５１に送信する。

映像中の色情報に基づいて肌領域を自動で特定する場合には、肌領域特定部１４１は、映像中から肌の色を示す領域を特定することによって人物の肌領域を特定することができる。具体的には、肌領域特定部１４１は、映像の２次元座標において肌の色に相当する色値を示す全ての座標（画素の座標）を特定し、特定した座標において連続した座標の画素をまとめた領域を肌領域として特定する。このように、肌領域特定部１４１は、連続した座標の画素をまとめた領域を特定することで、身体の所定の部位に相当する肌領域を特定することができる。

このとき、肌領域特定部１４１は、画像判定を利用して、人物の身体の特定の部位を形状や特徴点を基に認識することで、特定の部位に対応する領域を肌領域として特定してもよい。なお、肌の色に相当する色については、任意に設定することができる。例えば、人種や性別ごとに所定の範囲の色値を設定し、映像において設定された範囲に含まれる色値を示す座標を肌の色の座標として特定するように設定してもよい。

なお、肌領域特定部１４１は、図示しない入力部を介して操作者から指定された領域を肌領域として特定してもよい。操作者から指定された領域を肌領域として設定する場合には、マウスやタッチパネル等の入力部を操作して、映像中に所望の領域を関心領域（ＲＯＩ：region of interest）として設定することができる。肌領域特定部１４１は、関心領域が設定されると、設定された領域を肌領域として特定する。

肌領域特定部１４１は、上述した肌領域の特定処理を、映像を構成する各映像フレームについてそれぞれ実行して、各映像フレームにおける肌領域の座標を映像信号抽出部１５１に順次送信する。

＜位相制御部＞
位相制御部１５０は、映像フレームに含まれる複数の画素がそれぞれ示す複数の輝度信号の位相をずらすように制御を行う。輝度信号の位相をずらす処理としては、例えば、複数の輝度信号に対して、ランダムな時間幅で遅延させる処理、ランダムな時間幅で早める処理、ランダムな時間幅で遅延させるか又は早めるかのどちらかを行う処理、ランダムな倍率で時間軸方向に圧縮する処理、ランダムな倍率で時間軸方向に伸張する処理、ランダムな倍率で時間軸方向に圧縮又は伸張のどちらかを行う処理等が挙げられる。これらの中でも、オリジナルの信号を維持して、映像品質の低下を抑制する観点からは、複数の輝度信号に対して、ランダムな時間幅で遅延させる処理が好ましい。本実施形態では、複数の輝度信号に対して、ランダムな時間幅で遅延させることで、複数の輝度信号の位相をずらすように制御を行う場合を例示する。

本実施形態に係る位相制御部１５０は、映像信号抽出部１５１、心拍間隔算出部１５２、乱数時間生成部１５３、及び映像信号格納部１５４を備えている。フレーム取得部１３１から出力された映像フレームは、映像信号抽出部１５１に入力される。以下、各構成要素について説明する。

＜映像信号抽出部＞
映像信号抽出部１５１は、フレーム取得部１３１で取得された複数の映像フレームにおいて、複数の映像フレーム間で共通する箇所の時系列の画素が示す映像信号を抽出する。中でも、映像信号抽出部１５１は、肌領域特定部１４１によって特定された人物の肌領域に含まれる画素が示す映像信号を抽出する。このように、人物の肌領域に含まれる画素が示す映像信号を抽出して、後述する映像信号格納部１５４での時間遅れの付与と格納とを行うことで、位相制御部１５０は、肌領域に含まれる画素が示す輝度信号の位相をずらすように制御を行うことができる。より具体的には、映像信号抽出部１５１は、時間窓に含まれる複数の映像フレームのうち、最初の映像フレームにおいて、肌領域に含まれる画素が示す映像信号を抽出する。さらに、映像信号抽出部１５１は、映像信号のフォーマットに応じて、映像信号に含まれる輝度信号を抽出する。映像信号抽出部１５１は、それぞれの時系列の画素から抽出した輝度信号を、心拍間隔算出部１５２、及び映像信号格納部１５４に出力する。

なお、ヘモグロビンの吸光特性は、５００〜６００ｎｍ周辺に高い吸光ピークを示す。そして、この吸光特性は、ビデオカメラによって観察される緑色光の周波数帯域に相当する。したがって、映像信号抽出部１５１が抽出する輝度信号は特に限定されないが、血液量の変動を適切に反映した映像脈波を抽出する観点からは、緑色光の輝度値を抽出することが好ましい。したがって、映像信号がＲＧＢ信号の場合は、輝度信号として、少なくともＧ信号を抽出することが好ましく、Ｒ信号、Ｇ信号、及びＢ信号を抽出することがより好ましい。

＜心拍間隔算出部＞
心拍間隔算出部１５２は、映像信号抽出部１５１によって抽出された輝度信号から映像に含まれる人物の平均心拍間隔を算出する。平均心拍間隔の算出方法は、例えば、まず、輝度信号から線形トレンドを除去した後に、輝度信号のパワースペクトルを得て、心拍数の周波数領域（通常、０．５〜２Ｈｚ）において最大値を与える周波数を得る。そして、この周波数の逆数をとることで、平均心拍間隔を算出することができる。または、輝度信号に時系列で繰り返し現れる極値の間隔の平均値をとることで、平均心拍間隔を算出することができる。なお、平均心拍間隔の算出は、映像信号抽出部１５１によって抽出された輝度信号のいずれか１つの信号から算出してもよく、２以上の信号から算出したものを平均してもよい。心拍間隔算出部１５２は、算出した平均心拍間隔を、乱数時間生成部１５３に出力する。

＜乱数時間生成部＞
乱数時間生成部１５３は、心拍間隔算出部１５２で算出した平均心拍間隔の間で一様となる乱数に従った時間を生成する。一様乱数の算出は公知の手法を用いて行うことができる。仮に乱数に偏りがあった場合には、複数の映像信号それぞれに時間遅れを付与しても位相が近しくなってしまうことがある。そこで、一様乱数に従った時間を生成して、この時間分の時間幅で映像信号に時間遅れを付与することで、複数の映像信号の位相を偏り無くずらすように制御を行うことができる。なお、通常、人の平均心拍間隔は０．５〜２秒程度であるのに対して、例えばテレビの映像情報では１秒間に約３０フレームである。そこで、乱数時間生成部１５３は、平均心拍間隔の長さの映像情報に含まれる１フレームあたりの時間を最小単位とした時間幅で、一様乱数に従った時間を生成するようにしてもよい。

＜映像信号格納部＞
映像信号格納部１５４は、映像信号抽出部１５１で抽出された複数の輝度信号を、それぞれ乱数時間生成部１５３が生成した時間分のランダムな時間幅で遅延させる。より具体的には、図４（ｂ）を参照して説明したように、映像信号格納部１５４は、輝度信号の初めに乱数時間生成部１５３が生成した時間分のランダムな時間幅の時間遅れを付与する。そして、映像信号を抽出した時系列の画素に、時間遅れを付与した輝度信号を格納する。このとき、映像信号格納部１５４は、輝度信号に付与した時間遅れ分の時間幅の時間が経過した後の映像フレームにおいて、映像信号を抽出した時系列の画素が肌領域に含まれている場合に、時間遅れを付与した輝度信号を格納する。一方、輝度信号に付与した時間遅れ分の時間幅の時間が経過した後の映像フレームにおいて、映像信号を抽出した時系列の画素が肌領域に含まれていなかった場合には、時間遅れを付与した輝度信号を格納せずに、元の輝度信号のままとする。このようにして、位相制御部１５０は、時間遅れ分の時間幅が経過した後の映像フレームにおいて、肌領域に含まれる画素が示す輝度信号の位相をずらすように制御を行う。

映像信号格納部１５４は、上述の通り、輝度信号それぞれに時間遅れを付与して、映像信号を抽出した時系列の画素に、時間遅れを付与した輝度信号を格納する。これにより、映像情報からの生体情報の取得を困難にすることができる。ここで、さらに、映像品質の低下を抑える観点からは、輝度信号に加えて、映像信号に含まれる輝度信号以外の信号についても同様に、輝度信号と同じ時間幅の時間遅れを付与して、映像信号を抽出した時系列の画素に時間遅れを付与した輝度信号以外の信号を格納することが好ましい。例えば、映像信号がＹＣｂＣｒ信号の場合は、Ｙ信号に加えて、Ｃｂ信号及びＣｒ信号についても同様に時間遅れを付与して、時間遅れを付与したＣｂ信号及びＣｒ信号を同じ画素に格納する。

＜出力制御部＞
出力制御部１６１は、位相制御部１５０による位相変更処理を施した映像情報を出力装置４００に出力して、出力装置４００に表示させるように制御する。また、出力制御部１６１は、映像取得装置３００によって取得された映像情報の映像、肌領域特定部１４１によって特定された肌領域を出力装置４００に表示させるように制御してもよい。

［２．動作］
以下、図５のフローチャート、及び図６〜図１１のグラフを参照しながら、信号制御システム１００、及び信号制御装置２００の動作、並びにこれらを用いて行う信号制御方法について、例を挙げて説明する。

まず、映像取得装置３００によって人物の撮影を行い、映像情報を取得する（ステップＳ１０１）。本例では、映像取得装置３００としてデジタルビデオカメラを使用して、このビデオカメラに向かって座った状態の人物の顔と右手を撮影した。このとき、手の平と顔をカメラに向けて、顔の右側に右手を並べた状態で撮影を行った。

次に、映像情報取得部１２１は、ステップＳ１０１で取得された映像情報を映像取得装置３００から受信することで、映像情報を取得する（ステップＳ１０２；映像情報取得ステップ）。本例の映像情報は、解像度が６４０（横）×４８０（縦）である。また、１秒間に約２９フレームの映像フレームが含まれる。

フレーム取得部１３１は、ステップＳ１０２で取得された映像情報から、時間窓に応じた複数の映像フレームを取得する（ステップＳ１０３；映像フレーム取得ステップ）。本例では、時間窓を１１秒として、１１秒間分の映像フレームを取得した。

肌領域特定部１４１は、ステップＳ１０２で取得された映像フレームに含まれる人物の肌領域を特定する（ステップＳ１０４；肌領域特定ステップ）。本例では、映像フレームの映像をＨＳＶ色空間に変換を行い、Ｈｕｅ（色相）を０〜１００％の範囲に正規化した場合に、２％〜５０％範囲に含まれることを肌領域の色値の条件１とした。さらに、映像フレームの映像をＹＣｂＣｒ色空間に変換を行い、Ｃｂ（青色の色差）を０〜２５５の範囲で表した場合に、５０〜１４０の範囲に含まれることを肌領域の色値の条件２とした。また、Ｃｒ（赤色の色差）を０〜２５５の範囲で表した場合に、１５６〜１７８の範囲に含まれることを肌領域の色値の条件３とした。そして、上記の色値の条件１〜３の全ての条件を満たす画素を肌領域の画素として、肌領域を特定した。

映像信号抽出部１５１は、ステップＳ１０４で抽出された肌領域に含まれる画素から、映像信号を抽出する（ステップＳ１０５；映像信号抽出ステップ）。本例では、ＲＧＢ信号の映像信号を抽出して、さらに輝度信号としてＧ信号を抽出した。

心拍間隔算出部１５２は、ステップＳ１０５で抽出された輝度信号から平均心拍間隔を算出する（ステップＳ１０６；平均心拍間隔算出ステップ）。
続いて、乱数時間生成部１５３は、ステップＳ１０６で算出された平均心拍間隔の間で一様となる乱数に従った時間を生成する（ステップＳ１０７；乱数時間生成ステップ）。

さらに、映像信号格納部１５４は、ステップＳ１０７で生成された時間分のランダムな時間幅で輝度信号に時間遅れを付与する（ステップＳ１０８；時間遅れ付与ステップ）。そして、輝度信号に付与した時間遅れ分の時間幅の時間が経過した後の映像フレームにおいて、映像信号を抽出した時系列の画素が肌領域に含まれている場合には（ステップＳ１０９のＹｅｓ）、時間遅れを付与した輝度信号を格納する（ステップＳ１１０；信号格納ステップ）。一方、時間遅れを付与した輝度信号の格納先となる画素が肌領域に含まれていない場合には（ステップＳ１０９のＮｏ）、時間遅れを付与した輝度信号を格納せず、ステップＳ１１１に進む。

ステップＳ１１１では、映像フレームの肌領域に含まれる画素が示す他の映像信号についても位相変更処理が完了したかどうかを判定する。処理が完了していない場合は、他の輝度信号それぞれについてもステップＳ１０７〜Ｓ１１０の処理を繰り返し、位相変更処理が完了するまで処理を行う。

なお、本例ではＧ信号について処理を行う場合を例示したが、Ｒ信号及びＢ信号についても、Ｒ信号と同様の時間幅で時間遅れ付与して、時間遅れを付与した信号の格納を行うことが好ましい。

本例によって抽出された、人物の映像に含まれる各部位の単独の画素に対応する輝度信号の波形を、図６（ａ）〜図６（ｃ）、図７（ａ）〜図７（ｃ）に示す。図６（ａ）〜図６（ｃ）は、手のそれぞれの部位の画素が示す輝度信号の波形である。図７（ａ）〜図７（ｃ）は、顔のそれぞれの部位の画素が示す輝度信号の波形である。さらに、図６（ａ）〜図６（ｃ）、図７（ａ）〜図７（ｃ）では、Ｇ信号の輝度信号の時系列の波形を細線で示し、Ｇ信号の輝度信号を０．５〜１．５Ｈｚの帯域通過フィルタに通過させた後の時系列の波形を太線で示している。なお、後述する図１０（ａ），図１０（ｂ）でも同様に示している。図６（ａ）〜図６（ｃ）、図７（ａ）〜図７（ｃ）から明らかなように、手と顔どちらの画素が示す輝度信号の波形でも心拍成分が少なく、単独の画素からでは脈波信号を得ることができないことが分かる。

さらに、人物の映像に含まれる各部位の単独の画素に対応する輝度信号のパワースペクトルを、図８（ａ）〜図８（ｃ）、図９（ａ）〜図９（ｃ）に示す。図８（ａ）〜図８（ｃ）、図９（ａ）〜図９（ｃ）は、それぞれ図６（ａ）〜図６（ｃ）、図７（ａ）〜図７（ｃ）と同じ部位の輝度信号のパワースペクトルを示している。これらのパワースペクトルそれぞれについて、周波数領域全体の信号強度に対して、０．５〜１．５Ｈｚの範囲における心拍成分の信号強度のＳＮ比を算出したところ。図８（ａ）〜図８（ｃ）では順に、０．４４７、１．１９、１．１４であり、図９（ａ）〜図９（ｃ）では順に、１．３１、０．９７５、０．７５８であった。図８（ａ）〜図８（ｃ）、図９（ａ）〜図９（ｃ）の結果から明らかなように、心拍成分を信号成分とするＳＮ比は小さく、単独の画素からでは脈拍数を得ることができないことが分かる。

これに対して、図６（ａ）〜図６（ｃ）と図７（ａ）〜図７（ｃ）に示した輝度信号を足し合わせた複合信号の波形を、図１０（ａ）に示す。さらに、この複合波形のパワースペクトルを図１１（ａ）に示す。図１０（ａ）では、およそ０．９秒間隔で、周期的なピークが現れていることが分かる。また、図１１（ａ）では、１．１３Ｈｚにピークが出現している。さらに、図１１（ａ）での０．５〜１．５Ｈｚの範囲における心拍成分の信号強度のＳＮ比は、６．８６と高い値を示した。これらの結果から、位相変更処理を行う前の複合信号からは、脈波信号及び脈拍を得ることができることが分かる。

さらに、図６（ａ）〜図６（ｃ）と図７（ａ）〜図７（ｃ）に示した輝度信号に対して、本例によってそれぞれ位相変更処理を行った後の信号を足し合わせた複合信号の波形を、図１０（ｂ）に示す。さらに、この位相変更処理後の複合信号のパワースペクトルを図１１（ｂ）に示す。図１０（ｂ）では、図１０（ａ）で表れていた周期的なピークが見られなくなっていることが分かる。また、図１１（ｂ）では、図１１（ａ）で出現していた１．１３Ｈｚのピークが消失している。さらに、図１１（ｂ）での０．５〜１．５Ｈｚの範囲の心拍成分のＳＮ比は、０．７５８と大幅に低下していた。このＳＮ比は、図８（ａ）〜図８（ｃ）、図９（ａ）〜図９（ｃ）に示した位相変更処理前の個々の輝度信号のＳＮ比と同程度の値となっている。これらの結果から、位相変更処理によって、複合信号から脈波情報を得ることが困難になっていることが分かる。

［３．作用及び効果］
本実施形態に係る信号制御装置２００は、上述のように構成されるため、以下のような作用及び効果を得ることができる。

（１）信号制御装置２００は、フレーム取得部１３１と、位相制御部１５０とを備える。そして、位相制御部１５０では、位相変更処理によって、映像情報の映像フレームに含まれる複数の画素がそれぞれ示す複数の輝度信号の位相をずらすように制御する。これにより、動画情報に含まれる各画素が示す輝度信号が、全体として位相が揃わなくなる。したがって、各画素の輝度信号を足し合わせた複合信号であっても、生体情報を取得することが困難になる。さらに信号制御装置２００では、輝度信号の位相をずらす処理を行うことで、例えばモザイク処理や圧縮処理と比して、処理前の映像情報に含まれる輝度信号の損失が抑制されるため、映像品質の低下が抑えられる。また、信号制御装置２００では、例えば従来知られていた平滑化の手法と比して比較的に計算処理の負荷が低い手法によって、生体情報の取得を困難にすることができる。したがって、信号制御装置２００によれば、映像情報からの生体情報の取得を困難にするとともに、映像品質の低下を抑えて、計算処理の負荷が低いことを並立することができるものである。

（２）中でも、位相制御部１５０では、輝度信号をランダムな時間幅で遅延させる。より具体的には、輝度信号にランダムな時間幅の時間遅れを付与して、映像信号を抽出した時系列の画素に、時間遅れを付与した輝度信号を格納する。このとき、個々の画素が示す輝度信号は、遅延させた時間分の遅れが生じているものの、もとのままの輝度信号が格納されている。これにより、位相変更処理の前後で輝度信号が維持されているため、映像品質の低下が抑制される。また、輝度信号を遅延させるという比較的に簡単なアルゴリズムで位相をずらす制御を行うことができる。このため、例えば、映像フレーム間で対応する画素や小領域を特定する必要なく、処理を行うことができる。また、位相制御部１５０によれば、処理に必要なメモリや計算時間は画素数に比例するだけであるため、計算処理の負荷を低くすることができる。

（３）さらに、信号制御装置２００は、心拍間隔算出部１５２と、乱数時間生成部１５３とを備える。そして、位相制御部１５０は、複数の輝度信号を、平均心拍間隔の間で一様となる乱数に従った時間分のランダムな時間幅でそれぞれ遅延させる。これにより、時間遅れが最大でも平均心拍間隔までの長さとなるため、心拍間隔の整数倍の時間幅で時間遅れが付与されて輝度信号の位相が揃ってしまうことを防ぐことができる。また、時間遅れが過度に長大となることで、時間遅れが施されていない当初の輝度信号がそのまま残ってしまうことを防ぐことができる。また、計算負荷が増加することを防ぐことができる。さらに、時間遅れの時間幅が偏ることで、位相が揃うことを防ぐことができる。すなわち、信号制御装置２００によれば、最適な長さのランダムな時間幅を設定して、各画素の輝度信号の位相をずらすことによって、映像情報からの生体情報の取得を困難にすることができる。

（４）また、信号制御装置２００は、肌領域を特定する肌領域特定部１４１を備える。そして、位相制御部１５０は、時間窓に含まれる最初の映像フレームにおいて、肌領域に含まれる画素が示す輝度信号の位相をずらすように制御を行う。このように、肌領域において位相変更処理を行うようにすることで、生体情報を取得することができない画素での処理を省くことによって、計算処理の負荷を低下させることができる。また、肌領域以外の例えば背景領域における処理を省くことで、背景領域に生じる映像の乱れを防ぐことができる

（５）またさらに、位相制御部１５０は、時間窓に含まれる最初の前記映像フレーム、及び時間幅が経過した後の映像フレームにおいて、肌領域に含まれる画素が示す輝度信号の位相をずらすように制御を行う。このように、位相変更処理の前後で肌領域に含まれる画素にのみ処理を行い、時間遅れ分の時間幅の時間が経過した後のタイミングの映像フレームにおいて肌領域から外れていた画素の映像信号は、元の映像信号のままにしておくことができる。これにより、時間遅れ分の時間幅の時間が経過した後の肌領域以外の画素に、時間遅れを付与した肌領域の映像信号が格納されることを避けることができる。したがって、映像の乱れが生じることを防ぐことができる。

［４．用途］
信号制御システム１００及び信号制御装置２００は、例えば、ビデオカメラやスマートフォン等を用いて人物を撮影して映像情報を保存する際に用いられる。このとき、撮影により取得した映像情報に本件の位相変更処理を施すことで、生体情報の取得が困難な映像情報として出力することができる。この場合、デジタルビデオカメラで撮影した映像情報を保存する場合はもちろん、アナログビデオカメラで撮影した映像をデジタルデータに変換して保存する場合にも用いることができる。

また、信号制御装置２００は、例えば、テレビ局等で身体が映った映像の放送を行う際に用いられる。このとき、生体情報の取得が可能な映像情報に対して本件の位相変更処理を施してから放送することで、受信した映像からの生体情報の取得が困難となる。また、受信した映像を録画しても、生体情報の取得が困難な映像として録画される。

また、信号制御装置２００は、例えば、インターネット上のサイトに、身体が映った映像情報をアップロードする際に用いられる。このとき、生体情報の取得が可能な映像情報に対して本件の位相変更処理を施してからアップロードすることで、その映像情報をダウンロードしても、ダウンロードした映像からの生体情報の取得は困難となる。

また、信号制御装置２００は、インターネット上のサイトにアップロードされた身体が映った映像情報をダウンロードする際に用いられる。生体情報の取得が可能な映像情報がアップロードされている場合であっても、本件の位相変更処理を施してからダウンロードさせるようにすることで、映像からの生体情報の取得が困難な映像を配信することができる。

［５．その他］
上述の実施形態では、信号制御装置２００が、映像情報から血流の変化を示す脈波情報の取得を困難にするように処理を行う場合を例示した。信号制御装置２００が行う処理の対象はこれに限定されず、輝度信号の位相をずらすことで映像情報から生体情報の取得が困難になるものであれば、適宜処理の対象とすることができる。このような生体情報としては、例えば、呼吸、脈波伝搬時間差あるいはそれに基づいて計算される血圧変動量等が挙げられる、

上述の実施形態では、信号制御システム１００が映像取得装置３００を備え、映像情報取得部１２１が映像取得装置３００により取得された映像情報を取得して、位相変更処理を施す場合を例示した。映像情報取得部１２１は、ネットワークを介して映像取得装置３００からの映像情報を受信して、この映像情報に位相変更処理を施してもよい。

上述の実施形態では、信号制御装置２００がコンピュータとして構成されており、ソフトウェア処理によって位相変更処理を行う場合を例示した。信号制御装置２００はこれに限定されず、ハードウェアエンコーダと称される専用の電子回路又はチップとして構成されて、位相変更処理を行ってもよい。または、本件の信号処理を行うコーデックとして提供されるものであってもよい。

上述の実施形態では、位相制御部１５０が心拍間隔生成部１５２及び乱数時間生成部１５３を有し、心拍間隔生成部１５２で算出した平均心拍間隔の間で一様となる乱数に従った時間を生成し、この時間分のランダムな時間幅で輝度信号を遅延させる場合を例示した。図１２に示すように、変形例に係る信号制御システム１００ａ及び信号制御装置２００ａでは、位相制御部１５０ａが、心拍間隔生成部１５２及び乱数時間生成部１５３にかえて、乱数時間生成部１５３とは異なる乱数時間生成部１５３ａを備えている。この乱数時間生成部１５３ａは、人体が平常時に通常示す心拍間隔である通常心拍間隔の間で一様となる乱数に従った時間を生成する。この通常心拍間隔は、人物の年齢、性別、人種等によって適宜変更することができるが、通常０．５〜２秒である。さらに、映像信号格納部１５４は、複数の輝度信号を、それぞれ乱数時間生成部１５３ａが生成した時間分のランダムな時間幅で遅延させる。この変形例に係る信号制御システム１００ａ及び信号制御装置２００ａによれば、平均心拍間隔の算出を行わずともランダムな時間幅で時間遅れを付与することができるため、計算処理の負荷を抑えながら、各画素の輝度信号の位相をずらすことができる。

１００ 信号制御システム
１１０ 処理部
１２１ 映像情報取得部
１３１ フレーム取得部
１４１ 肌領域特定部
１５０ 位相制御部
１５１ 映像信号抽出部
１５２ 心拍間隔算出部
１５３ 乱数時間生成部
１５４ 映像信号格納部
１６１ 出力制御部
１７０ 記憶部
２００ 信号制御装置

Claims (9)

1. 複数の画素からなる時系列の映像フレームによって構成され、人物の映像を表示する映像情報から、所定の長さの時間窓に応じた複数の前記映像フレームを取得するフレーム取得部と、
   前記複数の映像フレーム間で共通する箇所の時系列の画素が示す映像信号に含まれて、輝度成分を有する輝度信号について、前記映像フレームに含まれる前記複数の画素がそれぞれ示す複数の前記輝度信号の位相を時間幅又は時間軸でずらすように制御を行う位相制御部とを備える
   ことを特徴とする信号制御装置。
2. 前記位相制御部は、前記複数の輝度信号を、それぞれランダムな時間幅で遅延させる、請求項1に記載の信号制御装置。
3. 前記位相制御部は、前記時系列の画素が示す前記映像信号を抽出し、抽出した前記映像信号に含まれる前記輝度信号に前記時間幅の時間遅れを付与して、前記映像信号を抽出した前記時系列の画素に、前記時間遅れを付与した前記輝度信号を格納する、
   請求項２に記載の信号制御装置。
4. 前記輝度信号から前記人物の平均心拍間隔を算出する心拍間隔算出部と、
   前記心拍間隔算出部で算出した前記平均心拍間隔の間で一様となる乱数に従った時間を生成する乱数時間生成部をさらに備え、
   前記位相制御部は、前記複数の輝度信号を、それぞれ前記乱数時間生成部が生成した前記時間のランダムな時間幅で遅延させる、
   請求項２又は３に記載の信号制御装置。
5. 人体が平常時に通常示す心拍間隔である通常心拍間隔の間で一様となる乱数に従った時間を生成する乱数時間生成部をさらに備え、
   前記位相制御部は、前記複数の輝度信号を、それぞれ前記乱数時間生成部が生成した前記時間のランダムな時間幅で遅延させる、
   請求項２又は３に記載の信号制御装置。
6. 前記映像フレームにおいて、前記人物の肌が露出している部分に対応する前記画素の領域である肌領域を特定する肌領域特定部をさらに備え、
   前記位相制御部は、前記時間窓に含まれる最初の前記映像フレームにおいて、前記肌領域に含まれる前記画素が示す前記輝度信号の位相をずらすように制御を行う、
   請求項２〜５のいずれか１項に記載の信号制御装置。
7. 前記位相制御部は、前記時間窓に含まれる最初の前記映像フレーム、及び前記時間幅が経過した後の前記映像フレームにおいて、前記肌領域に含まれる前記画素が示す前記輝度信号の位相をずらすように制御を行う、
   請求項６に記載の信号制御装置。
8. コンピュータを、
   複数の画素からなる時系列の映像フレームによって構成され、人物の映像を表示する映像情報から、所定の長さの時間窓に応じた複数の前記映像フレームを取得するフレーム取得部と、
   前記複数の映像フレーム間で共通する箇所の時系列の画素が示す映像信号に含まれて、輝度成分を有する輝度信号について、前記映像フレームに含まれる前記複数の画素がそれぞれ示す複数の前記輝度信号の位相を時間幅又は時間軸でずらすように制御を行う位相制御部として機能させる
   ことを特徴とする信号制御プログラム。
9. 複数の画素からなる時系列の映像フレームによって構成され、人物の映像を表示する映像情報から、所定の長さの時間窓に応じた複数の前記映像フレームを取得するフレーム取得ステップと、
   前記複数の映像フレーム間で共通する箇所の時系列の画素が示す映像信号に含まれて、輝度成分を有する輝度信号について、前記映像フレームに含まれる前記複数の画素がそれぞれ示す複数の前記輝度信号の位相を時間幅又は時間軸でずらすように制御を行う位相制御ステップとを備える
   ことを特徴とする信号制御方法。