JP4539783B2 - 信号処理装置および信号処理方法 - Google Patents

Description

この発明は、画像を見た人が示す反応等に関連して、当該画像に係る画像真相を記録する等の処理を行う信号処理装置および信号処理方法に関する。

所望の画像を撮像する撮像装置としては、例えばＣＣＤ(Charge Coupled Dervice)を使用した装置等、種々のものが知られている。

しかしながら、撮像された画像情報の内で、その画像を見た人の感情に変化を与えたり印象深かったもの等について、例えば記録する等の処理を選択的に行う機能を有する装置は今までに知られていない。

従って、この発明の目的は、撮像された画像情報の内で、その画像を見る人の感情に変化を与えたり印象深かったものを判定し、そのような画像情報について例えば記録する等の処理を選択的に行うことが可能な信号処理装置および信号処理方法を提供することにある。

上述した課題を解決するために、この発明は、人体に装着され、被装着者の視野に対応した画像信号を生成する画像センサと、人体に装着され、被装着者の心拍信号を取得するための生体信号センサと、生体信号センサからの出力の変化を検出し、検出結果に基づいて上記画像信号の記録を開始し、所定の期間記録する画像信号処理手段とを有する信号処理装置である。

この発明は、人体に装着された画像センサにより、被装着者の視野に対応した画像信号を生成する画像信号生成ステップと、人体に装着された生体信号センサにより、被装着者の心拍信号を取得するための生体信号を生成する生体信号生成ステップと、生体信号からの出力の変化を検出し、検出結果に基づいて画像信号の記録を開始し、所定の期間記録する画像信号処理ステップとを有する信号処理方法である。

以上のような発明によれば、生体信号センサの出力に基づいて検知される例えば感情の変化等を示すデータに基づいて設定される条件の下で、画像センサが生成する画像信号に対して記録等の処理がなされる。

この発明によれば、生体信号センサの出力に基づいて検知される、例えば画像を見た人の感情の変化等を示すデータと、画像信号とに基づいて設定される条件の下で、画像センサが生成する画像信号に対する記録等の処理が行われる。

このため、画像センサが生成する画像信号の内で、見た人の感情に変化を生じさせた画像、見た人に深い印象を与えた画像等に係るものについて選択的に記録する等の処理を行うことができる。

この発明の一実施形態の全体的な構成の一例を示すブロック図である。 この発明の一実施形態の一部の構成の一例を示すブロック図である。 この発明の一実施形態の他の一部の構成の一例を示すブロック図である。 この発明の一実施形態のさらに他の一部の構成について説明するためのブロック図である。 この発明の一実施形態のよりさらに他の一部の構成について説明するためのブロック図である。 この発明の一実施形態における動作タイミングの一例を示すタイミングチャートである。

この発明の一実施形態の構成について図１を参照して説明する。画像センサとしてのＣＣＤ８と、温度センサ１１₁ ，筋電位センサ１１₂ 等、１１_n までのｎ個の生体センサとが人体に装着される。ＣＣＤ８は入射する撮像光を電気信号に変換し、電気信号をＡ／Ｄ変換器９に供給する。なお、ＣＣＤ８は、例えば眼鏡のふち等に装着することにより、被装着者が実際に見ている画像にできるだけ近い画像に係る画像信号を生成するようになされる。

Ａ／Ｄ変換器９は供給される信号をＡ／Ｄ変換する。Ａ／Ｄ変換器９の出力は、画像信号処理部１０と記憶部１４内の遅延素子１５とに供給される。画像信号処理部１０は、供給される信号に基づいて画像信号に関連するトリガ信号Ｖを生成し、生成したトリガ信号Ｖを記憶部１４内の記録制御部１６に供給する。

一方、１１₁ 〜１１_n の各生体センサの後段にはそれぞれ、Ａ／Ｄ変換器１２₁ 〜１２_n が設けられる。Ａ／Ｄ変換器１２₁ 〜１２_n は、それぞれに供給される信号をＡ／Ｄ変換する。Ａ／Ｄ変換器１２₁ 〜１２_n の出力は、それぞれ、信号処理部１３₁ 〜１３_n に供給される。信号処理部１３₁ 〜１３_n は、供給される信号に基づいて生体センサの信号に関連するトリガ信号を生成する。例えば、信号処理部１３₁ は、体温等を測定する温度センサ１１₁ の出力に関連するトリガ信号Ｔを生成し、また、信号処理部１３₂ は、筋電位センサ１１₂ の出力に関連するトリガ信号Ｋを生成する。生体センサとしては、他にマイクロホン等の音声センサや、心拍計、血圧計等を用いることができる。

信号処理部１３₁ 〜１３_n の出力は、記録制御部１６に供給される。記録制御部１６は、供給されるトリガ信号Ｖ，Ｔ，Ｋ‥‥に基づいて書き込み有効期間を示す信号Ｒを生成し、信号Ｒを記録回路１８に供給する。遅延素子１５は、記録制御部１６の指令に従って、Ａ／Ｄ変換器１２から供給される画像信号を記録フォーマット化回路１７、記録回路１８等が動作するために好適な期間遅延させ、遅延させた画像信号を記録フォーマット化回路１７に供給する。記録フォーマット化回路１７は、記録制御部１６の指令に従って、遅延素子１５から供給される画像信号を記録回路１８による処理に好適な信号形式に変換する。記録回路１８は、記録制御部１６から供給される書き込み有効期間を示す信号Ｒを参照して、記録フォーマット化回路１７の出力を磁気ディスク１９に記録するための処理を行う。なお、記録回路８の出力を外部の記録装置等に伝送するようにしても良い。

また、磁気ディスク１９から所望の情報を再生する場合には、再生制御回路２３の指令に従って、再生回路２０が磁気ディスク１９から記録されているデータを読み出す。再生回路２０が生成する信号がフォーマット変換回路２１に供給される。フォーマット変換回路２１は、供給される信号のフォーマットを出力信号として好適なものに変換する。フォーマット変換回路２１の出力は、Ｄ／Ａ変換回路２４によってＤ／Ａ変換され、外部に出力される。また、記録制御部１６および再生制御部２３の動作は、主制御回路２２によって制御される。

なお、記録媒体は磁気ディスクに限定されるものではなく、相変化型の光ディスク（ＰＤ）、光磁気ディスク（ＭＯ）等のディスク状の記録媒体、磁気テープ、光テープ等のテープ状の記録媒体、およびフラッシュメモリ等、種々の記録媒体を使用することができる。

また、再生回路２０、フォーマット変換回路２１、Ｄ／Ａ変換回路２４等の再生に係る構成を切り離せるように構成しても良い。このような構成によれば、記録に係る構成要素のみを含む小型・軽量な部分を、被装着者が容易に持ち運ぶことができる等の利点がある。

次に、画像信号処理部１０について詳細に説明する。画像信号処理部１０の構成の一例を図２に示す。Ａ／Ｄ変換器９の出力である画像信号がフレームメモリ３１と減算器３２とに供給される。フレームメモリ３１の出力が減算器３２に供給される。減算器３２は供給される画像信号間の差分を算出し、算出した差分を絶対値計算回路３３に供給する。絶対値計算回路３３は、供給される差分について絶対値を計算し、計算した差分絶対値を積算回路３４に供給する。積算回路３４は、供給される差分絶対値を所定のフレーム数に渡って積算し、積算値を比較回路３５に供給する。

比較回路３５には所定のしきい値が供給され、このしきい値と積算値との比較結果を示す信号がトリガ生成回路３６に供給される。トリガ生成回路３６は、供給される信号に従ってトリガ信号Ｖを生成する。ここで、トリガ信号Ｖを生成する条件としては、画像内の物体が動いた場合、ＣＣＤ８が被装着者と共に動いた場合、または全体的な輝度レベルに変化があった場合等が挙げられ、何れの場合もフレーム間差分に基づいて判断することができる。

なお、画像信号処理部１０として、ブロックマッチング等の方法によって動きベクトルを抽出し、抽出した動きベクトルに基づく処理を行うことによってトリガ信号を生成する構成を用いても良い。

次に、温度センサ１１₁ の出力に関連してトリガ信号を生成する信号処理部１３₁ について詳細に説明する。信号処理部１３₁ の構成の一例を図３に示す。温度センサ１１₁ の出力がＡ／Ｄ変換器１２₁ によって適切なサンプリング間隔でサンプリングされてなる信号が遅延素子４１と減算器４２とに供給される。遅延素子４１は、供給される信号を所定期間遅延させ、減算器４２に供給する。減算器４２は供給される２個の信号間の差分を算出し、算出した差分を絶対値計算回路４３に供給する。絶対値計算回路４３は、供給される差分について絶対値を計算し、計算した差分絶対値を比較回路４４に供給する。

比較回路４４には所定のしきい値が供給され、このしきい値と絶対値計算回路４３の出力との比較結果を示す信号がトリガ生成回路４５に供給される。トリガ生成回路４５は、供給される信号に従ってトリガ信号Ｔを生成する。以上のような構成により、何らかの刺激が被装着者に加わったことに起因して被装着者の体温が変化する場合等にトリガ信号が生成される。なお、遅延素子４１による遅延の期間は、体温の変化を検出するために好適に設定すれば良い。

次に、筋電位センサ１１₂ の出力に関連してトリガ信号を生成する信号処理部１３₂ について詳細に説明する。信号処理部１３₂ の構成の一例を図４に示す。Ａ／Ｄ変換器１２₂ の出力が絶対値計算回路５１に供給される。絶対値計算回路５１の出力がピーク検出回路５２に供給される。ピーク検出回路５２は、供給される信号からピーク値を検出し、検出したピーク値を比較回路５３に供給する。ここで、ピーク検出回路５２には、一定の時間間隔でリセット信号が供給される。

リセット信号が供給される毎に、ピーク検出回路５２がそれ以前に検出したピーク値がリセットされる。このようにして、一定の時間間隔毎にピークが検出される。比較回路５３には所定のしきい値が供給され、このしきい値とピーク検出回路５２の出力との比較結果を示す信号がトリガ生成回路５４に供給される。トリガ生成回路４５は、供給される信号に従ってトリガ信号Ｋを生成する。このようにして、一定の時間間隔毎に、トリガ信号Ｋの生成の可否が決定される。

以上のような構成により、被装着者に加わる刺激、被装着者の動作等に起因して筋電位がある程度以上大きく変化する場合等に、トリガ信号が生成される。例えば、顔の筋肉に筋電位センサを装着すれば、表情の変化に基づいてトリガ信号が生成される。なお、画像信号処理部１０として、筋電位のパルス（ピーク）間隔の差に基づく処理を行うことによってトリガ信号を生成する構成を用いても良い。

次に、記録制御回路１６について詳細に説明する。上述したように、記録制御回路１６は、信号処理部１３₁ 〜１３_n によって生成される各トリガ信号に基づいて総合的な判断を行い、書き込み有効期間を示す信号Ｒを生成する。記録制御回路１６の構成の一例を図５に示す。ここでは、トリガ信号として上述した３種類のトリガ信号Ｖ，Ｔ，Ｋが供給される場合を示す。トリガ信号Ｖ，Ｔ，Ｋがアンド回路６１に供給される。アンド回路６１は、トリガ信号Ｖ，Ｔ，Ｋに基づいてアンド信号を生成し、生成したアンド信号を波形整形回路６２に供給する。波形整形回路６２は、供給される信号に、孤立点の除去等の波形整形処理を施す。波形整形回路６２の出力は同期回路６３に供給される。

一方、コントロール回路６４は、主制御部２２の指令に従って同期情報に係る信号を生成し、生成した信号を同期回路６３に供給する。同期回路６３は、波形整形回路６２が出力する信号に対して、主制御部２２の指令に従う同期をとる処理を行う。このような処理の結果として、書き込み有効期間を示す信号Ｒが同期回路６３から出力される。なお、トリガ信号がＶ，Ｔ，Ｋ以外のものを含む場合、トリガ信号の種類が３種類以外である場合等においても、上述したような構成においてアンド回路６１に供給されるトリガ信号の種類や個数を変更することによって書き込み有効期間を示す信号Ｒを生成することができる。また、記録制御部１６の前段にスイッチを設ける等の構成により、複数個のトリガ信号の内の所望のもののみを記録制御部１６による処理に使用するようにしても良い。

全体的な動作に係るタイミングチャートの一例を図６に示す。図６Ａは時間経過を示す。ここで、Ｓは有意刺激がある期間を示す。期間Ｓは、以下に説明するようにして検出される。図６Ｂに示すタイミングで，画像信号が記憶装置１４に供給される。図６Ｃに示すタイミングで，画像信号に関連するトリガ信号Ｖが生成される。ここで、上述したように、トリガ信号Ｖは画像内の物体が動いた場合等に生成されるので、図６Ｂに示す、一連の画像信号が供給されている期間内においても、トリガ信号Ｖの立上がり／立下がりが生じる。また、画像信号が供給される以外に期間においても、ノイズ等に起因してトリガ信号Ｖが生成される場合がある。

図６Ｄに示すタイミングで、体温等を測定する温度センサ１１₁ の出力に関連するトリガ信号Ｔが生成される。ここでは、例えば画像を注視することに起因する体温の変化が反映されていると考えられる。図６Ｅに示すタイミングで、筋電位センサ１１₂ の出力に関連するトリガ信号Ｋが生成される。このトリガ信号Ｋは、上述したように、一定の期間内での筋電位のピーク値がしきい値以上となる場合等にパルス状に生成される。図６Ｂに示す、一連の画像信号が供給されている期間内においても、トリガ信号Ｋの立上がり／立下がりが生じる。また、画像信号が供給される以外に期間においても、ノイズ等に起因してトリガ信号Ｋが生成されたり、また、体温等を測定する温度センサ１１₁ の出力に関連するトリガ信号Ｔが生成たりする場合がある。

図６Ｃ，図６Ｄ，図６Ｅにそれぞれ示したトリガ信号Ｖ，Ｔ，Ｋのアンド出力、すなわちアンド回路６１の出力は、図６Ｆに示すようなものとなる。そして、書き込み有効期間信号Ｒは，アンド出力の最初の立上がり時点Ｕから所定の記録期間に渡って立上がるように生成される（図６Ｇ参照）。実際の記録処理は、書き込み有効期間信号Ｒの立上がり時点から、記録処理に係る構成の動作等に起因する遅延時間分だけ遅延した時点から開始される。なお、図１中の遅延素子１５による遅延の期間を変えることにより、アンド出力が最初に立ち上がる時点Ｕ以前の画像信号を記録する等、所望のタイミングでの記録が可能となる。

この発明は、上述したこの発明の一実施形態に限定されるものでは無く、この発明の主旨を逸脱しない範囲内で様々な変形や応用が可能である。

８・・・ＣＣＤ、１０・・・画像信号処理部、１１₁ ・・・温度センサ、１１ ₂・・・筋電位センサ、１６・・・記録制御部

Claims (3)

1. 人体に装着され、被装着者の視野に対応した画像信号を生成する画像センサと、
   上記人体に装着され、上記被装着者の心拍信号を取得するための生体信号センサと、
   上記生体信号センサからの出力の変化を検出し、検出結果に基づいて上記画像信号の記録を開始し、所定の期間記録する画像信号処理手段と
   を有する信号処理装置。
2. 上記生体信号センサは、
   更に、上記被装着者の温度、筋電位、音声、または血圧を取得する請求項１に記載の信号処理装置。
3. 人体に装着された画像センサにより、被装着者の視野に対応した画像信号を生成する画像信号生成ステップと、
   上記人体に装着された生体信号センサにより、上記被装着者の心拍信号を取得するための生体信号を生成する生体信号生成ステップと、
   上記生体信号からの出力の変化を検出し、検出結果に基づいて上記画像信号の記録を開始し、所定の期間記録する画像信号処理ステップと
   を有する信号処理方法。

Images