JP6137877B2 - 画像処理装置、画像処理方法及びそのプログラム - Google Patents

Description

本発明は、動画像データを処理する画像処理装置、画像処理方法及びそのプログラムに関する。

画像の記録や再生を行う装置に関しては、撮影者の生体情報を記録しつつ画像記録を行い、画像の再生時に記録した生体情報から撮影者の感情を推定する技術について開示されている（例えば、特許文献１）。これによれば、表示装置は、推定した撮影者の感情に基づいて、元の画像に所定の画像を重畳させる加工を行い、加工した画像を表示する。

また、生体情報を利用して、特定の画像をズームして再生する技術についても開示されている（例えば、特許文献２）。具体的には、撮像部を通じて被写体の画像を撮像している場合に、撮影者の生体情報を検出し、画像と生体情報とを同期させて記録しておく。記録された画像の再生時には、生体情報を解析して得られる感情状態を示す情報に基づいて、画像処理を施すべき画像が特定される。そして、特定された画像に対してズーム等の画像処理を施して再生する。

特開２０１１−１９３２７５号公報 特開２００５−６３０８７号公報

上記の公知の技術のように、撮影者の意図を推定して画像に加工等を行った場合には、誤った推定をしたために記録された客観的な事実（撮影した画像そのもの）が不用意に歪められてしまうおそれがある。不用意に画像を歪めてしまうことなく、再生される画像を通じて、撮影者や視聴者が撮影者の生体情報に変化のあったことを認識できることが望ましい。

本発明は、視聴者が、再生される画像を通じて、簡便に撮影者の生体情報に変化のあったことを認識することのできる技術を提供することを目的とする。

前述の目的を達成するために、本発明の態様の一つである画像処理装置によれば、被写体が撮影された動画データの各フレーム画像に、前記撮影中における撮影者の生体情報を同期させて取得する取得部と、前記取得部で取得された生体情報を解析して、前記撮影者の生体情報の変化が開始したか否かを判断し、且つ、前記動画データの開始フレームから数フレームに対応する前記生体情報については、前記撮影者の生体情報の変化が開始したと判断する判断部と、前記取得部で取得された動画データの各フレーム画像のうち、前記判断部で前記撮影者の生体変化が開始したと判断したタイミングに同期する画像を非定常フレームとし、非定常フレーム以外の画像を定常フレームとするとき、前記非定常フレームが前記定常フレームに対して相対的に強調されるような画像処理を、前記定常フレームまたは前記非定常フレームの少なくとも一方に対して行う画像処理部と、を有することを特徴とする。

また、本発明の態様の一つである画像処理方法によれば、フレーム画像に対して画像処理を行う画像処理方法であって、被写体が撮影された動画データの各フレーム画像に、前記撮影中における撮影者の生体情報を同期させて取得し、前記取得された生体情報を解析して、前記撮影者の生体情報の変化が開始したか否かを判断し、且つ、前記動画データの開始フレームから数フレームに対応する前記生体情報については、前記撮影者の生体情報の変化が開始したと判断し、前記取得された動画データの各フレーム画像のうち、前記撮影者の生体変化が開始したと判断したタイミングに同期する画像を非定常フレームとし、非定常フレーム以外の画像を定常フレームとするとき、前記非定常フレームが前記定常フレームに対して相対的に強調されるような画像処理を、前記定常フレームまたは前記非定常フレームの少なくとも一方に対して行う、ことを特徴とする。

また、本発明の態様の一つである制御プログラムによれば、画像処理装置において画像処理を行わせるための制御プログラムであって、被写体が撮影された動画データの各フレーム画像に、前記撮影中における撮影者の生体情報を同期させて取得し、前記取得された生体情報を解析して、前記撮影者の生体情報の変化が開始したか否かを判断し、且つ、前記動画データの開始フレームから数フレームに対応する前記生体情報については、前記撮影者の生体情報の変化が開始したと判断し、前記取得された動画データの各フレーム画像のうち、前記撮影者の生体変化が開始したと判断したタイミングに同期する画像を非定常フレームとし、非定常フレーム以外の画像を定常フレームとするとき、前記非定常フレームが前記定常フレームに対して相対的に強調されるような画像処理を、前記定常フレームまたは前記非定常フレームの少なくとも一方に対して行う、ことを特徴とする。

本発明によれば、視聴者は、再生される画像を通じて、簡便に撮影者の生体情報に変化のあったことを認識することが可能となる。

第１の実施形態に係る画像処理装置の構成図である。 第１の実施形態に係る画像処理装置による画像処理を示したフローチャートである。 第１の実施形態に係るフラグＦ１の設定方法を説明する図である。 第１の実施形態に係る画像処理装置による単一のフレーム画像を処理対象とする場合の画像処理を示したフローチャートである。 第２の実施形態に係る画像処理装置の構成図である。 第２の実施形態の変形例に係る画像記録装置の構成図である。 第２の実施形態の変形例に係る画像記録装置による動画の記録処理を示したフローチャートである。 第３の実施形態に係る画像記録装置の構成図である。 レート変換の過程を模式的に示す図である。 画像処理回路によるフレーム間のフィルタ処理を説明する図である。

以下、本発明の実施の形態について、図面を参照して詳細に説明する。
＜第１の実施形態＞
図１は、本実施形態に係る画像処理装置の構成図である。図１に示す画像処理装置１は、読出回路５、生体情報解析回路６及び画像処理回路７を有し、入力された動画データのフレーム画像とこれに同期させた生体情報等とに基づき、画像処理を実施する。図１においては、本実施形態に係る画像処理に係わる構成のみを示しており、以下の実施形態の構成図についても同様とする。

読出回路５は、画像処理装置１の外部より、被写体が撮影された動画データの各フレーム画像に、撮影者の生体情報を同期させて取得する。読出回路５が取得する情報には、撮影中における撮影者の生体情報だけでなく、動画を記録する画像記録装置の設定パラメータの値等を含む。

撮影者の生体情報の例としては、例えば、瞬きの回数、瞳孔の直径、画像記録装置１０のファインダのうち、特定のエリアにおける撮影者の注視時間、脳波、音響、表情、血圧や脈、呼吸、鼻息、鼓動（拍動や心拍数）、汗、サーモグラフィ、脳波、撮影者の声、表情等が挙げられる。被写体を撮像する画像記録装置の設定パラメータの例としては、例えば、レンズのズーム・ワイドの変化、イメージャや光学系の単位時間当たりの移動距離や変化量等が挙げられる。以下の説明においては、読出回路５が取得する情報については、単に「生体情報」あるいは「生体情報等」と略記することもある。

生体情報等については、例えば公知のＭＰＥＧ（Moving Picture Experts Group）−７、ＡＶＩ（Audio Video Interleave）、あるいはＸＭＬ（Extensible Markup Language）形式等にしたがって記述する。また、生体情報等と各フレーム画像との対応付けは、オーディオトラックに時系列に生体情報等を記録していくことにより、あるいはＪＰＥＧ（Joint Photographic Experts Group）では、フレーム画像のデータの始めや終わりの空き領域を使用して記録することにより行う。

生体情報解析回路６は、読出回路５で取得した生体情報を解析し、撮影者の生体情報の変化が開始したか否かを判断する。撮影者の生体情報の変化が開始したことを判断する具体的な方法については、後に図３を参照して詳しく説明する。

画像処理回路７は、読出回路５が取得した動画データの各フレーム画像について、生体情報解析回路６の判断結果により、「定常フレーム」または「非定常フレーム」のうちの少なくとも一方のフレーム画像に対して、所定の画像処理を実施する。

ここで、フレーム画像が非定常フレームであるとは、撮影者の生体情報の変化や画像記録装置の設定パラメータの値の変化が開始したタイミングに対応するフレーム画像をいうこととする。また、フレーム画像が定常フレームであるとは、そのフレーム画像が非定常フレームに該当しないフレーム画像をいうこととする。

なお、図１の読出回路５、生体情報解析回路６及び画像処理回路７の全体または一部については、制御プログラムで構成されることとしてもよい。これらの構成が制御プログラムで構成される場合、図１においては不図示のメモリ等に当該制御プログラムを予め記録しておき、これを図１においては不図示の制御部が読み出して実行する。

本実施形態に係る画像処理装置１は、外部から動画データとこれに同期されている生体情報とを取得すると、各フレーム画像に対応する生体情報を解析する。画像処理装置１は、解析の結果、生体情報等の変化の有無に応じて、必要と判断したフレーム画像に対して画像処理を実施する。これについて、図２〜図４を参照して、具体的に説明する。

図２は、本実施形態に係る画像処理装置１による画像処理を示したフローチャートである。
まず、ステップＳ１０１で、読出回路５は、動画の再生を待ち受ける。画像処理装置１が外部から入力された動画データの再生を開始したことを認識すると、ステップＳ１０２及びステップＳ１０３に進む。

ステップＳ１０２で、生体情報解析回路６は、動画データの各フレーム画像に対応付けられている生体情報を解析し、生体情報が定常状態から外れたタイミングを検出する。定常状態の定義等については図３を参照して詳しく説明する。生体情報解析回路６は、定常状態から外れたタイミングを、同期するフレーム画像に対して強調表示を行うタイミングと判断し、その旨を表す値をフラグＦ１に付する。

ステップＳ１０３では、画像処理回路７が、動画のデコード処理を実行する。ステップＳ１０２のフラグＦ１をつける処理とステップＳ１０３のデコード処理とは、同時に、すなわち、フレーム画像ごとに対応付けて実行される。

図３は、フラグＦ１の設定方法を説明する図である。図３の上段には、撮影者がマラソンのスタートからゴールまでの動画をウェラブルカメラ等で撮像した場合等に、当該ウェラブルカメラ等に設けられたセンサ等で撮影者の心拍数を動画データのフレーム画像ごとに対応付けて取得した場合の心拍数を上段に示す。図３においては、最上段の生体情報である心拍数に続き、上から順に、心拍数の微分値、計測フラグ、非定常状態の開始情報、フラグＦ１及び非定常状態判定イネーブル信号を示す。

このうち、図３の計測フラグ、非定常状態の開始情報、フラグＦ１及び非定常状態判定イネーブル信号については、各値は複数のフレームからなる１つの「ブロック」を表す。
図３の心拍数の微分は、図３の最上段に示す心拍数（生体情報）を微分して得られる値であり、生体情報の変化率を表す。

計測フラグは、生体情報の変化率、すなわち心拍数の微分値を判断した結果を表す。実施例では、微分値が上限の閾値を上回るブロック及び下限の閾値を下回るブロックには、生体情報に変化があったと判断して、計測フラグに値「０」を設定する。微分値が下限の閾値以上且つ上限の閾値以下の範囲内にあるブロックには、生体情報に変化がなかったとして、計測フラグに値「１」を設定する。

非定常状態の開始情報は、計測フラグに基づき、撮影者の生体情報について、上記閾値を超える大きい変化率が検出されたことを表し、実施例では、フラグを用いてこれを表す。実施例では、非定常状態の開始情報に値「１」が設定されているブロックは、そのブロックにおいて生体情報が「定常状態」から「非定常状態」に切り替わったことを表す。撮影者の生体情報について、上記閾値を超える大きい変化率が検出されていないブロックには、フラグに値「０」を設定する。

ここで、「あるブロックの生体情報が（定常状態から外れて）非定常状態になる」とは、その生体情報と同期するフレーム画像を含むブロックから、閾値を超える生体情報の変化率が検出されたことをいう。「あるブロックの生体情報が定常状態である」とは、その生体情報が非定常状態にはないこと、すなわち、その生体情報と同期するフレーム画像を含むブロックにおいては、閾値を超える生体情報の変化率は検出されなかったことをいう。

フラグＦ１は、対応するフレーム画像が、画像処理装置１において画像処理の対象とすべきフレーム画像であるか否かを識別するための情報である。実施例では、生体情報より非定常フレームと判断したフレーム画像には、対応するフラグＦ１に値「１」を設定し、非定常フレームと判断したフレーム画像には、対応するフラグＦ１に値「０」を設定する。実施例では、生体情報が定常状態から非定常状態へと切り替わったタイミングのブロックに同期するフレーム画像だけでなく、その切り替わりのあったブロック以降の所定数のブロックについても、生体情報が定常／非定常のいずれの状態にあるかによらず、対応するフレーム画像を、非定常フレームとしている。

非定常状態判定イネーブル信号（以下判定イネーブル信号と略記）は、画像処理装置１において、非定常状態の開始を検出する処理を実行するか否かを表す情報である。実施例では、判定イネーブル信号に値「１」が設定されているブロックは、非定常状態が開始したことを検出する処理を実行するが、値「０」が設定されているブロックについては、この検出処理は行わないこととする。判定イネーブル信号は、上記の非定常状態の開始情報の値が「０」から「１」に切り替わるタイミングで、値を「１」から「０」に切り替える。そして、所定のブロックに渡って値を「０」で維持した後、元の値「１」に戻す。

判定イネーブル信号の値を「０」で維持するブロックの数については、図３に例示するように、フラグＦ１が値「１」を維持するブロック数と同一となるように設定してもよいし、異なるブロック数を設定してもよい。

図２のステップＳ１０２の処理を図３に示す例についてみると、生体情報解析回路６は、入力された心拍数に対し、例えば、各ブロックの心拍数の微分値あるいは分散値をとる。図３では、心拍数の微分をとる場合を示している。

ここで、図３に示す例では、１ブロックは、１０〜２０フレーム分のフレーム画像を含むこととする。また、動画データは、例えば３０［ｆｐｓ］または６０［ｆｐｓ］のフレームレートで取得される。フレームレートを３０［ｆｐｓ］とすると、１ブロック分の動画データを再生表示した場合には、その表示時間は凡そ０．３〜０．７［ｓｅｃ］となる。

図３においては、心拍数を簡略化して示しているが、実施例では、心拍数は、例えば１［ｋＨｚ］の周波数で取得される。これに対し、動画データは、３０［ｆｐｓ］や６０［ｆｐｓ］のフレームレートで取得される。このため、あるフレーム画像（を含むあるブロック）に対応付けられている生体情報のアナログデータを見ると、図３には示されていない高周波成分が含まれている。分散値を用いる場合には、より適切に心拍数の変化率を適切に判断することができる。

図３の説明に戻ると、生体情報解析回路６は、求めた微分値や分散値が上限及び下限の閾値を超えた場合には、対応するブロックの計測フラグの値を「１」から「０」に切り替える。生体情報解析回路６は、微分値や分散値が閾値の範囲内にある場合は、対応するブロックの計測フラグの値を「１」で維持する。

実施例では、上限及び下限の閾値は、求めた各ブロックの微分値等が心拍数の微分値等の平均に対してどれだけ離れているかに基づき決定する。すなわち、読出回路５からの心拍数の入力が開始されると、生体情報解析回路６は、心拍数の微分値等の算出を開始するとともに、その微分値の平均についても、算出を開始する。

微分値の平均を算出する処理については、判定イネーブル信号の値が「０」となったタイミングで一旦平均の算出処理を停止し、判定イネーブル信号の値が「１」に戻った後の微分値を利用して、改めて当該平均の算出を開始してもよい。あるいは、判定イネーブル信号の値によらず、動画データの開始時刻以降の平均を求めることとしてもよい。図３においては簡単のため、図示を省略しているが、判定イネーブル信号の値が１に戻った後の微分値を利用して平均の算出処理を再開する場合は、微分の平均値は、平均の算出処理を停止させる（判定イネーブル信号の値が０に切り替わる）以前の値から変動し得る。このため、心拍数の微分値の閾値についても、これに伴い変動し得る。

図３の微分値が上限の閾値を上回るか下限の閾値を下回るかしたことに基づき、あるブロックの計測フラグの値が１から０に変更されると、生体情報解析回路６は、そのブロックの非定常状態の開始情報の値を「０」から「１」に切り替える。実施例では、動画データ（及び生体情報）が開始した当初は、「非定常状態の開始情報」の設定は行わず、動画データの開始後最初に非定常状態に切り替わってから、当該「非定常状態の開始情報」の設定を開始している。図３では、動画データの開始時刻（図３の左端のブロック）から４つ目のブロックで、生体情報である心拍数が定常状態から非定常状態に切り替わり、このブロックから、当該「非定常状態の開始情報」の設定を開始している。

生体情報解析回路６は、非定常状態の開始情報の値を「１」に切り替えるとともに、これに応じて、フラグＦ１と判定イネーブル信号の設定値を変更する。すなわち、フラグＦ１には、対応するフレーム画像が非定常フレームであることを表す値「１」を設定する。判定イネーブル信号には、非定常状態の開始の検出処理は行わないことを表す値「０」を設定する。

実施例では、フラグＦ１及び判定イネーブル信号のいずれについても、非定常状態が開始したブロック以降の所定数のブロックについて、それぞれ切り替えた値を維持させる。図３に示す例では、４ブロック分の期間については、フラグＦ１は値「１」、判定イネーブル信号は値「０」を維持させる。

前述のとおり、判定イネーブル信号に値「０」が設定されている期間については、計測フラグの値に変化があっても、定常／非定常の状態が切り替わったか否かの判定は行わない。図３の例では、動画データの開始時刻から１２ブロック目で、計測フラグに基づき非定常状態の開始情報の値が「１」に切り替えられている。これに従って、判定イネーブル信号については、１２ブロック目から４ブロック分の区間（図３の区間（＊））に渡り、値「０」が設定される。これにより、図３の区間（＊）では、１３〜１５ブロック目も１２ブロック目と同様に心拍数の微分値は閾値の範囲外にあり、計測フラグの値は「０」であるものの、非定常状態の開始情報は値「０」のままとなる。すなわち、フラグＦ１に値「０」が設定される区間が、１３〜１５ブロック目の計測フラグに応じて伸びることはない。

図２のステップＳ１０４で、画像処理回路７は、図３に例示する画像効果のフラグＦ１を参照し、値「１」が設定されているか否かを判定する。フラグＦ１に値「１」が設定されている場合は、処理をステップＳ１０５へと移行させ、値「０」が設定されている場合は、処理をステップＳ１０６へと移行させる。

ステップＳ１０５では、画像処理回路７は、画像効果のフラグＦ１が有効（値が１）、すなわち非定常フレームと判定されたフレーム画像に対して、例えば輝度については変更を加えていない画像データを画像処理回路７から出力し、処理を終了する。画像処理回路７から出力された画像については、画像処理装置１と接続されている表示装置や、図１においては不図示の画像処理装置１内の表示部等に表示させてもよい。ステップＳ１０６では、画像処理回路７は、画像効果のフラグＦ１が無効（値が０）、すなわち定常フレームと判定されたフレーム画像に対して、例えば輝度を低下させる処理を施し、輝度を低下させた画像データを画像処理回路７から出力すると、処理を終了する。

定常フレームについては輝度を低下させ、非定常フレームについては輝度に変化を加えないことで、非定常フレームが強調される。図３に示す例では、１ブロックは、１０〜２０フレーム分のフレーム画像に相当する。この場合、動画データのフレームレートが３０［ｆｐｓ］であるとすると、４ブロック分の非定常フレームのフレーム画像が再生表示される期間は、凡そ１〜３［ｓｅｃ］となる。この期間は、視聴者にとっては、再生表示される動画を通じて定常フレームから非定常フレームに切り替わったこと、すなわち、生体情報の変化率が大きく変わった部分であることを認識するには十分であると予想される。

なお、図２においては、定常フレームについては画像処理を行い、非定常フレームについては特に画像処理を行わない場合の処理フローを例示しているが、これには限定されない。再生される動画のうち、非定常フレームが定常フレームに対して強調されるよう、定常フレームと非定常フレームのうち、少なくとも一方に対して輝度を変化させる処理を施すこととすればよい。

輝度以外にも、例えば、非定常フレームと比較して、定常フレームのＳ／Ｎ（Signal to Noise ratio）比を小さくする、鮮鋭度を低下させる、解像度を低下させる、彩度を低下させる、被写体等の変形処理を大きくする等の画像処理を実施してもよい。上記のとおり、定常フレームと比較して、非定常フレームに対して輝度の変化を強調する、Ｓ／Ｎ比を大きくする、鮮鋭度を上げる、解像度を上げる等の画像処理を実施してもよい。更には、Ｓ／Ｎ比、鮮鋭度、解像度等が定常フレームと非定常フレームとで差が出るように、定常フレーム及び非定常フレームの両方に対して画像処理を行うこととしてもよい。

また、動画データの開始フレームから所定数のフレーム画像については、実際の生体情報の変化の有無によらず、非定常フレームとして処理することとしてもよい。この他の画像処理の例については、後述する第４の実施形態において説明する。

ところで、図２においては、動画、すなわち、連続する複数のフレームを処理対象とする場合の処理フローを示しているが、本実施形態に係る画像処理の方法によれば、単一のフレーム画像に対しても同様の画像処理を実施することができる。

図４は、本実施形態に係る画像処理装置１による単一のフレーム画像を処理対象とする場合の画像処理を示したフローチャートである。
図４に示すように、ステップＳ１１１〜ステップＳ１１６の各ステップの処理は、図２のステップＳ１０１〜ステップＳ１０６とそれぞれ対応している。ここでは、処理対象とされるあるフレーム画像に対して、再生を認識すると、フレーム画像のデコード処理と同時にこれに対応する生体情報の変化率によりフラグＦ１を付して、フラグＦ１の値に応じて、定常フレームに対しては輝度を低下させる画像処理を行っている。

以上説明したように、本実施形態に係る画像処理装置１によれば、フレーム画像を撮影したときの撮影者の生体情報の変化率が所定の閾値を上回るか下回るかした場合には、そのタイミングで生体情報の変化が開始したと判断し、これに同期するフレーム画像については、強調すべき非定常フレームとする。強調すべき非定常フレームと、非定常フレーム以外の強調する必要のない定常フレームとを識別するフラグＦ１がフレーム画像に対応付けて付される。画像処理装置１は、フラグＦ１を参照して、非定常フレーム及び定常フレームの少なくとも一方に所定の画像処理を施す。強調表示の効果の大きさは、生体情報の示強量にはよらない構成とし、上記の方法で非定常フレームと判断したフレーム画像のみを強調表示とすることで、再生表示される画像が元の画像に対して大きな変更を加えられることはない。これにより、視聴者にとっては、無用な画像処理がなされていない画像を通じて、快適且つ容易に撮影者の生体情報が大きく変化した部分を確認することが可能となる。

また、撮影者の生体情報が大きく変化したタイミングから所定の期間のフレーム画像を強調する構成としてもよい。視聴者にとって、撮影者の生体情報が大きく変化した部分をさらに認識し易くなる。
＜第２の実施形態＞

本実施形態においては、上記の第１の実施形態に係る画像処理装置１に対し、更に記録媒体を備える点で異なる。
以下に、本実施形態に係る画像処理装置について、上記の実施形態と異なる点を中心に説明する。上記の実施形態と同様の構成については、同一の符号を用いて説明する。

図５は、本実施形態に係る画像処理装置１Ａの構成図である。上記のとおり、図１のそれと比べて、記録媒体４を更に備える点で異なる。
記録媒体４は、動画データと、動画データの各フレーム画像に同期させた生体情報とを記録する。図５の画像処理装置１Ａは、記録媒体４から動画データと各フレーム画像に対応する生体情報とを読み出して、上記の第１の実施形態において説明した画像処理方法を実行する。

図５のような構成を備える場合であっても、上記の実施形態と同様の効果を奏する。
＜第２の実施形態の変形例＞

本実施形態は、第２の実施形態の変形例であり、動画データを撮像する画像記録装置において、上記の実施形態に係る画像処理装置１、１Ａと同様の画像処理方法を実行する。
図６は、第２の実施形態の変形例に係る画像記録装置の構成図である。図６に示す画像記録装置１０は、フレームデータ取得部２、生体情報取得部８、データ関連付け処理回路３、記録媒体４、読出回路５、生体情報解析回路６及び画像処理回路７を有する。このうち、記録媒体４、読出回路５、生体情報解析回路６及び画像処理回路７の動作については、それぞれ上記の実施形態と同様であるので、ここでは説明を省略する。

フレームデータ取得部２は、動画データを生成する撮影部である。生体情報取得部８は、本実施形態においては、画像記録装置１０に設けられたセンサ等により、撮影者の生体情報等を検出して、検出した値をデータ関連付け処理回路３に通知する。第１の実施形態の説明において述べたとおり、生体情報取得部８が取得する情報には、撮影者の生体情報だけでなく、画像記録装置１０の設定パラメータ値等を含む。

生体情報取得部８が取得する生体情報の例としては、前述のとおり、例えば、瞬きの回数、瞳孔の直径、画像記録装置１０のファインダのうち、特定のエリアにおける撮影者の注視時間、脳波、音響、表情、血圧や脈、呼吸、鼻息、鼓動（拍動や心拍数）、汗、サーモグラフィ、撮影者の声等が挙げられる。

生体情報取得部８が取得する画像記録装置１０の設定パラメータの例としては、前述のとおり、レンズのズーム・ワイドの変化、イメージャや光学系の単位時間当たりの移動距離や変化量等が挙げられる。これらの情報を取得するために画像記録装置１０に設けられる手段やこれを用いて情報を取得する方法については、公知の技術を用いている。

生体情報取得部８は、定期的に生体情報や画像記録装置１０の設定パラメータの値を取得し、取得した値をデータ関連付け処理回路３に通知する。生体情報等の値を取得するタイミングとしては、任意の時間を設定可能である。生体情報取得部８は、生体情報等が変化した場合にのみデータ関連付け処理回路３に対して変化後のデータ値を通知する構成とすることもできる。

データ関連付け処理回路３は、生体情報取得部８で取得した生体情報等とフレームデータ取得部２で生成した動画データとを、動画データのフレーム画像ごとに対応付けて記録媒体４に記録する。

本実施形態に係る画像記録装置１０のデータ関連付け処理回路３、読出回路５、生体情報解析回路６、画像処理回路７についても、図１に示す画像処理装置１と同様に、全体または一部が制御プログラムで構成されることとしてもよい。

図６に示す画像記録装置１０は、動画データと、データ関連付け処理回路３によりフレーム画像ごとに対応付けて記録媒体４に記録された生体情報等とを読み出して、上記の実施形態に係る画像処理方法を実行する。

次に、図６の画像記録装置１０が、取得した動画データを生体情報等と対応付けて記録する方法について、具体的に説明する。
図７は、第２の実施形態の変形例に係る画像記録装置１０による動画の記録処理を示したフローチャートである。画像記録装置１０は、例えば図６においては不図示のボタンやタッチパネル等の入力手段を介して、動画撮影モードが設定されると、図７に示す一連の処理を開始する。

まず、ステップＳ４０１で、画像記録装置１０のデータ関連付け処理回路３は、動画の記録が開始されているか否かを判定する。動画の記録が開始されているか否かは、例えばフレームデータ取得部２からの動画データ入力が開始したか否かに基づいて判定する。

動画の記録が開始されると、ステップＳ４０２で、生体情報取得部８は、生体情報等を取得し、データ関連付け処理回路３は、生体情報取得部８から入力される生体情報等を、フレームデータ取得部２から入力される各フレーム画像と対応付けて記録媒体４に記録していく。

ステップＳ４０３では、フレームデータ取得部２が、フレーム画像を取得して動画データを生成し、データ関連付け処理回路３が、フレームデータ取得部２から入力される動画データを記録媒体４に記録する。ステップＳ４０２の生体情報等の記録処理とステップＳ４０３の動画データの記録処理とは、同時に、すなわち、フレーム画像ごとに対応付けて実行される。生体情報等と動画データとは、同一のトラックに記録することも可能である。動画の記録が終了すると、図７の処理を終了する。

図６の読出回路５にて、図７の処理により記録媒体４から動画データ及び動画データの各フレーム画像に対応付けられた生体情報等を読み出し、生体情報解析回路６にてフレーム画像ごとに定常フレーム／非定常フレームのいずれであるかを判断し、フレーム画像ごとにフラグＦ１を設定する。画像処理回路７は、生体情報解析回路６の解析結果を利用して画像処理を行うことで、上記の実施形態と同様の画像処理を実行することができる。

本実施形態に係る画像記録装置１０のように、動画データを記録する機能を備える装置においても、上記の実施形態に係る画像処理装置と同様の効果を奏する。
なお、上記においては、生体情報解析回路６が生体情報等の変化率を求めてフラグＦ１を設定する構成としているが、これには限定されない。例えば、データ関連付け処理回路３において、かかる処理を実行してフラグＦ１の設定を行う構成とすることもできる。このような構成をとる場合、生体情報解析回路６においては、データ関連付け処理回路３において設定したフラグＦ１の値を参照し、これに基づき画像処理回路７に対して判断結果を通知する。画像処理回路７は、生体情報解析回路６から通知される判断結果に基づいて、上記と同様の画像処理を実行する。
＜第３の実施形態＞

上記の第２の実施形態の変形例に係る画像記録装置１０においては、取得した生体情報や画像記録装置の設定パラメータ値と動画データとをフレーム画像ごとに対応付けて記録媒体４に一旦記録する。そして、記録したデータをフレーム画像ごとに対応付けて読み出している。これに対し、本実施形態においては、取得した動画データと生体情報等を記録媒体４に一旦記録することなく、動画の撮影と並行させて生体情報等を処理して画像処理を行っている点で異なる。

以下に、本実施形態に係る画像記録装置による画像処理方法について、図面を参照して説明する。
図８は、本実施形態に係る画像記録装置の構成図である。図８に示す画像記録装置１０Ａは、図６の画像記録装置１０と比べて、データ関連付け処理回路３及び記録媒体４を有していない点で異なる。

読出回路５、生体情報解析回路６及び画像処理回路７の全体または一部について、制御プログラムで構成されてもよいことについては、図１に示す第１の実施形態に係る画像処理装置１と同様である。

図８の画像記録装置１０Ａによれば、読出回路５が、フレームデータ取得部２が取得する動画データと生体情報取得部８が取得する生体情報等とを、動画データのフレーム画像ごとに同期させて取得する。本実施形態においては、読出回路５は、図６のデータ関連付け処理回路３が実行する処理を実行して、生体情報等とフレーム画像とを対応付ける。

生体情報解析回路６は、読出回路５から入力された生体情報を解析し、動画データの各フレーム画像について、それぞれ定常フレームであるか、あるいは非定常フレームであるかを判断していき、フラグＦ１を設定する。画像処理回路７は、読出回路５が取得した動画データの各フレーム画像について、生体情報解析回路６の解析の結果設定されるフラグＦ１に基づき、所定の画像処理を実行する。生体情報解析回路６及び画像処理回路７の動作については、上記の実施形態と同様である。

このように、本実施形態に係る画像記録装置１０Ａのように、生体情報等をフレーム画像と対応付けて記録媒体４に記録せず、直接に動画データと生体情報等とを処理する構成をとる場合であっても、上記の実施形態と同様の効果を奏する。
＜第４の実施形態＞

第１の実施形態においては、輝度、Ｓ／Ｎ比、鮮鋭度、解像度、彩度、被写体等の変形処理等により、非定常フレームを定常フレームに対して強調する処理について説明している。本実施形態においては、上記の第１〜第３の実施形態に係る画像処理装置１、１Ａや画像記録装置１０、１０Ａにおいて、フラグＦ１に基づいて実施する他の画像処理の具体例を説明する。

第１の実施形態の説明において挙げた以外の画像処理の例としては、例えば、定常フレームが非定常フレームよりも被写体にディストーションが多くかかるよう画像処理を行ってもよい。

あるいは、処理対象のフレーム画像より時間的に前のフレーム画像の画像データを使用して画像処理を行うこととしてもよい。
また、非定常フレームより補間フレーム画像を生成し、生成した補間フレーム画像を、当該非定常フレームの前あるいは後ろに挿入することとしてもよい。すなわち、フレームレートが３０ｆｐｓ（Frames Per Second）で取得した動画に対し、補間フレームを挿入することにより、６０ｆｐｓの動画データを生成・再生することとしてもよい。

また、少なくとも２つの定常フレームを合成してもよいし、定常フレームが非定常フレームに対してぼかし量が多い画像となるよう画像処理を実施してもよい。
補間フレームを挿入する処理、フレームの合成処理等について、図９及び図１０を参照して説明する。

図９は、レート変換の過程を模式的に示す図である。フレーム間補間による高フレームレート化を行い、非定常フレームに対する注視度が上がるようにする。なお、ここで説明するレート変換については、一般的に使用されるレート変換であり、これに限定されるものではない。

図９（Ａ）は、取得したフレーム画像の並びを模式的に示す図である。奥側が古い画像で前側が新しい画像で、中央が非定常フレームＦｎである。図９（Ｂ）、（Ｃ）に、非定常フレームＦｎの前２枚目と３枚目で、その中間画像を作成する例を示す。

フレーム間補間では、隣接したフレーム画像Ｆｎ−３とＦｎー２から、特徴点、対応点を検出し、中間のフレームデータを生成して、フレーム画像Ｆｎ−２．５を作成する（図９（Ｃ））。

非定常フレームＦｎの近傍区間（Ｆｎ−３〜Ｆｎ＋３)について、同様に、中間フレームのデータを作成し、中間フレーム画像を元の動画像に合成すると図９（Ｄ）に示すような動画像が作成される。補間処理により作成された画像を破線で示し、カッコ内の番号は、元の画像のフレーム番号を示す。

このようなレート変換された動画像を再生すると、非定常フレームＦｎの近傍でスローモーションになるような画像が再生される。さらに、非定常フレームＦｎに近づくほど合成画像の数を増やして、非定常フレームのより近傍でスローモーション効果が強調されるようにしてもよい。

また、動画処理部１３は、ステップＳ４０８で、フレームレートを変更するフレーム補間処理の代わりにフレーム間のフィルタ処理を行うようにしてもよい。図１０は、図１等の画像処理回路７によるフレーム間のフィルタ処理を説明する図である。

画像処理回路７は、フレーム画像Ｆｍにつき、その前後のフレーム画像（Ｆｍ−i〜Ｆｍ＋ｉ）を用いて、下式に示す合成処理を行い、Ｆ´ｍを生成する。

画像処理回路７が、かかる処理を行うことで、フレーム画像Ｆｍからぼけた画像Ｆ´ｍを作成することができる。画像処理回路７は、非定常フレームＦｎの近傍に関してはフレーム間のフィルタ処理は行わず、非定常フレームＦｎから離れるにつれて、時間的な帰還率を大きくし、ぼけた画像を作成する。非定常フレームＦｎの近傍で、ぼけた画像からぼけのないクリアな画像に変わることで、非定常フレームＦｎをより印象づけることができる。

なお、本発明は上述した実施形態そのままに限定されるものではく、実施段階でのその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施形態に示される全構成要素を適宜組み合わせても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。このような、発明の趣旨を逸脱しない範囲内において種々の変形や応用が可能であることはもちろんである。

１、１Ａ 画像処理装置
２ フレームデータ取得部
３ データ関連付け処理回路
４ 記録媒体
５ 読出回路
６ 生体情報解析回路
７ 画像処理回路
８ 生体情報取得部
１０、１０Ａ 画像記録装置

Claims (24)

1. 被写体が撮影された動画データの各フレーム画像に、前記撮影中における撮影者の生体情報を同期させて取得する取得部と、
   前記取得部で取得された生体情報を解析して、前記撮影者の生体情報の変化が開始したか否かを判断し、且つ、前記動画データの開始フレームから数フレームに対応する前記生体情報については、前記撮影者の生体情報の変化が開始したと判断する判断部と、
   前記取得部で取得された動画データの各フレーム画像のうち、前記判断部で前記撮影者の生体変化が開始したと判断したタイミングに対応するフレーム画像を非定常フレームとし、非定常フレーム以外のフレーム画像を定常フレームとするとき、前記非定常フレームが前記定常フレームに対して相対的に強調されるような画像処理を、前記定常フレームまたは前記非定常フレームの少なくとも一方に対して行う画像処理部と、
   を有することを特徴とする画像処理装置。
2. 前記判断部は、複数の前記フレーム画像ごとに、前記複数の前記フレーム画像それぞれに同期する複数の前記生体情報に基づいて、前記非定常フレームまたは定常フレームのいずれに該当すると判断したかを表す判断データを生成し、
   前記画像処理部は、前記生成された判断データに基づいて前記複数のフレーム画像ごとに前記画像処理を行う請求項１に記載の画像処理装置。
3. 前記動画データの各フレーム画像に前記生体情報が対応付けられた状態で記録される記録部と、
   を更に有し、
   前記取得部は、前記記録部に記録された前記動画データ及び前記生体情報を取得する
   ことを特徴とする請求項１記載の画像処理装置。
4. 前記被写体を撮影し、前記動画データを生成する撮影部と、
   前記撮影者の生体情報を検出する情報検出部と、
   前記撮影部で撮影された前記動画データと前記情報検出部で検出された前記生体情報とを対応付けて前記記録部に記録するデータ関連付け部と、
   を更に有することを特徴とする請求項３記載の画像処理装置。
5. 前記データ関連付け部は、前記撮影部による前記被写体の撮影と並行して記録を行う
   ことを特徴とする請求項４記載の画像処理装置。
6. 前記被写体を撮影し、前記動画データを生成する撮影部と、
   前記撮影者の生体情報を検出する情報検出部と、
   を更に有し、
   前記取得部は、前記撮影部で生成された前記動画データと前記情報検出部で検出された前記生体情報とを取得する
   ことを特徴とする請求項１記載の画像処理装置。
7. 前記判断部は、前記撮影部による前記被写体の撮影処理と並行して前記判断を行う
   ことを特徴とする請求項６記載の画像処理装置。
8. 前記判断部は、前記生体情報を単位時間当たり計測し、前記計測された生体情報の変化率が閾値を超えた場合に、前記撮影者の生体情報の変化が開始したと判断する
   ことを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
9. 前記生体情報は、瞬きの回数、瞳孔の直径、特定のエリアにおける注視時間、脳波、音響、表情、血圧、脈、呼吸、鼻息、鼓動、汗、サーモグラフィのいずれかである
   ことを特徴とする請求項８記載の画像処理装置。
10. 前記判断部は、前記生体情報の変化率が所定の閾値を超えている場合、前記撮影者の生体情報の変化が開始したと判断する
    ことを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
11. 前記被写体を撮影し、前記動画データを生成する撮影部と、
    を更に有し、
    前記判断部は、前記撮影部が前記被写体を撮影しているときの前記撮影部の設定の変化率が所定の閾値を超えた場合、前記撮影部の設定の変化が開始したと判断する
    ことを特徴とする請求項１０記載の画像処理装置。
12. 前記撮影部の設定の変化率は、撮像装置のレンズのズーム、ワイドの変化またはイメージャ若しくは光学系の単位時間当たりの移動距離または変化量より算出する
    ことを特徴とする請求項１１記載の画像処理装置。
13. 前記生体情報は、脳波、撮影者の声、表情のいずれかである
    ことを特徴とする請求項１０記載の画像処理装置。
14. 前記画像処理部は、前記フレーム画像ごとに、画像処理パラメータを異ならせることで、前記画像処理を行う
    ことを特徴とする請求項１記載の画像処理装置。
15. 前記画像処理部は、前記定常フレームが前記非定常フレームに対し、前記フレーム画像ごとがノイズを高くなる、輝度の変化が非強調される、鮮鋭度を減少される、または、解像度が低下されるような画像処理を実行する
    ことを特徴とする請求項１４記載の画像処理装置。
16. 前記画像処理部は、前記定常フレームが前記非定常フレームに対し、被写体にディストーションが多くかかる画像処理を実行する
    ことを特徴とする請求項１４記載の画像処理装置。
17. 前記画像処理部は、処理対象の前記フレーム画像より前に前記撮影部で生成された前記フレーム画像の画像データを使用して、前記画像処理を行う
    ことを特徴とする請求項４または６記載の画像処理装置。
18. 前記画像処理部は、前記非定常フレームから補間フレーム画像を生成し、前記補間フレーム画像を当該非定常フレームの前または後ろに挿入する画像処理を行う
    ことを特徴とする請求項１記載の画像処理装置。
19. 前記画像処理部は、少なくとも２つの前記定常フレームを合成処理する画像処理を行う
    ことを特徴とする請求項１記載の画像処理装置。
20. 前記画像処理部は、前記定常フレームが前記非定常フレームに対し、ぼかし量が多い画像を生成する画像処理を行う
    ことを特徴とする請求項１記載の画像処理装置。
21. 前記画像処理部は、前記定常フレームと前記非定常フレームとの画像の連続性を維持す画像処理パラメータを生成し、前記定常フレーム及び前記非定常フレームとを画像処理する
    ことを特徴とする請求項１記載の画像処理装置。
22. フレーム画像に対して画像処理を行う画像処理方法であって、
    被写体が撮影された動画データの各フレーム画像に、前記撮影中における撮影者の生体情報を同期させて取得し、
    前記取得された生体情報を解析して、前記撮影者の生体情報の変化が開始したか否かを判断し、且つ、前記動画データの開始フレームから数フレームに対応する前記生体情報については、前記撮影者の生体情報の変化が開始したと判断し、
    前記取得された動画データの各フレーム画像のうち、前記撮影者の生体変化が開始したと判断したタイミングに同期する画像を非定常フレームとし、非定常フレーム以外の画像を定常フレームとするとき、前記非定常フレームが前記定常フレームに対して相対的に強調されるような画像処理を、前記定常フレームまたは前記非定常フレームの少なくとも一方に対して行う、
    ことを特徴とする画像処理方法。
23. 画像処理装置において画像処理を行わせるための制御プログラムであって、
    被写体が撮影された動画データの各フレーム画像に、前記撮影中における撮影者の生体情報を同期させて取得し、
    前記取得された生体情報を解析して、前記撮影者の生体情報の変化が開始したか否かを判断し、且つ、前記動画データの開始フレームから数フレームに対応する前記生体情報については、前記撮影者の生体情報の変化が開始したと判断し、
    前記取得された動画データの各フレーム画像のうち、前記撮影者の生体変化が開始したと判断したタイミングに同期する画像を非定常フレームとし、非定常フレーム以外の画像を定常フレームとするとき、前記非定常フレームが前記定常フレームに対して相対的に強調されるような画像処理を、前記定常フレームまたは前記非定常フレームの少なくとも一方に対して行う、
    ことを特徴とする制御プログラム。
24. 請求項２３に記載の制御プログラムを記録したコンピュータが読み取り可能な記録媒体。