JP5257525B2 - 情報処理装置、撮像制御方法、プログラム - Google Patents
情報処理装置、撮像制御方法、プログラム Download PDFInfo
- Publication number
- JP5257525B2 JP5257525B2 JP2012004073A JP2012004073A JP5257525B2 JP 5257525 B2 JP5257525 B2 JP 5257525B2 JP 2012004073 A JP2012004073 A JP 2012004073A JP 2012004073 A JP2012004073 A JP 2012004073A JP 5257525 B2 JP5257525 B2 JP 5257525B2
- Authority
- JP
- Japan
- Prior art keywords
- imaging
- setting
- user
- image data
- imaging operation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Studio Devices (AREA)
Description
そして例えば、そのような価値の光景を撮像した撮像画像データは、通常とは異なる撮像動作設定で撮像を行うことが好適と考えることができる。
そこで本発明では、自動撮像において、ユーザの心理状況に応じた自動撮像動作ができるようにすることを目的とする。
を備え、上記制御手段は、上記撮像動作設定として、画質設定、又は画サイズ設定、又は撮像間隔時間設定、又はフレームレート設定、又は静止画撮像/動画撮像切換設定、又はシャッタスピード設定を行う。
また上記制御手段は、上記生体情報検出手段で検出される脈波情報に基づいて、使用者の心理状況を判別し、その判別結果に応じて、上記撮像動作設定を行う。
これによって、例えばライフログ用途などの自動撮像として、ユーザにとって印象的な光景が高画質で撮像されるなど、好適な撮像が実現される。
また、生体情報として、特にユーザの脈波情報を用いることで、検出も比較的容易であり、装置構成的にも有利となる。
[1.撮像装置の外観例]
[2.撮像装置の構成例]
[3.撮像動作設定]
[4.撮像動作設定処理例I]
[5.撮像動作設定処理例II]
[6.撮像動作設定処理例III]
[7.実施の形態の効果]
実施の形態の撮像装置1としては、各種の形態が想定されるが、それらの外観例を図1(a)(b)に例示する。
図1(a)は、首かけタイプの撮像装置1を示している。この撮像装置1は、例えばストラップを取り付ける部位を持ち、この部位にストラップを取り付けて図示するようにユーザの首にかけることで装着される。ユーザは、撮像装置1が備える撮像レンズ3Lがユーザの正面方向を被写体方向として撮像出来るように装着すればよい。
なお、図示していないが、例えば撮像装置1の背面部などに、撮像モニタ用や撮像画像の再生などに用いる表示部が設けられてもよい。
この撮像装置1は、ユーザが装着した状態において、ユーザの視界方向を被写体方向として撮像するように、前方に向けて撮像レンズ3Lが配置されている。
また、図示のような装着状態において、ユーザの両眼の直前、即ち通常の眼鏡におけるレンズが位置する場所に、左眼用と右眼用の一対の表示部5、5が配置される構成とされている。この表示部5には、例えば液晶パネルが用いられ、透過率を制御することで、図のようなスルー状態、即ち透明又は半透明の状態とできる。表示部5がスルー状態とされることで、眼鏡のようにユーザが常時装着していても、通常の生活には支障がない。
なお、表示部2は、両眼に対応して一対設けられる他、片側の眼に対応して1つ設けられる構成も考えられる。また表示部2が設けられない構成も考えられる。
また、図1(a)の場合、撮像方向をユーザの正面方向としているが、装着時にユーザの後方を撮像するように撮像装置1を首にかけるように装着してもよい。
そして、図1(b)の場合は、撮像方向をユーザの視界方向としているが、装着時にユーザの後方、側方、上方、足下方向などを撮像するように撮像レンズ3Lが取り付けられている構成や、撮像方向が同一又は異なる方向とされた複数の撮像系が設けられている構成も考えられる。
さらに、図1(a)(b)において、1又は複数の撮像レンズ3Lについて、被写体方向を手動又は自動で可変できる撮像方向可変機構を設けてもよい。
また、携帯電話機やPDA(Personal Digital Assistant)、携帯用パーソナルコンピュータなどの機器であって、撮像装置としての機能を備えているものも本実施の形態の撮像装置1として想定できる。
また、これらの各種形態において、例えば外部音声を集音するマイクロフォンを設け、撮像時に、画像データと共に記録する音声信号を得るようにしてもよい。また音声出力を行うスピーカ部やイヤホン部を形成するようにしてもよい。
また、撮像レンズ3Lの近辺に、被写体方向への照明を行う発光部を、例えばLED(Light Emitting Diode)等により設けたり、静止画撮像のためのフラッシュ発光部を設けることも考えられる。
ここでは、実施の形態の撮像装置1の構成例を説明する。
図2に示すのは、撮像装置1の内部構成を示すブロック図である。
図示するようにして撮像装置1は、システムコントローラ2、撮像部3、撮像制御部4、表示部5、表示制御部6、操作入力部7、ストレージ部8、通信部9、脈波センサ10、脈波データベース11を有する。
特に本例の場合、システムコントローラ2は脈拍センサ10から供給される脈波情報や脈波データベース11に記憶されている情報に基づいて、自動撮像の際の各種の撮像動作設定処理も行う。
撮像部3における撮像光学系3aでは、図1に示した撮像レンズ3Lや、絞り、ズームレンズ、フォーカスレンズなどを備えて構成されるレンズ系と、レンズ系に対してフォーカス動作やズーム動作を行わせるための駆動系等が備えられる。
また撮像部3における撮像素子部3bでは、撮像光学系3aで得られる撮像光を検出し、光電変換を行うことで撮像信号を生成する固体撮像素子アレイが設けられる。固体撮像素子アレイは、例えばCCD(Charge Coupled Device)センサアレイや、CMOS(Complementary Metal Oxide Semiconductor)センサアレイとされる。
また撮像部3における撮像信号処理部3cでは、固体撮像素子によって得られる信号に対するゲイン調整や波形整形を行うサンプルホールド/AGC(Automatic Gain Control)回路や、ビデオA/Dコンバータを備え、デジタルデータとしての撮像画像データを得る。また撮像画像データに対してホワイトバランス処理、輝度処理、色信号処理などを行う。
この撮像部3の撮像動作によって得られた画像データは、撮像制御部4で処理される。
撮像制御部4は、システムコントローラ2の制御に従って、撮像画像データを各種の圧縮率で圧縮する画像圧縮処理や、画サイズ変換処理、画像フォーマット変換処理などの処理を行い、また動作状況に応じて、撮像画像データをストレージ部8,表示制御部6、通信部9などへ転送する処理を行う。
また撮像制御部4はシステムコントローラ2の指示に基づいて、撮像部3における撮像動作のオン/オフ制御、シャッタ処理、撮像光学系3aのズームレンズ、フォーカスレンズの駆動制御、撮像素子部3bのシャッタスピード制御、フレームレートの制御、撮像信号処理部3cの各処理のパラメータ制御や実行処理の設定なども行う。
この表示部5には、液晶ディスプレイ等の表示パネル部と、該表示パネル部を表示駆動する表示駆動部が設けられる。表示駆動部は、撮像制御部4から供給される画像データを表示パネル部に表示させるための画素駆動回路で構成されている。画素駆動回路は表示パネル部においてマトリクス状に配置されている各画素について、それぞれ所定の水平/垂直駆動タイミングで映像信号に基づく駆動信号を印加し、表示を実行させる。
またこれらの表示のために、例えば輝度レベル調整、色補正、コントラスト調整、シャープネス(輪郭強調)調整などを行うことができる。また画像データの一部を拡大した拡大画像の生成、或いは縮小画像の生成、ソフトフォーカス、モザイク、輝度反転、画像内の一部のハイライト表示(強調表示)、全体の色の雰囲気の変化などの画像エフェクト処理なども行うことができる。
操作入力部7は、このような操作子から得られる情報をシステムコントローラ2に供給し、システムコントローラ2はこれらの情報に対応した必要な演算処理や制御を行う。
このストレージ部8は、フラッシュメモリなどの固体メモリにより構成されても良いし、例えばHDD(Hard Disk Drive)により構成されてもよい。
また内蔵の記録媒体ではなく、可搬性の記録媒体、例えば固体メモリを内蔵したメモリカード、光ディスク、光磁気ディスク、ホログラムメモリなどの記録媒体に対応する記録再生ドライブなどとされても良い。
もちろん、固体メモリやHDD等の内蔵タイプのメモリと、可搬性記録媒体に対する記録再生ドライブの両方が搭載されてもよい。
このストレージ部8は、システムコントローラ2の制御に基づいて、撮像画像データその他の各種データの記録/再生を行う。
例えば、図示しないサーバ装置との間でのデータの送受信を行うようにしてもよい。その場合、例えば無線LANやブルートゥースなどの方式で、ネットワークアクセスポイントに対する近距離無線通信を介してネットワーク通信を行う構成としてもよいし、対応する通信機能を備えたサーバ装置との間で直接無線通信を行うものでもよい。
また、通信部9は、例えばUSB(Universal Serial Bus)方式等のインターフェイスを用いてパーソナルコンピュータなどの機器と接続し、データの送受信を行うようにしてもよい。
この通信部9により、例えば撮像してストレージ部8に格納した撮像画像データを、パーソナルコンピュータその他の外部機器に転送することができる。従って、ライフログとしての定期的な撮像でストレージ部8に録り貯めた多数の撮像画像データは、この撮像装置1自体で表示部5で再生表示させることができるほか、パーソナルコンピュータ等の外部機器に転送して、それら外部機器側で再生させて表示させることもできる。
脈波データベース11は、脈波の波形パターンから人間の心理状態を判定するための情報が各種格納されているデータベースである。
なお、この脈波データベース11は、ストレージ部8の記憶領域、或いはシステムコントローラ2の内部メモリなどにおいて記憶されるものであってもよい。
一方、図1(a)のようなタイプの場合、撮像装置1はユーザの身体の脈拍検出部位に接触できないため、脈波センサ10を、撮像装置1の本体とは別体に構成することが考えられる。
この場合、センサユニット20において、脈波センサ10と検出情報送信部14を設ける。そして撮像装置1の本体側には、検出情報受信部15を設ける。
そしてこの図3の場合、脈波センサ10で検出される脈波情報は、検出情報送信部14から送信され、検出情報受信部15で受信される。検出情報受信部15は、受信した脈波情報を復調し、システムコントローラ2に供給する。
このような構成により、脈波センサ10を、ユーザの身体における脈拍検知部位に容易に装着できるようになる。例えばセンサユニット20をブレスレット型に構成して、ユーザが手首に装着できるようにしたり、或いはセンサユニット20を耳殻に装着できるようなユニットとすることで、ユーザの脈波を適切に検出できる。
以上の構成の撮像装置1における特徴的な動作を以下、説明していく。
実施の形態の撮像装置1は、ライフログ用途に用いる場合、基本的には、ユーザのシャッタ操作に基づかない撮像動作を行う。例えば定期的に自動撮像を行って、撮像画像データをストレージ部8に保存していく。例えば5秒間隔、10秒間隔、30秒間隔など、所定の間隔で自動撮像を行う。なお、もちろん定期的な撮像ではなく、何らかのトリガ(ユーザのシャッタ操作以外のトリガ)に応じて不定期なタイミングで自動撮像を行ってもよい。さらに、定期的又は不定期の自動撮像実行中に、ユーザがシャッタ操作を行った場合は、その時点で通常に撮像処理を行えばよい。
画質設定とは、撮像画像データの画像品質であり、これは例えば圧縮率の高低の設定とすることができる。即ち撮像部3で得られた撮像画像データは、撮像制御部4で所定の圧縮方式で圧縮処理されてストレージ部8に転送されて記録されるが、ここで圧縮処理の際に圧縮率を高くするほど、データ容量は小さくなるが、保存される撮像画像データの品質は低下する。一方、圧縮率が低くすれば(もしくは非圧縮とすれば)データ容量は大きくなるが保存される撮像画像データの品質は高くなる。
従って、圧縮率の高低の設定として保存する画像データ品質を変化させることができるとともに、記憶容量の有効利用も図ることができる。
これも、画サイズは大きいほど高品位であるが容量は大きく、一方、画サイズを小さくするほど画質は低品位となるが容量は少なくなる。
例えば撮像間隔を10秒間隔と、30秒間隔などで切り換える設定が考えられる。
このために本例では、脈波センサ10からの脈波情報に基づいて、ユーザの心理状況を推定し、ユーザにとって印象的な光景は優位な設定を行うようにするものである。
例えば常時継続的に動画撮像を行う撮像装置を考えた場合、フレームレート、画サイズ、圧縮率、シャッタスピード等を、逐次、ユーザの心理状況に応じて設定変更することが考えられる。例えば、高フレームレート、低圧縮率で動画撮像を行えば、高品質な動画が保存でき、低フレームレート、高圧縮率で動画撮像を行えば、比較的低品質であるが容量を節約した動画記録ができる。
さらには静止画撮像に比較して、動画撮像は、保存される光景内容が多くなるという考え方からすれば、動画撮像を、静止画撮像に対する優位設定として、静止画撮像、動画撮像を切り換えることも考えられる。
ユーザの脈波情報に基づいて撮像動作設定を行う撮像動作設定処理例Iを、図4,図5で説明する。
通常、ユーザに感情の変化が生ずると、心拍数が高くなるが、心拍数は運動によっても高くなる。
ここでは、心拍数が高くなった際に、それが心理起因によるものか、運動起因によるものかを判別して、撮像動作設定を行う例を述べる。
運動の負荷にもよるが、運動起因により心拍数の変化は、驚きなど心理起因による心拍数の変化よりも傾きが緩やかなものになる。
このような特性から、例えば図示するように起因判定の閾値Dth(傾きの値)を設定するとともに、単位時間当たりの心拍数の変化を検知していくことで、心拍が上昇した際に、それが心理起因であるか否かを判定できる。
自動撮像の実行中、システムコントローラ2は例えば内部タイマにより所定の撮像間隔としての時間カウントを行っている。そして例えば10秒毎などの所定時間のカウントに応じて、撮像動作を実行させる。即ち撮像制御部4に、撮像部3で得られる撮像画像データについて圧縮処理等を実行させ、ストレージ部8に転送させる。ストレージ部8に対しては、転送されてきた撮像画像データを静止画として保存する動作を実行させる。
次にステップF102で、タイマ用カウンタtをt=0に初期化するとともに、カウントをスタートする。
ステップF105で、単位時間の経過を確認する。即ちタイマ用カウンタtによるカウント値(時間経過)が所定の単位時間Tに達したか否かを確認する。
ここで、時間経過が単位時間Tに達するまでは、ステップF103,F104を繰り返す。ステップF105で単位時間Tが経過したと判断される時点で、その単位時間Tにおける心拍数がカウントされることになる。
ステップF107では、最初の処理(変数n=1)であるか否かを判別し、最初の処理である場合は、ステップF112で変数nをインクリメントしてステップF102に戻り、再び上記同様にステップF102,F103,F104、F105で次の単位時間T当たりの心拍数の計測を行うことになる。
ステップF108では、前回の心拍数の測定値B(n-1)からの今回の心拍数の測定値B(n)の変化値dを求める。この場合、変化値dは、今回の心拍数の測定値B(n)と前回の心拍数の測定値B(n-1)の差分を、単位時間Tで除算して求める。これにより、変化値dは、単位時間毎の心拍数の変化の傾きを示すものとなる。
変化値dを算出したら、次にシステムコントローラ2はステップF109で、変化値dを図4に示した起因判定の閾値Dthと比較する。図4で述べたように、心拍数が急に変化すると、それは心理起因と推定でき、心拍数の変化が緩やかであれば、運動起因と推定できる。
そこで単位時間T毎の心拍数の変化値dとしての傾きと、閾値Dthとしての傾きの値を比較し、変化値d>閾値Dthであれば、心理起因の心拍変化と推定する。一方、変化値d≦閾値Dthであれば、運動起因の心拍変化と推定する。
また運動起因による心拍変化と推定した場合は、システムコントローラ2はステップF111に進み、運動起因による心拍変化に応じた撮像動作設定を行う。この場合、小画像サイズ設定、大圧縮率設定、撮像間隔の長時間設定、スポーツモードオンという動作設定を行う。
自動撮像動作が終了される際には、この図5の処理もステップF113で終了と判断されて終了される。
心理起因の心拍変化が認められた場合は、撮像制御部4は、ステップF110の設定に基づいて、撮像部3で得られる撮像画像データについて画像サイズを大きくし、また小圧縮率の圧縮処理を実行し、撮像画像データをストレージ部8に転送する。ストレージ部8は転送されてきた撮像画像データを静止画として保存するが、この場合、高画質な撮像画像データが保存されることになる。
またシステムコントローラ2は、撮像間隔を短くする。例えば撮像間隔として5秒間隔と10秒間隔を切り換える場合、ステップF110の設定後は5秒間隔で、撮像動作を制御することになる。
また、スポーツモードオフという動作設定に応じて、撮像制御部4は、撮像部3における撮像素子部3bのシャッタスピードを長くする。
このような設定に基づく動作により、喜び、驚愕など、ユーザの心理状況が大きく変化したと推定された場合は、高画質で多数の撮像画像データが保存されることになる。
またシステムコントローラ2は、撮像間隔を長くする。例えば上記のように撮像間隔として5秒間隔と10秒間隔を切り換える場合、ステップF110の設定後は10秒間隔で、撮像動作を実行させることになる。
また、スポーツモードオンという動作設定に応じて、撮像制御部4は、撮像部3における撮像素子部3bのシャッタスピードを短くする。
このような設定に基づく動作により、心拍変化が、運動起因によるものと推定された場合は、比較的低画質で比較的少数の撮像画像データが保存されることになる。また、シャッタスピードが短くされることで、運動により被写体画像のブレが生じやすい状況に対応するものとなる。
そして心拍変化がほとんどない場合は、小画像サイズ、大圧縮率、長い撮像間隔とすることは同様とするが、スポーツモードはオフとするという設定が考えられる。
もちろん、画像サイズ、圧縮率、撮像間隔については、平常時、運動起因の心拍変化時、心理起因の心拍変化時のそれぞれで3段階に切り換えられるようにしてもよい。
次に、同じくユーザの脈波情報に基づいて撮像動作設定を行う撮像動作設定処理例IIを、図6,図7で説明する。これは、心拍間隔の揺らぎによる特にストレスを感じているか否かとしての心理状態の推定を行う例である。
この心拍間隔のゆらぎの周波数解析をすると図6(b)で示したように2箇所でピークが出現することが知られている。
0.3Hz前後に発生するHF(高周波)と呼ばれる周期は副交感神経活動によるものであり、0.1Hz前後に発生するLF(低周波)と呼ばれる周期は交感及び副交感神経活動によるものである。ここで低周波LFのレベルと高周波HFのレベルを検出し、そのLF/HF比を求めると、これを交感神経活動の指標として使用することが可能である。
するとLF/HF比が大きいときは、ユーザーがストレスを感じているときであり、逆にLF/HF比が小さいときは、ユーザーがあまりストレスを感じていないときと判定できる。
なお、上述した撮像動作設定処理例Iの場合と同様、システムコントローラ2は、自動撮像の実行時には、内部タイマにより所定の撮像間隔としての時間カウントを行い、例えば10秒毎などの所定時間のカウントに応じて、撮像部3,撮像制御部4,ストレージ部8による撮像動作(撮像画像データの保存)を実行させる。
システムコントローラ2は、例えば一定時間間隔で撮像動作を指示して自動撮像を実行されていくとともに、その自動撮像実行中、図7の処理を常時継続し、逐次撮像動作設定の変更処理をおこなうことになる。
ステップF202は、システムコントローラ2は、脈波センサ10から得られる脈波情報を取得する。そしてステップF203で、脈波情報に基づいてLF/HF比を算出する。即ちこの場合、取得した脈波情報について周波数解析を行い、低周波LHとしてのピークレベルと、高周波HFとしてのピークレベルを求める。そしてその低周波LHと高周波HFの比を求め、これをLF/HF比の値とする。
LF/HF比が閾値より大きいときは、ユーザーがストレスを感じていると判定し、ステップF205に進む。この場合システムコントローラ2は、大画像サイズ設定、小圧縮率設定、撮像間隔の短時間設定という撮像動作設定を行う。
このステップF205の設定が行われた時点からは、撮像制御部4は、撮像部3で得られる撮像画像データについて画像サイズを大きくし、また小圧縮率の圧縮処理を実行し、撮像画像データをストレージ部8に転送する。ストレージ部8は転送されてきた撮像画像データを静止画として保存するが、この場合、高画質な撮像画像データが保存されることになる。またシステムコントローラ2は、撮像間隔を短くする。例えば撮像間隔として5秒間隔と10秒間隔を切り換える場合、ステップF205の設定後は5秒間隔で、撮像動作を制御することになる。
このステップF206の設定が行われた時点からは、撮像制御部4は、撮像部3で得られる撮像画像データについて画像サイズを小さく、また大圧縮率の圧縮処理を実行し、撮像画像データをストレージ部8に転送する。ストレージ部8は転送されてきた撮像画像データを静止画として保存するが、この場合、比較的低画質な撮像画像データが保存されることになる。
またシステムコントローラ2は、撮像間隔を長くする。例えば上記のように撮像間隔として5秒間隔と10秒間隔を切り換える場合、ステップF206の設定後は10秒間隔で、撮像動作を実行させることになる。
自動撮像動作が終了される際には、この図7の処理もステップF207で終了と判断されて終了される。
例えばユーザが驚愕、心配などを感じる状況で、ストレスを受けている場面は、ライフログとして重要な場面であると考えることができる。その場合、高画質で多数の撮像画像データが保存されることになる。
一方、ユーザがストレスを感じていない状況は、平常の生活状態であるとし、その場合、比較的低高画質で比較的少数の撮像画像データが保存されることになる。これは、通常時にはストレージ部8の記録容量を節約することにもなる。
次に、同じくユーザの脈波情報に基づいて撮像動作設定を行う撮像動作設定処理例IIIを、図8,図9で説明する。これは、心拍により心理状態の推定を行う例である。
この図からわかるように、心拍変動と心拍数の各レベルの相関から、怒り、喜び、悲しみ、リラックスという心理状態を推定することができる。
なお、上述した撮像動作設定処理例I,IIの場合と同様、システムコントローラ2は、自動撮像の実行時には、内部タイマにより所定の撮像間隔としての時間カウントを行い、例えば10秒毎などの所定時間のカウントに応じて、撮像部3,撮像制御部4,ストレージ部8による撮像動作(撮像画像データの保存)を実行させる。
システムコントローラ2は、例えば一定時間間隔で撮像動作を指示して自動撮像を実行されていくとともに、その自動撮像実行中、図9の処理を常時継続し、逐次撮像動作設定の変更処理をおこなうことになる。
ステップF302は、システムコントローラ2は、脈波センサ10から得られる脈波情報を取得する。
そしてステップF303で、心拍数と心拍変動の値を算出する。例えばこの場合、単位時間当たりの脈波情報から心拍数を求めるとともに、前回の単位時間あたりの心拍数と今回の単位時間当たりの心拍数により、心拍変動の値を求めればよい。
ステップF307では、システムコントローラ2は、動画モード設定、大画像サイズ設定、小圧縮率設定という撮像動作設定を行う。
このステップF307の設定が行われた時点からは、撮像制御部4は、動画撮像モードで動作する。即ち撮像部3で得られる各フレームの撮像画像データを動画データとして処理する。またこのとき、各フレームの画像サイズを大サイズ設定で処理し、さらに小圧縮率の圧縮処理を実行して、動画としての撮像画像データをストレージ部8に転送する。ストレージ部8は転送されてきた撮像画像データを動画として保存する。この場合、高画質な動画撮像画像データが保存されることになる。
ステップF308では、システムコントローラ2は、動画モード設定、小画像サイズ設定、大圧縮率設定という撮像動作設定を行う。
このステップF308の設定が行われた時点からは、撮像制御部4は、動画撮像モードで動作する。即ち撮像部3で得られる各フレームの撮像画像データを動画データとして処理する。またこのとき、各フレームの画像サイズを小サイズ設定で処理し、さらに大圧縮率の圧縮処理を実行して、動画としての撮像画像データをストレージ部8に転送する。ストレージ部8は転送されてきた撮像画像データを動画として保存する。この場合、比較的低画質な動画撮像画像データが保存されることになる。
ステップF309では、システムコントローラ2は、静止画モード設定、小画像サイズ設定、大圧縮率設定、撮像間隔の長時間設定という撮像動作設定を行う。
このステップF309の設定が行われた時点からは、撮像制御部4は静止画撮像モードで動作する。即ち撮像部3で得られる1フレームの撮像画像データを静止画データとして処理する。そしてこのとき、撮像画像データについて画像サイズを小さく、また大圧縮率の圧縮処理を実行し、撮像画像データをストレージ部8に転送する。ストレージ部8は転送されてきた撮像画像データを静止画として保存するが、この場合、比較的低画質な撮像画像データが保存されることになる。
またシステムコントローラ2は、撮像間隔を長くする。例えば撮像間隔として5秒間隔と10秒間隔を切り換える場合、ステップF309の設定後は10秒間隔で、静止画の撮像動作を実行させることになる。
ステップF310では、システムコントローラ2は、静止画モード設定、大画像サイズ設定、小圧縮率設定、撮像間隔の短時間設定という撮像動作設定を行う。
このステップF310の設定が行われた時点からは、撮像制御部4は静止画撮像モードで動作する。即ち撮像部3で得られる1フレームの撮像画像データを静止画データとして処理する。そしてこのとき、撮像画像データについて画像サイズを大きく、また小圧縮率の圧縮処理を実行し、撮像画像データをストレージ部8に転送する。ストレージ部8は転送されてきた撮像画像データを静止画として保存するが、この場合、比較的高画質な撮像画像データが保存されることになる。
またシステムコントローラ2は、撮像間隔を短くする。例えば上記のように撮像間隔として5秒間隔と10秒間隔を切り換える場合、ステップF310の設定後は5秒間隔で、静止画の撮像動作を実行させることになる。
自動撮像動作が終了される際には、この図9の処理もステップF311で終了と判断されて終了される。
例えばユーザが喜びを感じる状況は、ライフログとして最もユーザが保存したい重要な場面であるとし、高画質の動画として撮像画像データが保存される。
またユーザが怒りを感じる状況は、ライフログとして比較的重要な場面であるとし、比較的低画質の動画として撮像画像データが保存される。
またユーザが悲しみ感じる状況は、多数の高画質の静止画として撮像画像データが保存される。
またユーザがリラックスしている状況は、通常の状態として、少数の比較的低画質の静止画として撮像画像データが保存される。
また、ユーザが、どのような感情に対してどのような設定で撮像を行うかを、任意に選択できるようにすることも考えられる。
以上説明した本実施の形態によれば、例えば定期的な間隔として自動撮像を実行する際に、ユーザの心理や行動に適応した撮像動作設定が行われながら、逐次自動撮像が行われる。例えばユーザが心理的に通常とは異なった状況となったときに、高画質の撮像や、撮像間隔時間の短縮、静止画撮像から動画撮像への切換などの設定を行うことで、ユーザにとって重要と感じられるであろう光景を、より適切に保存できる。
これによって、例えばライフログ用途などの自動撮像として、ユーザにとって印象的な光景が高画質で撮像されるなど、好適な撮像が実現される。
また、生体情報として、特にユーザの脈波情報を用いているが、脈波の検出は比較的容易であるため、装置構成的にも有利となる。
また、脈波情報に基づいて、心拍間隔の周波数解析を行い、ユーザのストレス状況を判別することでも、ユーザのストレス状況に応じた撮像動作設定が可能となる。
また脈波情報に基づいて、心拍数と心拍変動を求め、これらからユーザの心理状況を判別することで、そのユーザの感情に適した撮像動作設定を行うことができる。
撮像動作設定の内容、設定変更する事項、或いはその組み合わせ、切換可能な設定変更段階数などは、非常に多様に考えられる。
また実施の形態では脈波情報を検出するものとして述べたが、脈波以外に脳波や発汗量など、他の生体情報を検出して心理状態を推定し、撮像動作設定を変更することも考えられる。
Claims (6)
- 撮像動作として、被写体の撮像画像データを得、該撮像画像データの保存処理を行う撮像手段と、
使用者の生体情報として脈波情報を検出する生体情報検出手段と、
使用者のシャッタ操作に基づかない自動撮像処理としての撮像制御を行う際に、上記生体情報検出手段で検出される脈波情報から求められる単位時間毎の心拍数の変化の傾きを閾値と比較した結果に基づいて、心拍数の変動が心理起因の変動か、運動起因の変動かを判別し、その判別結果に応じて撮像動作設定を行い、撮像動作設定に基づく撮像動作を上記撮像手段に実行させる撮像動作制御を行う制御手段と、
を備え、
上記制御手段は、上記撮像動作設定として、画質設定、又は画サイズ設定、又は撮像間隔時間設定、又はフレームレート設定、又は静止画撮像/動画撮像切換設定、又はシャッタスピード設定を行う情報処理装置。 - 上記制御手段は、上記生体情報検出手段で検出される脈波情報に基づいて、使用者のストレス状況を判別し、その判別結果に応じて、上記撮像動作設定を行う請求項1に記載の情報処理装置。
- 上記制御手段は、上記生体情報検出手段で検出される脈波情報に基づいて、使用者の心理状況を判別し、その判別結果に応じて、上記撮像動作設定を行う請求項1に記載の情報処理装置。
- 上記撮像手段は、記録媒体に撮像画像データの保存処理を行うストレージ部を備える請求項1に記載の情報処理装置。
- 被写体の撮像画像データを得、該撮像画像データの保存処理を行う撮像動作に対する撮像制御方法として、
使用者の生体情報として脈波情報を検出する生体情報検出ステップと、
使用者のシャッタ操作に基づかない自動撮像処理としての撮像制御を行う際に、上記生体情報検出ステップで検出される脈波情報から求められる単位時間毎の心拍数の変化の傾きを閾値と比較した結果に基づいて、心拍数の変動が心理起因の変動か、運動起因の変動かを判別し、その判別結果に応じて撮像動作設定を行い、撮像動作設定に基づく撮像動作を上記撮像手段に実行させる撮像動作制御を行う撮像制御ステップと、
画質設定、又は画サイズ設定、又は撮像間隔時間設定、又はフレームレート設定、又は静止画撮像/動画撮像切換設定、又はシャッタスピード設定を行う撮像動作設定ステップと、
を備えた撮像制御方法。 - 被写体の撮像画像データを得、該撮像画像データの保存処理を行う撮像動作に対する撮像制御を行う情報処理装置に、
使用者の生体情報として脈波情報を検出する生体情報検出ステップと、
使用者のシャッタ操作に基づかない自動撮像処理としての撮像制御を行う際に、上記生体情報検出ステップで検出される脈波情報から求められる単位時間毎の心拍数の変化の傾きを閾値と比較した結果に基づいて、心拍数の変動が心理起因の変動か、運動起因の変動かを判別し、その判別結果に応じて撮像動作設定を行い、撮像動作設定に基づく撮像動作を上記撮像手段に実行させる撮像動作制御を行う撮像制御ステップと、
画質設定、又は画サイズ設定、又は撮像間隔時間設定、又はフレームレート設定、又は静止画撮像/動画撮像切換設定、又はシャッタスピード設定を行う撮像動作設定ステップと、
を実行させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012004073A JP5257525B2 (ja) | 2012-01-12 | 2012-01-12 | 情報処理装置、撮像制御方法、プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012004073A JP5257525B2 (ja) | 2012-01-12 | 2012-01-12 | 情報処理装置、撮像制御方法、プログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007216687A Division JP2009049951A (ja) | 2007-08-23 | 2007-08-23 | 撮像装置、撮像方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012120206A JP2012120206A (ja) | 2012-06-21 |
JP5257525B2 true JP5257525B2 (ja) | 2013-08-07 |
Family
ID=46502461
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012004073A Expired - Fee Related JP5257525B2 (ja) | 2012-01-12 | 2012-01-12 | 情報処理装置、撮像制御方法、プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5257525B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3291191A1 (en) | 2016-08-29 | 2018-03-07 | Panasonic Intellectual Property Management Co., Ltd. | Suspicious person report system and suspicious person report method |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9314211B2 (en) | 2013-07-31 | 2016-04-19 | Omron Healthcare Co., Ltd. | Blood pressure measurement device having function of determining rest condition of patient |
US9314171B2 (en) | 2013-07-31 | 2016-04-19 | Omron Healthcare Co., Ltd. | Blood pressure measurement device having function of determining rest condition of patient |
JP6435595B2 (ja) * | 2013-08-05 | 2018-12-12 | カシオ計算機株式会社 | トレーニング支援システム、サーバー、端末、カメラ、方法並びにプログラム |
JP6198530B2 (ja) * | 2013-08-30 | 2017-09-20 | 株式会社ニコン | 画像処理装置 |
JP2015102650A (ja) * | 2013-11-25 | 2015-06-04 | 株式会社ニコン | 撮像制御装置および撮像装置 |
JP6356963B2 (ja) * | 2013-12-27 | 2018-07-11 | 株式会社ニコン | 機械装置 |
JP6266427B2 (ja) * | 2014-05-01 | 2018-01-24 | Kddi株式会社 | ユーザのストレス度に応じて音楽を選択する装置、プログラム及び方法 |
KR102436726B1 (ko) | 2015-06-15 | 2022-08-26 | 삼성전자주식회사 | 생리학적 노화 수준을 평가하는 방법 및 장치 |
JP6093833B1 (ja) * | 2015-10-22 | 2017-03-08 | 日本電信電話株式会社 | 心拍数推定装置、心理状態判定装置、心拍数推定方法、及びそのプログラム |
JP6554422B2 (ja) * | 2016-01-07 | 2019-07-31 | 日本電信電話株式会社 | 情報処理装置、情報処理方法、及び、プログラム |
JP6830206B2 (ja) | 2016-06-13 | 2021-02-17 | パナソニックIpマネジメント株式会社 | 機器制御システム、情報処理装置および機器制御方法 |
US20180018899A1 (en) | 2016-07-15 | 2018-01-18 | Panasonic Intellectual Property Management Co., Ltd. | Information processing apparatus for presenting content, method for controlling the same, and control program |
CN108078572A (zh) | 2016-11-22 | 2018-05-29 | 松下知识产权经营株式会社 | 客舱乘务员的评价系统和客舱乘务员的评价方法 |
CN108090595A (zh) | 2016-11-22 | 2018-05-29 | 松下知识产权经营株式会社 | 压力改善系统及压力改善方法 |
WO2019031257A1 (ja) | 2017-08-08 | 2019-02-14 | ソニー株式会社 | 情報処理装置および方法、並びにプログラム |
KR20200050714A (ko) * | 2018-11-02 | 2020-05-12 | 엘지전자 주식회사 | 단말기 |
CN111277755B (zh) * | 2020-02-12 | 2021-12-07 | 广州小鹏汽车科技有限公司 | 一种拍照控制方法、系统及车辆 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4174923B2 (ja) * | 1999-07-23 | 2008-11-05 | コニカミノルタホールディングス株式会社 | 装着型カメラ |
JP4421929B2 (ja) * | 2004-04-13 | 2010-02-24 | 株式会社エヌ・ティ・ティ・ドコモ | サーバシステム |
JP2006080644A (ja) * | 2004-09-07 | 2006-03-23 | Toshiba Tec Corp | カメラ |
-
2012
- 2012-01-12 JP JP2012004073A patent/JP5257525B2/ja not_active Expired - Fee Related
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3291191A1 (en) | 2016-08-29 | 2018-03-07 | Panasonic Intellectual Property Management Co., Ltd. | Suspicious person report system and suspicious person report method |
JP2018037075A (ja) * | 2016-08-29 | 2018-03-08 | パナソニックIpマネジメント株式会社 | 不審者通報システム及び不審者通報方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2012120206A (ja) | 2012-06-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5257525B2 (ja) | 情報処理装置、撮像制御方法、プログラム | |
JP2009049951A (ja) | 撮像装置、撮像方法 | |
JP5023663B2 (ja) | 撮像装置、撮像方法 | |
JP4367663B2 (ja) | 画像処理装置、画像処理方法、プログラム | |
JP5092357B2 (ja) | 撮像表示装置、撮像表示方法 | |
JP4853320B2 (ja) | 画像処理装置、画像処理方法 | |
JP5228305B2 (ja) | 表示装置、表示方法 | |
JP5309448B2 (ja) | 表示装置、表示方法 | |
US20080062291A1 (en) | Image pickup apparatus and image pickup method | |
JP4826485B2 (ja) | 画像保存装置、画像保存方法 | |
JP2013077013A (ja) | 表示装置、表示方法 | |
JP2009118135A (ja) | 撮像装置、撮像方法 | |
JP2008099834A (ja) | 表示装置、表示方法 | |
JP2013210643A (ja) | 表示装置、表示方法 | |
JP5904246B2 (ja) | 頭部装着型表示装置、表示方法 | |
KR20210135550A (ko) | 연속 비디오 캡처 안경 | |
JP6160654B2 (ja) | 表示装置、表示方法、プログラム | |
JP2008288821A (ja) | 撮像装置、撮像方法 | |
JP2009055080A (ja) | 撮像装置、撮像方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121116 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121120 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130107 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130326 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130408 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160502 Year of fee payment: 3 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5257525 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |