JP4367663B2 - 画像処理装置、画像処理方法、プログラム - Google Patents

画像処理装置、画像処理方法、プログラム Download PDF

Info

Publication number
JP4367663B2
JP4367663B2 JP2007102659A JP2007102659A JP4367663B2 JP 4367663 B2 JP4367663 B2 JP 4367663B2 JP 2007102659 A JP2007102659 A JP 2007102659A JP 2007102659 A JP2007102659 A JP 2007102659A JP 4367663 B2 JP4367663 B2 JP 4367663B2
Authority
JP
Japan
Prior art keywords
information
image
image data
imaging
captured image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2007102659A
Other languages
English (en)
Other versions
JP2008263274A (ja
JP2008263274A5 (ja
Inventor
大二 伊藤
曜一郎 佐古
あかね 佐野
望 尾崎
彰信 杉野
英子 田畑
英彦 關澤
正道 飛鳥井
雅明 鶴田
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to JP2007102659A priority Critical patent/JP4367663B2/ja
Publication of JP2008263274A publication Critical patent/JP2008263274A/ja
Publication of JP2008263274A5 publication Critical patent/JP2008263274A5/ja
Application granted granted Critical
Publication of JP4367663B2 publication Critical patent/JP4367663B2/ja
Application status is Active legal-status Critical
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Detecting, measuring or recording for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Detecting, measuring or recording for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165Evaluating the state of mind, e.g. depression, anxiety

Description

本発明は、撮像画像データに対する画像処理装置、画像処理方法、及びこれらを情報処理装置で実現するプログラムに関する。

特開2005−260892号公報 特開2005−250977号公報 特開2004−178593号公報 特開2005−124909号公報 特開2005−141281号公報

上記特許文献1には、心臓の電気信号による感情起伏増幅信号をトリガーとして画像が記録される技術が開示されている。
上記特許文献2には、撮像者の感情(嬉しい、悲しい、楽しい、怒っている、おびえている、寒い、暑い、心地よい、苦しい、めげている等)を撮像した画像に反映させる技術が開示されている。
上記特許文献3には、撮像者の感情情報を取得し、関心度や重要度、趣向の度合いから重要度また感情情報を解析し、画像にタグ付けする技術や示され、特に撮像者の顔画像の解析を行うことが記載されている。
上記特許文献4には、静止画あるいは動画に人間の生体情報あるいは心理状態を付加することが開示されている。また、生体情報を使用してコンテンツの検索を行うことが示されている。
上記特許文献5には、体験を再現するために、テキスト等では表現できない心理状態や生体情報をセンシングすることでコンテンツに付加し、検索に使用する技術が開示されている。

近年では、デジタルスチルカメラやビデオカメラの普及により、ユーザが大量に撮像画像を所有するという状況が生まれている。さらに、ライフカメラとして、ユーザがカメラを装着している状態で連続して撮像(常時連続動画撮像や、定期的な静止画撮像など)を行うことで、ユーザの日常生活の行動軌跡の画像を保存するというようなことも想定可能な状況にある。この場合、ユーザはさらに大量の撮像画像データを所有することになる。
このような状況では、大量の撮像画像データから、簡易かつ適切に撮像画像を選択して出力(例えば表示出力)することが重要となる。
そこで本発明では、撮像画像データの保存や、その出力のための検索として好適な技術手法を提供することを目的とする。

本発明の画像処理装置は、撮像装置部で撮像された撮像画像データを継続的に自動取得する画像取得手段と、上記画像取得手段で取得する撮像画像データの撮像の際の、上記撮像装置部の使用者の生体情報を生体センサ及び動きセンサによって生体センサ検出情報として取得するとともに、使用者の心理情報を、生体センサ検出情報を用いて生成する生体情報取得手段と、上記画像取得手段で取得した撮像画像データ内に人の顔画像が含まれているか否かの画像解析を行い、該画像解析結果としての顔存在情報を、被写体情報とするとともに、顔画像が含まれている場合該顔画像の画像解析を行い、該画像解析結果としての顔解析結果情報を、上記被写体情報として取得する被写体情報取得手段と、上記画像取得手段が取得した撮像画像データと、上記生体情報取得手段が取得・生成した上記生体センサ検出情報、上記心理情報と、上記被写体情報取得手段が取得した被写体情報とを、関連づけて記録媒体に記録する処理を行う保存処理手段と、上記保存処理手段によって、上記生体センサ検出情報、上記心理情報及び上記被写体情報と関連づけられて保存された撮像画像データについて、上記生体センサ検出情報、上記心理情報及び上記被写体情報を用いて検索条件を生成し、該検索条件に基づく検索処理を行う検索処理手段と、上記検索処理手段の検索処理結果の出力処理を行う出力処理手段とを備える。
また上記画像取得手段は、一体的に設けられた上記撮像装置部での撮像動作により、撮像画像データを取得する。
或いは上記画像取得手段は、外部の上記撮像装置部での撮像動作による撮像画像データを取得する。
上記顔解析結果情報とは、例えば表情、性別、年齢層等を示す情報である。

また、上記画像取得手段は、撮像画像データの継続的な自動取得を、一定時間ごとに行う。
また、上記生体情報取得手段は、上記生体センサ及び動きセンサによる生体センサ検出情報の継続的な取得、上記心理情報の生体センサ検出情報を用いる継続的な生成を行い、上記画像取得手段は、撮像画像データの継続的な自動取得を、上記生体センサ情報又は心理情報の検出に基づいて行う。

本発明の画像処理方法は、撮像装置部で撮像された撮像画像データを継続的に自動取得する画像取得ステップと、上記画像取得ステップで取得する撮像画像データの撮像の際の、上記撮像装置部の使用者の生体情報を生体センサ及び動きセンサによって生体センサ検出情報として取得するとともに、使用者の心理情報を、生体センサ検出情報を用いて生成する生体情報取得ステップと、上記画像取得ステップで取得した撮像画像データ内に人の顔画像が含まれているか否かの画像解析を行い、該画像解析結果としての顔存在情報を、被写体情報とするとともに、顔画像が含まれている場合該顔画像の画像解析を行い、該画像解析結果としての顔解析結果情報を、上記被写体情報としての画像解析結果としての被写体情報を取得する被写体情報取得ステップと、上記画像取得ステップで取得した撮像画像データと、上記生体情報取得ステップで取得・生成した上記生体センサ検出情報、上記心理情報と、上記被写体情報取得ステップで取得した被写体情報とを、関連づけて記録媒体に記録する処理を行う保存処理ステップと、上記保存処理ステップによって、上記生体センサ検出情報、上記心理情報及び上記被写体情報と関連づけられて保存された撮像画像データについて、上記生体センサ検出情報、上記心理情報及び上記被写体情報を用いて検索条件を生成し、該検索条件に基づく検索処理を行う検索処理ステップと、上記検索処理手段の検索処理結果の出力処理を行う出力処理ステップとを実行する。
また本発明のプログラムは、この画像保存処理方法を情報処理装置に実行させるプログラムである。

即ち以上の本発明では、撮像時の使用者の生体情報と、撮像画像における被写体情報を撮像画像データに関連づけて保存する。
そして検索の際には、上記生体情報と被写体情報を用いて検索条件を生成し、検索を行う。また、検索時の生体情報も検索条件の生成に用いる。
撮像画像における被写体情報とは、例えば撮像画像に撮し込まれてる人の画像に関する情報である。すると、撮像者の感情等と、被写体となった人の表情などを条件として、さらには検索時のユーザの感情等を加味して、ユーザにとって適切な画像を選択し、表示することが可能となる。

本発明によれば、撮像時の使用者の生体情報と、撮像画像における被写体情報を撮像画像データに関連づけて保存しておくことで、検索時には上記生体情報と被写体情報を用いた検索が可能となる。さらには検索時のユーザの生体情報(感情等)を加味した検索が可能となる。これによって画像閲覧者にとって好適な画像選択及び表示などが可能となるという効果がある。
特に閲覧者の心理状態を加味して検索条件を適切に設定することで、閲覧者の精神を安定させたり調整させるような画像出力もできる。

以下、本発明の画像処理装置、画像処理方法プログラムの実施の形態を説明する。
ここでは画像保存処理装置と画像検索装置を兼ね備えた装置例としての撮像装置を挙げて説明する。なお後に変形例、拡張例として述べるが本発明の画像保存処理装置、画像検索装置は、撮像装置以外の機器でも実現できる。
説明は次の順序で行う。
[1.撮像装置の外観例]
[2.撮像装置の構成例]
[3.画像保存処理例I]
[4.画像保存処理例II]
[5.画像検索処理例I]
[6.画像検索処理例II]
[7.実施の形態の効果、変形例、拡張例、及びプログラム]

[1.撮像装置の外観例]

実施の形態の撮像装置1としては各種の形態が想定されるが、それらの外観例を図1(a)(b)(c)(d)に例示する。
図1(a)は、眼鏡型ディスプレイカメラとした撮像装置1を示している。撮像装置1は、例えば両側頭部から後頭部にかけて半周回するようなフレームの構造の装着ユニットを持ち、図のように両耳殻にかけられることでユーザに装着される。
この撮像装置1は、ユーザが装着した状態において、ユーザの視界方向を被写体方向として撮像するように、前方に向けて撮像レンズ3aが配置されている。
また図示のような装着状態において、ユーザの両眼の直前、即ち通常の眼鏡におけるレンズが位置する場所に、左眼用と右眼用の一対の表示パネル部2a、2aが配置される構成とされている。この表示パネル部2aには、例えば液晶パネルが用いられ、透過率を制御することで、図のようなスルー状態、即ち透明又は半透明の状態とできる。表示パネル部2aがスルー状態とされることで、眼鏡のようにユーザが常時装着していても、通常の生活には支障がない。
なお、表示パネル部2aは、両眼に対応して一対設けられる他、片側の眼に対応して1つ設けられる構成も考えられる。

図1(b)は、同じくユーザが頭部に装着する撮像装置1を示しているが、図1(a)のような表示パネル部2aを備えない構成である。例えば耳殻に掛けられるような装着ユニットによりユーザ頭部に装着される。そしてこの状態でユーザの視界方向を被写体方向として撮像するように、前方に向けて撮像レンズ3aが配置されている。

これら図1(a)(b)では、眼鏡型或いは頭部装着型の装着ユニットによりユーザの頭部に装着される撮像装置1を挙げたが、撮像装置1をユーザが装着するための構造は多様に考えられる。例えばヘッドホン型、ネックバンドタイプ、耳掛け式など、どのような装着ユニットでユーザに装着されるものであってもよい。さらには、例えば通常の眼鏡やバイザー、或いはヘッドホン等に、クリップなどの取付具で取り付けることでユーザに装着させる形態であってもよい。また必ずしもユーザの頭部に装着されるものでなくても良い。
また、撮像方向をユーザの視界方向としているが、装着時にユーザの後方、側方、上方、足下方向などを撮像するように撮像レンズ3aが取り付けられている構成や、撮像方向が同一又は異なる方向とされた複数の撮像系が設けられている構成も考えらえる。
さらには、1又は複数の撮像レンズ3aについて、被写体方向を手動又は自動で可変できる撮像方向可変機構を設けても良い。

図1(c)は一般にデジタルスチルカメラとして知られているような形態の撮像装置1を示している。
また図1(d)は一般にビデオカメラとして知られているような形態の撮像装置1を示している。
これら図1(c)(d)のようにユーザが所持して使用する撮像装置1も、本発明の実施の形態の一態様となる。そして図では撮像レンズ3aしか示していないが、撮像モニタ用のパネル表示部やビューファインダなどの表示デバイスも設けられている。

なお、静止画撮像や動画撮像を行う撮像装置として、これら図1(a)(b)(c)(d)に示す以外の形態も考えられることは言うまでもない。例えば携帯電話機やPDA(Personal Digital Assistant)、携帯用パーソナルコンピュータなどの機器であって、撮像装置としての機能を備えているものも本実施の形態の撮像装置1として想定できる。
また、これらの各種形態において、例えば外部音声を集音するマイクロホンを設け、撮像時に、画像データと共に記録する音声信号を得るようにしてもよい。また音声出力を行うスピーカ部やイヤホン部を形成するようにしても良い。
また撮像レンズ3aの近辺に、被写体方向への照明を行う発光部を、例えばLED(Light Emitting Diode)等により設けたり、静止画撮像のためのフラッシュ発光部を設けることも考えられる。

ところで本実施の形態の撮像装置1としては、撮像動作として手動撮像と自動撮像のいずれか、又は両方が実行可能とされる。
ここでいう「手動撮像」とは、ユーザのシャッタ操作により撮像(撮像画像データの記録)が行われる動作をいう。
一方、「自動撮像」とは、ユーザのシャッタ操作に基づかないで撮像(撮像画像データの記録)が行われる動作をいう。例えば図1(a)(b)の撮像装置1をユーザが装着している際に、常時、動画像を撮像する動作や、例えば1秒間隔、数秒間隔、数10秒間隔などで静止画撮像を行う動作が、自動撮像として想定される。例えばライフカメラとしてユーザの日常生活の軌跡を撮像するような動作である。また定期的な撮像ではなくとも、ユーザ操作以外の何らかのトリガによって撮像が行われる動作も、自動撮像として想定される。例えばユーザの緊張、驚愕等の感情を検出して自動的に撮像を行ったり、外部装置から供給されるトリガ(ユーザのシャッタ操作情報以外のトリガ)によって撮像を行うような動作も自動撮像となる。

[2.撮像装置の構成例]

撮像装置1の構成例を図2で説明する。
システムコントローラ10は、例えばCPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、不揮発性メモリ部、インターフェース部を備えたマイクロコンピュータにより構成され、撮像装置1の全体を制御する制御部とされる。このシステムコントローラ10は内部のROM等に保持したプログラムに基づいて、各種演算処理やバス13を介した各部と制御信号等のやりとりを行い、各部に所要の動作を実行させる。

撮像部3は、撮像光学系、撮像素子部、撮像信号処理部を有する。
撮像部3における撮像光学系では、図1に示した撮像レンズ3aや、絞り、ズームレンズ、フォーカスレンズなどを備えて構成されるレンズ系や、レンズ系に対してフォーカス動作やズーム動作を行わせるための駆動系等が備えられる。
また撮像部3における撮像素子部では、撮像光学系で得られる撮像光を検出し、光電変換を行うことで撮像信号を生成する固体撮像素子アレイが設けられる。固体撮像素子アレイは、例えばCCD(Charge Coupled Device)センサアレイや、CMOS(Complementary Metal Oxide Semiconductor)センサアレイとされる。
また撮像部3における撮像信号処理部では、固体撮像素子によって得られる信号に対するゲイン調整や波形整形を行うサンプルホールド/AGC(Automatic Gain Control)回路や、ビデオA/Dコンバータを備え、デジタルデータとしての撮像画像データを得る。また撮像画像データに対してホワイトバランス処理、輝度処理、色信号処理、ぶれ補正処理などを行う。

これらの撮像光学系、撮像素子部、撮像信号処理部を有する撮像部3により、撮像が行われ、撮像画像データが得られる。
この撮像部3の撮像動作によって得られた画像データは、撮像制御部6で処理される。
撮像制御部6は、システムコントローラ10の制御に従って、撮像画像データを所定の画像データフォーマットに変換する処理や、変換した撮像画像データを、動作状況に応じて被写体情報生成部12,ストレージ部14,通信部15,表示制御部7へ供給する処理を行う。
また撮像制御部6はシステムコントローラ10の指示に基づいて、撮像部3における撮像動作のオン/オフ制御、撮像光学系のズームレンズ、フォーカスレンズの駆動制御、撮像素子部の感度やフレームレートの制御、撮像信号処理部の各処理のパラメータ制御や実行処理の設定などを行う。

被写体情報生成部12は、この撮像装置1が取得した撮像画像データ、つまり撮像部3の撮像による撮像画像データについて画像解析処理を行い、被写体情報を生成する。
特に画像解析処理として、撮像画像内に人の顔が含まれているか否かの解析処理を行う。そして顔画像の有無に応じて、顔画像の存在を示す情報(顔存在情報)としての顔フラグを生成する。
例えば画像内に目、鼻、口等の顔の構成要素とその輪郭の認定により、撮像画像データの画像内に顔画像が存在するか否かを判別できる。

また、顔画像が存在する場合、被写体情報生成部12は、さらに顔画像の解析処理を行い、その顔解析結果情報も、被写体情報として生成する。顔解析結果情報とは、例えば撮されている人の表情、又は性別、又は年齢層等を示す情報である。
表情、性別、年齢層は、顔画像の解析により或る程度の確率で推定できることが知られている。
顔の表情の判定の処理は各種考えられるが、例えば顔を構成するパーツを抽出し、各パーツに評価値を与えて、表情判定する方式が採用できる。
例えば笑顔を判定する場合、顔を構成するパーツとして、画像から眼、眉、唇の各部分を抽出する。そして例えば眉については、角度を判定する。いわゆる「つり上がり」の状態を低いポイントとし、眉の両端が下がるほど、高いポイントを付与するようにする。また眼については、瞳孔の開き具合を判定し、瞳孔が開いているほど高いポイントを付与するようにする。唇については、両端の角度が下がっているほど低く、逆に両端の角度が上がっているほど高いポイントを付与する。
例えばこのように各パーツに、笑顔判定のポイントを付与し、それらを加算(或いはパーツ毎に重み付けを変えて加算)し、笑顔ポイントとする。この笑顔ポイントが所定値より高ければ「笑顔」と判定できる。
もちろんこれは一例であり、頬の状態や、笑ったときに生じる皺などを判定要素としてもよい。
また、笑顔判定でなく、怒った表情、不機嫌な表情、悲しい表示、平静な表情など、他の表情も、顔を構成する各パーツの画像から推定することが可能である。

生体センサ部4は、ユーザの各種の生体情報を検出する各種センサを備える。例えば血圧センサ、体温センサ、脈拍センサ、脳波センサ、電気反応センサ、皮膚抵抗値センサ、視覚センサ、その他の各種のセンサが想定される。また加速度センサ、角速度センサ、振動センサなども考えられる。

生体情報生成部5は、生体センサ部4の各種センサの検出情報としての生体情報を得る。
生体センサ部4の各種センサで検出される情報(生体センサ検出情報)とは、例えば脈拍数、心拍数、心電図情報、筋電、呼吸情報(例えば呼吸の速さ、深さ、換気量など)、発汗、GSR(皮膚電気反応)、血圧、血中酸素飽和濃度、皮膚表面温度、脳波(例えばα波、β波、θ波、δ波の情報)、血流変化、眼の状態などである。
また加速度センサ、角速度センサ、振動センサの検出情報として加速度、角速度、振動の情報は、ユーザの動きを示す生体情報とすることができる。

また、生体情報生成部5は、これらの生体センサ検出情報に基づいてユーザの心理状況を判定し、心理情報を生成し、これを生体情報の1つとすることもできる。
例えば緊張状態、興奮状態、快適状態などに伴う生体センサ検出情報の数値の変動に基づいてユーザの感情(楽しい、おもしろい、うれしい、悲しい、恐ろしい、穏やか、懐かしい、感動、驚愕、興奮、緊張等)を推定することができる。さらに視覚センサによる瞳孔の状態、視線の動きによっても、ユーザの状況を判定できる。また、加速度センサ、振動センサ等によって検出されるユーザの身体の動きを、ユーザ状況の判定に用いても良い。
また、脈拍等が早くなった場合に、緊張や興奮が原因の場合もあれば、ユーザが走っているなど運動したことが原因の場合もある。これらの判別為に、加速度センサ等の情報を参照するようにすることもできる。
即ち、各種センサの検出情報の1つ或いは複数を用いて、ユーザの感情状態を推定することができる。生体情報生成部5は、このような推定処理を行って、心理情報を生成する。

なお、心理状態を推定するのにはある程度の時間が必要であり、一時的に生体センサ部4の検出情報を取り込むだけでは的確な心理状態を推定できない場合がある。即ち生体から得られる信号としての生体センサ部4の検出情報は時々刻々とその値が変化するものであり、或る瞬間の値を見ただけではどのような心理状態にあるのかがわかりにくい。または継続的な感情の変化によって、心理状態の判定のための閾値を変化させたほうがよい場合もある。
そこで、生体情報生成部5は、常時継続的に生体センサ部4の検出情報を取り込んでいるようにし、時系列的な検出情報の変化も加味して、ユーザの心理情報を生成するようにすることが好適である。

生体センサ部4の各種センサは、例えば眼鏡型の撮像装置1の装着フレーム内側に配置することで、例えばユーザの側頭部や後頭部に接触して、上記各種情報を検知できるようにしてもよいし、撮像装置1の装着フレーム部分とは別体として、身体の所定箇所に装着されるようにしてもよい。例えば腕時計型のユニット等でセンサをユーザの手首などに接触させてもよい。また眼の状態や動き、瞳孔などの状態の検出のためには、ユーザの眼部を撮像するカメラを用いることが考えられる。

また、上記の被写体情報生成部12や、生体情報生成部5は、マイクロコンピュータやビデオプロセッサとしてのDSP(Digital Signal Processor)などで構成できる。また、この図2では被写体情報生成部12や生体情報生成部5をマイクロコンピュータによるシステムコントローラ10と別ブロックで示しているが、システムコントローラ10内で起動されるソフトウエアにより被写体情報生成部12或いは生体情報生成部5としての動作が実現されても良い。

撮像装置1においてユーザに対して表示を行う構成としては、表示部2、表示制御部7が設けられる。
この表示部2は、上述した液晶パネル等による表示パネル部2aと、表示パネル部2aを表示駆動する表示駆動部が設けられる。
表示駆動部は、撮像制御部6から供給される画像データを、例えば液晶ディスプレイとされる表示パネル部2aにおいて表示させるための画素駆動回路で構成されている。画素駆動回路は表示パネル部2aにおいてマトリクス状に配置されている各画素について、それぞれ所定の水平/垂直駆動タイミングで映像信号に基づく駆動信号を印加し、表示を実行させる。

表示制御部7は、システムコントローラ10の制御に基づいて、表示部2における画素駆動回路を駆動し、表示パネル部2aに所定の表示を実行させる。
即ち、撮像部3での撮像モニタとしての表示や、ストレージ部14に取り込まれた撮像画像データの再生表示、さらには通信部15で受信したデータの表示、各種キャラクタの表示などを、表示パネル部2aにおいて実行させる。
またこれらの表示のために、例えば輝度レベル調整、色補正、コントラスト調整、シャープネス(輪郭強調)調整などを行うことができる。また画像データの一部を拡大した拡大画像の生成、或いは縮小画像の生成、ソフトフォーカス、モザイク、輝度反転、画像内の一部のハイライト表示(強調表示)、全体の色の雰囲気の変化などの画像エフェクト処理、撮像画像の分割表示のための画像の分離や合成、キャラクタ画像やイメージ画像の生成及び生成した画像を撮像画像に合成する処理なども行うことができる。
また表示制御部7は、システムコントローラ10の指示に基づいて表示駆動部を制御し、表示パネル部2aの各画素の透過率を制御して、スルー状態(透明又は半透明の状態)とすることもできる。

ストレージ部14は、各種データの保存に用いられる。例えば撮像画像データの保存に用いられる。また撮像画像データに関連づけて、生体情報生成部5で生成される生体情報(生体センサ検出情報や心理情報)を保存したり、被写体情報生成部12で生成される被写体情報(顔フラグや顔解析結果情報)を保存する。
このストレージ部14は、RAM或いはフラッシュメモリなどの固体メモリにより構成されても良いし、例えばHDD(Hard Disk Drive)により構成されてもよい。
また内蔵の記録媒体ではなく、可搬性の記録媒体、例えば固体メモリを内蔵したメモリカード、光ディスク、光磁気ディスク、ホログラムメモリなどの記録媒体に対応する記録再生ドライブなどとされても良い。
もちろん、固体メモリやHDD等の内蔵タイプのメモリと、可搬性記録媒体に対する記録再生ドライブの両方が搭載されてもよい。
このストレージ部14は、システムコントローラ10の制御に基づいて、撮像画像データや生体情報、被写体情報等を記録し、保存する。
またシステムコントローラ10の制御に基づいて、記録したデータを読み出し、システムコントローラ10や表示制御部7などに供給する。

通信部15は外部機器との間でのデータの送受信を行う。この通信部15は、無線LAN、ブルートゥースなどの方式で、例えばネットワークアクセスポイントに対する近距離無線通信を介してネットワーク通信を行う構成としても良いし、対応する通信機能を備えた外部機器との間で直接無線通信を行うものでもよい。
また、必ずしも無線通信ではなく、外部機器との間の有線接続により外部機器と通信を行うものでもよい。

この撮像装置1では、ユーザの操作のために操作入力部11が設けられる。例えば電源オン/オフ、自動撮像/手動撮像の選択操作、手動撮像の場合のシャッタ操作(又は動画記録開始/停止操作)、ズーム/フォーカス等の操作、表示内容の指定操作、さらには後述する検索を指示する操作などのための操作入力が、操作入力部11により行われる。
操作入力部11は、例えばキー、ダイヤル等の操作子を有するようにし、キー操作等としてのユーザの操作を検知する構成としてもよいし、或いはユーザの意識的な挙動を検知する構成としても良い。
操作子を設ける場合、例えば、電源オン/オフ操作、撮像系の操作(例えばシャッタ操作、ズーム等の操作や、信号処理の指示操作)、表示関連操作(例えば表示内容の選択や表示調整操作)などに用いる操作子が形成されればよい。

また、操作子としてタッチパッドやタッチパネルを設けても良い。例えば表示部2においてタッチパネルを配し、表示画面上にユーザがタッチすることで操作入力が行われるようにする。
また、画面上でカーソル等のポインタを移動させる操作子として、上記タッチパネルや十字キー、ジョグダイヤル等を備えるようにしてもよい。或いは、加速度センサ、角速度センサ等を内蔵したリモートコントローラにより、ユーザがリモートコントローラを手に持って動かすことで、画面上のカーソル等が移動するような操作が実行可能としても良い。

操作入力部11は、このよう操作で入力される操作情報をシステムコントローラ10に供給し、システムコントローラ10はこれらの操作情報に応じて所要の制御を実行する。

なお、上述のように生体センサ部4を有する場合、システムコントローラ10が、生体センサ部4の検出情報に基づいてユーザの意識的な操作入力を検知することも考えられる。
例えばユーザが撮像装置1を側面側からコツコツと軽く叩くといったことを、加速度センサ、振動センサ等で検知し、例えば横方向の加速度が一定値を越えたときにシステムコントローラ10がユーザの操作として認識するようにすることができる。また、加速度センサや角速度センサによりユーザが右側から側部(眼鏡のツルに相当する部分)を叩いたか、左側から側部を叩いたかを検出できるようにすれば、それらを、それぞれ所定の操作として判別することもできる。
またユーザが頭を回す、首を振るなどとすることを加速度センサや角速度センサで検知し、これをシステムコントローラ10がユーザの操作として認識することができる。
また、撮像装置1の左右の側部(眼鏡のツルに相当する部分)等に圧力センサを配置し、右側部をユーザが指で押したときは望遠方向のズーム操作、左側部をユーザが指で押したときは広角方向のズーム操作などとすることもできる。
また、例えばユーザの意識的な挙動として目の動き(視線方向の変化やまばたき)が考えられるが、ユーザが3回まばたきをしたことを視覚センサにより検知したら、それを特定の操作入力と判断することも考えられる。さらには、生体センサ部4の検出情報によっては、ユーザが撮像装置1を装着したことや外したこと、あるいは特定のユーザが装着したことなども検出可能であり、システムコントローラ10がその検出に応じて電源オン/オフなどを行うようにしてもよい。
さらにユーザの声を検知するセンサ、唇の動きを検知するセンサなど、他のセンサによって操作入力を検知する構成も考えられる。

以上、撮像装置1の構成を示したが、これは一例にすぎない。実際に実施される動作例や機能に応じて各種の構成要素の追加や削除は当然考えられる。

[3.画像保存処理例I]

撮像装置1で実行される撮像画像データの保存処理を説明する。図3はシステムコントローラ10、生体情報生成部5、被写体情報生成部12で実行される処理を示している。生体情報生成部5、被写体情報生成部12がシステムコントローラ10とされるマイクロコンピュータ内で動作するソフトウエアにより形成される場合、この図3の処理はシステムコントローラ10の処理と考えることができる。なお、このことは後述する図7でも同様である。

システムコントローラ10はステップF101で撮像トリガの発生をチェックする。システムコントローラ10は、撮像装置1において撮像を実行するため、何らかの信号を撮像トリガ発生として認識する。
例えば手動撮像を行う場合、操作入力部11を用いたユーザのシャッタ操作、もしくは生体センサ部4で検出されるユーザの意識的な挙動によるシャッタ操作を、撮像トリガと認識する。
自動撮像を行う場合は次のような撮像トリガが考えられる。
例えば図1(a)(b)のような撮像装置1をユーザが装着している際に常時継続的な撮像を行う場合、ユーザの装着を生体センサ部4の検出情報で検出したら、それを撮像トリガの発生と判断しても良い。また電源オン操作を撮像トリガの発生と判断してもよい。
定期的に静止画撮像を行う場合、システムコントローラ10は内部タイマーのカウントにより一定時間が経過するごとに撮像トリガの発生と判断すればよい。
また、ユーザが例えばスポーツ観戦で興奮/熱狂した場合、おもしろい光景を目撃した場合、感動した場合、交通事故等を目撃した場合、好きな人物/有名人等に出会った場合、不安や恐怖を感じた場合、驚いた場合などに、自動的に撮像を行うという自動撮像も考えられる。例えば生体情報生成部5が、生体センサ部4の検出情報を常時監視して、常時ユーザの心理状況を推定するようにし、驚き、興奮、喜び、不安などの心理状況が推定された場合に、それを撮像トリガとしてシステムコントローラ10に通知するということも想定される。

システムコントローラ10は、撮像トリガを認識したら、処理をステップF101からF102に進め、撮像及び撮像画像データの保存を実行させる制御を行う。なお、以下では撮像動作は静止画撮像を行うものとして説明を続ける。
即ちシステムコントローラ10は、撮像制御部6に撮像を指示し、撮像部3で得られる撮像画像データの取込、即ち撮像トリガで規定されるタイミングの1フレームの撮像画像データの取込を実行させる。またその撮像画像データをストレージ部14に転送させるとともに、ストレージ部14に記録媒体への保存を実行させる。

次にシステムコントローラ10はステップF103で、生体情報生成部5に生体情報生成を指示する。生体情報生成部5は、この撮像タイミングにおける生体センサ部4の各センサの検出値(生体センサ検出情報)を、生体情報とする。
また、この時点で推定されるユーザの心理情報も、生体情報とする。
なお上述したように、ユーザの心理状況は、或る瞬間の生体センサ検出情報から推定するより、継続的に生体センサ検出情報を監視し、その変動を考慮しながら推定する方が望ましい。そこで生体情報生成部5は常時、生体センサ検出情報を監視し、また心理状況を推定する処理を継続する。そしてこのステップF103では、その時点で推定されている心理状況を、撮像時の心理情報として出力することが好適である。

またシステムコントローラ10はステップF104で、被写体情報生成部12に撮像画像データの解析を指示する。そしてステップF105で、被写体情報生成部12により被写体情報を生成させる。
即ちシステムコントローラ10は、撮像制御部6からの撮像画像データを被写体情報生成部12にも転送させる。被写体情報生成部12は、システムコントローラ10の指示に応じて、転送されてきた撮像画像データの解析を行う。まず画像内に顔画像が存在するか否かの解析を行う。
例えば撮像画像データが図4(a)(b)のような画像内容であった場合、顔画像の存在が確認される。
また被写体情報生成部12は、顔画像が存在した場合は、その顔画像を解析し、表情、性別、年齢層の推定処理を行う。
そして被写体情報生成部12は、このような解析結果に基づいて、被写体情報を生成する。まず、撮像画像データの画像内に顔画像が存在しない場合、被写体情報として、顔フラグ=オフという情報を生成する。
一方、撮像画像データの画像内に顔画像が存在し、またその顔画像解析を行った場合、被写体情報として、顔フラグ=オンという情報と、顔解析結果情報を生成する。上述のように顔解析結果情報とは、表情、性別、年齢層の推定情報である。

なお、図4(a)のように複数の顔画像の存在が確認された場合、全ての顔画像について顔解析を行って複数の顔画像についてそれぞれ顔解析結果情報を生成してもよいが、例えば代表的な顔画像を推定し、その顔画像の解析を行って顔解析結果情報を得るようにしてもよい。代表的な顔画像とは、画像上での顔画像のサイズ(顔画像がしめる画素数や顔画像の対角線の長さなど)として、最も大きい顔画像としたり、画面内でより中央部に位置する顔画像などとして決めればよい。
また図4(b)のよう遠方に小さく顔画像が認識されたような場合、その小さい顔画像については、顔画像として認識しないようにしてもよい。即ち所定値以下のサイズの顔画像は無視するような解析処理を行っても良い。

次にシステムコントローラ10は、ステップF106で、生体情報、被写体情報を撮像画像データに対応させて保存させる。即ち生体情報生成部5で生成された生体情報と、被写体情報生成部12で生成された被写体情報をストレージ部14に供給し、これらをストレージ部14においてステップF102で記録させた撮像画像データに関連づけされる状態で記録させる。

撮像が行われる際には、以上の処理が実行されることで、撮像画像データ、生体情報(生体センサ検出情報と心理情報)、被写体情報(顔フラグと顔解析結果情報)が関連づけされてストレージ部14において保存されることになる。
例えば図5は保存形態の例を示しており、1つの撮像画像データVDに対して、画像管理情報、生体センサ検出情報、心理情報、顔フラグ、顔解析結果情報が、それぞれ記録された状態を示している。
画像管理情報は、ステップF102で撮像画像データが記録される際に、共に記録される情報である。例えば撮像日時(年月日時分秒)、画像種別、ファイル形式、圧縮方式、データサイズなどの情報を有する。これは撮像時にシステムコントローラ10が生成して撮像画像データVDとともにストレージ部14において記録させる。

生体センサ検出情報としては、生体センサ部4の検出値としての心拍数、発汗量、血圧値、体温、皮膚電気反応値、加速度等が記録される。
心理情報としては、楽しい、嬉しい、不安、興奮、緊張、悲しい、平静等の心理の推定結果の情報が記録される。
顔フラグとして、顔画像の存在/非存在に応じてフラグオン/フラグオフの情報が記録される。
顔解析結果情報として、性別、年齢層、表情の推定結果の情報が記録される。

なお、図3の処理では、撮像時に、撮像画像データVDとともに生体情報が生成、記録され、図5のように撮像画像データVDに関連づけられて生体センサ検出情報と心理情報が記録されるものとしたが、生体情報に関しては、撮像のタイミングとは別に常時記録されるようにしても良い。
例えば生体情報生成部5は、図6のような生体情報を定期的に生成する。この生体情報は日時情報(年月日時分秒)とともに、生体センサ検出情報と心理情報を有するデータ形式とする。そして、定期的に生成した図6の生体情報をストレージ部14に記録していく。
このように生体情報を日時情報とともに記録しておけば、撮像画像データVDと関連づけることができる。
即ち、ストレージ部14に記録された撮像画像データVDについては、画像管理情報内の日時情報に基づいて、対応する(つまり撮像時の)生体情報を判別できるためである。

[4.画像保存処理例II]

ところで上記図3の画像保存処理例Iは、撮像時に撮像画像データに対応する生体センサ検出情報、心理情報、顔フラグ、顔解析結果情報を生成して保存するようにした例であるが、心理情報、顔フラグ、顔解析結果情報の生成、保存を実行するのは、撮像時でなくてもよい。図7では、画像保存処理例IIとして、撮像時点より後の時点で、心理情報、顔フラグ、顔解析結果情報の生成、保存を行う処理例を示す。

図7(a)は撮像時のシステムコントローラ10の処理を示している。
システムコントローラ10は、上述のように撮像トリガを認識したら、処理をステップF201からF202に進め、撮像及び撮像画像データの保存を実行させる制御を行う。即ちシステムコントローラ10は、撮像制御部6に撮像を指示し、撮像部3で得られる撮像画像データの取込、即ち撮像トリガで規定されるタイミングの1フレームの撮像画像データの取込を実行させる。またその撮像画像データをストレージ部14に転送させるとともに、ストレージ部14に記録媒体への保存を実行させる。

次にシステムコントローラ10はステップF203で、生体情報生成部5に生体情報生成を指示する。この場合、生体情報生成部5は、この撮像タイミングにおける生体センサ部4の各センサの検出値(生体センサ検出情報)を、生体情報とする。
そしてシステムコントローラ10は、ステップF204で、生体情報(この場合は生体センサ検出情報のみ)を撮像画像データに対応させて保存させる。即ち生体情報生成部5で生成された生体センサ検出情報をストレージ部14に供給し、これらをストレージ部14においてステップF202で記録させた撮像画像データに関連づけされる状態で記録させる。
なおこの場合、生体センサ検出情報は、この撮像タイミングに至る或る程度の期間における時系列的な変化を含む検出値とすることが望ましい。

システムコントローラ10は、撮像時以降の時点で図7(b)の処理を行う。例えばストレージ部14に保存され、まだ心理情報、顔フラグ、顔解析結果情報が保存されていない各撮像画像データを対象として、図7(b)の処理を行う。

まずステップF251で、ストレージ部14に、処理対象とする撮像画像データの読み出しを実行させる。
そしてステップF252で被写体情報に撮像画像解析を指示する。
即ちシステムコントローラ10は、ストレージ部14で読み出された撮像画像データを被写体情報生成部12に転送させる。被写体情報生成部12は、システムコントローラ10の指示に応じて、転送されてきた撮像画像データの解析を行う。まず画像内に顔画像が存在するか否かの解析を行う。そして被写体情報生成部12は、顔画像が存在するか否かの解析結果をシステムコントローラ10に通知する。

システムコントローラ10は、顔画像存在の通知を受けたら、処理をステップF253からF254に進め、被写体情報生成部12に被写体情報の生成を指示する。
被写体情報生成部12は、撮像画像データの画像内に顔画像が存在することに応じて、被写体情報として、顔フラグ=オンという情報を生成する。また顔画像を解析して顔解析結果情報を生成する。上述のように顔解析結果情報とは、表情、性別、年齢層の推定情報である。

続いてシステムコントローラ10はステップF255で、ストレージ部14から、現在処理対象の撮像画像データに対応する生体センサ検出情報の読み出しを指示する。そしてステップF256で、生体情報生成部5に、心理情報の生成を指示する。即ちシステムコントローラ10は、ストレージ部14で読み出された生体センサ検出情報を生体情報生成部5に転送させる。生体情報生成部5に、システムコントローラ10の指示に応じて、転送されてきた生体センサ検出情報から、心理状況を推定する処理を行う。

そしてシステムコントローラ10は、ステップF257、被写体情報生成部12で生成された被写体情報(顔フラグ及び顔解析結果情報)と、生体情報生成部5で生成された生体情報(心理情報)を、撮像画像データに対応させて保存させる。即ち生体情報生成部5で生成された生体情報と、被写体情報生成部12で生成された被写体情報をストレージ部14に供給し、これらをストレージ部14において撮像画像データに関連づけされる状態で記録させる。
これによって、例えば図5のように撮像画像データに生体センサ検出情報、心理情報、顔フラグ、顔解析結果情報が関連づけられた保存状態となる。

一方、ステップF252の撮像画像解析結果として顔画像が存在しないとされた場合、システムコントローラ10は処理をステップF258に進め、被写体情報生成部12に、顔フラグ=オフという被写体情報を生成させる。
そしてステップF259で、顔フラグをストレージ部14に転送させ、現在処理対象としている撮像画像データに対応させて保存させる。

この図7のような処理によっても、撮像画像データに顔画像が含まれていれば、図5のように撮像画像データに生体センサ検出情報、心理情報、顔フラグ、顔解析結果情報が関連づけられた保存状態とすることができる。
なお、生体情報生成部5が、図6のような生体情報を定期的に生成し、ストレージ部14に記録していくものとする場合、図7(a)のステップF203,F204は、撮像時の処理とは別の独立した処理となる。
また、処理例として、被写体情報の生成/保存と、心理情報の生成/保存を、さらに別々の時点で行うようにすることも考えられる。

[5.画像検索処理例I]

上述のように撮像画像データに対して生体情報、被写体情報が関連づけられて保存されていることにより、生体情報と被写体情報を用いた検索処理が可能となる。
図8に画像検索処理例Iとしてのシステムコントローラ10の処理を示す。
システムコントローラ10は、ステップF301で検索トリガの有無を検知する。
例えばシステムコントローラ10はユーザの検索開始指示の操作を検索トリガとして認識する。

検索トリガがあったら、システムコントローラ10は処理をステップF301からF302に進め、検索条件入力処理を行う。例えば表示部2に、検索条件入力のための画像表示を行い、ユーザに検索条件を選択させる処理を行う。
この場合、検索条件は、撮像時のユーザの身体や心理の状況を示す生体情報の項目と、被写体情報の項目とにより指定できるようにする。
例えばユーザ自身の身体や心理の状況として、楽しい、嬉しい、不安、興奮、緊張、悲しい、平静等の心理の状態や、元気な状態、疲れている状態、眠たい状態、走っている状態、などを検索条件の候補として提示し、ユーザに選択させるようにする。
また心拍数、発汗量、脳波などを指定して、その数値や状況を検索条件として入力できるようにしてもよい。例えばユーザは、ドキドキした状態として「心拍数が高い」という条件を指定できるようにしてもよい。
また、被写体情報に関しては、笑顔、悲しい顔、怒った顔、通常の顔など、被写体となった人物の表情や、或いは性別、年齢層を、ユーザが選択できるようにする。

そしてユーザが、自身の撮像時の状況に関する指定と、被写体情報に関する指定の入力を行ったら、システムコントローラ10はステップF303で、入力に基づいて検索条件を生成する。例えば自身の状況として「楽しい」、被写体に関して「笑顔」「女性」などを検索条件入力としてユーザが指定したら、これらの指定項目を検索条件として設定する。なお、もちろんユーザが指定した条件についてアンド、オア等の指定を行うようにもできる。
そして検索条件を設定したら、システムコントローラ10はステップF304で検索処理を行う。つまりストレージ部14に保存されている撮像画像データについて、生体情報や被写体情報を参照して検索する。
例えば顔フラグ=オンとされている撮像画像データのうちで、生体センサ検出情報、心理情報、顔解析結果情報を確認し、該当する撮像画像データを抽出する。
上記のように自身の状況が「楽しい」、被写体が「笑顔」「女性」という検索条件がアンド条件とされた場合、心理情報として「楽しい」に該当し、顔解析結果情報として「笑顔」「女性」に該当する撮像画像データを抽出するものとなる。

検索処理を終えたら、システムコントローラ10はステップF305で、検索結果表示処理を行う。即ち、表示部2に検索結果表示を実行させる。
例えば該当する撮像画像データが抽出できなければ、該当無しのメッセージ表示を表示部2に実行させる。
また1又は複数の撮像画像データを抽出した場合は、その一覧リスト画像を表示させ、一覧リスト画像に対するユーザの指定によって、1つの撮像画像を表示させたり、例えば撮像日時の時系列の順序で撮像画像を表示させたり、ランダムな順に撮像画像を表示させたりする処理を行う。
もちろん一覧リスト画像を表示させずに、順次、或いはランダムな順に、抽出された撮像画像を表示させてもよい。

[6.画像検索処理例II]

次に、画像検索処理例IIとして、ユーザの検索条件指定の入力を行わない例を図9に示す。
システムコントローラ10は、ステップF401で検索トリガの有無を検知する。検索トリガがあったら、システムコントローラ10は処理をステップF401からF402に進み、この検索を行う時点のユーザの心理判定を行う。
このためシステムコントローラ10は生体情報生成部5に、ユーザの心理情報を生成させる。生体情報生成部5は、システムコントローラ10の指示に応じて、この時点(もしくはこの時点までの所定期間)の生体センサ部4の検出情報を用いて、ユーザの心理判定の処理を行う。例えば楽しい、嬉しい、不安、興奮、緊張、悲しい、平静等の心理の状態を判定する。そしてその判定結果をシステムコントローラ10に通知する。

次にシステムコントローラ10はステップF403で、検索条件を生成する。この場合、現時点のユーザの心理状況に応じて検索条件を設定する。
この場合、ユーザが気分的に沈んでいる場合は、ユーザの気分が向上するような画像の検索条件を設定したり、ユーザが緊張しているときはユーザがリラックスするような画像の検索条件を設定する。またユーザが興奮しているときは、ユーザが落ち着かせるような画像の検索条件を設定する。また、ユーザが楽しい気分のときは、さらに楽しくさせるような画像の検索条件を設定するなど、検索条件の設定のしかたは多様に考えられる。
例えばユーザの気分を向上させる場合の検索条件としては、撮像時のユーザ自身の状況として「楽しい」「嬉しい」、或いは「興奮」などの条件を選択し、また被写体情報に関して「笑顔」などを選択したり、「悲しい顔」「怒っている顔」などを除外条件として設定する。
また興奮状態のユーザを落ち着かせる場合の検索条件としては、撮像時のユーザ自身の状況として「平静」などの条件を選択したり、或いは脳波の検出値などで落ち着いた状態を示す値を設定する。また被写体情報に関して「通常の表情」などを選択したり、「怒っている」表情などを除外するような検索条件とする。或いは「子供」という年齢層を設定する。

検索条件を設定したら、システムコントローラ10はステップF404で検索処理を行う。つまりストレージ部14に保存されている撮像画像データについて、生体情報や被写体情報を参照して検索する。
検索処理を終えたら、システムコントローラ10はステップF405で検索結果表示処理を行い、表示部2に検索結果表示を実行させる。

このような処理によれば、検索時点のユーザの気分等に応じて、撮像画像データが抽出され、表示されることになる。
なお、ステップF401での検索トリガは、ユーザの検索指示の操作とすればよいが、例えば常時ユーザの心理判定を行い、ユーザの心理が落ち込んだり興奮したりした状態を検出したら、検索トリガ有りと判断するようにしてもよい。

また、ステップF402では、ユーザ個人の心理判定ではなく、複数の閲覧者のグループ心理の判定を行うということも考えられる。
例えば家族や友人同士などのグループにおいて、各人の生体センサ検出情報や心理情報を取得するようにし、それらからグループ心理を判定する。例えば楽しく盛りあがっている状況、興奮しすぎている状況、しらけている状況、険悪な状況などを判定する。そしてそれに応じて検索条件を設定し、検索及び画像表示を行うようにしてもよい。

[7.実施の形態の効果、変形例、拡張例、及びプログラム]

以上の実施の形態によれば、撮像画像データに対して、その撮像時のユーザの生体情報(生体センサ検出情報と心理情報)と、被写体情報(顔フラグと顔解析結果情報)を関連づけて保存する。そして検索の際には、生体情報と被写体情報を用いて検索条件を生成し、検索を行う。また、検索時のユーザの気分等の生体情報も検索条件の生成に用いる。
これにより、画像閲覧者にとって好適な画像選択及び表示が可能となる。
例えば上記図8の検索処理例Iによれば、ユーザが望む状態で撮像された顔写真を閲覧することができる。例えば心拍数が100以上の状態で記録された女性の顔写真を検索したり、心拍数が60から80の間で記録された笑顔の写真のみを抽出するなど、心理状態が興奮していた時の顔写真を表示ということなどが可能である。もちろん生体センサ検出情報、心理情報、顔解析結果情報(表情、年齢層、性別)としての検索条件の指定により、閲覧者であるユーザは、任意の多様な検索を実行できる。

また上記図9の検索処理例IIによれば、閲覧者(一人でも複数でもよい)の検索時の感情等の状況を推定し、心理状態等に応じた画像、例えば落ち込んでいる時には笑顔の写真のように閲覧者の状態を変化させるような画像や、興奮している時には興奮して撮像した笑顔の写真を表示することで,その場の雰囲気を継続させる画像など、を提示することで、閲覧者であるユーザやグループの心理状態を好転あるいは安定させることができる。
特に、閲覧時に神経がたかぶっていたら落ち着いて撮像した画像を表示するようにしたり、悲しい場合に、楽しい気分で撮像した画像や笑顔の画像を表示させることは、一種のフォトセラピーの役割を果たすことができると考えられる。

また特に大量の撮像画像データが保存されている状況を考えると、これらのような本例で述べた検索は特に有用となる。例えば一定時間ごとに自動撮像を行うようにしてユーザの日常生活の行動軌跡を保存するようにし、膨大な記録が行われた場合、後の時点で、いかに見たい画像を検索することができるかということが重要となるが、本例は、この点で適切に画像検索を行うことができる。

本発明は、上記実施の形態に限られず、撮像装置1の構成例や処理例として各種の変形例や拡張例が考えられる。
また本発明の画像保存処理装置、画像検索装置は、撮像装置1以外でも実現できる。
図10〜図14により、本発明の画像保存処理装置、画像検索装置となる装置構成例を述べる。
まず図10は、本発明の画像保存処理装置及び画像検索装置とされる装置50の構成を機能的に示したものである。上述した撮像装置1も、この装置50に該当する。
即ち撮像画像取得部51,生体情報取得部52、被写体情報取得部53、保存処理部54、検索処理部55、表示処理部56を備える。

撮像画像取得部51は、撮像画像データを取得する機能であり、例えば図2の撮像装置1における撮像部3,撮像制御部6である。但し装置50は、いわゆるカメラとしての機能を持たなくても良い。例えばカメラと接続される装置50として、カメラから有線又は無線で送信されてくる撮像画像データを受信する受信部も、この撮像画像取得部51となり得る。
生体情報取得部52は、ユーザの生体情報を取得する。例えば図2の撮像装置1における生体センサ部4,生体情報生成部5のように生体情報を生成する。ただし、生体情報取得部52は、生体センサ等を備えず、別体の生体センサや生体情報生成部から生体情報を受信する構成でも良い。
被写体情報取得部53は、撮像画像取得部51で取得した撮像画像データの解析を行って、例えば上述した顔フラグや顔解析結果情報等の被写体情報を生成する。なお、上記例では顔画像に関して被写体情報を取得するようにしたが、被写体情報の対象は顔画像に限定されない。
保存処理部54は、撮像画像取得部51で取得した撮像画像データと、生体情報取得部52で取得した生体情報と、被写体情報取得部53で取得した被写体情報とを関連づけて保存する処理を行う。図2の撮像装置1の場合、システムコントローラ10のストレージ部14への保存処理として、この保存処理部54が実現される。
検索処理部55は、生体情報や被写体情報を検索条件に利用して撮像画像データの検索処理を行う。図2の撮像装置1の場合、システムコントローラ10が実行する検索処理として、この検索処理部54が実現される。
表示処理部56は、検索処理部55の検索結果の表示処理を行う。図2の撮像装置1の場合、システムコントローラ10が表示部2に実行させる表示制御処理として、この表示処理部54が実現される。

この装置50は、撮像画像取得部51,生体情報取得部52、被写体情報取得部53、保存処理部54を備えることで、本発明の画像保存処理装置となる。
また検索処理部55、表示処理部56(さらには生体情報取得部52)を備えることで、本発明の画像検索装置となる。
装置50は、具体的にはデジタルスチルカメラ、ビデオカメラ等の撮像装置や、撮像装置で撮像された画像の処理を行う画像処理装置、画像ストレージ機器などとして実現される。ここで言う画像処理装置、画像ストレージ機器としては、携帯電話機、PDA、パーソナルコンピュータ、ビデオレコーダ、ビデオサーバなどの一つの機能として実現できる。

図11の装置50も、本発明の画像保存処理装置及び画像検索装置としての装置50であるが、これは別体の表示装置30において検索結果の表示を実行させる構成例を示している。例えば図1(b)のように表示機能を持たない撮像装置1の場合、このような構成により、検索結果表示が可能となる。
表示処理部56Aは、検索結果としての撮像画像データを表示装置30に有線又は無線で送信し、表示装置30上で表示させる処理を行うことになる。
表示装置30は、例えば腕時計型の表示装置、携帯型の小型の表示装置、表示パネルを備えた携帯電話機やPDAなどの機器、或いはテレビジョンモニタ、パーソナルコンピュータモニタ等の据置型の表示装置など、あらゆる表示装置が想定される。

図12は、本発明の画像保存処理装置としての装置50Aと、本発明の画像検索装置としての装置60が別体構成とされる例を示している。
装置50Aは、撮像画像取得部51,生体情報取得部52、被写体情報取得部53、保存処理部54を備えることで、本発明の画像保存処理装置となる。
装置50Aは、例えば図3又は図7の処理で、撮像画像取得部51で取得した撮像画像データと、生体情報取得部52で取得した生体情報と、被写体情報取得部53で取得した被写体情報とを関連づけて保存する処理を行う。
そしてこの場合、装置50Aは、装置60に対して保存処理部54が保存させた撮像画像データと、撮像時の生体情報と、被写体情報とを供給できるものとする。例えば有線通信、又は無線送信、或いは可搬性記録媒体の受け渡しにより、撮像画像データ、撮像時生体情報、被写体情報を装置60に供給する。
装置60は、保存処理部61、検索処理部62、表示処理部63を備えることで本発明の画像検索装置となる。保存処理部61は、装置50Aから供給された撮像画像データ、撮像時生体情報、被写体情報を記録媒体に保存する。
そして検索処理部62は、その記録媒体に保存された撮像画像データについて、撮像時生体情報や被写体情報を検索条件として利用して検索を行う。また表示処理部63は検索処理部62の検索結果の表示処理を行う。例えば装置60は図8の検索処理を行う。
また装置60側に生体情報取得部64を備えることで、検索処理部62は、上記図9の検索処理例IIを実行し、検索時の閲覧者の心理状況等を検索条件に反映させることが可能となる。

この図12における装置50Aは、具体的にはデジタルスチルカメラ、ビデオカメラ等の撮像装置や、撮像装置で撮像された画像の処理を行う画像処理装置、画像ストレージ機器などとして実現される。画像処理装置、画像ストレージ機器としては、携帯電話機、PDA、パーソナルコンピュータ、ビデオレコーダ、ビデオサーバなどとして実現できる。
また装置60、画像処理装置、画像ストレージ機器として、具体的には携帯電話機、PDA、パーソナルコンピュータ、ビデオレコーダ、ビデオサーバなどとして実現される。

図13は、装置50B、60Aを示しているが、装置60Aとして本発明の画像保存処理装置、及び画像検索装置が実現される例を示している。
この場合、装置50Bは、例えば撮像装置であり、図7(a)の処理で、撮像画像取得部51で取得した撮像画像データと、生体情報取得部52で取得した生体センサ検出情報を関連づけて保存する処理を行う。
そしてこの場合、装置50Bは、装置60Aに対して保存処理部54が保存させた撮像画像データと、撮像時の生体センサ検出情報とを供給できるものとする。例えば有線通信、又は無線送信、或いは可搬性記録媒体の受け渡しにより、撮像画像データと生体センサ検出情報を装置60Aに供給する。
装置60Aは、保存処理部61、検索処理部62、表示処理部63、生体情報取得部64、被写体情報取得部65を備える。保存処理部61は、装置50Bから供給された撮像画像データと生体センサ検出情報を記録媒体に保存する。
また生体情報取得部64、被写体情報取得部65、及び保存処理部61は、例えば図7(b)の処理を行って、記録媒体に保存された撮像画像データについて、生体情報(心理情報)や被写体情報(顔フラグ、顔解析結果情報)を生成し、撮像画像データに関連づけて記録媒体に保存する。
そして検索処理部62は、その記録媒体に保存された撮像画像データについて、撮像時生体情報や被写体情報を検索条件として利用して検索を行う。また表示処理部63は検索処理部62の検索結果の表示処理を行う。
この場合、装置60Aは、図8又は図9の検索処理を行うことができる。

この図13における装置60Aは、画像処理装置、画像ストレージ機器、画像検索機器として実現できる。具体的には携帯電話機、PDA、パーソナルコンピュータ、ビデオレコーダ、ビデオサーバなどとして実現される。
なお、装置50B側で画像解析を行って、撮像画像データに顔フラグを関連づけて記憶し、顔フラグも含めて撮像画像データを装置60Aに供給してもよい。その場合、装置60A側では、顔フラグがオンとされた撮像画像データに関して被写体情報(顔解析結果情報)を付加する処理を行うようにすればよい。

図14は、装置50B、装置60B、装置60Cを示しているが、装置60Bが本発明の画像保存処理装置に該当し、装置60Cが本発明の画像検索装置に該当する例である。装置60B、60Cはストレージ部40にアクセス可能とされているとする。
この場合、装置50Bは、例えば撮像装置であり、図7(a)の処理で、撮像画像取得部51で取得した撮像画像データと、生体情報取得部52で取得した生体センサ検出情報を関連づけて保存する処理を行う。
そして装置50Bは、装置60Bに対して保存処理部54が保存させた撮像画像データと、撮像時の生体センサ検出情報とを供給する。例えば有線通信、又は無線送信、或いは可搬性記録媒体の受け渡しにより、撮像画像データと生体センサ検出情報を装置60Bに供給する。
装置60Bは、保存処理部61、生体情報取得部64、被写体情報取得部65を備える。
保存処理部61は、装置50Bから供給された撮像画像データと生体センサ検出情報を記録媒体に保存する。
また生体情報取得部64、被写体情報取得部65、及び保存処理部61は、例えば図7(b)の処理を行って、記録媒体に保存された撮像画像データについて、生体情報(心理情報)や被写体情報(顔フラグ、顔解析結果情報)を生成し、撮像画像データに関連づけてストレージ部40に保存する。
装置60Cは、検索処理部62、表示処理部63を備える。
検索処理部62は、ストレージ部40に保存された撮像画像データについて、撮像時生体情報や被写体情報を検索条件として利用して検索を行う。また表示処理部63は検索処理部62の検索結果の表示処理を行う。例えば装置60Cは図8の検索処理を行う。
また装置60C側にも生体情報取得部64を備えることで、検索処理部62は、上記図9の検索処理例IIを実行し、検索時の閲覧者の心理状況等を検索条件に反映させることが可能となる。

この図14における装置60B、60Cは、画像処理装置、画像ストレージ機器、画像検索機器としての機能を持つ機器、具体的には携帯電話機、PDA、パーソナルコンピュータ、ビデオレコーダ、ビデオサーバなどとして実現される。
なお、装置50B側で画像解析を行って、撮像画像データに顔フラグを関連づけて記憶し、顔フラグも含めて撮像画像データを装置60Bに供給してもよい。その場合、装置60B側では、顔フラグがオンとされた撮像画像データに関して被写体情報(顔解析結果情報)を付加する処理を行うようにすればよい。

なお、図11〜図14における機器間の通信は、インターネット、携帯電話通信網、PHS通信網、アドホックネットワーク、LANなどのネットワークを介した通信とされてもよい。

実施の形態のプログラムは、図3又は図7の画像保存処理を撮像装置やパーソナルコンピュータ、携帯電話機、PDA、ビデオサーバ、ビデオレコーダ等におけるマイクロコンピュータ(演算処理装置)に実行させるプログラムである。また実施の形態のプログラムは図8又は図9の画像検索処理をこれらの機器におけるマイクロコンピュータ(演算処理装置)に実行させるプログラムである。
このようなプログラムは、パーソナルコンピュータや、撮像装置等の機器に内蔵されている記録媒体としてのHDDや、CPUを有するマイクロコンピュータ内のROMやフラッシュメモリ等に予め記録しておくことができる。
あるいはまた、フレキシブルディスク、CD−ROM(Compact Disc Read Only Memory)、MO(Magnet optical)ディスク、DVD(Digital Versatile Disc)、ブルーレイディスク、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納(記録)しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
またプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、LAN(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。

本発明の実施の形態の撮像装置の外観例の説明図である。 実施の形態の撮像装置のブロック図である。 実施の形態の画像保存処理例Iのフローチャートである。 実施の形態の顔画像を含む撮像画像の説明図である。 実施の形態の撮像画像データの保存形式の説明図である。 実施の形態の生体情報の保存形式の説明図である。 実施の形態の画像保存処理例IIのフローチャートである。 実施の形態の画像検索処理例Iのフローチャートである。 実施の形態の画像検索処理例IIのフローチャートである。 本発明の画像保存処理装置と画像検索装置の構成例の説明図である。 本発明の画像保存処理装置と画像検索装置の構成例の説明図である。 本発明の画像保存処理装置と画像検索装置の構成例の説明図である。 本発明の画像保存処理装置と画像検索装置の構成例の説明図である。 本発明の画像保存処理装置と画像検索装置の構成例の説明図である。

符号の説明

1 撮像装置、2 表示部、2a 表示パネル部、3 撮像部、4 生体センサ部、5 生体情報生成部、6 撮像制御部、7 表示制御部、10 システムコントローラ、11 操作入力部、12 被写体情報生成部、14 ストレージ部、15 通信部、51 撮像画像取得部、52,64 生体情報取得部画像出力部、53,65 被写体情報取得部、54,61 保存処理部、55,62 検索処理部、56,63 表示処理部

Claims (8)

  1. 撮像装置部で撮像された撮像画像データを継続的に自動取得する画像取得手段と、
    上記画像取得手段で取得する撮像画像データの撮像の際の、上記撮像装置部の使用者の生体情報を生体センサ及び動きセンサによって生体センサ検出情報として取得するとともに、使用者の心理情報を、生体センサ検出情報を用いて生成する生体情報取得手段と、
    上記画像取得手段で取得した撮像画像データ内に人の顔画像が含まれているか否かの画像解析を行い、該画像解析結果としての顔存在情報を、被写体情報とするとともに、顔画像が含まれている場合該顔画像の画像解析を行い、該画像解析結果としての顔解析結果情報を、上記被写体情報として取得する被写体情報取得手段と、
    上記画像取得手段が取得した撮像画像データと、上記生体情報取得手段が取得・生成した上記生体センサ検出情報、上記心理情報と、上記被写体情報取得手段が取得した被写体情報とを、関連づけて記録媒体に記録する処理を行う保存処理手段と、
    上記保存処理手段によって、上記生体センサ検出情報、上記心理情報及び上記被写体情報と関連づけられて保存された撮像画像データについて、上記生体センサ検出情報、上記心理情報及び上記被写体情報を用いて検索条件を生成し、該検索条件に基づく検索処理を行う検索処理手段と、
    上記検索処理手段の検索処理結果の出力処理を行う出力処理手段と、
    を備えた
    画像処理装置。
  2. 上記画像取得手段は、一体的に設けられた上記撮像装置部での撮像動作により、撮像画像データを取得する請求項1に記載の画像処理装置。
  3. 上記画像取得手段は、外部の上記撮像装置部での撮像動作による撮像画像データを取得する請求項1に記載の画像処理装置。
  4. 上記画像取得手段は、撮像画像データの継続的な自動取得を、一定時間ごとに行う請求項1に記載の画像処理装置。
  5. 上記生体情報取得手段は、上記生体センサ及び動きセンサによる生体センサ検出情報の継続的な取得、上記心理情報の生体センサ検出情報を用いる継続的な生成を行い、
    上記画像取得手段は、撮像画像データの継続的な自動取得を、上記生体センサ情報又は心理情報の検出に基づいて行う請求項1に記載の画像処理装置。
  6. 上記顔解析結果情報とは、表情、又は性別、又は年齢層を示す情報である請求項に記載の画像処理装置。
  7. 撮像装置部で撮像された撮像画像データを継続的に自動取得する画像取得ステップと、
    上記画像取得ステップで取得する撮像画像データの撮像の際の、上記撮像装置部の使用者の生体情報を生体センサ及び動きセンサによって生体センサ検出情報として取得するとともに、使用者の心理情報を、生体センサ検出情報を用いて生成する生体情報取得ステップと、
    上記画像取得ステップで取得した撮像画像データ内に人の顔画像が含まれているか否かの画像解析を行い、該画像解析結果としての顔存在情報を、被写体情報とするとともに、顔画像が含まれている場合該顔画像の画像解析を行い、該画像解析結果としての顔解析結果情報を、上記被写体情報としての画像解析結果としての被写体情報を取得する被写体情報取得ステップと、
    上記画像取得ステップで取得した撮像画像データと、上記生体情報取得ステップで取得・生成した上記生体センサ検出情報、上記心理情報と、上記被写体情報取得ステップで取得した被写体情報とを、関連づけて記録媒体に記録する処理を行う保存処理ステップと、
    上記保存処理ステップによって、上記生体センサ検出情報、上記心理情報及び上記被写体情報と関連づけられて保存された撮像画像データについて、上記生体センサ検出情報、上記心理情報及び上記被写体情報を用いて検索条件を生成し、該検索条件に基づく検索処理を行う検索処理ステップと、
    上記検索処理手段の検索処理結果の出力処理を行う出力処理ステップと、
    実行する画像処理方法。
  8. 撮像装置部で撮像された撮像画像データを継続的に自動取得する画像取得ステップと、
    上記画像取得ステップで取得する撮像画像データの撮像の際の、上記撮像装置部の使用者の生体情報を生体センサ及び動きセンサによって生体センサ検出情報として取得するとともに、使用者の心理情報を、生体センサ検出情報を用いて生成する生体情報取得ステップと、
    上記画像取得ステップで取得した撮像画像データ内に人の顔画像が含まれているか否かの画像解析を行い、該画像解析結果としての顔存在情報を、被写体情報とするとともに、顔画像が含まれている場合該顔画像の画像解析を行い、該画像解析結果としての顔解析結果情報を、上記被写体情報としての画像解析結果としての被写体情報を取得する被写体情報取得ステップと、
    上記画像取得ステップで取得した撮像画像データと、上記生体情報取得ステップで取得・生成した上記生体センサ検出情報、上記心理情報と、上記被写体情報取得ステップで取得した被写体情報とを、関連づけて記録媒体に記録する処理を行う保存処理ステップと、
    上記保存処理ステップによって、上記生体センサ検出情報、上記心理情報及び上記被写体情報と関連づけられて保存された撮像画像データについて、上記生体センサ検出情報、上記心理情報及び上記被写体情報を用いて検索条件を生成し、該検索条件に基づく検索処理を行う検索処理ステップと、
    上記検索処理手段の検索処理結果の出力処理を行う出力処理ステップと、
    を情報処理装置に実行させるプログラム。
JP2007102659A 2007-04-10 2007-04-10 画像処理装置、画像処理方法、プログラム Active JP4367663B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007102659A JP4367663B2 (ja) 2007-04-10 2007-04-10 画像処理装置、画像処理方法、プログラム

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2007102659A JP4367663B2 (ja) 2007-04-10 2007-04-10 画像処理装置、画像処理方法、プログラム
US12/080,932 US8687925B2 (en) 2007-04-10 2008-04-07 Image storage processing apparatus, image search apparatus, image storage processing method, image search method and program
CN2008100897863A CN101286196B (zh) 2007-04-10 2008-04-10 图像存储处理装置和方法、图像搜索装置和方法

Publications (3)

Publication Number Publication Date
JP2008263274A JP2008263274A (ja) 2008-10-30
JP2008263274A5 JP2008263274A5 (ja) 2008-10-30
JP4367663B2 true JP4367663B2 (ja) 2009-11-18

Family

ID=39853785

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007102659A Active JP4367663B2 (ja) 2007-04-10 2007-04-10 画像処理装置、画像処理方法、プログラム

Country Status (3)

Country Link
US (1) US8687925B2 (ja)
JP (1) JP4367663B2 (ja)
CN (1) CN101286196B (ja)

Families Citing this family (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5017989B2 (ja) 2006-09-27 2012-09-05 ソニー株式会社 撮像装置、撮像方法
JP2008096868A (ja) 2006-10-16 2008-04-24 Sony Corp 撮像表示装置、撮像表示方法
JP5092357B2 (ja) * 2006-11-07 2012-12-05 ソニー株式会社 撮像表示装置、撮像表示方法
JP5023663B2 (ja) * 2006-11-07 2012-09-12 ソニー株式会社 撮像装置、撮像方法
JP5176311B2 (ja) 2006-12-07 2013-04-03 ソニー株式会社 画像表示システム、表示装置、表示方法
JP4961984B2 (ja) * 2006-12-07 2012-06-27 ソニー株式会社 画像表示システム、表示装置、表示方法
JP4506795B2 (ja) 2007-08-06 2010-07-21 ソニー株式会社 生体運動情報表示処理装置、生体運動情報処理システム
JP5168619B2 (ja) * 2007-09-12 2013-03-21 株式会社リコー 画像表示データ生成装置及び画像表示データ生成方法
JP2010086221A (ja) * 2008-09-30 2010-04-15 Fujifilm Corp 画像編集方法および装置、ならびに画像編集方法を実行させるプログラムを記録したコンピュータに読取可能な記録媒体
US20100086204A1 (en) * 2008-10-03 2010-04-08 Sony Ericsson Mobile Communications Ab System and method for capturing an emotional characteristic of a user
WO2010070463A1 (en) * 2008-12-15 2010-06-24 Koninklijke Philips Electronics N.V. Method and device for automatically creating a romantic atmosphere, and method and system for mood detection
JP5545574B2 (ja) * 2009-07-15 2014-07-09 国立大学法人 筑波大学 分類推定システムおよび分類推定プログラム
WO2011020446A1 (en) * 2009-08-21 2011-02-24 The Chinese University Of Hong Kong Systems and methods for reproducing body motions via networks
JP2011107997A (ja) * 2009-11-18 2011-06-02 Sony Corp 情報処理装置、情報処理方法、およびプログラム
WO2011080868A1 (ja) * 2009-12-28 2011-07-07 株式会社ニコン 撮影レンズ、撮影装置、撮影システム、撮像装置およびパーソナル装置
JP6017107B2 (ja) * 2009-12-28 2016-10-26 ソニー株式会社 イメージセンサ及びその製造方法、並びにセンサデバイス
KR20110088236A (ko) * 2010-01-28 2011-08-03 삼성전자주식회사 이미지 제공 장치 및 그 방법
JP5430428B2 (ja) * 2010-02-01 2014-02-26 オリンパスイメージング株式会社 撮影機器
JP5702382B2 (ja) * 2010-06-23 2015-04-15 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America データ管理装置およびデータ管理方法
US10398366B2 (en) * 2010-07-01 2019-09-03 Nokia Technologies Oy Responding to changes in emotional condition of a user
CN101982956B (zh) * 2010-08-19 2013-01-23 武汉理工大学 可移动网络装置及其视频语音采集方法
JP5617697B2 (ja) * 2011-03-04 2014-11-05 株式会社ニコン 電子機器、画像表示システム及び画像選択方法
JP5754218B2 (ja) * 2011-04-11 2015-07-29 カシオ計算機株式会社 検索装置、検索方法及びプログラム
JP2012244526A (ja) * 2011-05-23 2012-12-10 Sony Corp 情報処理装置、情報処理方法及びコンピュータプログラム
US20130038756A1 (en) * 2011-08-08 2013-02-14 Samsung Electronics Co., Ltd. Life-logging and memory sharing
JP5837232B2 (ja) * 2011-12-27 2015-12-24 インテル・コーポレーション チューリングテストに基づくユーザ認証ならびにユーザ存在検証のデバイス、および方法
JP6032996B2 (ja) * 2012-08-08 2016-11-30 オリンパス株式会社 画像表示装置、画像表示方法、及び、画像表示プログラム
JP2014097112A (ja) * 2012-11-13 2014-05-29 Takashi Yoshimine 操作装置及び操作方法
US10061476B2 (en) 2013-03-14 2018-08-28 Aperture Investments, Llc Systems and methods for identifying, searching, organizing, selecting and distributing content based on mood
US10225328B2 (en) 2013-03-14 2019-03-05 Aperture Investments, Llc Music selection and organization using audio fingerprints
US10242097B2 (en) 2013-03-14 2019-03-26 Aperture Investments, Llc Music selection and organization using rhythm, texture and pitch
US9875304B2 (en) 2013-03-14 2018-01-23 Aperture Investments, Llc Music selection and organization using audio fingerprints
CN103220468A (zh) * 2013-04-25 2013-07-24 陈灿斌 一种手持式数码设备
US9443401B2 (en) * 2013-09-06 2016-09-13 Immersion Corporation Automatic remote sensing and haptic conversion system
CN103716536B (zh) * 2013-12-17 2017-06-16 东软熙康健康科技有限公司 生成动态图片的方法及系统
JP2015116310A (ja) * 2013-12-18 2015-06-25 オータックス株式会社 モニタ装置
US20150365575A1 (en) * 2014-06-13 2015-12-17 Sony Corporation Lifelog camera and method of controlling same according to transitions in activity
US9854139B2 (en) * 2014-06-24 2017-12-26 Sony Mobile Communications Inc. Lifelog camera and method of controlling same using voice triggers
KR20160028093A (ko) 2014-09-02 2016-03-11 삼성전자주식회사 생체 신호를 이용한 카메라 모듈의 제어
US9901301B2 (en) * 2014-12-12 2018-02-27 Ebay Inc. Coordinating relationship wearables
JP2016163145A (ja) * 2015-02-27 2016-09-05 カシオ計算機株式会社 電子機器、情報取得方法及びプログラム
JP6533897B2 (ja) * 2015-02-27 2019-06-26 Winフロンティア株式会社 画像データ整理システム、画像データ整理装置、画像データ整理サーバー装置プログラム、および画像データ整理装置プログラム
CN104732218B (zh) * 2015-03-31 2018-09-04 努比亚技术有限公司 图像显示的方法及装置
CN105183170B (zh) 2015-09-22 2018-09-25 京东方科技集团股份有限公司 头戴式可穿戴设备及其信息处理方法、装置
JP2017126894A (ja) * 2016-01-14 2017-07-20 ソニー株式会社 撮像制御装置、撮像制御方法、プログラム
JP2017164215A (ja) * 2016-03-15 2017-09-21 オムロン株式会社 関心度推定装置、関心度推定方法、プログラムおよび記録媒体
JP6241495B2 (ja) * 2016-04-28 2017-12-06 カシオ計算機株式会社 トレーニング支援装置、トレーニング支援方法、及びプログラム
CN105942676A (zh) * 2016-05-18 2016-09-21 成都你我他科技有限公司 一种单身手环处理系统
EP3270263A1 (en) * 2016-07-15 2018-01-17 Panasonic Intellectual Property Management Co., Ltd. Information processing apparatus for presenting content, method for controlling the same, and control program
JPWO2018074224A1 (ja) * 2016-10-21 2019-02-28 株式会社デイジー 雰囲気醸成システム、雰囲気醸成方法、雰囲気醸成プログラム、及び雰囲気推定システム
JP2018151862A (ja) * 2017-03-13 2018-09-27 オムロン株式会社 情報処理装置、情報処理方法及びプログラム
JP6495399B2 (ja) * 2017-09-04 2019-04-03 株式会社コロプラ 仮想空間を提供するためにコンピュータで実行されるプログラム、方法、および当該プログラムを実行するための情報処理装置
US10281085B1 (en) * 2018-03-30 2019-05-07 Faspro Systems Co., Ltd. Head-mounted wireless photographic apparatus

Family Cites Families (119)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5781650A (en) * 1994-02-18 1998-07-14 University Of Central Florida Automatic feature detection and age classification of human faces in digital images
JP3793773B2 (ja) 1994-06-20 2006-07-05 株式会社東芝 無線通信方法、無線通信基地局および無線端末
US6181371B1 (en) 1995-05-30 2001-01-30 Francis J Maguire, Jr. Apparatus for inducing attitudinal head movements for passive virtual reality
JPH0965188A (ja) 1995-08-24 1997-03-07 Matsushita Electric Ind Co Ltd ビデオカメラ
JP3570163B2 (ja) 1996-07-03 2004-09-29 株式会社日立製作所 動作及び行動の認識方法及び装置及びシステム
US6847336B1 (en) 1996-10-02 2005-01-25 Jerome H. Lemelson Selectively controllable heads-up display system
DE69840547D1 (de) 1997-10-30 2009-03-26 Myvu Corp Schnittstellensystem für brillen
JPH11164186A (ja) 1997-11-27 1999-06-18 Fuji Photo Film Co Ltd 画像記録装置
DE69908574D1 (de) 1998-03-25 2003-07-10 Mann W Stephan G Tragbares kamerasystem mit visiermittel
US20020007105A1 (en) * 1999-10-29 2002-01-17 Prabhu Girish V. Apparatus for the management of physiological and psychological state of an individual using images overall system
JPH11250071A (ja) * 1998-02-26 1999-09-17 Minolta Co Ltd 画像データベースの構築方法および画像データベース装置並びに画像情報記憶媒体
US6102846A (en) * 1998-02-26 2000-08-15 Eastman Kodak Company System and method of managing a psychological state of an individual using images
US7084903B2 (en) 1998-05-18 2006-08-01 International Business Machines Corporation Image capturing system and method for automatically watermarking recorded parameters for providing digital image verification
US6362817B1 (en) 1998-05-18 2002-03-26 In3D Corporation System for creating and viewing 3D environments using symbolic descriptors
US6072496A (en) 1998-06-08 2000-06-06 Microsoft Corporation Method and system for capturing and representing 3D geometry, color and shading of facial expressions and other animated objects
US6272231B1 (en) 1998-11-06 2001-08-07 Eyematic Interfaces, Inc. Wavelet-based facial motion capture for avatar animation
US7076737B2 (en) 1998-12-18 2006-07-11 Tangis Corporation Thematic response to a computer user's context, such as by a wearable personal computer
US7107539B2 (en) 1998-12-18 2006-09-12 Tangis Corporation Thematic response to a computer user's context, such as by a wearable personal computer
US6774885B1 (en) 1999-01-20 2004-08-10 Motek B.V. System for dynamic registration, evaluation, and correction of functional human behavior
US20060074546A1 (en) 1999-04-19 2006-04-06 Dekock Bruce W System for providing traffic information
US6466862B1 (en) 1999-04-19 2002-10-15 Bruce DeKock System for providing traffic information
US20030009078A1 (en) * 1999-10-29 2003-01-09 Elena A. Fedorovskaya Management of physiological and psychological state of an individual using images congnitive analyzer
WO2001043104A1 (en) 1999-12-10 2001-06-14 David Sitrick Methodology, apparatus, and system for electronic visualization of traffic conditions
JP2001183735A (ja) 1999-12-27 2001-07-06 Fuji Photo Film Co Ltd 撮像装置および方法
EP1744286A3 (en) 2001-03-28 2008-11-05 FUJIFILM Corporation Work data collection method
JP4977291B2 (ja) 2000-11-17 2012-07-18 日本電気株式会社 情報提供サーバ及び情報提供検索実行プログラムを記録した記録媒体
US6629104B1 (en) * 2000-11-22 2003-09-30 Eastman Kodak Company Method for adding personalized metadata to a collection of digital images
JP2002169809A (ja) 2000-12-01 2002-06-14 Minolta Co Ltd 画像管理装置、画像管理方法及び記録媒体
US7664296B2 (en) * 2001-01-31 2010-02-16 Fujifilm Corporation Image recording method and system, image transmitting method, and image recording apparatus
KR20020069382A (ko) 2001-02-26 2002-09-04 학교법인 한양학원 바이오피드백 센서가 부착된 가상 현실 영상 제시 장치
TW540235B (en) 2001-05-10 2003-07-01 Ibm System and method for enhancing broadcast programs with information on the world wide web
TWI220036B (en) 2001-05-10 2004-08-01 Ibm System and method for enhancing broadcast or recorded radio or television programs with information on the world wide web
TWI256250B (en) 2001-05-10 2006-06-01 Ibm System and method for enhancing recorded radio or television programs with information on the world wide web
JP2003051012A (ja) * 2001-08-03 2003-02-21 Nec Corp ユーザ認証方法及びユーザ認証装置
JP3887798B2 (ja) 2001-09-14 2007-02-28 日本光電工業株式会社 生体情報表示方法及び生体情報表示装置
US20030117505A1 (en) 2001-12-20 2003-06-26 Sasaki Gary David Intermediate memory for a digital camera
US6585521B1 (en) * 2001-12-21 2003-07-01 Hewlett-Packard Development Company, L.P. Video indexing based on viewers' behavior and emotion feedback
US20030128389A1 (en) * 2001-12-26 2003-07-10 Eastman Kodak Company Method for creating and using affective information in a digital imaging system cross reference to related applications
EP1324274A3 (en) 2001-12-28 2005-11-02 Matsushita Electric Industrial Co., Ltd. Vehicle information recording system
US7003139B2 (en) * 2002-02-19 2006-02-21 Eastman Kodak Company Method for using facial expression to determine affective information in an imaging system
JP4174244B2 (ja) 2002-06-20 2008-10-29 キヤノン株式会社 画像撮影装置及びその制御方法
JP2004049309A (ja) 2002-07-16 2004-02-19 National Trust:Kk 被看護・被介護者の監視システム
US6896655B2 (en) * 2002-08-05 2005-05-24 Eastman Kodak Company System and method for conditioning the psychological state of a subject using an adaptive autostereoscopic display
WO2004017249A2 (en) 2002-08-14 2004-02-26 Deja View, Inc. Recording device that stores buffered digital signals to memory flashcards
GB2394852B (en) 2002-10-31 2006-12-20 Hewlett Packard Co Image capture systems using motion detection
US7636755B2 (en) 2002-11-21 2009-12-22 Aol Llc Multiple avatar personalities
US7319780B2 (en) * 2002-11-25 2008-01-15 Eastman Kodak Company Imaging method and system for health monitoring and personal security
US7233684B2 (en) * 2002-11-25 2007-06-19 Eastman Kodak Company Imaging method and system using affective information
JP2004194996A (ja) 2002-12-19 2004-07-15 Fukuda Denshi Co Ltd 生体情報表示装置
US20040210661A1 (en) * 2003-01-14 2004-10-21 Thompson Mark Gregory Systems and methods of profiling, matching and optimizing performance of large networks of individuals
US20070113181A1 (en) 2003-03-03 2007-05-17 Blattner Patrick D Using avatars to communicate real-time information
US7606790B2 (en) * 2003-03-03 2009-10-20 Digimarc Corporation Integrating and enhancing searching of media content and biometric databases
US20040174443A1 (en) 2003-03-07 2004-09-09 Simske Steven J. System and method for storing of records in a database
US7573480B2 (en) 2003-05-01 2009-08-11 Sony Corporation System and method for capturing facial and body motion
US20040201692A1 (en) * 2003-04-11 2004-10-14 Parulski Kenneth A. Classifying digital images as favorite images using a digital camera
WO2005113099A2 (en) * 2003-05-30 2005-12-01 America Online, Inc. Personalizing content
GB2403366B (en) 2003-06-27 2007-12-27 Hewlett Packard Development Co Camera mounting and image capture
JP2005051654A (ja) 2003-07-31 2005-02-24 Sony Corp コンテンツ再生方法、コンテンツ再生装置、コンテンツ記録方法、コンテンツ記録メディア
JP4200370B2 (ja) 2003-08-12 2008-12-24 ソニー株式会社 記録装置、記録再生装置、再生装置、記録方法、記録再生方法および再生方法
JP3931889B2 (ja) 2003-08-19 2007-06-20 ソニー株式会社 画像表示システム、画像表示装置、画像表示方法
CN100482149C (zh) 2003-08-19 2009-04-29 索尼株式会社 图像显示系统、图像显示装置及图像显示方法
US20050054381A1 (en) 2003-09-05 2005-03-10 Samsung Electronics Co., Ltd. Proactive user interface
US8489769B2 (en) 2003-10-02 2013-07-16 Accenture Global Services Limited Intelligent collaborative expression in support of socialization of devices
JP3968522B2 (ja) * 2003-10-06 2007-08-29 ソニー株式会社 記録装置、及び記録方法
JP2005124909A (ja) 2003-10-24 2005-05-19 Sony Corp 感情情報提示方法、感情情報表示装置及び情報コンテンツの検索方法
JP2005141281A (ja) 2003-11-04 2005-06-02 Victor Co Of Japan Ltd コンテンツ検索システム
JP2005172851A (ja) 2003-12-05 2005-06-30 Sony Corp 画像表示装置
JP4407284B2 (ja) 2004-01-06 2010-02-03 カシオ計算機株式会社 耳装着型電子機器、移動履歴表示装置
WO2005069928A2 (en) 2004-01-16 2005-08-04 Respondesign, Inc. Instructional gaming methods and apparatus
KR100657065B1 (ko) 2004-01-29 2006-12-13 삼성전자주식회사 휴대단말기의 캐릭터 처리 장치 및 방법
US8886298B2 (en) 2004-03-01 2014-11-11 Microsoft Corporation Recall device
JP2005252732A (ja) 2004-03-04 2005-09-15 Olympus Corp 撮像装置
JP2005250977A (ja) 2004-03-05 2005-09-15 Nikon Corp 撮影装置、画像再生装置、画像鑑賞室、データ蓄積/解析装置、銀塩カメラ、スキャナ
JP2005260892A (ja) 2004-03-15 2005-09-22 Nec Corp 心象風景記録機
JP4373286B2 (ja) 2004-05-06 2009-11-25 オリンパス株式会社 頭部装着型表示装置
JP2005318973A (ja) * 2004-05-07 2005-11-17 Sony Corp 生体センサ装置、コンテンツ再生方法およびコンテンツ再生装置
JP4459717B2 (ja) 2004-05-26 2010-04-28 富士フイルム株式会社 地図更新システム
US20050289582A1 (en) * 2004-06-24 2005-12-29 Hitachi, Ltd. System and method for capturing and using biometrics to review a product, service, creative work or thing
JP3873994B2 (ja) 2004-07-14 2007-01-31 コニカミノルタフォトイメージング株式会社 撮像装置、及び画像取得方法
JP3931895B2 (ja) 2004-07-29 2007-06-20 株式会社デンソー 生体情報表示装置
US20060134585A1 (en) 2004-09-01 2006-06-22 Nicoletta Adamo-Villani Interactive animation system for sign language
JP2006080644A (ja) 2004-09-07 2006-03-23 Toshiba Tec Corp カメラ
JP4352332B2 (ja) 2004-09-16 2009-10-28 富士フイルム株式会社 画像採点方法及び画像採点システム
JP2006087829A (ja) 2004-09-27 2006-04-06 Matsushita Electric Works Ltd 生体情報表示装置
JP2006126891A (ja) 2004-10-26 2006-05-18 Sony Corp 生体情報登録方法、生体情報を利用する情報提供システム、端末及びサーバ
US7846374B2 (en) * 2004-11-05 2010-12-07 E. I. Du Pont De Nemours And Company Blowing gases in electroblowing process
JP2006146630A (ja) 2004-11-22 2006-06-08 Sony Corp コンテンツ選択再生装置、コンテンツ選択再生方法、コンテンツ配信システムおよびコンテンツ検索システム
US20060115130A1 (en) 2004-11-29 2006-06-01 Douglas Kozlay Eyewear with biometrics to protect displayed data
JP2006172146A (ja) 2004-12-16 2006-06-29 Sharp Corp データ管理機能を有する機器、及び、データ管理プログラム
DE102004063645A1 (de) * 2004-12-31 2006-07-20 Tecpharma Licensing Ag Vorrichtung zur dosierten Verabreichung eines fluiden Produkts mit Entkopplung für einen Behältniswechsel
JP2006279859A (ja) 2005-03-30 2006-10-12 Hitachi Ltd 移動体移動実態情報提供システム、位置情報収集装置、カーナビ装置および移動体移動実態情報提供方法
CA2605239A1 (en) 2005-05-02 2006-11-09 University Of Virginia Patent Foundation Systems, devices, and methods for interpreting movement
JP2007041964A (ja) 2005-08-04 2007-02-15 Matsushita Electric Ind Co Ltd 画像処理装置
JP4721829B2 (ja) * 2005-08-31 2011-07-13 チェスケ ヴィソケ ウチェニ テクニチュケ ヴ プラジェ 画像検索方法及び装置
JP4659569B2 (ja) 2005-09-13 2011-03-30 キヤノン株式会社 撮像装置
US7707171B2 (en) * 2005-09-16 2010-04-27 Imagini Holdings Limited System and method for response clustering
US20070074114A1 (en) 2005-09-29 2007-03-29 Conopco, Inc., D/B/A Unilever Automated dialogue interface
KR100727034B1 (ko) 2005-12-09 2007-06-04 한국전자통신연구원 3차원 공간상에서 2차원 인간형 캐릭터의 표현 및애니메이션 방법
US8208764B2 (en) * 2006-01-21 2012-06-26 Elizabeth Guckenberger Photo automatic linking system and method for accessing, linking, and visualizing “key-face” and/or multiple similar facial images along with associated electronic data via a facial image recognition search engine
JP4810420B2 (ja) * 2006-02-24 2011-11-09 キヤノン株式会社 画像処理装置及び画像処理方法、サーバ及びその制御方法、プログラム並びに記憶媒体
US7667767B2 (en) 2006-06-07 2010-02-23 Onlive, Inc. System and method for three dimensional capture of stop-motion animated characters
CN101506859A (zh) 2006-07-12 2009-08-12 医疗网络世界公司 计算机化的医疗培训系统
JP2007011391A (ja) 2006-07-18 2007-01-18 National Institute Of Information & Communication Technology 主観的地図作成システム
US20080052242A1 (en) 2006-08-23 2008-02-28 Gofigure! Llc Systems and methods for exchanging graphics between communication devices
CA2662632C (en) * 2006-09-05 2016-08-02 Innerscope Research, Llc Method and system for determining audience response to a sensory stimulus
JP4240108B2 (ja) * 2006-10-31 2009-03-18 ソニー株式会社 画像記憶装置、撮像装置、画像記憶方法およびプログラム
JP5092357B2 (ja) * 2006-11-07 2012-12-05 ソニー株式会社 撮像表示装置、撮像表示方法
JP5023663B2 (ja) 2006-11-07 2012-09-12 ソニー株式会社 撮像装置、撮像方法
JP5176311B2 (ja) 2006-12-07 2013-04-03 ソニー株式会社 画像表示システム、表示装置、表示方法
JP5074752B2 (ja) 2006-12-07 2012-11-14 キヤノン株式会社 画像要求方法
JP4961984B2 (ja) 2006-12-07 2012-06-27 ソニー株式会社 画像表示システム、表示装置、表示方法
US20080146302A1 (en) 2006-12-14 2008-06-19 Arlen Lynn Olsen Massive Multiplayer Event Using Physical Skills
US9569876B2 (en) 2006-12-21 2017-02-14 Brian Mark Shuster Animation control method for multiple participants
US20080181513A1 (en) * 2007-01-31 2008-07-31 John Almeida Method, apparatus and algorithm for indexing, searching, retrieval of digital stream by the use of summed partitions
JP2008191816A (ja) * 2007-02-02 2008-08-21 Sony Corp 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム
US20080215975A1 (en) 2007-03-01 2008-09-04 Phil Harrison Virtual world user opinion & response monitoring
US8126220B2 (en) * 2007-05-03 2012-02-28 Hewlett-Packard Development Company L.P. Annotating stimulus based on determined emotional response
JP4506795B2 (ja) 2007-08-06 2010-07-21 ソニー株式会社 生体運動情報表示処理装置、生体運動情報処理システム
US7570991B2 (en) * 2007-11-13 2009-08-04 Wavesynch Technologies, Inc. Method for real time attitude assessment

Also Published As

Publication number Publication date
CN101286196B (zh) 2011-03-30
CN101286196A (zh) 2008-10-15
US8687925B2 (en) 2014-04-01
US20080253695A1 (en) 2008-10-16
JP2008263274A (ja) 2008-10-30

Similar Documents

Publication Publication Date Title
US20180314339A1 (en) Wearable glasses and method of providing content using the same
US20170007167A1 (en) Systems and methods for stroke detection
US20160026257A1 (en) Wearable unit for selectively withholding actions based on recognized gestures
US20160140768A1 (en) Information processing apparatus and recording medium
US9224175B2 (en) Collecting naturally expressed affective responses for training an emotional response predictor utilizing voting on content
US10324294B2 (en) Display control device, display control method, and computer program
US9846304B2 (en) Display method and display apparatus in which a part of a screen area is in a through-state
US9996155B2 (en) Manipulation of virtual object in augmented reality via thought
TWI666429B (zh) 用於增強非接觸身體溫度測量的精確度的電子器件和方法
US9927877B2 (en) Data manipulation on electronic device and remote terminal
US20140267646A1 (en) Apparatus connectable to glasses
KR20150112621A (ko) 이동 단말기 및 그것의 제어 방법
US20130335352A1 (en) Image display system, display apparatus, and display method
US20150206329A1 (en) Method and system of augmented-reality simulations
US8115816B2 (en) Image capturing method, control method therefor, and program
JP2019083564A (ja) ディスプレイ装置、ディスプレイ装置を制御する遠隔制御装置、ディスプレイ装置の制御方法、サーバーの制御方法、及び遠隔制御装置の制御方法
CN101227234B (zh) 光通信设备和光通信方法
JP5870929B2 (ja) 情報処理システム、情報処理装置および情報処理方法
US8922481B1 (en) Content annotation
JP4927631B2 (ja) 表示装置、その制御方法、プログラム、記録媒体および集積回路
CN101165538B (zh) 成像显示设备和方法
JP5413250B2 (ja) 画像処理装置、画像処理方法およびプログラム
AU2014275184B2 (en) Manipulation of virtual object in augmented reality via intent
US20180173319A1 (en) Systems and methods for gaze-based media selection and editing
CN101282447B (zh) 成像图像数据处理装置和方法及视听信息产生装置和方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20081218

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081218

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090408

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090414

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090612

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090805

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090818

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120904

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130904

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250