以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
図1は、実験システム100の模式図を示す。実験システム100は、映像提示用コンピュータ102と、プロジェクター104と、100インチスクリーン106と、脳波計測装置108とから構成される。また、脳波計測装置108は、脳波計測用コンピュータ110と、脳波計112とを有する。
図2は、脳波計112の電極配置の一例を示す図である。脳波計112は、一般的に用いられている国際10−20法に従い、定められた場所に21個の脳波計112が配置されている。
実験システム100において、映像提示用コンピュータ102には、被験者114が、予め、自らが「かわいい」として用意した画像(以後、かわいい画像という)の画像データと、被験者114が、自らが「興味がない」として用意した画像(以後、興味なし画像という)の画像データとが記録されている。
被験者の「かわいい」という感情は、被験者の「興味がない」に相反する「興味がある」という感情に含まれる。また、被験者自らが「かわいい」として用意した画像を提示することから、以後、「興味がある」という感情の一例として「かわいい」という感情を用いて説明する。
実験システム100のプロジェクター104を用いて、かわいい画像および興味なし画像を100インチスクリーン106に投写して、被験者114に提示する。そして、当該画像を、被験者114に提示した場合に生じる被験者114の脳波を、脳波計112を用いて計測する。ここで、脳波とは、人体の頭皮から計測できる電位のことである。図2に示した位置にそれぞれ設けられた脳波計112は、当該電位を検出して、脳波計測用コンピュータ110に出力する。
図3は、脳波プロファイルの一例を示す。図3において、実線は、被験者Aに、かわいい画像を提示した場合に、Cz位置の脳波計112に生じた脳波プロファイルを示している。また、破線は、同じ被験者Aに、興味なし画像を提示した場合にCz位置の脳波計112に生じた脳波プロファイルを示している。図3に示したプロファイルは、時間波形に関する脳波のプロファイルを示しており、時間を示す横軸の「0」の時点で、かわいい画像または興味なし画像を被験者Aに提示している。
図3より、かわいい画像を提示した場合に生じる脳波には、画像を提示してから300ms付近にP300と呼ばれる陽性の振幅を有して出現する事象関連電位が確認されている。そして、300ms付近以降においては、電位が低下して再び上昇する脳波プロファイルが確認されている。また、興味なし画像を提示した場合に生じる脳波には、画像を提示してから300ms付近にP300が確認された後にも、電位が微増する脳波プロファイルが確認されている。このように、かわいい画像を提示した場合に生じる脳波と、興味なし画像を提示した場合に生じる脳波は、300ms付近以降の挙動が異なっている。
P300の事象関連電位とは、画像の表示からおよそ300ms付近以降に、被験者の頭皮上の中心部から後頭部にかけて陽性の振幅を有して出現する脳電位をいう。P300の事象関連電位は、被験者に関連した内容を認識した場合に、関連しない内容を認識した場合と比較して、高振幅の陽性の脳電位が生じることが知られている。上記において、かわいい画像も興味なし画像の何れも被験者が用意した画像であり、いずれの画像も被験者が知っている被験者に関連した内容である。したがって、かわいい画像および興味なし画像の両方で、P300の事象関連電位が観測されている。しかし、P300の事象関連電位の大きさおよびその後の脳波の挙動は、かわいい画像を提示した場合と、興味なし画像を提示した場合とで明らかに異なることがわかる。
図4は、脳波プロファイルの他の例を示す。図4において、実線は、被験者Bに、かわいい画像を提示した場合に、Cz位置の脳波計112に生じた脳波プロファイルを示している。また、破線は、同じ被験者Bに興味なし画像を提示した場合に、Cz位置の脳波計112に生じた脳波プロファイルを示している。図4に示したプロファイルも、図3と同様に、時間波形に関する脳波のプロファイルを示しており、時間を示す横軸の「0」の時点で、かわいい画像または興味なし画像を被験者Bに提示している。
図4より、かわいい画像を提示した場合に生じる脳波には、画像を提示してから300msの後に大きな陽性の振幅を有するP300の事象関連電位が確認されている。300ms以降においては、電位が徐々に低下する脳波プロファイルが確認されている。また、興味なし画像を提示した場合に生じる脳波には、画像を提示していから300msの後に小さなP300の事象関連電位が確認された後に、電位が徐々に減少していく脳波プロファイルが確認されている。このように、被験者Bにおいても、かわいい画像を提示した場合に生じる脳波と、興味なし画像を提示した場合に生じる脳波は、300ms付近以降の挙動は明らかに異なっている。
また、かわいい画像を提示した場合に生じる被験者Aの脳波プロファイルと、かわいい画像を提示した場合に生じる被験者Bの脳波プロファイルは異なっている。さらに、興味なし画像を提示した場合に生じる被験者Aの脳波プロファイルと、興味なし画像を提示した場合に生じる被験者Bの脳波プロファイルも異なっていることがわかる。
図5は、脳波プロファイルの他の例を示す。図5において、実線は、被験者Aに、かわいい画像を提示した場合に、Fz位置の脳波計112に生じた脳波プロファイルを示している。また、破線は、同じ被験者Aに、興味なし画像を提示した場合に、Fz位置の脳波計112に生じた脳波プロファイルを示している。
図5より、かわいい画像を提示した場合に生じる脳波には、他の脳波プロファイルと同様に、画像を提示してから300ms付近に小さいながらもP300の事象関連電位が確認されている。また、300ms付近以降においては、電位が低下した後に上昇し、再び低下する脳波プロファイルが確認されている。また、興味なし画像を提示した場合に生じる脳波には、他の脳波プロファイルと同様に、画像を提示していから300ms付近にP300の事象関連電位が確認された後に、その電圧を維持して上下する脳波プロファイルが確認されている。このように、Fzの位置に生じる脳波においても、かわいい画像を提示した場合に生じる脳波と、興味なし画像を提示した場合に生じる脳波は、300ms付近以降の挙動が明らかに異なっている。さらに、被験者Aにおいて、かわいい画像を提示した場合にCz位置に生じる脳波と、Fz位置に生じる脳波は異なり、興味なし画像を提示した場合にCz位置に生じる脳波と、Fz位置に生じる脳波も異なっている。
このように、脳波は、かわいい画像を視認した場合に生じた場合と、興味なし画像を視認した場合とで、当該画像を提示した後から300ms付近以降に異なる挙動を示す。したがって、脳波を検出することで、「かわいい」と感じた場合と「興味がない」と感じた場合とで明確に区別可能である。本実施形態は、デジタルスチルカメラ・ビデオカメラにおいて静止画・動画を撮影する場合、および、画像に対する処理、例えば、分類・保存・検索・再利用をする場合に、上記知見を適用する。
図6は、上記知見を適用させた本実施形態の画像処理システム10の一例を説明する図である。画像処理システム10は、画像処理装置12と脳波測定装置13とを備える。なお、画像処理装置12は、機械装置の一例である。
脳波測定装置13は、使用者11から脳波に関する脳波情報を取得して、画像処理装置12に出力する。脳波測定装置13は、帽子部14と、ベルト部15と、脳波計16とを有する。帽子部14は、剛性のある布または皮製の帽子であり、使用者11の頭を覆うように装着される。帽子部14の左右の両端部には、帽子部14と同じ材質から構成されるベルト部15が設けられている。脳波計16は、帽子部14の使用者11の頭皮と接触する側にであって、国際10‐20法のFz、Cz、Pzの三カ所の位置に設けている。脳波計16は、使用者11からの脳波を検出して、画像処理装置12に出力する。なお、画像処理装置12への出力は無線であっても有線であってもよいが、本実施形態において、脳波計16は、例えば、UWB、ZigBee(登録商標)、Wi−Fi、Bluetooth(登録商標)、3G、および/又は、LTE等の無線通信規格に準拠して画像処理装置12と通信する。
ベルト部15は、帽子部14を使用者11の頭皮に密着させるように固定する。これにより、脳波計16は、使用者11の頭皮に密着されるので、脳波計16は、使用者11の頭皮から発する微弱な脳波を検出できる。
また、脳波計16は、図2に示した国際10−20法に従い、21個の脳波計16を設けてもよい。しかし、脳波の検出には、少なくとも一つの脳波計16があればよく、また事象関連電位は、大脳の中央部にある大脳縦裂に沿って大きく検出されるので、本実施形態においては、国際10−20法における中央部のCz、Fz、Pz位置に脳波計16を設けている。このように、事象関連電位が測定される部分に絞って脳波計16を配置することで、脳波の検出精度を低下させず、脳波計の個数を減らすことができ、装置コストを低減できる。
画像処理装置12は、脳波測定装置13から取得した脳波情報に含まれる脳波が、画像処理装置12に格納された、感情ごとに独立した脳波の条件を満たすか否かを判断する。画像処理装置12は、取得した脳波情報が、脳波の条件を満たすと判断した場合、被写界を撮像して画像を生成する。なお、本実施形態において、画像処理装置12による被写界の撮像は、画像処理装置12における画像に対する処理の一例である。
図7は、画像処理装置12の機能ブロック図を示す。画像処理装置12は、撮影レンズ20と、撮像素子22と、駆動部24と、A/D変換回路28と、メモリ30と、制御部32と、メモリカードIF34と、メモリカード36と、LCD駆動回路38と、表示部40と、AFセンサ42と、操作部44と、脳波判断部50とを有する。また、脳波判断部50は、条件格納部52と、条件判断部54と、画像処理部56とを有する。
撮像素子22は、撮影レンズ20の焦点面近傍に配置されている。撮像素子22は、二次元的に複数の光電変換素子が配された、例えばCCD、CMOSセンサ等のイメージセンサである。
駆動部24は、撮像素子22の光電変換素子からの画像信号を読み取るべく撮像素子22を駆動する。画像処理装置12は、駆動部24によりタイミング制御されて、受光面上に結像された被写界を画像信号に変換してA/D変換回路28へ出力する。A/D変換回路28は、撮像素子22が出力する画像信号をデジタル画像信号に変換してメモリ30へ出力する。
制御部32は、メモリ30をワークスペースとして種々の画像処理を施して、画像データを生成する。制御部32によって生成された画像データは、LCD駆動回路38により表示信号に変換され、表示部40に表示される。また、メモリカードIF34に装着されているメモリカード36に記録される。
AFセンサ42は、被写界空間に対して複数の測距点が設定された位相差センサであり、それぞれの測距点において被写界像のデフォーカス量を検出する。撮像シーケンスに付随するAF、AE等の各種動作は、制御部32に制御されて実行される。例えば、制御部32は、AFセンサ42の検出信号を解析して、撮影レンズ20の一部を構成するフォーカスレンズを移動させる合焦制御を実行する。なお、撮像素子22をAFセンサ42の代わりに用いてもよく、その場合には別個のAFセンサ42は設けなくてよい。
条件格納部52は、感情ごとに独立した脳波の条件を格納する。感情ごとに独立した脳波の条件は、使用者11が、かわいいと感じた場合に使用者に生じる300ms付近以降の脳波プロファイルと、使用者11が、興味がないと感じた場合に使用者に生じる300ms付近以降の脳波プロファイルに基づいて予め定められる。また、使用者11がかわいいと感じた場合に使用者に生じる300ms付近以降の脳波プロファイルと使用者11が、興味がないと感じた場合に使用者に生じる300ms付近以降の脳波プロファイルとの差によって、それぞれの脳波の条件を定めてもよい。なお、当該脳波プロファイルは、予め、使用者11が用意したかわいい画像と、興味なし画像を使用者11に視認させて、視認した後に生じる脳波プロファイルを取得して、条件格納部52に格納されている。
「かわいい」という感情の脳波の条件の一例は、かわいいと感じた場合に生じる脳波プロファイルの特徴であって、興味がないと感じた場合に生じる脳波プロファイルには生じない脳波プロファイルの特徴の有無である。例えば、図3に示した例においては、かわいい画像を提示した場合に生じた脳波プロファイルは、300ms付近以降に大きな電位の減少が確認されたが、興味なし画像を提示した場合に生じる脳波プロファイルには確認されていない。このように、図3に示した例においては、かわいいと感じた場合に生じる脳波プロファイルの特徴であって、興味なしと感じた場合に生じない300ms付近以降に大きな電位の減少の有無を、脳波の条件と設定できる。そして、取得した脳波情報に含まれる脳波から脳波プロファイルを作成した場合において、脳波プロファイルに300ms付近以降に大きな電位の減少が確認された場合に、画像処理装置12は、使用者11が、かわいいと感じたと判断する。
一方、取得された脳波プロファイルに、300ms付近以降の大きな電位の減少が確認されなかった場合に、画像処理装置12は、使用者11が、かわいいと感じていないと判断する。また、脳波の条件は、複数の脳波計16のそれぞれにおいて定めることができ、脳波の条件を満たすか否かを、脳波の条件を満たした脳波計16の個数によって定めてもよい。
また、「興味がない」という感情の脳波の条件の一例は、同様に興味がないと感じた場合に生じる脳波プロファイルの特徴であって、かわいいと感じた場合に生じる脳波プロファイルには生じない脳波プロファイルの特徴の有無である。条件格納部52は、これら感情ごとに独立した脳波の条件を格納する。
上記脳波の条件は、横軸を時間とする時間波形に関する条件となるが、脳波の条件は、脳波の周波数分布に関する条件、または周波数分布の時間変化に関する条件で定めてもよい。その場合の脳波の条件は、かわいいと感じた場合に生じる脳波の周波成分を含むとしてもよい。
また、脳波の条件として、脳波の測定を開始するトリガー条件も併せて条件格納部52に格納される。本実施形態において、トリガー条件は、操作部44を半押しすることとしている。したがって、使用者11は、被写界を定めて、操作部44を半押しすることで、脳波の測定が開始される。この場合、操作部44は、動作検知部として機能する。
条件判断部54は、使用者11の指示に基づいて、条件格納部52に格納されている感情ごとに独立した脳波の条件を選択して読み出す。この場合において、条件判断部54は、脳波条件選択部として機能する。
条件判断部54は、脳波計16から使用者11の脳波情報を取得する。脳波情報とは、脳波の電位と時間との関係を示す時間波形に関する情報である。条件判断部54は、取得した脳波情報から、300ms付近以降の脳波プロファイルを作成する。条件判断部54は、作成した300ms付近以降の脳波プロファイルが、条件格納部52から読み出した脳波の条件を満たすか否かを判断する。画像処理部56は、条件判断部54により脳波の条件を満たすと判断された場合に、制御部32へ撮像信号を出力する。制御部32は、撮像信号を取得すると、被写界を撮像して画像データを生成する。
また、条件判断部54は、作成した脳波プロファイルに基づいて、感情を定量的に判断してもよい。例えば、かわいいという感情を、図3に示したプロファイルに基づいた脳波の条件で判断する場合において、300ms付近以降に生じた電位の減少が小さい場合は、使用者11が「少しかわいい」と感じているとし、300ms付近以降に生じた電位の減少が大きい場合は、使用者11が「すごくかわいい」と感じているとして、脳波の条件を満たすか否かの判断を変えてもよい。
なお、脳波の条件が、脳波の周波数分布に関する条件、または周波数分布の時間変化に関する条件で定められている場合においては、条件判断部54は、取得した脳波を高速フーリエ変換して、脳波の周波数成分のピークを検出する。そして、検出した周波数成分の予め定めた閾値以上のピークの分布が、かわいいと感じた場合に生じる脳波から検出された閾値以上のピークの分布と同じである場合に、条件判断部54は、当該条件を満たすと判断してもよい。
操作部44は、使用者11からの撮像指示を受け付けて、制御部32に当該撮像信号を入力する。制御部32は、撮像信号を取得すると、被写界を撮像して画像データを生成する。このように、画像処理装置12は、画像処理部56から撮像信号が入力されることによって被写界を撮像するとともに、操作部44から操作指示が入力されることによっても被写界を撮像できる。また、操作部44は、条件格納部52に複数の脳波の条件が格納されている場合に、使用者11からどの脳波の条件を使用するかの操作指示を受け付ける。
図8は、画像処理装置12の画像処理の一例を説明するフローチャートである。なお、図8に示したフローチャートにおいては、かわいいという感情の脳波の条件を用いて、使用者11が、かわいいと感じているか否かを判断する例について説明する。図8に示すフローチャートは、画像処理装置12の電源が入れられ、画像処理装置12の脳波制御がONとなっており、撮像ができる状態になった場合に開始する。
ステップS101において、条件判断部54は、使用者11の確認を行う。例えば、画像処理装置12の使用を開始する場合に使用者11のIDを登録する場合においては、条件判断部54は、使用者11により登録されたIDを参照する。
条件判断部54は、条件格納部52に格納されているトリガー条件を参照して、トリガーを検出する(S102)。本実施形態において、操作部44の半押しがトリガー条件として条件格納部52に格納されている。使用者11が操作部44を半押しした場合に、操作部44は、トリガー信号を出力する。条件判断部54は、当該トリガー信号を検出する。
トリガーを検出した後に、条件判断部54は、脳波の測定を開始するために脳波計16から脳波情報を取得する(S103)。条件判断部54は、脳波情報を取得すると、300ms付近以降の脳波プロファイルを作成する。条件判断部54は、使用者11のIDに対応する脳波の条件を条件格納部52から読み出して、取得した脳波情報が脳波の条件を満たすか否かを判断する(S104)。条件判断部54は、例えば、図3に示した脳波プロファイルが、使用者11のIDに対応した脳波の条件として条件格納部52に格納されている場合においては、作成した脳波プロファイルに、300ms付近以降の大きな電位の減少が確認された場合に、脳波の条件を満たすと判断し(S104:Yes)、条件判断部54は、画像処理部56にその旨を示す信号を出力する。画像処理部56は、制御部32に撮像信号を出力する(S105)。
制御部32は、撮像条件を設定する(S106)。撮像条件の設定の一例は、AFセンサ42の検出信号を解析して、撮影レンズ20の合焦制御を実行することである。制御部32は、駆動部24を用いて撮像素子22を駆動して、被写界を撮像して、画像データを生成する(S107)。制御部32は、作成した画像データをメモリカードIF34に装着されているメモリカード36に記録する(S108)。
一方、ステップS103において、条件判断部54は、例えば、作成した脳波プロファイルに、300ms付近以降の大きな電位の減少が確認されない場合に、脳波の条件を満たさないと判断し(S104:No)、ステップS105からステップS108をスキップして、処理をステップS109へ進める。制御部32は、使用者11から終了指示があったか否かを判断する(S109)。制御部32は、使用者11から終了指示があったと判断した場合(S109:Yes)、画像処理を終了する。一方、使用者11から終了指示があったと判断しない場合(S109:No)、制御部32は、処理をステップS102に戻す。
図9は、表示部40に表示される画像の一例を示す。表示部40には、被写界に存在する被写体46と、撮像条件47と、脳波制御のON/OFFを表示する脳波制御表示48とが表示される。画像処理装置12において、脳波制御のON/OFFは、操作部44を用いて切り替えることができる。そして、表示部40には、脳波制御のON/OFFの切り替えに応じて、脳波制御表示48を切り変えて表示する。これにより、使用者11は、現在の画像処理装置12の脳波制御がONかOFFかを容易に知ることができる。
使用者11が自ら意識してかわいいと判断した場合にシャッターを押す場合、本来の無意識的な感性反応に対して年齢・性別といった社会的制約によって意識的な抑圧がかかってしまい、適切な操作ができない場合がある。以上説明したような、画像処理装置12は、具体的に、使用者11から生じる脳波の300ms付近以降の脳波プロファイルを用いて、使用者11の「かわいい」という感情を検出して、被写界を撮像できる。これにより、使用者11は、年齢・性別といった社会的制約にかかわらず、かわいいと判断した画像を取得できる。
なお、脳波の条件を満たすか否かの判断は、少なくとも300ms以上の時間を要する。そのため、脳波の条件を満たすか否かの判断を行っているとかわいい瞬間を逃す可能性がある。その場合には、脳波の条件を満たしたか否かに関わらず撮像信号を出力して被写界の撮像を行い、脳波の条件を満たしたか否かの結果を事後的に反映させてもよい。すなわち、仮に、取得した脳波情報が脳波の条件を満たさなかった場合には、当該撮像により作成された画像データを事後的に消去してもよい。これにより、かわいい瞬間を逃すことなく、使用者11のかわいいという感情を検出して撮像を行うことができる。
また、本実施例において、脳波情報の取得を開始するトリガーは、操作部44の半押しを検出することによって、検出する例で説明したが、これに限られない。他の脳波情報の取得を開始するトリガーの例を、図10を用いて説明する。
図10は、デジタル一眼レフカメラ19の機能ブロック図を示す。なお、図10において、図7と共通の要素には同じ参照番号を付して重複する説明を省略する。デジタル一眼レフカメラ19は、撮影レンズ20と、撮像素子22、ミラー23、プリズム25、サブ撮像素子27、ビューファインダー29、近接センサ31、制御部32と、検出部33と、脳波判断部50とを有する。
ミラー23は、撮影レンズ20から入射した光束を、サブ撮像素子27の方向に反射する。プリズム25は、ミラー23により反射された光束を、サブ撮像素子27の方向と、ビューファインダー29の方向とに分割する。サブ撮像素子27は、プリズム25によって分割された光束を受光して、画像データを作成する。サブ撮像素子27は、作成した画像データを検出部33に出力する。
ビューファインダー29は、使用者11がデジタル一眼レフカメラ19の視野を見て、視野を確認するためのファインダーである。近接センサ31は、ビューファインダー29に設置され、使用者11の目が接近したことを検出する。近接センサ31は、使用者11の目が接近したことを検出すると、使用者11の目が近接したことを示す信号を検出部33に出力する。また、近接センサ31は、さらに、使用者11の視線を検出することによって、使用者11が注目している被写体を検知してもよい。その場合、近接センサ31は、使用者11がどの被写体に注目しているかを示す信号を検出部33に出力する。
検出部33は、サブ撮像素子27から画像データを取得する。また、検出部33は、近接センサ31から使用者11の目が近接したことを示す信号を取得する。検出部33は、使用者11の目が近接したことを示す信号を取得している場合であって、画面の変化を検出すると、使用者11が注目している被写体が変化したと判断して、トリガー信号を脳波判断部50に出力する。また、近接センサ31が、使用者11がどの被写体に注目しているかを示す信号を検出部33に出力する場合においては、検出部33は、使用者11が注目している被写体画像の変化を検出すると、使用者11が注目している被写体が変化したと判断して、トリガー信号を脳波判断部50に出力する。
脳波判断部50は、トリガー信号を取得すると、脳波測定装置13から脳波情報を取得する。このように、使用者11が注目している被写体が変化した場合に、検出部33は、トリガー信号を出力して、脳波判断部50は、脳波情報の取得を開始する。
さらに他のトリガーの例として、他の動作検出部を設け、種々の使用者11の予め定められた動作を検出してもよい。予め定められた動作とは、例えば、使用者11の意図的なウィンクまたは瞬き、画像処理装置12を構える動作、使用者の表情の変化、またはトリガー専用のボタンを設け、当該ボタンを押すことであってよい。他の動作検出部によって上記動作を検知された場合に、他の動作検知部は、トリガー信号を出力する。条件判断部54は、当該トリガー信号を取得することにより、トリガーが検出されたと判断して、使用者11の脳波情報の取得を開始してもよい。
さらに他のトリガーの例として、画像処理装置12に、使用者11の生体反応を検知する生体反応検知部を設け、当該生体反応検知部によって、使用者の予め定められた生体反応が検知された場合に、体反応検知部は、トリガー信号を出力する。条件判断部54は、当該トリガー信号を取得することにより、トリガーが検出されたと判断して、使用者11の脳波の測定を開始してもよい。なお、予め定められた生体反応とは、例えば、使用者11の心拍、血圧または筋電位が予め定められた値を超えた場合である。また、上記トリガーを脳波によって検出してもよく、予め定められた脳波を脳波計16が検出した場合に、条件判断部54は、トリガーが検出されたと判断してもよい。判断条件判断部54は、生体反応検知部により、当該生体反応が検知された場合に、トリガーが検出されたと判断して、使用者11の脳波情報の取得を開始してもよい。
さらに他のトリガーの例として、画像処理装置12に、外部からの入力を受け付ける外部入力部を設け、当該外部入力部によって、予め定められた外部からの入力が受け付けられた場合に、外部入力部はトリガー信号を出力する。前記条件判断部54は、当該トリガー信号を取得することにより、トリガーが検出されたと判断して、使用者11の脳波の測定を開始してもよい。なお、予め定められた外部からの入力とは、外部の明るさ、音、温度の変化であってもよく、被写体または第三者からの入力であってもよい。条件判断部54は、外部入力部により、外部からの入力が受け付けられた場合に、トリガーが検出されたと判断して、使用者11の脳波情報の取得を開始してもよい。
さらには、画像処理装置12側でトリガーを定めて、使用者11にトリガータイミングを知らせてもよい。その場合、画像処理装置12は、使用者11に表示部40からトリガーのタイミングを表示させてもよく、使用者11に振動、電気刺激または音を与えることによってトリガーのタイミングを知らせてもよい。また、上記に併せて、撮影枚数毎、所定時間経過毎に自動的にトリガーとなる設定としてもよい。
また、本実施形態において、かわいいと感じた場合に生じる脳波プロファイルの特徴であって、興味なしと感じた場合に生じない脳波プロファイルの特徴を有するか否かをかわいいという感情の脳波の条件とする例を示した。しかしながら、かわいいと感じた場合に生じた脳波プロファイルにおける特徴的な波形を用いて、パターンマッチングにより、特徴的な波形の有無を、かわいいという感情の脳波の条件として設定してもよい。この場合、トリガーの検出は不要であり、条件判断部54は、脳波プロファイルを作成しながらパターンマッチングを行う。そして、パターンマッチングにより、当該特徴的な波形が作成した脳波のプロファイルに確認されたことで、条件判断部54は、脳波の条件を満たすと判断してもよい。
さらに、かわいいと感じた場合に生じる脳波プロファイルの複数人の平均の脳波プロファイルと、興味なしと感じた場合に生じる脳波プロファイルの複数人の平均の脳波プロファイルとを算出して、当該平均のプロファイルの特徴的な波形を用いてパターンマッチングを行ってもよい。この場合、複数人の平均を算出する場合において、性別、年齢等で被験者を分けて当該平均の脳波プロファイルを算出してもよい。なお、この場合、条件判断部54は、使用者11のIDを特定することに代えて、使用者11の性別、年齢を特定する。
さらに、興味なしと感じた場合の脳波プロファイルには生じない波形であって、多くの被験者において、かわいいと感じた場合の脳波プロファイルに確認される特徴的な波形がある場合においては、当該波形の有無をかわいいという感情の脳波の条件として設定してもよい。この場合において、条件判断部54は、使用者11のIDを特定しなくてもよい。
さらに、画像処理装置12は、かわいいという感情の脳波の条件を満たすことをトレーニングするトレーニングモードを有してもよい。使用者11は操作部44を用いて、撮影モードとトレーニングモードとを切り変えることができてもよい。なお、以後の説明において、トレーニングモードに対して、被写界を撮影するモードを撮影モードとよぶ。
図11は、画像処理装置12のトレーニングモードの処理の一例を説明するフローチャートである。ステップS201において、条件判断部54は、使用者11の確認を行う。例えば、画像処理装置12の使用を開始する場合に使用者11のIDを登録する場合においては、条件判断部54は、使用者11により登録されたIDを参照する。
条件判断部54は、参照したIDに対応付いて格納されたかわいい画像を条件格納部52から読み出す(S202)。なお、条件格納部52には、使用者11により撮像された画像であって、使用者11が操作部44からの入力により、かわいいと選択した画像が、使用者11のIDに対応付いて格納されている。
条件判断部54は、画像処理部56を介して制御部32に当該画像を出力する。制御部32は、当該画像を取得すると、表示部40にトリガーを表示する(S203)。なお、トリガーの表示として、例えば、制御部32は、表示部40に、かわいい画像を表示する旨を表示させる。
制御部32は、表示部40に、条件判断部54から取得したかわいい画像を改めて表示する(S204)。そして、条件判断部54は、脳波計16から脳波情報を取得する(S205)。条件判断部54は、取得した脳波情報が脳波の条件を満たすか否かを判断する(S206)。条件判断部54は、取得した脳波情報が脳波の条件を満たすと判断した場合(S206:Yse)、画像処理部56に、脳波の条件を満たした旨と、予め格納されたかわいいと感じたときに取得された脳波プロファイルと、作成した脳波のプロファイル画像を出力する。画像処理部56は、かわいいと感じた場合に取得された脳波プロファイルと作成した脳波プロファイルとを重ねて表示した画像データを作成して、脳波の条件を満たした旨とともに、制御部32に出力する。
制御部32は、脳波の条件を満たした旨を取得すると、脳波条件を満たしたか否かを区別した、脳波の条件を満たしたことを示す画像データを作成して、表示部40に表示させる(S207)。また、制御部32は、かわいいと感じた場合に取得された脳波プロファイルと今回取得された脳波プロファイルとを重ねて表示した画像データも併せて、表示部40に表示させる(S208)。
一方、条件判断部54は、取得した脳波情報が脳波の条件を満たさないと判断した場合(S206:No)、条件判断部54は、画像処理部56に、脳波の条件を満たさなかった旨と、予め格納されたかわいいと感じたときに取得された脳波プロファイルと、作成した脳波のプロファイル画像を制御部32に出力する。画像処理部56は、かわいいと感じた場合に取得された脳波プロファイルと作成した脳波のプロファイル画像を取得すると、制御部32は、かわいいと感じた場合に取得された脳波プロファイルと今回取得された脳波プロファイルとを重ねて表示した画像データを作成して、脳波の条件を満たさない旨とともに、制御部32に出力する。
制御部32は、脳波の条件を満たさない旨を取得すると、脳波条件を満たしたか否かを区別した、脳波の条件を満たさないことを示す画像データを作成して、表示部40に表示させる(S209)。また、制御部32は、かわいいと感じた場合に取得された脳波プロファイルと今回取得された脳波プロファイルとを重ねて表示した画像データも併せて、表示部40に表示させる(S210)。
制御部32は、トレーニングモードを継続するか否かを判断する(S211)。制御部32は、トレーニングモードを継続するか否かを問う画像データを作成して、表示部40に表示させる。制御部32は、操作部44を通じて、使用者11からトレーニングモードを継続するか否かの意思を取得する。制御部32は、取得した使用者11の意思がトレーニングモードの継続であった場合(S211:Yes)、その旨を、画像処理部56を通じて条件判断部54に出力する。条件判断部54は、再び、ステップS201の処理を実行する。なお、2回目以降は、ステップS201をスキップしてステップS202の処理を実行してもよい。一方、取得した使用者の意思がトレーニングモード終了であった場合(S211:No)、制御部32は、モードを撮影モードに戻して(S212)、トレーニングモードは終了する。
学習することによって、かわいいと感じた場合に生じる脳波プロファイルを、予め格納された自身がかわいいと感じた場合に生じる脳波プロファイルに近づけることができる。したがって、画像処理装置12にトレーニングモードを設けることによって、使用者11は、かわいいと感じた場合に生じる脳波情報を、脳波の条件を満たすようにトレーニングすることができる。
さらに、画像処理装置12は、「かわいい」という感情の脳波の条件を更新するキャリブレーションモードを有してもよい。使用者11は操作部44を用いて、撮影モードと条件再設定モードとを切り変えることができてもよい。なお、使用者11が初めて画像処理装置12を使用する場合においては、キャリブレーションモードを使用して、使用者11のIDに対応した脳波の条件を設定する。
図12は、画像処理装置12のキャリブレーションモードにおける処理の一例を説明するフローチャートである。キャリブレーションモードの処理において、ステップS201、ステップS202、ステップS203、ステップS204、ステップS205およびステップS212は、図11に示したトレーニングモードにおける処理と同じであるので説明を省略する。
条件判断部54は、脳波情報を取得すると(S205)、脳波プロファイルを作成して、画像処理部56へ出力する。画像処理部56は、脳波プロファイルを表示した画像データを作成して、制御部32へ出力する。制御部32は、取得した画像データを、表示部40に表示させる(S301)。
制御部32は、取得した脳波情報を脳波の条件に設定するか否かを判断する(S302)制御部32は、取得した脳波情報を脳波の条件に設定するか否かを問う画像データを作成して、表示部40に表示させる。制御部32は、操作部44を通じて、使用者11から脳波の条件に設定するか否かの意思を取得する。制御部32は、取得した使用者11の意思が、脳波の条件の設定するであった場合(S302:Yes)、その旨を、画像処理部56を通じて条件判断部54に出力する。条件判断部54は、取得した脳波から作成した脳波プロファイルを、かわいいと感じた場合に生じた脳波プロファイルとして更新する(S303)。そして、条件判断部54は、当該脳波のプロファイルに基づいて、脳波の条件を変更する。
一方、取得した使用者の意思が、脳波の条件に設定しないであった場合(S302:No)、制御部32は、その旨を、画像処理部56を通じて条件判断部54に出力する。条件判断部54は、取得した脳波から作成した脳波プロファイルを消去する(S304)。
制御部32は、キャリブレーションモードを継続するか否かを判断する(S305)。制御部32は、キャリブレーションモードを継続するか否かを問う画像データを作成して、表示部40に表示させる。制御部32は、操作部44を通じて、使用者11からキャリブレーションモードを継続するか否かの意思を取得する。制御部32は、取得した使用者11の意思がキャリブレーションモードの継続であった場合(S305:Yes)、その旨を、画像処理部56を通じて条件判断部54に出力する。条件判断部54は、再び、ステップS201の処理を実行する。なお、2回目以降は、ステップS201をスキップしてステップS202の処理を実行してもよい。一方、取得した使用者の意思がキャリブレーションモード終了であった場合(S305:No)、制御部32は、モードを撮影モードに戻して(S212)、キャリブレーションモードは終了する。
以上説明したように、キャリブレーションモードを設けることによって、使用者の状況、撮影時期、撮影場所によって、以前に生じた脳波が出現しなくなった場合においても、脳波の条件を修正して、使用者11のかわいいという感情を検出できる。したがって、使用者11のかわいいという感情が全く検出されないという状況を回避できる。
なお、本実施形態において、脳波判断部50は画像処理装置12に含まれる例を示したが、脳波判断部50と画像処理装置12とは別の機器であってもよい。さらに、本実施形態において、脳波測定装置13と脳波判断部50とは別の機器とした例を示したが、一体であってもよく、さらに、脳波測定装置13は、画像処理装置12に含まれてもよい。
図13は、別の画像処理システム60を説明する図である。なお、図13において、図6と同じ要素には同じ参照番号を付して重複する説明を省略する。画像処理システム60は、画像処理装置62と、脳波測定装置13とを備える。画像処理装置62は、操作部64と表示部66とを有するパーソナルコンピュータである。なお、画像処理装置62は、スマートフォンまたはタブレット等の携帯端末であってもよい。
図14は、画像処理装置62の表示部66に表示される画像の一例を示す。表示部66には、メニューバー78と、パラメータ入力欄80と、実行釦81と、ツールボックス82と、コントロールバー84と、ドキュメントウインドウ86と、脳波制御表示88とが表示される。
使用者70は、ツールボックス82またはコントロールバー84に対する指示を操作部64から入力する。操作部64は、例えば、マウス、キーバードまたはタッチパネルである。これにより、使用者70は、画像を加工するパラメータ種類およびパラメータ値を入力できる。画像処理装置62は、使用者70に入力されたパラメータ種類およびパラメータ値で加工をした複数の加工画像を作成して表示部66に表示する。画像処理装置62は、取得した脳波情報から、使用者70が、かわいいと感じているパラメータ種類およびパラメータ値を特定する。画像処理装置62は、特定したパラメータ種およびパラメータ値に基づいて、使用者70がかわいいと感じたパラメータ種およびパラメータ値で加工した加工画像を作成して、表示部66に表示する。
図15は、画像処理装置62の機能ブロック図を示す。なお、図15において、図7と同じ要素には共通の参照番号を付して、重複する説明を省略する。画像処理装置62は、操作部64と、表示部66と、通信部90と、画像格納部92と、条件格納部52と、条件判断部54と、画像処理部94とを有する。
使用者70は、操作部64から、画像処理部94で加工する元画像を選択する指示を入力する。なお、加工する元画像は、画像格納部92に格納されている画像であってもよく、ネットワーク98を通じて外部サーバ96に格納されている画像であってもよい。ネットワーク98を介して外部サーバ96に格納されている画像を選択した場合、通信部90は、画像処理部94に入力された指示に基づいて、ネットワーク98を介して外部サーバ96に格納された画像を取得する。画像処理部94は、使用者70の選択した画像を、画像格納部92または通信部90から読み出し、元画像として表示部66のドキュメントウインドウ86に表示する。
画像処理部94は、ドキュメントウインドウ86に表示された元画像に対し、操作部64からパラメータ入力欄80に入力されたパラメータ種類における種々のパラメータで加工をした複数の加工画像を作成して表示部66に順次表示する。画像処理部94は、複数の加工画像に対する処理として、複数の加工画像のうち、格納部に格納された脳波の条件を満たすと判断された脳波情報を取得した時点で、表示部66に表示された加工画像の加工情報に、使用者70により選択されたことを示す指標を付与する。
図16は、元画像の加工条件を決定する画像処理の一例を説明するフローチャートである。なお、図16に示したフローチャートにおいては、かわいいという感情の脳波の条件を用いて、使用者70が、かわいいと感じているか否かを判断する例について説明する。上記画像処理は、パラメータ入力欄80にパラメータ種類が入力され、実行釦81が選択されることによって開始する。
ステップS401において、条件判断部54は、使用者70の確認を行う。例えば、画像処理装置62の使用を開始する場合に使用者70のIDを登録する場合においては、条件判断部54は、使用者70により登録されたIDを参照する。
画像処理部94は、入力されたパラメータ種類の中から変更するパラメータ種類を設定する(S402)。画像処理部94は、入力されたパラメータ種類の変更可能範囲における全てのパラメータについて、加工条件を記録した加工情報を作成する(S403)。画像処理部94は、トリガー画像を作成して、表示部66に表示した後(S404)、画像処理部94は、ある一つの加工情報に基づいてパラメータ値を変更した加工画像を表示部66に表示する(S405)。
条件判断部54は、脳波計16から脳波情報を取得する(S406)。条件判断部54は、取得した脳波情報が脳波の条件を満たすか否かを判断する(S407)。条件判断部54は、取得した脳波情報が脳波の条件を満たすと判断した場合(S407:Yes)、条件判断部54は、加工情報に、選択されたことを示す指標を記録する(S408)。一方、条件判断部54は、取得した脳波情報が脳波の条件を満たさないと判断した場合(S407:No)、加工情報に、選択されないことを示す指標を記録する(S409)。
条件判断部54は、ステップS403で作成した全ての加工情報に指標が記録されたか否かを判断する(S410)。条件判断部54は、全ての加工情報に指標が記録されたと判断すると(S410:Yes)、処理をステップS412へ進める。一方、条件判断部54は、全ての加工情報に指標が記録されていないと判断すると(S410:No)、表示部66に表示する画像の加工情報を、指標が記録されていない加工情報に変更する指示を画像処理部94に出力して(S411)、処理をステップS404へ戻す。
画像処理部94は、パラメータ入力欄80に入力された全てのパラメータ種類で脳波条件を判断したか否かを判断する(S412)。画像処理部94は、パラメータ種類に指標が記録されていない加工情報があると判断すると、全てのパラメータ種類で脳波の条件を判断していないとして(S412:No)、処理をS402に戻して、加工情報がないパラメータ種類に変更するパラメータを設定する。一方、画像処理部94は、全てのパラメータ種類に指標が記録されていない加工情報がないと判断すると、全てのパラメータ種類で脳波の条件を判断したとして(S412:Yes)、選択されて指標が記録された加工情報を読み出し(S413)、当該加工情報に基づいて元画像を加工した画像を生成して、表示部66のドキュメントウインドウ86に表示する(S414)。
画像処理部94は、表示した画像を記録するか否かを判断する(S415)。画像処理部94は、使用者70に記録するか否かを問う画像データを作成し、当該画像データを表示部66に表示させる。使用者70は、操作部64から、当該画像を記録する旨または記録しない旨を入力する。画像処理部94は、使用者70から画像を記録する旨の入力があった場合、表示した画像を記録すると判断し(S415:Yes)、表示部66に表示した画像データを画像格納部92に記録して(S416)、画像処理は終了する。一方、使用者70から画像を記録しない旨の入力があった場合(S415:No)、表示部66に表示した画像データを消去して(S417)、画像処理は終了する。
以上説明したように、画像処理装置62は、脳波情報を用いて、特定のパラメータで加工した加工画像を、使用者70が、かわいいと感じているか否かを検出する。そして、使用者70がかわいいと感じる加工情報を元画像に反映させることによって、使用者70がかわいいと感じる加工画像を生成して、表示することができる。これにより、使用者70は、元画像を年齢・性別といった社会的制約にかかわらず、「かわいい」と感じる画像に加工することができる。
なお、図16に示した例において、変更する加工情報を定めて、全ての加工情報を盛り込んだ加工画像を、使用者がかわいいと感じる加工画像であるとした。しかしながら、例えば、同種のパラメータで複数の加工情報が選択された場合においては、同種のパラメータの加工情報を1つずつ組み合わせた組み合わせ画像を加工して、当該画像で脳波の条件を満たすか否かを判断してもよい。また、脳波の条件を満たすか否かの判断において、条件判断部54は、かわいいと感じた脳波プロファイルに基づいた領域により多く含まれる脳波情報を優先して選択するとしてもよい。また、画像処理装置62を使用者70が初めて使用する場合においては、図12に示したキャリブレーションモードと同じ処理を画像処理装置62においても実行して、使用者70の脳波の条件を格納してもよい。
また、本実施形態において、脳波情報を用いて元画像の加工条件を決定する処理について説明したが、画像処理装置62を用いて、アルバムにおける画像レイアウトを決定してもよく、洋服や、家具等の色や形を決定してもよい。
また、他の例として、脳波情報および脳波の条件を用いてかわいいという感情を検出して、例えば、メガネのフレームを光らせてもよい。また、同様に、使用者のかわいいという感情を検出して、仮想空間における使用者のアバターにかわいいという感情を表現させてもよい。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。