JP6393990B2 - 画像処理装置 - Google Patents

Description

本発明は、画像処理装置に関する。

ネットワークを介して送信されてきたサンプル画像を鑑賞している時の脳波を含む生体情報を測定して、サンプル画像毎に測定された生体情報の比較によって、ユーザ向きの画像であることが検出された場合に、当該画像を装飾画像としてユーザに表示する画像表示装置が知られている（例えば、特許文献１参照）。
［先行技術文献］
［特許文献］
［特許文献１］ 特開２００３−１７７４４９号公報

しかしながら、上記画像表示装置は、ネットワークを介して送信された画像をそのまま表示するものであり、当該画像に使用者の記憶にあるイメージ画像に近いものがない場合には、使用者の記憶にあるイメージ画像に近い画像が生成できないという問題があった。

本発明の第１の態様においては、生体が想像した視覚的心象に沿った傾向の画像を前記生体が見たときに生じる脳波の条件を示す脳波条件を予め格納する条件格納部と、元画像に対して視覚上の処理を実行した処理画像を複数生成する画像処理部と、前記画像処理部により生成された複数の前記処理画像を順次、表示する画像表示部と前記複数の処理画像を前記画像表示部に表示した場合に前記生体に生じる脳波情報をそれぞれ取得し、取得した前記脳波情報が前記条件格納部に格納されている脳波条件を満たすか否かを判断し、前記条件を満たすと判断された前記脳波情報を取得した時点で前記画像表示部に表示されていた処理画像が、前記生体により選択されたことを示す指標を付与する条件判断部とを備える画像処理装置が提供される。

なお、上記の発明の概要は、本発明の特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

画像処理システムの模式図を示す。 画像処理システムの機能ブロック図を示す。 画像処理装置の画像生成処理の一例を説明するフローチャートである。 画像選択処理の一例を説明するフローチャートである。 画像色選択処理の一例を説明するフローチャートである。 画像選択処理において画像表示部に表示される画像の一例を示す。 画像色選択処理において画像表示部に表示される画像の一例を示す。 画像位置選択処理において画像表示部に表示される画像の一例を示す。 画像の大きさ選択処理において画像表示部に表示される画像の一例を示す。 画像処理装置により生成された画像の一例を示す。 他の画像選択処理を説明するフローチャートである。 画像処理装置における他の画像処理を説明する図である。 他の画像処理を説明するフローチャートである。 画像表示部に表示される画像の一例を示す。 画像処理装置における他の画像処理を説明する図である。 他の画像処理を説明するフローチャートである。 他の画像処理を説明するフローチャートである。 他の画像処理システムの模式図を示す。 他の画像処理システムの機能ブロック図を示す。 画像処理装置の画像生成処理の一例を説明するフローチャートである。 画像生成処理において画像表示部に表示される画像の一例を示す。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、画像処理システム１０の模式図を示す。画像処理システム１０は、画像処理装置１１と、脳波検出装置４０とから構成される。画像処理システム１０は、画像処理装置１１と、脳波検出装置４０とを用いて、使用者３０の記憶にあるイメージ画像３２に近い画像を生成する。なお、使用者３０は生体の一例である。

画像処理装置１１は、使用者３０が操作部１２を用いて入力したキーワードに基づいて元画像を検索する。画像処理装置１１は、検索した元画像の色、元画像に含まれる要素の位置または大きさを変えた処理画像を生成して、画像表示部１４に順次表示する。脳波検出装置４０は、使用者３０が当該処理画像を見たときの脳波情報を取得する。脳波検出装置４０は、取得した脳波情報を、画像処理装置１１に出力する。画像処理装置１１は、使用者３０の記憶にあるイメージ画像に近い処理画像を、脳波情報に基づいて選択する。画像処理装置１１は、選択した処理画像から使用者３０の記憶にあるイメージ画像３２に近い画像を生成する。

図２は、画像処理システム１０の機能ブロック図を示す。画像処理システム１０は、上述したように、画像処理装置１１と、脳波検出装置４０とから構成される。画像処理装置１１は、操作部１２と、画像表示部１４と、条件格納部１６と、条件判断部１８と、画像処理部２０と、画像格納部２２と、通信部２４とを有する。

使用者３０は、操作部１２から元画像を検索するキーワードを入力する。操作部１２の一例は、キーボードである。画像表示部１４は、検索された複数の元画像または画像処理部２０により生成された複数の処理画像を順次、表示する。画像表示部１４の一例は、液晶ディスプレイ（ＬＣＤ）である。画像条件格納部１６は、使用者３０が想像した視覚的心象に沿った傾向の画像を使用者３０が見たときに生じる脳波の条件を示す脳波条件を予め格納する。なお、視覚的心象に沿った傾向の画像とは、例えば、使用者３０の記憶にあるイメージ画像に近い画像のことである。

条件判断部１８は、複数の処理画像を画像表示部１４に表示した場合に使用者３０に生じる脳波情報をそれぞれ取得する。条件判断部１８は、取得した脳波情報が条件格納部１６に格納されている脳波条件を満たすか否かを判断する。また、条件判断部１８は、脳波条件を満たすと判断された脳波情報を取得した時点で画像表示部１４に表示されていた処理画像が、使用者３０により選択されたことを示す指標を付与する。

条件判断部１８は、脳波情報として、脳波に生じるＰ３００と呼ばれる事象関連電位を用いて、脳波条件を満たすか否かを判断する。ここで、Ｐ３００とは、使用者３０に発生した事象、例えば、画像の表示からおよそ３００−６００ｍｓ以降に、使用者３０の頭皮上の中心部から後頭部にかけて陽性の振幅を有して出現する脳電位をいう。

Ｐ３００は、使用者３０に関連した項目を認識した場合に、関連しない項目を認識した場合と比較して、使用者３０に高振幅の陽性の脳電位が生じることが知られている。したがって、画像表示部１４に表示した画像が、使用者３０の記憶にあるイメージ画像に近い画像である場合は、使用者３０にＰ３００が生じる。一方、使用者３０に提示した画像が、使用者３０の記憶にあるイメージ画像から遠い画像である場合は、使用者３０にＰ３００は生じない。したがって、Ｐ３００の有無を判断できるＰ３００の振幅の閾値を脳波条件として設定し、使用者３０に画像を表示したときに検出された脳波にＰ３００が生じているか否かを検知することによって、表示した画像が使用者３０の記憶にあるイメージ画像に近い画像か否かを判断できる。本実施形態において、脳波条件の一例は、Ｐ３００の発生の有無を判断する振幅の閾値であり、脳波情報の一例は、使用者３０に画像を表示した３００−６００ｍｓ以降に脳波に発生した最大振幅値である。以後、上記例を用いて説明する。なお、脳波条件としては、上記Ｐ３００の振幅の閾値以外に、Ｐ３００の周波数分布、時間変化パターンなども利用できる。

画像処理部２０は、キーワードにより検索された元画像に対して視覚上の処理を実行した処理画像を複数生成する。ここで、視覚上の処理を実行した処理画像とは、例えば、元画像の色を変えた画像であり、元画像に含まれる要素の位置または大きさを変えた画像である。

画像処理部２０は、条件判断部１８により指標が付与された処理画像を元画像としてさらに視覚上の処理を実行した処理画像を複数生成する。そして画像表示部１４は、当該処理画像を表示するとともに、条件判断部１８は、当該処理画像を表示した時点に取得した脳波情報が脳波条件を満たすかどうかの判断を繰り返し実行する。

画像格納部２２は、種々の元画像を格納する。なお、元画像には、キーワードで検索できるように、例えば、Ｅｘｉｆ情報として、画像に関連するテキストが予め付与されている。また、画像格納部２２は、脳波条件を満たさない他の画像を格納する。

通信部２４は、ネットワーク５０を介して外部サーバ６０と通信する。通信部２４は、キーワードに関連する画像を、外部サーバ６０から検索して、キーワードに合致する画像を取得する。

脳波検出装置４０は、複数の電極４２と、通信部４４とを有する。複数の電極４２は、使用者の頭皮に接するように設けられ、使用者３０の頭皮を介して使用者３０の脳電位を検出する。各電極４２検出された脳電位は、通信部４４を介して、無線通信により条件判断部１８に出力される。通信部４４は、例えば、ＵＷＢ（Ｕｌｔｒａ Ｗｉｄｅ Ｂａｎｄ）、ＺｉｇＢｅｅ（登録商標）、Ｗｉ−Ｆｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、３Ｇ、および／または、ＬＴＥ等の無線通信規格に準拠して条件判断部１８と通信する。

図３は、画像処理装置１１の画像生成処理の一例を説明するフローチャートである。図３に示した画像生成処理は、画像処理装置１１が起動され、画像処理装置１１と脳波検出装置４０との通信が確立した場合に開始する。

まず、ステップＳ１０１において、画像処理部２０は、画像選択処理を実行して、使用者３０が入力したキーワードで検索した元画像から、使用者３０の記憶にあるイメージ画像に近い画像を選択する。なお、画像選択処理については、図４を用いて説明する。

ステップＳ１０２において、画像処理部２０は、画像選択処理にて指標が付与された元画像に対して画像色選択処理を実行して、元画像の色を選択する。なお、画像色選択処理については、図５を用いて説明する。

ステップＳ１０３において、画像処理部２０は、画像選択処理にて指標が付与された元画像に対して画像位置選択処理を実行して、元画像に含まれる要素の位置を選択する。なお、画像位置選択処理についても、図５を用いて説明する。

ステップＳ１０４において、画像処理部２０は、画像選択処理にて指標が付与された元画像に対して画像大きさ選択処理を実行して、元画像に含まれる要素の大きさを選択する。なお、画像選択処理についても、図５を用いて説明する。

画像処理部２０は、ステップＳ１０１からステップＳ１０４で選択された元画像と、元画像の色と、元画像に含まれる要素の位置と、元画像に含まれる要素の大きさに基づいて、画像を生成する（Ｓ１０５）。画像処理部２０は、生成した画像を画像表示部１４に表示する（Ｓ１０６）。なお、ステップＳ１０２からステップＳ１０４の順序は、使用者３０の指示により変更されてもよい。

画像処理部２０は、使用者３０より終了指示があったか否かを判断する（Ｓ１０７）。画像処理部２０は、使用者３０より終了指示があった場合に（Ｓ１０７：Ｙｅｓ）、画像生成処理は終了する。一方、画像処理部２０は、使用者３０より終了指示がないと判断した場合（Ｓ１０７：Ｎｏ）、処理をステップＳ１０１に戻して、再びステップＳ１０１より、画像選択処理を実行する。なお、終了指示の一例は、脳波検出装置４０の脱着である。脳波検出装置４０に、装着検知手段を設け、当該装着検知手段により脳波検出装置４０が脱着されたことが検出された場合に、画像処理部２０は、使用者３０より終了指示があったと判断する。

図４は、画像選択処理の一例を説明するフローチャートである。画像選択処理において、まず、画像処理部２０は、操作部１２より、キーワードが入力されるのを待つ（Ｓ２０１：Ｎｏ）。画像処理部２０は、操作部１２よりキーワードが入力されたと判断すると（Ｓ２０１：Ｙｅｓ）、キーワードに基づいて、予め定められた数の元画像を検索する（Ｓ２０２）。予め定められた数は、使用者３０により予め登録される。元画像の検索は、画像処理装置１１内の画像格納部２２を検索してもよく、通信部２４からネットワーク５０を経由して、外部サーバ６０を検索してもよい。また、使用者３０は、自分の意図に沿った検索をすることを目的として、画像格納部２２または外部サーバ６０のどちらを検索するか指定できてもよい。

画像処理部２０は、検索した元画像の１つを読み出し（Ｓ２０３）、画像表示部１４に表示する（Ｓ２０４）。条件判断部１８は、脳波検出装置４０から脳波情報を取得できたか否かを判断する（Ｓ２０５）。条件判断部１８は、元画像を表示してから１秒間、脳波情報を検出された場合に、脳波情報が取得できたと判断し（Ｓ２０５：Ｙｅｓ）、検出した１秒間の脳波情報を記憶して、処理をステップＳ２０７へ進める。一方、電極４２と頭皮とが密着しておらず、脳波検出装置４０から取得した脳波振幅が著しく小さかったり、または観測されなかったりした場合に、条件判断部１８は、脳波情報が取得できないと判断し（Ｓ２０５：Ｎｏ）、例えば、「脳波検出装置４０を装着しなおしてください」といったエラー表示を、画像表示部１４に表示させて（Ｓ２０６）、処理をステップＳ１０１へ戻す。

条件判断部１８は、脳波情報が脳波条件を満たすか否かを判断する（Ｓ２０７）。条件判断部１８は、脳波情報を検出し、脳波情報が、脳波条件として記録されたＰ３００の振幅値の閾値を越えた場合に、条件判断部１８は、脳波条件を満たすと判断し（Ｓ２０７：Ｙｅｓ）、条件判断部１８は、記憶した脳波情報を消去するとともに、画像表示部１４に表示している画像に、Ｅｘｉｆ情報として、使用者３０に選択されたことを示す指標を付与する（Ｓ２０８）。一方、条件判断部１８は、脳波情報が脳波条件として記録された振幅値を越えない場合に、条件判断部１８は、脳波条件を満たさないと判断し（Ｓ２０７：Ｎｏ）、記憶した脳波情報を消去して、使用者３０に選択されたことを示す指標を付与せずにステップＳ２０９の処理を実行する。

図６は、画像選択処理において画像表示部１４に表示される画像の一例を示す。図６に示した例は、使用者３０が「家族」というキーワードを入力して、検索された三枚の人物の画像を示している。画像処理部２０は、図６（ａ）と、図６（ｂ）と、図６（ｃ）とを順次、画像表示部１４に表示する。図１に示したように使用者３０の記憶にあるイメージ画像３２には、人物７２と人物７４が入っているが、人物７０は入っていない。したがって、図６（ａ）を表示した場合には、Ｐ３００は検出されず、図６（ｂ）および図６（ｃ）を表示した場合に、Ｐ３００が検出され、条件判断部１８は、図６（ｂ）および図６（ｃ）に示した画像に、Ｅｘｉｆ情報として、使用者３０に選択されたことを示す指標を付与する。

画像処理部２０は、検索した元画像を全て表示したか否かを判断する（Ｓ２０９）。画像処理部２０は、検索された元画像を全て表示した場合（Ｓ２０９：Ｙｅｓ）、検索した元画像のうち、指標が付与された元画像以外を消去して、画像生成処理におけるステップＳ１０２に処理を進める。一方、画像処理部２０は、検索された元画像を全て表示していない場合（Ｓ２０９：Ｎｏ）、処理をステップＳ２０４に戻し、表示していない元画像を、画像表示部１４に表示する。

なお、図４に示した画像選択処理のフローチャートにおいて、一つの画像も使用者３０に選択されたことを示す指標が付与されない場合においては、画像処理部２０は、ステップＳ２０１で入力されたキーワードを用いて、再び予め定められた数であって、検索されていない元画像を検索してもよい。そして、画像処理部２０は、検索された元画像で、再び、ステップＳ２０３以降の処理を実行してもよい。なお、上記処理を３回繰り返し実行しても、元画像が選択されない場合には、再びＳ２０１に処理を戻し、使用者３０にキーワードを再入力させるとしてもよい。

図５は、画像色選択処理の一例を説明するフローチャートである。図５を用いて画像色選択処理（Ｓ１０２）を説明するとともに、画像位置選択処理（Ｓ１０３）と、画像の大きさ選択処理（Ｓ１０４）も併せて説明する。なお、図５に示したフローチャートにおいて、ステップＳ２０５、ステップＳ２０６の処理は、図４に示したフローチャートの処理と同じ処理を実行するので、重複する説明を省略する。

まず、画像処理部２０は、指標が付された元画像を読み出す（Ｓ３０１）。なお、指標が付された画像が複数ある場合には、そのうちの一つの元画像を読み出す。画像処理部２０は、予め定めた色に変更した画像を生成する（Ｓ３０２）。なお、ステップＳ３０２において、予め変更する色は定められており、本実施形態においては、例えば、画像処理部２０は、赤、橙、黄、緑、青、藍、紫の七色に変更した画像を生成する。画像処理部２０は、色を赤に変更した画像を画像表示部１４に表示する（Ｓ３０３）。なお、人物の画像においては、パターンマッチング等により、人体と、服および装飾品とを区別して、人体の色は変えずに服および装飾品の色を変えた画像を生成することが好ましい。人体の色を赤等の色に変えた画像を表示することは、その部分が使用者３０の記憶にあるイメージ画像と遠くなるので、Ｐ３００の発生が阻害されるおそれがある。したがって、服および装飾品の色を変えた画像を生成することで、Ｐ３００の検出精度を向上でき、使用者３０の記憶にあるイメージ画像に近い画像を早く生成できる。

画像位置選択処理（Ｓ１０３）においては、図５に示したフローチャートのステップＳ３０２の処理で、元画像に含まれる要素の位置を変更した画像を生成する。なお、画像の位置についても予め定められており、本実施形態においては、例えば、画像を左右方向に三分割して、それぞれの領域に当該要素を配置した処理画像をそれぞれ生成して、その一つを画像表示部１４に表示する。

また、画像の大きさ選択処理（Ｓ１０４）においては、図５に示したフローチャートのステップＳ３０２の処理で、元画像に含まれる要素の大きさを変更した画像を生成する。なお、画像の大きさについても予め定められており、本実施形態においては、例えば、元画像の大きさに対し、０．５倍および０．２５倍の画像をそれぞれ生成して、その一つを画像表示部１４に表示する。

ステップＳ２０５に続いて、条件判断部１８は、脳波情報が脳波条件を満たすか否かを判断する（Ｓ３０４）。ステップＳ３０３で表示される画像は、使用者３０の記憶にあるイメージ画像に含まれる画像であるのでＰ３００は検出される。したがって、ステップＳ３０４における脳波情報が脳波条件を満たすか否かの判断は、色を変えていない元画像のＰ３００の振幅値を閾値とした脳波条件に基づいて判断される。すなわち、検出した脳波情報が、元画像のＰ３００の最大振幅値よりも大きな振幅値を含む場合に、条件判断部１８は、脳波条件を満たしたと判断し（Ｓ３０４：Ｙｅｓ）、記憶した脳波情報を消去するとともに、画像表示部１４に表示している処理画像にＥｘｉｆ情報として、使用者３０に選択されたことを示す指標を付与する（Ｓ３０５）。一方、条件判断部１８は、検出した脳波情報が、元画像のＰ３００の最大振幅値よりも大きな振幅値を含まない場合には、脳波条件を満たしていないと判断し（Ｓ３０４：Ｎｏ）、記憶した脳波情報を消去して、使用者３０に選択されたことを示す指標を付与せずに、ステップＳ３０５の処理を実行する。

画像処理部２０は、予め定めたすべての色を表示したか否かを判断する（Ｓ３０６）。画像処理部２０は、ステップＳ３０２で生成した画像をすべて画像表示部１４に表示した場合に、画像処理部２０は、すべての色を表示したと判断して（Ｓ３０６：Ｙｅｓ）、処理をステップＳ３０７へ進める。一方、画像処理部２０は、ステップＳ３０２で生成した画像を全て画像表示部１４に表示していない場合に、画像処理部２０は、すべての色を表示していないと判断し（Ｓ３０６：Ｎｏ）、処理をステップＳ３０３に戻す。そして、画像処理部２０は、色を変更した画像のうち、画像表示部１４に表示していない画像を画像表示部１４に表示する（Ｓ３０３）。

画像位置選択処理（Ｓ１０３）においては、図５に示したフローチャートのステップＳ３０６の処理で、すべての位置を表示したか否かを判断する。そして、三つの領域に、元画像に含まれる要素をそれぞれ配置した画像のすべてを画像表示部１４に表示した場合に、すべての位置を表示したと判断する。一方、当該画像のすべてを画像表示部１４に表示していない場合に、すべての位置を表示していないと判断する。

画像の大きさ選択処理（Ｓ１０４）においては、図５に示したフローチャートのステップＳ３０６の処理で、すべての大きさを表示したか否かを判断する。そして、０．５倍および２倍に元画像に含まれる要素の大きさを変更した画像を画像表示部１４に表示した場合に、すべての大きさを表示したと判断する。一方、当該画像のいずれかを表示していない場合に、すべての大きさを表示していないと判断する。

画像処理部２０は、すべての元画像を表示したか否かを判断する（Ｓ３０７）。画像処理部２０は、指標が付されたすべての元画像について、すべての色を表示したと判断した場合に、すべての画像を表示したと判断し（Ｓ３０７：Ｙｅｓ）、指標を付した画像以外を削除して（Ｓ３０８）、処理を画像生成処理におけるステップＳ１０３に進める。一方、画像処理部２０は、指標が付されたすべての元画像について、すべての色を表示したと判断していない場合に、すべての画像を表示していないと判断し（Ｓ３０７：Ｎｏ）、処理をステップＳ３０１に戻して、色を変えた画像を生成していない、指標が付与された元画像を読み出す。

画像位置選択処理（Ｓ１０３）においても、図５に示したフローチャートのステップＳ３０７の処理で、すべての画像を表示したかを判断する。画像処理部２０は、指標が付されたすべての元画像について、すべての位置を表示したと判断した場合に、すべての画像を表示したと判断し、指標を付した画像以外を削除して、処理を画像生成処理における次ステップへ進める。一方、画像処理部２０は、すべての位置を表示したと判断していない場合に、すべての画像を表示していないと判断し、処理を戻して、元画像に含まれる要素の位置を変えた画像を生成していない、指標が付与された元画像を読み出す。

画像の大きさ選択処理（Ｓ１０４）においても、図５に示したフローチャートのステップＳ３０７の処理で、すべての画像を表示したかを判断する。画像処理部２０は、指標が付されたすべての元画像について、すべての大きさを表示したと判断した場合に、すべての画像を表示したと判断し、指標を付した画像以外を削除して、処理を画像生成処理における次ステップへ進める。一方、画像処理部２０は、すべての大きさを表示したと判断していない場合に、すべての画像を表示していないと判断し、処理を戻して、元画像に含まれる要素の大きさを変えた画像を生成していない、指標が付与された元画像を読み出す。

図７は、画像色選択処理（Ｓ１０２）において画像表示部１４に表示される画像の一例を示す。図７（ａ）は、画像選択処理にて指標が付与された元画像を示しており、図７（ｂ）および（ｃ）は、元画像に対し服の色を変えた画像を示している。画像処理部２０は、図７（ｂ）と、図７（ｃ）とを順次、画像表示部１４に表示する。使用者３０の記憶にあるイメージ画像には、図７（ｂ）が含まれるので、図７（ｂ）を表示した場合には、図７（ａ）を上回るＰ３００が検出されるが、図７（ｃ）を表示した場合には、図７（ａ）を上回るＰ３００は検出されない。したがって、図７（ｂ）に示した画像に、Ｅｘｉｆ情報として、使用者３０が選択したことを示す指標が付与される。

図８は、画像位置選択処理（Ｓ１０３）において画像表示部１４に表示される画像の一例を示す。図８（ａ）は、画像色選択処理にて指標が付与された元画像を示しており、図８（ｂ）および（ｃ）は、元画像に対し人物の位置を変えた画像を示している。画像処理部２０は、図８（ｂ）と、図８（ｃ）とを順次、画像表示部１４に表示する。使用者３０の記憶にあるイメージ画像には、図８（ｂ）が含まれるので、図８（ｂ）を表示した場合には、図８（ａ）を上回るＰ３００が検出されるが、図８（ｃ）を表示した場合には、図８（ａ）を上回るＰ３００は検出されない。したがって、図８（ｂ）に示した画像に、Ｅｘｉｆ情報として、使用者３０が選択したことを示す指標が付与される。

図９は、画像の大きさ選択処理（Ｓ１０４）において画像表示部１４に表示される画像の一例を示す。図９（ａ）は、画像色選択処理にて指標が付与された元画像を示しており、図９（ｂ）および（ｃ）は、元画像に対し人物の大きさを０．５倍、０．２５倍に変えた画像を示している。画像処理部２０は、図９（ｂ）と、図９（ｃ）とを順次、画像表示部１４に表示する。使用者３０の記憶にあるイメージ画像には、図９（ｂ）が含まれるので、図９（ｂ）を表示した場合には、図９（ａ）を上回るＰ３００が検出されるが、図９（ｃ）を表示した場合には、図８（ａ）を上回るＰ３００は検出されない。したがって、図９（ｂ）に示した画像に、Ｅｘｉｆ情報として、使用者３０が選択したことを示す指標が付与される。

図１０は、画像処理装置１１により生成された画像の一例を示す。人物７４についても、画像色選択処理（Ｓ１０２）、画像位置選択処理（Ｓ１０３）および画像大きさ選択処理（Ｓ１０４）を実行して、画像処理部２０によって処理された処理画像が生成され、そのうち、使用者の記憶にあるイメージ画像に近い処理画像が脳波情報に基づいて選択される。そして、画像処理部２０は、それぞれの処理画像を合成することによって、使用者３０の記憶にあるイメージ画像に近い画像を生成する。

以上、説明したように、画像処理装置１１は、脳波情報を用いて、使用者３０に表示した画像が、使用者３０の記憶にあるイメージ画像に近い画像か否かを判断する。これにより、当該画像から使用者３０の記憶にあるイメージ画像に近い画像を生成することができる。使用者の記憶にあるイメージ画像とは、例えば、使用者３０が見た夢の画像であり、画像処理システム１０を用いることによって、使用者３０が見た夢の画像を具現化することができる。なお、本実施形態において、画像処理装置１１と脳波検出装置４０とを別体として設ける例で説明したが、画像処理装置１１は、脳波検出装置４０を含んでもよい。

なお、画像生成処理において、画像位置選択処理（Ｓ１０３）を行わずに、画像処理部２０は、ステップＳ１０５において、選択された処理画像の位置を変えた複数の組み合わせ画像を生成して、当該組合せ画像を画像表示部１４に順次表示させてもよい。条件判断部１８は、当該画像を画像表示部１４に表示させた場合の脳波情報を取得する。

そして、取得した脳波情報であるＰ３００の最大振幅値が、最も大きいと判断された脳波情報を取得した時点で、画像表示部１４に表示されていた組み合わせ画像が、使用者３０の記憶にあるイメージ画像に近い画像であると判断してもよい。これにより、それぞれの処理画像同士の影響も考慮して、画像の配置を決定できるので、使用者３０の記憶により近い画像を生成することができる。なお、条件判断部１８は、取得した脳波情報が大きい状態で変化しなくなった場合に、脳波情報が最も大きいと判断してもよい。さらに、脳波条件の設定は、予め使用者３０の記憶にある画像を提示して、当該画像の提示後に生じるＰ３００の最大振幅値を参考にして設定してもよい。

また、組み合わせ画像の判断において、脳波情報とともに、近赤外線分光分析法（ｆＮＩＲＳ： ｆｕｎｃｔｉｏｎａｌ ｎｅａｒ−ｉｎｆｒａｒｅｄ ｓｐｅｃｔｒｏｓｃｏｐｙ）を用いて、脳内の活性部位を検出して、使用者３０が画像表示部１４に表示している画像の色に注目しているのか、形状に注目しているのか判断してもよい。

ｆＮＩＲＳは、血液の変化を検出する。具体的には、酸素含有のヘモグロビンと、還元型のヘモグロビンは、波長による光吸収度合が異なるので、吸収後の反射光を測定することで、酸素含有のヘモグロビン濃度が検出できる。脳の活動部位に多量の血液が流入し、酸素含有のヘモグロビンの量が増加する神経活動部位の酸素代謝変化はＢＯＬＤ効果と呼ばれている。したがって、酸素含有のヘモグロビン濃度の上昇は、当該部位の脳活動が活発化していることを示すので、ｆＮＩＲＳを用いて、酸素含有のヘモグロビン濃度と還元型のヘモグロビン濃度を測定することで、脳内の活性部位を検出できる。

脳内において、色と形状とを認知する部位は異なっていることが知られており、例えばＰ３００が発生した場合において、同時にｆＮＩＲＳを用いて、脳内の活性部位を検出することで、使用者３０が色を認識してＰ３００が生じたのか、または形状を認識してＰ３００が生じたのかを判断することができる。組み合わせ画像の判断においては、色および形状ともに変化するため、脳波とともにｆＮＩＲＳを用いて脳内の活性部位を検出することで、色および形状のどちらが使用者３０の記憶にあるイメージ画像に近いのかを判断できる。そして、これらの判断に基づいて、処理画像を組み合わせることで、使用者３０の記憶にあるイメージ画像に近い画像が生成できる。

図１１は、他の画像選択処理を説明するフローチャートである。図１１に示したフローチャートにおいて、ステップＳ２０１からステップＳ２０６およびステップＳ２０８およびステップＳ２１０は、図４に示した画像選択処理と同じ処理を実行するので、重複する説明を省略する。本フローチャートを用いて、脳波情報が脳波条件を満たしたか否かの判断をより正確に行う処理について説明する。

ステップＳ２０５において、条件判断部１８は、脳波情報が取得できたと判断した場合（Ｓ２０５：Ｙｅｓ）、条件判断部１８は、当該脳波情報を積算して（Ｓ４０１）、当該積算値を記憶する。条件判断部１８は、キーワードによって検索された画像を、予め定められた回数表示した場合（Ｓ４０２：Ｙｅｓ）、脳波情報の積算値が脳波条件を満たすか否かを判断する（Ｓ４０３）。

一方、条件判断部１８は、キーワードによって検索された画像がそれぞれ予め定められた回数表示していない場合（Ｓ４０２：Ｎｏ）、処理をステップＳ２０４に戻し、予め定められた回数表示されていない画像を画像表示部１４に表示する。

ステップＳ４０３において、条件判断部１８は、脳波条件として、図４に示した画像選択処理で用いた脳波条件に、予め定められた回数を乗じた閾値を脳波条件として用いる。条件判断部１８は、積算した脳波情報が、上記脳波条件の閾値を越えた場合に、脳波情報は、脳波条件を満たしたと判断し（Ｓ４０３：Ｙｅｓ）、記憶した脳波情報の積算値を消去して、処理をステップＳ２０８へと進める。一方、積算した脳波情報が、上記脳波条件を越えない場合に、脳波情報は、脳波条件を満たさないと判断し（Ｓ４０３：Ｎｏ）、記憶した積算した脳波情報を消去して、脳波条件を満たしたことを示す情報を画像処理部２０へ出力せずにステップＳ２１０の処理を実行する。

このように、予め定められた回数を乗じた脳波条件と、積算した脳波情報とで条件を満たすか否かを判断できる。積算することで脳波情報の値と脳波条件の閾値との差が大きくなるので、これにより、脳波情報が脳波条件を満たしたか否かの判断をより正確に行うことができる。

また、画像処理部２０は、図１１に示した画像選択処理におけるステップＳ２０４において、キーワードによって検索された元画像に対し、キーワードによって検索されていなく、脳波条件を満たさない他の画像を挟んで、上記元画像を画像表示部１４に順次表示させてもよい。脳波条件を満たさない他の画像は、例えば、使用者３０が興味を示さない画像である。

画像表示部１４に使用者３０が興味を示す画像を表示すると、使用者３０は、当該画像に興味をもち、画像処理装置１１は、使用者３０の記憶にあるイメージ画像と異なる画像を生成するおそれがある。そのため、画像処理部２０は、脳波条件を満たさない他の画像を挟んで元画像を順次表示させることによって、画像表示部１４に表示した画像に使用者３０が興味をもってしまい、使用者３０の記憶にあるイメージ画像と異なる画像を生成することを防ぐことができる。

図１２は、画像処理装置１１における他の画像処理を説明する図である。図１２に示した画像処理装置１１は、風景または建物など記憶や見覚えがあるが、具体的な場所や名称がわからない場合に、使用者３０の記憶に近い画像を生成する。そして、画像処理装置１１は、この画像と一致する実在の風景または建物を、ネットワークを介して外部のサーバから検索して、当該風景または建物の場所または名称を特定する。

使用者３０は、図１２に示したように、具体的な場所または名前が分からない風景画像３３を記憶している。風景画像３３は、山の上の湖を示している。この例を用いて、画像処理システム１０における画像処理の説明をする。使用者３０は、操作部１２から単一または複数のキーワードを入力する。画像処理装置１１は、入力されたキーワードに基づいて、予め定められた数の画像を抽出する。画像処理装置１１は、抽出した画像を、当該画像を構成する要素に分解する。画像処理装置１１は、分解した要素ごとに、色、大きさ、配置を、使用者３０の脳波情報に基づいて、使用者３０の記憶にある風景に近い画像を生成する。

図１３は、他の画像処理を説明するフローチャートである。図１３に示したフローチャートを用いて、使用者３０が具体的な場所または名前が分からない風景画像を生成して、さらに、生成した風景画像に関連する関連情報を表示する処理について説明する。なお、図１３に示すフローチャートにおいて、ステップＳ１０３、ステップＳ１０４、ステップＳ１０５、ステップＳ１０６、ステップＳ１０７の処理は、図３に示した処理と同じであるので、重複する説明を省略する。

ステップＳ５０１の画像選択処理は、図４に示した画像選択処理（Ｓ１０１）に対し、ステップＳ２０１の処理を変更した処理を実行する。ステップＳ２０１において、使用者３０は、使用者３０の記憶にある画像に基づいて操作部１２より「山、湖、高原、雪」といったキーワードを入力する。画像処理部２０は、入力されたキーワードに基づいて、元画像を検索して、画像表示部１４に表示する。画像処理部２０は、脳波条件を満たした元画像に指標を付して、指標が付されていない元画像を削除する。

画像処理部２０は、指標が付された元画像を、使用者３０が入力したキーワードに従って、要素を分解する（Ｓ５０２）。具体的には、使用者３０が「山、湖、高原、雪」というキーワードを入力した場合においては、元画像を「山、湖、高原、雪」の要素に分解する。さらに、画像処理部２０は、パターンマッチング等の画像分析により、キーワード以外の要素に分解してもよい。画像処理部２０は、指標が付された元画像の全てにおいて、要素の分解を行う。

ステップＳ１０３、ステップＳ１０４において、分解した各要素の位置および大きさが決定される。ステップＳ５０３における画像色修正処理は、図５に示した画像色選択処理（Ｓ１０２）のステップＳ３０２の処理を変更した処理を実行する。ステップＳ３０２において、画像処理部２０は、単純な色のバリエーションではなく、風景に合致した色の画像を生成する。条件格納部１６には、予め、山、湖、高原、雪といった風景を構成する要素の名前に対応付けて、複数の色および画像の明るさ等が記録されている。画像処理部２０は、分解した要素のキーワードに対応した色を読み出して、要素を読み出した色に変えた画像を生成する。

さらに、条件格納部１６には、複数の色および画像の明るさ等は、天候（晴れ、曇り、雨、嵐）、または、季節（春、夏、秋、冬）、または時間（朝、昼、夜）、感性語（雄大な、荘厳な、明るい、爽やかな、陰鬱な）に対応つけて記録されていてもよい。この場合、使用者３０は、画像色修正処理（Ｓ５０３）が実行される前に、天気、季節、時間または感性語を操作部１２から入力する。

画像処理部２０は、このようにして生成された要素の加工画像を画像表示部１４に表示する。画像処理部２０は、脳波条件を満たした加工画像に指標を付して、指標が付されていない加工画像を削除する。

画像処理部２０は、指標が付された加工画像から画像を生成して（Ｓ１０５）、画像表示部１４に表示する（Ｓ１０６）。さらに、画像処理部２０は、生成した画像と種々の外部サーバ６０に記録してある画像とを比較して、生成した画像と相関性の高い画像を特定する。画像処理部２０は、相関性の高い画像に対応した地名等の関連情報を読み出して、画像表示部１４に表示する（Ｓ５０４）。なお、関連性の高い画像の特定は、テンプレートマッチング法や類似度を用いた手法を用いる。また、画像を複数の領域に分割して特定する手法を用いてもよい。なお、使用者３０の記憶にある風景画像は、必ずしも著名な観光地であるとは限らない。そのため、画像処理部２０は、外部サーバ６０に加えて、Ｇｏｏｇｌｅ ＥａｒｔｈまたはＧｏｏｇｌｅ Ｓｔｒｅｅｔ Ｖｉｅｗのような網羅的な風景画像データを検索するとしてもよい。

図１４は、画像表示部１４に表示される画像の一例を示す。図１４に示した例において、画像処理部２０は、生成した画像に対し、３枚の関連性の高い画像を特定している。そして、画像処理部２０は、特定した画像を、画像に対応した地名とともに、画像表示部１４に表示する。

このように、上記実施形態では、画像処理装置１１は、脳波情報を用いて、使用者３０の記憶にある風景画像を生成して、画像表示部１４に表示できる。また、画像処理装置１１は、生成した風景画像に基づいて、地名等の関連情報を画像表示部１４に表示できる。これにより、使用者３０は、記憶にある風景を視認でき、さらに、当該風景に関連する地名を確認できる。

さらに、図１３に示したフローチャートを用いて、モンタージュ写真の生成と実在の人物の検索を行ってもよい。この場合において、使用者３０は、人物に関して年齢（乳児、幼児、小学生、・・・中年・老人）、性別（男、女）、人種（白人、黒人、有色人種）、感性語（美男の、美女の、威厳のある、恰幅のよい、貧相の、陽気な、陰気な）等のキーワードを入力する。ステップＳ５０１において、画像処理部２０は、入力されたキーワードに基づいて、元画像となる顔画像を検索して画像表示部１４に表示する。画像処理装置１１は、脳波条件を満足した元画像に指標を付して、指標が付されていない元画像を削除する。

ステップＳ５０２において、画像処理部２０は、人物の顔を要素（眼、鼻、口、耳、輪郭、髪）に分解する。画像処理部２０は、指標が付された元画像の全てにおいて、要素の分解を行う。

ステップＳ１０３、ステップＳ１０４において、分解した各要素の位置および大きさが決定される。ステップＳ５０３の画像色修正処理は、図５に示した画像色選択処理（Ｓ１０２）のステップＳ３０２の処理を変更した処理を実行する。ステップＳ３０２において、画像処理部２０は、単純な色のバリエーションではなく、人物の各要素に合致した色の画像を生成する。条件格納部１６には、予め、眼、鼻、口、耳、輪郭、髪といった人物の部分を構成する要素に対応付けて、複数の色および画像の明るさ等が記録されている。画像処理部２０は、対応する要素の色を読み出して、要素を読み出した色に変えた画像を生成する。

さらに、条件格納部１６には、年齢（乳児、幼児、小学生、・・・中年・老人）、性別（男、女）、人種（白人、黒人、有色人種）、感性語（美男の、美女の、威厳のある、恰幅のよい、貧相の、陽気な、陰気な）等の属性と、画像の明るさ、または色調を対応つけて記録されていてもよい。この場合、使用者３０は、画像色修正処理（Ｓ５０３）が実行される前に、年齢、性別、人種、または感性語を操作部１２から入力する。

画像処理部２０は、生成した要素の加工画像を画像表示部１４に表示する。画像処理部２０は、脳波条件を満足する加工画像に指標を付して、指標がふされていない加工画像を削除する。

画像処理部２０は、指標が付された加工画像から画像を生成して（Ｓ１０５）、画像表示部１４に表示する（Ｓ１０６）。さらに、画像処理部２０は、生成した画像と種々の外部サーバ６０に記録してある画像とを比較して、生成した画像と相関性の高い画像を特定する。画像処理部２０は、特定した画像から、個人を特定する。画像処理部２０は、当該個人のプロフィール等を読み出して、関連情報として画像表示部１４に表示する（Ｓ５０４）。

このように、上記実施形態では、画像処理装置１１は、脳波情報を用いて、使用者３０の記憶にある人物のモンタージュ写真の生成できる。さらに、画像処理装置１１は、当該モンタージュ写真に基づいて、実在の人物を検索して、当該人物のプロフィール等の関連情報を画像表示部１４に表示できる。

図１５は、画像処理装置１１における他の画像処理を説明する図である。図１５に示した画像処理装置１１は、使用者３０の記憶またはイメージとして仮想的にしか存在しない物体の３Ｄデータを生成して、画像表示部１４に表示するものである。そして、画像処理システム１０は、さらに３Ｄプリンタを備えていてもよい。３Ｄプリンタは、生成した３Ｄデータに対応した実物を作成する。

図１６は、他の画像処理を説明するフローチャートである。図１６に示したフローチャートを用いて、記憶やイメージとして仮想的にしか存在しない物体の３Ｄデータを生成して、表示する処理について説明する。なお、図１６においてＳ１０７は、図３と同じ処理を実行するので、重複する説明を省略する。

ステップ６０１の画像選択処理は、図４に示した画像選択処理（Ｓ１０１）に対し、ステップＳ２０１の処理を変更した処理を実行する。ステップＳ２０１において、使用者３０は、使用者３０の記憶またはイメージに基づいて、操作部１２から「自動車、２ドア、流線型・・・」といったキーワードを入力する。画像処理部２０は、キーワードに基づいて元画像を検索して、画像表示部１４に表示する。画像処理部２０は、脳波条件を満たした元画像に指標を付して、指標が付されていない元画像を削除する。画像処理部２０は、指標が付された元画像に対して、多方面から見た画像を検索する。具体的には、正面図、背面図、上面図、下面図、右側面図、左側面図等の他方向からの画像を検索する（Ｓ６０２）。なお、他方向からの画像として、使用者３０は、手書きのスケッチ等を画像として読み込ませてもよい。この場合、画像処理システム１０は、スキャナ部を有し、使用者３０は、当該スキャナ部から、手書きのスケッチを読み込ませる。画像処理部２０は、検索した多方面から見た画像、および／または、使用者３０が読み込ませた手書きのスケッチを３次元解析して、３Ｄモデルを生成する（Ｓ６０３）。

ステップＳ６０４における３Ｄモデル形状変更処理は、図５に示したステップＳ１０２の画像色選択処理に対し、ステップＳ３０１、ステップＳ３０２、ステップＳ３０３の処理を変更した処理を実行する。ステップＳ３０１において、画像処理部２０は、生成した３Ｄモデルを読み出して（Ｓ３０１）、予め定められた変更を加えた３Ｄモデルを生成する。なお、予め定められた変更の一例は、３Ｄモデルの各座標値に対して数値的な操作を行い、縮小または拡大、および局所的な微小変形を行うことである。画像処理部２０は、加工した３Ｄモデルの特徴を最もよく表現する側から見た３Ｄ画像を生成する（Ｓ３０２）。なお、３Ｄ画像の一例は、３Ｄモデルの斜視図である。

画像処理部２０は、生成した３Ｄ画像を画像表示部１４に表示する（Ｓ３０３）。そして、図５に示した処理を実行して、脳波条件を満たした３Ｄ画像に指標を付与するとともに、指標が付されていない３Ｄ画像を削除する。

ステップＳ６０５における３Ｄモデル外観変更処理は、図５に示したステップＳ１０２の画像色選択処理に対し、ステップＳ３０１、ステップＳ３０２、ステップＳ３０３の処理を変更した処理を実行する。ステップＳ３０１において、画像処理部２０は、指標の付された３Ｄ画像と、３Ｄ画像に対応した３Ｄモデルを読み出す（Ｓ３０１）。画像処理部２０は、読み出した３Ｄモデルの色または模様を変更した３Ｄモデルを生成する。画像処理部２０は、変更した３Ｄモデルの特徴を最もよく表現する側から見た３Ｄ画像を生成する（Ｓ３０２）。

画像処理部２０は、生成した３Ｄ画像を画像表示部１４に表示する（Ｓ３０３）。そして、図５に示した処理を実行して、脳波条件を満たした３Ｄ画像に指標を付与するとともに、指標が付されていない３Ｄ画像を削除する。

ステップＳ６０６において、画像処理部２０は、指標が付された３Ｄ画像に対応する３Ｄモデルが、使用者３０の記憶またはイメージにある物体の３Ｄモデルと特定する（Ｓ６０６）。画像処理部２０は、３Ｄモデルを実体化するか否かを判断する（Ｓ６０７）。画像処理部２０は、使用者３０より、３Ｄモデルを実体化する指示があった場合に（Ｓ６０７：Ｙｅｓ）、３Ｄプリンタに３Ｄモデルデータを出力して、３Ｄモデルを実体化する（Ｓ６０８）。画像処理部２０は、使用者３０より３Ｄモデルを実体化する指示がない場合に（Ｓ６０７：Ｎｏ）、画像表示部１４に３Ｄモデルを表示する（Ｓ６０９）。

上記実施形態では、使用者３０の記憶またはイメージにある物体の形状、色、模様を持つ３Ｄモデルを生成することができる。また、生成した３Ｄモデルのデータを、３Ｄプリンタを用いて実体化できる。

図１７は、他の画像処理を説明するフローチャートである。図１７に示したフローチャートを用いて、記憶やイメージに合った動画を生成して、表示する処理について説明する。なお、図１７においてステップＳ１０７は、図３に示したフローチャートと同じ処理を実行し、ステップＳ２０５とステップＳ２０６は、図４に示したフローチャートと同じ処理を実行するので、重複する説明を省略する。

ステップＳ７０１において、使用者３０は、使用者３０の記憶またはイメージに基づいて操作部１２からキーワードを時系列に入力する（Ｓ７０１）。例えば、「南の海で泳いでいたら、大きな魚に追いかけられ、非常に怖い思いをした。必死に泳いでいたところ、空に飛び出てしまい、しばらく飛行していたが、力尽きて海に落ちた」という夢を見た場合においては、使用者３０は、「南の海、水泳、大きな魚、非常に怖い、必死に泳ぐ、空を飛ぶ、力尽きる、海に落ちる」と入力する。さらに、使用者３０は、各キーワードの表す動画の長さを入力する。また、使用者３０は、動画全体の長さを指定した上で、各キーワードに対応する動画の長さを比率で入力してもよい。

画像処理部２０は、入力されたキーワード毎に一致する数秒から数分の動画を検索して抽出する（Ｓ７０２）。画像処理部２０は、抽出した動画をキーワードごとに読み出して、数秒程度の短い時間にカットする。画像処理部２０は、当該カットした動画をそれぞれつなぎ合わせた元画像を生成する（Ｓ７０３）。例えば、「南の島」で検索された動画「南の島ａ」「南の島ｂ」と「水泳」で検索された動画「水泳ａ」、「水泳ｂ」があった場合、動画は、それぞれ短い時間にカットした動画を生成して「南の島ａ、南の島ｂ」+「水泳ａ、水泳ｂ」となるように接続する。なお、無意味な静止画をＲＩとすると、「南の島ａ、ＲＩ、南の島ｂ」+「水泳ａ、ＲＩ、水泳ｂ」となるように短い時間にカットした動画の間に、無意味な静止画を挟んでもよい。さらに、ＲＩを数秒として、南の島ａおよび南の島ｂを数フレームとしてもよい。この場合、使用者３０は、意識的に上記動画を認識できなるが、サブリミナル刺激として動画が認識されるので、使用者３０が、環境または提示条件の影響を受けることを防止できる。

画像処理部２０は、生成した動画を画像表示部１４に表示する（Ｓ７０４）。条件判断部１８は、カットした動画を表示した場合の脳波情報を取得して、取得した脳波情報が脳波条件を満足するか否かを判断する（Ｓ７０５）。全てのキーワードに対応する動画について脳波条件を満足する動画が１つある場合に、条件判断部１８は、脳波条件を満足すると判断し（Ｓ７０５：Ｙｅｓ）、画像処理部２０は、動画の位置および順序を確定する（Ｓ７０６）。

一方、キーワードに対応する動画について脳波条件を満足する１つでもない場合、条件判断部１８は、脳波条件を満足しないと判断し（Ｓ７０５：Ｎｏ）処理をステップＳ７０２に戻して、再び、入力されたキーワードに基づいて、前回作成した動画と異なる組み合わせの動画を生成する。なお、脳波条件を満足した動画と満足しない動画が混在する場合においては、ステップＳ７０２において、脳波条件を満足しない動画のみを交換するとしてもよい。なお、全ての組み合わせの画像を画像表示部１４に表示しても脳波条件を満足しない場合、処理をステップＳ７０１に戻して、再び、使用者３０からキーワードを入力させてもよい。また、複数の動画において、脳波条件を満足した場合、より大きな振幅値を示した脳波情報を取得した場合に表示した動画を採用するとしてもよい。

画像処理部２０は、使用者３０により入力された各キーワードに対する時間に対応して、それぞれの動画の時間を調整する。また、時間の指定が動画の長さ全体を指定した上で、各キーワードに対応する動画の長さを比率で入力されている場合においては、画像処理部２０は、指定された全体の長さに対する比率でそれぞれの動画の時間を調整する。

また、画像処理部２０は、動画のつなぎ目を、一般の動画編集のように、フェードイン、フェードアウト、ワイプイン、ワイプアウトといった処理を施す（Ｓ７０７）。これにより、つなぎ目が不自然となることを防ぐことができる。さらに、画像処理部２０は、明るさ、色調、コントラストなどを各動画間で一致するように、画像処理する。これにより、つなぎ合わせた動画を、自然な動画とすることができる。

画像処理部２０は、作成した動画を画像表示部１４に表示する（Ｓ７０８）。これにより、使用者３０は、使用者３０の記憶やイメージに合った動画を視認できる。このように、画像処理装置１１は、使用者３０の記憶やイメージを動画として生成して、表示できる。これにより、使用者３０の夢や過去の記憶など個人の脳に動画として記憶されているものを、動画化して表示することができる。

図１８は、他の画像処理システム１００の模式図を示す。図１８において、図１と同じ要素には、同じ参照番号を付して、重複する説明を省略する。図１８に示した画像処理システム１００は、例えば、デパート等の洋服売り場で使用される。画像処理システム１００は、使用者１２０が注目している商品１３０の一例である服が撮像され、当該撮像された画像を元に、使用者１２０が想像している商品イメージに近い画像を生成して表示する。なお、使用者１２０は、例えば、画像処理システム１００を備える売り場のお客様である。

画像処理システム１００は、画像処理装置１０１と、脳波検出装置４０とから構成される。画像処理装置１０１は、画像表示部１０４として、アイグラスディスプレイ（ＥＧＤ）を有し、メガネのように使用者１２０の耳および鼻に係止されて使用者１２０に装着される。画像処理装置１０１は、さらに、撮像部１０２と、投影部１０６とを有する。撮像部１０２は、使用者１２０が注目している商品を撮像する。なお、撮像部１０２の一例は、デジタルカメラであり、投影部１０６の一例は、プロジェクタである。

図１９は、画像処理システム１００の機能ブロック図を示す。なお、図１９において、図２と同じ要素には、同じ参照番号を付して重複する説明を省略する。上述したように、画像処理システム１００は、画像処理装置１０１と、脳波検出装置４０とから構成される。

画像処理装置１０１は、撮像部１０２と、画像表示部１０４と、画像投影部１０６と、条件格納部１６と、条件判断部１８と、画像処理部１０８とを有する。撮像部１０２は、使用者１２０の側頭部に設けられ、使用者１２０の視界付近を撮像する。撮像部１０２は、例えば、撮像部１０２の撮像領域における商品が占める面積に基づいて、使用者１２０が注目している商品を特定する。

画像表示部１０４は、メガネのレンズ部に設けられたアイグラスディスプレイ（ＥＧＤ）であり、使用者１２０に撮像部１０２で撮像した画像、および画像処理部１０８で生成した処理画像を表示する。画像表示部１０４の表示方式は、ディスプレイ方式および投影方式に何れを選択してもよい。

投影部１０６は、画像処理部１０８で生成した画像を外部の別デバイスへ表示する。例えば、投影部１０６は、スクリーンに画像処理部で生成した画像を投影して、店員に欲しいと考えている商品の色または形状を伝えることができる。

画像処理部１０８は、撮像部１０２で撮像した商品の画像を取得する。画像処理部１０８は、撮像した画像を元画像として、色、および／または、形状を変えた処理画像を生成して、画像表示部１０４に順次表示する。画像処理部１０８は、画像に対する処理として、条件判断部１８が脳波条件を満たすと判断された脳波情報を取得した時点で、画像表示部１０４に表示されている処理画像に、使用者１２０により選択されたことを示す指標を付与する。なお、撮像部１０２で撮像した画像を元画像として色、および／または、形状をを変えるとしたが、撮像部１０２では商品の特定を行い、当該商品の画像を、別途設けられた画像サーバから取得するとしてもよく、また、ネットワークを介して外部サーバより当該商品の画像を取得してもよい。なお、この場合、商品には撮像部１０２で商品を特定できる識別票を予め付しておき、撮像部１０２は、当該識別票に記された番号または記号を撮像して、当該番号または記号に基づいて商品を特定する。画像処理部１０８は、撮像部１０２により特定された商品の画像を画像サーバまたは外部サーバより読み出すとしてもよい。

図２０は、画像処理装置１１の画像生成処理の一例を説明するフローチャートである。なお、図２０に示したフローチャートにおいて、ステップＳ２０５、ステップＳ２０６およびステップＳ２０８の処理は、図４に示したフローチャートと同じ処理を実行するので、重複する説明を省略する。また、ステップＳ３０３およびステップＳ３０５の処理は、図５に示したフローチャートと同じ処理を実行するので、重複する説明を省略する。図２０に示した処理は、使用者１２０に画像処理装置１１および脳波検出装置４０が装着され、画像処理装置１１と脳波検出装置４０との通信が確立した場合に開始する。

撮像部１０２は、撮像する対象を特定する（Ｓ８０１）。撮像部１０２は、撮像領域におけるそれぞれの商品が占める領域から、撮像する対象である商品を特定する。また、撮像する対象は、使用者１２０の指示により商品が特定されてもよい。

撮像部１０２は、特定した商品を撮像する（Ｓ８０２）。なお、撮像部１０２は、撮像するか否かの判断を、特定した商品を撮影した時間で判断してもよい。例えば、撮像部１０２が特定した商品が、１０秒以上撮影された場合に、特定された商品を撮像して、一方、１０秒より短い場合には、撮像しない。また、使用者１２０の指示により商品を撮像してもよい。撮像部１０２は撮像した画像データを画像処理部１０８へ出力する。

画像処理部１０８は、取得した画像の色を、予め定められた色に変更した画像を生成する（Ｓ８０３）。なお、ステップＳ６０３においても、変更する色は予め定めされており、本実施例においては、画像処理部２０は、赤、橙、黄、緑、青、藍、紫の七色に変更した画像を生成する。

ステップＳ２０５において、条件判断部１８は、脳波情報を取得できたと判断した場合（Ｓ２０５：Ｙｅｓ）、条件判断部１８は、脳波情報が脳波条件を満たすか否かを判断する（Ｓ８０４）。本処理において、例えば、脳波条件は、Ｐ３００の有無が判断できるＰ３００の振幅の閾値を脳波条件として設定し、画像を表示したときに検出された脳波情報がＰ３００であるか否かを検知することによって、表示した処理画像が、使用者１２０が想像している商品イメージに近い画像であるか否かを判断する。したがって、条件判断部１８は、脳波情報が脳波条件の閾値を越えている場合に、脳波条件を満たすと判断し（Ｓ８０４：Ｙｅｓ）、記憶した脳波情報を消去して、処理をステップＳ２０８へ進める。一方、脳波情報が脳波条件の閾値を越えていない場合に、条件判断部１８は、脳波情報は脳波条件を満たさないと判断し（Ｓ８０４：Ｎｏ）、記憶した脳波情報を消去して、使用者１２０により選択されたことを示す指標を付与せずに処理をステップＳ３０５へ進める。

画像処理部１０８は、全ての色を表示したと判断した場合（Ｓ３０５：Ｙｅｓ）、Ｅｘｉｆ情報に使用者１２０が選択したことを示す指標が付与されている画像を、投影部１０６を用いて、例えば、スクリーン上に投影する（Ｓ８０５）。これにより、使用者１２０だけでなく、店員も当該画像を見ることができ、当該画像に類似の商品の有無等を確認できる。

ステップＳ６０５に続いて、画像処理部１０８は、使用者３０より終了指示があったか否かを判断する（Ｓ８０６）。画像処理部２０は、使用者１２０より終了指示があった場合に（Ｓ８０６：Ｙｅｓ）、画像生成処理は終了する。一方、画像処理部２０は、使用者１２０より終了指示がないと判断した場合（Ｓ８０６：Ｎｏ）、処理をステップＳ６０１に戻して、再びステップＳ６０１より、画像生成処理を実行する。なお、終了指示の一例は、脳波検出装置４０の脱着である。脳波検出装置４０に、装着検知手段を設け、当該装着検知手段により脳波検出装置４０が脱着されたことが検出された場合に、画像処理部２０は、使用者１２０より終了指示があったと判断する。

図２１は、画像生成処理において画像表示部１０４に表示される画像の一例を示す。図２１（ａ）は、撮像部１０２により商品「コート」が特定され、撮像された画像を示しており、図２１（ｂ）、および（ｃ）は、当該画像の色を変えた画像を示している。画像処理部２０は、図２１（ａ）と、図２１（ｂ）と、図２１（ｃ）とを順次、画像表示部１０４に表示する。使用者１２０が想像している商品イメージに近い「コート」が図２１（ｂ）であった場合、図２１（ａ）および図２１（ｃ）を表示した場合には、Ｐ３００は検出されず、図２１（ｂ）を表示した場合に、Ｐ３００が検出され、画像処理部１０８は、図２１（ｂ）に示した画像に、Ｅｘｉｆ情報として、使用者１２０に選択されたことを示す指標が付与される。なお図２１に示した例においては、「コート」の色を変更した例を示したが、画像処理部２０は、「コート」の形状を変更した画像を生成してもよい。例えば、「コート」のポケットを無くした画像を生成してもよく、「コート」の丈を長くした画像を生成してもよい。

以上、説明したように、画像処理システム１００は、脳波情報を用いて、使用者１２０が表示した商品の画像が、使用者１２０が想像している商品イメージに近いかどうかを判断する。これにより、当該画像から、使用者１２０が想像している商品イメージに近い画像を生成することができる。また、当該画像をスクリーン等に表示することによって、使用者１２０当該商品の有無を確認できるとともに、店員からのアドバイス等につながり、売り場に対する使用者１２０の満足度が向上される。また、売り場側においても、使用者１２０であるお客様の潜在的なニーズをつかむことができ、その結果、商品の売り上げの向上が期待できる。なお、本実施形態において画像処理装置１０１と脳波検出装置４０とを別体として設ける例で説明したが、画像処理装置１１は、脳波検出装置４０を含んでもよい。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

１０、１００ 画像処理システム、１１、１０１ 画像処理装置、１２ 操作部、１４、１０４ 画像表示部、１６ 条件格納部、１８ 条件判断部、２０、１０８ 画像処理部、２２ 画像格納部、２４、４４ 通信部、３０、１２０ 使用者、３２ イメージ画像、３３ 風景画像、４０ 脳波検出装置、４２ 電極、５０ ネットワーク、６０ 外部サーバ、７０、７２、７４ 人物、１０２ 撮像部、１０６ 投影部、１３０ 商品

Claims (17)

1. 生体が想像した視覚的心象に沿った傾向の画像を生成するための画像処理装置であって、
   前記画像を前記生体が見たときに生じる脳波の条件を示す脳波条件を予め格納する条件格納部と、
   関連するテキストが予め付与され、前記生体により入力されるキーワードに基づいて前記テキストから検索される元画像に対して視覚上の処理を実行した処理画像を複数生成する画像処理部と、
   前記画像処理部により生成された複数の前記処理画像を順次、表示する画像表示部と、
   前記複数の処理画像を前記画像表示部に表示した場合に前記生体に生じる脳波情報をそれぞれ取得し、取得した前記脳波情報が前記条件格納部に格納されている脳波条件を満たすか否かを判断し、前記条件を満たすと判断された前記脳波情報を取得した時点で前記画像表示部に表示されていた処理画像が、前記生体により選択されたことを示す指標を付与する条件判断部と
   を備え、
   前記画像処理部は、前記条件判断部により前記指標が付与された処理画像を前記元画像としてさらに視覚上の処理を実行した処理画像を複数生成し、
   前記画像処理部によりさらに生成された前記処理画像に対し、前記画像表示部による表示および前記条件判断部による判断が繰り返される、
   画像処理装置。
2. 前記画像処理部は、前記視覚上の処理として前記元画像の色を変えた複数の処理画像を生成する請求項１に記載の画像処理装置。
3. 前記画像処理部は、前記視覚上の処理として前記元画像に含まれる要素の位置を変えた複数の処理画像を生成する請求項１または２に記載の画像処理装置。
4. 前記画像処理部は、前記指標が付与された処理画像が複数ある場合に、前記指標が付与された複数の処理画像を合成した処理画像を生成する請求項１から３のいずれか１項に記載の画像処理装置。
5. 生体が想像した視覚的心象に沿った傾向の画像を生成するための画像処理装置であって、
   前記画像を前記生体が見たときに生じる脳波の条件を示す脳波条件を予め格納する条件格納部と、
   関連するテキストが予め付与され、前記生体により入力されるキーワードに基づいて前記テキストから検索される元画像に対して色を変える視覚上の処理を実行した処理画像を複数生成する画像処理部と、
   前記画像処理部により生成された複数の前記処理画像を順次、表示する画像表示部と、
   前記複数の処理画像を前記画像表示部に表示した場合に前記生体に生じる脳波情報をそれぞれ取得し、取得した前記脳波情報が前記条件格納部に格納されている脳波条件を満たすか否かを判断し、前記条件を満たすと判断された前記脳波情報を取得した時点で前記画像表示部に表示されていた処理画像が、前記生体により選択されたことを示す指標を付与する条件判断部と
   を備える画像処理装置。
6. 前記画像処理部は、前記視覚上の処理として前記元画像に含まれる要素の位置を変えた複数の処理画像を生成する請求項５に記載の画像処理装置。
7. 前記画像処理部は、前記指標が付与された処理画像が複数ある場合に、前記指標が付与された複数の処理画像を合成した処理画像を生成する請求項５または６に記載の画像処理装置。
8. 生体が想像した視覚的心象に沿った傾向の画像を生成するための画像処理装置であって、
   前記画像を前記生体が見たときに生じる脳波の条件を示す脳波条件を予め格納する条件格納部と、
   関連するテキストが予め付与され、前記生体により入力されるキーワードに基づいて前記テキストから検索される元画像に対して、前記元画像に含まれる要素の位置を変える視覚上の処理を実行した処理画像を複数生成する画像処理部と、
   前記画像処理部により生成された複数の前記処理画像を順次、表示する画像表示部と、
   前記複数の処理画像を前記画像表示部に表示した場合に前記生体に生じる脳波情報をそれぞれ取得し、取得した前記脳波情報が前記条件格納部に格納されている脳波条件を満たすか否かを判断し、前記条件を満たすと判断された前記脳波情報を取得した時点で前記画像表示部に表示されていた処理画像が、前記生体により選択されたことを示す指標を付与する条件判断部と
   を備える画像処理装置。
9. 前記画像処理部は、前記指標が付与された処理画像が複数ある場合に、前記指標が付与された複数の処理画像を合成した処理画像を生成する請求項８に記載の画像処理装置。
10. 生体が想像した視覚的心象に沿った傾向の画像を生成するための画像処理装置であって、
    前記画像を前記生体が見たときに生じる脳波の条件を示す脳波条件を予め格納する条件格納部と、
    関連するテキストが予め付与され、前記生体により入力されるキーワードに基づいて前記テキストから検索される元画像に対して視覚上の処理を実行した処理画像を複数生成する画像処理部と、
    前記画像処理部により生成された複数の前記処理画像を順次、表示する画像表示部と、
    前記複数の処理画像を前記画像表示部に表示した場合に前記生体に生じる脳波情報をそれぞれ取得し、取得した前記脳波情報が前記条件格納部に格納されている脳波条件を満たすか否かを判断し、前記条件を満たすと判断された前記脳波情報を取得した時点で前記画像表示部に表示されていた処理画像が、前記生体により選択されたことを示す指標を付与する条件判断部と
    を備え、
    前記画像処理部は、前記指標が付与された処理画像が複数ある場合に、前記指標が付与された複数の処理画像を合成した処理画像を生成する、
    画像処理装置。
11. 生体が想像した視覚的心象に沿った傾向の画像を生成するための画像処理装置であって、
    前記生体が注目している対象物および前記対象物の識別子の少なくとも一方を撮像する撮像部と、
    前記生体が前記対象物を注目することによって想像した視覚的心象に沿った傾向の画像を前記生体が見たときに生じる脳波の条件を示す脳波条件を予め格納する条件格納部と、
    前記撮像部によって撮像された前記対象物の画像である元画像、および、前記撮像部によって撮像された前記識別子に基づいて取得した前記対象物の画像である元画像の何れか一方に対して視覚上の処理を実行した処理画像を複数生成する画像処理部と、
    前記画像処理部により生成された複数の前記処理画像を順次、表示する画像表示部と、
    前記複数の処理画像を前記画像表示部に表示した場合に前記生体に生じる脳波情報をそれぞれ取得し、取得した前記脳波情報が前記条件格納部に格納されている脳波条件を満たすか否かを判断し、前記条件を満たすと判断された前記脳波情報を取得した時点で前記画像表示部に表示されていた処理画像が、前記生体が前記対象物を注目することによって想像した前記視覚的心象に沿った傾向の画像であると判断して、前記生体により選択されたことを示す指標を付与する条件判断部と
    を備える画像処理装置。
12. 前記画像処理部は、前記条件判断部により前記指標が付与された処理画像を前記元画像としてさらに視覚上の処理を実行した処理画像を複数生成し、
    前記画像処理部によりさらに生成された前記処理画像に対し、前記画像表示部による表示および前記条件判断部による判断が繰り返される請求項１１に記載の画像処理装置。
13. 前記画像処理部は、前記視覚上の処理として前記元画像の色を変えた複数の処理画像を生成する請求項１１または１２に記載の画像処理装置。
14. 前記画像処理部は、前記視覚上の処理として前記元画像に含まれる要素の位置を変えた複数の処理画像を生成する請求項１１から１３のいずれか１項に記載の画像処理装置。
15. 前記画像処理部は、前記指標が付与された処理画像が複数ある場合に、前記指標が付与された複数の処理画像を合成した処理画像を生成する請求項１１から１４の何れか１項に記載の画像処理装置。
16. 前記脳波条件は、事象関連に関する脳電位が前記画像の表示から３００ｍｓ以降に陽性の振幅を有して出現することを含む請求項１から１５の何れか一項に記載の画像処理装置。
17. 前記生体が見たときに前記脳波条件を満たさない他の画像を予め格納した画像格納部をさらに備え、
    前記画像表示部は、前記複数の処理画像の間に前記他の画像を挟んで順次表示する請求項１から１６のいずれか１項に記載の画像処理装置。

Images