JP5548950B2 - 画像処理装置及び方法、並びにプログラム - Google Patents

Description

本発明は、画像処理装置及び方法、並びにプログラムに関し、特に、人間の脳の視覚の順序に基づく画像処理を実現可能にする技術に関する。

人間の五感のうち、聴覚に訴える要素として音声が存在し、視覚に訴える要素として画像が存在し、それぞれの要素に関する技術分野が従来から存在する。即ち、従来、音声のデータに対して処理を施す技術分野（以下、「音声処理分野」と呼ぶ）、及び画像のデータに対して処理を施す技術分野（以下、「画像処理分野」と呼ぶ）が存在する。

ここで、人間の脳内での聴覚の順序とは、基本的に、人間の耳に入ってきた音声の順序であるため、音声処理分野では、人間の脳の聴覚の順序に基づく音声処理は、従来から研究開発が進み、技術として確立されつつある（例えば特許文献１参照）。

特開２００８−２７５８４５号公報

一方、人間の脳内での視覚の順序自体が研究の段階であるため、画像処理分野では、人間の脳の視覚の順序に基づく画像処理は、充分に研究開発が進んでいるとはいえず、未だ技術として確立されているとはいい難い状況である。
このため、画像処理分野では、人間の脳の視覚の順序に基づく画像処理を施す手法として、様々な手法の実現が求められている。
特に、研究開発が進んでいる音声処理分野の技術を画像処理分野に適用可能な手法の実現が強く求められている。例えば音声処理分野における特許文献１に記載の技術を画像処理分野に適用するためには、時系列の２次元データが必要になる。しかしながら、画像データを時系列の２次元データ化する適切な手法自体が見受けられず、特許文献１に記載の技術を画像処理分野に適用できる段階まで至っていない状況である。

本発明は、このような状況に鑑みてなされたものであり、人間の脳の視覚の順序に基づく画像処理を実現可能にすることを目的とする。

本発明の一態様によると、
所定の画像を原画像として、前記原画像のデータに対して画像処理を施す画像処理装置において、
前記原画像のデータを構成する各画素の画素値のそれぞれを構成要素として、人間が視覚により画像を認知していく時間的順序に基づいて決定された所定の順番で配列し直し、その結果得られるデータを、視点２次元時系列データとして出力する認知変換手段と、
前記認知変換手段から出力された前記視点２次元時系列データを変換処理する２次元時系列データ変換手段と、
前記２次元時系列データ変換手段で変換処理された前記再生成視点２次元時系列データを、前記認知変換手段で用いられた前記所定の順番と逆の順番で配列し直し、その結果得られるデータを、再生成画像のデータとして出力する逆認知変換手段と、
を備える画像処理装置を提供する。

本発明の一態様によると、上述した本発明の一態様に係る画像処理装置に対応する情報処理方法及びプログラムを提供する。

本発明によれば、音声処理分野の技術を適用して、人間の脳の視覚の順序に基づく画像処理を実現可能にすることができる。

本発明の第１実施形態に係る画像処理装置の外観構成を示す正面図である。 第１実施形態に係る画像処理装置の表示部の画面の例を示す図である。 画像認知に基づく画像変換処理を実行するための、第１実施形態に係る画像処理装置の機能的構成を示す機能ブロック図である。 第１実施形態に係る画像認知に基づく画像変換処理の主となる流れの一例を示すフローチャートである。 図４の画像認知に基づく画像変換処理のうち、認知変換処理の詳細な流れの一例を説明するフローチャートである。 図５の認知変換処理のうち、視点時系列化処理の詳細な流れの一例を説明するフローチャートである。 図６の視点時系列化処理について具体的に説明する図であって、人間の目と脳との神経による繋がりを模式的に示した図である。 図６の視点時系列化処理について具体的に説明する図であって、図７のＡから矢印方向に視た場合の人間の目の網膜の矢視図である。 図６の視点時系列化処理について具体的に説明する図であって、視点時系列２次元データの具体的な生成手法を説明する図である。 図４の画像認知に基づく画像変換処理のうち、ターケンス可逆変換処理の詳細な流れの一例を説明するフローチャートである。 図１０のターケンス可逆変換処理のうち、ターケンスプロット処理の概要を説明するための図である。 図１０のターケンス可逆変換処理における、編集前後のアトラクタ描画画像の一例を示す図である。 図４の画像認知に基づく画像変換処理のうち、逆認知変換処理の詳細な流れの一例を説明するフローチャートである。 図１３の逆認知変換処理のうち、２次元データ逆視点時系列化処理の詳細な流れの一例を説明するフローチャートである。 第２実施形態に係る画像認知に基づく画像変換処理の主となる流れの一例を示すフローチャートである。 図１５の画像認知に基づく画像変換処理のうち、フーリエ可逆変換処理の詳細な流れの一例を説明するフローチャートである。 図１６のフーリエ可逆変換処理の具体的な結果の一例を示すグラフである。 図１の画像処理装置を実現するハードウェア構成を示すブロック図である。

以下、本発明の一実施形態を図面に基づいて説明する。

［第１実施形態］
図１は、本発明の第１実施形態に係る画像処理装置１の外観構成例を示す斜視図である。
図１に示すように、画像処理装置１は、デジタルフォトフレームとして構成されている。このため、画像処理装置１の正面（図１に図示されている面）には、例えば液晶ディスプレイ等で構成される表示部１１が設けられている。
また、画像処理装置１には、マウス等で構成され、ユーザの指示操作を受け付ける操作部１２が設けられている。

図２は、このような画像処理装置１の表示部１１の画面の一例を示す図である。
ここで、「画面」とは、表示装置又は装置が有する表示部（本実施形態では表示部１１）の表示領域全体に表示される画像をいう。
図２の例の表示部１１の画面には、同図中左方から順に、原画像表示領域２１と、視点時系列表示領域２２Ｒ，２２Ｇ，２２Ｂと、アトラクタ表示領域２３Ｒ，２３Ｇ，２３Ｂと、再生成画像表示領域２４と、が設けられている。

原画像表示領域２１には、画像処理装置１による画像処理の対象となる画像（以下、「原画像」と呼ぶ）が表示される。

視点時系列表示領域２２Ｒ，２２Ｇ，２２Ｂには、原画像のデータに対して、画像処理装置１により認知変換処理が施された結果が表示される。
詳細については後述するが、認知変換処理とは、人間の脳が視覚により画像を認知していく時間的順序に基づいて、原画像のデータを、時系列の２次元データに変換する処理をいう。このような時系列の２次元のデータを、以下、「視点時系列２次元データ」と呼ぶ。また、視点時系列２次元データにより表現される画像、即ち、横軸が時間軸となり縦軸が画素値（本実施形態では輝度値）の軸となるグラフであって、視点時系列２次元データの各時刻に相当するデータがプロットされたグラフを含む画像を、「視点時系列２次元グラフ」と呼ぶ。
原画像のデータは、ＲＧＢ毎の輝度データに分割され、各々の輝度データに対して認知変換処理が施される。
この場合、Ｒの輝度データに対して認知変換処理が施された結果として、Ｒについての視点時系列２次元データが得られ、当該視点時系列２次元データにより表現される視点時系列２次元グラフが、視点時系列表示領域２２Ｒに表示される。
同様に、Ｇの輝度データに対して認知変換処理が施された結果として、Ｇについての視点時系列２次元データが得られ、当該視点時系列２次元データにより表現される視点時系列２次元グラフが、視点時系列表示領域２２Ｇに表示される。
また、Ｂの輝度データに対して認知変換処理が施された結果として、Ｂについての視点時系列２次元データが得られ、当該視点時系列２次元データにより表現される視点時系列２次元グラフが、視点時系列表示領域２２Ｂに表示される。

アトラクタ表示領域２３Ｒ，２３Ｇ，２３Ｂには、ＲＧＢ毎の視点時系列２次元データの各々に対して、画像処理装置１によりターケンス可逆変換処理が施された際に生成又は編集されるアトラクタがそれぞれ表示される。

詳細については特許文献１に開示されているため、本明細書では概略を述べるに留めるが、ターケンス可逆変換処理とは、次のような第１乃至第３の処理からなる一連の処理をいう。

即ち、ターケンス可逆変換処理の第１の処理とは、元の２次元波形のデータ（ここでは視点時系列２次元データ）から、ターケンスの埋め込み定理を用いて、Ｎ次元（Ｎは２以上の整数値）の空間に描画するアトラクタのデータを生成する処理をいう。このようなターケンス可逆変換処理の第１の処理を、以下、「ターケンスプロット処理」と呼ぶ。
上述したように、視点時系列２次元データは、ＲＧＢ毎に分割されている。従って、ＲＧＢ毎の視点時系列２次元データの各々に対してターケンスプロット処理がそれぞれ施される。
この場合、Ｒの視点時系列２次元データに対してターケンスプロット処理が施された結果として、Ｒについてのアトラクタのデータが得られ、当該データにより表現されるアトラクタがＮ次元の空間に描画された画像（以下、「アトラクタ描画空間画像」と呼ぶ）が、アトラクタ表示領域２３Ｒに表示される。
同様に、Ｇの視点時系列２次元データに対してターケンスプロット処理が施された結果として、Ｇについてのアトラクタのデータが得られ、当該データにより表現されるアトラクタ描画空間画像が、アトラクタ表示領域２３Ｇに表示される。
また、Ｂの視点時系列２次元データに対してターケンスプロット処理が施された結果として、Ｂについてのアトラクタのデータが得られ、当該データにより表現されるアトラクタ描画空間画像が、アトラクタ表示領域２３Ｂに表示される。

ユーザは、表示部１１のアトラクタ表示領域２３Ｒ，２３Ｇ，２３Ｂの各々に表示されたアトラクタ描画空間画像を視認しながら、操作部１２を操作することで、任意の数の任意のアトラクタの形状を任意に編集することができる。
このように、ユーザにより形状が編集されたアトラクタを、以下、「編集後アトラクタ」と呼ぶ。
即ち、このようなユーザの編集の操作を受け付けて、編集後アトラクタのデータを生成する処理が、ターケンス可逆変換処理の第２の処理である。このようなターケンス可逆変換処理の第２の処理を、以下、「アトラクタ編集処理」と呼ぶ。
アトラクタ編集処理には、表示部１１のアトラクタ表示領域２３Ｒ，２３Ｇ，２３Ｂの各々に表示されるアトラクタ描画空間画像を、編集後アトラクタを含む画像に更新する処理も含まれる。

ターケンス可逆変換処理の第３の処理とは、編集後アトラクタを含むＲＧＢ毎のアトラクタのデータを、時系列の２次元データに逆変換する処理をいう。
なお、このようにして逆変換された時系列の２次元データは、編集後アトラクタに基づいて視点時系列２次元データがいわば再生成されたものであるため、以下、「再生成視点時系列２次元データ」と呼ぶ。
即ち、編集後アトラクタを含むＲＧＢ毎のアトラクタのデータから、再生成視点時系列２次元データを生成する処理が、ターケンス可逆変換処理の第３の処理である。このようなターケンス可逆変換処理の第３の処理を、以下、「時系列２次元データ再生成処理」と呼ぶ。

このようなターケンス可逆変換処理の結果が表示されるアトラクタ表示領域２３Ｒ，２３Ｇ，２３Ｂの右方には、再生成画像表示領域２４が設けられている。
再生成画像表示領域２４には、編集後アトラクタを含むＲＧＢ毎のアトラクタのデータに対して、画像処理装置１により逆認知変換処理が施された結果が表示される。
詳細については後述するが、逆認知変換処理とは、ＲＧＢ毎の再生成視点時系列２次元データを、ＲＧＢ毎の輝度データに戻し、当該ＲＧＢ毎の輝度データに基づいて画像のデータをいわば再生成する処理をいう。
このようにして再生成された画像のデータを、以下、「再生成画像のデータ」と呼び、当該再生画像のデータにより表現される画像を、以下、「再生成画像」と呼ぶ。
即ち、再生成画像表示領域２４には、原画像に対する再生成画像が表示される。

以上の内容を画像処理装置１による画像処理の観点で換言すると、画像処理装置１は、原画像のデータに対して、認知変換処理、ターケンス可逆変換処理、及び逆認知変換処理をその順番で施すことによって、再生画像のデータを生成することができる。
ここで、視点時系列２次元データに対してターケンス可逆変換処理を施すことにより、人間の画像の認知に近い編集処理が実現可能になり、原画像と比較して、画像が持つ印象がより強まった再生成画像が得られることになる。
そこで、認知変換処理、ターケンス可逆変換処理、及び逆認知変換処理を含む一連の処理を、以下、「画像認知に基づく画像変換処理」と呼ぶ。

図３は、画像認知に基づく画像変換処理を実行するための画像処理装置１の機能的構成を示す機能ブロック図である。

画像処理装置１は、上述した表示部１１及び操作部１２に加えてさらに、認知変換部５１と、ターケンス可逆変換部５２と、逆認知変換部５３と、データ記憶部５４と、表示制御部５５と、を備えている。

認知変換部５１は、原画像記憶部６１から原画像のデータを読み出し、認知変換処理を実行する。認知変換部５１は、認知変換処理の結果得られる視点時系列２次元データを、視点時系列２次元データ記憶部６２に記憶させる。
なお、認知変換処理の詳細については、図５乃至図９を用いて後述する。

ターケンス可逆変換部５２は、視点時系列２次元データ記憶部６２から視点時系列２次元データを読み出し、ターケンス可逆変換処理を施す。
即ち、ターケンス可逆変換部５２は、視点時系列２次元データに対して、ターケンスプロット処理を施し、その結果得られるアトラクタのデータをアトラクタデータ記憶部６３に記憶させる。
次に、ターケンス可逆変換部５２は、ユーザによる操作部１２の指示操作に従って、アトラクタのデータに対してアトラクタ編集処理を施し、その結果得られる編集後アトラクタのデータをアトラクタデータ記憶部６３に記憶させる。
そして、ターケンス可逆変換部５２は、編集後アトラクタを含むアトラクタのデータをアトラクタデータ記憶部６３から読み出して、時系列２次元データ再生成処理を実行する。ターケンス可逆変換部５２は、時系列２次元データ再生成処理の結果得られる再生成視点時系列２次元データを、再生成視点時系列２次元データ記憶部６４に記憶させる。
なお、ターケンス可逆変換処理の詳細については、図１０乃至図１２を用いて後述する。

逆認知変換部５３は、再生成視点時系列２次元データ記憶部６４から再生成視点時系列２次元データを読み出して、逆認知変換処理を実行する。逆認知変換部５３は、逆認知変換処理の結果得られる再生成画像のデータを、再生成画像記憶部６５に記憶させる。
なお、逆認知変換処理の詳細については、図１３及び図１４を用いて後述する。

データ記憶部５４は、原画像記憶部６１と、視点時系列２次元データ記憶部６２と、アトラクタデータ記憶部６３と、再生成視点時系列２次元データ記憶部６４と、再生成画像記憶部６５と、を備えている。
原画像記憶部６１は、上述したように、原画像のデータを記憶する。
視点時系列２次元データ記憶部６２は、上述したように、視点時系列２次元データをＲＧＢ毎に記憶する。
アトラクタデータ記憶部６３は、上述したように、編集後アトラクタを含むアトラクタの各データをＲＧＢ毎に記憶する。
再生成視点時系列２次元データ記憶部６４は、上述したように、再生成視点時系列２次元データをＲＧＢ毎に記憶する。
再生成画像記憶部６５は、上述したように、再生成画像のデータを記憶する。

表示制御部５５は、データ記憶部５４に記憶された各種データに基づいて、上述した図２に示すような画面を表示部１１に表示させる制御を実行する。

以上、画像処理装置１の機能的構成について説明した。
ただし、上述した図３の機能的構成は例示に過ぎず、画像認知に基づく画像変換処理を実行可能であれば、画像処理装置１は任意の機能的構成を取ることができる。

次に、図４乃至図１４を参照して、図３の機能的構成を有する画像処理装置１が実行する画像認知に基づく画像変換処理の流れについて説明する。

図４は、画像認知に基づく画像変換処理の主となる流れの一例を示すフローチャートである。
画像認知に基づく画像変換処理は、例えば、画像処理装置１の電源が投入されて、ユーザにより所定の操作がなされたことを契機として開始する。

ステップＳ１１において、画像処理装置１の各部は、スイッチ処理を実行する。
スイッチ処理とは、モードや設定条件等の複数の選択肢が存在するものについて、初期設定を含め、所定の選択肢を選択して設定する処理をいう。
例えば本実施形態では、後述する図６のステップＳ３１の処理でスタートポイントの設定に必要な選択として、原画像の中から所定の点を視点として選択して設定する処理が、スイッチ処理の一部として実行される。
また、表示部１１の画面を構成する各領域の表示の有無や、表示位置を選択して設定する処理がスイッチ処理の一部として実行される。なお、当該処理が実行された直後の段階では、当該処理による設定結果に従って各領域が配置された画面であって、実画像が表示されていない画面が、表示部１１に表示されるものとする。具体的には、説明の便宜上、図２に示す画面（ただし、この段階では実画像が表示されていない画面）が、表示部１１に表示されるものとする。

ステップＳ１２において、認知変換部５１は、認知変換処理を実行する。
ステップＳ１３において、ターケンス可逆変換部５２は、ターケンス可逆変換処理を実行する。
ステップＳ１４において、逆認知変換部５３は、逆認知変換処理を実行する。
これにより、画像認知に基づく画像変換処理は終了となる。

以下、ステップＳ１２の認知変換処理、ステップＳ１３の逆認知変換処理、及び、ステップＳ１４のターケンス可逆変換処理の各々の詳細な流れについて、その順番で個別に説明していく。

初めに、図５乃至図９を参照して、ステップＳ１２の認知変換処理の詳細な流れについて説明する。

図５は、認知変換処理の詳細な流れの一例を説明するフローチャートである。
上述したように、図４のステップＳ１１の処理でスイッチ処理が実行されて、処理がステップＳ１２に進むと、認知変換処理として、次のような処理が実行される。

ステップＳ２１において、認知変換部５１は、原画像のデータを原画像記憶部６１から取り込む。
この段階で、表示部１１の画面のうち、図２に示す原画像表示領域２１には、原画像が表示されるものとする。

ステップＳ２２において、認知変換部５１は、原画像のデータを、ＲＧＢの輝度データ毎に振り分ける。
なお、ＲＧＢの輝度データの格納場所は、特に限定されず、例えば、データ記憶部５４内に新たな記憶部（記憶領域）を設けてもよい。ただし、本実施形態では説明の便宜上、原画像記憶部６１に、振り分けられた後のＲＧＢの輝度データも格納されるものとする。

ステップＳ２３において、認知変換部５１は、原画像のデータをＲＧＢ毎に、振り分けた後のＲＧＢの輝度データの各々を、視点時系列２次元データにそれぞれ変換する。
このようなステップＳ２３の処理を、以下、「視点時系列化処理」と呼ぶ。
図６は、視点時系列化処理の詳細な流れの一例を説明するフローチャートである。

ステップＳ３１において、認知変換部５１は、原画像上の視点となるスタートポイントを設定する。
スタートポイントとは、後述するステップＳ３３の処理で、輝度データのサンプリングを開始する原画像上の画素の位置をいう。スタートポイントのさらなる詳細については、図７乃至図９を参照して後述する。

ステップＳ３２において、認知変換部５１は、処理対象をＲＧＢの中から設定する。
即ち、図５のステップＳ２２の処理で原画像のデータは、ＲＧＢの輝度データの各々に振り分けられている。このため、ステップＳ３２の処理で、ＲＧＢの各々が所定の順番で１つずつ処理対象として順次設定され、処理対象の輝度データに対して次のステップＳ３３の処理が施される。

ステップＳ３３において、認知変換部５１は、処理対象の輝度データを時系列にサンプリングすることで、処理対象の視点時系列２次元データを生成する。
なお、ステップＳ３３の処理の内容の詳細については、図７乃至図９を参照して後述する。

ステップＳ３４において、認知変換部５１は、ＲＧＢの全てを処理対象にしたか否かを判定する。
ＲＧＢの全てが未だ処理対象になっていない場合、ステップＳ３４においてＮＯであると判定され、処理はステップＳ３２に戻され、それ以降の処理が繰り返される。
即ち、ＲＧＢの順に処理対象が設定されるとするならば、ステップＳ３２乃至Ｓ３４のループ処理が繰り返し実行されることで、原画像のＲの輝度データからＲの視点時系列２次元データが生成され、続いて、原画像のＧの輝度データからＧの視点時系列２次元データが生成され、最後に、原画像のＢの輝度データからＢの視点時系列２次元データが生成される。
これにより、ステップＳ３４においてＹＥＳであると判定され、視点時系列化処理は終了する。即ち、図５のステップＳ２３の処理が終了し、結果として、図４のステップＳ１２の処理が終了し、処理はステップＳ１３に進む。ただし、ステップＳ１３以降の処理については後述する。
なお、この時点で、表示部１１の画面のうち、視点時系列表示領域２２Ｒ，２２Ｇ，２２Ｂの各々には、ＲＧＢ毎の視点時系列２次元グラフがそれぞれ表示される。

さらに以下、図７乃至図１０を参照して、図６の視点時系列化処理について具体的に説明する。

図７は、人間の目と脳との神経による繋がりを模式的に示した図である。
人間の目７１の網膜の多数の神経は、図７に示すように（ただし、多数の神経のうち神経８１乃至８４のみ図示）、当該目７１の後方で束のようになって脳７２まで繋がっている。
このような目７１が実世界の木９１ｒを注視すると、その像が視点９１ｐとして目７１の中心に写り込む。
この場合、図７に示すように、視点９１ｐ付近の神経８１と、視点９１ｐから外れた神経８４とでは、目７１から脳７２までの距離が異なる。具体的には、神経８１乃至８４の各々の距離をＬ１乃至Ｌ４の各々と記述するものとするならば、Ｌ１＜Ｌ２＜Ｌ３＜Ｌ４の関係が成立する。
ここで、神経の伝達速度は（１／１０＾４）［ｓｅｃ／ｍ］で一定であるといわれている。従って、目７１から脳７２までの伝達時間は、（伝達速度）×（目７１から脳７２までの神経の距離）で決定されるので、目７１から脳７２までの距離が長くなるほど、伝達時間も長くなる。即ち、図７の例では、神経８１乃至８４は、その順で距離が長くなっていくので、その順で伝達時間も長くなっていく。
ここで、神経８１乃至８４の各々が脳７２に伝達する情報を、Ｉ１乃至Ｉ４の各々と記述するものとする。この場合、情報Ｉ１乃至Ｉ４は、その順番で脳７２に順次伝達される。従って、情報Ｉ１乃至Ｉ４をその順番で配置した情報群、即ち（Ｉ１、Ｉ２、Ｉ３、Ｉ４）という情報群は、時系列情報の一種である。

神経８１乃至８４の各々が脳７２に伝達する情報Ｉ１乃至Ｉ４について、図８を参照して、さらに考えてみる。
図８は、図７のＡから矢印方向に視た場合の人間の目の網膜についての矢視図である。
図８に示すように、目７１の網膜は、神経８１乃至８４等の各神経の先端が点として分布して構成されていると把握することができる。従って、情報Ｉ１乃至Ｉ４とは、神経８１乃至８４の先端（点）に入射される像に関する情報、具体的には、点に入射される光の情報である。
ここで、人間の目７１の網膜がＣＣＤ(Charge Coupled Device Image Sensor)等の撮像素子の役割を果たし、人間の脳７２がＣＰＵ（Central Processing Unit）等の制御部の役割を果たすものと仮定する。
このような仮定の下では、目７１の網膜における神経８１乃至８４の各々の先端（点）とは、撮像素子を構成する１つの画素に相当する。撮像素子の画素は、所定時間内に蓄積された光量に応じて、輝度値等の画素値を電気信号として出力する。従って、情報Ｉ１乃至Ｉ４とは、神経８１乃至８４の各々に対応する画素についての「画素値」に相当する。

ただし、制御部が撮像素子を用いて画像を認識する際の時間的順序と、人間の脳７２が目７１を用いた視覚により画像を認知する際の時間的順序との間には差異点がある。そこで、以下、この差異点について説明する。

撮像素子においては、一般的に、左から右方向に、かつ、上から下方向の順番で、各画素の画素値が出力される。即ち、撮像素子を構成する各画素の画素値は、時間的に、左から右方向に、かつ、上から下方向の順番で１つずつ、制御部に伝達される。
換言すると、撮像素子を構成する各画素の画素値を、左から右方向に、かつ、上から下方向の順番で配置させたデータが、時系列データとして制御部に伝達される。
制御部は、この時系列データを用いて、撮像素子により撮像された画像を認識する。

これに対して、人間の目７１においては、情報Ｉ１乃至Ｉ４が脳７２に到達する時間的順序は、目７１から脳７２までの距離が短い神経８１乃至８４の順、即ち、人間の目７１の網膜上での視点９１ｐから近い神経８１乃至８４の順である。従って、情報Ｉ１乃至Ｉ４が、その順番で時間的に脳７２に伝達される。
換言すると、上述したように、情報Ｉ１乃至Ｉ４をその順番で配置した情報群、即ち（Ｉ１、Ｉ２、Ｉ３、Ｉ４）という情報群が、時系列情報として脳７２に伝達される。
脳７２は、この時系列情報を用いて、目７１の網膜に映った画像を認知する。
より一般的にいうと、図８において、視点９１ｐから外側に位置する神経（視点９１ｐからの距離が長くなる神経）ほど、脳７２までの距離が長くなっていくので、当該神経から脳７２までの伝達時間も長くなっていく。ただし、目７１の網膜上での視点９１ｐから同一距離に存在する神経、即ち、視点９１ｐを中心とする同一円周上に分布する神経は、脳７２までの距離が略同一となるため、脳７２までの伝達時間は略同一となる。従って、視点９１ｐを始点（中心）として同心円状に広がっていくように、各神経の情報（画素値に相当）が脳７２に伝達していく。
ここで、脳７２の画像を認知する認知部分においては、同一時刻には１つの神経の情報（１つの画素の画素値に相当）のみが認識可能であると仮定する。この仮定の下では、同一円周上に分布する各神経の情報は、所定の神経の情報を先頭にして左又は右周りの順番で、脳７２の認知部分において順次認知されていく。即ち、視点９１ｐを始点として、例えば右回りの渦巻状に、目７１の網膜上に分布する各神経の情報を配置した情報群が、時系列情報として脳７２に伝達される。そして、その認知部分において、当該時系列情報を用いて画像が認知される。要するに、当該認知部分は、目７１の網膜上の視点９１ｐを始点として、例えば右回りの渦巻状に広がっていくように、画像を認知していく。

このように、同一の画像であっても、制御部が撮像素子を用いて画像を認識していく時間的順序と、人間の脳７２が目７１を用いた視覚により画像を認知していく時間的順序とは異なる。
そこで、本実施形態では、認知変換部５１（図３）は、視点時系列化処理（図６）として、人間の脳７２が目７１を用いた視覚により画像を認知していく時間的順序に基づいて決定された所定の順番で、原画像のＲＧＢ毎の輝度データをサンプリングする。そして、認知変換部５１は、当該輝度データをサンプリングの順番に配置し直すことで、人間の脳７２に伝達される時系列情報と等価な時系列データを生成する。このようにして生成される時系列データが、上述した視点時系列２次元データである。

さらに、以下、具体例として図９を適宜参照しつつ、図６のステップＳ３２の処理で処理対象がＲに設定された場合の視点時系列変化処理、即ち、原画像のＲの輝度データから、Ｒの視点時系列２次元データが生成されるまでの一連の処理の詳細について説明する。

図９は、視点時系列２次元データの具体的な生成手法を説明する図である。
図９（Ａ）は、原画像のＲの輝度データを模式的に示した図である。
ここで、原画像のＲの輝度データとは、原画像を構成する各画素のＲについての輝度値（画素値の１つ）の集合体をいう。図９（Ａ）においては、１つの小さな正方形が、１つの画素の輝度値を示しており、各正方形の配置位置は、原画像内の各画素の配置位置に対応している。
図９（Ｂ）は、図９（Ａ）の原画像のＲの輝度データから生成されたＲの視点時系列２次元データを示すグラフ、即ち、Ｒの視点時系列２次元グラフを示している。

この場合、認知変換部５１は、原画像上の視点となる画素をスタートポイントに設定する（図６のステップＳ３１参照）。
なお、視点となる画素の決定手法は、特に限定されない。例えば、原画像内で予め決定された配置位置（画像の中心等）の画素を、視点となる画素に決定する手法を採用してもよい。また例えば、任意のアルゴリズムに従って注目領域を原画像から検出し、注目領域内の所定の画素を、視点となる画素に決定する手法を採用してもよい。

次に、認知変換部５１は、原画像のＲの輝度データにおけるサンプリングの順番を決定する。
即ち、認知変換部５１は、サンプリングの順序を示す番号（以下、「セグメントＮｏ」と呼ぶ）を、原画像を構成する各画素の各々に付していく。
具体的には、認知変換部５１は、スタートポイントの画素のセグメントＮｏを「０」に設定する。次に、認知変換部５１は、１つずつインクリメントした値、即ち、「２」、「３」、「４」・・・「ｎ−１」、「ｎ」の各値を、スタートポイントの画素を中心にして、右回りの渦巻状に広がっていくように、各画素の各々に付していく。なお、ｎは、原画像の総画素数以下の任意の整数値である。
例えば図９（Ａ）の例では、各画素の輝度値を示す正方形の左隅に示される数値が、セグメントＮｏを示している。
ここで、原画像の端の画素が、視点となる画素、即ちスタートポイントの画素に設定された場合、右回りに渦巻状にセグメントＮｏを付していくと、原画像の範囲をはみ出すことがある。このような場合には、原画像の周囲に輝度値が「０」となる画素（以下、原画像内の画素と区別すべく、「仮想画素」と呼ぶ）が付加されているとみなし、認知変換部５１は、仮想画素に対してセグメントＮｏを付すものとする。

そして、認知変換部５１は、セグメントＮｏの順番で、原画像のＲの輝度データを構成する各輝度値（画素値の１つ）をサンプリングしていき、サンプリングの順番で配置し直したデータを、Ｒの視点時系列２次元データとして生成する（図６のステップＳ３３参照）。なお、サンプリング対象が仮想画素の輝度値である場合、上述したように「０」がサンプリングされる。
この場合、横軸をセグメントＮｏとして、縦軸を輝度値として、Ｒの視点時系列２次元データを構成する各輝度値がそれぞれプロットされると、図９（Ｂ）に示す視点時系列２次元グラフが得られることになる。当該Ｒの視点時系列２次元グラフは、図２の視点時系列表示領域２２Ｒに表示される。

図示はしないが、以上の一連の処理、即ち、図６のステップＳ３１及びＳ３２の処理が、原画像のＧ及びＢの各輝度データに対しても同様に施されると、Ｂ及びＧの各視点時系列２次元データが生成される。
この場合、Ｂ及びＧの各視点時系列２次元グラフは、図２の視点時系列表示領域２２Ｂ及び２２Ｇの各々に表示される。
これにより、図６の視点時系列化処理、即ち、図５のステップＳ３３の処理が終了し、図４のステップＳ１２の認知変換処理が終了する。

以上、図５乃至図９を参照して、図４のステップＳ１２の認知変換処理の詳細な流れについて説明した。
次に、図１０乃至図１２を参照して、図４のステップＳ１３のターケンス可逆変換処理の詳細な流れについて説明する。

図１０は、ターケンス可逆変換処理の詳細な流れの一例を説明するフローチャートである。
上述したように、図４のステップＳ１２の処理で認知変換処理が実行されて、ＲＧＢ毎の視点時系列２次元データが生成されると、処理がステップＳ１３に進み、ターケンス可逆変換処理として、次のような処理が実行される。

ステップＳ４１において、ターケンス可逆変換部５２は、ＲＧＢ毎に、ターケンスプロット処理を実行する。即ち、ターケンス可逆変換部５２は、ターケンスの埋め込み定理を用いて、ＲＧＢ毎の視点時系列２次元データから、Ｎ次元（Ｎは２以上の整数値）の空間に描画するアトラクタのデータを生成する。

図１１は、ターケンスプロット処理の概要を説明するための図である。
本実施形態のターケンスプロット処理では、ＲＧＢ毎の視点時系列２次元データが、原波形データＷとして用いられる。
この場合、原波形データＷをリサンプリングするプロットスケールが用いられる。図１１の例では、説明の便宜上Ｎ＝３の場合、即ち、２次元の原波形データＷから３次元のアトラクタを生成する場合のプロットスケールが示されている。プロットスケールは、プロットスケール幅ｔを隔てた３点（ｘ成分、ｙ成分及びｚ成分）における原波形データＷの波形値Ｔ（ｘ，ｙ，ｚ）を指定することによって設定される。

原波形データＷの波形値Ｔ（ｘ，ｙ，ｚ）を指定するプロットスケールは、リサンプリング周期△ｔ毎に時系列順に移動する。
リサンプリング周期△ｔは、原波形データＷのサンプリング周期以上の時間幅を有し、本実施形態では、セグメントＮｏが時間に見立てられているので（図９（Ｂ）の横軸参照）、隣接するセグメントＮｏの差分に相当する時間幅が採用されている。
リサンプリング周期△ｔ毎に、時系列順に移動するプロットスケールによって、波形値Ｔ１（ｘ，ｙ，ｚ）乃至波形値Ｔｎ（ｘ，ｙ，ｚ）が得られる。波形値Ｔ１（ｘ，ｙ，ｚ）乃至波形値Ｔｎ（ｘ，ｙ，ｚ）の個数は、波形区間長Ｓｔｉｍｅで決定される。

この波形値Ｔ１（ｘ，ｙ，ｚ）乃至波形値Ｔｎ（ｘ，ｙ，ｚ）の各々を示すデータがアトラクタのデータであり、図１１に示すように、ｘ軸、ｙ軸、及びｚ軸の３軸で構築される空間に、波形値Ｔ１（ｘ，ｙ，ｚ）乃至波形値Ｔｎ（ｘ，ｙ，ｚ）の各々をプロットしたものがアトラクタである。

図１０に戻り、ステップＳ４２において、ターケンス可逆変換部５２は、ＲＧＢ毎に、アトラクタ描画画像を表示部１１に表示する。
即ち、表示部１１の図２に示す画面のうち、Ｒのアトラクタ描画画像はアトラクタ表示領域２３Ｒに表示され、Ｇのアトラクタ描画画像はアトラクタ表示領域２３Ｇに表示され、Ｂのアトラクタ描画画像はアトラクタ表示領域２３Ｂに表示される。

ステップＳ４３において、ターケンス可逆変換部５２は、編集操作を受け付ける。
即ち、上述したように、ユーザは、表示部１１のアトラクタ表示領域２３Ｒ，２３Ｇ，２３Ｂの各々に表示されたアトラクタ描画空間画像を視認しながら、操作部１２を操作することで、任意の数の任意のアトラクタの形状を任意に編集することができる。このようなユーザの操作が、編集操作である。

ステップＳ４４において、ターケンス可逆変換部５２は、編集操作がされたか否かを判定する。
編集操作がされていない場合、ステップＳ４４においてＮＯであると判定されて、処理はステップＳ４７に進む。ただし、ステップＳ４７以降の処理については後述する。
これに対して、編集操作がされた場合、ステップＳ４４においてＹＥＳであると判定されて、処理はステップＳ４５に進む。

ステップＳ４５において、ターケンス可逆変換部５２は、アトラクタ編集処理を実行する。これにより、編集操作により形状が編集されたアトラクタ、即ち編集後アトラクタのデータが生成される。

ステップＳ４６において、ターケンス可逆変換部５２は、表示部１１の画面表示を、編集後アトラクタが描画されるように更新する。
即ち、本実施形態では、ユーザは、ＲＧＢ毎のアトラクタを個別に編集する編集操作をすることができる。例えば、Ｇについてのアトラクタの形状を編集する編集操作がされた場合、表示部１１の図２に示す画面内のアトラクタ表示領域２３Ｇに表示されたアトラクタ描画画像が、編集前のアトラクタが描画された画像から、編集後アトラクタが描画された画像に更新される。

図１２は、編集前後のアトラクタ描画画像の一例を示している。
具体的には、図１２（Ａ）が、編集前のアトラクタが描画されたアトラクタ描画画像の一例を示し、図１２（Ｂ）が、編集後アトラクタが描画されたアトラクタ描画画像の一例を示している。
なお、図１２の例では、複数のアトラクタが描画されている。即ち、図１２は、１つの原画像において複数の視点が設定され、複数の視点毎にアトラクタのデータが生成され場合のアトラクタ描画画像の例を示している。
このように複数のアトラクタを描画する場合には、点をプロットしただけでは、複数のアトラクタの軌跡の各々を区別して認識することが困難となる。そこで、このような場合には、図１２に示すように、アトラクタの軌跡（を示す曲線）も表示すると好適である。アトラクタの軌跡の表示形態は、軌跡をはっきりと見せることが可能な形態であれば特に限定されず、例えば、プロットされた点と次の点とをスプライン処理等を行って薄い色の曲線としてわかりやすく表示するといった表示形態を採用することもできる。

図１０に戻り、このようにして編集後アトラクタに表示が更新されてステップＳ４６の処理が終了するか、又は、編集操作がされていないとしてステップＳ４４の処理でＮＯであると判定された場合、処理はステップＳ４７に進む。
ステップＳ４７において、ターケンス可逆変換部５２は、編集操作が終了したか否かを判定する。
編集操作が終了したという判定条件は、特に限定されず、ユーザが操作部１２を用いて明示な操作をした場合に満たされるという条件を採用してもよいし、設定時間が経過した等ユーザの操作を介さずに自動的に満たされるという条件を採用してもよい。
編集操作がまだ終了していない場合、処理はステップＳ４４に戻され、それ以降の処理が繰り返される。即ち、ユーザは、編集操作を終了するまでの間、ＲＧＢ毎のアトラクタのうち、任意の数の任意のアトラクタを、任意の回数編集し直すことができる。
その後、編集操作が終了すると、ステップＳ４７においてＹＥＳであると判定されて、処理はステップＳ４８に進む。

ステップＳ４８において、ターケンス可逆変換部５２は、ＲＧＢ毎に時系列２次元データ再生成処理を実行する。
即ち、ターケンス可逆変換部５２は、編集後アトラクタを含むＲＧＢ毎のアトラクタのデータに対して、図１１を用いて説明したターケンスプロット処理と逆方向の処理を施すことによって、逆変換された時系列の２次元データ、即ち、再生成視点時系列２次元データを生成する。

以上、図１０乃至図１２を参照して、図４のステップＳ１３のターケンス可逆変換処理の詳細な流れについて説明する。
次に、図１３を参照して、図４のステップＳ１４の逆認知変換処理の詳細な流れについて説明する。

図１３は、逆認知変換処理の詳細な流れの一例を説明するフローチャートである。
上述したように、図４のステップＳ１３の処理でターケンス可逆変換処理が実行されて、ＲＧＢ毎の再生成視点時系列２次元データが生成されると、処理がステップＳ１４に進み、逆認知変換処理として、次のような処理が実行される。

ステップＳ５１において、逆認知変換部５３は、ＲＧＢ毎に再生成視点時系列２次元データを読み込む。

ステップＳ５２において、逆認知変換部５３は、ＲＧＢ毎の再生成視点時系列２次元データの各々に対して、図５のステップＳ２３の視点時系列化処理の逆処理をそれぞれ施すことによって、ＲＧＢ毎の輝度データを生成する。
このようなステップＳ５２の処理を、以下、「２次元データ逆視点時系列化処理」と呼ぶ。
図１４は、２次元データ逆視点時系列化処理の詳細な流れの一例を説明するフローチャートである。

ステップＳ６１において、逆認知変換部５３は、ＲＧＢ毎の再生成視点時系列２次元データについて、ＥＮＤアドレスをそれぞれ決定する。なお、ＥＮＤアドレスについては、後述するステップＳ６３の処理の説明の際に併せて説明する。

ステップＳ６２において、逆認知変換部５３は、処理対象をＲＧＢの中から設定する。
即ち、図１３のステップＳ５１の処理でＲＧＢ毎の再生成視点時系列２次元データが読み込まれている。このため、ステップＳ６２の処理で、ＲＧＢの各々が所定の順番で１つずつ処理対象として順次設定され、処理対象の再生成視点時系列２次元データに対して次のステップＳ６３の処理が施される。

ステップＳ６３において、逆認知変換部５３は、処理対象の再生成視点時系列２次元データの各構成要素を逆方向から読み出して、逆回転まわりで視点方向に配置していくことで、処理対象の輝度データを再生成する。

即ち、再生成視点時系列２次元データの各構成要素は、図１０のターケンス化逆変換処理によって更新された後の各画素の輝度値である。
ただし、各構成要素（各画素の更新後の輝度値）が、原画像の各画素の配置順ではなく、人間の脳が視覚により画像を認知していく時間的順序で配置されたデータが、再生成視点時系列２次元データである。
具体的には本実施形態では、図９（Ａ）に示すように、視点から外側に向かう方向に、右回りの渦巻状となる順番で、各構成要素（各画素の更新後の輝度値）が配置されることによって、再生成視点時系列２次元データが構成されている。
セグメントＮｏを用いるならば、各構成要素（各画素の更新後の輝度値）が「１」乃至「ｎ」の順番で配置されたデータが、再生成視点時系列２次元データである。

そこで、本実施形態ではステップＳ６３の処理として、逆認知変換部５３は、処理対象の再生成視点時系列２次元データの各構成要素（各画素の更新後の輝度値）を、逆の順番で、セグメントＮｏを用いるならば「ｎ」乃至「１」の逆の順番で読み出す。
このとき、最初に読み出される構成要素が、ステップＳ６１の処理で決定されたＥＮＤアドレスに配置された構成要素、即ち、人間の脳であれば最後に認知される画素の更新後の輝度値である。セグメントＮｏを用いるならば「ｎ」が付された画素の更新後の輝度値が最初に読み出される。
そして、逆認知変換部５３は、図９（Ａ）に示す逆の順番、即ち、外側から視点に向かう方向に、左回りの渦巻状となる順番で、読み出された各構成要素（各画素の更新後の輝度値）を順次配置していく。
これにより、処理対象の輝度データ（ただし、各画素の輝度値は更新されているデータ）が再生成される。

ステップＳ６４において、逆認知変換部５３は、ＲＧＢの全てを処理対象にしたか否かを判定する。
ＲＧＢの全てが未だ処理対象になっていない場合、ステップＳ６４においてＮＯであると判定され、処理はステップＳ６２に戻され、それ以降の処理が繰り返される。
即ち、ＲＧＢの順に処理対象が設定されるとするならば、ステップＳ６２乃至Ｓ６４のループ処理が繰り返し実行されることで、Ｒの再生成視点時系列２次元データからＲの輝度データが再生成され、続いて、Ｇの再生成視点時系列２次元データからＧの輝度データが再生成され、最後に、Ｂの再生成視点時系列２次元データからＢの輝度データが再生成される。
これにより、ステップＳ６４においてＹＥＳであると判定され、２次元データ逆視点時系列化処理は終了する。即ち、図１３のステップＳ５２の処理が終了し、処理はステップＳ５３に進む。

ステップＳ５３において、逆認知変換部５３は、ＲＧＢ比率調整処理を実行する。
ＲＧＢ比率調整処理とは、再生成されたＲＧＢ毎の輝度データの各々について、同一画素のＲＧＢの輝度値の比率が所定範囲内に収まるように、各輝度値を調整する処理をいう。

ステップＳ５４において、逆認知変換部５３は、再生成されたＲＧＢ毎の輝度データを合成する処理（以下、「ＲＧＢ合成処理」と呼ぶ）を実行して、再生成画像のデータを生成する。

これにより、逆認知変換処理は終了する。即ち、図４のステップＳ１４の処理が終了し、画像認知に基づく画像変換処理が終了する。
この時点で、表示部１１の画面のうち、再生成画像表示領域２４には、再生成画像が表示される。
なお、ユーザは、再生成画像表示領域２４に表示された再生成画像が所望の画像でない場合、所望の画像が表示されるまで、アトラクタの編集操作を何度でも行うことができる。この場合、画像処理装置１は、ステップＳ１１及びＳ１２の処理をその都度実行してもよいが、適宜省略して、ステップＳ１３の処理から開始するようにしてもよい。

以上説明したように、第１実施形態に係る画像処理装置１は、認知変換部５１と、ターケンス可逆変換部５２と、逆認知変換部５３と、を備えている。
認知変換部５１は、原画像のデータを構成する各画素の輝度値のそれぞれを構成要素として、人間が視覚により画像を認知していく時間的順序に基づいて決定された所定の順番で配列し直し、その結果得られるデータを視点時系列２次元データとして出力する。
ターケンス可逆変換部５２は、視点時系列２次元データを、ターケンスの埋め込み定理を用いてＮ次元（Ｎは２以上の整数値）の空間に描画するアトラクタのデータに変換する変換処理を実行する。次に、ターケンス可逆変換部５２は、ユーザの指示操作に従って、アトラクタの形状が変化するように、当該アトラクタのデータを補正する補正処理を実行する。そして、ターケンス可逆変換部５２は、補正処理後のアトラクタのデータ（即ち、編集後アトラクタのデータ）に対して、当該変換処理の逆変換処理を施し、その結果得られるデータを再生成視点時系列２次元データとして出力する。
逆認知変換部５３は、再生成視点時系列２次元データの各構成要素を、認知変換部５１で用いた所定の順番と逆の順番で配列し直し、その結果得られるデータを、再生成画像のデータとして出力する。

ここで、ターケンス可逆変換部５２が逆変換を施すデータは、ユーザ操作により形状が変化したアトラクタのデータである。形状が変化する前のアトラクタのデータは、人間が視覚により画像を認知していく時間的順序に基づいて、原画像のデータから変換されたものである。
従って、アトラクタの形状を変化させるユーザ操作、即ち上述した編集操作は、人間の脳の視覚の順序（画像の認知順序）に近い編集操作であるといえる。
これにより、原画像と比較して、画像の持つ印象が強まった再生成画像が得られる。即ち、従来には存在しなかった、絵の印象が原画像よりも強烈に表現された画像や、従来には存在しなかった絵の変換が施された画像等が、再生成画像として得られる。

換言すると、ターケンス可逆変換部５２の処理、即ちターケンス可逆変換処理（図１０参照）とは、上述したように、音声処理分野における特許文献１に記載の技術を適用した処理である。
このような音声処理分野における特許文献１に記載の技術を適用したターケンス可逆変換処理を実現するために、認知変換部５１と逆認知変換部５３とが設けられているのである。
このようにして、音声処理分野の技術を適用して、人間の脳の視覚の順序に基づく画像処理が実現される。

以上、本発明に係る画像処理装置の第１実施形態について説明した。
次に、本発明に係る画像処理装置の第２実施形態について説明する。

［第２実施形態］
図１５は、第２実施形態に係る画像認知に基づく画像変換処理の流れの一例を示すフローチャートである。

図４と図１５とを比較するに、図１５のステップＳ７１は図４のステップＳ１１と同様の処理であり、図１５のステップＳ７２は図４のステップＳ１２と同様の処理であり、図１５のステップＳ７４は図４のステップＳ１４と同様の処理である。
これらの処理の詳細な説明は上述したのでここでは省略するが、第２実施形態に係る画像処理装置も、画像認知に基づく画像変換処理として、原画像のデータに対して、認知変換処理及び逆認知変換処理を施して、再生画像のデータを生成する点は第１実施形態と一致する。
一方、第２実施形態と第１実施形態との差異点は次のとおりである。即ち、第１実施形態では、図４のステップＳ１２とステップＳ１４との間のステップＳ１３の処理として、上述したターケンス可逆変換処理が実行される（図１０参照）。これに対して、第２実施形態では、図１５のステップＳ７２とステップＳ７４との間のステップＳ７３の処理として、「フーリエ可逆変換処理」と呼ばれる処理が実行される。
機能的構成の点から換言すると、図示はしないが、第２実施形態に係る画像処理装置は、図３の第１実施形態の機能的構成と比較して、次の点のみが異なり、それ以外の点は一致する。即ち、第２実施形態に係る画像処理装置においては、第１実施形態のターケンス可逆変換部５２の代わりに、「フーリエ可逆変換処理」を実行する機能ブロックが設けられる点、及び、アトラクタデータ記憶部６３の代わりに、「フーリエ可逆変換処理」で用いられるデータを記憶する機能ブロックが設けられる点のみが異なり、それ以外の点は一致する。
なお、第２実施形態に係る画像処理装置は、さらに、第１実施形態と同様に図１の外観的構成を有しており、第１実施形態と基本的に同様の図２の画面を表示するものとする。ここで、画面について「基本的に同様」と記載したのは、アトラクタ表示領域２３Ｒ，２３Ｇ，２３Ｂに対応する領域には、アトラクタ描画画像では無く、「フーリエ可逆変換処理」の実行結果を示す画像が表示されるという微差があるからである。

さらに、以下、図１６及び図１７を参照して、図１５のステップＳ７３のフーリエ可逆変換処理について詳細に説明する。
図１６は、図１５のステップＳ７３のフーリエ可逆変換処理の詳細な流れの一例を説明するフローチャートである。
図１７は、図１６のフーリエ可逆変換処理の具体的な結果の一例を示すグラフである。

図１６に示すフーリエ可逆変換処理は、図１５のステップＳ７２の処理で認知変換処理が実行されて、ＲＧＢ毎の視点時系列２次元データが生成されると、ステップＳ７３の処理として実行される。
なお、フーリエ可逆変換処理の動作主体は、より正確にいえば、第１実施形態のターケンス可逆変換部５２の代わりに設けられる機能ブロック（図示せず）であるが、以下、説明の簡略上、単に画像処理装置であるものとする。

図１６のステップＳ８１において、画像処理装置は、ＲＧＢ毎の視点時系列２次元データの各々に対して、ＦＦＴ（Fast Fourier Transform）処理等のフーリエ変換処理を施すことによって、その形態を時間領域のデータから周波数領域のデータに変換する。

図１７（Ａ）は、ステップＳ８１のフーリエ変換処理が実行される前の時間領域の視点時系列２次元データにより表現される画像、即ち、第１実施形態で説明した視点時系列２次元グラフの一例を示している。なお、図１７（Ａ）は、ＲＧＢのうち例えばＲについての視点時系列２次元グラフであるものとする。
ここで、図示はしないが、第２実施形態の表示部１１の画面においても、図２の画面と同様に視点時系列表示領域２２Ｒ，２２Ｇ，２２Ｂが設けられているものとする。この場合、図１７（Ａ）に示すＲについての視点時系列２次元グラフが、視点時系列表示領域２２Ｒに表示されることになる。

図１７（Ｂ）は、ステップＳ８１のフーリエ変換処理が実行された後の周波数領域のデータ（以下、「視点周波数データ」と呼ぶ）により表現される画像（以下、「視点周波数分布グラフ」と呼ぶ）の一例を示している。なお、図１７（Ｂ）は、ＲＧＢのうち例えばＲについての視点周波数分布グラフであるものとする。
図１７（Ｂ）において、横軸は周波数であり、縦軸はゲインである。
ここで、図示はしないが、第２実施形態の表示部１１の画面には、図２の画面のアトラクタ表示領域２３Ｒ，２３Ｇ，２３Ｂの代わりに、ＲＧＢ毎の視点周波数分布グラフの各々を表示する領域（以下、「周波数解析結果表示領域」と呼ぶ）が設けられている。この場合、図１７（Ｂ）に示すＲについての視点周波数グラフが、Ｒについての周波数解析結果表示領域に表示されることになる。

ユーザは、表示部１１のＲＧＢ毎の周波数解析結果表示領域の各々に表示された視点周波数グラフを視認しながら、操作部１２を操作することで、任意の数の任意の視点周波数グラフの波形の形状を任意に編集することができる。
このように、ユーザにより形状が編集された波形を有する視点周波数グラフを、以下、「編集後視点周波数グラフ」と呼ぶ。
図１７（Ｃ）は、編集後視点周波数グラフの一例を示している。
図１７（Ｃ）内の両矢印で示すように、ユーザは、任意の数の任意の周波数のゲインを任意に調整することによって、所望の編集後視点周波数グラフを生成することができる。
このようなユーザの編集の操作を受け付けて、編集後視点周波数グラフに対応する周波数領域のデータ（以下、「編集後視点周波数データ」と呼ぶ）を生成する処理が、「周波数毎ゲイン調整処理」と呼ばれており、ステップＳ８２の処理として実行される。
即ち、ステップＳ８２において、画像処理装置は、ＲＧＢ毎の視点周波数データに対して、周波数毎ゲイン調整処理を施すことによって、ＲＧＢ毎の編集後視点周波数データを生成する。
なお、ユーザによる周波数毎のゲイン調整の編集操作が行われなかった視点周波数データは、そのまま編集後視点周波数データとして採用される。

ステップＳ８３において、画像処理装置は、ＲＧＢ毎の編集後視点周波数データの各々に対して、逆ＦＦＴ（Fast Fourier Transform）処理等の逆フーリエ変換処理を施すことによって、その形態を周波数領域のデータから時間領域のデータに戻す。
ここで、ステップＳ８３の逆フーリエ変換処理の結果得られる時間領域のデータは、編集後視点周波数データ（周波数毎にゲインが調整されたデータ）に基づいて視点時系列２次元データがいわば再生成されたものである。よって、ステップＳ８３の逆フーリエ変換処理の結果得られる時間領域のデータは、第１実施形態と同様に、「再生成視点時系列２次元データ」として取り扱うことができる。
このため、図１６のステップＳ８３の処理が終了すると、即ち図１５のステップＳ７３の処理が終了し、処理はステップＳ７４に進み、第１実施形態と同様の逆認知変換処理が実行され、再生成画像のデータが生成される。

以上説明したように、第２実施形態に係る画像処理装置は、第１実施形態と同様に、原画像のデータを構成する各画素の輝度値のそれぞれを構成要素として、人間が視覚により画像を認知していく時間的順序に基づいて決定された所定の順番で配列し直し、その結果得られるデータを視点時系列２次元データとして出力する。
第２実施形態にかかる画像処理装置は、視点時系列２次元データを、時間領域のデータから周波数領域のデータ（視点周波数データ）に変換するフーリエ変換処理を実行する。次に、第２実施形態にかかる画像処理装置は、前記周波数領域のデータのうち１以上の周波数のゲインを変化させることにより、前記周波数領域のデータを補正する補正処理を実行する。そして、第２実施形態にかかる画像処理装置は、補正処理後の周波数領域のデータ（即ち、編集後視点周波数データ）に対して、逆フーリエ変換処理を施し、その結果得られるデータを再生成視点時系列２次元データとして出力する。
第２実施形態に係る画像処理装置は、第１実施形態と同様に、上述の所定の順番と逆の順番で配列し直し、その結果得られるデータを、再生成画像のデータとして出力する。
ここで、逆フーリエ変換処理を施すデータは、ユーザ操作により波形の形状が変化した（周波数毎のゲイン調整が行われた）周波数領域のデータ、即ち編集後視点周波数データである。波形の形状が変化する前の周波数領域のデータ、即ち視点周波数データは、人間が視覚により画像を認知していく時間的順序に基づいて、原画像のデータから変換されたものである。
従って、周波数領域のデータの波形の形状を変化させるユーザ操作は、人間の脳の視覚の順序（画像の認知順序）に近い編集操作であるといえる。
これにより、原画像と比較して、画像の持つ印象が強まった再生成画像が得られる。即ち、従来には存在しなかった、絵の印象が原画像よりも強烈に表現された画像や、従来には存在しなかった絵の変換が施された画像等が、再生成画像として得られる。

換言すると、フーリエ可逆変換処理とは、音声処理分野において音声データに対して施されていた従来の技術を適用した処理である。
このような音声処理分野における技術を適用したフーリエ可逆変換処理を実現するために、認知変換部５１と逆認知変換部５３とが設けられているのである。
このようにして、音声処理分野の技術を適用して、人間の脳の視覚の順序に基づく画像処理が実現される。

なお、本発明は上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。

例えば、認知変換処理と逆認知変換処理との間の処理として、上述の第１実施形態では図１０のターケンス可逆変換処理が採用され、上述の第２実施形態では図１６のフーリエ可逆変換処理が採用されたが、特にこれらに限定されない。
即ち、認知変換処理で得られる視点時系列２次元データを第１の形態から第２の形態に変換する変換処理を実行し、ユーザの指示操作に従って第２の形態のデータを補正する補正処理を実行し、補正処理後のデータを第２の形態から第１の形態に逆変換する逆変換処理を実行し、その結果得られるデータを再生成視点時系列２次元データとして出力する処理であれば、認知変換処理と逆認知変換処理との間の処理として採用することができる。
ここで、このような処理として、音声処理分野の技術で採用されていた処理を適用することは、本発明において特に必須なことではない。ただし、音声処理分野の技術で採用されていた処理を適用することで、本発明を容易に具現化できるので好適である。

また例えば、上述した実施形態では、画像処理が施される対象は、ＲＧＢの各輝度値とされたが、特にこれに限定されず、任意の色表現形態で分類された場合の各画素値、例えば色相や彩度等の値を採用することができる。

また例えば、上述した実施形態では、原画像のデータから視点２次元時系列データを生成する場合、視点に対応するスタートポイントから、左又は右回りの渦巻状に、各画素の輝度値のそれぞれを順次サンプリングする、といったサンプリング手法が採用された。
しかしながら、サンプリング手法は、これに限定されず、人間が視覚により画像を認知していく時間的順序に基づいて決定された所定の順番でサンプリングする手法であれば足りる。
具体的には例えば、視点から同一距離に存在する網膜上の各神経、即ち図８の点線で示す同一円周上に分布する各神経から、脳までの伝達速度は同一であると仮定することもできる。このような仮定の下で、視点に対応するスタートポイントから、同心円状に広がるようにサンプリングをしていく、といったサンプリング手法を採用してもよい。この場合、同一円周状（より正確には正方形の辺状）に分布する各画素の輝度値は、時系列では同一時刻のデータとなるため、同一円周状の各画素の輝度値の平均値等をサンプリング値として採用すればよい。
また例えば、人間が視覚により画像を認知していく時間的順序として影響を及ぼす要素として、上述した実施形態で用いた目から脳までの神経の距離の他に、目の網膜に分布する神経の密度や、脳内での視覚の処理順序等が存在すると考えられる。よって、これらの要素に対応させた順番でサンプリングしていく、といったサンプリング手法を採用してもよい。

また例えば、上述した実施形態では、本発明が適用される画像処理装置は、デジタルフォトフレームとして構成される例として説明した。
しかしながら、本発明は、特にこれに限定されず、画像処理機能を有する電子機器一般に適用することができ、例えば、本発明は、パーソナルコンピュータ、携帯型ナビゲーション装置、ポータブルゲーム機等に幅広く適用可能である。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。

図１８は、上述した一連の処理をソフトウェアにより実行させる場合の、本発明が適用される画像処理装置のハードウェア構成を示すブロック図である。

画像処理装置は、ＣＰＵ（Central Processing Unit）１０１と、ＲＯＭ（Read Only Memory）１０２と、ＲＡＭ（Random Access Memory）１０３と、バス１０４と、入出力インターフェース１０５と、入力部１０６と、出力部１０７と、記憶部１０８と、通信部１０９と、ドライブ１１０と、上述した音源部５６と、を備えている。

ＣＰＵ１０１は、ＲＯＭ１０２に記録されているプログラムに従って各種の処理を実行する。又は、ＣＰＵ１０１は、記憶部１０８からＲＡＭ１０３にロードされたプログラムに従って各種の処理を実行する。
ＲＡＭ１０３にはまた、ＣＰＵ１０１が各種の処理を実行する上において必要なデータ等も適宜記憶される。

例えば、上述した図３の機能的構成のうち、認知変換部５１、ターケンス可逆変換部５２、逆認知変換部５３、及び表示制御部５５、並びに図１６のフーリエ可逆変換処理を実行する機能ブロック（図示せず）は、ＣＰＵ１０１というハードウェアと、ＲＯＭ１０２等に記憶されたプログラム（ソフトウェア）との組み合わせとして構成することができる。

ＣＰＵ１０１、ＲＯＭ１０２、及びＲＡＭ１０３は、バス１０４を介して相互に接続されている。このバス１０４にはまた、入出力インターフェース１０５も接続されている。入出力インターフェース１０５には、入力部１０６、出力部１０７、記憶部１０８、通信部１０９、及びドライブ１１０が接続されている。

入力部１０６は、例えば図１の操作部１２等により構成される。
出力部１０７は、例えば図１の表示部１１や図示せぬ音声出力部等により構成される。
記憶部１０８は、ハードディスク等により構成され、各種データを記憶する。例えば図３のデータ記憶部５４は、記憶部１０８内の一領域として構成され、上述した各種形態の画像のデータを記憶する。
通信部１０９は、インターネット等を介して他の装置との間で行う通信を制御する。

ドライブ１１０には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなるリムーバブルメディア１２１が適宜装着される。ドライブ１１０によって読み出されたコンピュータプログラムは、必要に応じて記憶部１０８等にインストールされる。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。

このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布されるリムーバブルメディア１２１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディアは、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ(Compact Disk-Read Only Memory)，DVD(Digital Versatile Disk)等により構成される。光磁気ディスクは、ＭＤ(Mini-Disk)等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されているＲＯＭ１０２や記憶部１０８に含まれるハードディスク等で構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。

１・・・画像処理装置、１１・・・表示部、１２・・・操作部、５１・・・認知変換部、５２・・・ターケンス可逆変換部、５３・・・逆認知変換部、５４・・・データ記憶部、５５・・・表示制御部、６１・・・原画像記憶部、６２・・・視点時系列２次元データ記憶部、６３・・・アトラクタデータ記憶部、６４・・・再生成視点時系列２次元データ記憶部、６５・・・再生成画像記憶部、１０１・・・ＣＰＵ、１０２・・・ＲＯＭ、１０３・・・ＲＡＭ、１０６・・・入力部、１０７・・・出力部、１０８・・・記憶部、１０９・・・通信部、１１０・・・ドライブ、１２１・・・リムーバブルメディア

Claims (7)

1. 所定の画像を原画像として、前記原画像のデータに対して画像処理を施す画像処理装置において、
   前記原画像のデータを構成する各画素の画素値のそれぞれを構成要素として、人間が視覚により画像を認知していく時間的順序に基づいて決定された所定の順番で配列し直し、その結果得られるデータを、視点２次元時系列データとして出力する認知変換手段と、
   前記認知変換手段から出力された前記視点２次元時系列データを変換処理する２次元時系列データ変換手段と、
   前記２次元時系列データ変換手段で変換処理された前記再生成視点２次元時系列データを、前記認知変換手段で用いられた前記所定の順番と逆の順番で配列し直し、その結果得られるデータを、再生成画像のデータとして出力する逆認知変換手段と、
   を備える画像処理装置。
2. 前記２次元時系列データ変換手段は、
   前記認知変換手段から出力された前記視点２次元時系列データを第１の形態から第２の形態に変換する変換処理を実行し、前記第２の形態のデータを補正する補正処理を実行し、補正後のデータを前記第２の形態から前記第１の形態に逆変換する逆変換処理を実行し、その結果得られるデータを、再生成視点２次元時系列データとして出力する形態可逆変換手段を備える、
   請求項１に記載の画像処理装置。
3. 前記認知変換手段は、
   前記原画像を構成する前記各画素の中から視点となる画素をスタートポイントに設定し、
   前記スタートポイントから、左又は右回りの渦巻状に、前記各画素の画素値のそれぞれを順次サンプリングしていき、
   サンプリングの順番で、前記各画素の画素値を配列し直し、
   その結果得られるデータを、前記視点２次元時系列として出力する、
   請求項１又は２に記載の画像処理装置。
4. 前記形態可逆変換手段は、
   前記視点２次元時系列データを、ターケンスの埋め込み定理を用いてＮ次元（Ｎは２以上の整数値）の空間に描画するアトラクタのデータに変換する前記変換処理を実行し、
   アトラクタの形状が変化するように、前記アトラクタのデータを補正する前記補正処理を実行し、
   前記補正処理後の前記アトラクタのデータを用いて、前記変換処理の逆変換処理を実行し、
   その結果得られるデータを、前記再生成視点時系列２次元データとして出力する、
   請求項２に記載の画像処理装置。
5. 前記形態可逆変換手段は、
   前記視点２次元時系列データに対してフーリエ変換を施すことで、データの形態を時間領域から周波数領域に変換する前記変換処理を実行し、
   前記周波数領域のデータのうち１以上の周波数のゲインを変化させることにより、前記周波数領域のデータを補正する前記補正処理を実行し、
   補正処理後の前記周波数領域のデータ（編集後視点周波数データ）に対して、逆フーリエ変換を施すことで、データの形態を周波数領域から時間領域に逆変換する前記逆変換処理を実行し、
   その結果得られるデータを、前記再生成視点時系列２次元データとして出力する、
   請求項２に記載の画像処理装置。
6. 所定の画像を原画像として、前記原画像のデータに対して画像処理を施す画像処理装置の画像処理方法において、
   前記原画像のデータを構成する各画素の画素値のそれぞれを構成要素として、人間が視覚により画像を認知していく時間的順序に基づいて決定された所定の順番で配列し直し、その結果得られるデータを、視点２次元時系列データとして出力する認知変換ステップと、
   前記認知変換ステップの処理によって出力された前記視点２次元時系列データ変換処理する２次元時系列データ変換ステップと、
   前記２次元時系列データ変換ステップで変換処理された前記再生成視点２次元時系列データを、前記認知変換ステップで用いられた前記所定の順番と逆の順番で配列し直し、その結果得られるデータを、再生成画像のデータとして出力する逆認知変換ステップと、
   を含む画像処理方法。
7. 所定の画像を原画像として、前記原画像のデータに対して画像処理を施す画像処理装置を制御するコンピュータに、
   前記原画像のデータを構成する各画素の画素値のそれぞれを構成要素として、人間が視覚により画像を認知していく時間的順序に基づいて決定された所定の順番で配列し直し、その結果得られるデータを、視点２次元時系列データとして出力する認知変換機能と、
   前記認知変換機能の実現によって出力された前記視点２次元時系列データを変換処理する２次元時系列データ変換機能と、
   前記２次元時系列データ変換機能の実現によって変換処理された前記再生成視点２次元時系列データを、前記認知変換機能で用いられた前記所定の順番と逆の順番で配列し直し、その結果得られるデータを、再生成画像のデータとして出力する逆認知変換機能と、
   を実現させるプログラム。
   

Images