JP6924829B2 - 映像処理装置、映像処理方法、およびプログラム - Google Patents

映像処理装置、映像処理方法、およびプログラム Download PDF

Info

Publication number
JP6924829B2
JP6924829B2 JP2019521556A JP2019521556A JP6924829B2 JP 6924829 B2 JP6924829 B2 JP 6924829B2 JP 2019521556 A JP2019521556 A JP 2019521556A JP 2019521556 A JP2019521556 A JP 2019521556A JP 6924829 B2 JP6924829 B2 JP 6924829B2
Authority
JP
Japan
Prior art keywords
information
soma
color
unit
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019521556A
Other languages
English (en)
Other versions
JPWO2018220694A1 (ja
Inventor
裕子 石若
裕子 石若
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SoftBank Corp
Original Assignee
SoftBank Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SoftBank Corp filed Critical SoftBank Corp
Publication of JPWO2018220694A1 publication Critical patent/JPWO2018220694A1/ja
Application granted granted Critical
Publication of JP6924829B2 publication Critical patent/JP6924829B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals

Description

本発明は、受け付けた映像を処理し、出力する映像処理装置等に関するものである。
従来、良好な映像を表示することのできる映像処理装置があった(例えば、特許文献1参照)。かかる映像処理装置は、左目用画像と右目用画像とを含むフレームが入力される入力手段と、 入力された前記左目用画像を含み、当該左目用画像の周辺の画像の少なくとも一部を除く第2の左目用画像と、入力された前記右目用画像を含み、当該右目用画像の周辺の画像の少なくとも一部を除いた第2の右目用画像とを、表示装置の画面の解像度に対応する解像度で前記表示装置に表示させる表示制御手段とを備える映像処理装置である。
特開2012−29236号公報
しかしながら、従来技術においては、人間の目の機能を模倣して得られる映像を得ることができなかった。
本第一の発明の映像処理装置は、2以上のカラー画像を有する映像を受け付ける入力情報受付部と、映像が有する2以上の各カラー画像に対して、カラー画像の一部の領域をモノクロ化する第一の処理、カラー画像の時間的に前のカラー画像の少なくとも一部の領域の赤の色情報を取得し、色情報をカラー画像に付加する第二の処理、カラー画像の一部の領域を黒または白にする第三の処理、のうちのいずれか1以上の処理を行い、2以上の変更画像を取得する変更部と、2以上の変更画像を出力する出力部とを具備する映像処理装置である。
かかる構成により、人間の目の機能を模倣して得られる映像を得ることができる。
また、本第二の発明の映像処理装置は、第一の発明に対して、変更部は、少なくとも第一の処理を行い、かつ第一の処理において、映像が有する2以上の各カラー画像の一部の異なる領域をモノクロ化する映像処理装置である。
かかる構成により、人間の目の機能を模倣して得られる映像を得ることができる。
また、本第三の発明の映像処理装置は、第一または第二の発明に対して、somaを識別するsoma識別子と、somaが発火するための条件に関する発火条件情報とを有する2以上のsoma関連情報が格納されるsoma関連情報格納部と、2以上のsomaの間の結合を特定する1以上の結合情報が格納される結合情報格納部と、1以上のsoma識別子を有する発火パターンを用いた出力のための条件である出力条件と出力される情報である出力情報とを有する1以上の出力管理情報が格納される出力管理情報格納部とをさらに具備し、変更部は、映像が有する2以上の各カラー画像に対して、各カラー画像を構成する1または2以上の各部分画像からR、G、B、Yのうちの1以上の情報である1以上の特徴情報を取得する特徴情報取得手段と、2以上の各カラー画像ごと、および1以上の各部分画像ごとに、特徴情報取得手段が取得した1以上の特徴情報と最初に発火するsomaを識別する1以上のsoma識別子とを取得し、かつ1以上の他のsomaから渡された1以上の特徴情報または1以上の特徴情報から取得される1以上の特徴情報と発火の判断の対象となる1以上の各somaのsoma識別子とを取得する情報伝達手段と、2以上の各カラー画像ごと、および1以上の各部分画像ごとに、情報伝達手段が取得した1以上の特徴情報と、情報伝達手段が取得した1以上の各soma識別子と対になる発火条件情報とを用いて、各soma識別子で識別されるsomaが発火するか否かを判断する判断手段と、2以上の各カラー画像ごと、および1以上の各部分画像ごとに、判断手段が発火すると判断したsomaを識別する1以上のsoma識別子を含む発火パターンを取得する発火パターン取得手段と、2以上の各カラー画像ごとに、発火パターン取得手段が取得した発火パターンに対応する出力情報を、1以上の各部分画像ごとに出力管理情報格納部から取得し、取得した1以上の出力情報から変更画像を構成する出力情報取得手段とを具備する映像処理装置である。
かかる構成により、人間の目の構造を模倣した仕組みにより、人間の目の機能を模倣して得られる映像を得ることができる。
また、本第四の発明の映像処理装置は、第一から第三いずれか1つの発明に対して、2以上の各カラー画像を構成する2以上の各部分画像の色に関する色情報を取得する色情報取得部と、色情報取得部が取得した色情報が予め決められた条件を満たす領域である1以上の注目領域を各カラー画像ごとに決定する注目領域決定部とをさらに具備し、出力部は、注目領域決定部が決定した1以上の注目領域の変化である注目領域遷移を視覚的に認識可能なように出力する映像処理装置である。
かかる構成により、人間が視界の中で着目するオブジェクトの動きを提示できる。
また、本第五の発明の映像処理装置は、第一から第四いずれか1つの発明に対して、入力情報受付部は、右目の第一のカラー画像を有する第一の映像と、左目の第二のカラー画像を有する第二の映像とを受け付け、変更部は、第一の映像および第二の映像の各々に対して、第一の処理、第二の処理、第三の処理、のうちのいずれか1以上の処理を行い、右目の第一の変更画像と左目の第二の変更画像を取得し、第一の変更画像と第二の変更画像とを合成する合成部をさらに具備し、出力部は、合成部が合成した画像を出力する映像処理装置である。
かかる構成により、人間の目の構造を模倣した仕組みにより、人間の目の機能を模倣して得られる映像を得ることができる。
本発明による映像処理装置によれば、人間の目の機能を模倣して得られる映像を得ることができる。
実施の形態1における映像処理装置Aのブロック図 同映像処理装置Aが動作について説明するフローチャート 同第一の処理について説明するフローチャート 同第二の処理について説明するフローチャート 同第三の処理について説明するフローチャート 同注目領域決定処理について説明するフローチャート 同カラー画像の例を示す図 同変更部31のカラー画像の変更過程を説明する図 同変更部31のカラー画像の変更過程を説明する図 同変更部31のカラー画像の変更過程を説明する図 同変更部31のカラー画像の変更過程を説明する図 同出力例を示す図 同注目領域決定部33の処理を説明する図 同出力例を示す図 同変更部31のカラー画像の変更過程を説明する図 同変更部31のカラー画像の変更過程を説明する図 同出力例を示す図 同出力例を示す図 実施の形態2における映像処理装置Bのブロック図 同映像処理装置Bを構成する処理部のブロック図 同映像処理装置Bの動作について説明するフローチャート 同発火伝達処理の例の詳細について説明するフローチャート 同発火判断処理の詳細について説明するフローチャート 同発火パターン処理の例の詳細について説明するフローチャート 同soma成長処理について説明するフローチャート 同AXON成長処理について説明するフローチャート 同Dendrites成長処理について説明するフローチャート 同soma結合処理について説明するフローチャート 同グリア細胞成長処理について説明するフローチャート 同アポトーシス処理について説明するフローチャート 実施の形態1における出力例を示す図 上記実施の形態におけるコンピュータシステムの概観図 同コンピュータシステムのブロック図
以下、映像処理装置等の実施形態について図面を参照して説明する。なお、実施の形態において同じ符号を付した構成要素は同様の動作を行うので、再度の説明を省略する場合がある。
(実施の形態1)
本実施の形態において、受け付けた映像に対して、目の機能を模倣した画像処理を行い、変更画像を取得し、出力する映像処理装置について説明する。なお、目の機能を模倣した画像処理を行った結果は、通常、目を通して脳に入力された映像が脳内で処理された結果である、と言える。
また、目を通して脳に入力されたカラー画像は、脳内における情報処理により、当該カラー画像の一部の領域がモノクロ化され、赤の色情報をフィードバックされ、かつ盲点が存在する画像となる。そして、本実施の形態における画像処理は、カラー画像の一部の領域をモノクロ化する第一の処理、赤(R)の情報をフィードバックして、後の画像に付加する第二の処理、盲点を設ける第三の処理のうちの1または2以上の処理である、とする。
また、本実施の形態において、第一の処理において、モノクロ化する領域が、動的に変化する映像処理装置について説明する。
また、本実施の形態において、出力される画像を構成する各画素の輝度の変化により、オブジェクトの動き検出を行う映像処理装置について説明する。
図1は、本実施の形態における映像処理装置Aのブロック図である。映像処理装置Aは、格納部1、受付部2、処理部3、および出力部4を備える。受付部2は、入力情報受付部21を備える。処理部3は、変更部31、色情報取得部32、注目領域決定部33、および合成部34を備える。
格納部1は、各種の情報が格納される。各種の情報とは、例えば、受付部2が受け付ける映像である。
受付部2は、各種の情報や指示などを受け付ける。各種の情報や指示とは、例えば、映像、サッカード位置サッカード位置である。サッカード位置とは、画像の中の位置であり、サッカードの中心点である。サッカードとは、盲点をカバーするために自動的に眼球を動かす仕組みと言っても良い。サッカード位置は、後述する盲点の中心点と考えても良い。サッカード位置は、例えば、画像の中の座標値(x,y)である。受付部2は、図示しないアイトラッキングの装置から、サッカード位置を受け付けても良い。受付部2は、図示しないアイトラッキングの装置から受け付けた位置の情報からサッカード位置を取得しても良い。サッカード位置の受け付け方法は問わない。ここで、受け付けとは、キーボードやマウス、タッチパネルなどの入力デバイスから入力された情報の受け付け、有線もしくは無線の通信回線を介して送信された情報の受信、光ディスクや磁気ディスク、半導体メモリなどの記録媒体から読み出された情報の受け付けなどを含む概念である。また、各種の情報や指示の入力手段は、例えば、タッチパネルやキーボードやマウスやメニュー画面によるもの等であり、何でも良い。受付部2は、タッチパネルやキーボード等の入力手段のデバイスドライバーや、メニュー画面の制御ソフトウェア等で実現され得る。
入力情報受付部21は、入力情報を受け付ける。入力情報は、本実施の形態では、2以上のカラー画像を有する映像である。つまり、入力情報受付部21が受け付ける映像は、通常、いわゆる動画である。ただし、入力情報受付部21は、静止画を受け付けても良い。また、入力情報は、2以上の映像でも良い。また、入力情報は、2つの映像でも良い。2つの映像は、例えば、右目で捕らえた映像と左目で捕らえた映像である。なお、カラー画像とは、例えば、RGBの色情報を有する画素の集合であり、モノクロの画像も含む。カラー画像は、通常、輝度値を有する情報である。カラー画像を構成する画素は、例えば、(R,G,B,Y)により表現される。ここで、Rは赤の色情報、Gは緑の色情報、Bは青の色情報、Yは輝度の情報である。また、入力情報に、上記のサッカード位置を含んでも良い。
処理部3は、各種の処理を行う。各種の処理とは、例えば、変更部31、色情報取得部32、注目領域決定部33が行う処理である。処理部3は、通常、後述する第一の処理、後述する第二の処理、および後述する第三の処理を行う。処理部3は、第一の処理、第二の処理、第三の処理のうち、1または2つの処理のみを行っても良い。
変更部31は、第一の処理、第二の処理、第三の処理のうち、1または2以上の処理を行い、2以上の変更画像を取得する。
第一の処理は、人間が見ている画像の一部、特に、中心部を除く周辺部の一部がモノクロであることを模倣する処理である。また、第一の処理は、モノクロの領域が動的に変化することも模倣する処理であることは好適である。第二の処理は、前に見た画像の中で、赤の色情報は後の画像にフィードバックされる、という目の機能を模倣する処理である。第三の処理は、盲点を模倣する処理である。
第一の処理は、詳細には、入力情報受付部21が受け付けた映像が有する2以上の各カラー画像に対して、カラー画像の一部の領域をモノクロ化する処理である。例えば、変更部31は、まず、各カラー画像に対して、モノクロ化する1以上の領域を決定する。次に、変更部31は、決定した1以上の各領域をモノクロ化する。なお、決められた領域の各画素をカラーからモノクロにする処理は公知技術であるので詳細な説明は省略する。なお、かかる領域は、カラー画像ごとに異なっていることは好適である。つまり、入力情報受付部21が2以上のカラー画像を順に受け付けた場合、モノクロ化する領域は、カラー画像ごとに、動的に変化することは好適である。また、モノクロ化する一部の領域は、カラー画像の中心点から閾値以内の領域を除く領域(候補領域という)であり、変更部31は、その候補領域を予め決められた領域に分割し、分割した各領域に対して、例えば、ランダムにモノクロ化するか否かを決定することにより、モノクロ化する一部の領域を決定する。なお、候補領域とは、モノクロ化する候補の領域である。また、中心点から閾値以内の領域とは、円形でも良いし、矩形でも良いし、その他、ランダムな形状でも良い。ランダムな形状とは、例えば、閾値が中心点からの方向(角度)により、閾値がランダムに変更されることである。
また、例えば、変更部31は、まず、各カラー画像を構成する各画素に対して、モノクロ化するか否かを、予め決められたアルゴリズムにより決定しても良い。なお、予め決められたアルゴリズムとは、例えば、カラー画像の中心点から閾値以内の領域を除く候補領域の各画素に対して、確率的にモノクロ化するか否かを決定し、モノクロ化すると決定した画素をモノクロ化する。なお、カラー画像の中心点から離れるほど、モノクロ化する確率が高いことは好適である。また、モノクロ化する処理は、例えば、輝度を小さくする処理でも良い。また、モノクロ化する処理は、例えば、対象領域をグレースケールにする処理でも良い。ただし、モノクロ化する処理は、対象領域の画素を黒か白かの二値のいずれかにする処理等でも良い。
また、変更部31が、候補領域を決定するアルゴリズム、処理対象の画像の中のモノクロ化する一部の領域を決定するアルゴリズムは種々あり得、問わない。
変更部31は、少なくとも第一の処理を行い、かつ第一の処理において、映像が有する2以上の各カラー画像の一部の異なる領域をモノクロ化することは好適である。つまり、モノクロ化される領域が、動的に変化することは好適である。
なお、変更部31がモノクロ化する領域を変更するタイミングや周期は問わない。変更部31は、予め決められた数の連続するフィールド(カラー画像)ごとにモノクロ化する領域を変更しても良いし、すべてのフィールドにおいて直前のフィールドとは異なる領域をモノクロ化しても良い。
第二の処理は、詳細には、一のカラー画像の時間的に前のカラー画像の少なくとも一部の領域の赤の色情報を取得し、当該赤の色情報を当該一のカラー画像に付加する処理である。第二の処理において、時間的に前に第一の処理が行われた結果の画像の少なくとも一部の領域の赤の色情報を取得し、当該赤の色情報を、直前に第一の処理が行われた結果の画像に付加することは好適である。
なお、赤の色情報を取得する処理は、画素の赤の成分の値が閾値以上の場合に、当該画素のすべての色情報(R,G,B)を取得する処理でも良いし、画素の赤の成分の値が閾値以上の場合に、当該画素の赤の成分の値を取得する処理でも良いし、画素の赤の成分の値が第一閾値以上であり、他の色(G,B)が第二閾値以下である場合(画素の色が赤である、と言える場合)に、当該画素のすべての色情報(R,G,B)を取得する処理でも良いし、画素の赤の成分の値が第一閾値以上であり、他の色(G,B)が第二閾値以下である場合に、当該画素の赤の成分の値を取得する処理でも良い。
また、赤の色情報をカラー画像に付加する処理は、時間的に前のカラー画像の赤の位置と対応する位置に、赤の色情報を、時間的に後のカラー画像に付加する処理である。
赤の色情報を付加する処理は、例えば、時間的に前のカラー画像の画素Aの赤の値(X)を取得し、時間的に後のカラー画像の画素Bの赤の値(Y)に、画素Aの赤の値(X)または当該赤の値を減じた値(例えば、「αX」[0<α<1])を加算し、時間的に後のカラー画像の画素Bの処理後の赤の値(「Y+X」、または「Y+αX」)を得る処理である。なお、赤の色情報を付加する処理は、時間的に前のカラー画像の画素の赤の値が、当該画素に対応する画素であり、時間的に後のカラー画像の画素の赤の値に影響を及ぼす(赤の値を増加させる)処理であれば良い。また、上記の時間的に後のカラー画像の画素Bは、時間的に前のカラー画像の画素Aに対応する画素である。対応する画素とは、通常、注視位置からの相対位置が同じ画素である。つまり、時間的に前のカラー画像の注視位置が(x1,y1)であり、上記の画素Aの位置が(x1,y1)であり、時間的に後のカラー画像の注視位置が(x2,y2)である場合、上記の画素Bの位置が(x2,y2)であり、始点(x1,y1)、終点(x1,y1)からなるベクトルは、始点(x2,y2)、終点(x2,y2)からなるベクトルと等しい。さらに、上記のαは、時間的に前になるほど、小さな値となることは好適である。なお、注視位置とは、Foveaの中の位置である。Foveaとは、カラーの解像度が高い領域である。また、注視位置は、Foveaの領域の真ん中(重心点)でも良いし、最もカラーの解像度が高い点でも良い。
また、第二の処理において、変更部31は、すべての赤の色情報を取得し、時間的に後のカラー画像に付加することは好適であるが、一部の赤の色情報を取得し、時間的に後のカラー画像に付加しても良い。かかる一部の赤の色情報は、すべての赤の色情報のうち、変更部31がランダムに決定しても良いし、予め決められたアルゴリズムで決定しても良い。また、第二の処理において、変更部31は、一のカラー画像の直前のみのカラー画像の少なくとも一部の領域の赤の色情報を取得し、当該赤の色情報を一のカラー画像に付加しても良いし、一のカラー画像の直前のカラー画像に加え、2以上前のカラー画像の少なくとも一部の領域の赤の色情報をも取得し、当該赤の色情報をも一のカラー画像に付加しても良い。
また、変更部31は、時間的に、より前のカラー画像から取得された赤の色情報の影響が、直前等の時間的により近いカラー画像から取得された赤の色情報の影響より少なくなるように、時間的に前のカラー画像の少なくとも一部の領域の赤の色情報を取得し、当該赤の色情報を当該一のカラー画像に付加することは好適である。つまり、例えば、変更部31は、各カラー画像の赤の画素に対して、どのタイミングのカラー画像から原始的に取得されたかを、少なくとも一時的に格納しており、より前のカラー画像から取得された赤の画素ほど、先のカラー画像に付加されないようにする。例えば、変更部31は、各カラー画像の赤の画素に対して、どのタイミングのカラー画像から原始的に取得されたかを、少なくとも一時的に格納しており、より前のカラー画像から取得された赤の画素が先のカラー画像に付加される確率を低くし、かかる確率に従って、前のカラー画像の赤の色情報を後のカラー画像に付加するか否かを決定する。なお、かかる場合、例えば、格納部1に、どれほど前のカラー画像かを示す情報(例えば、1、2、・・・、Nといった自然数)と確率を示す確率情報との組が2以上、格納されている。
第三の処理は、詳細には、カラー画像の一部の領域を予め決められた特定の値にする処理である。特定の値は、例えば、NULLである。特定の値は、色情報が採り得ない値であることは好適である。また、当該一部の領域を盲点領域と言う。盲点領域は、カラーの領域の外であることは好適である。また、サッカード位置が受け付けられている場合、盲点領域は、カラー画像のサッカード位置を含むことは好適である。サッカード位置が受け付けられている場合、盲点領域は、カラー画像のサッカード位置を中心とする領域であることは好適である。また、盲点領域は、動的に変動することは好適である。また、盲点領域の大きさは固定でも良いし、動的に変更されても良い。また、盲点領域の形状も円形や矩形等、固定の形状でも良いし、動的に変更されても良い。なお、盲点領域が動的に変動する場合、例えば、受付部2により、動的に変化するサッカード位置が受け付けられる場合である。
変更部31は、例えば、まず、予め決められたアルゴリズムで盲点領域を決定する。例えば、変更部31は、カラー画像の中心点を基準として、予め決められた範囲内でランダムに変更し、盲点領域の中心点の座標を決定する。次に、変更部31は、例えば、予め決められた範囲内でランダムに盲点領域の大きさを決定する。次に、変更部31は、例えば、盲点領域の中心点の座標から盲点領域の大きさを半径とする領域の各画素を黒に変更する。
なお、盲点領域を変更するタイミングや周期等は問わない。変更部31は、ランダムなタイミングで盲点領域を変化させても良いし、予め決められた周期(例えば、10フィールドごと)で盲点領域を変化させても良いし、受け付けられた画像ごとに盲点領域を変化させても良い。
変更部31が、第一の処理、第二の処理、第三の処理のうち、2以上の処理を行う場合、処理の順序は問わない。ただし、変更部31は、第一の処理を最初に行うことは好適である。つまり、変更部31が3つの処理を行う場合、変更部31は、第一の処理、第二の処理、第三の処理の順、または第一の処理、第三の処理、第二の処理の順のいずれかで行うことは好適である。
変更部31は、第一の映像および第二の映像の各々に対して、上記の第一の処理、上記の第二の処理、上記の第三の処理、のうちのいずれか1以上の処理を行い、右目の第一の変更画像と左目の第二の変更画像を取得しても良い。なお、第一の映像とは、1または2以上の右目の第一のカラー画像を有する映像である。第二の映像とは、1または2以上の左目の第一のカラー画像を有する映像である。また、変更部31が第一の映像および第二の映像の各々に対して行う処理は、並列処理することは好適である。
色情報取得部32は、2以上の各カラー画像を構成する2以上の各部分画像の色情報を取得する。色情報取得部32は、2以上の各部分画像を構成する画素の色情報を代表する色情報を、部分画像ごとに取得しても良い。代表する色情報は、色情報の代表値である。色情報の代表値は、例えば、部分画像を構成する画素の色情報を構成する各色と輝度の値の平均値の、複数の部分画像の平均値である。色情報の代表値は、例えば、部分画像を構成する画素の色情報を構成する各色と輝度の値の中央値等の、複数の部分画像の中央値等である。
注目領域決定部33は、注目領域を決定する。注目領域決定部33は、例えば、サッカード位置を中心とした領域を決定する。注目領域決定部33は、例えば、サッカード位置を中心とした、予め決められた形状の領域(例えば、半径Nの円の領域)を決定する。また、注目領域決定部33は、例えば、サッカード位置を中心とし、動的に変化する領域を決定する。注目領域決定部33は、例えば、範囲あり(x1〜xn)の乱数を発生させ、当該乱数を用いて、動的に変化する領域を決定する。注目領域決定部33は、例えば、サッカード位置を中心とし、発生させた乱数を半径とする円の領域を決定する。また、注目領域決定部33は、例えば、サッカード位置を中心とし、n個の点を動的に変化させ、n角形の図形の領域を決定する。
注目領域決定部33は、例えば、予め決められた条件を満たすほど色情報の領域を決定する。注目領域決定部33は、例えば、予め決められた条件を満たすほど、色情報の値が大きい領域を決定する。なお、この領域が注目領域である。注目領域は、Fovea(color resolutionが高いところ)である。さらに具体的には、注目領域決定部33は、例えば、色情報取得部32が取得した色情報の値の統計量(例えば、RGBの合計値、RGBYの合計値、RGBの平均値、RGBYの平均値、RGBの中央値、RGBYの中央値、RGBの最大値、RGBYの最大値など)を取得し、当該色情報の値の統計量が予め決められた条件を満たすほど大きい領域を決定する。注目領域決定部33は、例えば、注視位置を中心とし、色情報の値の統計量が予め決められた条件を満たすほど大きい連続した領域を決定しても良い。なお、領域を決定することは、例えば、領域を特定する2以上の座標値を取得すること、領域を特定する2以上の値(例えば、中心点の座標と半径)をすること等である。一のカラー画像に対して、注目領域は、通常、一つで、連続した領域であるが、離散した2以上の領域でも良い。
合成部34は、変更部31が取得した第一の変更画像と第二の変更画像とを合成する。つまり、合成部34は、左目で得られる画像と右目で得られる画像とを合成する。例えば、左目で得られる画像が画像a、右目で得られる画像bである場合、合成部34は、画像aと画像bとの位置合わせを行い、合成する。なお、左目で得られる画像と右目で得られる画像とを合成する処理は公知技術であるので詳細な説明を省略する。なお、合成部34は、画像aの一の画素a1と画素a1に対応する位置に存在する画素であり、画像bの画素b1との対応を検知し、画素a1と画素b1とが同じ位置になるように、画像aまたは/および画像bを平行移動する。次に、合成部34は、重なった2つの画像の、同じ位置の画素の組ごとに、対応する2つの画素の画素値を統合し、合成後の各画素の画素値を算出する。そして、合成部34は、左目で得られる画像と右目で得られる画像とを合成した画像を得る。なお、合成部34が合成する元になる2つの画像は、上記の変更部31が処理を行った変更画像であることは好適である。
出力部4は、変更部31が取得した2以上の変更画像を出力する。出力部4は、変更部31が取得した2以上の変更画像を、順次、出力する。つまり、出力部4が出力する2以上の変更画像は、通常、いわゆる動画である。ただし、出力部4は、1つの変更画像(静止画)を出力しても良い。
出力部4は、注目領域決定部33が決定した1以上の注目領域の変化である注目領域遷移を視覚的に認識可能なように出力する。出力部4は、通常、注目領域決定部33により決定された領域を他の領域と比較して目立つ態様で、変更画像を出力する。注目領域決定部33により決定された領域は、注目領域という。ここで、他の領域と比較して目立つ態様とは、例えば、注目領域を赤い枠で囲むこと、注目領域をハイライト表示すること等である。また、他の領域と比較して目立つ態様とは、他の領域をグレーアウトする等、他の領域を注目領域と比較して目立たない態様とすること等でも良い。なお、他の領域と比較して目立つ態様は、問わないことは言うまでもない。
出力部4は、合成部34が合成した画像を出力しても良い。
また、出力とは、ディスプレイへの表示、プロジェクターを用いた投影、プリンタでの印字、外部の装置への送信、記録媒体への蓄積、他の処理装置や他のプログラムなどへの処理結果の引渡しなどを含む概念である。
また、出力部4が出力する画像は、目に入力され、目の細胞を用いて、処理された結果である、と考えても良い。また、出力部4が出力する画像は、図示しない、画像や映像を処理する脳情報処理のモジュールに渡されても良い。
格納部1は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。格納部1に情報が記憶される過程は問わない。例えば、記録媒体を介して情報が格納部1で記憶されるようになってもよく、通信回線等を介して送信された情報が格納部1で記憶されるようになってもよく、あるいは、入力デバイスを介して入力された情報が格納部1で記憶されるようになってもよい。
処理部3、変更部31、色情報取得部32、注目領域決定部33、合成部34は、通常、MPUやメモリ等から実現され得る。処理部3等の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
出力部4は、ディスプレイやスピーカー等の出力デバイスを含むと考えても含まないと考えても良い。出力部4は、出力デバイスのドライバーソフトまたは、出力デバイスのドライバーソフトと出力デバイス等で実現され得る。
次に、映像処理装置Aの動作について、図2のフローチャートを用いて説明する。
(ステップS201)入力情報受付部21は、映像を受け付けたか否かを判断する。映像を受け付けた場合はステップS202に行き、映像を受け付けない場合はステップS201に戻る。
(ステップS202)変更部31は、カウンタiに1を代入する。
(ステップS203)変更部31は、ステップS201で受け付けられた映像の中に、i番目のカラー画像が存在するか否かを判断する。i番目のカラー画像が存在する場合はステップS204に行き、i番目のカラー画像が存在しない場合はステップS201に戻る。
(ステップS204)変更部31は、第一の処理を行う。第一の処理について、図3のフローチャートを用いて説明する。
(ステップS205)変更部31は、第二の処理を行う。第二の処理について、図4のフローチャートを用いて説明する。なお、第二の処理の対象は、第一の処理を行った結果の画像であることは好適である。
(ステップS206)変更部31は、第三の処理を行う。第三の処理について、図5のフローチャートを用いて説明する。なお、第三の処理の対象は、第一の処理および第二の処理を行った結果の画像であることは好適である。
(ステップS207)出力部4は、ステップS206における処理の結果である変更画像を出力する。
(ステップS208)処理部3は、注目領域を決定する処理を行う。注目領域決定処理について、図6のフローチャートを用いて説明する。
(ステップS209)出力部4は、ステップS208で決定された注目領域が他の領域と比較して目立つ態様で出力する。さらに具体的には、出力部4は、ステップS208でバッファに蓄積された部分領域識別子で識別される部分領域を、他の領域と比較して目立つ態様で出力する。
(ステップS210)変更部31は、カウンタiを1、インクリメントする。ステップS203に戻る。
なお、図2のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。
次に、ステップS204の第一の処理について、図3のフローチャートを用いて説明する。
(ステップS301)変更部31は、モノクロ化する領域を、直前のカラー画像に対してモノクロ化した領域と、異なる領域にするか否かを判断する。異なる領域にする場合はステップS302に行き、異なる領域にしない場合はステップS309に行く。なお、処理の最初のカラー画像は、「異なる領域にする」と判断される。
(ステップS302)変更部31は、モノクロ化する領域の候補領域を取得する。なお、候補領域は、カラー画像の中心点およびその周辺領域を除いた領域である。
(ステップS303)変更部31は、カウンタiに1を代入する。
(ステップS304)変更部31は、候補領域の中のi番目の部分領域が存在するか否かを判断する。i番目の部分領域が存在する場合はステップS305に行き、i番目の部分領域が存在しない場合は上位処理にリターンする。なお、部分領域とは、画素でも良いし、所定のアルゴリズムで候補領域を分割した場合の一の分割した領域でも良い。所定のアルゴリズムとは、例えば、候補領域を、縦、横、予め決められた数に分割することである。なお、部分領域の決定方法(候補領域の分割方法)は問わない。
(ステップS305)変更部31は、i番目の部分領域をモノクロ化するか否かを判断する。モノクロ化する場合はステップS306に行き、モノクロ化しない場合はステップS308に行く。変更部31は、例えば、i番目の部分領域の中心点と,処理対象の画像の中心点との距離が大きいほど、モノクロ化すると決定される確率が高くなるように、i番目の部分領域をモノクロ化するか否かを決定する。
(ステップS306)変更部31は、i番目の部分領域をモノクロ化する。
(ステップS307)変更部31は、i番目の部分領域の領域識別子を図示しないバッファに一時蓄積する。なお、領域識別子は、部分領域を特定できる情報であれば何でも良い。領域識別子は、例えば、部分領域を特定できる2点以上の座標値の集合である。
(ステップS308)変更部31は、カウンタiを1、インクリメントする。ステップS304に戻る。
(ステップS309)変更部31は、カウンタjに1を代入する。
(ステップS310)変更部31は、図示しないバッファの情報を検査して、j番目のモノクロの部分領域が存在するか否かを判断する。j番目のモノクロの部分領域が存在する場合はステップS311に行き、j番目のモノクロの部分領域が存在しない場合は上位処理にリターンする。
(ステップS311)変更部31は、j番目のモノクロの部分領域識別子を図示しないバッファから取得する。そして、変更部31は、j番目のモノクロの部分領域識別子に対応する領域をモノクロ化する。
(ステップS312)変更部31は、カウンタjを1、インクリメントする。ステップS310に戻る。
次に、ステップS205の第二の処理について、図4のフローチャートを用いて説明する。
(ステップS401)変更部31は、カウンタiに1を代入する。
(ステップS402)変更部31は、処理対象の画像データに、i番目の画素が存在するか否かを判断する。i番目の画素が存在する場合はステップS403に行き、i番目の画素が存在しない場合は上位処理にリターンする。
(ステップS403)変更部31は、i番目の画素の赤の色情報が、予め決められた条件を満たすほど大きいか否かを判断する。予め決められた条件を満たすほど大きい場合はステップS404に行き、予め決められた条件を満たすほど大きくない場合はステップS406に行く。なお、「予め決められた条件を満たすほど大きい」とは、例えば、画素の色情報に含まれる赤の値が第一閾値より大きく、画素の色情報に含まれる他の色(G,B)の値が第二閾値より小さいことでも良い。
(ステップS404)変更部31は、赤の色情報と画素識別子とカラー画像識別子とを対にして、図示しないバッファに蓄積する。画素識別子は、例えば、i番目の画素の位置を示す情報であり、例えば、処理対象のカラー画像の中の空間の座標値(x,y)である。カラー画像識別子は、処理対象のカラー画像を識別する情報であり、例えば、受け付けられた映像の中のフレームIDである。
(ステップS405)変更部31は、直前のカラー画像のi番目の画素の赤の色情報が図示しないバッファに格納されているか否かを判断する。格納されている場合はステップS406に行き、格納されている場合はステップS407に行く。
(ステップS406)変更部31は、直前のカラー画像のi番目の画素の赤の色情報を、図示しないバッファから取得する。
(ステップS407)変更部31は、処理対象の画像データのi番目の画素の赤の色情報(例えば、赤の値Y)に、ステップS406で取得した赤の色情報(例えば、赤の値X)、またはステップS406で取得した赤の色情報に対して演算(例えば、上記のαを乗算する)を行い、減じた赤の色情報(例えば、上記のαX)を付加する。その結果、i番目の画素の赤の色が強調される(例えば、「Y+αX」となる)。例えば、元々、青の画素が、赤の色が強調され、紫の画素になる。
(ステップS408)変更部31は、カウンタiを1、インクリメントする。ステップS402に戻る。
なお、図4のフローチャートにおいて、直前のカラー画像の赤のみがフィードバックされて、次の画像に反映されたが、2以上前のカラー画像の赤も、フィードバックされて、次の画像に反映されても良い。時間的に前のカラー画像になるほど、フィードバックされる赤の値が小さくなる(影響が小さくなる)ことは好適である。
次に、ステップS206の第三の処理について、図5のフローチャートを用いて説明する。
(ステップS501)変更部31は、盲点領域を変更するか否かを判断する。変更する場合はステップS502に行き、変更しない場合はステップS510に行く。なお、最初の画像の場合、「盲点領域を変更する」と判断される。
(ステップS502)変更部31は、新たな盲点領域の中心座標を取得する。なお、中心座標の取得アルゴリズムは問わない。変更部31は、例えば、直前の盲点領域の中心座標から予め決められた距離だけ変動させた中心座標をランダムに取得する。また、変更部31は、例えば、中心座標から予め決められた範囲の座標を、ランダムに取得する。
(ステップS503)変更部31は、新たな盲点領域の大きさを取得する。なお、盲点領域の大きさの取得アルゴリズムは問わない。変更部31は、例えば、直前の盲点領域の大きさを、予め決められた範囲からランダムに取得する。
(ステップS504)変更部31は、ステップS502で取得した中心座標と、ステップS503で取得した大きさとを用いて、盲点領域の情報を取得し、図示しないバッファに蓄積する。なお、盲点領域の情報は、中心座標と大きさのみでも良いし、盲点領域の境界を示す情報でも良い。
(ステップS505)変更部31は、カウンタiに1を代入する。
(ステップS506)変更部31は、処理対象の画像データの中に、i番目の画素が存在するか否かを判断する。i番目の画素が存在する場合はステップS507に行き、i番目の画素が存在しない場合は上位処理にリターンする。なお、処理対象の画像データは、例えば、受け付けられたカラー画像に対して、第一の処理および第二の処理が行われた画像である。
(ステップS507)変更部31は、i番目の画素が盲点領域の中の画素であるか否かを、盲点領域の情報を用いて判断する。i番目の画素が盲点領域の中の画素である場合はステップS508に行き、盲点領域の中の画素でない場合はステップS509に行く。
(ステップS508)変更部31は、i番目の画素の色を黒に変更する。
(ステップS509)変更部31は、カウンタiを1、インクリメントする。ステップS502に戻る。
(ステップS510)変更部31は、図示しないバッファから盲点領域の情報を読み出す。なお、この盲点領域の情報は、最近にバッファに蓄積された盲点領域の情報である。
次に、ステップS208の注目領域決定処理について、図6のフローチャートを用いて説明する。
(ステップS601)注目領域決定部33は、カウンタiに1を代入する。
(ステップS602)注目領域決定部33は、処理対象の画像データの中に、i番目の部分領域が存在するか否かを判断する。i番目の部分領域が存在する場合はステップS603に行き、i番目の部分領域が存在しない場合はステップS608に行く。処理対象の画像データは、通常、受け付けられたカラー画像に対して第一の処理、第二の処理、および第三の処理が行われた画像である。
(ステップS603)色情報取得部32は、i番目の部分領域を構成する各画素の色情報を取得する。なお、部分領域の決定方法(処理対象の画像データの分割方法)は問わない。
(ステップS604)色情報取得部32は、ステップS603で取得した1以上の色情報の代表値を取得する。なお、この色情報の代表値は、例えば、各画素の色情報を構成する値の平均値の、1以上の画素の平均値である。
(ステップS605)注目領域決定部33は、ステップS604で取得された代表値が予め決められた条件を満たすか否かを判断する。予め決められた条件を満たす場合はステップS606に行き、予め決められた条件を満たさない場合はステップS607に行く。なお、予め決められた条件を満たすことは、予め決められた条件を満たすほど、例えば、色情報の代表値が大きいことである。
(ステップS606)注目領域決定部33は、i番目の部分領域の部分領域識別子を図示しないバッファに蓄積する。
(ステップS607)注目領域決定部33は、カウンタiを1、インクリメントする。ステップS602に戻る。
(ステップS608)注目領域決定部33は、図示しないバッファに格納されている部分領域識別子であり、中心点に最も近い部分領域の部分領域識別子を取得し、図示しないバッファに蓄積する。この部分領域識別子の部分領域は、着目領域の中心となる領域である。また、中心点に最も近い部分領域とは、中心点を含む部分領域でも良い。
(ステップS609)注目領域決定部33は、ステップS608で取得した部分領域識別子で識別される部分領域と直接または間接的に繋がっている部分領域の識別子を取得し、図示しないバッファに蓄積する。上位処理にリターンする。
なお、図6のフローチャートにおいて、決定される注目領域は一つであるが、分離している2以上の注目領域があっても良い。また、決定される注目領域は、右目が注目している領域と左目が注目している領域とを合わせた領域で、繋がっている一つの領域であることは好適である。
また、図6のフローチャートにおいて、注目領域決定部33は、受け付けられた注視位置を中心とする領域でも良いことは言うまでもない。
以下、本実施の形態における映像処理装置Aの具体的な動作について説明する。
今、入力情報受付部21は、図7に示す2つのカラー画像(画像A、画像B)を有する映像を受け付けた、とする。図7において、画像Aは(A)、画像Bは(B)である。
すると、変更部31は、まず、画像Aに対して、例えば、以下のように第一の処理を行い、画像A(1)を取得する。
つまり、変更部31は、カラー画像の中心点の座標値(x,y)を取得する。次に、変更部31は、予め決められたX〜Xまでのカラー保証領域の半径範囲から、ランダムに、Xを決定する。変更部31は、例えば、X〜Xまでの間の範囲を指定して、乱数を発生させ、Xを取得する。なお、「X」「X」について、格納部1に格納されている。
次に、変更部31は、カラー保証領域を除く領域である候補領域(R)を特定する情報を取得する(図8参照)。なお、かかる情報は、例えば、中心点の座標値(x,y)、および半径Xである。
次に、変更部31は、候補領域(R)を2以上の部分領域に分割する。部分領域は、ここでは、縦、横の線により、予め決められた幅Wで区切られた領域である、とする(図9参照)。なお、幅Wは、通常、一定である。ただし、画像の中心から離れるほど、幅Wは、大きくなるなど、変化しても良い。また、部分領域は、一画素でも良い。
次に、変更部31は、図9の各部分領域に対して、確率的に、モノクロ化するか否かを判断する。なお、「確率的に」とは、例えば、予め決められた確率で、モノクロ化する「1」、モノクロ化しない「0」のいずれかの値を取得することである。なお、予め決められた確率は、格納部1に格納されている、とする。そして、変更部31は、候補領域(R)の中の一部の部分領域をモノクロ化し、画像A(1)を取得する。かかる画像A(1)は、図10である。図10において、網掛けの部分領域がモノクロ化された領域である、とする。また、中心点から離れた部分領域ほど、モノクロ化される可能性が高いことは好適である。
そして、画像A(1)より時間的に前の画像を受け付けていないので、変更部31は、第二の処理を行わない。
次に、変更部31は、画像A(1)に対して、例えば、以下のように第三の処理を行い、画像A(2)を得る。つまり、まず、変更部31は、盲点領域の中心座標(x,y)を取得する。次に、変更部31は、予め決められたY〜Yまでの盲点領域の大きさの半径範囲から、ランダムに、Yを決定する。
次に、変更部31は、中心座標(x,y)の点を中心として、半径Yの円の領域を盲点領域と決定する。
次に、変更部31は、盲点領域の各画素の色を黒に変更する。そして、変更部31は、図11に示す画像A(2)を得る。図11において、1101の黒の領域は盲点領域である。
次に、出力部4は、変更部31が取得した変更画像である画像A(2)を出力する。実際の出力例は、図12のようになる。なお、画像A(2)は、図7の画像Aが脳で変更された画像に近い画像である、と言える。
次に、処理部3は、以下のように、注目領域を決定する処理を行う。つまり、まず、注目領域決定部33は、例えば、画像A(2)を2以上の部分領域に分割する(図13参照)。ここで、注目領域決定部33は、画像A(2)のうちの候補領域を除く領域(適宜「中心領域」という)のみを2以上の部分領域に分割することは好適である。なお、部分領域は、矩形であるが、その形状は問わない。また、部分領域のサイズも問わない。さらに、各部分領域は、同一の大きさであっても良いし、異なる大きさであっても良い。なお、部分領域に分割することは、各部分領域を特定する情報(例えば、左上座標、または左上座標と右下座標など)を取得することでも良い。また、中心領域のサイズや形状も問わない。
次に、色情報取得部32は、注目領域決定部33が分割した各部分領域の各画素の色情報を取得する。次に、色情報取得部32は、注目領域決定部33が分割した各部分領域の各画素の色情報を用いて、各部分領域の色情報の代表値を、部分領域ごとに取得する。
次に、注目領域決定部33は、取得された代表値が予め決められた条件を満たす1以上の各部分領域の部分領域識別子を取得する。注目領域決定部33は、通常、取得された代表値が予め決められた条件を満たすほど大きい1以上の各部分領域の部分領域識別子を取得する。
次に、注目領域決定部33は、取得した1以上の部分領域の識別子の中で、中心点に最も近い部分領域の部分領域識別子を取得する。そして、次に、注目領域決定部33は、中心点に最も近い部分領域と直接または間接的に繋がっている部分領域の識別子を取得する。かかる1または2以上の部分領域識別子で識別される1以上の部分領域が注目領域である。
次に、出力部4は、決定された注目領域が他の領域と比較して目立つ態様とする。目立つ態様は、例えば、領域を太線で囲むことである。かかる出力例は、図14である。なお、目立つ態様は、例えば、ハイライトすること等でも良いことは言うまでもない。
次に、変更部31等は、図7の画像B(図7の(B))を処理する。つまり、まず、変更部31は、画像Bに対して、上述したような第一の処理を行い、画像B(1)を得る(図15参照)。なお、画像Bに対する第一の処理の結果のモノクロ化された部分領域は、通常、画像Aに対する第一の処理の結果のモノクロ化された部分領域とは異なる。各部分領域がモノクロ化されるか否かは、ここでは確率的に決定されるからである。
次に、変更部31は、図15の画像B(1)に対して第二の処理を行い、画像B(2)を得る。つまり、変更部31は、画像B(1)の各画素に対して、以前に出力された画像(ここでは、図14の画像A(2))の対応する位置(例えば、同じ位置)の画素の色情報が赤の成分(赤の値[例えば、X])を含む場合、画像B(1)の中の当該画素の色情報を構成する赤の成分(例えば、Y)に、画像A(2)の対応する位置の画素の色情報が赤の成分の値(例えば、X)を用いて、赤の成分を増加させる演算を行う(例えば、「Y+αX」(0<α<=1))。なお、本具体例において、直前の出力画像の赤の色情報のみフィードバックされるが、2以上前に出力された画像の赤の色情報もフィードバックされても良い。そして、変更部31は、例えば、図16の画像B(2)を得た、とする。画像B(2)の一部の画素において、図14の画像A(2)の赤が反映されている。
次に、変更部31は、画像B(2)に対して、第三の処理を行い、画像B(3)を得る。つまり、まず、変更部31は、盲点領域を決定し、盲点領域の各画素の値をNULLに変更する。そして、変更部31は画像B(3)を得る。なお、盲点領域の各画素の値は、−1等でも良い。つまり、盲点領域の各画素の値は、RGBYが取り得ない値とし、色情報を有する画素と区別可能にすることは好適である。
次に、出力部4は、変更部31が取得した変更画像である画像B(3)を出力する。実際の出力例は、図17である。なお、画像B(3)は、図7の画像Bが脳で変更された画像に近い画像である、と言える。
次に、処理部3は、上述したように、画像B(3)の注目領域を決定する処理を行う。そして、出力部4は、決定された注目領域が他の領域と比較して目立つ態様とする。かかる出力例は、図18である。
以上、本実施の形態によれば、人間の目の機能を模倣して得られる映像を得ることができる。
また、本実施の形態において、人間が視界の中で着目するオブジェクトの動きを提示できる。
なお、本実施の形態において、入力情報受付部21が右目と左目の2つの画像を受け付けた場合、以下のように処理が行われても良い。つまり、例えば、入力情報受付部21が右目の画像である図7(a)と左目の画像である図7(b)とを受け付けた、とする。そして、変更部31が2つの画像(図7(a)、図7(b))を処理する。そして、変更部31は、例えば、図7(a)を処理し、図12の画像を得た、とする。なお、ここで、変更部31は、2つの画像(図7(a)、図7(b))を並列処理することは好適である。次に、合成部34は、変更部31により処理された、変更後の右目の画像、および変更後の左目の画像を、位置を合わせて合成する。次に、出力部4は、合成部34が合成した画像を出力する。なお、かかる出力例は、図31である。また、図31において、盲点領域は0である。合成部34が変更後の右目の画像と変更後の左目の画像とを合成した場合、変更後の右目の画像にある盲点領域は、変更後の左目の画像により無くなり、変更後の左目の画像にある盲点領域は、変更後の右目の画像により無くなるからである。
なお、本実施の形態における処理は、ソフトウェアで実現しても良い。そして、このソフトウェアをソフトウェアダウンロード等により配布しても良い。また、このソフトウェアをCD−ROMなどの記録媒体に記録して流布しても良い。なお、このことは、本明細書における他の実施の形態においても該当する。なお、本実施の形態における映像処理装置Aを実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータを、2以上のカラー画像を有する映像を受け付ける入力情報受付部と、前記映像が有する2以上の各カラー画像に対して、前記カラー画像の一部の領域をモノクロ化する第一の処理、前記カラー画像の時間的に前のカラー画像の少なくとも一部の領域の赤の色情報を取得し、当該色情報を前記カラー画像に付加する第二の処理、前記カラー画像の一部の領域を黒または白にする第三の処理、のうちのいずれか1以上の処理を行い、2以上の変更画像を取得する変更部と、前記2以上の変更画像を出力する出力部として機能させるためのプログラムである。
(実施の形態2)
本実施の形態において、実施の形態1とは、脳の中の構造や機能を用いる点が異なる。本実施の形態において、実施の形態1と、実現する機能は同等である。つまり、本実施の形態においても、受け付けた映像に対して、目の機能を模倣した画像処理を行い、変更画像を取得し、出力する映像処理装置について説明する。なお、画像処理は、カラー画像の一部の領域をモノクロ化する第一の処理、赤(R)の情報をフィードバックして、後の画像に付加する第二の処理、盲点を設ける第三の処理のうちの1または2以上の処理である。
なお、本実施の形態において説明する脳の中の構造や機能等は以下である。つまり、本実施の形態において、1以上のsoma(神経細胞体と言っても良い。)の発火条件を格納しており、入力から得られた1以上の情報を用いて、各somaが発火するか否かを判断し、その判断結果から発火パターンを取得し、当該発火パターンを用いて、出力情報を決定し、出力する映像処理装置について説明する。
また、本実施の形態において、特徴情報に対応して、最初に発火するsomaの情報を管理する発火始点情報を用いて、特徴情報の伝達処理が行われる映像処理装置について説明する。
また、本実施の形態において、2以上のリンクを経由してsomaに伝達された2以上の特徴情報をsoma内で演算する処理を行う映像処理装置について説明する。
また、本実施の形態において、2以上のsoma群(神経細胞体群と言っても良い。)が存在し、結合しているsoma群の間で情報を受け渡す映像処理装置について説明する。
また、本実施の形態において、情報の受け渡しは、AXON(軸索と言っても良い。)とDentrites(樹状突起と言っても良い。)とを有するリンクによって情報が伝わったり、伝わらなかったりする映像処理装置について説明する。
また、本実施の形態において、シナプスやスパインをも考慮した情報伝達を行う映像処理装置について説明する。
また、本実施の形態において、動作した要素は、予め決められた条件を満たすほど時間が経過していない場合には動作しない映像処理装置について説明する。なお、要素は、例えば、soma、AXON、Dendritesである。
また、本実施の形態において、発火したsomaの発火確率を上げる映像処理装置について説明する。
また、本実施の形態において、発火パターンと1以上の外部情報により、異なる出力情報を出力する映像処理装置について説明する。なお、外部情報とは、例えば、天気、気温、外界の風景、におい、音、光等である。
また、本実施の形態において、学習機能を有する映像処理装置について説明する。
また、本実施の形態において、要素が自動的に成長する映像処理装置について説明する。なお、成長のトリガーは発火または情報の受け付け等である。
また、本実施の形態において、グリア細胞情報を有し、グリア細胞情報が成長に影響する映像処理装置について説明する。
また、本実施の形態において、要素は位置情報を有し、位置情報を用いて、要素の成長や結合を実現する映像処理装置について説明する。
また、本実施の形態において、実際のAXON等の成長の仕方を模倣する映像理装置について説明する。
さらに、本実施の形態において、soma等の細胞のアポトーシス処理を模倣する映像処理装置について説明する。ここで、例えば、予め決められた条件を満たすほどsomaが多い場合にsomaを消滅させたり、予め決められた条件を満たすほど発火の回数が少ないsomaを消滅させたり、Dendritesに接続していないsomaを消滅させたり、接続されているAXONが予め決められたゴールに到達していないsomaを消滅させたりする。
図19は、本実施の形態における映像処理装置Bのブロック図である。映像処理装置Bは、格納部5、受付部2、処理部6、出力部4を備える。受付部2は、入力情報受付部21を備える。出力部4は、情報出力部41を備える。格納部5は、soma関連情報格納部51、soma群情報格納部52、結合情報格納部53、グリア細胞情報格納部54、発火始点情報格納部55、出力管理情報格納部56、学習条件格納部57、学習情報格納部58、発火情報格納部59、および利用結合情報格納部60を備える。
図20は、映像処理装置Bを構成する処理部6のブロック図である。処理部6は、変更部61、学習検知部62、学習情報蓄積部63、成長部64、アポトーシス処理部65、発火情報蓄積部66、色情報取得部32、注目領域決定部33、合成部34を備える。変更部61は、特徴情報取得手段611、情報伝達手段612、soma演算手段613、判断手段614、発火確率変更手段615、発火パターン取得手段616、出力情報取得手段617、制御手段618を備える。情報伝達手段612は、発火始点soma決定手段6121、結合検知手段6122、および伝達情報取得手段6123を備える。
格納部5には、各種の情報が格納される。各種の情報とは、例えば、受付部2が受け付ける映像、後述するsoma関連情報、後述するsoma群情報、後述する結合情報、後述するグリア細胞情報、後述する発火始点情報、後述する出力管理情報、後述する学習条件、後述する学習情報、後述する発火情報、後述する利用結合情報である。
soma関連情報格納部51は、2以上のsoma関連情報が格納される。ここで、soma関連情報は、somaに関する情報である。soma関連情報は、soma識別子と発火条件情報とを有する。soma関連情報は、通常、1以上のDendrites情報と1以上のAXON情報とを有する。Dendrites情報とは、somaへの情報の入力を実現するDendritesに関する情報である。Dendrites情報は、Dendrites識別子を有する。Dendrites識別子は、Dendritesを識別する情報であり、例えば、ID、名前等である。Dendrites情報は、Dendrites位置情報を有することは好適である。AXON情報とは、somaからの情報の出力を実現するAXONに関する情報である。AXON情報は、AXON識別子を有する。AXON識別子は、AXONを識別する情報であり、例えば、ID、名前等である。AXON情報は、AXON位置情報を有することは好適である。soma関連情報は、ゴール情報を有しても良い。ゴール情報とは、ゴールを特定する情報である。ゴールとは、somaに接続されるAXONまたはDendritesが延びる先である。ゴール情報は、位置を示す情報である。ゴール情報は、例えば、位置情報である。ゴール情報は、例えば三次元の座標値(x,y,z)または二次元の座標値(x,y)または四次元のクオータニオン(x,y,x,w)である。なお、色に関する発火条件情報を有するsomaをコーンという。輝度に関する発火条件情報を有するsomaをロットという。
なお、somaの間の結合を一つのリンクの情報で表現する場合には、soma関連情報は、Dendrites情報やAXON情報を有さなくても良い。
また、soma関連情報は、AXON情報またはDendrites情報に対応付けて、シナプスを識別するシナプス識別子またはスパインを識別するスパイン識別子を有しても良い。通常、シナプス識別子は、AXON情報に対応付く。また、通常、スパイン識別子は、Dendrites情報に対応付く。
また、soma関連情報は、somaが属するグループであるsoma群を識別するsoma群識別子を有しても良い。また、soma関連情報は、soma群識別子に対応付いていても良い。
また、soma関連情報は、somaの位置を示すsoma位置情報を有することは好適である。soma位置情報は、例えば、三次元の座標値(x,y,z)または二次元の座標値(x,y)または四次元のクオータニオン(x,y,x,w)である。
また、Dendrites位置情報は、Dendritesの位置を特定する情報であり、例えば、1または2以上の三次元の座標値(x,y,z)、または1または2以上の二次元の座標値(x,y)である。Dendrites位置情報が2以上の座標値を有する場合、Dendritesは、2以上の座標値の各点を結び線である。
また、AXON位置情報は、AXONの位置を特定する情報であり、例えば、1または2以上の三次元の座標値(x,y,z)、または1または2以上の二次元の座標値(x,y)である。AXON位置情報が2以上の座標値を有する場合、AXONは、2以上の座標値の各点を結び線である。
なお、Dendrites、AXONは枝分かれしても良い。Dendrites、AXONが枝分かれする場合の各々の位置情報は、3または4以上の座標値で表現され得る。ただし、Dendrites位置情報、AXON位置情報の表現方法は問わない。
また、soma識別子は、somaを識別する情報である。soma識別子は、例えば、ID、名前等である。発火条件情報は、somaが発火するための条件に関する情報である。発火条件情報は、通常、1以上の特徴情報を有する。特徴情報は、情報を識別する情報識別子と、情報の大きさを示す情報量とを有する情報でも良いし、情報の大きさを示す情報量のみの情報でも良い。情報量は、例えば、0より大きい数値である。発火条件情報は、例えば、「特徴情報>=0.5」「特徴情報>0.7」「情報量>=0.5」「情報量>0.7」「(情報識別子=A & 情報量>=0.5)&(情報識別子=B & 情報量>0.8)」等である。発火条件情報を構成する特徴情報は、情報量である。特徴情報は、例えば、特徴量であるが、入力情報そのものでも良い。特徴量は、例えば、画像解析した結果の画像の特徴量、音声解析した結果の音声の特徴量である。発火条件情報は、発火確率情報を有することは好適である。発火確率情報とは、発火する確率に関する情報である。発火確率情報は、発火確率そのものでも良いし、発火確率を関数等で変換した値等でも良い。発火確率情報が参照され、発火確率情報が示す確率で、特徴情報が同じでも、somaが発火したり、発火しなかったりすることは好適である。
2以上のsoma関連情報がグループ化されていても良い。「グループ化された」とは、例えば、soma関連情報にsoma群識別子が対応付いていることである。対応付いていることは、対応付けが可能であれば良い趣旨である。soma群識別子とは、somaが属するグループであるsoma群を識別する情報である。「グループ化された」とは、例えば、soma関連情報が有するゴール情報が同一であることである。また、「グループ化された」とは、例えば、同一のsoma群識別子を有しているまた、「グループ化された」とは、例えば、リンクにより結合されていることである。なお、soma関連情報のグループ化の方法やデータ構造は問わないことは言うまでもない。なお、soma関連情報は、soma群識別子を有しても良い。
また、soma関連情報は、somaが保持しているエネルギー量を示す保有エネルギー量情報を有していることは好適である。また、soma関連情報は、発火に必要なエネルギー量を示す必要エネルギー量情報を有していることは好適である。また、Dendrites情報は、Dendritesが保持しているエネルギー量を示す保有エネルギー量情報を有していることは好適である。また、Dendrites情報は、Dendritesを利用して情報伝達を行うために必要な必要エネルギー量情報を有していることは好適である。また、AXON情報は、AXONが保持しているエネルギー量を示す保有エネルギー量情報を有していることは好適である。さらに、AXON情報は、AXONを利用して情報伝達を行うために必要な必要エネルギー量情報を有していることは好適である。
soma群情報格納部52は、2以上のsoma群情報が格納される。soma群情報は、soma群識別子とゴール情報とを有する。ゴール情報とは、soma群に属するsomaに接続されるAXONまたはDendritesが延びる先を特定する情報である。ゴール情報は、例えば、1または2以上の三次元の座標値(x,y,z)、または1または2以上の二次元の座標値(x,y)である。ゴール情報は、例えば、方向を示す情報でも良い。
結合情報格納部53は、1または2以上の結合情報が格納される。結合情報は、2以上のsomaの間の結合を特定する情報である。結合情報は、一のsomaのAXONと他のsomaのDendritesとの結合を特定する情報でも良い。かかる情報も、somaの間の結合を特定する情報である。結合情報は、一のシナプスと一のスパインとの間の結合を特定する情報でも良い。かかる情報も、somaの間の結合を特定する情報である。結合情報は、例えば、結合する2つのsoma識別子を有する。また、結合情報は、例えば、AXONのAXON識別子と、当該AXONと結合するDendritesのDendrites識別子とを有する。また、結合情報は、例えば、シナプスのシナプス識別子と、当該シナプスとの間で情報伝達を行えるスパインのスパイン識別子とを有する。結合情報は、情報伝達確率情報を有しても良い。情報伝達確率情報は、一のsomaと他のsomaとの間の情報伝達を行う確率に関する情報である。情報伝達確率情報は、AXONとDendritesとの間の情報伝達を行う確率に関する情報でも良い。かかる場合も、情報伝達確率情報は、一のsomaと他のsomaとの間の情報伝達を行う確率に関する情報である。また、情報伝達確率情報は、シナプスとスパインとの間の情報伝達を行う確率に関する情報でも良い。かかる場合も、情報伝達確率情報は、一のsomaと他のsomaとの間の情報伝達を行う確率に関する情報である。なお、ここでsoma間の結合方向は、通常、一方向である。
結合情報は、somaとAXONとの結合を示す情報でも良い。かかる場合、結合情報は、soma識別子とAXON識別子とを有する。また、結合情報は、somaとDendritesとの結合を示す情報でも良い。かかる場合、結合情報は、soma識別子とDendrites識別子とを有する。
結合情報は、グリア細胞とAXONまたはDendritesとの間の結合を特定する情報でも良い。かかる場合、結合情報は、例えば、グリア細胞情報を識別するグリア細胞識別子と、AXON識別子とを有する。結合情報は、例えば、グリア細胞識別子と、Dendrites識別子とを有しても良い。
グリア細胞情報格納部54は、1または2以上のグリア細胞情報が格納される。グリア細胞情報は、グリア細胞に関する情報である。グリア細胞情報は、グリア細胞を識別するグリア細胞識別子を有することは好適である。グリア細胞情報は、例えば、結合するsomaを識別するsoma識別子、または結合する結合情報を識別する結合情報識別子を有する。グリア細胞情報は、例えば、当該グリア細胞と結合するAXONのAXON識別子、または当該グリア細胞と結合するDendritesのDendrites識別子を有する。また、グリア細胞情報は、グリア細胞の種類を識別するグリア細胞種類識別子を有することは好適である。グリア細胞の種類とは、例えば、oligodendrocites(以下、適宜「oligo」と言う)、astrocitesである。なお、oligoは、axonに接続し得る細胞である。astrocitesは、somaまたはDendritesに接続し得る細胞である。また、グリア細胞情報は、グリア細胞の位置を特定するグリア細胞位置情報を有することは好適である。特に、oligoのグリア細胞情報は、グリア細胞位置情報を有することは好適である。また、グリア細胞情報は、1以上の各手の長さを示す手長情報を有しても良い。また、グリア細胞情報は、グリア細胞から出ている手の数を示す手数情報を有しても良い。そして、通常、各手の手長情報から算出されるグリア細胞の全体の長さが閾値に届いた場合、それ以上、グリア細胞は成長しないことは好適である。
発火始点情報格納部55は、1以上の発火始点情報が格納される。発火始点情報は、特徴情報を識別する情報識別子と、特徴情報が受け付けられた場合に発火するsomaを識別する1以上のsoma識別子とを有する。情報識別子は、例えば、画像の特徴量の種類を特定する情報であり、例えば、色を構成する赤「R」、色を構成する緑「G」、色を構成する青「B」である。色を構成する赤「R」を示す情報識別子と対になるsoma識別子で識別されるsomaは、赤の色情報が受け付けられた場合に発火するsomaである。赤の色情報が受け付けられた場合とは、例えば、入力情報受付部21が受け付けたカラー画像を構成する各画素の画素値のうちの赤の成分の値が閾値以上または閾値より大きい場合である。また、赤の色情報が受け付けられた場合とは、例えば、入力情報受付部21が受け付けたカラー画像を構成する各画素の画素値のうちの赤の成分の値が閾値以上または閾値より大きく、かつ赤以外(G,B)の成分の値が閾値以下または閾値より小さい場合である。
出力管理情報格納部56は、1または2以上の出力管理情報が格納される。出力管理情報は、出力条件と出力情報とを有する情報である。出力管理情報は、出力条件と出力情報との対の情報でも良い。
出力条件とは、出力情報を決定するために用いられる条件である。出力条件は、発火パターンを用いた出力のための条件である。出力条件は、発火パターンそのものでも良いし、発火パターンと出力確率情報を有する情報でも良い。出力確率情報は、出力情報を取得するための確率に関する情報である。出力条件は、発火パターンと適用される発火パターンが有するsoma識別子の数の下限の情報、発火パターンと適用される発火パターンが有するsoma識別子の割合の下限の情報等でも良い。発火パターンは、1以上のsoma識別子を有する。発火パターンとは、1または2以上のsomaの発火のパターンである。
出力条件は、発火パターンと1以上の外部情報に関する情報とを用いた条件であっても良い。外部情報とは、外部の情報である。外部情報は、ユーザコンテキストと言っても良い。外部情報は、例えば、気温、天気、におい等である。なお、外部情報は、通常、入力情報が受け付けられた際の、入力情報以外に受け付けられる情報である。
出力情報は、発火パターンに対応する情報である。出力情報は、例えば、画素値である。出力情報は、例えば、色を示す情報である。出力情報は、例えば、人の感情に関する感情情報、人の意思を示す意思情報、人の体の動きに関する行動情報などである。感情情報は、例えば、嬉しい、悲しい、怯え、驚き等である。感情情報は、例えば、感情を識別するIDである。意思情報は、例えば、意思を識別する情報である。行動情報は、例えば、例えば、アバター(キャラクタ)の動きに反映される情報である。アバターを動作させる技術は公知技術であるので、詳細な説明は省略する。
学習条件格納部57は、1または2以上の学習条件が格納される。学習条件とは、学習が行われるための条件である。学習条件は、発火パターンを用いた条件である。学習条件は、発火パターンそのものでも良い。学習条件は、例えば、1以上のsoma識別子を有する発火パターンと、学習するために発火が必要なsomaの数、または学習するために発火が必要なsomaの割合(学習条件が有する発火パターンに含まれるsoma識別子のうち、発火したsomaの数/学習条件が有する発火パターンに含まれるsoma識別子の数)等でも良い。また、学習条件は、発火パターンと学習確率情報を有しても良い。学習確率情報は、学習すると決定する確率に関する情報である。学習条件が学習確率情報を有する場合、発火パターンを用いた判断が「学習する」との判断できる場合であっても、学習確率情報を用いて、確率的に判断され、「学習しない」と判断されることもあり得る。
学習情報格納部58は、1または2以上の学習情報が格納される。学習情報は、学習された情報である。学習情報は、学習後に利用される情報である。学習情報は、入力情報または入力情報から取得される1以上の特徴情報と、発火パターンとを有する。ここでの特徴情報は、特徴情報を識別する情報識別子でも良い。ここでの特徴情報は、情報識別子と情報量でも良い。学習情報は、発火パターンの保持時間を示す保持時間情報を有しても良い。保持時間とは、当該発火パターンが利用されない場合に、消去される時間である。なお、保持時間情報が示す時間、利用されなかった学習情報を削除する処理は、例えば、処理部6が行う。
発火情報格納部59は、1または2以上の発火情報が格納される。ここでの発火情報は、発火した結果に関する情報である。発火情報は、発火したsomaを識別するsoma識別子を有する。発火情報は、通常、発火した時を示すタイマー情報を有しても良い。タイマー情報は、相対的な時を示す情報でも良いし、絶対的な時を示す時刻の情報でも良い。なお、発火情報格納部59の発火情報は、蓄積から一定時間経過後、自動的に処理部6により削除されても良い。
利用結合情報格納部60は、1または2以上の利用結合情報が格納される。利用結合情報は、情報の伝達のために結合情報が利用された履歴を示す情報である。利用結合情報は、情報の伝達のためにAXONやDendritesが利用された履歴を示す情報であっても良い。利用結合情報は、例えば、結合情報識別子を有する。利用結合情報は、例えば、AXON識別子または/およびDendrites識別子を有する。利用結合情報は、例えば、シナプス識別子または/およびスパイン識別子を有する。利用結合情報は、例えば、利用された時を示すタイマー情報を有しても良い。
受付部2は、各種の情報を受け付ける。各種の情報とは、例えば、映像などの入力情報、外部情報等である。各種の情報の入力手段は、例えば、カメラやマイクやテンキーやキーボードやマウスやメニュー画面によるものやモーションセンサーや温度センサーをはじめとする各種センサー等、何でも良い。受付部2は、カメラやマイクやテンキーやキーボード等の入力手段のデバイスドライバーや、メニュー画面の制御ソフトウェア等で実現され得る。また、受け付けとは、カメラやマイクやキーボードやマウス、タッチパネルなどの入力デバイスから入力された情報の受け付け、有線もしくは無線の通信回線を介して送信された情報の受信、光ディスクや磁気ディスク、半導体メモリなどの記録媒体から読み出された情報の受け付けなどを含む概念である。
入力情報受付部21は、入力情報を受け付ける。入力情報は、入力される情報である。入力情報は、ここでは、例えば、動画、静止画である。入力情報のデータタイプやデータ構造等は問わない。入力情報受付部21は、1以上の外部情報をも受け付けることは好適である。
処理部6は、各種の処理を行う。各種の処理とは、例えば、変更部61、学習検知部62、学習情報蓄積部63、成長部64、アポトーシス処理部65、発火情報蓄積部66、色情報取得部32、注目領域決定部33、合成部34等が行う処理である。
変更部61は、映像が有する2以上の各カラー画像に対して、カラー画像の一部の領域をモノクロ化する第一の処理、カラー画像の時間的に前のカラー画像の少なくとも一部の領域の赤の色情報を取得し、色情報をカラー画像に付加する第二の処理、カラー画像の一部の領域を黒または白にする第三の処理、のうちのいずれか1以上の処理を行い、2以上の変更画像を取得する。
変更部61は、少なくとも第一の処理を行い、かつ第一の処理において、映像が有する2以上の各カラー画像の一部の異なる領域をモノクロ化することは好適である。なお、変更部61が行った処理結果は、変更部31が行った処理結果と同じである、と考えても良い。
変更部61を構成する特徴情報取得手段611は、入力情報から1以上の特徴情報を取得する。特徴情報は、例えば、特徴量、入力情報そのもの等である。特徴情報は、例えば、情報識別子と情報量とを有する。
特徴情報取得手段611は、例えば、入力情報受付部21が受け付けた映像が有する2以上の各カラー画像に対して、各カラー画像を構成する1または2以上の各部分画像からR、G、B、Yのうちの1以上の情報である1以上の特徴情報を取得する。特徴情報取得手段611は、1以上の各部分画像からR、G、B、Yの4つの特徴情報を取得することは好適である。なお、ここでの部分画像のサイズは問わない。部分画像は、1画素でも良いし、2以上の画素を有しても良い。つまり、映像が有する各カラー画像の分割のされ方は問わない。
特徴情報取得手段611は、例えば、受け付けられたカラー画像を画像分析し、画像の1以上の情報識別子と情報量の組を取得する。特徴情報取得手段611は、例えば、受け付けられたカラー画像を画像分析し、「情報識別子「R」(赤を示す),情報量=521」「情報識別子「G」(緑を示す),情報量=219」「情報識別子「B」(青を示す),情報量=56」の3組の情報を取得する。なお、かかる情報は、R,G,Bそれぞれの値の大きさを示す情報である。
なお、画像の特徴量(特徴情報と言っても良い)を取得する処理は公知技術であるので、詳細な説明を省略する。
情報伝達手段612は、特徴情報取得手段611が取得した1以上の特徴情報と最初に発火するsomaを識別する1以上のsoma識別子とを取得する。情報伝達手段612は、特徴情報取得手段611が取得した特徴情報が有する情報識別子と対になる1以上のsoma識別子を発火始点情報格納部55から取得し、当該1以上の各soma識別子と特徴情報取得手段611が取得した特徴情報が有する情報量とを対にして、取得する。なお、通常、この1以上のsoma識別子で識別される各somaに情報量が与えられる。また、この1以上のsoma識別子で識別されるsomaが最初に発火するsomaの識別子であっても良い。
情報伝達手段612は、1以上の他のsomaから渡された1以上の特徴情報または1以上の特徴情報から取得される1以上の特徴情報と発火の判断の対象となる1以上の各somaのsoma識別子とを取得する。
情報伝達手段612は、例えば、2以上の各カラー画像ごと、および1以上の各部分画像ごとに、特徴情報取得手段611が取得した1以上の特徴情報と最初に発火するsomaを識別する1以上のsoma識別子とを取得し、かつ1以上の他のsomaから渡された1以上の特徴情報または1以上の特徴情報から取得される1以上の特徴情報と発火の判断の対象となる1以上の各somaのsoma識別子とを取得する。
情報伝達手段612は、判断手段614が発火すると判断したsomaのsoma関連情報に適用された1以上の特徴情報または1以上の特徴情報から取得される1以上の特徴情報と、判断手段614が発火すると判断したsomaと結合している1以上の各somaのsoma識別子とを取得する。なお、情報伝達手段612は、結合情報格納部53の結合情報を用いて、判断手段614が発火すると判断したsomaと結合している1以上の各somaのsoma識別子を取得する。
情報伝達手段612は、後述するsoma演算手段613が取得した一の特徴情報と発火の判断の対象となる1以上の各somaのsoma識別子とを取得する。ここで、一の特徴情報は、通常、一の情報量である。
情報伝達手段612は、判断手段614が発火すると判断したsomaが含まれるsoma群(第一soma群という)と他のsoma群(第二soma群という)と結合を特定する結合情報を用いて、第二soma群に含まれる1以上のsomaのsoma識別子を取得する場合がある。第二soma群に含まれる1以上のsomaのsoma識別子は、第一soma群の位置に近い位置に存在するsomaの識別子である。
情報伝達手段612は、結合情報格納部53の結合情報が有する情報伝達確率情報を用いて、判断手段614が発火すると判断したsomaと結合している1以上の各somaのsoma識別子を、確率的に取得する。確率的に取得することは、確率の情報(ここでは、情報伝達確率情報)を用いて、発火すると判断したり、発火しないと判断したりすることである。なお、確率的に取得する処理は公知技術であるので詳細な説明を省略する。
なお、例えば、後述する判断手段614が、AXONまたはDendritesまたはシナプスまたはスパインが利用された履歴を示す利用結合情報に基づいて、最近に当該AXONまたは当該Dendritesまたは当該シナプスまたは当該スパインが利用されてから、予め決められた時間以上または予め決められた時間より長い時間利用されていないと判断した場合のみ、情報伝達手段612は、次のsomaへの情報伝達処理を行うことは好適である。
また、情報伝達手段612は、次のsomaへの情報伝達処理を行った場合、利用結合情報を構成し、利用結合情報格納部60に蓄積することは好適である。つまり、情報伝達手段612は、次のsomaへの情報伝達処理を行った場合、図示しないタイマーから現在の時を示すタイマー情報を取得する。そして、情報伝達手段612は、利用されたAXONのAXON識別子、利用されたDendritesのDendrites識別子、利用されたシナプスのシナプス識別子、または利用されたスパインのスパイン識別子のうちの1以上の識別子を取得する。そして、情報伝達手段612は、タイマー情報、および取得した1以上の識別子を有する利用結合情報を構成し、利用結合情報格納部60に蓄積する。また、情報伝達手段612は、例えば、情報伝達に利用された結合(リンク)の結合情報識別子を取得し、図示しないタイマーから現在の時を示すタイマー情報を取得し、当該結合情報識別子と当該タイマー情報とを有する利用結合情報を構成し、利用結合情報格納部60に蓄積する。
また、情報伝達手段612は、次のsomaへの情報伝達処理を行った場合、当該伝達のために利用したAXONのAXON識別子と対になる保有エネルギー量情報、および当該伝達のために利用したDendritesのDendrites識別子と対になる保有エネルギー量情報が示すエネルギー量を減じることは好適である。なお、エネルギー量を減じるための関数は、例えば、格納部5に格納されている、とする。また、当該関数は問わない。関数は、例えば、以下の数式1である。
Figure 0006924829
数式1において、E,g,cはパラメータ,Iは入力信号(要求信号)である。また、数式1において例えば,E=-65mV, g=0.025μS,C=0.5nFである。
発火始点soma決定手段6121は、特徴情報取得手段611が取得した1以上の各特徴情報を識別する情報識別子と対になる1以上のsoma識別子を発火始点情報格納部55から取得する。情報識別子は、特徴情報取得手段611が取得した特徴情報が有しても良いし、特徴情報取得手段611が取得した特徴情報または情報量に対応付いていても良い。
結合検知手段6122は、結合情報格納部53の結合情報を用いて、判断手段614が発火すると判断したsomaと結合している1以上のsomaを検知する。somaの検知とは、通常、soma識別子の取得である。
結合検知手段6122は、例えば、判断手段614が発火すると判断したsomaのsoma識別子を取得し、当該soma識別子と対になる1以上のsoma識別子を結合情報格納部53から取得する。
結合検知手段6122は、例えば、判断手段614が発火すると判断したsomaのsoma識別子を取得し、当該soma識別子と対になるAXON識別子をsoma関連情報格納部51から取得し、当該AXON識別子と対になるDendrites識別子を結合情報格納部53から取得し、当該Dendrites識別子と対になるsoma識別子をsoma関連情報格納部51から取得する。
結合検知手段6122は、例えば、判断手段614が発火すると判断したsomaのsoma識別子を取得し、当該soma識別子と対になるシナプス識別子をsoma関連情報格納部51から取得し、当該シナプス識別子と対になるスパイン識別子を、結合情報格納部53から取得し、当該スパイン識別子と対になるsoma識別子をsoma関連情報格納部51から取得する。
結合検知手段6122は、例えば、判断手段614が発火すると判断したsomaが属するsoma群のsoma群識別子を取得する。そして、判断手段614が発火すると判断したsomaがsoma群の中の端のsomaである(同一のsoma群の中で、特徴情報を伝達するsomaが存在しない)場合、結合検知手段6122は、当該soma群を識別するsoma群識別子と対になる他のsoma群のsoma群識別子を、結合情報格納部53から取得する。次に、結合検知手段6122は、例えば、当該取得したsoma群識別子で特定されるsoma群の中の端の1以上のsoma(同一のsoma群の中の他のsomaから特徴情報を受けることがないsoma)を識別する1以上のsoma識別子を取得する。
結合検知手段6122は、例えば、判断手段614が発火すると判断したsomaのsoma識別子が、当該somaが属するsoma群の中の情報伝達の最終のsomaであるとして、格納部1に格納されている場合、当該soma群を識別するsoma群識別子と対になる他のsoma群のsoma群識別子を結合情報格納部53から取得する。そして、結合検知手段6122は、例えば、当該取得した他のsoma群のsoma群識別子と対になる1以上のsoma識別子の中で、他のsoma群から情報伝達を最初に受けるsomaであるとして、格納部5に格納されている場合、当該somaのsoma識別子を、格納部5から取得する。
伝達情報取得手段6123は、soma間の情報の伝達のために使用する情報を取得する。伝達情報取得手段6123は、伝達する特徴情報と、伝達先のsomaのsoma識別子とを取得する。伝達情報取得手段6123は、例えば、判断手段614が発火すると判断したsomaのsoma関連情報に適用された1以上の特徴情報または1以上の特徴情報から取得される1以上の特徴情報と、結合検知手段6122が検知した1以上のsomaのsoma識別子とを取得する。
soma演算手段613は、2以上の他の各somaから渡された2以上の特徴情報に対して演算を行い、一の特徴情報を取得する。ここでの特徴情報は、通常、情報量である。つまり、soma演算手段613は、通常、2以上の他の各somaから渡された2以上の情報量に対して演算を行い、一の情報量を取得する。なお、演算とは、予め決められた演算である。演算は、例えば、2以上の他の各somaから渡された2以上の情報量を加算する処理である。演算は、例えば、2以上の他の各somaから渡された2以上の情報量を加算した後に、1未満の定数を乗算する処理である。
判断手段614は、情報伝達手段612が取得した1以上の特徴情報と、情報伝達手段612が取得した1以上の各soma識別子と対になる発火条件情報とを用いて、各soma識別子で識別されるsomaが発火するか否かを判断する。なお、1以上の特徴情報は、例えば、情報量である。
判断手段614は、例えば、情報伝達手段612が取得した1以上の各soma識別子と対になる発火条件情報をsoma関連情報格納部51から取得する。そして、判断手段614は、例えば、情報伝達手段612が取得した情報量が、取得した発火条件情報が示す条件に合致するか否かを判断する。
判断手段614は、発火したと判断したsomaに対して、予め決められた条件を満たすほど時間が経過していない場合、発火するとは判断しないことは好適である。発火するとは判断しないことは、発火しないとは判断することでも良い。
判断手段614は、例えば、発火情報格納部59を参照し、判断対象のsomaのsoma識別子と対になるタイマー情報であり、最近のタイマー情報を取得する。そして、判断手段614は、例えば、図示しないタイマーから現在のタイマー情報を取得する。そして、判断手段614は、例えば、現在のタイマー情報と最近のタイマー情報とから、最近に発火してからの経過時間の情報を取得する。次に、判断手段614は、経過時間が閾値より小さいまたは経過時間が閾値以下であるか否かを判断し、経過時間が閾値より小さいまたは閾値以下であると判断した場合には、当該somaは発火しないとは判断することは好適である。
発火条件情報が発火の確率を示す発火確率情報を有する場合、判断手段614は、当該発火確率情報を用いて、somaが発火するか否かを判断するので、判断手段614は、同一の1以上の特徴情報と発火条件情報とを用いても、somaが発火するか否かを判断する場合でも、somaが発火すると判断したり、発火しないと判断したりたりする。つまり、同じ1以上の特徴情報が一のsomaに与えられても、判断手段614は、当該somaに対応する発火確率情報を用いて、発火すると判断したり、発火しないと判断したりすることは好適である。
また、判断手段614は、同じ1以上の特徴情報が入力されても、外部情報に応じて、発火すると判断したり、発火しないと判断したりすることは好適である。
判断手段614は、例えば、発火したsomaのsoma識別子と発火した時を示すタイマー情報とを対にして、格納部5に蓄積する。つまり、判断手段614は、somaが発火したと判断した場合、図示しないタイマーからタイマー情報を取得する。そして、発火したsomaのsoma識別子と当該タイマー情報とを有する発火情報を発火情報格納部59に蓄積する。
結合情報も、一度動作した場合は、予め決められた条件を満たすほど時間が経過していない場合、動作しないことは好適である。つまり、判断手段614は、情報伝達に利用されるAXONまたはDendritesまたはシナプスまたはスパインが最近に利用された時を示すタイマー情報を利用結合情報格納部60から取得し、現在の時を示すタイマー情報と比較し、予め決められた条件を満たすほど時間が経過していない場合、当該AXONまたは当該Dendritesまたは当該シナプスまたは当該スパインを利用した情報の伝達が行わない、と判断することは好適である。
また、判断手段614は、一のsomaが発火すると判断した場合に、当該somaのsoma関連情報が有する保有エネルギー量情報が示すエネルギー量を減じることは好適である。なお、エネルギー量を減じるための関数は、例えば、格納部5に格納されている、とする。また、当該関数は問わない。関数は、例えば、以下の数式2である。
Figure 0006924829
なお、数式2において、tは時間、f(t)は保有エネルギー量である。
判断手段614は、例えば、入力情報受付部21が受け付けた2以上の各カラー画像ごと、および1以上の各部分画像ごとに、情報伝達手段612が取得した1以上の特徴情報と、情報伝達手段612が取得した1以上の各soma識別子と対になる発火条件情報とを用いて、各soma識別子で識別されるsomaが発火するか否かを判断する。判断手段614は、例えば、情報伝達手段612が取得した1以上の特徴情報が、情報伝達手段612が取得した1以上の各soma識別子と対になる発火条件情報が示す発火条件を満たすか否かを判断する。
発火確率変更手段615は、判断手段614が発火すると判断したsomaに対応する発火確率情報を、発火する確率が上がるように変更する。つまり、発火確率変更手段615は、判断手段614が発火すると判断したsomaのsoma識別子を取得し、当該soma識別子と対になる発火確率情報を、発火する確率が上がるように変更する。なお、発火確率情報の変更のアルゴリズムは問わない。発火確率変更手段615は、予め決められた値を発火確率情報に加算しても良いし、予め決められた割合の値を発火確率情報に加算しても良いし、受け付けられた1以上の特徴情報に基づいて、上昇させる確率を取得する等しても良い。つまり、確率の上昇度合いは、一定でも良いし、動的に変化しても良い。
発火パターン取得手段616は、判断手段614が発火したと判断したsomaを識別する1以上のsoma識別子を含む発火パターンを取得する。
発火パターン取得手段616は、入力情報受付部21が受け付けた入力情報または入力情報から取得される1以上の特徴情報を学習情報格納部58の1以上の学習情報に適用し、入力情報または入力情報から取得される1以上の特徴情報に対応する発火パターンを取得することは好適である。ここでの発火パターンは、学習情報を用いて取得された発火パターンである。
なお、発火パターン取得手段616が発火パターンを取得するタイミングは問わない。発火パターン取得手段616は、定期的に発火パターンを取得しても良いし、不定期に発火パターンを取得しても良いし、判断手段614がsomaの発火を検知するごとに発火パターンを取得しても良い。
また、発火パターン取得手段616が取得する発火パターンの時間的な幅は問わない。発火パターン取得手段616は、現在の時から閾値以内または閾値より最近の時を示すタイマー情報と対になる1以上のsoma識別子を発火情報格納部59から取得しても良い。発火パターン取得手段616は、発火情報格納部59のすべての発火情報が有する1以上のsoma識別子を発火情報格納部59から取得しても良い。発火パターン取得手段616が取得する発火パターンの時間的な幅は、動的に変わることは好適である。
発火パターン取得手段616は、例えば、入力情報受付部21が受け付けた2以上の各カラー画像ごと、および1以上の各部分画像ごとに、判断手段614が発火すると判断したsomaを識別する1以上のsoma識別子を含む発火パターンを取得する。
出力情報取得手段617は、発火パターン取得手段616が取得した発火パターンに対応する出力情報を出力管理情報格納部56から取得する。
発火パターンに対応する出力情報とは、通常、発火パターン取得手段616が取得した発火パターンと予め決められた条件を満たすほど類似する発火パターンと対になる出力情報である。発火パターンAと発火パターンBとが予め決められた条件を満たすほど類似する場合は、例えば、発火パターンAに含まれる1以上のsoma識別子のうちの閾値以上または閾値より多い数のsoma識別子が発火パターンBに含まれる場合である。発火パターンAと発火パターンBとが予め決められた条件を満たすほど類似する場合は、例えば、発火パターンBに含まれる1以上のsoma識別子のうちの閾値以上または閾値より多い数のsoma識別子が発火パターンAに含まれる場合である。発火パターンAと発火パターンBとが予め決められた条件を満たすほど類似する場合は、例えば、発火パターンAに含まれる1以上のsoma識別子のうちの閾値以上または閾値より多い割合のsoma識別子が発火パターンBに含まれる場合である。発火パターンAと発火パターンBとが予め決められた条件を満たすほど類似する場合は、例えば、発火パターンBに含まれる1以上のsoma識別子のうちの閾値以上または閾値より多い割合のsoma識別子が発火パターンAに含まれる場合である。
出力情報取得手段617は、例えば、発火パターン取得手段616が取得した発火パターンと予め決められた条件を満たすほど類似する発火パターンを検出し、当該発火パターンと対になる出力確率情報を用いて、確率的に、出力条件を満たすか否かを判断し、出力条件を満たすと判断した場合に、当該出力条件と対になる出力情報を、出力管理情報格納部56から取得する。
出力情報取得手段617は、発火パターン取得手段616が取得した発火パターンと入力情報受付部21が受け付けた1以上の外部情報とに合致する出力条件を決定し、当該出力条件と対になる出力情報を取得する。出力情報取得手段617は、出力管理情報格納部56に格納されている出力条件の中から出力条件を決定し、当該出力条件と対になる出力情報を取得する。
出力情報取得手段617は、例えば、発火パターン取得手段616が取得した発火パターンと予め決められた条件を満たすほど類似する発火パターンを出力管理情報格納部56から検出し、当該発火パターンと対になる1以上の外部情報が、入力情報受付部21が受け付けた1以上の外部情報と予め決められた条件を満たすほど類似すると判断した場合に、出力管理情報格納部56の中の当該発火パターンと当該1以上の外部情報と対になる出力情報を取得する。
また、出力情報取得手段617は、例えば、発火パターン取得手段616が取得した発火パターンと予め決められた条件を満たすほど類似する発火パターンを出力管理情報格納部56から検出し、当該発火パターンと対になる1以上の外部情報が、入力情報受付部21が受け付けた1以上の外部情報と予め決められた条件を満たすほど類似すると判断した場合に、当該発火パターンと当該1以上の外部情報と対になる出力確率情報を用いて、確率的に、出力条件を満たすか否かを判断し、出力条件を満たすと判断した場合に、当該出力条件と対になる出力情報を、出力管理情報格納部56から取得する。
なお、出力情報取得手段617は、常に出力情報を取得できるとは限らない。
出力情報取得手段617は、例えば、入力情報受付部21が受け付けた2以上の各カラー画像ごとに、発火パターン取得手段616が取得した発火パターンに対応する出力情報を、1以上の各部分画像ごとに出力管理情報格納部56から取得し、取得した1以上の出力情報から変更画像を構成する。
制御手段618は、判断手段614の処理と発火パターン取得手段616の処理と情報伝達手段612の処理とを2回以上繰り返すように制御する。
学習検知部62は、発火パターン取得手段616が取得した発火パターンが合致する学習条件を検知する。なお、ここで、発火パターン取得手段616が取得した発火パターンの一部のsoma識別子と、学習条件が有する発火パターンを構成するsoma識別子の全部または一部が、予め決められた条件を満たすほど類似する場合、学習検知部62は、当該学習条件に発火パターン取得手段616が取得した発火パターンが合致すると判断する。また、学習条件の検知とは、例えば、学習条件を識別する学習条件識別子の取得、学習条件に合致した旨の情報の取得等である。
学習情報蓄積部63は、学習検知部62が合致する学習条件を検知した場合、学習情報を学習情報格納部58に蓄積する。学習情報は、発火パターン取得手段616が取得した発火パターンの元になる入力情報または当該入力情報から取得される1以上の特徴情報と、発火パターン取得手段616が取得した発火パターンを構成する少なくとも一部のsoma識別子を有する発火パターンとを有する。少なくとも一部のsoma識別子とは、例えば、発火パターン取得手段616が取得した発火パターンをから、学習条件の検知に用いられた1以上のsoma識別子を除く1以上のsoma識別子である。
成長部64は、soma生成処理、結合情報生成処理、結合情報成長処理、グリア細胞生成処理のうちの1以上の処理を行う。
soma生成処理とは、soma識別子を有するsoma関連情報を生成する処理である。soma生成処理は、例えば、ユニークなsoma識別子を生成し、分裂元のsomaのsoma関連情報が有するsoma位置情報が示す位置から予め決められた条件を満たす位置のsoma位置情報を生成し、当該soma識別子と当該soma位置情報とを有するsoma関連情報をsoma関連情報格納部51に蓄積する処理である。
なお、soma生成処理は、例えば、分裂元のsomaのsoma関連情報を構成する一部の情報を複写し、当該情報を有する分裂somaのsoma関連情報を生成する処理でも良い。複写される情報は、例えば、発火条件情報である。また、成長部64は、生成するsoma関連情報が有するsoma位置情報を、他の要素の位置と重ならない位置の情報とすることは好適である。また、成長部64は、生成するsoma関連情報が有するsoma位置情報を、分裂元のsomaのsoma位置情報が示す位置と予め決められた条件を満たすほど近い位置の情報とすることは好適である。
結合情報生成処理とは、結合情報を生成し、当該結合情報を結合情報格納部53に蓄積する処理である。結合情報生成処理は、例えば、結合する2つのsomaのsoma識別子を取得し、当該2つのsoma識別子を有する結合情報を生成し、結合情報格納部53に蓄積する処理である。また、結合情報生成処理は、例えば、結合するAXONのAXON識別子とDendritesのDendrites識別子とを取得し、当該2つの識別子を有する結合情報を生成し、結合情報格納部53に蓄積する処理である。また、結合情報生成処理は、例えば情報伝達するシナプスのシナプス識別子と情報伝達されるスパインのスパイン識別子とを生成し、当該2つの識別子を有する結合情報を生成し、結合情報格納部53に蓄積する処理である。
結合情報成長処理とは、結合情報を成長させる処理である。結合情報成長処理は、例えば、AXON情報が有するAXON位置情報の位置を、AXONが伸長する方向に変更することである。結合情報成長処理は、例えば、Dendrites情報が有するDendrites位置情報の位置を、Dendritesが伸長する方向に変更することである。
成長部64は、判断手段614が発火したと判断した回数または頻度が予め決められた条件を満たすほど多いsomaを分裂させた新たなsomaである分裂somaのsoma関連情報を生成し、soma関連情報格納部51に蓄積するsoma生成処理を行うことは好適である。
成長部64は、判断手段614が発火したと判断した回数または頻度が予め決められた条件を満たすほど多いsomaと分裂somaとを結合する結合情報を生成し、結合情報格納部53に蓄積する結合情報生成処理を行うことは好適である。なお、分裂somaは、当該分裂somaの生成の元になったsomaが分裂したsomaである。
成長部64は、接続されているグリア細胞情報が予め決められた条件を満たすsomaを分裂させた新たなsomaである分裂somaのsoma関連情報を生成し、soma関連情報格納部51に蓄積するsoma生成処理を行うことは好適である。
成長部64は、接続されているグリア細胞情報が予め決められた条件を満たすAXONまたはDendritesを成長させる結合情報成長処理を行うことは好適である。
成長部64は、一のsomaのAXONのAXON位置情報と他のsomaのDendritesのDendrites位置情報とが予め決められた条件を満たすほど近い場合に、一のsomaのsoma識別子と他のsomaのsoma識別子とを有する結合情報を生成し、結合情報格納部53に蓄積する結合情報生成処理を行うことは好適である。
成長部64は、以下のようなグリア細胞生成処理を行うことは好適である。つまり、例えば、soma、AXON、またはDendritesである要素の保有エネルギー量が、必要エネルギー量に対して、予め決められた条件を満たすほど少なくなった場合、成長部64は、当該要素に接続するグリア細胞情報を生成する。予め決められた条件とは、例えば、「保有エネルギー量<必要エネルギー量」または「保有エネルギー量<=必要エネルギー量」または「保有エネルギー量−必要エネルギー量<=閾値」または「保有エネルギー量−必要エネルギー量<閾値」である。さらに具体的には、成長部64は、例えば、各要素の情報(soma関連情報、AXON情報、またはDendrites情報)が有する保有エネルギー量情報が示す保有エネルギー量が、各要素の情報が有する必要エネルギー量情報が示す必要エネルギー量と比較して、予め決められた条件を満たすほど少ないか否かを判断し、少ないと判断した場合に、当該要素を識別する識別子(soma識別子、AXON識別子、またはDendrites識別子)を有するグリア細胞情報を生成し、グリア細胞情報格納部54に蓄積する。
アポトーシス処理部65は、soma関連情報をsoma関連情報格納部51から削除する場合がある。soma関連情報を削除した場合、アポトーシス処理部65は、当該soma関連情報に対応するsomaに関する情報、当該soma関連情報に対応するsomaに接続されているAXONに関する情報、当該soma関連情報に対応するsomaに接続されているDendritesに関する情報を削除することは好適である。つまり、アポトーシス処理部65は、削除したsoma関連情報が有するsoma識別子を有する結合情報、削除したsoma関連情報が有するAXON識別子を有する結合情報、削除したsoma関連情報が有するDendrites識別子を有する結合情報を、結合情報格納部53から削除することは好適である。また、soma関連情報をsoma関連情報格納部51から削除する場合、アポトーシス処理部65は、当該soma関連情報に対応するsomaに接続されているAXONおよびDendritesへの結合情報を削除しても良い。
また、アポトーシス処理部65は、AXON情報を削除する場合がある。また、アポトーシス処理部65は、Dendrites情報を削除する場合がある。somaがアポトーシスせず、AXONまたはDendritesのみがアポトーシスする場合、アポトーシス処理部65は、例えば、当該アポトーシスするAXONのAXON情報または当該アポトーシスするDendritesのDendrites情報を、soma関連情報から削除する。そして、かかる場合、アポトーシス処理部65は、例えば、当該アポトーシスするAXONのAXON識別子を有する結合情報、当該アポトーシスするDendritesのDendrites識別子を有する結合情報を結合情報格納部53から削除することは好適である。
また、アポトーシス処理部65は、削除したsomaに接続されているグリア細胞の、当該somaとの接続に関する情報をグリア細胞情報格納部54から削除することは好適である。つまり、例えば、アポトーシス処理部65は、削除したsomaのsoma識別子を含むグリア細胞情報から、当該soma識別子を削除する。また、AXONまたはDendritesがアポトーシスしたり、AXONまたはDendritesが接続されているsomaがアポトーシスしたりする場合、アポトーシス処理部65は、当該AXONのAXON識別子または当該DendritesのDendrites識別子を含むグリア細胞情報から、当該AXON識別子またはDendrites識別子を削除する。つまり、somaまたはAXONまたはDendritesの情報が削除される場合、アポトーシス処理部65は、グリア細胞情報から、somaまたはAXONまたはDendritesへの接続の情報は、削除することは好適である。
アポトーシス処理部65は、予め決められた条件に従って、soma関連情報をsoma関連情報格納部51から削除することは好適である。
アポトーシス処理部65は、予め決められた条件を満たすほど、soma関連情報格納部51に格納されているsoma関連情報が多い場合、soma関連情報をsoma関連情報格納部51から削除することは好適である。
アポトーシス処理部65は、他のsomaまたはDendritesまたはAXONと接続されていないsomaを決定し、当該決定したsomaのsoma識別子を有するsoma関連情報をsoma関連情報格納部51から削除することは好適である。アポトーシス処理部65は、例えば、結合情報格納部53を検査し、soma識別子が出現する回数が閾値以下または閾値未満のsoma識別子を取得し、当該soma識別子を含むsoma関連情報をsoma関連情報格納部51から削除する。また、アポトーシス処理部65は、例えば、soma関連情報格納部51を検査し、閾値以下または閾値未満のDendrites情報、または閾値以下または閾値未満のAXON情報のみを有するsoma関連情報をsoma関連情報格納部51から削除する。
アポトーシス処理部65は、接続されているAXONが予め決められたゴールに到達していないsomaを決定し、当該決定したsomaのsoma識別子を有するsoma関連情報をsoma関連情報格納部51から削除することは好適である。アポトーシス処理部65は、例えば、soma関連情報格納部51を検査し、soma関連情報が有するAXON位置情報とゴール情報とを比較し、AXONが予め決められたゴールに到達していないsomaを決定し、当該決定したsomaのsoma識別子を有するsoma関連情報をsoma関連情報格納部51から削除する。
アポトーシス処理部65は、発火情報格納部59の1以上の発火情報を用いて、予め決められた条件を満たすほど発火した回数が少ないsoma識別子を決定し、当該soma識別子を有するsoma関連情報をsoma関連情報格納部51から削除することは好適である。アポトーシス処理部65は、例えば、出現回数が閾値以下または閾値未満のsoma識別子を決定し、当該、当該soma識別子を有するsoma関連情報をsoma関連情報格納部51から削除する。
アポトーシス処理部65は、予め決められた条件に従って、AXONに関する情報またはDendritesに関する情報を削除する。AXONに関する情報とは、例えば、AXON情報またはAXON識別子を含む結合情報、グリア細胞情報の中のAXON識別子である。Dendritesに関する情報とは、例えば、Dendrites情報またはDendrites識別子を含む結合情報、グリア細胞情報の中のDendrites識別子である。
例えば、アポトーシス処理部65がミッチミチになったと判断し、かつどこにも接続していないAXONまたはDendritesが存在すると判断した場合、当該AXONに関する情報または当該Dendritesに関する情報を削除する。なお、ミッチミチになることは、soma関連情報、AXON情報、Dendrites情報、グリア細胞情報のうちの1種類以上の情報の数が予め決められた条件を満たすほど多句存在することである。つまり、映像処理装置B(脳を模倣した装置)の空間内に、要素が条件を満たすほど多く、空間の空き領域が閾値以下または閾値より少ないという状態である。なお、要素とは、soma、AXON、Dendrites、グリア細胞、シナプス、スパインである。
発火情報蓄積部66は、判断手段614が発火すると判断したsomaを識別するsoma識別子を有する発火情報を構成し、発火情報を発火情報格納部59に蓄積する。発火情報蓄積部66は、例えば、判断手段614が発火すると判断したsomaを識別するsoma識別子を取得し、かつ図示しないタイマーから現在の時を示すタイマー情報を取得し、当該soma識別子と当該タイマー情報とを有する発火情報を構成し、当該発火情報を発火情報格納部59に蓄積する。
出力部4は、各種の情報を出力する。各種の情報とは、例えば、出力情報である。出力情報は、例えば、2以上の変更画像である。ここで、出力とは、ディスプレイへの表示、プロジェクターを用いた投影、プリンタでの印字、音出力、バイブレータによる振動出力、外部の装置への送信、記録媒体への蓄積、他の処理装置や他のプログラムなどへの処理結果の引渡しなどを含む概念である。
出力部4は、注目領域決定部33が決定した1以上の注目領域の変化である注目領域遷移を視覚的に認識可能なように出力する。
情報出力部41は、出力情報取得手段617が取得した出力情報を出力する。なお、出力情報の出力先は問わない。出力情報の出力先は、映像処理装置Bの外部でも良いし、映像処理装置B内の他の処理への引き渡し等でも良い。
格納部5、soma関連情報格納部51、soma群情報格納部52、結合情報格納部53、グリア細胞情報格納部54、発火始点情報格納部55、出力管理情報格納部56、学習条件格納部57、学習情報格納部58、発火情報格納部59、および利用結合情報格納部60は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。
格納部5等に情報が記憶される過程は問わない。例えば、記録媒体を介して情報が格納部5等で記憶されるようになってもよく、通信回線等を介して送信された情報が格納部5等で記憶されるようになってもよく、あるいは、入力デバイスを介して入力された情報が格納部5等で記憶されるようになってもよい。
処理部6、変更部61、学習検知部62、学習情報蓄積部63、成長部64、アポトーシス処理部65、発火情報蓄積部66、特徴情報取得手段611、情報伝達手段612、soma演算手段613、判断手段614、発火確率変更手段615、発火パターン取得手段616、出力情報取得手段617、および制御手段618は、通常、MPUやメモリ等から実現され得る。処理部6等の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
情報出力部41は、ディスプレイやスピーカー等の出力デバイスを含むと考えても含まないと考えても良い。情報出力部41は、出力デバイスのドライバーソフトまたは、出力デバイスのドライバーソフトと出力デバイス等で実現され得る。
次に、映像処理装置Bの動作について、図21のフローチャートを用いて説明する。
(ステップS2101)入力情報受付部21は、外部情報を受け付け、格納部5に一時蓄積する。なお、ここで、入力情報受付部21は、外部情報を受け付けない場合もあり得る。
(ステップS2102)入力情報受付部21は、入力情報を受け付けたか否かを判断する。入力情報を受け付けた場合はステップS2103に行き、入力情報を受け付けない場合はステップS2104に行く。なお、ここでの入力情報は、例えば、映像である。
(ステップS2103)映像処理装置Bは、発火伝達処理を行う。ステップS2101に戻る。発火伝達処理とは、somaの間を情報が伝達される処理である。発火伝達処理の例の詳細について、図22のフローチャートを用いて説明する。
(ステップS2104)処理部6は、発火パターン処理を行うか否かを判断する。発火パターン処理を行う場合はステップS2105に行き、発火パターン処理を行わない場合はステップS2106に行く。なお、処理部6は、常に発火パターン処理を行うと判断しても良いし、一定期間の間隔で発火パターン処理を行うと判断しても良い。
(ステップS2105)映像処理装置Bは、発火パターン処理を行う。ステップS2101に戻る。発火パターン処理は、発火パターンを用いて行う処理であり、例えば、発火パターンを用いて出力情報を決定し、出力情報を出力する処理、および学習処理を含む。発火パターン処理の例の詳細について、図24のフローチャートを用いて説明する。
(ステップS2106)処理部6は、成長処理とアポトーシス処理を行うか否かを判断する。成長処理等を行う場合はステップS2107に行き、成長処理等を行わない場合はステップS2101に戻る。なお、処理部6は、常に成長処理等を行うと判断しても良いし、一定期間の間隔で成長処理等を行うと判断しても良い。成長処理等を行うか否かを判断の条件は問わない。また、成長処理とアポトーシス処理とをセットで行っても良いし、個別に、行うか否かを判断しても良い。
(ステップS2107)成長部41は、soma成長処理を行う。soma成長処理の例について、図25のフローチャートを用いて説明する。
(ステップS2108)成長部41は、AXON成長処理を行う。AXON成長処理の例について、図26のフローチャートを用いて説明する。
(ステップS2109)成長部41は、Dendrites成長処理を行う。Dendrites成長処理の例について、図27のフローチャートを用いて説明する。
(ステップS2110)成長部41は、soma結合処理を行う。soma結合処理の例について、図28のフローチャートを用いて説明する。
(ステップS2111)成長部41は、グリア細胞成長処理を行う。グリア細胞成長処理の例について、図29のフローチャートを用いて説明する。
(ステップS2112)アポトーシス処理部42は、アポトーシス処理を行う。ステップS2101に戻る。アポトーシス処理の例について、図30のフローチャートを用いて説明する。
なお、図21のフローチャートにおいて、発火伝達処理、発火パターン処理、成長処理、アポトーシス処理等は並列処理されることは好適である。また、各somaの発火伝達処理も並列処理されることは好適である。
また、図21のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。
次に、ステップS2103の発火伝達処理の例の詳細について、図22のフローチャートを用いて説明する。
(ステップS2201)特徴情報取得手段611は、1以上の特徴情報を取得する。なお、ここでの1以上の特徴情報は、例えば、カラー画像の各画素の色情報のうちの赤成分の情報、緑成分の情報、青成分の情報、輝度である。特徴情報取得手段611が1以上の特徴情報を取得する方法は、例えば、以下の(1)から(3)の方法のいずれかである。(1)特徴情報取得手段611は、ステップS2102で受け付けられた入力情報を分析し、1以上の特徴情報を取得する。ここで、1以上の特徴情報は、例えば、情報識別子と情報量との組、1組以上である。(2)情報伝達手段612は、発火すると判断されたsomaのsoma関連情報に適用された1以上の特徴情報を取得する。ここで、1以上の特徴情報は、例えば、一の情報量である。(3)情報伝達手段612は、発火すると判断されたsomaのsoma関連情報に適用された1以上の特徴情報から、1以上の特徴情報を取得する。なお、(3)において、情報伝達手段612は、発火すると判断されたsomaが受け付けた1以上の各特徴情報を予め決められた演算式で演算し、1以上の特徴情報を取得する。かかる演算の例は、例えば、加算である。
(ステップS2202)情報伝達手段612は、ステップS2201で取得された1以上の特徴情報を渡す1以上のsomaを決定する。かかるsomaの決定方法は、例えば、以下の(1)から(3)のいずれかである。(1)情報伝達手段612は、soma関連情報格納部51のsoma関連情報のうちの、予め決められた1以上のsomaのsoma識別子を取得する。かかる予め決められた1以上のsomaのsoma識別子は、例えば、格納部5に格納されており、情報伝達手段612は、かかる1以上のsoma識別子を格納部5から取得する。かかる1以上のsoma識別子は、外部から受け付けた入力情報から取得された1以上の特徴情報を最初に受け付けるsomaのsoma識別子である。(2)情報伝達手段612は、特徴情報取得手段611が取得した特徴情報が有する情報識別子と対になる1以上のsoma識別子を発火始点情報格納部55から取得する。(3)情報伝達手段612は、結合情報格納部53を参照し、処理対象のsomaの先に結合されている1以上のsomaのsoma識別子を取得する。つまり、情報伝達手段612は、例えば、以下の(a)〜(c)のいずれかの処理により、(3)の処理を実現する。(a)情報伝達手段612は、例えば、処理対象のsomaのsoma関連情報が有する1以上の各AXON識別子と対になるDendrites識別子を結合情報格納部53から取得する。そして、情報伝達手段612は、例えば、取得した1以上の各Dendrites識別子を有するsoma関連情報に含まれる1以上のsoma識別子をsoma関連情報格納部51から取得する。(b)情報伝達手段612は、例えば、処理対象のsomaのsoma関連情報が有するsoma識別子と対になる1以上のsoma識別子を結合情報格納部53から取得する。(c)情報伝達手段612は、例えば、処理対象のsomaのsoma関連情報が有する1以上の各シナプス識別子と対になるスパイン識別子を結合情報格納部53から取得する。そして、情報伝達手段612は、例えば、取得した1以上の各スパイン識別子を有するsoma関連情報に含まれる1以上のsoma識別子をsoma関連情報格納部51から取得する。
(ステップS2203)処理部6は、カウンタiに1を代入する。
(ステップS2204)処理部6は、ステップS2202で決定された1以上のsomaの中に、i番目のsomaが存在するか否かを判断する。i番目のsomaが存在する場合はステップS2205に行き、i番目のsomaが存在しない場合は上位処理にリターンする。i番目のsomaが存在するか否かについて、処理部6は、通常、ステップS2202で取得されたsoma識別子のうちの、i番目のsoma識別子が存在するか否かにより判断する。
(ステップS2205)判断手段614は、発火判断処理を行う。発火判断処理の詳細について、図23のフローチャートを用いて説明する。
(ステップS2206)処理部6は、ステップS2205における判断結果が「発火する」との判断結果である場合はステップS2207に行き、「発火しない」との判断結果である場合はステップS2211に行く。
(ステップS2207)発火情報蓄積部66は、判断手段614が発火すると判断したsomaを識別するsoma識別子を有する発火情報を構成する。そして、発火情報蓄積部66は、当該発火情報を発火情報格納部59に蓄積する。なお、ここで、発火情報蓄積部66は、図示しないタイマーからタイマー情報を取得し、soma識別子とタイマー情報とを有する発火情報を構成し、発火情報格納部59に蓄積することは好適である。
(ステップS2208)発火確率変更手段615は、判断手段614が発火すると判断したsomaのsoma識別子と対になる発火確率情報を、発火する確率が上がるように変更する。なお、変更される発火確率情報は、soma関連情報格納部51に格納されている情報である。
(ステップS2209)処理部6は、i番目のsomaの先のsoma、またはi番目のsomaの先のsoma群への、特徴情報の伝達を終了するか否かを判断する。伝達を終了する場合はステップS2211に行き、伝達を終了しない場合はステップS2210に行く。なお、処理部6は、例えば、結合情報格納部53を参照し、i番目のsomaの先のsomaが存在するか否かを判断する。なお、i番目のsomaの先のsomaが存在しない場合、特徴情報の伝達を終了する。また、i番目のsomaに接続されているAXONの先のDendritesが存在しない場合は、somaからAXONに情報を伝達する動きは行われるが、AXONから先へは情報の受け手が存在しないため、情報の伝達は停止する。処理部6は、かかる場合も特徴情報の伝達を終了すると判断する。
(ステップS2210)処理部6は、i番目のsomaの先のsoma、またはi番目のsomaの先のsoma群への発火伝達処理を実行する。かかる処理は、発火伝達処理である。つまり、発火伝達処理は、再帰処理である。
(ステップS2211)処理部6は、カウンタiを1、インクリメントする。ステップS2204に戻る。
次に、ステップS2205の発火判断処理の詳細について、図23のフローチャートを用いて説明する。
(ステップS2301)判断手段614は、処理対象のsomaのsoma関連情報が有する発火条件情報をsoma関連情報格納部51から取得する。
(ステップS2302)判断手段614は、ステップS301で外部情報を受け付けているか否かを判断する。外部情報を受け付けている場合はステップS2303に行き、外部情報を受け付けていない場合はステップS2304に行く。
(ステップS2303)判断手段614は、ステップS302で受け付けている外部情報、または当該外部情報から取得した1以上の特徴情報を取得する。なお、外部情報から1以上の特徴情報を取得する処理は、特徴情報取得手段611が行っても良いし、判断手段614等が行っても良い。
(ステップS2304)判断手段614は、1以上の特徴情報等を、ステップS2301で取得した発火条件情報に適用し、発火するか否かを判断する。1以上の特徴情報等とは、1以上の特徴情報、または1以上の特徴情報と外部情報である。
(ステップS2305)判断手段614は、ステップS2304における判断結果を変数「リターン値」に代入する。上位処理にリターンする。
なお、図23のフローチャートにおいて、外部情報を使用しなくても良いことは言うまでもない。
次に、ステップS2105の発火パターン処理の例の詳細について、図24のフローチャートを用いて説明する。
(ステップS2401)発火パターン取得手段616は、発火情報格納部59を参照し、1以上のsoma識別子を有する発火パターンを取得する。また、発火パターン取得手段616は、入力情報または入力情報から取得された1以上の特徴情報に対応する発火パターンをも、学習情報格納部58から取得することは好適である。つまり、入力情報等に対応付けて学習されている発火パターンをも、以下の処理に利用することは好適である。
(ステップS2402)出力情報取得手段617は、ステップS301で外部情報を受け付けているか否かを判断する。外部情報を受け付けている場合はステップS2403に行き、外部情報を受け付けていない場合はステップS2404に行く。
(ステップS2403)出力情報取得手段617は、ステップS301で受け付けている外部情報、または当該外部情報から取得した1以上の特徴情報を取得する。なお、外部情報から1以上の特徴情報を取得する処理は、特徴情報取得手段611が行っても良いし、出力情報取得手段617等が行っても良い。なお、ステップS301で受け付けている外部情報とは、通常、格納部5に格納されている外部情報である。
(ステップS2404)出力情報取得手段617は、カウンタiに1を代入する。
(ステップS2405)出力情報取得手段617は、出力管理情報格納部56にi番目の出力管理情報が存在するか否かを判断する。i番目の出力管理情報が存在する場合はステップS2406に行き、i番目の出力管理情報が存在しない場合はステップS2411に行く。
(ステップS2406)出力情報取得手段617は、i番目の出力管理情報が有する出力条件を、出力管理情報格納部56から取得する。
(ステップS2407)出力情報取得手段617は、ステップS2401で取得された発火パターン、またはステップS2401で取得された発火パターンとステップS2403で取得した情報が、ステップS2406で取得した出力条件に合致するか否かを判断する。出力条件に合致する場合はステップS2408に行き、出力条件に合致しない場合はステップS2410に行く。
(ステップS2408)出力情報取得手段617は、i番目の出力管理情報が有する出力情報を取得する。
(ステップS2409)情報出力部51は、ステップS2408で取得された出力情報を出力する。
(ステップS2410)出力情報取得手段617は、カウンタiを1、インクリメントする。ステップS2405に戻る。
(ステップS2411)学習情報蓄積部63は、入力情報または入力情報から取得された1以上の特徴情報を取得する。
(ステップS2412)学習検知部62は、カウンタiに1を代入する。
(ステップS2413)学習検知部62は、i番目の学習条件が学習条件格納部57に存在するか否かを判断する。i番目の学習条件が存在する場合はステップS2414に行き、存在しない場合はステップS2417に行く。
(ステップS2414)学習検知部62は、ステップS2401で取得された発火パターンが、i番目の学習条件に合致するか否かを判断する。合致する場合はステップS2415に行き、合致しない場合はステップS2417に行く。
(ステップS2415)学習情報蓄積部63は、ステップS2401で取得された発火パターンから蓄積すべき1以上のsoma識別子を取得する。そして、学習情報蓄積部63は、当該1以上のsoma識別子と、ステップS2411で取得した入力情報または1以上の特徴情報とを有する学習情報を構成する。なお、当該1以上のsoma識別子は、発火パターンである。
(ステップS2416)学習情報蓄積部63は、ステップS2415で構成した学習情報を蓄積する。
(ステップS2417)学習検知部62は、カウンタiを1、インクリメントする。ステップS2413に戻る。
なお、図24のフローチャートにおいて、ステップS2401からステップS2410は、出力情報の出力処理であり、ステップS2411からステップS2417は学習処理である。
また、図24のフローチャートにおいて、外部情報を使用しなくても良いことは言うまでもない。
次に、ステップS2107のsoma成長処理の例について、図25のフローチャートを用いて説明する。
(ステップS2501)成長部64は、カウンタiに1を代入する。
(ステップS2502)成長部64は、i番目のsoma関連情報がsoma関連情報格納部51に存在するか否かを判断する。i番目のsoma関連情報が存在する場合はステップS2503に行き、i番目のsoma関連情報が存在しない場合は上位処理にリターンする。
(ステップS2503)成長部64は、i番目のsoma関連情報に含まれるi番目のsoma識別子に対応する発火情報を発火情報格納部59から取得する。かかる発火情報は、i番目のsomaの発火の履歴である。そして、成長部64は、取得した発火情報が条件を満たすか否かを判断する。条件を満たす場合はステップS2504に行き、条件を満たさない場合はステップS2508に行く。なお、成長部64は、例えば、取得した発火情報から、予め決められた条件を満たすほど、somaが良く発火している場合は、条件を満たすと判断する。つまり、成長部64は、i番目のsoma識別子を含む発火情報の数が予め決められた条件を満たすほど多いか否かを判断する。多い場合は、条件を満たす、と判断する。なお、成長部64が取得する発火情報は、例えば、現在から一定期間以内のタイマー情報を有する発火情報でも良い。
(ステップS2504)成長部64は、i番目のsomaに対応するグリア細胞情報に関する情報を取得する。ここでのグリア細胞情報に関する情報とは、i番目のsomaに結合されている1以上のグリア細胞のグリア細胞情報でも良いし、i番目のsomaに結合されているグリア細胞の数などでも良い。
(ステップS2505)成長部64は、ステップS2504で取得したグリア細胞情報に関する情報が、予め決められた条件を満たすか否かを判断する。条件を満たす場合はステップS2506に行き、条件を満たさない場合はステップS2508に行く。なお、予め決められた条件とは、somaを分裂させるための条件である。somaを分裂させるための条件とは、分裂somaを生成するための条件である。また、予め決められた条件は、グリア細胞情報に関する情報が、予め決められた条件を満たすほどグリア細胞が多いことを示す情報である場合である。成長部64は、例えば、i番目のsoma識別子と対になるグリア細胞識別子の数を算出し、当該数が閾値以上または閾値より多い場合に、予め決められた条件を満たすと判断する。なお、ここで、soma関連情報の数、AXON情報の数、Dendrites情報の数等のうち、1種類以上の要素の数が閾値より少ないまたは閾値以下であることを条件として、成長部64は条件を満たすと判断しても良い。
(ステップS2506)成長部64は、i番目のsomaを分裂させた分裂somaのsoma関連情報を生成し、soma関連情報格納部51に蓄積する。なお、成長部64が分裂somaのsoma関連情報を生成するアルゴリズムは問わない。
(ステップS2507)成長部64は、i番目のsomaと、ステップS2506で生成した分裂somaとを結合する結合情報を生成し、結合情報格納部53に蓄積する。
(ステップS2508)成長部64は、カウンタiを1、インクリメントする。ステップS2502に戻る。
次に、ステップS2108のAXON成長処理の例について、図26のフローチャートを用いて説明する。
(ステップS2601)成長部64は、カウンタiに1を代入する。
(ステップS2602)成長部64は、i番目のAXON情報がsoma関連情報格納部51に存在するか否かを判断する。i番目のAXON情報が存在する場合はステップS2603に行き、i番目のAXON情報が存在しない場合は上位処理にリターンする。
(ステップS2603)成長部64は、i番目のAXON情報に対応するグリア細胞情報に関する情報を取得する。ここでのグリア細胞情報に関する情報とは、i番目のAXONに結合されている1以上のグリア細胞のグリア細胞情報でも良いし、i番目のAXONに結合されているグリア細胞の数などでも良い。
(ステップS2604)成長部64は、ステップS2603で取得したグリア細胞情報に関する情報が、予め決められた条件を満たすか否かを判断する。条件を満たす場合はステップS2605に行き、条件を満たさない場合はステップS2606に行く。なお、予め決められた条件とは、AXONが伸長するための条件である。また、予め決められた条件は、グリア細胞情報に関する情報が、予め決められた条件を満たすほどグリア細胞が多いことを示す情報である場合である。
(ステップS2605)成長部64は、AXONが伸長するように、i番目のAXON情報に含まれるAXON位置情報を変更する。
(ステップS2606)成長部64は、カウンタiを1、インクリメントする。ステップS2602に戻る。
次に、ステップS2109のDendrites成長処理について、図27のフローチャートを用いて説明する。
(ステップS2701)成長部64は、カウンタiに1を代入する。
(ステップS2702)成長部64は、i番目のDendrites情報がsoma関連情報格納部51に存在するか否かを判断する。i番目のDendrites情報が存在する場合はステップS2703に行き、i番目のDendrites情報が存在しない場合は上位処理にリターンする。
(ステップS2703)成長部64は、i番目のDendrites情報に対応するグリア細胞情報に関する情報を取得する。ここでのグリア細胞情報に関する情報とは、i番目のDendritesに結合されている1以上のグリア細胞のグリア細胞情報でも良いし、i番目のDendritesに結合されているグリア細胞の数などでも良い。
(ステップS2704)成長部64は、ステップS2703で取得したグリア細胞情報に関する情報が、予め決められた条件を満たすか否かを判断する。条件を満たす場合はステップS2705に行き、条件を満たさない場合はステップS2706に行く。なお、予め決められた条件とは、Dendritesが伸長するための条件である。また、予め決められた条件は、グリア細胞情報に関する情報が、予め決められた条件を満たすほどグリア細胞が多いことを示す情報である場合である。
(ステップS2705)成長部64は、Dendritesが伸長するように、i番目のDendrites情報に含まれるDendrites位置情報を変更する。
(ステップS2706)成長部64は、カウンタiを1、インクリメントする。ステップS2702に戻る。
次に、ステップS2110のsoma結合処理について、図28のフローチャートを用いて説明する。
(ステップS2801)成長部64は、カウンタiに1を代入する。
(ステップS2802)成長部64は、i番目のAXON情報がsoma関連情報格納部51に存在するか否かを判断する。i番目のAXON情報が存在する場合はステップS2803に行き、i番目のAXON情報が存在しない場合は上位処理にリターンする。
(ステップS2803)成長部64は、i番目のAXON情報が有するAXON位置情報をsoma関連情報格納部51から取得する。
(ステップS2804)成長部64は、カウンタjに1を代入する。
(ステップS2805)成長部64は、i番目のAXONが接続されているsomaへの入力ではないDendritesのDendrites情報であり、j番目のDendrites情報がsoma関連情報格納部51に存在するか否かを判断する。j番目のDendrites情報が存在する場合はステップS2806に行き、j番目のDendrites情報が存在しない場合はステップS2810に行く。
(ステップS2806)成長部64は、j番目のDendrites情報が有するDendrites位置情報をsoma関連情報格納部51から取得する。
(ステップS2807)成長部64は、i番目のAXON情報が有するAXON位置情報と、j番目のDendrites情報が有するDendrites位置情報とを用いて、i番目のAXONとj番目のDendritesとが結合可能か否かを判断する。結合可能である場合はステップS2808に行き、結合可能でない場合はステップS2809に行く。なお、成長部64は、例えば、i番目のAXON情報が有するAXON位置情報がj番目のDendrites情報が有するDendrites位置情報と重なりを有すると判断した場合に、i番目のAXONとj番目のDendritesとが結合可能であると判断する。また、成長部64は、例えば、i番目のAXON情報が有するAXON位置情報が示すAXONの先端の位置と、j番目のDendrites情報が有するDendrites位置情報が示すDendritesの先端の位置とが、一致するまたは閾値以下の距離または閾値未満の距離であると判断した場合に、i番目のAXONとj番目のDendritesとが結合可能であると判断する。
(ステップS2808)成長部64は、i番目のAXONとj番目のDendritesとの結合を特定する結合情報を構成し、結合情報格納部53に蓄積する。成長部64は、例えば、i番目のAXON情報が有するAXON識別子と、j番目のDendrites情報が有するDendrites識別子とを有する結合情報を構成し、結合情報格納部53に蓄積する。
(ステップS2809)成長部64は、カウンタjを1、インクリメントする。ステップS2805に戻る。
(ステップS2810)成長部64は、カウンタiを1、インクリメントする。ステップS2802に戻る。
次に、ステップS2111のグリア細胞成長処理について、図29のフローチャートを用いて説明する。
(ステップS2901)成長部64は、カウンタiに1を代入する。
(ステップS2902)成長部64は、i番目のsoma関連情報がsoma関連情報格納部51に存在するか否かを判断する。i番目のsoma関連情報が存在すればステップS2903に行き、i番目のsoma関連情報が存在しなければ上位処理にリターンする。
(ステップS2903)成長部64は、i番目のsoma関連情報が有する必要エネルギー量情報と保有エネルギー量情報とを取得する。
(ステップS2904)成長部64は、ステップS2903で取得した必要エネルギー量情報と保有エネルギー量情報とが予め決められた条件を満たすか否かを判断する。予め決められた条件を満たす場合はステップS2905に行き、予め決められた条件を満たさない場合はステップS2907に行く。
(ステップS2905)成長部64は、i番目のsoma関連情報が有するsoma識別子を取得する。
(ステップS2906)成長部64は、ステップS2905で取得したsoma識別子を有するグリア細胞情報を構成し、グリア細胞情報格納部54に蓄積する。
(ステップS2907)成長部64は、カウンタjに1を代入する。
(ステップS2908)成長部64は、i番目のsoma関連情報の中にj番目のAXON情報が存在するか否かを判断する。j番目のAXON情報が存在する場合はステップS2909に行き、j番目のAXON情報が存在しない場合はステップS2914に行く。
(ステップS2909)成長部64は、j番目のAXON情報が有する必要エネルギー量情報と保有エネルギー量情報とを取得する。
(ステップS2910)成長部64は、ステップS2909で取得した必要エネルギー量情報と保有エネルギー量情報とが予め決められた条件を満たすか否かを判断する。予め決められた条件を満たす場合はステップS2911に行き、予め決められた条件を満たさない場合はステップS2913に行く。
(ステップS2911)成長部64は、j番目のAXON情報のAXON識別子を取得する。
(ステップS2912)成長部64は、ステップS2911で取得したAXON識別子を有するグリア細胞情報を構成し、グリア細胞情報格納部54に蓄積する。
(ステップS2913)成長部64は、カウンタjを1、インクリメントする。ステップS2908に戻る。
(ステップS2914)成長部64は、カウンタjに1を代入する。
(ステップS2915)成長部64は、i番目のsoma関連情報の中にj番目のDendrites情報が存在するか否かを判断する。j番目のDendrites情報が存在する場合はステップS2909に行き、j番目のDendrites情報が存在しない場合はステップS2914に行く。
(ステップS2916)成長部64は、j番目のDendrites情報が有する必要エネルギー量情報と保有エネルギー量情報とを取得する。
(ステップS2917)成長部64は、ステップS2916で取得した必要エネルギー量情報と保有エネルギー量情報とが予め決められた条件を満たすか否かを判断する。予め決められた条件を満たす場合はステップS2918に行き、予め決められた条件を満たさない場合はステップS2920に行く。
(ステップS2918)成長部64は、j番目のDendrites情報のDendrites識別子を取得する。
(ステップS2919)成長部64は、ステップS2918で取得したDendrites識別子を有するグリア細胞情報を構成し、グリア細胞情報格納部54に蓄積する。
(ステップS2920)成長部64は、カウンタjを1、インクリメントする。ステップS2915に戻る。
(ステップS2921)成長部64は、カウンタiを1、インクリメントする。ステップS2902に戻る。
次に、ステップS2112のアポトーシス処理について、図30のフローチャートを用いて説明する。
(ステップS3001)アポトーシス処理部65は、カウンタiに1を代入する。
(ステップS3002)アポトーシス処理部65は、i番目のsoma関連情報がsoma関連情報格納部51に存在するか否かを判断する。i番目のsoma関連情報が存在する場合はステップS3003に行き、i番目のsoma関連情報が存在しない場合は上位処理にリターンする。
(ステップS3003)アポトーシス処理部65は、i番目のsoma関連情報のsoma識別子をsoma関連情報格納部51から取得する。
(ステップS3004)アポトーシス処理部65は、ステップS3003で取得したsoma識別子を含む発火情報を発火情報格納部59から取得する。なお、ここで取得する発火情報は、現在の時から閾値以内または閾値より近い時を示すタイマー情報を有する発火情報であることは好適である。
(ステップS3005)アポトーシス処理部65は、ステップS3004で取得した発火情報を用いて、アポトーシスの条件を満たすか否かを判断する。アポトーシスの条件を満たす場合はステップS3006に行き、アポトーシスの条件を満たさない場合はステップS3008に行く。
(ステップS3006)アポトーシス処理部65は、i番目のsoma関連情報をsoma関連情報格納部51から削除する。
(ステップS3007)アポトーシス処理部65は、i番目のsomaに対応する結合情報を結合情報格納部53から削除する。
(ステップS3008)アポトーシス処理部65は、カウンタiを1、インクリメントする。ステップS3002に戻る。
以上、本実施の形態によれば、脳内の処理を模倣した映像処理装置を実現できる。
また、本実施の形態によれば、soma群の間の情報の受け渡し処理をも模倣した映像処理装置を実現できる。
また、本実施の形態によれば、脳内のDendritesとAXONを模倣した映像処理装置を実現できる。
また、本実施の形態によれば、脳内のシナプスとスパインを模倣した映像処理装置を実現できる。
また、本実施の形態によれば、一度動作したsomaは、予め決められた条件を満たすほど時間が経過していない場合は動作しない、という脳内の処理を模倣した映像処理装置を実現できる。
また、本実施の形態によれば、発火したsomaは発火しやすくなる、という脳内の処理を模倣した映像処理装置を実現できる。
また、本実施の形態によれば、同じ入力情報が与えられた場合でも、外部情報に応じて、出力情報が異なる、という脳内の処理を模倣した映像処理装置を実現できる。
また、本実施の形態によれば、発火パターンを学習する、という脳内の処理を模倣した映像処理装置を実現できる。
また、本実施の形態によれば、soma等は成長する、という脳内の処理を模倣した映像処理装置を実現できる。
また、本実施の形態によれば、脳内のsoma等の成長方法を模倣した映像処理装置を実現できる。
また、本実施の形態によれば、脳内のグリア細胞を模倣した映像処理装置を実現できる。
また、本実施の形態によれば、脳内のsomaが自動的に減少する、という脳内の処理を模倣した映像処理装置を実現できる。
また、本実施の形態によれば、脳内のsomaのアポトーシスを模倣した映像処理装置を実現できる。
さらに、本実施の形態によれば、脳内のsoma等の成長をより模倣した映像処理装置を実現できる。
なお、本実施の形態における処理は、ソフトウェアで実現しても良い。そして、このソフトウェアをソフトウェアダウンロード等により配布しても良い。また、このソフトウェアをCD−ROMなどの記録媒体に記録して流布しても良い。なお、このことは、本明細書における他の実施の形態においても該当する。なお、本実施の形態における映像処理装置Bを実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータを、2以上のカラー画像を有する映像を受け付ける入力情報受付部と、前記映像が有する2以上の各カラー画像に対して、前記カラー画像の一部の領域をモノクロ化する第一の処理、前記カラー画像の時間的に前のカラー画像の少なくとも一部の領域の赤の色情報を取得し、当該色情報を前記カラー画像に付加する第二の処理、前記カラー画像の一部の領域を黒または白にする第三の処理、のうちのいずれか1以上の処理を行い、2以上の変更画像を取得する変更部と、前記2以上の変更画像を出力する出力部として機能させるためのプログラムである。
また、上記プログラムにおいて、コンピュータがアクセス可能な記録媒体は、somaを識別するsoma識別子と、当該somaが発火するための条件に関する発火条件情報とを有する2以上のsoma関連情報が格納されるsoma関連情報格納部と、2以上のsomaの間の結合を特定する1以上の結合情報が格納される結合情報格納部と、1以上のsoma識別子を有する発火パターンを用いた出力のための条件である出力条件と出力される情報である出力情報とを有する1以上の出力管理情報が格納される出力管理情報格納部とを具備し、前記変更部は、前記映像が有する2以上の各カラー画像に対して、各カラー画像を構成する1または2以上の各部分画像からR、G、B、Yのうちの1以上の情報である1以上の特徴情報を取得する特徴情報取得手段と、前記2以上の各カラー画像ごと、および前記1以上の各部分画像ごとに、前記特徴情報取得手段が取得した1以上の特徴情報と最初に発火するsomaを識別する1以上のsoma識別子とを取得し、かつ1以上の他のsomaから渡された1以上の特徴情報または当該1以上の特徴情報から取得される1以上の特徴情報と発火の判断の対象となる1以上の各somaのsoma識別子とを取得する情報伝達手段と、前記2以上の各カラー画像ごと、および前記1以上の各部分画像ごとに、前記情報伝達手段が取得した1以上の特徴情報と、前記情報伝達手段が取得した1以上の各soma識別子と対になる発火条件情報とを用いて、前記各soma識別子で識別されるsomaが発火するか否かを判断する判断手段と、前記2以上の各カラー画像ごと、および前記1以上の各部分画像ごとに、前記判断手段が発火すると判断したsomaを識別する1以上のsoma識別子を含む発火パターンを取得する発火パターン取得手段と、前記2以上の各カラー画像ごとに、前記発火パターン取得手段が取得した発火パターンに対応する出力情報を、前記1以上の各部分画像ごとに前記出力管理情報格納部から取得し、当該取得した1以上の出力情報から変更画像を構成する出力情報取得手段とを具備するものとして、コンピュータを機能させるためのプログラムである。
また、図32は、本明細書で述べたプログラムを実行して、上述した種々の実施の形態の映像処理装置を実現するコンピュータの外観を示す。上述の実施の形態は、コンピュータハードウェア及びその上で実行されるコンピュータプログラムで実現され得る。図32は、このコンピュータシステム300の概観図であり、図33は、システム300のブロック図である。
図32において、コンピュータシステム300は、CD−ROMドライブを3012含むコンピュータ301と、キーボード302と、マウス303と、モニタ304とを含む。
図33において、コンピュータ301は、CD−ROMドライブ3012と、MPU3013と、バス3014と、ROM3015と、RAM3016と、ハードディスク3017とを含む。ROM3015は、ブートアッププログラム等のプログラムを記憶している。RAM3016は、MPU3013に接続され、アプリケーションプログラムの命令を一時的に記憶するとともに一時記憶空間を提供する。ハードディスク3017は、通常、アプリケーションプログラム、システムプログラム、及びデータを記憶している。ここでは、図示しないが、コンピュータ301は、さらに、LANへの接続を提供するネットワークカードを含んでも良い。
コンピュータシステム300に、上述した実施の形態の映像処理装置の機能を実行させるプログラムは、CD−ROM3101に記憶されて、CD−ROMドライブ3012に挿入され、さらにハードディスク3017に転送されても良い。また、プログラムは、図示しないネットワークを介してコンピュータ301に送信され、ハードディスク3017に記憶されても良い。プログラムは実行の際にRAM3016にロードされる。プログラムは、CD−ROM3101またはネットワークから直接、ロードされても良い。
プログラムは、コンピュータ301に、上述した実施の形態の映像処理装置の機能を実行させるオペレーティングシステム(OS)、またはサードパーティープログラム等は、必ずしも含まなくても良い。プログラムは、制御された態様で適切なモジュールを呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいれば良い。コンピュータシステム300がどのように動作するかは周知であり、詳細な説明は省略する。
また、上記プログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。
また、上記各実施の形態において、各処理は、単一の装置によって集中処理されることによって実現されてもよく、あるいは、複数の装置によって分散処理されることによって実現されてもよい。
本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。
以上のように、本発明にかかる映像処理装置は、人間の目の機能を模倣して得られる映像を得ることができるという効果を有し、映像処理装置等として有用である。
A、B 映像処理装置
1、5 格納部
2 受付部
3、6 処理部
4 出力部
21 入力情報受付部
31、61 変更部
32 色情報取得部
33 注目領域決定部
34 合成部
41 情報出力部
51 soma関連情報格納部
52 soma群情報格納部
53 結合情報格納部
54 グリア細胞情報格納部
55 発火始点情報格納部
56 出力管理情報格納部
57 学習条件格納部
58 学習情報格納部
59 発火情報格納部
60 利用結合情報格納部
62 学習検知部
63 学習情報蓄積部
64 成長部
65 アポトーシス処理部
66 発火情報蓄積部
611 特徴情報取得手段
612 情報伝達手段
613 soma演算手段
614 判断手段
615 発火確率変更手段
616 発火パターン取得手段
617 出力情報取得手段
618 制御手段
6121 発火始点soma決定手段
6122 結合検知手段
6123 伝達情報取得手段

Claims (8)

  1. 2以上のカラー画像を有する映像を受け付ける入力情報受付部と、
    前記カラー画像の時間的に前のカラー画像の少なくとも一部の領域の赤の色情報を取得し、当該色情報を前記カラー画像に付加する第二の処理、前記カラー画像の一部の領域を黒または白にする第三の処理、のうちのいずれか1以上の処理を行い、2以上の変更画像を取得する変更部と、
    前記2以上の変更画像を出力する出力部とを具備する映像処理装置。
  2. soma(神経細胞体)を識別するsoma識別子と、当該somaが発火するための条件に関する発火条件情報とを有する2以上のsoma関連情報が格納されるsoma関連情報格納部と、
    2以上のsomaの間の結合を特定する1以上の結合情報が格納される結合情報格納部と、
    1以上のsoma識別子を有する発火パターンを用いた出力のための条件である出力条件と出力される情報である出力情報とを有する1以上の出力管理情報が格納される出力管理情報格納部と、
    2以上のカラー画像を有する映像を受け付ける入力情報受付部と、
    前記映像が有する2以上の各カラー画像に対して、前記カラー画像の一部の領域をモノクロ化する第一の処理、前記カラー画像の時間的に前のカラー画像の少なくとも一部の領域の赤の色情報を取得し、当該色情報を前記カラー画像に付加する第二の処理、前記カラー画像の一部の領域を黒または白にする第三の処理、のうちのいずれか1以上の処理を行い、2以上の変更画像を取得する変更部と、
    前記2以上の変更画像を出力する出力部とを具備し、
    前記変更部は、
    前記映像が有する2以上の各カラー画像に対して、各カラー画像を構成する1または2以上の各部分画像からR、G、B、Yのうちの1以上の情報である1以上の特徴情報を取得する特徴情報取得手段と、
    前記2以上の各カラー画像ごと、および前記1以上の各部分画像ごとに、前記特徴情報取得手段が取得した1以上の特徴情報と最初に発火するsomaを識別する1以上のsoma識別子とを取得し、かつ1以上の他のsomaから渡された1以上の特徴情報または当該1以上の特徴情報から取得される1以上の特徴情報と発火の判断の対象となる1以上の各somaのsoma識別子とを取得する情報伝達手段と、
    前記2以上の各カラー画像ごと、および前記1以上の各部分画像ごとに、前記情報伝達手段が取得した1以上の特徴情報と、前記情報伝達手段が取得した1以上の各soma識別子と対になる発火条件情報とを用いて、前記各soma識別子で識別されるsomaが発火するか否かを判断する判断手段と、
    前記2以上の各カラー画像ごと、および前記1以上の各部分画像ごとに、前記判断手段が発火すると判断したsomaを識別する1以上のsoma識別子を含む発火パターンを取得する発火パターン取得手段と、
    前記2以上の各カラー画像ごとに、前記発火パターン取得手段が取得した発火パターンに対応する出力情報を、前記1以上の各部分画像ごとに前記出力管理情報格納部から取得し、当該取得した1以上の出力情報から変更画像を構成する出力情報取得手段とを具備する映像処理装置。
  3. 前記2以上の各カラー画像を構成する2以上の各部分画像の色に関する色情報を取得する色情報取得部と、
    前記色情報取得部が取得した色情報が予め決められた条件を満たす領域である1以上の注目領域を各カラー画像ごとに決定する注目領域決定部とをさらに具備し、
    前記出力部は、
    前記注目領域決定部が決定した1以上の注目領域の変化である注目領域遷移を視覚的に認識可能なように出力する請求項1または請求項2記載の映像処理装置。
  4. 前記入力情報受付部は、
    右目の第一のカラー画像を有する第一の映像と、左目の第二のカラー画像を有する第二の映像とを受け付け、
    前記変更部は、
    前記第一の映像および前記第二の映像の各々に対して、前記第一のカラー画像および前記第二のカラー画像の一部の領域をモノクロ化する第一の処理、前記第二の処理、前記第三の処理、のうちのいずれか1以上の処理を行い、右目の第一の変更画像と左目の第二の変更画像を取得し、
    前記第一の変更画像と前記第二の変更画像とを合成する合成部をさらに具備し、
    前記出力部は、
    前記合成部が合成した画像を出力する請求項1から請求項3いずれか一項に記載の映像処理装置。
  5. 入力情報受付部、変更部、および出力部により実現される映像処理方法であって、
    前記入力情報受付部が、2以上のカラー画像を有する映像を受け付ける入力情報受付ステップと、
    前記変更部が、前記カラー画像の時間的に前のカラー画像の少なくとも一部の領域の赤の色情報を取得し、当該色情報を前記カラー画像に付加する第二の処理、前記カラー画像の一部の領域を黒または白にする第三の処理、のうちのいずれか1以上の処理を行い、2以上の変更画像を取得する変更ステップと、
    前記出力部が、前記2以上の変更画像を出力する出力ステップとを具備する映像処理方法。
  6. soma(神経細胞体)を識別するsoma識別子と、当該somaが発火するための条件に関する発火条件情報とを有する2以上のsoma関連情報が格納されるsoma関連情報格納部、2以上のsomaの間の結合を特定する1以上の結合情報が格納される結合情報格納部、1以上のsoma識別子を有する発火パターンを用いた出力のための条件である出力条件と出力される情報である出力情報とを有する1以上の出力管理情報が格納される出力管理情報格納部、入力情報受付部、変更部、および出力部により実現される映像処理方法であって、
    前記入力情報受付部が、2以上のカラー画像を有する映像を受け付ける入力情報受付ステップと、
    前記変更部が、前記映像が有する2以上の各カラー画像に対して、前記カラー画像の一部の領域をモノクロ化する第一の処理、前記カラー画像の時間的に前のカラー画像の少なくとも一部の領域の赤の色情報を取得し、当該色情報を前記カラー画像に付加する第二の処理、前記カラー画像の一部の領域を黒または白にする第三の処理、のうちのいずれか1以上の処理を行い、2以上の変更画像を取得する変更ステップと、
    前記出力部が、前記2以上の変更画像を出力する出力ステップとを具備し、
    前記変更ステップにおいて、
    前記映像が有する2以上の各カラー画像に対して、各カラー画像を構成する1または2以上の各部分画像からR、G、B、Yのうちの1以上の情報である1以上の特徴情報を取得する特徴情報取得サブステップと、
    前記2以上の各カラー画像ごと、および前記1以上の各部分画像ごとに、前記特徴情報取得サブステップで取得された1以上の特徴情報と最初に発火するsomaを識別する1以上のsoma識別子とを取得し、かつ1以上の他のsomaから渡された1以上の特徴情報または当該1以上の特徴情報から取得される1以上の特徴情報と発火の判断の対象となる1以上の各somaのsoma識別子とを取得する情報伝達サブステップと、
    前記2以上の各カラー画像ごと、および前記1以上の各部分画像ごとに、前記情報伝達サブステップで取得された1以上の特徴情報と、前記情報伝達サブステップで取得された1以上の各soma識別子と対になる発火条件情報とを用いて、前記各soma識別子で識別されるsomaが発火するか否かを判断する判断サブステップと、
    前記2以上の各カラー画像ごと、および前記1以上の各部分画像ごとに、前記判断サブステップで発火すると判断されたsomaを識別する1以上のsoma識別子を含む発火パターンを取得する発火パターン取得サブステップと、
    前記2以上の各カラー画像ごとに、前記発火パターン取得サブステップで取得された発火パターンに対応する出力情報を、前記1以上の各部分画像ごとに前記出力管理情報格納部から取得し、当該取得した1以上の出力情報から変更画像を構成する出力情報取得サブステップとを具備する映像処理方法。
  7. コンピュータを、
    2以上のカラー画像を有する映像を受け付ける入力情報受付部と、
    前記カラー画像の時間的に前のカラー画像の少なくとも一部の領域の赤の色情報を取得し、当該色情報を前記カラー画像に付加する第二の処理、前記カラー画像の一部の領域を黒または白にする第三の処理、のうちのいずれか1以上の処理を行い、2以上の変更画像を取得する変更部と、
    前記2以上の変更画像を出力する出力部として機能させるためのプログラム。
  8. soma(神経細胞体)を識別するsoma識別子と、当該somaが発火するための条件に関する発火条件情報とを有する2以上のsoma関連情報が格納されるsoma関連情報格納部と、2以上のsomaの間の結合を特定する1以上の結合情報が格納される結合情報格納部と、1以上のsoma識別子を有する発火パターンを用いた出力のための条件である出力条件と出力される情報である出力情報とを有する1以上の出力管理情報が格納される出力管理情報格納部とにアクセス可能なコンピュータを、
    2以上のカラー画像を有する映像を受け付ける入力情報受付部と、
    前記映像が有する2以上の各カラー画像に対して、前記カラー画像の一部の領域をモノクロ化する第一の処理、前記カラー画像の時間的に前のカラー画像の少なくとも一部の領域の赤の色情報を取得し、当該色情報を前記カラー画像に付加する第二の処理、前記カラー画像の一部の領域を黒または白にする第三の処理、のうちのいずれか1以上の処理を行い、2以上の変更画像を取得する変更部と、
    前記2以上の変更画像を出力する出力部として機能させるためのプログラムであって、
    前記変更部は、
    前記映像が有する2以上の各カラー画像に対して、各カラー画像を構成する1または2以上の各部分画像からR、G、B、Yのうちの1以上の情報である1以上の特徴情報を取得する特徴情報取得手段と、
    前記2以上の各カラー画像ごと、および前記1以上の各部分画像ごとに、前記特徴情報取得手段が取得した1以上の特徴情報と最初に発火するsomaを識別する1以上のsoma識別子とを取得し、かつ1以上の他のsomaから渡された1以上の特徴情報または当該1以上の特徴情報から取得される1以上の特徴情報と発火の判断の対象となる1以上の各somaのsoma識別子とを取得する情報伝達手段と、
    前記2以上の各カラー画像ごと、および前記1以上の各部分画像ごとに、前記情報伝達手段が取得した1以上の特徴情報と、前記情報伝達手段が取得した1以上の各soma識別子と対になる発火条件情報とを用いて、前記各soma識別子で識別されるsomaが発火するか否かを判断する判断手段と、
    前記2以上の各カラー画像ごと、および前記1以上の各部分画像ごとに、前記判断手段が発火すると判断したsomaを識別する1以上のsoma識別子を含む発火パターンを取得する発火パターン取得手段と、
    前記2以上の各カラー画像ごとに、前記発火パターン取得手段が取得した発火パターンに対応する出力情報を、前記1以上の各部分画像ごとに前記出力管理情報格納部から取得し、当該取得した1以上の出力情報から変更画像を構成する出力情報取得手段とを具備するものとして、前記コンピュータを機能させるためのプログラム。
JP2019521556A 2017-05-30 2017-05-30 映像処理装置、映像処理方法、およびプログラム Active JP6924829B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/019991 WO2018220694A1 (ja) 2017-05-30 2017-05-30 映像処理装置、映像処理方法、およびプログラム

Publications (2)

Publication Number Publication Date
JPWO2018220694A1 JPWO2018220694A1 (ja) 2020-04-02
JP6924829B2 true JP6924829B2 (ja) 2021-08-25

Family

ID=64455836

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019521556A Active JP6924829B2 (ja) 2017-05-30 2017-05-30 映像処理装置、映像処理方法、およびプログラム

Country Status (2)

Country Link
JP (1) JP6924829B2 (ja)
WO (1) WO2018220694A1 (ja)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07154827A (ja) * 1993-11-29 1995-06-16 Canon Inc 複数画像合成装置及び画像表示装置
JP5500066B2 (ja) * 2008-04-03 2014-05-21 Nltテクノロジー株式会社 画像処理方法、画像処理装置及びプログラム
JP2012029236A (ja) * 2010-07-27 2012-02-09 Toshiba Corp 映像処理装置及び映像処理方法
JP6137113B2 (ja) * 2014-10-24 2017-05-31 ソニー株式会社 表示装置、表示方法、プログラム
JP6596972B2 (ja) * 2015-06-24 2019-10-30 凸版印刷株式会社 表示装置、視差画像表示プログラム、および、視差画像の提供方法

Also Published As

Publication number Publication date
JPWO2018220694A1 (ja) 2020-04-02
WO2018220694A1 (ja) 2018-12-06

Similar Documents

Publication Publication Date Title
CN107358241B (zh) 图像处理方法、装置、存储介质及电子设备
El Boustani et al. Network-state modulation of power-law frequency-scaling in visual cortical neurons
CN107862653B (zh) 图像显示方法、装置、存储介质和电子设备
CN110493506B (zh) 一种图像处理方法和系统
Bertalmío Vision models for high dynamic range and wide colour gamut imaging: techniques and applications
US9299011B2 (en) Signal processing apparatus, signal processing method, output apparatus, output method, and program for learning and restoring signals with sparse coefficients
CN110555527A (zh) 延时摄影视频的生成方法及设备
CN110889426A (zh) 三维表达体生成系统
GB2541073B (en) Information processing apparatus, method for controlling information processing apparatus, image processing system and storage medium
JP6924829B2 (ja) 映像処理装置、映像処理方法、およびプログラム
US20140086479A1 (en) Signal processing apparatus, signal processing method, output apparatus, output method, and program
Llinás et al. The olivo-cerebellar circuit as a universal motor control system
Zylbertal et al. Recurrent network interactions explain tectal response variability and experience-dependent behavior
US11586933B2 (en) Information processing apparatus, information processing method, and program for simulating growth of cells
CN107005643A (zh) 图像处理装置、图像处理方法以及程序
CN105049822A (zh) 图像处理设备及图像处理方法
CN113014805B (zh) 一种仿视网膜中央凹与外周的联合采样方法及装置
Lecca et al. T-Rex: a Milano Retinex implementation based on intensity thresholding
US11494388B2 (en) Information processing apparatus, information processing method, and program
Zylbertal et al. A recurrent network architecture explains tectal activity dynamics and experience-dependent behaviour
Gisiger et al. A model for integrating elementary neural functions into delayed-response behavior
EP1944963A1 (en) Image Sensor Systems Having Improved Noise Performance
US11494640B2 (en) Information processing apparatus, information processing method, and program
CN114399973B (zh) 基于环境感知的自适应显示屏
Grogan et al. Image quality measurements with a neural brightness perception model

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200327

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201208

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20210115

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210218

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210506

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210513

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210720

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210802

R150 Certificate of patent or registration of utility model

Ref document number: 6924829

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150