JP4176154B2 - コード化する前に画像をセグメントに分割するための方法および装置 - Google Patents

Description

発明の背景
本発明は、その全文を引用によって本明細書の記載に援用する、１９９５年４月２５日付けの、同じ発明者による出願第０８／４２９，４５８号（特許第５，７１０，８２９号）に関連する。
本発明は、概して、ビデオ・コード化に関し、特にその内部でコード化が行われる前に、画像が対象物に分解されるビデオ・コード化に関する。その後、個々の対象物は、それぞれ別々にコード化される。
多くの画像送信および画像記憶の場合には、画像の移動する対象物の起動がうまく推定することができる場合には、有意のデータ圧縮を行うことができる。従来、簡単で効率的であるために、ブロック指向移動推定が広く研究されてきた。しかし、あるシーンのブロックと対象物との間の境界は通常一致しない。何故なら、ブロックは画像内容に適応しないからである。そのため、低いビット速度のコード化装置の場合には、ボケおよび蚊模様と呼ばれる、目に感じる歪が発生する場合がある。
対象物指向コード化技術は、ブロック指向コード化の欠点を克服するために開発された。あるタイプの対象物指向コード化の場合には、画像シーケンスは、複数の移動対象物のセグメントに分割される。均等な移動をする大きな領域を抽出することができるが、そのため、より高度の圧縮が行われる結果となり、また目に感じる境界の歪も大きくなる。ゆっくりと変化する背景と比較すると、前景の対象物は、より新しい情報を含んでいるので、背景の送信頻度は、前景の送信頻度より少なくてすむ。従って、不当な歪を起こさないで必要な圧縮を行うには、前景の対象物を正しく識別しなければならない。
その結果、対象物指向画像処理の場合には、セグメントへの分割は重要な中間ステップとなる。そのため、移動をベースとし、焦点をベースとし、輝度をベースとし、および不均衡をベースとするセグメント分割のような多くのセグメント分割方法が試みられてきた。上記各方法に関連する問題は、これらの方法が特徴を指定する方法であるために、この方法をうまく適用できるシーンが制限されるということである。例えば、上記シーンは、適用可能な移動をベースとするセグメント分割に対する移動を含んでいなければならない。上記シーンは、輝度をベースとするセグメント分割を行うための有意なコントラストを含んでいなければならない。他の方法に対しても、類似の特徴が必要になる。さらに、移動をベースとする方法は、背景上を前景の影が移動するような、前景の移動と背景の移動の両方を含むシーンには、使用してもうまくいかない。焦点をベースとする方法も、前景がボケている場合には使用することができない。輝度をベースとする方法は、織り目を持つ対象物には使用することができない。何故なら、単一の対象物が誤って複数の対象物にセグメント分割されてしまうからである。不均衡をベースとする方法での不均衡の測定は、複雑で誤りを起こし易い。
ある方法の場合には、この問題を克服することができるコード化方法を選択するために、画像についての予備知識が使用される。しかし、この方法は、処理の際に画像のタイプを決定し、その後で、その画像に対する最も適当なコード化タイプを選択しなければならないので、画像のコード化を行うのが不便である。この方法を使用すると、コード化を行う前の画像の処理コストが有意に増大する。そうでない場合には、画質がもっと低いコード化を使用しなければならない。都合の悪いことに、代わりのこれらの方法は、どれも使用することができない。何故なら、画像送信のための帯域幅が狭いのに、消費者は技術の改善によるより高い画質を期待しているからである。
そのため、これらの方法の利点をどのようにうまく使い、前景および背景のセグメント分割の際の欠点をどのようにカバーするかということが問題になってきている。いくつかの可能性が検討された。一つの方法は、移動情報と輝度情報とを移動する対象物の境界を決定する一つのセグメント分割手順に結合する方法である。この場合もまた、この方法はうまくいかない。何故なら、移動する背景が移動する前景と一緒にセグメント分割され、そのため前景として分類され、コード化されるからである。
他の方法は、画像の背景部分から、画像の前景部分をセグメント分割するために、焦点をボカし、移動の検出を行う。図７−図９にこの方法を示す。図７は上記プロセスを示し、図８はいくつかのフレームのセグメント分割結果であり、図９は焦点がボケている状態での測定の結果を示す。しかし、この方法は、上記プロセスで充填ステップを行わなければならない。充填は軽視できる問題ではない。特にこのプロセスにより出力された前景画像セグメントが、閉じた境界を持たない画像の場合には軽視できない。この場合、全体のプロセスはさらにかなり複雑なものになる。ビデオコード化固有の複雑さがある場合には、それ自身内のおよびそれ自身のすべての複雑なステップを除去することが重要である。
それ故、本発明は、画像をコード化する前に、画像シーケンスで背景から、前景をセグメント分割するための方法および装置を開発するためのものである。上記方法および装置は、セグメント分割される画像に関する予備知識を必要としないし、その上比較的簡単に実行することができる。
発明の概要
本発明は、個々の各技術が決定したセグメント分割マッピングに、適当な加重を適用するために、神経ネットワークを使用して複数のセグメント分割技術を結合することによりこの問題を解決する。この場合、上記神経ネットワークは、手作業でセグメント分割された画像によりトレーニング済みである。トレーニングが行われると、上記神経ネットワークは、適当な加重を種々の技術で決定したセグメント分割マップに割り当てる。
本発明の方法および装置の一実施形態の場合には、画像の移動、焦点および輝度セグメント分割マップを計算し、これら各マップを神経ネットワークに送る。上記神経ネットワークは、最終的セグメント分割マップを計算し、その後、このマップは元の画像上のセグメント分割された前景の輪郭を描くのに使用される。この実施形態の場合には、神経ネットワークへの、種々のセグメント分割マップ入力を検出する際に使用するために、二つの連続している画像の取得が行われる。
移動検出ステップは、連続フレームのピクセルの間の差の検出と、あるピクセルに対する差が所定のしきい値を超えた場合には、そのピクセルが移動中であるとの判断とを含む。焦点検出ステップは、ｎ×ｎのピクセル正方形のソーベル縁部検出の大きさの計算と、上記ソーベル縁部検出の大きさを、縁部の幅で割ることとを含む。輝度検出ステップは、上記ピクセルのグレイ・レベルの決定を含む。
背景から前景をセグメント分割するために、画像シーケンスを処理するための本発明の方法の他の実施形態は、上記シーケンス中の連続画像の取得と、上記連続画像内のピクセルの移動、焦点および輝度の同時測定と、神経ネットワークへの、移動、焦点および輝度の測定値の入力と、神経ネットワークによる上記移動、焦点および輝度の測定値による前景セグメントと背景セグメントとの計算と、上記の計算した前景セグメントおよび背景セグメントに基づくセグメント・マップの作成とを含む。
本発明の上記方法の好適な実施形態の場合には、適応学習速度により神経ネットワークのトレーニングをスピードアップすることができる。適応学習速度の一つの可能な実施形態は、下記式により表わすことができる。
Δｗ＝ｌｒ＊ｄｐ^T
Δｂ＝ｌｒ＊ｄ
ここで、ｗは層の加重、ｂは層のバイアス、ｌｒは適応学習速度、ｄは上記層のデルタ・ベクトル、ｐは上記層の入力ベクトル、Ｔは掛け算を行う前にベクトルｐが、最初に移項されることを示す。
本発明の画像のシーケンスから前景および背景をセグメント分割するための装置は、移動検出装置、焦点検出装置、輝度検出装置および神経ネットワークを含む。上記移動検出装置は、画像シーケンス内のピクセルの移動を検出し、移動セグメント分割マップを出力する。上記焦点検出装置は、焦点が合っているピクセルを検出し、焦点セグメント分割マップを出力する。上記輝度検出装置は、高い輝度を持つピクセルおよび低い輝度を持つピクセルを検出し、輝度セグメント分割マップを出力する。上記神経ネットワークは、上記移動検出装置、上記焦点検出装置、および上記輝度検出装置に接続していて、これらの検出装置からの出力を加重し、最終セグメント分割マップを出力する。
本発明で使用される神経ネットワークのある好適な実施形態は、二つの層からなる神経ネットワークを含む。この場合、神経ネットワークは、二つのニューロンを含む隠れた層と、一つのニューロンを含む出力層を含む。この実施形態の場合には、輝度マップは、第一の加重により隠れた層の第一のニューロンに送られ、第二の加重により隠れた層の第二のニューロンに送られ、焦点マップは、第三の加重により隠れた層の第一のニューロンに送られ、第四の加重により隠れた層の第二のニューロンに送られ、移動マップは、第五の加重により隠れた層の第一のニューロンに送られ、第六の加重により隠れた層の第二のニューロンに送られる。バイアス情報は、それぞれ、第七の加重および第八の加重により第一および第二のニューロンに送られる。
本発明の方法を実行するためのさらに他の好適な実施形態は、デジタル化画像シーケンスを入手するために、上記画像シーケンスをデジタル化するための手段と、上記画像内のある対象物の移動に基づいて、ある画像をセグメント分割するための手段とを含む。上記移動セグメント分割手段は、移動セグメント分割マップをデジタル化および出力するための手段に接続していて、画像をセグメント分割するための手段は、焦点測定値を使用し、焦点セグメント分割手段は、焦点セグメント分割マップをデジタル化し、出力するための手段に接続していて、画像をセグメント分割するための手段は、輝度測定値を使用し、輝度セグメント分割手段は輝度セグメント分割マップをデジタル化し、出力するための手段に接続していて、セグメント分割マップを計算する神経ネットワークは、移動セグメント分割手段、輝度セグメント分割手段および焦点セグメント分割手段が出力した、セグメント分割マップを使用する。
【図面の簡単な説明】
図１は、本発明の装置で使用される二層神経ネットワークである。この図は、また上記ネットワークの異なる経路に対する加重のある実施形態も示す。
図２は、前景／背景セグメント分割用の神経ネットワーク・トレーニング・アルゴリズムである。
図３は、本発明の前景／背景セグメント分割アルゴリズムである。
図４は、合計平方エラー対エポックを示す神経ネットワークのトレーニング曲線である。
図５（ａ）−（ｃ）は、本発明のセグメント分割結果である。図中、図５（ａ）は元のフレームであり、図５（ｂ）は神経ネットワークのセグメント分割出力であり、図５（ｃ）はセグメント分割した前景の略図である。
図６は、本発明の方法を使用するための装置の一つの可能な実施形態である。
図７は、充填セグメント分割手順を使用する従来技術のプロセスである。
図８は、いくつかのフレームに対する図７のプロセスのセグメント分割結果である。
図９は、図７のプロセスで使用する焦点ボケ測定値の結果である。
詳細な説明
本発明は、統合基準に基づいて背景から前景をセグメント分割するための方法を提供する。この方法は、複合シーンをセグメント分割するために、二層神経ネットワークを使用する、三つの値、すなわち、焦点測定値、輝度測定値および移動測定値を統合する。その利点は、種々のシーンをセグメント分割するための頑丈さを増大するために、単一のセグメント分割測定値を結合することである。
画像シーケンスの三つの別々のセグメントマップを形成することにより、本発明は、神経ネットワークのトレーニングに基づいて最善のマップを選択する。図１は、種々の画像を使用して、このネットワークをトレーニングして決定した最適加重と一緒に、本発明で使用する上記神経ネットワークを示す。
各マップは、Ｎ×ＭピクセルからなるＮ×Ｍ画像である。神経ネットワークへの入力は、ピクセルＩ（ｉ，ｊ）、ｍ（ｉ，ｊ）、ｆ（ｉ，ｊ）に対応する。この場合、ｉ＝１、．．．、Ｎであり、ｊ＝１、．．．Ｍである。これらの配列は、一度に一つずつ、左から右、上から下の順番になっている。移動マップに対するピクセル値は、０または２５５である。（この場合、０は移動が全然ないことを示し、２５５は移動を示す。）焦点マップ、輝度マップに対するピクセル値は、０−２５５である。
各ピクセルが神経ネットワークに入力されると、ネットワークは（ｉ，ｊ）入力に対する出力値ο（ｉ、ｊ）を計算する。最後の出力結果は、Ｎ×Ｍ画像である。この場合、０＝背景、２５５＝前景である。
それ故、一つの画像の処理をＮ×Ｍ回繰り返されるループと見なすことができる。すなわち、神経ネットワークが、Ｎ×Ｍ回アクセスされるものを見なすことができる。同様に、画像のシーケンスの場合には、一つの画像ループがＮ×Ｍ回反復される場合で、画像数がＫである場合には、神経ネットワークがＮ×Ｍ回アクセスされる。
本発明の場合には、二層神経ネットワークは、セグメント分割に対して三つの測定値、すなわち、焦点測定値、輝度測定値、および移動測定値を含む。それぞれ、焦点、輝度または移動を検出するための任意の技術は、その技術が、同じ情報に基づいてセグメント分割マップを提供する限りは、満足するということは注目に値する。神経ネットワークのトレーニングは、異なるセグメント分割技術を使用して、種々の入力に適用する適当な加重を決定する。
シーンについて二つの仮定を行う。第一の仮定は、前景に焦点が結ばれ、背景がボケているとすること、すなわち、より近い対象物に焦点が結ばれているとすることである。第二の仮定は、セグメント分割される対象物が移動しているとすることである。
＜セグメント分割測定＞
＜焦点検出装置＞
本発明で使用される焦点検出技術は、周知の技術であるので、この技術を非常に詳細に説明する必要はない。しかし、本発明を簡単に説明すれば、本発明を理解するのに役立つだろう。
焦点は、深さの関数である。ある縁部が焦点から遠ざかると、その縁部はますますボヤけることになる。この測定値は深さの違いを示す。ある物点Ｅが焦点でない場合、得られる画像は、錯乱円と呼ばれるボケた画像ｅである。それ故、上記錯乱円の大きさは、すなわち、焦点の深さは点Ｎの深さｕの関数である。
像焦点は、画像の縁部のような高周波成分から容易に測定することができる。ある縁部の画像がハッキリすればするほど、縁部強度からの像焦点はますます高くなる。ある画像の付近のｎ×ｎの領域内の焦点測定値ｄは、下記式で表わされる。

ここで、｜Ｓ（ｘ，ｙ）｜²は、画像ｇ（ｘ，ｙ）上のソーベル縁部検出の大きさであり、ｗは画像ｇ（ｘ，ｙ）の縁部の幅である。付近のｎ×ｎ領域内においては、ｆ（ｘ＋ｉ，ｙ＋ｊ）＝ｄである。ここで、ｆ（ｘ，ｙ）は、焦点測定画像である。この場合、ｉ＝０、．．．、ｎであり、ｊ＝０，．．．，ｎである。
この検出装置の出力は、焦点が合っている現在の画像のピクセル、およびボケているピクセル、すなわち、前景の一部であるピクセル、および背景の一部であるピクセルを示すマップである。その後、このマップは、以下に説明するように、神経ネットワークに送られる。
＜移動検出装置＞
焦点検出の場合と同様に、本発明で使用する移動検出技術は周知の物であるので、本発明を説明するために、この技術を詳細に説明する必要はない。しかし、本発明を簡単に説明すれば、本発明を理解するのに役立つだろう。
移動は引算により検出される。
ｍｄ（ｘ，ｙ）＝ｇ_i+l（ｘ，ｙ）−ｇ_i（ｘ，ｙ）
ここで、ｍｄ（ｘ、ｙ）は、移動を検出された画像であり、ｇ_iおよびｇ_i+1は、シーケンスのｉ番目および（ｉ＋１）番目のフレームである。連続フレームの間の移動は、しきい値Ｔより大きいピクセルの差により表わされる。上記ピクセルの差が上記しきい値より大きい場合には、現在の画像のピクセルは２５５のグレイ・レベルに設定され、そうでない場合には、０のグレイ・レベルに設定される。この場合、２５５のグレイ・レベルは黒を表わし、０のグレイ・レベルは白を表わす。このしきい値は周知の方法で、実験的に決定される。対象物が移動しない場合には、結果は黒の画像になる。

ここで、ｍ（ｘ，ｙ）は、移動がセグメント分割された画像である。
この移動検出装置からの出力は、移動中のピクセル、それぞれ、および前景の一部であるピクセル、および背景の一部であるピクセルを表わす移動中でないピクセルを示す移動マップである。
＜輝度検出装置＞
焦点検出および移動検出の場合と同様に、本発明で使用する輝度検出技術は周知の物であるので、本発明を説明するためにこの技術を詳細に説明する必要はない。しかし、本発明を簡単に説明すれば、本発明を理解するのに役立つだろう。
輝度Ｉ（ｘ，ｙ）は、単に０−２５５のグレイ・レベルである。前景輝度データが重要であるのは、対象物の内部をセグメント分割する際に、このデータが神経ネットワークを助けるからである。焦点および移動は、対象物の縁部から測定される。それ故、上記対象物の内部については、第三の測定を行う必要がある。研究中この測定は輝度であり、この場合、神経ネットワークには大きな領域が入力される。
この検出装置の出力は、前景に属するピクセル、および背景に属するピクセルを示す輝度マップである。
＜神経ネットワーク＞
シーケンスをセグメント分割するために、二層後方伝播神経ネットワークをトレーニングする。
図１は、ネットワーク・アーキテクチャである。神経ネットワーク１０は、隠れた層１１および出力層１２を含む。上記隠れた層１１は二つのニューロン１３、１４を含み、上記出力層は一つのニューロン１５を含む。上記ニューロン１３−１５は、加重入力を持つＳ字状の関数を使用する。本質的には、これらニューロンは、加重入力を持つ総和器である。上記ネットワークへの入力は、移動、焦点および輝度の測定値か、セグメント分割マップである。出力はセグメント分割された前景画像ο（ｘ，ｙ）である。

上記ネットワークは、シーケンスの最初の二つのフレーム、およびその手作業によりセグメント分割された結果によりトレーニングされる。下記式に示すように、適応学習速度によりトレーニングをスピードアップすることができる。
Δｗ＝ｌｒ＊ｄｐ^T
Δｂ＝ｌｒ＊ｄ
ここで、ｗは層の加重であり、ｂはそのバイアスであり、ｌｒは適応学習速度であり、ｄは層のデルタ・ベクトルであり、ｐはその入力ベクトルであり、Ｔはベクトルｐが掛け算を行う前に最初に移項されることを示す。
＜方法＞
本発明は、画像をコード化するための内蔵セグメント分割方法を提供する。前景の特徴および背景の特徴はセグメント分割され、背景の特徴は捨て去られる。ネットワークは、移動、輝度およびセグメント分割されたデータを入手するために、最初、シーケンスの最初の二つのフレームを使用してトレーニングされる。図２を参照されたい。この図は、神経ネットワークをトレーニングするための四つのステップを含むトレーニング・アルゴリズム２０を示す、
上記プロセスの第一のステップ２１において、上記シーケンス中の第一の画像が入手される。次に、上記画像は、ステップ２２で、手作業によりセグメント分割される。次に、ステップ２３において、移動、焦点および輝度が計算される。最後に、神経ネットワークが、上記のスピートアップ・プロセスによりトレーニング２４される。
図３は、四つのステップを含むセグメント分割アルゴリズム３０である。最初に、ステップ３１において二つの連続している画像が入手される。次に、ステップ３２において、焦点、移動および輝度が測定される。ステップ３３において、上記測定値が、トレーニングを受けた神経ネットワークに入力される。ネットワークは、セグメント分割した前景を出力する。ステップ３４において、上記のセグメント分割された前景の輪郭が、その後、本発明の能力を示す元の画像の上に描かれる。
図５（ｃ）を見れば分かるように、このプロセスの出力は、背景から男を正しく切り離した。セグメント分割マップは、画像コード化プロセス中に、背景から前景を分離するためのマスクとして使用される。
神経ネットワークは、下記式を計算するために下記の表１の加重を適用する。

ここで、ο（ｘ、ｙ）はセグメント分割マップであり、Ｉ（ｘ、ｙ）は輝度セグメント分割マップであり、ｍ（ｘ、ｙ）は移動セグメント分割マップであり、ｆ（ｘ、ｙ）は、焦点セグメント分割マップであり、ｂ（ｘ、ｙ）はバイアス情報であり、ｖ１１、ｖ２１、ｖ３１、ｖ４１、ｖ１２、ｖ２２、ｖ３２、ｖ４２、ｗ１、ｗ２およびｗ３は、表１の加重である。これらの加重は、いくつかの特定の画像に使用するものとして決定されたものである。使用している正確な加重により、正確な加重を修正する場合が出てくる。これらの加重は、単に発明者が決定した加重である。

＜結果＞
＜神経ネットワークのトレーニング＞
図４は、試験シーケンスのトレーニング中の誤り率（合計平方エラー）４１対エポック（すなわち、Ｎ×Ｍ画像に対する、処理のＮ×Ｍバイト処理、トレーニング・サイクル）の曲線４０である（図５参照）。うまくトレーニングを行えば、トレーニング時間が増すにつれて、エラーは少なくなり、最終的にはエラーを最小にすることができる。我々のトレーニング・セッションにおいては、４０００で合計平方エラーが最小になった。このことは、我々の０．００２５／ピクセルの１７６×１４４画像に対する神経ネットワークが発生したセグメント分割マップと、実際のセグメント分割マップとの間の平均輝度の差に変換される。
本発明の利点は、セグメント分割した対象物の内部を充填するために、後処理を全然行わなくても、セグメント分割を行うことができるということである。従来技術の場合には、図５（ｂ）に示すセグメント分割マスクを生成するために、充填作業が必要であった。充填作業は軽視できないものである。特に、閉鎖しているライン・セグメントを持たない画像の場合には軽視することはできない。本発明によれば、対象物の形は神経ネットワークでの輝度測定により保存される。焦点検出装置および移動検出装置は、高周波成分である縁部効果により動作するので、上記検出装置は画像内部に関しては全然情報を提供しない。それ故、輝度測定を行わない場合には、充填作業が必要になる。輝度測定は、画像内部に関する情報を提供するので、神経ネットワークでこの情報を使用すると、画像の内部を充填する必要がなくなり、そのため、後処理充填ステップが必要なくなる。さらに、輝度測定は簡単に計算できる。
＜セグメント分割＞
図５は、画像シーケンスの、あるフレームに対するセグメント分割結果を示す。この図に示すように、このシーケンスの１５番目のフレームに対する神経ネットワークのセグメント分割は正確である。このセグメント分割は、上記シーケンスの第一および第二のフレーム上でトレーニングされたものである。図５（ａ）は、カメラ６１からの出力である。この出力は三つの検出装置の入力になる。図５（ｂ）は、神経ネットワークからの最後のセグメント分割マップ出力である。図を見ればハッキリと分かるように、この出力は図の略図によく一致する。図５（ｃ）は、セグメント分割の前景の略図である。この図は前景および背景の境界を示す。この図は、このセグメント分割方法が成功した場合のものであるが、コード化プロセスの次のステップに対して、実際には決して生成されないものである。
図６は、本発明の方法を実行するための装置６０である。二つの連続している画像が、最初、例えば、デジタル・カメラ６１により取得される。次に、上記のデジタル化された画像が、それぞれ、セグメント分割マップ、焦点セグメント分割マップ、および輝度セグメント分割マップを計算する、三つの検出装置６３、６４、６５に送られる。これらのマップは、その後、神経ネットワーク６６に送られ、上記神経ネットワーク６６は最終セグメント分割マップを出力し、上記マップは背景から前景の輪郭を描くために使用される。
それ故、本発明は、統合測定により前景および背景をセグメント分割する方法を開示する。この方法は、二つの理由で有利なものである。一方の理由は計算が簡単なことである。他方の理由は結合測定により、複合シーンをセグメント分割する際の強度が増大することである。他の可能な実施形態は、セグメント分割のベースとして、輝度測定対カラー測定の比較を含む。
神経ネットワークが、複数のマップの統合および加重の割当てを行うために使用されるが、ファジィ論理回路も使用することができる。本発明は、デジタル・カメラおよびビデオ・ボードのような画像取得装置を備える、サン・スパーク・ワークステーションで実行することもできる。
この方法を修正することもできるし、神経ネットワークへの追加入力として、または焦点測定または輝度測定の一方の代わりとして、周知の不均衡検出装置を使用することもできる。このような修正などは、焦点検出装置または輝度検出装置の一方を不均衡検出装置で置き換えることによって行うことができる。上記不均衡検出装置は、セグメント分割マップのそのバージョンを出力し、上記マップは、その後、神経ネットワークにより加重される。

Claims (4)

1. 画像のシーケンスから前景および背景をセグメント分割するための装置であって、
   ａ）画像シーケンスのピクセルの移動を検出し、移動マップを出力する移動検出装置と、
   ｂ）焦点が合っているピクセルを検出し、焦点マップを出力する焦点検出装置と、
   ｃ）高い輝度を持つピクセルと低い輝度を持つピクセルを検出し、輝度マップを出力する輝度検出装置と、
   ｄ）前記移動検出装置、焦点検出装置および輝度検出装置に接続していて、これらの検出装置からの出力を加重し、セグメント分割マップを出力する神経ネットワークであって、二つのニューロンを持つ隠れた層と、一つのニューロンを持つ出力層を持ち、各ニューロンがＳ字状の関数を使用する神経ネットワークを備え、
   （ｉ）前記神経ネットワークが、前記隠れた層の第一のニューロンへの入力になる輝度マップに、第一の加重を適用し、前記神経ネットワークが、また前記隠れた層の第二のニューロンの入力になる前記輝度マップに、第二の加重を適用し、
   （ii）前記神経ネットワークが、前記隠れた層の第一のニューロンへの入力になる焦点マップに、第三の加重を適用し、前記神経ネットワークが、また前記隠れた層の第二のニューロンの入力になる焦点マップに、第四の加重を適用し、
   （iii）前記神経ネットワークが、前記隠れた層の第一のニューロンへの入力になる移動マップに、第五の加重を適用し、前記神経ネットワークが、また前記隠れた層の第二のニューロンの入力になる前記移動マップに、第六の加重を適用する装置。
2. 請求項１に記載の装置において、さらに、前記神経ネットワークへの入力であるバイアス信号を発生するためのバイアス・ゼネレータを備え、前記神経ネットワークが、前記バイアス信号に、それぞれ、第七の加重および第八の加重を適用し、前記加重バイアス信号を第一および第二のニューロンに入力する装置。
3. 画像を送信および記憶するために、画像のコード化を行う前に、あるシーケンスで対象物をセグメント分割するための装置であって、
   ａ）デジタル化した画像のシーケンスを入手するために、画像シーケンスをデジタル化するための手段と、
   ｂ）前記画像内である対象物の移動に基づいて、画像をセグメント分割するためのものであって、前記デジタル化手段に接続していて、移動セグメント分割マップを出力するための手段と、
   ｃ）焦点度測定に使用する画像をセグメント分割するためのものであって、前記デジタル化手段に接続していて、焦点セグメント分割マップを出力するための手段と、
   ｄ）輝度測定に使用する画像をセグメント分割するためのものであって、前記デジタル化手段に接続していて、輝度セグメント分割マップを出力するための手段と、
   ｅ）前記移動セグメント分割手段、前記輝度セグメント分割手段、および前記焦点セグメント分割手段によるセグメント分割マップ出力を使用して、最終セグメント分割マップを計算するための神経ネットワークと、
   ｆ）前記神経ネットワークが、第一のニューロンおよび第二のニューロンを持つ隠れた層と、一つのニューロンを持つ出力層を含む、二層神経ネットワークを備える場合であって、前記輝度セグメント分割マップが、第二の加重を使用して、前記隠れた層の第一のニューロンに入力され、第二の加重を使用して前記隠れた層の第二のニューロンに入力され、前記焦点セグメント分割マップが、第三の加重を使用して、前記隠れた層の第一のニューロンに入力され、第四の加重を使用して前記隠れた層の第二のニューロンに入力され、前記移動セグメント分割マップが、第五の加重を使用して、前記隠れた層の第一のニューロンに入力され、第六の加重を使用して前記隠れた層の第二のニューロンに入力され、前記バイアス信号が、それぞれ、第七および第八の加重を使用して、前記第一および第二のニューロンに入力される場合に、神経ネットワークに接続していて、バイアス信号を出力するバイアス発生手段を備える装置。
4. 画像を送信および記憶するために、画像のコード化を行う前に、あるシーケンスで対象物をセグメント分割するための装置であって、
   ａ）デジタル化した画像のシーケンスを入手するために、画像シーケンスをデジタル化するための手段と、
   ｂ）前記画像内で、ある対象物の移動に基づいて、画像をセグメント分割するためのものであって、前記デジタル化手段に接続していて、移動セグメント分割マップを出力するための手段と、
   ｃ）焦点測定を使用して、画像をセグメント分割するためのものであって、前記デジタル化手段に接続していて、焦点セグメント分割マップを出力するための手段と、
   ｄ）輝度測定を使用して、画像をセグメント分割するためのものであって、前記デジタル化手段に接続していて、輝度セグメント分割マップを出力するための手段と、
   ｅ）前記神経ネットワークが下記式を計算する場合に、前記移動セグメント分割手段、前記輝度セグメント分割手段、および前記焦点セグメント分割手段による、セグメント分割マップ出力を使用して、最終セグメント分割マップを計算するための神経ネットワークとを備える装置。
   

   

   （但し、ο（ｘ，ｙ）が前記最終セグメント分割マップであり、ｌ（ｘ，ｙ）が前記輝度セグメント分割マップであり、ｆ（ｘ，ｙ）が焦点セグメント分割マップであり、ｂ（ｘ，ｙ）がバイアス信号であり、ｖ１１、ｖ２１、ｖ３１、ｖ４１、ｖ１２、ｖ２２、ｖ３２、ｖ４２、ｗ１、ｗ２およびｗ３が、前記神経ネットワークで使用する加重である）

Images