JP4043629B2 - 画像データ変換方法、画像部品化方法、画像データ変換プログラムを記録した記録媒体及び画像部品化プログラムを記録した記録媒体 - Google Patents
画像データ変換方法、画像部品化方法、画像データ変換プログラムを記録した記録媒体及び画像部品化プログラムを記録した記録媒体 Download PDFInfo
- Publication number
- JP4043629B2 JP4043629B2 JP00342599A JP342599A JP4043629B2 JP 4043629 B2 JP4043629 B2 JP 4043629B2 JP 00342599 A JP00342599 A JP 00342599A JP 342599 A JP342599 A JP 342599A JP 4043629 B2 JP4043629 B2 JP 4043629B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- information
- penetration
- object image
- discontinuity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像データ変換方法、画像部品化方法、画像データ変換プログラムを記録した記録媒体及び画像部品化プログラムを記録した記録媒体にかかり、特に、原画像を表す画像データを符号化されたデータに変換する画像データ変換方法及び画像データ変換プログラムを記録した記録媒体、並びに原画像から該原画像に含まれる物体を表す物体画像を部品化する画像部品化方法及び画像部品化プログラムを記録した記録媒体に関する。
【０００２】
【従来の技術】
近年、コンピュータ技術の発展に伴って、カラー画像を画像データとしてデジタル化し、その画像データを保存させたり流通させたりして利用することがある。このデジタル化した画像データには、デジタルカメラ等のデジタル撮影装置で撮影することによって生成された撮影画像を表す画像データや、スキャナでカラー原稿をスキャンすることによって生成されたスキャン画像を表す画像データ等がある。
【０００３】
上記画像データは加工が容易であることから、原画像に含まれる山や人物等の風景や物体を表す一部の画像（以下、物体画像という。）を再利用したいという要望がある。物体画像を再利用するためには、原画像から物体画像を抽出しなければならない。この抽出は、実用化されているアプリケーションによって、原画像を、予め指定した形状で切り出したり、一定面積切り出したりすることによって、物体画像を含む領域を切り出し可能であるが、必要とする物体画像以外の非対象画像を含む場合がある。
【０００４】
このため、原画像から所定の領域を抽出する技術が多数提案されている。例えば、本出願人は、原画像から所望の色領域を分離する技術を提案している（特開平８−２２１５６７号公報参照）。
【０００５】
【発明が解決しようとする課題】
ところで、物体画像が所望の色領域であり原画像からその所望の色領域を分離して得た物体画像は、再利用時に制限がある。すなわち、再利用時には、物体画像を拡大したり縮小したりする場合がある。この場合、物体画像の解像度の変更が要求されることがあり、その解像度に合致した物体画像が必要になる。例えば、撮影画像では再度撮影が必要となり、スキャン画像では再度スキャンが必要となる。従って、所望の色領域を分離した場合であっても、単に切り出した領域の画像であり、再利用には制限がある。このため、物体画像は、再利用目的で部品化する必要性がある。部品化した物体画像は、他画像に合成する等のように再利用が可能となる。
【０００６】
しかしながら、物体画像を再利用目的で部品化した場合、他画像に合成する等のように再利用が可能になるものの、他画像に部品化した物体画像を貼り付けると、他画像と部品化した物体画像との境界部分が明瞭となり、貼り付けた物体画像に違和感が生じる。これは、物体画像または物体画像を含めた他画像を拡大したり縮小したりする場合にはさらに顕著になる。
【０００７】
本発明は、上記事実を考慮して、原画像及び原画像に含まれる物体画像を違和感なく再利用できるように符号化することができる画像データ変換方法、画像部品化方法、画像データ変換プログラムを記録した記録媒体及び画像部品化プログラムを記録した記録媒体を得ることが目的である。
【０００８】
【課題を解決するための手段】
上記目的を達成するために請求項１に記載の発明の画像データ変換方法は、色情報を含む原画像の画像データに基づいて、ラインプロセスによって表される色情報の不連続性を表す原画像の不連続情報を生成し、生成した不連続情報に基づいて原画像に含まれている物体画像の輪郭を抽出すると共に、前記不連続情報に基づいて物体画像の輪郭をアウトライン化したアウトライン情報を求め、前記不連続情報に基づいて該不連続情報に対応する原画像上の部位について、物体画像の水平方向の溶け込み度合いを表す水平方向の溶け込み度及び物体画像の垂直方向の溶け込み度合いを表す垂直方向の溶け込み度を求め、前記アウトライン情報及び水平方向の溶け込み度、垂直方向の溶け込み度を含めて画像データを符号化する。
【０００９】
請求項２に記載の発明は、請求項１に記載の画像データ変換方法であって、前記物体画像の輪郭はパラメトリック曲線でアウトライン化し、前記色情報はパラメトリック曲面で符号化することを特徴とする。
【００１０】
請求項３に記載の発明の画像部品化方法は、原画像の色情報に基づいて、ラインプロセスによって表される色情報の不連続性を表す原画像の不連続情報を生成し、生成した不連続情報に基づいて原画像に含まれている物体画像の輪郭を抽出し、抽出した輪郭を用いて物体画像を分離し、分離した物体画像について、不連続情報に基づいて物体画像の輪郭をアウトライン化したアウトライン情報を求めると共に、不連続情報に基づいて該不連続情報に対応する原画像上の部位について、物体画像の水平方向の溶け込み度合いを表す水平方向の溶け込み度及び物体画像の垂直方向の溶け込み度合いを表す垂直方向の溶け込み度を求め、前記アウトライン情報及び水平方向の溶け込み度、垂直方向の溶け込み度を含めて物体画像の色情報を符号化する。
【００１１】
請求項４に記載の発明は、請求項３に記載の画像部品化方法であって、前記物体画像の輪郭はパラメトリック曲線でアウトライン化し、前記色情報はパラメトリック曲面で符号化することを特徴とする。
【００１２】
請求項５に記載の発明は、請求項３または４に記載の画像部品化方法であって、前記物体画像を構成する要素画像毎にさらに分離して部品化することを特徴とする。
【００１３】
請求項６に記載の発明は、コンピュータによって原画像を表す画像データを符号化されたデータに変換するための画像データ変換プログラムを記録した記録媒体であって、前記画像データ変換プログラムは、原画像の色情報に基づいて、ラインプロセスによって表される色情報の不連続性を表す原画像の不連続情報を生成させ、生成した不連続情報に基づいて原画像に含まれている物体画像の輪郭を抽出させると共に、前記不連続情報に基づいて物体画像の輪郭をアウトライン化したアウトライン情報を求めさせ、不連続情報に基づいて該不連続情報に対応する原画像上の部位について、物体画像の水平方向の溶け込み度合いを表す溶け込み度及び物体画像の垂直方向の溶け込み度合いを表す垂直方向の溶け込み度を求めさせ、前記アウトライン情報及び水平方向の溶け込み度、垂直方向の溶け込み度を含めて画像データを符号化させることを特徴とする。
【００１４】
請求項７に記載の発明は、請求項６に記載の画像データ変換プログラムを記録した記録媒体であって、前記物体画像の輪郭はパラメトリック曲線でアウトライン化され、前記色情報はパラメトリック曲面で符号化されることを特徴とする。
【００１５】
請求項８に記載の発明は、コンピュータによって原画像から該原画像に含まれる物体を表す物体画像を部品化するための画像部品化プログラムを記録した記録媒体であって、前記画像部品化プログラムは、原画像の色情報に基づいて、ラインプロセスによって表される色情報の不連続性を表す原画像の不連続情報を生成させ、生成した不連続情報に基づいて原画像に含まれている物体画像の輪郭を抽出させ、抽出された輪郭を用いて物体画像を分離させ、分離した物体画像について、不連続情報に基づいて物体画像の輪郭をアウトライン化したアウトライン情報を求めさせると共に、不連続情報に基づいて物体画像を他画像と合成したときの水平方向の溶け込み度合いを表す水平方向の溶け込み度及び垂直方向の溶け込み度合いを表す垂直方向の溶け込み度を求め、前記アウトライン情報及び水平方向の溶け込み度、垂直方向の溶け込み度を含めて物体画像の色情報を符号化させることを特徴とする。
【００１６】
請求項９に記載の発明は、請求項８に記載の画像部品化プログラムを記録した記録媒体であって、前記物体画像の輪郭はパラメトリック曲線でアウトライン化され、前記色情報はパラメトリック曲面で符号化されることを特徴とする。
【００１７】
請求項１に記載の画像データ変換方法では、原画像の色情報に基づいて、ラインプロセスによって表される色情報の不連続性を表す原画像の不連続情報を生成する。ラインプロセスは、色情報の不連続性、すなわち色情報が連続か不連続かを表すものであり、色情報とラインプロセスとでエネルギ関数を定義してエネルギ関数を用いたエネルギの最小化を行うと、原画像で色情報が不連続となる箇所にラインプロセスが値を有することとなる。この値を有するラインプロセスで原画像の不連続情報を表すことができる。この不連続情報は、原画像で色情報が不連続となる箇所を表すので、同一または類似の色情報で構成されない異なる色情報で構成される隣り合う色領域では色情報の境界となる。従って、同一または類似の色情報からなる色領域は、その輪郭部分に不連続情報が現れる。原画像に含まれる物体画像は、同一または類似の色情報で構成されたり、予め定めた複数の色情報で構成されたりする。そこで、不連続情報に基づいて原画像に含まれている物体画像の輪郭を抽出する。
【００１８】
次に、不連続情報に基づいて物体画像の輪郭をアウトライン化したアウトライン情報を求める。アウトライン情報とは、原情報（すなわち輪郭に関する情報）の殆どを維持したまま大きさを変化、例えば拡大させたりや縮小させたりすることが可能な情報である。例えば、アウトライン情報には、点と線分や面情報等のベクトル情報とから構成される形状情報がある。なお、この形状情報は、数式による記述も可能である。このように、物体画像の輪郭をアウトライン情報で記述することで、物体画像の輪郭は解像度に依存することなく表現することができる。
【００１９】
原画像や物体画像を再利用するとき、その輪郭部分が明瞭である場合、例えば、他画像に貼り付ける等の合成操作や拡大縮小を行うと、その輪郭部分が物体画像と他画像との境界となり、違和感が生じることがある。そこで、本発明では、アウトライン情報を求めると共に、不連続情報に基づいて物体画像を他画像と合成したときの水平方向の溶け込み度合いを表す水平方向の溶け込み度及び垂直方向の溶け込み度合いを表す垂直方向の溶け込み度を求めている。この溶け込み度は、不連続情報に対応する原画像上の部位について物体画像の溶け込み度合いを表すものであり、画像の合成や拡大縮小時に用いることにより、境界部分に違和感を生じさせることなく、原画像を拡大縮小したり物体画像を他画像へ溶け込ませたりすることができる。
【００２０】
次に、前記アウトライン情報及び水平方向の溶け込み度、垂直方向の溶け込み度を含めて画像データを符号化する。画像データは一般的に色情報から構成されているが、この色情報に原画像内に含まれている物体画像の輪郭に相当するアウトライン情報、及び不連続情報に対応する原画像上の部位についての物体画像の溶け込み度合いを表す溶け込み度を含ませることによって、画像の合成や拡大縮小時には、境界部分に違和感が生じることなく、拡大縮小や合成することができる。なお、物体画像の色情報は、アウトライン情報で記述された物体画像の輪郭に内包され、不連続を伴わずに連続になるので、連続情報による表現で符号化できる。この符号化には、色情報を近似表現する符号化が一例としてあり、再利用可能な形式ではＪＰＥＧ等で知られる画像データフォーマットがある。この符号化された情報には、アウトライン情報及び溶け込み度を含ませる。
【００２１】
このように、物体画像の輪郭をアウトライン情報で記述すると共に、境界部分に違和感を生じないように溶け込み度を定め、原画像または物体画像の色情報を、再利用可能な形式で符号化しているので、原画像または物体画像を再利用するときに、拡大したり縮小したり合成したりする必要がある場合であっても、物体画像の輪郭は解像度に依存することなく元の物体画像の輪郭を維持した形式で利用することができると共に、溶け込み度に応じて画像の不連続部分が溶け込むので、境界部分に違和感を生じさせることなく、画像データを変換することができる。
【００２２】
画像を表現する場合、その輪郭は画像の最外周であり、２次元的な曲線となる。また、色情報は、画像の輪郭に内包されて連続になる。色情報は、各色毎にその位置と濃度との３次元表現が可能である。従って、連続的な色情報は、３次元的な曲面に対応させることが可能となる。このような曲線や曲面は取り扱いが容易な形式で表現されることが好ましい。そこで、請求項２にも記載したように、前記物体画像の輪郭を、パラメトリック曲線でアウトライン化し、色情報をパラメトリック曲面で符号化する。このようにすることによって、物体画像の輪郭及び色情報を数式を用いて簡単な記述形式で表現することができ、容易に利用することが可能となる。
【００２３】
請求項３に記載の画像部品化方法では、原画像の色情報に基づいて、ラインプロセスによって表される色情報の不連続性を表す原画像の不連続情報を生成する。この不連続情報に基づいて原画像に含まれている物体画像の輪郭を抽出すると共に、この抽出した輪郭を用いて物体画像を分離する。この分離した物体画像について、不連続情報に基づいて物体画像の輪郭をアウトライン化したアウトライン情報を求める。このように、物体画像の輪郭をアウトライン情報で記述することで、物体画像の輪郭は解像度に依存することなく表現できる。物体画像を再利用するとき、その輪郭部分が明瞭である場合、例えば、他画像に貼り付ける等の合成操作を行うと、その輪郭部分が物体画像と他画像との境界となり、違和感が生じることがある。そこで、本発明では、アウトライン情報を求めると共に、不連続情報に基づいて物体画像を他画像と合成したときの水平方向の溶け込み度合いを表す水平方向の溶け込み度及び垂直方向の溶け込み度合いを表す垂直方向の溶け込み度を求めている。この溶け込み度は、物体画像を他画像と合成したときの溶け込み度合いを表すものであり、溶け込み度に応じて画像の合成をすることにより、境界部分に違和感を生じさせることなく、物体画像を他画像へ溶け込ませることができる。
【００２４】
物体画像の色情報は、アウトライン情報で記述された物体画像の輪郭に内包され、不連続を伴わずに連続になるので、連続情報による表現で符号化される。この符号化には、色情報を近似表現する符号化が一例としてあり、再利用可能な形式ではＪＰＥＧ等で知られる画像データフォーマットがある。この符号化された情報には、アウトライン情報及び水平方向の溶け込み度、垂直方向の溶け込み度を含ませる。
【００２５】
このように、物体画像の輪郭をアウトライン情報で記述すると共に、境界部分に違和感を生じないように溶け込み度を定め、物体画像の色情報を、再利用可能な形式で符号化しているので、物体画像を再利用するときに、拡大したり縮小したりする必要がある場合であっても、物体画像の輪郭は拡大したり縮小したりしたときの解像度に依存することなく元の物体画像の輪郭を維持した形式で利用することができると共に、溶け込み度に応じて画像の合成をすることができ、境界部分に違和感を生じさせることなく、物体画像を他画像へ溶け込ませることができるように部品化することができる。
【００２６】
物体画像を表現する場合、その輪郭は物体画像の最外周であり、２次元的な曲線となる。また、色情報は、物体画像の輪郭に内包されて連続になる。色情報は、各色毎にその位置と濃度との３次元表現が可能である。従って、連続的な色情報は、３次元的な曲面に対応させることが可能となる。このような曲線や曲面は取り扱いが容易な形式で表現されることが好ましい。そこで、請求項４にも記載したように、前記物体画像の輪郭を、パラメトリック曲線でアウトライン化し、色情報をパラメトリック曲面で符号化する。このようにすることによって、物体画像の輪郭及び色情報を数式を用いて簡単な記述形式で表現することができ、容易に利用することが可能となる。
【００２７】
物体画像は、複数の要素画像から構成されることがある。例えば、人物の物体画像である場合、頭部、腕、胴体、足等の要素画像で構成されることがある。そこで、請求項５にも記載したように、前記物体画像を構成する要素画像毎にさらに分離して部品化する。このようにすることによって、物体画像として、その物体画像の要素画像で原画像から部品化することができ、再利用の物体画像を細分化することができる。
【００２８】
上記画像データ変換方法による原画像の符号化は、請求項６に記載の記録媒体に記録した画像データ変換プログラムの実行によってコンピュータ上において実現可能である。詳細には、コンピュータによって原画像から該原画像に含まれる物体を表す物体画像を部品化するための画像部品化プログラムを記録した記録媒体であって、前記画像部品化プログラムは、原画像の色情報に基づいて、ラインプロセスによって表される色情報の不連続性を表す原画像の不連続情報を生成させ、生成した不連続情報に基づいて原画像に含まれている物体画像の輪郭を抽出させ、抽出された輪郭を用いて物体画像を分離させ、分離した物体画像について、不連続情報に基づいて物体画像の輪郭をアウトライン化したアウトライン情報を求めさせると共に、不連続情報に基づいて物体画像を他画像と合成したときの水平方向の溶け込み度合いを表す水平方向の溶け込み度及び垂直方向の溶け込み度合いを表す垂直方向の溶け込み度を求め、前記アウトライン情報及び水平方向の溶け込み度、垂直方向の溶け込み度を含めて物体画像の色情報を符号化させる。これによって、コンピュータ上において、物体画像の輪郭が拡大縮小時の解像度に依存することなく部品化することができると共に、溶け込み度に応じて画像の拡大縮小や合成をすることができ、境界部分に違和感を生じさせることなく、原画像または物体画像を符号化することができる。
【００２９】
なお、請求項７にも記載したように、前記物体画像の輪郭は、その扱いを容易にすることが可能なパラメトリック曲線でアウトライン化することができ、前記色情報はパラメトリック曲面で符号化することができる。
【００３０】
上記画像部品化方法による物体画像の部品化は、請求項８に記載の記録媒体に記録した画像部品化プログラムの実行によってコンピュータ上において実現可能である。詳細には、コンピュータによって原画像から該原画像に含まれる物体を表す物体画像を部品化するための画像部品化プログラムを記録した記録媒体であって、前記画像部品化プログラムは、原画像の色情報に基づいて、ラインプロセスによって表される色情報の不連続性を表す原画像の不連続情報を生成させ、生成した不連続情報に基づいて原画像に含まれている物体画像の輪郭を抽出させ、抽出された輪郭を用いて物体画像を分離させ、分離した物体画像について、不連続情報に基づいて物体画像の輪郭をアウトライン化したアウトライン情報を求めさせると共に、不連続情報に基づいて物体画像を他画像と合成したときの水平方向の溶け込み度合いを表す水平方向の溶け込み度及び垂直方向の溶け込み度合いを表す垂直方向の溶け込み度を求め、前記アウトライン情報及び水平方向の溶け込み度、垂直方向の溶け込み度を含めて物体画像の色情報を符号化させる。これによって、コンピュータ上において、物体画像の輪郭が拡大縮小時の解像度に依存することなく部品化することができると共に、溶け込み度に応じて画像の合成をすることができ、境界部分に違和感を生じさせることなく、物体画像を他画像へ溶け込ませることができるように部品化することができる。
【００３１】
なお、請求項９にも記載したように、前記物体画像の輪郭は、その扱いを容易にすることが可能なパラメトリック曲線でアウトライン化することができ、前記色情報はパラメトリック曲面で符号化することができる。
【００３２】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態の一例を詳細に説明する。本実施の形態はカラー原画像内に含まれる物体画像を部品化する物体画像部品化装置に本発明を適用したものである。
【００３３】
図１に示すように、本実施の形態の物体画像部品化装置１０は、画像を表示するための表示装置等のディスプレイ装置１２、外部からコマンドやデータを入力するためのキーボード等の入力装置１４、装置本体１６、及びカラー原稿からカラー原画像を読み取るための画像読取装置３０から構成されている。
【００３４】
装置本体１６は、ＣＰＵ１８、ＲＡＭ２０、ＲＯＭ２２、入出力ポート（Ｉ／Ｏ）２８、からなるマイクロコンピュータで構成され、各々はコマンドやデータの授受が可能なようにバス２６によって接続されている。なお、ＲＯＭ２２には、装置本体１６において実行される後述する処理ルーチンが記憶されている。
【００３５】
装置本体１６の入出力ポート２８には、画像データを記憶するためのメモリ２４が接続されている。また、装置本体１６の入出力ポート２８には、入力装置１４が接続されると共に、ディスプレイ装置１２が接続されている。また、入出力ポート２８には、カラースキャナ等の画像読取装置３０が接続されている。
【００３６】
なお、画像読取装置３０は、印刷物等のカラー原稿、及び被写体の撮影後に現像処理されてネガ画像またはポジ画像が可視化された写真フィルムから多値のカラー原画像を読み取ることができる。
【００３７】
上記の入出力ポート２８には、記録媒体としてのフロッピーディスク（以下、ＦＤという）が挿抜可能なフロッピーディスクユニット（以下、ＦＤＵという）が接続されている。なお、後述する処理ルーチン等は、ＦＤＵを用いてＦＤに対して読み書き可能である。従って、後述する処理ルーチンは、ＲＯＭ２２に記憶することなく、予めＦＤに記録しておき、ＦＤＵを介してＦＤに記録された処理プログラムを実行してもよい。また、装置本体１６にハードディスク装置等の大容量記憶装置（図示省略）を接続し、ＦＤに記録された処理プログラムを大容量記憶装置（図示省略）へ格納（インストール）して実行するようにしてもよい。また、記録媒体としては、ＣＤ−ＲＯＭ等の光ディスクや、ＭＤ，ＭＯ等の光磁気ディスクがあり、これらを用いるときには、上記ＦＤＵに代えてまたはさらにＣＤ−ＲＯＭ装置、ＭＤ装置、ＭＯ装置等を用いればよい。
【００３８】
なお、本実施の形態では、一例として、カラースキャナ等の画像読取装置３０により多値のカラー原画像を入力する場合を説明するが、本発明はこれに限定されるものではなく、ＦＤ等の記憶媒体に予め記憶された画像データを入力するようにしてもよい。また、入出力ポート２８にネットワークボード等の信号授受装置を接続し、他の装置との間で信号授受を可能とする所謂ＬＡＮを構成して、他の装置から画像データを受け取るようにしてもよい。
【００３９】
また、多値のカラー原画像は、白黒画像や異なる色の組み合わせによる２値画像から、実写画像や自然画像等の画像を含むものである。
【００４０】
次に、本実施の形態の作用を説明する。物体画像部品化装置１０に電源が投入されると図２に示す処理ルーチンが実行される。なお、この処理ルーチンは、ＦＤ等の記録媒体に格納してコンピュータで実行可能なアプリケーションとして提供され、実行指示によって実行されるようにしてもよい。
【００４１】
まず、ステップ１００において画像読取装置３０に載置されたカラー原稿を読み取ることによって、カラー原画像（以下、原画像という）を読み取る。本実施の形態では、画像読取装置３０からＲＧＢデータが出力され、この出力されたＲＧＢデータを用いるものとする。なお、画像データとしてＣＭＹＫデータ等のように他の表色系で表された画像データであるときには、ＲＧＢ変換を行うようにすればよい。
【００４２】
図３には、読み取りが終了した原画像４０の一例を示した。原画像４０は、人物５２の周囲に草花５０が散在し、その近傍に植木４８が位置し、遠方（画像の上方）には山４２と小山４４とが位置し、上方に雲４６が位置している。
【００４３】
次のステップ１０２では、原画像について、ラインプロセスにより不連続情報の検出がなされる。ラインプロセス（線素）不連続を示す仮想の素子をいうものである。本実施の形態では、ラインプロセスを用いたニューラルネットワークによって、画像の不連続情報を検出する場合を説明する。まず。ラインプロセスについて詳細を説明する。
【００４４】
図４（Ａ）は、画素について位置と濃度との関係を求めた１次元データの一例を示したものであり、点Ｐ１〜Ｐ６及び点Ｐ７〜Ｐ１２は略近傍に位置し、点Ｐ６と点Ｐ７の間が大きく離れている。これらの１次元データに沿う曲線を求める場合、最小二乗法等の近似方法や補間方法で求めると、図４（Ｂ）に示すように、点Ｐ１〜Ｐ６から点Ｐ７〜Ｐ１２を曲線で連続させるために、点Ｐ６及び点Ｐ７から曲線３４が大きく離れるが滑らかになるよう求められる。
【００４５】
しかし、点Ｐ６及び点Ｐ７は曲線３４から大きく離れることになるので、得られる特性（すなわち曲線３４）は、実際のデータに則していないことになる。そこで、図４（Ｃ）に示すように、略近傍に位置する点Ｐ１〜Ｐ６及び点Ｐ７〜Ｐ１２について、各点に沿うように曲線３４ａ，３４ｂを求める。このように求めると、大きく離れている点Ｐ６と点Ｐ７の間に、不連続が生じる。この点Ｐ６と点Ｐ７の間の位置に不連続点３６を伴って曲線３４ａ，３４ｂを定めれば、実際のデータに則した特性を求めることができることになる。すなわち、点Ｐ６と点Ｐ７の間の位置の不連続点３６で不連続が発生することを表すラインプロセスがオンとなる。また、点Ｐ１〜点Ｐ６及び点Ｐ７〜点Ｐ１２の各間、すなわち、点Ｐ１と点Ｐ２、点Ｐ２と点Ｐ３、・・・点Ｐ５と点Ｐ６、及び点Ｐ７と点Ｐ８、点Ｐ８と点Ｐ９、・・・、点Ｐ１１と点Ｐ１２の各々の間はラインプロセスがオフとなる。
【００４６】
上記では、１次元データの場合を説明したが、２次元データで代表される画像にラインプロセスを適用する場合は、ラインプロセスを、２つの画素間について仮想的な関数として定義する。従って、定義されたラインプロセスが局所的な濃度差によってオンまたはオフすることにより画像中の不連続部分が不連続情報、この不連続部分を連結させたものが物体画像の輪郭として抽出することができる。
【００４７】
このラインプロセスを用いてニューラルネットワークでエネルギ関数の計算とその最小化を行って画像の不連続（情報）を求める。この詳細について説明する。
【００４８】
図５はラインプロセスを用いたニューラルネットワークを説明するための概念構成図である。図５に示すようにこのニューラルネットワークは、入力が画像であるときは画像に対応する一つの画素に対して３つのニューロンｆi,j ，ｈi,j ，ｖi,j が対応する。
【００４９】
ここで、ｆi,j は画素の値であり、ｈi,j ，ｖi,j はｆi,j 間の不連続性の存在、非存在を示すラインプロセスとよばれる隠れた関数である。すなわち、ｆi,j は入力される値の強度変化を、ｈi,j ，ｖi,j はそれぞれｆi,j の水平方向、垂直方向の連続性、不連続性を示している。
【００５０】
この３つの変数ｆi,j ，ｈi,j ，ｖi,j により、系全体のエネルギ関数を以下の（１）式に示すように定義する。
【００５１】
【数１】
【００５２】
但し、ＥI ：曲面（奥行き）データの連続性
ＥD ：観測データ（初期値）の信頼性
ＥV ：ラインプロセスが超球面の角（０or１）に向かうこと
ＥP ：近傍の平行したラインプロセスが１となるための条件
ＥC ：単一のラインプロセスが１となるための条件
ＥL ：連続したマルチラインプロセスを好み、交差と不連続を嫌う条件
ＥG ：（２）式におけるｍ，ｎが発散しないための条件
ＣD ，ＣV ，ＣP ，ＣC ，ＣL ，ＣG ：パラメータ値
ｇ（）：シグモイド関数
ｄi,j ：初期値
また、変数の時間則を以下の（２）式により定義した。
【００５３】
【数２】
【００５４】
但し、ｇ（Ｕi ）＝１／ｅ（−２λＵi ）
なお、ｅ（−２λＵi ）は指数関数であり、（ ）内部は指数部を表す
ｈi,j ＝ｇ（ｍi,j ）
ｖi,j ＝ｇ（ｎi,j ）
ｍ，ｎ：内部状態変数
上記（２）式の偏微分の計算例を次の（３）、（４）、（５）式に示す。
【００５５】
【数３】
【００５６】
上記（３）〜（５）式の計算結果が小さくなる、すなわち０に近いもしくは０の値をとるということは、隣接する値ｆi,j+1 と値ｆi,j 、およびｆi+1,j とｆi,j が略同一の値となるときである。従って、上記の（１）式で表したエネルギＥI について、ｆi,j+1 ≒ｆi,j 、およびｆi+1,j ≒ｆi,j であるとすると、エネルギＥI は比較的小さくなることからラインプロセスｈi,j ，ｖi,j は値を持つ必要はないためｈi,j ，ｖi,j は比較的小さな値となる。
【００５７】
一方、隣接する値ｆi,j+1 と値ｆi,j 、および値ｆi+1,j と値ｆi,j との差が大きい場合、すなわち隣接する値の間に境界があるときは、（ｆi,j+1 −ｆi,j ）2 および（ｆi+1,j −ｆi,j ）2 は大きくなる。従って、エネルギＥI を小さくするにはｈi,j あるいはｖi,j が値を有し、（１−ｈi,j ）または（１−ｖi,j ）が比較的小さくなる必要がある。このように互いに隣接する値ｆi,j とｆi,j+1 またはｆi,j とｆi+1,j に差がある場合は、各値の間にあるラインプロセスｈi,j ，ｖi,j が値を有するようになり、異なる色の領域間に境界線が出現することになる。
【００５８】
この係数からラインプロセスが発生する条件を決定する。一例として、図６（Ａ）に示す単一ラインプロセスが発生する条件はＥP ＝０，ＥC ＝０，ＥL ＝２ＣL 、図６（Ｂ）に示す連続するラインプロセスが発生する条件はＥP ＝０，ＥC ＝０，ＥL ＝ＣL 、図６（Ｃ）に示す互いに平行なラインプロセスが発生する条件は、ＥP ＝ＣP ，ＥC ＝ＣC ，ＥL ＝２ＣL 、そして図６（Ｄ）に示すように互いに交差するラインプロセスが発生する条件は、ＥP ＝０，ＥC ＝２ＣC ，ＥL ＝10ＣL である。
【００５９】
上記の（１）〜（５）式により、系全体のエネルギを最小にする計算を繰り返すエネルギ学習を行った結果が、与えられた入力に対するニューラルネットワークの解となる。
【００６０】
このニューラルネットワークは、(a) 入力がノイズを付加された画像であった場合、得られたエネルギ最小でのｆi,j は復元画像に相当し、(b) 入力が明度画像の場合、得られたエネルギ最小でのｈij，ｖijは輪郭に相当し、(c) 入力が山などの測量データの場合、得られたエネルギ最小でのｆijは測量点から推定される各地点の高度を示すこととなる。本実施の形態では、(b) の画像入力に利用した例である。
【００６１】
なお、上記ニューラルネットワークは、変数に何を割り当てるかにより、様々な逆問題に適用できる拡張性を有しており、アルゴリズムが局所計算で実現されているため、光等の並列処理ハード装置化が容易であり、高速処理を行うことができるという利点も備えている。
【００６２】
従って、図２のステップ１０２では、上記ラインプロセスを用いたニューラルネットワークによって、エネルギ関数とその最小化を行って、不連続検出がなさることにより画像の輪郭部分（不連続）が抽出される。すなわち、（２）式に従って、内部状態変数を更新すると（１）式の総エネルギーは常に減少して最小値が計算される。この最小時に得られたｈij，ｖijが水平方向及び垂直方向の不連続（輪郭）に相当する。
【００６３】
次に、ステップ１０４では、原画像における類似色の色領域設定がなされる。この類似色設定処理は、例えば、同系色や同一色、そして予め定めた色の組み合わせで指定される色や色群を、原画像上においてラベリングする処理である。例えば、原画像上の各画素について、各々直交する色相値軸、彩度値軸及び明度値軸から成る座標系の色空間（以下、ＨＬＳ色空間という）において求めた距離に基づいて反復型領域拡張法により統合処理等を行う方法がある。
【００６４】
具体的には、まず、原画像上から何れか１つの画素を選択する。次に、その画素の周囲の１画素（所謂、８近傍の１画素）を選択し、その選択された画素が既に何れかのラベルが付与された領域に含まれているときは、そのラベルを付与する。一方、含まれていないときは、選択された２つの画素のＨＬＳ色空間における距離、すなわち２つの画素の明度、彩度及び色相の類似性を求める。距離が長ければ類似性が低く、距離が短ければ類似性が高いことになる。距離が所定値未満のとき、２つの画素が類似しているとして、２つの画素に同一のラベルを付与する（ラベリング）。所定値以上のときは、類似していないとしてラベリングすることなく、８近傍の他の画素について上記処理を実行する。８近傍の全画素が終了すると、同一ラベルの付与された領域（原画像における）の最外周の１画素を選択し、上記処理を繰り返し実行する。上記処理を全画素について実行する。同一ラベルの付与された領域の最外周の画素から類似性の高い周囲の画素について同一ラベル付与を順次実行することによって、原画像上における色相、明度及び彩度が類似した画素による色領域を設定する。なお、同一ラベルが付与された画素群は、色相値、彩度値及び明度値のそれぞれの平均値を求め、求めた平均値をラベルの色相値、彩度値及び明度値とする。
【００６５】
なお、同一ラベルで指定された色領域は、不連続部分を含むことはないので、少なくともステップ１０２で検出された不連続すなわち輪郭が分割されることはない。
【００６６】
上記のように、ステップ１０４で、原画像の隣接した画素について色相、明度及び彩度の類似性で色領域が設定された後には、次のステップ１０６において、原画像がクラス分けされる。このクラス分けは、上記原画像に設定された類似色の色領域の間で関係を定める処理である。すなわち、１つのラベルが付与された色領域である同一または類似の色相、明度及び彩度による画素群は、同一物体である可能性が高いが、隣接せずに、原画像上で離れた位置にある類似色の色領域は、同一種類の物体である可能性が高い。そこで、予め類似色領域を種類分け（クラス分け）するための色相、明度及び彩度の値や範囲を定めておき、定められた値や範囲で、色領域を分類することによって原画像をクラス分けする。
【００６７】
なお、本実施の形態では、原画像に設定された類似色の色領域の間で関係を定めてクラス分けする例を説明するが、不連続情報は、物体画像の輪郭部分に相当することから、不連続情報（輪郭）の相似性でクラス分けすることもできる。
【００６８】
具体的には、図３に示す原画像４０を一例にすると、山４２、小山４４、及び雲４６を含んだ風景クラスＣＡ、散在した草花５０及び植木４８を含んだ環境クラスＣＢ、人物５２を含んだ人物クラスＣＣにクラス分けすることができる。
【００６９】
次のステップ１０８では、クラス分け毎に画像を抽出する。具体的には、図３に示す原画像４０を一例にすると、風景クラスＣＡは、山４２、小山４４、及び雲４６を含んだクラス画像５４として抽出される。このクラス画像５４は、山４２、小山４４、及び雲４６の原画像上の位置関係をそのまま維持し、これらの画像が少なくとも分断されないように、大きめの領域が設定される。なお、クラス画像５４に原画像４０上の背景をそのまま残存させてもよく、また、新規の背景、例えば予め定めた背景色上に上記画像を張り付けてもよい。同様にして、環境クラスＣＢは、散在した草花５０及び植木４８を含んだクラス画像５６、人物クラスＣＣは、人物５２を含んだクラス画像５８として抽出される。
【００７０】
上記のようにして抽出されたクラス画像上には、複数の物体画像が含まれていることがある。そこで、詳細な具体例は後述するが、まずステップ１１０では、上記ステップ１０８で抽出されたクラス画像のうち１つのクラス画像を指定する。次に、ステップ１１２において、１つの物体画像を抽出し、次のステップ１１４でベジェ曲線を用いて不連続情報をアウトライン化する。アウトライン化が終了すると、次のステップ１１５において、不連続情報を用いて物体画像の背景への溶け込み度を求める。
【００７１】
次のステップ１１６では、物体画像をアウトライン化された輪郭、溶け込み度及び物体画像の色情報が符号化された色で記述する。次のステップ１１８では、上記ステップ１１０で指定したクラス内に含まれている物体画像を全て抽出したか否かを判断し、未抽出の物体画像が残存するときに否定されてステップ１１２へ戻り、全物体画像の抽出が終了したときに次のステップ１２０へ進む。ステップ１２０では、原画像内に含まれているクラス画像の上記処理を全て終了したか否かを判断し、未処理のクラス画像が残存するときに否定されてステップ１１０へ戻り、全クラス画像の処理が終了したときに本ルーチンを終了する。
【００７２】
次に、図２のステップ１１０以降の処理を図３を参照して具体的に説明する。図３に示す風景クラスＣＡのクラス画像５４には、山４２、小山４４、及び雲４６の物体画像が含まれている。これらの物体画像をクラス画像５４から分離し抽出する。この分離抽出は、不連続情報を用いてなされる。不連続情報は、物体画像の輪郭部分に相当することから、不連続情報に囲まれた領域を物体画像として設定する。この不連続情報に囲まれた領域とは、物体画像の輪郭部分に相当する不連続点を連結した曲線や曲面による閉領域や閉空間であるが、１つの閉領域や閉空間に限定されない。すなわち複数の閉領域や閉空間からなる群であってもよい。なお、不連続点を連結した曲線や曲面による閉領域や閉空間は、後述するように、パラメトリック曲線や曲面で連結して得た曲線や曲面によって閉領域や閉空間を生成してもよい。
【００７３】
例えば、クラス画像５４内は、不連続情報に囲まれた領域が３つ設定される。この３つの領域を順次設定し、不連続情報と、不連続情報で囲まれた領域の色情報、すなわち領域内の画素について色相、明度及び彩度の各値が抽出され、山画像６０、小山画像６２、及び雲画像６４が抽出される。なお、図３の例では、山画像６０、小山画像６２、及び雲画像６４の各々について、抽出された各画像に背景画像を付加したものを物体画像として設定したものである。
【００７４】
同様に、環境クラスＣＢから、草花画像６６及び植木画像６８が抽出され、人物クラスＣＣから、人物の頭部画像７０、腕部画像７２、胴体部画像７４及び脚部画像７６が抽出される。
【００７５】
次に、抽出した画像の輪郭（不連続情報）を以下のようにしてアウトライン化する。不連続情報をアウトライン化するために記述が容易なパラメトリック曲線を採用し、特に本実施の形態では、パラメトリック曲線のうち扱いが簡便なベジェ曲線を採用する。従って、抽出した画像の輪郭（不連続情報：ｈij，ｖij）を２値化してベジェ曲線を用いてアウトライン化する。このベジェ曲線Ｐ（ｔ）を定める数式を次の（６）式に示す。
【００７６】
【数４】
【００７７】
但し、
このようにして物体画像の輪郭部分をアウトライン化することによって、物体画像を拡大したり縮小したりしても、その輪郭形状は維持されることになる。そして、このアウトライン化した輪郭と、物体画像の色情報（符号化することが好ましい）による色とで物体画像を記述することによって、物体画像を再利用可能な形式で記述（部品化）できることになる。
【００７８】
次に、抽出した画像の輪郭に相当する不連続情報を用いて物体画像の背景への溶け込み度を求める。本実施の形態では、水平方向の溶け込み度Ｍｈ（ｉｊ）、垂直方向の溶け込み度Ｍｖ（ｉｊ）の各々を次の（７）式を用いて求める。
【００７９】
Ｍｈ（ｉｊ）＝β（ｍij）
Ｍｖ（ｉｊ）＝β（ｎij） ・・・（７）
但し、β（）：シグモイド関数等の非線形関数または線形関数
０≦Ｍｈ（ｉｊ）≦１
０≦Ｍｖ（ｉｊ）≦１
このようにして物体画像の溶け込み度を求めることによって、物体画像を拡大したり縮小したりしても、物体画像の輪郭部分は背景に溶け込ませることが可能になる。そして、このアウトライン化した輪郭と、溶け込み度と、物体画像の色情報（符号化することが好ましい）による色とで物体画像を記述することによって、物体画像を違和感なく再利用可能な形式で記述（部品化）できることになる。
【００８０】
物体画像の輪郭部分をアウトライン化して溶け込み度を求めた物体画像として、図９（Ａ）に示す山画像６０を一例にして、物体画像の溶け込み度について更に説明する。山の稜線６０Ａは輪郭部分を表しており、溶け込み度を有している。上記式から理解されるように、溶け込み度は最大値から最小値の間で徐々に変化する。図９（Ｂ）は、領域Ａｒの拡大図であり、稜線６０Ａの濃度変化の推移を等高線で示したものである。図９（Ｃ）は、領域Ａｒ内のｉ−ｉ断面（図９（Ｂ）参照）における濃度変化を示したものである。図９（Ｂ）に示すように、図９（Ａ）に示す山画像６０において、山の稜線６０Ａを含む領域Ａｒを参照すると、本来の山画像の境界である稜線６０Ａ付近は稜線６０Ａから離れるに従って背景６０Ｂに溶け込むよう徐々に濃度が小さくなる（図９（Ｃ）参照）。従って、物体画像の輪郭部分が明瞭な稜線となることなく、背景に徐々に溶け込むことになる。
【００８１】
なお、上記では、アウトライン化した輪郭と、物体画像の色情報による色とで物体画像を記述した例を説明したが、本発明はこれに限定されるものではなく、物体画像を記述する上での情報を付与してもよい。例えば、物体画像に線画やパターン等の画像が含まれていたり物体画像がマスク処理やフォーカス処理等の一定の処理を施されていたりする場合に、その画像や処理を属させてもよい。すなわち、物体画像に関する記述を、線やグラデーション等の模様等で細分化したり、施された処理で細分化したりすることもできる。
【００８２】
また、上記では、パラメトリック曲線を用いた場合を説明したが、パラメトリック曲線に限定されるものではなく、他の近似曲線を用いてもよい。
【００８３】
次に、部品化された物体画像を拡大する場合を説明する。以下の説明では、物体画像の色情報をＮＵＲＢＳ（Non Unifom Rational B-Spline）曲面を用いて符号化した場合を例にして説明する。このパラメトリック曲面としてＮＵＲＢＳを定める数式を次の（８）式に示す。
【００８４】
【数５】
【００８５】
以下、図７及び図８を参照して３次のＮＵＲＢＳを用いて解像度を２倍（面積比４倍）に拡大する場合を説明する。
【００８６】
図８のステップ２００では、図２のステップ１００に相当する原画像の読み取りがなされる。この読み取った原画像は、次のステップ２０２において、図２のステップ１０２に相当する、ラインプロセスによる不連続検出がなされ、次のステップ２０４において図２のステップ１１４に相当するアウトライン化がなされる。次のステップ２０５では、図２のステップ１１５に相当する溶け込み度の演算がなされる。
【００８７】
次に、ステップ２０６では、アウトライン化された不連続情報が拡大され、次のステップ２０７において溶け込み度が拡大される（詳細は後述）。次のステップ２０８では、拡大された不連続情報とパラメトリック曲面を用いて解像度が大きくされる。そして、次のステップ２１０において、解像度が大きくされた画像が出力される。
【００８８】
図７は、原画像の一部を構成する縦横４個（合計１６個）の画素で画像８０を構成するものとして、各画素を制御点Ｐij（０≦ｉ≦３，０≦ｊ≦３）として用いる構成を示したものである。曲線８２は、上記説明したラインプロセスにより抽出した不連続情報を、そのまま拡大した場合に得られる曲線であり、曲線８４は、上記説明した不連続情報をアウトライン化した後に、拡大した場合に得られる曲線である。
【００８９】
画像は、その半分が白画素で他が黒画素であるものとして、各画素値として、制御点Ｐ00，Ｐ10，Ｐ20，Ｐ01，Ｐ11，Ｐ20が白、制御点Ｐ30，Ｐ21，Ｐ31，Ｐ12，Ｐ22，Ｐ32，Ｐ03，Ｐ13，Ｐ23が黒の値が設定される。
【００９０】
本実施の形態では、上記の拡大時に、制御点Ｐ00〜Ｐ33内に新規に画素を仮想点Ｓとして追加する。例えば、制御点Ｐ11，Ｐ12，Ｐ21，Ｐ22で囲まれた範囲内には、仮想点Ｓmn（０≦ｍ≦３，０≦ｎ≦３）が追加される。
【００９１】
これら追加された仮想点Ｓの画素値は、その周囲の原画像の画素値（制御点の画素値）を参照して求められる。本実施の形態では原画像中の不連続を考慮して画素値が決定される。すなわち、不連続情報である曲線８４を超えた画素の画素値を用いないものとした。例えば、仮想点Ｓ20の画素値を求めるとき、制御点Ｐ11は、仮想点Ｓ20とを結ぶ直線が曲線８４と交差することがないので参照するが、制御点Ｐ22は、仮想点Ｓ20とを結ぶ直線が曲線８４と交差するので参照しない。より詳細には、上記ＮＵＲＢＳを表す（８）式における重みを「０」に設定することで計算に反映させる。これによって、仮想点Ｓ20の画素値は白画素の値となる。同様にして他の仮想点の計算を行って画素値を求める。
【００９２】
このように、不連続情報をアウトライン化して拡大すると、ボケが抑制されたエッジを得ることができる。これによって、画像拡大時におけるエッジのジャギ（所謂ギザギザ）を抑えることができる。
【００９３】
次に、不連続情報を用いて溶け込み度を求める。溶け込み度は、拡大以前の画素間に存在する不連続情報にのみ存在する。このため、まず、拡大後の画素間の溶け込み度、すなわち不連続に対する値（不連続情報）を求める。
【００９４】
拡大以前の溶け込み度は、曲線８２に対応する制御点Ｐ20，Ｐ21の間に存在する不連続情報による溶け込み度Ｍｈ20、制御点Ｐ11，Ｐ12の間に存在する不連続情報による溶け込み度Ｍｈ11、制御点Ｐ11，Ｐ21の間に存在する不連続情報による溶け込み度Ｍｖ11、制御点Ｐ02，Ｐ12の間に存在する不連続情報による垂直方向の溶け込み度Ｍｖ02である。
【００９５】
次に、拡大後の曲線８４に対応する溶け込み度を求める。この溶け込み度は、隣接に存在する溶け込み度の間の距離により重み付けして新規の溶け込み度を求める。新規の溶け込み度は以下の（９），（１０）式の少なくとも一方の式により求めることができる。
【００９６】
Ｍｖi-k＝α・Ｍｖi＋β・Ｍｈj ・・・（９）
Ｍｈi-k＝γ・Ｍｖi＋ε・Ｍｈj ・・・（１０）
但し、ｉ：基準側に水平方向に直近の拡大前の溶け込み度の位置を表す値
ｊ：基準側に垂直方向に直近の拡大前の溶け込み度の位置を表す値
ｋ：拡大後の溶け込み度の位置を表す値
α，γ：図７の水平方向の距離の比例関係を表す係数
β，ε：図７の水平方向の距離の比例関係を表す係数
具体的には、仮想点Ｓ20周辺の溶け込み度Ｍｖ11-1,Ｍｖ11-2，Ｍｈ20-1は、次のようして求めることができる。
【００９７】
Ｍｖ11-1＝０．４・Ｍｖ11＋０．６・Ｍｈ20
Ｍｖ11-2＝１．０・Ｍｖ11＋０．０・Ｍｈ20
Ｍｈ20-1＝０．２５・Ｍｖ11＋０．７５・Ｍｈ20
溶け込み度Ｍｖ11-1は仮想点Ｓ20と制御点Ｐ21との間の位置Ｐｐを距離の基準として考え、溶け込み度Ｍｖ11、溶け込み度Ｍｈ20の各々までの距離比率を求める。制御点の間隔を「１」と想定すると、溶け込み度Ｍｖ11までの距離比率は１／３であり、溶け込み度Ｍｈ20までの距離比率は１／２である。これらの和が「１」となるように規格化するとα＝０．４、β＝０．６となる。他の溶け込み度も同様にして求まる。
【００９８】
ここで、溶け込み度を用いない場合には、例えば、仮想点Ｓ20の画素値を求めるとき、制御点Ｐ11は仮想点Ｓ20とを結ぶ直線が曲線８４と交差することがないので参照するが、制御点Ｐ22は、仮想点Ｓ20とを結ぶ直線が曲線８４と交差するので参照しない。詳細には、他の制御点を参照する場合ＮＵＲＢＳを表す（８）式における重みｗijを「１」に設定し、参照する場合重みｗijを「０」に設定することで計算に反映させる。これによって、仮想点Ｓ20の画素値は白画素の値となる。
【００９９】
一方、本実施の形態では、溶け込み度を用いる。このため、（８）式における重みｗijを次の（１１），（１２）式を用いる。但し、不連続情報と交差することがない制御点に対する溶け込み度は上記と同様にｗij＝１である。
【０１００】
ｗij＝１−Ｍｖi-k ・・・（１１）
ｗij＝１−Ｍｈi-k ・・・（１２）
なお、重みｗijの計算は、例えば仮想点Ｓ20の場合、各制御点との間を結ぶ直線が交差する不連続情報、すなわち拡大後の曲線８４の交差部分に対応する溶け込み度を用いる。また、複数の不連続情報と交差する場合には溶け込み度の最大値を用いるものとする。
【０１０１】
このように、（８）式に重み付けして計算することによって、物体画像は背景との溶け込み度を考慮した拡大が可能となる。
【０１０２】
なお、上記では、白画素と黒画素の例を説明したが、濃度を有する画素や色を有する画素であるときは、平均化や勾配による予測値を求めることによって画素値を求めてもよい。
【０１０３】
以上説明したように、本実施の形態では、原画像をラインプロセスを用いて不連続情報を検出し、その不連続情報を用いて原画像に含まれる物体画像の輪郭を抽出する。また、不連続情報を用いて物体画像の輪郭をアウトライン化して解像度変更、例えば拡大を行った場合であっても物体画像の輪郭がぼけたり粗くなったりすることなく、画像を生成することができる。さらに、不連続情報を用いて物体画像の溶け込み度を求めているので、拡大縮小したり他の画像と合成したり、解像度変更、例えば拡大を伴って背景に合成したりした場合であっても物体画像が溶け込むように画像を生成することができる。これによって、解像度に依存することなく物体画像を部品化して記述することができ、再利用を容易にすることができる。
【０１０４】
なお、上記実施の形態では、画素値の成分について考慮することの説明を省略したが、例えば、ＲＧＢの各成分に対して上記処理を行ったり、色相や彩度の成分に対して行ったりしてもよい。
【０１０５】
また、同一画像内において拡大縮小を行う場合について説明したが、物体画像内の背景部分を除去したオブジェクトを切り出して他の背景画像と合成する場合にも適用が可能である。この場合、切り出したときの溶け込み度を記憶しておき、他の背景画像と合成するときに、記憶した溶け込み度を用いるようにすればよい。このようにすることによって、より違和感が少ない合成画像の生成が可能となる。
【０１０６】
【発明の効果】
以上説明したように本発明によれば、物体画像の輪郭をアウトライン情報で記述すると共に、溶け込み度を含ませて、物体画像の色情報を、再利用可能な形式で符号化しているので、原画像または物体画像を再利用するときに、拡大したり縮小したりする必要がある場合であっても、解像度に依存することなく元の物体画像の輪郭を維持した形式で利用することができると共に、境界部分に違和感を生じさせることなく、画像データを変換したり部品化したりすることができる、という効果がある。
【図面の簡単な説明】
【図１】本発明の実施の形態にかかる物体画像部品化装置の概略構成を示すブロック図である。
【図２】本発明の実施の形態にかかる物体画像部品化装置で実行される処理の流れを示すフローチャートである。
【図３】原画像から物体画像を抽出する過程を示すイメージ図である。
【図４】ラインプロセスを説明するための説明図である。
【図５】ラインプロセスを用いたニューラルネットワークを説明するための概念構成図である。
【図６】画像に適用したラインプロセスを説明するための説明図である。
【図７】ＮＵＲＢＳを用いて解像度を拡大するときの画像の構成を説明するための説明図である。
【図８】原画像を拡大する処理の流れを示すフローチャートである。
【図９】山画像を用いて溶け込み度を説明するための説明図である。
【符号の説明】
１０ 物体画像部品化装置
３０ 画像読取装置
４０ 原画像
５４ クラス画像
６０ 山画像（物体画像）
【発明の属する技術分野】
本発明は、画像データ変換方法、画像部品化方法、画像データ変換プログラムを記録した記録媒体及び画像部品化プログラムを記録した記録媒体にかかり、特に、原画像を表す画像データを符号化されたデータに変換する画像データ変換方法及び画像データ変換プログラムを記録した記録媒体、並びに原画像から該原画像に含まれる物体を表す物体画像を部品化する画像部品化方法及び画像部品化プログラムを記録した記録媒体に関する。
【０００２】
【従来の技術】
近年、コンピュータ技術の発展に伴って、カラー画像を画像データとしてデジタル化し、その画像データを保存させたり流通させたりして利用することがある。このデジタル化した画像データには、デジタルカメラ等のデジタル撮影装置で撮影することによって生成された撮影画像を表す画像データや、スキャナでカラー原稿をスキャンすることによって生成されたスキャン画像を表す画像データ等がある。
【０００３】
上記画像データは加工が容易であることから、原画像に含まれる山や人物等の風景や物体を表す一部の画像（以下、物体画像という。）を再利用したいという要望がある。物体画像を再利用するためには、原画像から物体画像を抽出しなければならない。この抽出は、実用化されているアプリケーションによって、原画像を、予め指定した形状で切り出したり、一定面積切り出したりすることによって、物体画像を含む領域を切り出し可能であるが、必要とする物体画像以外の非対象画像を含む場合がある。
【０００４】
このため、原画像から所定の領域を抽出する技術が多数提案されている。例えば、本出願人は、原画像から所望の色領域を分離する技術を提案している（特開平８−２２１５６７号公報参照）。
【０００５】
【発明が解決しようとする課題】
ところで、物体画像が所望の色領域であり原画像からその所望の色領域を分離して得た物体画像は、再利用時に制限がある。すなわち、再利用時には、物体画像を拡大したり縮小したりする場合がある。この場合、物体画像の解像度の変更が要求されることがあり、その解像度に合致した物体画像が必要になる。例えば、撮影画像では再度撮影が必要となり、スキャン画像では再度スキャンが必要となる。従って、所望の色領域を分離した場合であっても、単に切り出した領域の画像であり、再利用には制限がある。このため、物体画像は、再利用目的で部品化する必要性がある。部品化した物体画像は、他画像に合成する等のように再利用が可能となる。
【０００６】
しかしながら、物体画像を再利用目的で部品化した場合、他画像に合成する等のように再利用が可能になるものの、他画像に部品化した物体画像を貼り付けると、他画像と部品化した物体画像との境界部分が明瞭となり、貼り付けた物体画像に違和感が生じる。これは、物体画像または物体画像を含めた他画像を拡大したり縮小したりする場合にはさらに顕著になる。
【０００７】
本発明は、上記事実を考慮して、原画像及び原画像に含まれる物体画像を違和感なく再利用できるように符号化することができる画像データ変換方法、画像部品化方法、画像データ変換プログラムを記録した記録媒体及び画像部品化プログラムを記録した記録媒体を得ることが目的である。
【０００８】
【課題を解決するための手段】
上記目的を達成するために請求項１に記載の発明の画像データ変換方法は、色情報を含む原画像の画像データに基づいて、ラインプロセスによって表される色情報の不連続性を表す原画像の不連続情報を生成し、生成した不連続情報に基づいて原画像に含まれている物体画像の輪郭を抽出すると共に、前記不連続情報に基づいて物体画像の輪郭をアウトライン化したアウトライン情報を求め、前記不連続情報に基づいて該不連続情報に対応する原画像上の部位について、物体画像の水平方向の溶け込み度合いを表す水平方向の溶け込み度及び物体画像の垂直方向の溶け込み度合いを表す垂直方向の溶け込み度を求め、前記アウトライン情報及び水平方向の溶け込み度、垂直方向の溶け込み度を含めて画像データを符号化する。
【０００９】
請求項２に記載の発明は、請求項１に記載の画像データ変換方法であって、前記物体画像の輪郭はパラメトリック曲線でアウトライン化し、前記色情報はパラメトリック曲面で符号化することを特徴とする。
【００１０】
請求項３に記載の発明の画像部品化方法は、原画像の色情報に基づいて、ラインプロセスによって表される色情報の不連続性を表す原画像の不連続情報を生成し、生成した不連続情報に基づいて原画像に含まれている物体画像の輪郭を抽出し、抽出した輪郭を用いて物体画像を分離し、分離した物体画像について、不連続情報に基づいて物体画像の輪郭をアウトライン化したアウトライン情報を求めると共に、不連続情報に基づいて該不連続情報に対応する原画像上の部位について、物体画像の水平方向の溶け込み度合いを表す水平方向の溶け込み度及び物体画像の垂直方向の溶け込み度合いを表す垂直方向の溶け込み度を求め、前記アウトライン情報及び水平方向の溶け込み度、垂直方向の溶け込み度を含めて物体画像の色情報を符号化する。
【００１１】
請求項４に記載の発明は、請求項３に記載の画像部品化方法であって、前記物体画像の輪郭はパラメトリック曲線でアウトライン化し、前記色情報はパラメトリック曲面で符号化することを特徴とする。
【００１２】
請求項５に記載の発明は、請求項３または４に記載の画像部品化方法であって、前記物体画像を構成する要素画像毎にさらに分離して部品化することを特徴とする。
【００１３】
請求項６に記載の発明は、コンピュータによって原画像を表す画像データを符号化されたデータに変換するための画像データ変換プログラムを記録した記録媒体であって、前記画像データ変換プログラムは、原画像の色情報に基づいて、ラインプロセスによって表される色情報の不連続性を表す原画像の不連続情報を生成させ、生成した不連続情報に基づいて原画像に含まれている物体画像の輪郭を抽出させると共に、前記不連続情報に基づいて物体画像の輪郭をアウトライン化したアウトライン情報を求めさせ、不連続情報に基づいて該不連続情報に対応する原画像上の部位について、物体画像の水平方向の溶け込み度合いを表す溶け込み度及び物体画像の垂直方向の溶け込み度合いを表す垂直方向の溶け込み度を求めさせ、前記アウトライン情報及び水平方向の溶け込み度、垂直方向の溶け込み度を含めて画像データを符号化させることを特徴とする。
【００１４】
請求項７に記載の発明は、請求項６に記載の画像データ変換プログラムを記録した記録媒体であって、前記物体画像の輪郭はパラメトリック曲線でアウトライン化され、前記色情報はパラメトリック曲面で符号化されることを特徴とする。
【００１５】
請求項８に記載の発明は、コンピュータによって原画像から該原画像に含まれる物体を表す物体画像を部品化するための画像部品化プログラムを記録した記録媒体であって、前記画像部品化プログラムは、原画像の色情報に基づいて、ラインプロセスによって表される色情報の不連続性を表す原画像の不連続情報を生成させ、生成した不連続情報に基づいて原画像に含まれている物体画像の輪郭を抽出させ、抽出された輪郭を用いて物体画像を分離させ、分離した物体画像について、不連続情報に基づいて物体画像の輪郭をアウトライン化したアウトライン情報を求めさせると共に、不連続情報に基づいて物体画像を他画像と合成したときの水平方向の溶け込み度合いを表す水平方向の溶け込み度及び垂直方向の溶け込み度合いを表す垂直方向の溶け込み度を求め、前記アウトライン情報及び水平方向の溶け込み度、垂直方向の溶け込み度を含めて物体画像の色情報を符号化させることを特徴とする。
【００１６】
請求項９に記載の発明は、請求項８に記載の画像部品化プログラムを記録した記録媒体であって、前記物体画像の輪郭はパラメトリック曲線でアウトライン化され、前記色情報はパラメトリック曲面で符号化されることを特徴とする。
【００１７】
請求項１に記載の画像データ変換方法では、原画像の色情報に基づいて、ラインプロセスによって表される色情報の不連続性を表す原画像の不連続情報を生成する。ラインプロセスは、色情報の不連続性、すなわち色情報が連続か不連続かを表すものであり、色情報とラインプロセスとでエネルギ関数を定義してエネルギ関数を用いたエネルギの最小化を行うと、原画像で色情報が不連続となる箇所にラインプロセスが値を有することとなる。この値を有するラインプロセスで原画像の不連続情報を表すことができる。この不連続情報は、原画像で色情報が不連続となる箇所を表すので、同一または類似の色情報で構成されない異なる色情報で構成される隣り合う色領域では色情報の境界となる。従って、同一または類似の色情報からなる色領域は、その輪郭部分に不連続情報が現れる。原画像に含まれる物体画像は、同一または類似の色情報で構成されたり、予め定めた複数の色情報で構成されたりする。そこで、不連続情報に基づいて原画像に含まれている物体画像の輪郭を抽出する。
【００１８】
次に、不連続情報に基づいて物体画像の輪郭をアウトライン化したアウトライン情報を求める。アウトライン情報とは、原情報（すなわち輪郭に関する情報）の殆どを維持したまま大きさを変化、例えば拡大させたりや縮小させたりすることが可能な情報である。例えば、アウトライン情報には、点と線分や面情報等のベクトル情報とから構成される形状情報がある。なお、この形状情報は、数式による記述も可能である。このように、物体画像の輪郭をアウトライン情報で記述することで、物体画像の輪郭は解像度に依存することなく表現することができる。
【００１９】
原画像や物体画像を再利用するとき、その輪郭部分が明瞭である場合、例えば、他画像に貼り付ける等の合成操作や拡大縮小を行うと、その輪郭部分が物体画像と他画像との境界となり、違和感が生じることがある。そこで、本発明では、アウトライン情報を求めると共に、不連続情報に基づいて物体画像を他画像と合成したときの水平方向の溶け込み度合いを表す水平方向の溶け込み度及び垂直方向の溶け込み度合いを表す垂直方向の溶け込み度を求めている。この溶け込み度は、不連続情報に対応する原画像上の部位について物体画像の溶け込み度合いを表すものであり、画像の合成や拡大縮小時に用いることにより、境界部分に違和感を生じさせることなく、原画像を拡大縮小したり物体画像を他画像へ溶け込ませたりすることができる。
【００２０】
次に、前記アウトライン情報及び水平方向の溶け込み度、垂直方向の溶け込み度を含めて画像データを符号化する。画像データは一般的に色情報から構成されているが、この色情報に原画像内に含まれている物体画像の輪郭に相当するアウトライン情報、及び不連続情報に対応する原画像上の部位についての物体画像の溶け込み度合いを表す溶け込み度を含ませることによって、画像の合成や拡大縮小時には、境界部分に違和感が生じることなく、拡大縮小や合成することができる。なお、物体画像の色情報は、アウトライン情報で記述された物体画像の輪郭に内包され、不連続を伴わずに連続になるので、連続情報による表現で符号化できる。この符号化には、色情報を近似表現する符号化が一例としてあり、再利用可能な形式ではＪＰＥＧ等で知られる画像データフォーマットがある。この符号化された情報には、アウトライン情報及び溶け込み度を含ませる。
【００２１】
このように、物体画像の輪郭をアウトライン情報で記述すると共に、境界部分に違和感を生じないように溶け込み度を定め、原画像または物体画像の色情報を、再利用可能な形式で符号化しているので、原画像または物体画像を再利用するときに、拡大したり縮小したり合成したりする必要がある場合であっても、物体画像の輪郭は解像度に依存することなく元の物体画像の輪郭を維持した形式で利用することができると共に、溶け込み度に応じて画像の不連続部分が溶け込むので、境界部分に違和感を生じさせることなく、画像データを変換することができる。
【００２２】
画像を表現する場合、その輪郭は画像の最外周であり、２次元的な曲線となる。また、色情報は、画像の輪郭に内包されて連続になる。色情報は、各色毎にその位置と濃度との３次元表現が可能である。従って、連続的な色情報は、３次元的な曲面に対応させることが可能となる。このような曲線や曲面は取り扱いが容易な形式で表現されることが好ましい。そこで、請求項２にも記載したように、前記物体画像の輪郭を、パラメトリック曲線でアウトライン化し、色情報をパラメトリック曲面で符号化する。このようにすることによって、物体画像の輪郭及び色情報を数式を用いて簡単な記述形式で表現することができ、容易に利用することが可能となる。
【００２３】
請求項３に記載の画像部品化方法では、原画像の色情報に基づいて、ラインプロセスによって表される色情報の不連続性を表す原画像の不連続情報を生成する。この不連続情報に基づいて原画像に含まれている物体画像の輪郭を抽出すると共に、この抽出した輪郭を用いて物体画像を分離する。この分離した物体画像について、不連続情報に基づいて物体画像の輪郭をアウトライン化したアウトライン情報を求める。このように、物体画像の輪郭をアウトライン情報で記述することで、物体画像の輪郭は解像度に依存することなく表現できる。物体画像を再利用するとき、その輪郭部分が明瞭である場合、例えば、他画像に貼り付ける等の合成操作を行うと、その輪郭部分が物体画像と他画像との境界となり、違和感が生じることがある。そこで、本発明では、アウトライン情報を求めると共に、不連続情報に基づいて物体画像を他画像と合成したときの水平方向の溶け込み度合いを表す水平方向の溶け込み度及び垂直方向の溶け込み度合いを表す垂直方向の溶け込み度を求めている。この溶け込み度は、物体画像を他画像と合成したときの溶け込み度合いを表すものであり、溶け込み度に応じて画像の合成をすることにより、境界部分に違和感を生じさせることなく、物体画像を他画像へ溶け込ませることができる。
【００２４】
物体画像の色情報は、アウトライン情報で記述された物体画像の輪郭に内包され、不連続を伴わずに連続になるので、連続情報による表現で符号化される。この符号化には、色情報を近似表現する符号化が一例としてあり、再利用可能な形式ではＪＰＥＧ等で知られる画像データフォーマットがある。この符号化された情報には、アウトライン情報及び水平方向の溶け込み度、垂直方向の溶け込み度を含ませる。
【００２５】
このように、物体画像の輪郭をアウトライン情報で記述すると共に、境界部分に違和感を生じないように溶け込み度を定め、物体画像の色情報を、再利用可能な形式で符号化しているので、物体画像を再利用するときに、拡大したり縮小したりする必要がある場合であっても、物体画像の輪郭は拡大したり縮小したりしたときの解像度に依存することなく元の物体画像の輪郭を維持した形式で利用することができると共に、溶け込み度に応じて画像の合成をすることができ、境界部分に違和感を生じさせることなく、物体画像を他画像へ溶け込ませることができるように部品化することができる。
【００２６】
物体画像を表現する場合、その輪郭は物体画像の最外周であり、２次元的な曲線となる。また、色情報は、物体画像の輪郭に内包されて連続になる。色情報は、各色毎にその位置と濃度との３次元表現が可能である。従って、連続的な色情報は、３次元的な曲面に対応させることが可能となる。このような曲線や曲面は取り扱いが容易な形式で表現されることが好ましい。そこで、請求項４にも記載したように、前記物体画像の輪郭を、パラメトリック曲線でアウトライン化し、色情報をパラメトリック曲面で符号化する。このようにすることによって、物体画像の輪郭及び色情報を数式を用いて簡単な記述形式で表現することができ、容易に利用することが可能となる。
【００２７】
物体画像は、複数の要素画像から構成されることがある。例えば、人物の物体画像である場合、頭部、腕、胴体、足等の要素画像で構成されることがある。そこで、請求項５にも記載したように、前記物体画像を構成する要素画像毎にさらに分離して部品化する。このようにすることによって、物体画像として、その物体画像の要素画像で原画像から部品化することができ、再利用の物体画像を細分化することができる。
【００２８】
上記画像データ変換方法による原画像の符号化は、請求項６に記載の記録媒体に記録した画像データ変換プログラムの実行によってコンピュータ上において実現可能である。詳細には、コンピュータによって原画像から該原画像に含まれる物体を表す物体画像を部品化するための画像部品化プログラムを記録した記録媒体であって、前記画像部品化プログラムは、原画像の色情報に基づいて、ラインプロセスによって表される色情報の不連続性を表す原画像の不連続情報を生成させ、生成した不連続情報に基づいて原画像に含まれている物体画像の輪郭を抽出させ、抽出された輪郭を用いて物体画像を分離させ、分離した物体画像について、不連続情報に基づいて物体画像の輪郭をアウトライン化したアウトライン情報を求めさせると共に、不連続情報に基づいて物体画像を他画像と合成したときの水平方向の溶け込み度合いを表す水平方向の溶け込み度及び垂直方向の溶け込み度合いを表す垂直方向の溶け込み度を求め、前記アウトライン情報及び水平方向の溶け込み度、垂直方向の溶け込み度を含めて物体画像の色情報を符号化させる。これによって、コンピュータ上において、物体画像の輪郭が拡大縮小時の解像度に依存することなく部品化することができると共に、溶け込み度に応じて画像の拡大縮小や合成をすることができ、境界部分に違和感を生じさせることなく、原画像または物体画像を符号化することができる。
【００２９】
なお、請求項７にも記載したように、前記物体画像の輪郭は、その扱いを容易にすることが可能なパラメトリック曲線でアウトライン化することができ、前記色情報はパラメトリック曲面で符号化することができる。
【００３０】
上記画像部品化方法による物体画像の部品化は、請求項８に記載の記録媒体に記録した画像部品化プログラムの実行によってコンピュータ上において実現可能である。詳細には、コンピュータによって原画像から該原画像に含まれる物体を表す物体画像を部品化するための画像部品化プログラムを記録した記録媒体であって、前記画像部品化プログラムは、原画像の色情報に基づいて、ラインプロセスによって表される色情報の不連続性を表す原画像の不連続情報を生成させ、生成した不連続情報に基づいて原画像に含まれている物体画像の輪郭を抽出させ、抽出された輪郭を用いて物体画像を分離させ、分離した物体画像について、不連続情報に基づいて物体画像の輪郭をアウトライン化したアウトライン情報を求めさせると共に、不連続情報に基づいて物体画像を他画像と合成したときの水平方向の溶け込み度合いを表す水平方向の溶け込み度及び垂直方向の溶け込み度合いを表す垂直方向の溶け込み度を求め、前記アウトライン情報及び水平方向の溶け込み度、垂直方向の溶け込み度を含めて物体画像の色情報を符号化させる。これによって、コンピュータ上において、物体画像の輪郭が拡大縮小時の解像度に依存することなく部品化することができると共に、溶け込み度に応じて画像の合成をすることができ、境界部分に違和感を生じさせることなく、物体画像を他画像へ溶け込ませることができるように部品化することができる。
【００３１】
なお、請求項９にも記載したように、前記物体画像の輪郭は、その扱いを容易にすることが可能なパラメトリック曲線でアウトライン化することができ、前記色情報はパラメトリック曲面で符号化することができる。
【００３２】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態の一例を詳細に説明する。本実施の形態はカラー原画像内に含まれる物体画像を部品化する物体画像部品化装置に本発明を適用したものである。
【００３３】
図１に示すように、本実施の形態の物体画像部品化装置１０は、画像を表示するための表示装置等のディスプレイ装置１２、外部からコマンドやデータを入力するためのキーボード等の入力装置１４、装置本体１６、及びカラー原稿からカラー原画像を読み取るための画像読取装置３０から構成されている。
【００３４】
装置本体１６は、ＣＰＵ１８、ＲＡＭ２０、ＲＯＭ２２、入出力ポート（Ｉ／Ｏ）２８、からなるマイクロコンピュータで構成され、各々はコマンドやデータの授受が可能なようにバス２６によって接続されている。なお、ＲＯＭ２２には、装置本体１６において実行される後述する処理ルーチンが記憶されている。
【００３５】
装置本体１６の入出力ポート２８には、画像データを記憶するためのメモリ２４が接続されている。また、装置本体１６の入出力ポート２８には、入力装置１４が接続されると共に、ディスプレイ装置１２が接続されている。また、入出力ポート２８には、カラースキャナ等の画像読取装置３０が接続されている。
【００３６】
なお、画像読取装置３０は、印刷物等のカラー原稿、及び被写体の撮影後に現像処理されてネガ画像またはポジ画像が可視化された写真フィルムから多値のカラー原画像を読み取ることができる。
【００３７】
上記の入出力ポート２８には、記録媒体としてのフロッピーディスク（以下、ＦＤという）が挿抜可能なフロッピーディスクユニット（以下、ＦＤＵという）が接続されている。なお、後述する処理ルーチン等は、ＦＤＵを用いてＦＤに対して読み書き可能である。従って、後述する処理ルーチンは、ＲＯＭ２２に記憶することなく、予めＦＤに記録しておき、ＦＤＵを介してＦＤに記録された処理プログラムを実行してもよい。また、装置本体１６にハードディスク装置等の大容量記憶装置（図示省略）を接続し、ＦＤに記録された処理プログラムを大容量記憶装置（図示省略）へ格納（インストール）して実行するようにしてもよい。また、記録媒体としては、ＣＤ−ＲＯＭ等の光ディスクや、ＭＤ，ＭＯ等の光磁気ディスクがあり、これらを用いるときには、上記ＦＤＵに代えてまたはさらにＣＤ−ＲＯＭ装置、ＭＤ装置、ＭＯ装置等を用いればよい。
【００３８】
なお、本実施の形態では、一例として、カラースキャナ等の画像読取装置３０により多値のカラー原画像を入力する場合を説明するが、本発明はこれに限定されるものではなく、ＦＤ等の記憶媒体に予め記憶された画像データを入力するようにしてもよい。また、入出力ポート２８にネットワークボード等の信号授受装置を接続し、他の装置との間で信号授受を可能とする所謂ＬＡＮを構成して、他の装置から画像データを受け取るようにしてもよい。
【００３９】
また、多値のカラー原画像は、白黒画像や異なる色の組み合わせによる２値画像から、実写画像や自然画像等の画像を含むものである。
【００４０】
次に、本実施の形態の作用を説明する。物体画像部品化装置１０に電源が投入されると図２に示す処理ルーチンが実行される。なお、この処理ルーチンは、ＦＤ等の記録媒体に格納してコンピュータで実行可能なアプリケーションとして提供され、実行指示によって実行されるようにしてもよい。
【００４１】
まず、ステップ１００において画像読取装置３０に載置されたカラー原稿を読み取ることによって、カラー原画像（以下、原画像という）を読み取る。本実施の形態では、画像読取装置３０からＲＧＢデータが出力され、この出力されたＲＧＢデータを用いるものとする。なお、画像データとしてＣＭＹＫデータ等のように他の表色系で表された画像データであるときには、ＲＧＢ変換を行うようにすればよい。
【００４２】
図３には、読み取りが終了した原画像４０の一例を示した。原画像４０は、人物５２の周囲に草花５０が散在し、その近傍に植木４８が位置し、遠方（画像の上方）には山４２と小山４４とが位置し、上方に雲４６が位置している。
【００４３】
次のステップ１０２では、原画像について、ラインプロセスにより不連続情報の検出がなされる。ラインプロセス（線素）不連続を示す仮想の素子をいうものである。本実施の形態では、ラインプロセスを用いたニューラルネットワークによって、画像の不連続情報を検出する場合を説明する。まず。ラインプロセスについて詳細を説明する。
【００４４】
図４（Ａ）は、画素について位置と濃度との関係を求めた１次元データの一例を示したものであり、点Ｐ１〜Ｐ６及び点Ｐ７〜Ｐ１２は略近傍に位置し、点Ｐ６と点Ｐ７の間が大きく離れている。これらの１次元データに沿う曲線を求める場合、最小二乗法等の近似方法や補間方法で求めると、図４（Ｂ）に示すように、点Ｐ１〜Ｐ６から点Ｐ７〜Ｐ１２を曲線で連続させるために、点Ｐ６及び点Ｐ７から曲線３４が大きく離れるが滑らかになるよう求められる。
【００４５】
しかし、点Ｐ６及び点Ｐ７は曲線３４から大きく離れることになるので、得られる特性（すなわち曲線３４）は、実際のデータに則していないことになる。そこで、図４（Ｃ）に示すように、略近傍に位置する点Ｐ１〜Ｐ６及び点Ｐ７〜Ｐ１２について、各点に沿うように曲線３４ａ，３４ｂを求める。このように求めると、大きく離れている点Ｐ６と点Ｐ７の間に、不連続が生じる。この点Ｐ６と点Ｐ７の間の位置に不連続点３６を伴って曲線３４ａ，３４ｂを定めれば、実際のデータに則した特性を求めることができることになる。すなわち、点Ｐ６と点Ｐ７の間の位置の不連続点３６で不連続が発生することを表すラインプロセスがオンとなる。また、点Ｐ１〜点Ｐ６及び点Ｐ７〜点Ｐ１２の各間、すなわち、点Ｐ１と点Ｐ２、点Ｐ２と点Ｐ３、・・・点Ｐ５と点Ｐ６、及び点Ｐ７と点Ｐ８、点Ｐ８と点Ｐ９、・・・、点Ｐ１１と点Ｐ１２の各々の間はラインプロセスがオフとなる。
【００４６】
上記では、１次元データの場合を説明したが、２次元データで代表される画像にラインプロセスを適用する場合は、ラインプロセスを、２つの画素間について仮想的な関数として定義する。従って、定義されたラインプロセスが局所的な濃度差によってオンまたはオフすることにより画像中の不連続部分が不連続情報、この不連続部分を連結させたものが物体画像の輪郭として抽出することができる。
【００４７】
このラインプロセスを用いてニューラルネットワークでエネルギ関数の計算とその最小化を行って画像の不連続（情報）を求める。この詳細について説明する。
【００４８】
図５はラインプロセスを用いたニューラルネットワークを説明するための概念構成図である。図５に示すようにこのニューラルネットワークは、入力が画像であるときは画像に対応する一つの画素に対して３つのニューロンｆi,j ，ｈi,j ，ｖi,j が対応する。
【００４９】
ここで、ｆi,j は画素の値であり、ｈi,j ，ｖi,j はｆi,j 間の不連続性の存在、非存在を示すラインプロセスとよばれる隠れた関数である。すなわち、ｆi,j は入力される値の強度変化を、ｈi,j ，ｖi,j はそれぞれｆi,j の水平方向、垂直方向の連続性、不連続性を示している。
【００５０】
この３つの変数ｆi,j ，ｈi,j ，ｖi,j により、系全体のエネルギ関数を以下の（１）式に示すように定義する。
【００５１】
【数１】
但し、ＥI ：曲面（奥行き）データの連続性
ＥD ：観測データ（初期値）の信頼性
ＥV ：ラインプロセスが超球面の角（０or１）に向かうこと
ＥP ：近傍の平行したラインプロセスが１となるための条件
ＥC ：単一のラインプロセスが１となるための条件
ＥL ：連続したマルチラインプロセスを好み、交差と不連続を嫌う条件
ＥG ：（２）式におけるｍ，ｎが発散しないための条件
ＣD ，ＣV ，ＣP ，ＣC ，ＣL ，ＣG ：パラメータ値
ｇ（）：シグモイド関数
ｄi,j ：初期値
また、変数の時間則を以下の（２）式により定義した。
【００５３】
【数２】
但し、ｇ（Ｕi ）＝１／ｅ（−２λＵi ）
なお、ｅ（−２λＵi ）は指数関数であり、（ ）内部は指数部を表す
ｈi,j ＝ｇ（ｍi,j ）
ｖi,j ＝ｇ（ｎi,j ）
ｍ，ｎ：内部状態変数
上記（２）式の偏微分の計算例を次の（３）、（４）、（５）式に示す。
【００５５】
【数３】
上記（３）〜（５）式の計算結果が小さくなる、すなわち０に近いもしくは０の値をとるということは、隣接する値ｆi,j+1 と値ｆi,j 、およびｆi+1,j とｆi,j が略同一の値となるときである。従って、上記の（１）式で表したエネルギＥI について、ｆi,j+1 ≒ｆi,j 、およびｆi+1,j ≒ｆi,j であるとすると、エネルギＥI は比較的小さくなることからラインプロセスｈi,j ，ｖi,j は値を持つ必要はないためｈi,j ，ｖi,j は比較的小さな値となる。
【００５７】
一方、隣接する値ｆi,j+1 と値ｆi,j 、および値ｆi+1,j と値ｆi,j との差が大きい場合、すなわち隣接する値の間に境界があるときは、（ｆi,j+1 −ｆi,j ）2 および（ｆi+1,j −ｆi,j ）2 は大きくなる。従って、エネルギＥI を小さくするにはｈi,j あるいはｖi,j が値を有し、（１−ｈi,j ）または（１−ｖi,j ）が比較的小さくなる必要がある。このように互いに隣接する値ｆi,j とｆi,j+1 またはｆi,j とｆi+1,j に差がある場合は、各値の間にあるラインプロセスｈi,j ，ｖi,j が値を有するようになり、異なる色の領域間に境界線が出現することになる。
【００５８】
この係数からラインプロセスが発生する条件を決定する。一例として、図６（Ａ）に示す単一ラインプロセスが発生する条件はＥP ＝０，ＥC ＝０，ＥL ＝２ＣL 、図６（Ｂ）に示す連続するラインプロセスが発生する条件はＥP ＝０，ＥC ＝０，ＥL ＝ＣL 、図６（Ｃ）に示す互いに平行なラインプロセスが発生する条件は、ＥP ＝ＣP ，ＥC ＝ＣC ，ＥL ＝２ＣL 、そして図６（Ｄ）に示すように互いに交差するラインプロセスが発生する条件は、ＥP ＝０，ＥC ＝２ＣC ，ＥL ＝10ＣL である。
【００５９】
上記の（１）〜（５）式により、系全体のエネルギを最小にする計算を繰り返すエネルギ学習を行った結果が、与えられた入力に対するニューラルネットワークの解となる。
【００６０】
このニューラルネットワークは、(a) 入力がノイズを付加された画像であった場合、得られたエネルギ最小でのｆi,j は復元画像に相当し、(b) 入力が明度画像の場合、得られたエネルギ最小でのｈij，ｖijは輪郭に相当し、(c) 入力が山などの測量データの場合、得られたエネルギ最小でのｆijは測量点から推定される各地点の高度を示すこととなる。本実施の形態では、(b) の画像入力に利用した例である。
【００６１】
なお、上記ニューラルネットワークは、変数に何を割り当てるかにより、様々な逆問題に適用できる拡張性を有しており、アルゴリズムが局所計算で実現されているため、光等の並列処理ハード装置化が容易であり、高速処理を行うことができるという利点も備えている。
【００６２】
従って、図２のステップ１０２では、上記ラインプロセスを用いたニューラルネットワークによって、エネルギ関数とその最小化を行って、不連続検出がなさることにより画像の輪郭部分（不連続）が抽出される。すなわち、（２）式に従って、内部状態変数を更新すると（１）式の総エネルギーは常に減少して最小値が計算される。この最小時に得られたｈij，ｖijが水平方向及び垂直方向の不連続（輪郭）に相当する。
【００６３】
次に、ステップ１０４では、原画像における類似色の色領域設定がなされる。この類似色設定処理は、例えば、同系色や同一色、そして予め定めた色の組み合わせで指定される色や色群を、原画像上においてラベリングする処理である。例えば、原画像上の各画素について、各々直交する色相値軸、彩度値軸及び明度値軸から成る座標系の色空間（以下、ＨＬＳ色空間という）において求めた距離に基づいて反復型領域拡張法により統合処理等を行う方法がある。
【００６４】
具体的には、まず、原画像上から何れか１つの画素を選択する。次に、その画素の周囲の１画素（所謂、８近傍の１画素）を選択し、その選択された画素が既に何れかのラベルが付与された領域に含まれているときは、そのラベルを付与する。一方、含まれていないときは、選択された２つの画素のＨＬＳ色空間における距離、すなわち２つの画素の明度、彩度及び色相の類似性を求める。距離が長ければ類似性が低く、距離が短ければ類似性が高いことになる。距離が所定値未満のとき、２つの画素が類似しているとして、２つの画素に同一のラベルを付与する（ラベリング）。所定値以上のときは、類似していないとしてラベリングすることなく、８近傍の他の画素について上記処理を実行する。８近傍の全画素が終了すると、同一ラベルの付与された領域（原画像における）の最外周の１画素を選択し、上記処理を繰り返し実行する。上記処理を全画素について実行する。同一ラベルの付与された領域の最外周の画素から類似性の高い周囲の画素について同一ラベル付与を順次実行することによって、原画像上における色相、明度及び彩度が類似した画素による色領域を設定する。なお、同一ラベルが付与された画素群は、色相値、彩度値及び明度値のそれぞれの平均値を求め、求めた平均値をラベルの色相値、彩度値及び明度値とする。
【００６５】
なお、同一ラベルで指定された色領域は、不連続部分を含むことはないので、少なくともステップ１０２で検出された不連続すなわち輪郭が分割されることはない。
【００６６】
上記のように、ステップ１０４で、原画像の隣接した画素について色相、明度及び彩度の類似性で色領域が設定された後には、次のステップ１０６において、原画像がクラス分けされる。このクラス分けは、上記原画像に設定された類似色の色領域の間で関係を定める処理である。すなわち、１つのラベルが付与された色領域である同一または類似の色相、明度及び彩度による画素群は、同一物体である可能性が高いが、隣接せずに、原画像上で離れた位置にある類似色の色領域は、同一種類の物体である可能性が高い。そこで、予め類似色領域を種類分け（クラス分け）するための色相、明度及び彩度の値や範囲を定めておき、定められた値や範囲で、色領域を分類することによって原画像をクラス分けする。
【００６７】
なお、本実施の形態では、原画像に設定された類似色の色領域の間で関係を定めてクラス分けする例を説明するが、不連続情報は、物体画像の輪郭部分に相当することから、不連続情報（輪郭）の相似性でクラス分けすることもできる。
【００６８】
具体的には、図３に示す原画像４０を一例にすると、山４２、小山４４、及び雲４６を含んだ風景クラスＣＡ、散在した草花５０及び植木４８を含んだ環境クラスＣＢ、人物５２を含んだ人物クラスＣＣにクラス分けすることができる。
【００６９】
次のステップ１０８では、クラス分け毎に画像を抽出する。具体的には、図３に示す原画像４０を一例にすると、風景クラスＣＡは、山４２、小山４４、及び雲４６を含んだクラス画像５４として抽出される。このクラス画像５４は、山４２、小山４４、及び雲４６の原画像上の位置関係をそのまま維持し、これらの画像が少なくとも分断されないように、大きめの領域が設定される。なお、クラス画像５４に原画像４０上の背景をそのまま残存させてもよく、また、新規の背景、例えば予め定めた背景色上に上記画像を張り付けてもよい。同様にして、環境クラスＣＢは、散在した草花５０及び植木４８を含んだクラス画像５６、人物クラスＣＣは、人物５２を含んだクラス画像５８として抽出される。
【００７０】
上記のようにして抽出されたクラス画像上には、複数の物体画像が含まれていることがある。そこで、詳細な具体例は後述するが、まずステップ１１０では、上記ステップ１０８で抽出されたクラス画像のうち１つのクラス画像を指定する。次に、ステップ１１２において、１つの物体画像を抽出し、次のステップ１１４でベジェ曲線を用いて不連続情報をアウトライン化する。アウトライン化が終了すると、次のステップ１１５において、不連続情報を用いて物体画像の背景への溶け込み度を求める。
【００７１】
次のステップ１１６では、物体画像をアウトライン化された輪郭、溶け込み度及び物体画像の色情報が符号化された色で記述する。次のステップ１１８では、上記ステップ１１０で指定したクラス内に含まれている物体画像を全て抽出したか否かを判断し、未抽出の物体画像が残存するときに否定されてステップ１１２へ戻り、全物体画像の抽出が終了したときに次のステップ１２０へ進む。ステップ１２０では、原画像内に含まれているクラス画像の上記処理を全て終了したか否かを判断し、未処理のクラス画像が残存するときに否定されてステップ１１０へ戻り、全クラス画像の処理が終了したときに本ルーチンを終了する。
【００７２】
次に、図２のステップ１１０以降の処理を図３を参照して具体的に説明する。図３に示す風景クラスＣＡのクラス画像５４には、山４２、小山４４、及び雲４６の物体画像が含まれている。これらの物体画像をクラス画像５４から分離し抽出する。この分離抽出は、不連続情報を用いてなされる。不連続情報は、物体画像の輪郭部分に相当することから、不連続情報に囲まれた領域を物体画像として設定する。この不連続情報に囲まれた領域とは、物体画像の輪郭部分に相当する不連続点を連結した曲線や曲面による閉領域や閉空間であるが、１つの閉領域や閉空間に限定されない。すなわち複数の閉領域や閉空間からなる群であってもよい。なお、不連続点を連結した曲線や曲面による閉領域や閉空間は、後述するように、パラメトリック曲線や曲面で連結して得た曲線や曲面によって閉領域や閉空間を生成してもよい。
【００７３】
例えば、クラス画像５４内は、不連続情報に囲まれた領域が３つ設定される。この３つの領域を順次設定し、不連続情報と、不連続情報で囲まれた領域の色情報、すなわち領域内の画素について色相、明度及び彩度の各値が抽出され、山画像６０、小山画像６２、及び雲画像６４が抽出される。なお、図３の例では、山画像６０、小山画像６２、及び雲画像６４の各々について、抽出された各画像に背景画像を付加したものを物体画像として設定したものである。
【００７４】
同様に、環境クラスＣＢから、草花画像６６及び植木画像６８が抽出され、人物クラスＣＣから、人物の頭部画像７０、腕部画像７２、胴体部画像７４及び脚部画像７６が抽出される。
【００７５】
次に、抽出した画像の輪郭（不連続情報）を以下のようにしてアウトライン化する。不連続情報をアウトライン化するために記述が容易なパラメトリック曲線を採用し、特に本実施の形態では、パラメトリック曲線のうち扱いが簡便なベジェ曲線を採用する。従って、抽出した画像の輪郭（不連続情報：ｈij，ｖij）を２値化してベジェ曲線を用いてアウトライン化する。このベジェ曲線Ｐ（ｔ）を定める数式を次の（６）式に示す。
【００７６】
【数４】
但し、
【００７８】
次に、抽出した画像の輪郭に相当する不連続情報を用いて物体画像の背景への溶け込み度を求める。本実施の形態では、水平方向の溶け込み度Ｍｈ（ｉｊ）、垂直方向の溶け込み度Ｍｖ（ｉｊ）の各々を次の（７）式を用いて求める。
【００７９】
Ｍｈ（ｉｊ）＝β（ｍij）
Ｍｖ（ｉｊ）＝β（ｎij） ・・・（７）
但し、β（）：シグモイド関数等の非線形関数または線形関数
０≦Ｍｈ（ｉｊ）≦１
０≦Ｍｖ（ｉｊ）≦１
このようにして物体画像の溶け込み度を求めることによって、物体画像を拡大したり縮小したりしても、物体画像の輪郭部分は背景に溶け込ませることが可能になる。そして、このアウトライン化した輪郭と、溶け込み度と、物体画像の色情報（符号化することが好ましい）による色とで物体画像を記述することによって、物体画像を違和感なく再利用可能な形式で記述（部品化）できることになる。
【００８０】
物体画像の輪郭部分をアウトライン化して溶け込み度を求めた物体画像として、図９（Ａ）に示す山画像６０を一例にして、物体画像の溶け込み度について更に説明する。山の稜線６０Ａは輪郭部分を表しており、溶け込み度を有している。上記式から理解されるように、溶け込み度は最大値から最小値の間で徐々に変化する。図９（Ｂ）は、領域Ａｒの拡大図であり、稜線６０Ａの濃度変化の推移を等高線で示したものである。図９（Ｃ）は、領域Ａｒ内のｉ−ｉ断面（図９（Ｂ）参照）における濃度変化を示したものである。図９（Ｂ）に示すように、図９（Ａ）に示す山画像６０において、山の稜線６０Ａを含む領域Ａｒを参照すると、本来の山画像の境界である稜線６０Ａ付近は稜線６０Ａから離れるに従って背景６０Ｂに溶け込むよう徐々に濃度が小さくなる（図９（Ｃ）参照）。従って、物体画像の輪郭部分が明瞭な稜線となることなく、背景に徐々に溶け込むことになる。
【００８１】
なお、上記では、アウトライン化した輪郭と、物体画像の色情報による色とで物体画像を記述した例を説明したが、本発明はこれに限定されるものではなく、物体画像を記述する上での情報を付与してもよい。例えば、物体画像に線画やパターン等の画像が含まれていたり物体画像がマスク処理やフォーカス処理等の一定の処理を施されていたりする場合に、その画像や処理を属させてもよい。すなわち、物体画像に関する記述を、線やグラデーション等の模様等で細分化したり、施された処理で細分化したりすることもできる。
【００８２】
また、上記では、パラメトリック曲線を用いた場合を説明したが、パラメトリック曲線に限定されるものではなく、他の近似曲線を用いてもよい。
【００８３】
次に、部品化された物体画像を拡大する場合を説明する。以下の説明では、物体画像の色情報をＮＵＲＢＳ（Non Unifom Rational B-Spline）曲面を用いて符号化した場合を例にして説明する。このパラメトリック曲面としてＮＵＲＢＳを定める数式を次の（８）式に示す。
【００８４】
【数５】
以下、図７及び図８を参照して３次のＮＵＲＢＳを用いて解像度を２倍（面積比４倍）に拡大する場合を説明する。
【００８６】
図８のステップ２００では、図２のステップ１００に相当する原画像の読み取りがなされる。この読み取った原画像は、次のステップ２０２において、図２のステップ１０２に相当する、ラインプロセスによる不連続検出がなされ、次のステップ２０４において図２のステップ１１４に相当するアウトライン化がなされる。次のステップ２０５では、図２のステップ１１５に相当する溶け込み度の演算がなされる。
【００８７】
次に、ステップ２０６では、アウトライン化された不連続情報が拡大され、次のステップ２０７において溶け込み度が拡大される（詳細は後述）。次のステップ２０８では、拡大された不連続情報とパラメトリック曲面を用いて解像度が大きくされる。そして、次のステップ２１０において、解像度が大きくされた画像が出力される。
【００８８】
図７は、原画像の一部を構成する縦横４個（合計１６個）の画素で画像８０を構成するものとして、各画素を制御点Ｐij（０≦ｉ≦３，０≦ｊ≦３）として用いる構成を示したものである。曲線８２は、上記説明したラインプロセスにより抽出した不連続情報を、そのまま拡大した場合に得られる曲線であり、曲線８４は、上記説明した不連続情報をアウトライン化した後に、拡大した場合に得られる曲線である。
【００８９】
画像は、その半分が白画素で他が黒画素であるものとして、各画素値として、制御点Ｐ00，Ｐ10，Ｐ20，Ｐ01，Ｐ11，Ｐ20が白、制御点Ｐ30，Ｐ21，Ｐ31，Ｐ12，Ｐ22，Ｐ32，Ｐ03，Ｐ13，Ｐ23が黒の値が設定される。
【００９０】
本実施の形態では、上記の拡大時に、制御点Ｐ00〜Ｐ33内に新規に画素を仮想点Ｓとして追加する。例えば、制御点Ｐ11，Ｐ12，Ｐ21，Ｐ22で囲まれた範囲内には、仮想点Ｓmn（０≦ｍ≦３，０≦ｎ≦３）が追加される。
【００９１】
これら追加された仮想点Ｓの画素値は、その周囲の原画像の画素値（制御点の画素値）を参照して求められる。本実施の形態では原画像中の不連続を考慮して画素値が決定される。すなわち、不連続情報である曲線８４を超えた画素の画素値を用いないものとした。例えば、仮想点Ｓ20の画素値を求めるとき、制御点Ｐ11は、仮想点Ｓ20とを結ぶ直線が曲線８４と交差することがないので参照するが、制御点Ｐ22は、仮想点Ｓ20とを結ぶ直線が曲線８４と交差するので参照しない。より詳細には、上記ＮＵＲＢＳを表す（８）式における重みを「０」に設定することで計算に反映させる。これによって、仮想点Ｓ20の画素値は白画素の値となる。同様にして他の仮想点の計算を行って画素値を求める。
【００９２】
このように、不連続情報をアウトライン化して拡大すると、ボケが抑制されたエッジを得ることができる。これによって、画像拡大時におけるエッジのジャギ（所謂ギザギザ）を抑えることができる。
【００９３】
次に、不連続情報を用いて溶け込み度を求める。溶け込み度は、拡大以前の画素間に存在する不連続情報にのみ存在する。このため、まず、拡大後の画素間の溶け込み度、すなわち不連続に対する値（不連続情報）を求める。
【００９４】
拡大以前の溶け込み度は、曲線８２に対応する制御点Ｐ20，Ｐ21の間に存在する不連続情報による溶け込み度Ｍｈ20、制御点Ｐ11，Ｐ12の間に存在する不連続情報による溶け込み度Ｍｈ11、制御点Ｐ11，Ｐ21の間に存在する不連続情報による溶け込み度Ｍｖ11、制御点Ｐ02，Ｐ12の間に存在する不連続情報による垂直方向の溶け込み度Ｍｖ02である。
【００９５】
次に、拡大後の曲線８４に対応する溶け込み度を求める。この溶け込み度は、隣接に存在する溶け込み度の間の距離により重み付けして新規の溶け込み度を求める。新規の溶け込み度は以下の（９），（１０）式の少なくとも一方の式により求めることができる。
【００９６】
Ｍｖi-k＝α・Ｍｖi＋β・Ｍｈj ・・・（９）
Ｍｈi-k＝γ・Ｍｖi＋ε・Ｍｈj ・・・（１０）
但し、ｉ：基準側に水平方向に直近の拡大前の溶け込み度の位置を表す値
ｊ：基準側に垂直方向に直近の拡大前の溶け込み度の位置を表す値
ｋ：拡大後の溶け込み度の位置を表す値
α，γ：図７の水平方向の距離の比例関係を表す係数
β，ε：図７の水平方向の距離の比例関係を表す係数
具体的には、仮想点Ｓ20周辺の溶け込み度Ｍｖ11-1,Ｍｖ11-2，Ｍｈ20-1は、次のようして求めることができる。
【００９７】
Ｍｖ11-1＝０．４・Ｍｖ11＋０．６・Ｍｈ20
Ｍｖ11-2＝１．０・Ｍｖ11＋０．０・Ｍｈ20
Ｍｈ20-1＝０．２５・Ｍｖ11＋０．７５・Ｍｈ20
溶け込み度Ｍｖ11-1は仮想点Ｓ20と制御点Ｐ21との間の位置Ｐｐを距離の基準として考え、溶け込み度Ｍｖ11、溶け込み度Ｍｈ20の各々までの距離比率を求める。制御点の間隔を「１」と想定すると、溶け込み度Ｍｖ11までの距離比率は１／３であり、溶け込み度Ｍｈ20までの距離比率は１／２である。これらの和が「１」となるように規格化するとα＝０．４、β＝０．６となる。他の溶け込み度も同様にして求まる。
【００９８】
ここで、溶け込み度を用いない場合には、例えば、仮想点Ｓ20の画素値を求めるとき、制御点Ｐ11は仮想点Ｓ20とを結ぶ直線が曲線８４と交差することがないので参照するが、制御点Ｐ22は、仮想点Ｓ20とを結ぶ直線が曲線８４と交差するので参照しない。詳細には、他の制御点を参照する場合ＮＵＲＢＳを表す（８）式における重みｗijを「１」に設定し、参照する場合重みｗijを「０」に設定することで計算に反映させる。これによって、仮想点Ｓ20の画素値は白画素の値となる。
【００９９】
一方、本実施の形態では、溶け込み度を用いる。このため、（８）式における重みｗijを次の（１１），（１２）式を用いる。但し、不連続情報と交差することがない制御点に対する溶け込み度は上記と同様にｗij＝１である。
【０１００】
ｗij＝１−Ｍｖi-k ・・・（１１）
ｗij＝１−Ｍｈi-k ・・・（１２）
なお、重みｗijの計算は、例えば仮想点Ｓ20の場合、各制御点との間を結ぶ直線が交差する不連続情報、すなわち拡大後の曲線８４の交差部分に対応する溶け込み度を用いる。また、複数の不連続情報と交差する場合には溶け込み度の最大値を用いるものとする。
【０１０１】
このように、（８）式に重み付けして計算することによって、物体画像は背景との溶け込み度を考慮した拡大が可能となる。
【０１０２】
なお、上記では、白画素と黒画素の例を説明したが、濃度を有する画素や色を有する画素であるときは、平均化や勾配による予測値を求めることによって画素値を求めてもよい。
【０１０３】
以上説明したように、本実施の形態では、原画像をラインプロセスを用いて不連続情報を検出し、その不連続情報を用いて原画像に含まれる物体画像の輪郭を抽出する。また、不連続情報を用いて物体画像の輪郭をアウトライン化して解像度変更、例えば拡大を行った場合であっても物体画像の輪郭がぼけたり粗くなったりすることなく、画像を生成することができる。さらに、不連続情報を用いて物体画像の溶け込み度を求めているので、拡大縮小したり他の画像と合成したり、解像度変更、例えば拡大を伴って背景に合成したりした場合であっても物体画像が溶け込むように画像を生成することができる。これによって、解像度に依存することなく物体画像を部品化して記述することができ、再利用を容易にすることができる。
【０１０４】
なお、上記実施の形態では、画素値の成分について考慮することの説明を省略したが、例えば、ＲＧＢの各成分に対して上記処理を行ったり、色相や彩度の成分に対して行ったりしてもよい。
【０１０５】
また、同一画像内において拡大縮小を行う場合について説明したが、物体画像内の背景部分を除去したオブジェクトを切り出して他の背景画像と合成する場合にも適用が可能である。この場合、切り出したときの溶け込み度を記憶しておき、他の背景画像と合成するときに、記憶した溶け込み度を用いるようにすればよい。このようにすることによって、より違和感が少ない合成画像の生成が可能となる。
【０１０６】
【発明の効果】
以上説明したように本発明によれば、物体画像の輪郭をアウトライン情報で記述すると共に、溶け込み度を含ませて、物体画像の色情報を、再利用可能な形式で符号化しているので、原画像または物体画像を再利用するときに、拡大したり縮小したりする必要がある場合であっても、解像度に依存することなく元の物体画像の輪郭を維持した形式で利用することができると共に、境界部分に違和感を生じさせることなく、画像データを変換したり部品化したりすることができる、という効果がある。
【図面の簡単な説明】
【図１】本発明の実施の形態にかかる物体画像部品化装置の概略構成を示すブロック図である。
【図２】本発明の実施の形態にかかる物体画像部品化装置で実行される処理の流れを示すフローチャートである。
【図３】原画像から物体画像を抽出する過程を示すイメージ図である。
【図４】ラインプロセスを説明するための説明図である。
【図５】ラインプロセスを用いたニューラルネットワークを説明するための概念構成図である。
【図６】画像に適用したラインプロセスを説明するための説明図である。
【図７】ＮＵＲＢＳを用いて解像度を拡大するときの画像の構成を説明するための説明図である。
【図８】原画像を拡大する処理の流れを示すフローチャートである。
【図９】山画像を用いて溶け込み度を説明するための説明図である。
【符号の説明】
１０ 物体画像部品化装置
３０ 画像読取装置
４０ 原画像
５４ クラス画像
６０ 山画像（物体画像）
Claims (9)
- 色情報を含む原画像の画像データに基づいて、ラインプロセスによって表される色情報の不連続性を表す原画像の不連続情報を生成し、
生成した不連続情報に基づいて原画像に含まれている物体画像の輪郭を抽出すると共に、前記不連続情報に基づいて物体画像の輪郭をアウトライン化したアウトライン情報を求め、
前記不連続情報に基づいて該不連続情報に対応する原画像上の部位について、物体画像の水平方向の溶け込み度合いを表す水平方向の溶け込み度及び物体画像の垂直方向の溶け込み度合いを表す垂直方向の溶け込み度を求め、
前記アウトライン情報及び水平方向の溶け込み度、垂直方向の溶け込み度を含めて画像データを符号化する画像データ変換方法。 - 前記物体画像の輪郭はパラメトリック曲線でアウトライン化し、前記色情報はパラメトリック曲面で符号化することを特徴とする請求項１に記載の画像データ変換方法。
- 原画像の色情報に基づいて、ラインプロセスによって表される色情報の不連続性を表す原画像の不連続情報を生成し、
生成した不連続情報に基づいて原画像に含まれている物体画像の輪郭を抽出し、抽出した輪郭を用いて物体画像を分離し、
分離した物体画像について、不連続情報に基づいて物体画像の輪郭をアウトライン化したアウトライン情報を求めると共に、不連続情報に基づいて該不連続情報に対応する原画像上の部位について、物体画像の水平方向の溶け込み度合いを表す水平方向の溶け込み度及び物体画像の垂直方向の溶け込み度合いを表す垂直方向の溶け込み度を求め、
前記アウトライン情報及び水平方向の溶け込み度、垂直方向の溶け込み度を含めて物体画像の色情報を符号化する画像部品化方法。 - 前記物体画像の輪郭はパラメトリック曲線でアウトライン化し、前記色情報はパラメトリック曲面で符号化することを特徴とする請求項３に記載の画像部品化方法。
- 前記物体画像を構成する要素画像毎にさらに分離して部品化することを特徴とする請求項３または４に記載の画像部品化方法。
- コンピュータによって原画像を表す画像データを符号化されたデータに変換するための画像データ変換プログラムを記録した記録媒体であって、
前記画像データ変換プログラムは、
原画像の色情報に基づいて、ラインプロセスによって表される色情報の不連続性を表す原画像の不連続情報を生成させ、
生成した不連続情報に基づいて原画像に含まれている物体画像の輪郭を抽出させると共に、前記不連続情報に基づいて物体画像の輪郭をアウトライン化したアウトライン情報を求めさせ、
不連続情報に基づいて該不連続情報に対応する原画像上の部位について、物体画像の水平方向の溶け込み度合いを表す溶け込み度及び物体画像の垂直方向の溶け込み度合いを表す垂直方向の溶け込み度を求めさせ、
前記アウトライン情報及び水平方向の溶け込み度、垂直方向の溶け込み度を含めて画像データを符号化させることを特徴とする画像データ変換プログラムを記録した記録媒体。 - 前記物体画像の輪郭はパラメトリック曲線でアウトライン化され、前記色情報はパラメトリック曲面で符号化されることを特徴とする請求項６に記載の画像データ変換プログラムを記録した記録媒体。
- コンピュータによって原画像から該原画像に含まれる物体を表す物体画像を部品化するための画像部品化プログラムを記録した記録媒体であって、
前記画像部品化プログラムは、
原画像の色情報に基づいて、ラインプロセスによって表される色情報の不連続性を表す原画像の不連続情報を生成させ、
生成した不連続情報に基づいて原画像に含まれている物体画像の輪郭を抽出させ、抽出された輪郭を用いて物体画像を分離させ、
分離した物体画像について、不連続情報に基づいて物体画像の輪郭をアウトライン化したアウトライン情報を求めさせると共に、不連続情報に基づいて物体画像を他画像と合成したときの水平方向の溶け込み度合いを表す水平方向の溶け込み度及び垂直方向の溶け込み度合いを表す垂直方向の溶け込み度を求め、
前記アウトライン情報及び水平方向の溶け込み度、垂直方向の溶け込み度を含めて物体画像の色情報を符号化させる
ことを特徴とする画像部品化プログラムを記録した記録媒体。 - 前記物体画像の輪郭はパラメトリック曲線でアウトライン化され、前記色情報はパラメトリック曲面で符号化されることを特徴とする請求項８に記載の画像部品化プログラムを記録した記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP00342599A JP4043629B2 (ja) | 1999-01-08 | 1999-01-08 | 画像データ変換方法、画像部品化方法、画像データ変換プログラムを記録した記録媒体及び画像部品化プログラムを記録した記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP00342599A JP4043629B2 (ja) | 1999-01-08 | 1999-01-08 | 画像データ変換方法、画像部品化方法、画像データ変換プログラムを記録した記録媒体及び画像部品化プログラムを記録した記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000207569A JP2000207569A (ja) | 2000-07-28 |
| JP4043629B2 true JP4043629B2 (ja) | 2008-02-06 |
Family
ID=11557033
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP00342599A Expired - Fee Related JP4043629B2 (ja) | 1999-01-08 | 1999-01-08 | 画像データ変換方法、画像部品化方法、画像データ変換プログラムを記録した記録媒体及び画像部品化プログラムを記録した記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4043629B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1355484B1 (en) | 2002-04-17 | 2017-03-01 | Canon Kabushiki Kaisha | Image compression method and apparatus, and image coding method and apparatus |
| CN116994065A (zh) * | 2023-08-31 | 2023-11-03 | 淮阴工学院 | 一种云团分类及云演化趋势预测方法 |
-
1999
- 1999-01-08 JP JP00342599A patent/JP4043629B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000207569A (ja) | 2000-07-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7161601B2 (en) | Synthesis of progressively-variant textures and application to arbitrary surfaces | |
| EP1372109B1 (en) | Method and system for enhancing portrait images | |
| US6560361B1 (en) | Drawing pixmap to vector conversion | |
| CN111553837B (zh) | 一种基于神经风格迁移的艺术文本图像生成方法 | |
| Price et al. | Object-based vectorization for interactive image editing | |
| CN110268442B (zh) | 在图像中检测背景物上的外来物的计算机实现的方法、在图像中检测背景物上的外来物的设备以及计算机程序产品 | |
| KR20020064350A (ko) | 이미지 데이터 압축방법 및 복원방법 | |
| JP2008052602A (ja) | 画像濃度変換方法、画像強調処理装置、およびそのプログラム | |
| CN100375124C (zh) | 一种骨架化物体重建方法 | |
| US6201542B1 (en) | Three-dimensional polygon display apparatus using progressive polygon data | |
| JP4043629B2 (ja) | 画像データ変換方法、画像部品化方法、画像データ変換プログラムを記録した記録媒体及び画像部品化プログラムを記録した記録媒体 | |
| JP3782239B2 (ja) | 画像部品化方法及び画像部品化プログラムを記録した記録媒体 | |
| JP5111226B2 (ja) | 画像処理方法、画像処理装置、及び、そのプログラムならびにコンピュータ読み取り可能な記憶媒体 | |
| KR20010084996A (ko) | 단일 이미지를 이용한 3차원 아바타 제작 방법 및 이를이용한 자판기 | |
| JP2000201358A (ja) | 画像デ―タ変換方法、及び画像デ―タ変換プログラムを記録した記録媒体 | |
| JP2005031818A (ja) | マンガの線画像成形方法、装置およびコンピュータプログラム | |
| JP2775122B2 (ja) | イラストデータの自動輪郭抽出ベクトル化処理方法，及びそれに使用する処理装置 | |
| JPH07334648A (ja) | 画像処理方法及びその装置 | |
| CN113781372A (zh) | 一种基于深度学习的戏曲脸谱生成方法及系统 | |
| Koike et al. | Facial mask region completion using StyleGAN2 with a substitute face of the same person | |
| Naouai et al. | Line extraction algorithm based on image vectorization | |
| CN110751078B (zh) | 一种确定三维人脸的非肤色区域的方法和设备 | |
| JP2005250596A (ja) | 画像処理方法および画像処理装置、画像処理プログラム、記憶媒体 | |
| Naouai et al. | Line recognition algorithm using constrained delaunay triangulation | |
| Sauvaget et al. | Comics stylization from photographs |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040816 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20061207 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070816 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070828 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071016 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071113 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071114 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101122 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111122 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121122 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121122 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131122 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |