JP5644655B2 - 食用果実の検査方法、検査装置およびプログラム - Google Patents

Description

本発明は、食用果実の内部を検査する食用果実検査装置が行う検査方法、検査装置およびプログラムに関する。

干し柿などの食用果実は、種有りより種無しのほうが商品価値が高いことから、解体することなく種など所定部位の有無を判別することが求められる。種の有無を判別するため、所定の波長帯域で受光して得られる画像中の被写体に対応する部分の分光特性を用いて、被写体の特性を推定することが行われている。分光特性を用いる例としては、例えば、人物の顔や食物を撮影被写体とした画像、あるいは空から土地を撮影したハイパースペクトル画像から、人物の顔の部位や食物の熟成度や土地の利用状況等の情報を得ることが知られている。

例えば、人工衛星等のプラットフォームに搭載されたマルチスペクトルセンサで撮影対象物を撮像した画像を処理するマルチスペクトル画像処理装置であって、大分類“農業植生”、中分類“沈水植物群落”、小分類“大根”等が入力設定されるカテゴリ情報と、第１のマルチスペクトルセンサで取得したマルチスペクトル画像中で対応する部分の画素のデータを参照用スペクトルデータとして関連づけて参照スペクトルデータに登録する参照スペクトルデータ登録処理部と、入力マルチスペクトル画像を画素単位毎に、参照スペクトルデータの参照用スペクトルデータと照合して、そのカテゴリ情報を推定するカテゴリ推定処理部を含んだマルチスペクトル画像処理装置が知られている。

特開２００４−２８０５９１号公報

上記マルチスペクトル画像処理装置は、撮影被写体の表面の部位を識別することはできるが、撮影被写体の内部構造、例えば、撮影被写体が干し柿などの食用果実である場合、食用果実に種があるか否か等の内部情報を得ることはできない。

本発明は、食用果実の内部を精度よく検査する食用果実検査方法、検査装置およびプログラムを提供することを目的とする。

本発明の一態様は、食用果実の内部を検査する食用果実検査装置が行う検査方法である。
前記食用果実検査装置は、参照用食用果実の内部構造における複数の部位のそれぞれと、参照用食用果実の透過光を所定の波長帯域で受光した参照用透過光画像の画素値の組との間で対応付けを行うことによって、前記内部構造における第１部位、第２部位、および前記第１部位の候補となる疑第１部位の画素値の組を少なくとも既知事例として予め記憶する。
食用果実の内部を検査するとき、前記食用果実検査装置は、
検査用食用果実の透過光を前記波長帯域で受光して得られる検査用透過光画像を取得し、
取得された前記検査用透過光画像と記憶されている前記既知事例とを用いて、前記透過光画像内で、前記第１部位として識別される第１領域、前記第２部位として識別される第２領域、および、前記第２領域の周りに位置し、前記疑第１部位として識別される領域を含む疑第１領域を抽出することにより、前記内部構造を推定し、
前記疑第１領域の、前記第２領域に対する幾何学形状の特徴量を算出し、算出した前記特徴量が前記第１部位の条件を満たすか否かを判定して、検査用食用果実に前記第１部位が存在するか否かを判別する。

本発明の別の態様は、食用果実の内部の検査を、コンピュータに実行させる検査プログラムである。当該検査プログラムは、
参照用食用果実の内部構造における複数の部位のそれぞれと、参照用食用果実の透過光を所定の波長帯域で受光した参照用透過光画像の画素値の組との間で対応付けを行うことによって、前記内部構造における第１部位、第２部位、および前記第１部位の候補となる疑第１部位の画素値の組を少なくとも既知事例としてコンピュータの記憶手段に予め記憶させ、
食用果実の内部を検査するとき、
検査用食用果実の透過光を前記波長帯域で受光して得られる検査用透過光画像を取得し、
取得された前記検査用透過光画像と記憶されている前記既知事例とを用いて、前記透過光画像内で、前記第１部位として識別される第１領域、前記第２部位として識別される第２領域、および、前記第２領域の周りに位置し、前記疑第１部位として識別される領域を含む疑第１領域を抽出することにより、前記内部構造を推定し、
前記疑第１領域の、前記第２領域に対する幾何学形状の特徴量を算出し、算出した前記特徴量が前記第１部位の条件を満たすか否かを判定して、検査用食用果実に前記第１部位が存在するか否かを判別する、処理をコンピュータに実行させる。

本発明のさらに別の態様は、食用果実の内部を検査する食用果実の検査装置である。当該検査装置は、
参照用食用果実の内部構造における複数の部位のそれぞれと、参照用食用果実の透過光を所定の波長帯域で受光した参照用透過光画像の画素値の組との間で対応付けを行うことによって、前記内部構造における第１部位、第２部位、および前記第１部位の候補となる疑第１部位の画素値の組を少なくとも既知事例として予め記憶する記憶部と、
検査用食用果実の透過光を前記波長帯域で受光して得られる検査用透過光画像を取得し、取得された前記検査用透過光画像と記憶されている前記既知事例とを用いて、前記透過光画像内で、前記第１部位として識別される第１領域、前記第２部位として識別される第２領域、および、前記第２領域の周りに位置し、前記疑第１部位として識別される領域を含む疑第１領域を抽出することにより、前記内部構造を推定する推定部と、
前記疑第１領域の、前記第２領域に対する幾何学形状の特徴量を算出し、算出した前記特徴量が前記第１部位の条件を満たすか否かを判定して、検査用食用果実に前記第１部位が存在するか否かを判別する判別部と、とを有する。

上述の態様の食用果実検査方法、検査装置およびプログラムによれば、食用果実の内部を精度よく検査することができる。

（ａ）は、本実施形態の食用果実の検査方法を実施する食用果実を検査する検査装置の構成図であり、（ｂ）は、（ａ）に示される検査装置で生成される検査モジュールの能ブロック図である。 図１（ｂ）に示される判別部の詳細なブロック図である。 本実施形態である干し柿の検査方法の全体フローを示す図である。 本実施形態の検査装置が行うクラスの付与の処理のフローを示す図である。 本実施形態で用いる参照用透過光画像のＨＳＤの一例を示す図である。 （ａ）は、本実施形態に用いる参照用干し柿の解体した写真の一例を示す図であり、（ｂ）は、本実施形態に用いる参照用透過光画像についてクラスタリングを行った結果の一例を示す図である。 本実施形態で得られる「種」のＨＳＤの一例を示す図である。 本実施形態で得られる「果肉」のＨＳＤの一例を示す図である。 本実施形態で得られる「蔕」のＨＳＤの一例を示す図である。 （ａ），（ｂ）は、本実施形態で交用いる差検定を説明する図である。 本実施形態で得られる「疑種」のＨＳＤの一例を示す図である。 （ａ）は、ＭＢＲを用いて検査用透過光画像から、「種」、「果肉」、「果肉」の３つのクラスを用いて推定した結果の一例を示す図であり、（ｂ）は、推定で得られる確信度の高低の分布を示す図である。 本実施形態で行われる内部構造の推定のフローを示す図である。 本実施形態で行われる種の有無の判別のフローを示す図である。 （ａ）〜（ｃ）は、本実施形態で用いる距離の算出方法を説明する図である。 本実施形態で用いる第２領域の外周を抽出するフローを示す図である。 本実施形態で用いる疑第１領域の外周を抽出するフローを示す図である。 （ａ）は、本実施形態で得られる蔕ＨＳＤの一例を示す図であり、（ｂ）は、本実施形態で得られる蔕外周ＨＳＤの一例を示す図である。 本実施形態で得られる疑種外周ＨＳＤの一例を示す図である。 本実施形態で行う第２領域の中心点の算出と、中心点と疑第１領域の外周との間の距離の算出のフローを詳細に示す図である。 （ａ）〜（ｄ）は、本実施形態で得られる算出結果の例を示す図である。 本実施形態で行われる結果付与のフローを詳細に示す図である。

食用果実の種の有無を判別するため、例えば、干し柿に対して透過させた透過光を用いた分光スペクトルデータを計測し、その計測データを基に食用果実に食用果実に種があるか否かを判別することが考えられる。しかし、本発明者の実験の結果、干し柿の種の透過分光スペクトルデータは、蔕に隣接する部分の透過分光スペクトルデータと類似するため、種の有無の判別が難しいことが分かった。
以下、食用果実の内部における所定の部位の有無を精度よく検査する本発明の食用果実の検査方法、検査装置およびプログラムを実施形態に基づいて説明する。図１（ａ）は、本実施形態の食用果実の検査方法を実施する食用果実を検査する検査装置１０の構成図である。

（検査装置）
検査装置１０は、図１（ａ）に示すように、ＣＰＵ（Central Processing Unit）１２と、ＲＯＭ（Read Only Memory）１４と、ＲＡＭ（Random Access Memory）１６と、ハードディスクドライブ装置１８と、ディスプレイ１９と、キーボード２０と、マウス２２と、プリンタ２４と、インターフェース２５と、を備え、これらは、互いにバス２６を介して通信可能に接続されている。

ここで、ＣＰＵ１２は、検査装置１０の全体の制御を司る。ＲＯＭ１４は、ブートプログラムなどのプログラムを記憶している。ＲＡＭ１６は、ＣＰＵ１２のワークエリアとして使用される。ハードディスクドライブ装置１８は、ＣＰＵ１２の制御に応じてハードディスクに対するデータの読み出し、書き込みを制御する。ハードディスクドライブ装置１８は、後述する食用果実の検査を実行する検査プログラムを記憶し保持する。
ディスプレイ１９は、文字情報や画像などの各種情報を表示する。

キーボード２０は、文字、数字、各種指示などの入力のためのキーを備え、オペレータから入力を受ける。マウス２２は、ディスプレイ１９に表示するカーソルの移動や範囲選択、あるいはウィンドウの移動やサイズの変更などを行う。プリンタ２４は、画像データや文字情報をプリント出力する。この他、インターフェース２５は、カメラ２８と接続されている。カメラ２８は、例えば、複数の波長帯域、例えば１４１の波長帯域で被写体の透過光を受光して撮像された被写体の透過光画像の各画素の位置（例えば２次元画像の水平方向の座標及び垂直方向の座標）を示す情報と、各画素における画像値（透過光の強度）の組（以降、ＨＳＤ（Hyper Spectrum Data）という）を取得する。本実施形態におけるＨＳＤは、通常、ハイパースペクトルセンサを用いて取得することができる。ハイパースペクトルセンサを用いたＨＳＤの取得によれば、広範囲の波長帯で連続的に得ることができるので好ましいが、ＨＳＤの取得手段はこれに限られるものではない。例えば、マルチスペクトルセンサで、比較的狭い波長域帯で被写体の透過光画像を、波長帯域を変えて複数回撮像したものを、本実施形態におけるＨＳＤとして用いてもよい。
取得されるＨＳＤの波長帯域は、被写体において有無を識別したい部位（例えば「種」）を透過する光の波長を含む所定の範囲の波長帯域である。被写体が干し柿などの食用果実であるとき、波長帯域は例えば、３５０ｎｍ〜１０５０ｎｍの範囲とすることができる。また、３５０ｎｍ〜１０５０ｎｍの範囲で５ｎｍ毎に分割して複数の波長帯域としてもよい。
このＨＳＤがインターフェース２５を介して検査装置１０に取り込まれ、ハーディスクドライブ装置１８に記憶される。従って、記憶される透過光画像のＨＳＤは、カメラ２８の波長帯域毎に対応した値を画素毎に有する。

ＣＰＵ１２は、オペレータの指示によってハードディスクドライブ装置１８に記憶されている検査プログラムを読み出し実行することにより、図１（ｂ）に示す検査モジュール１１を生成する。図１（ｂ）は、検査装置１０で生成される検査モジュール１１のブロック図である。検査プログラムは、ハードディスクドライブ装置１８から読み出されて実行することにより、後述する図３に示す検査方法を実行する。

検査モジュール１１は、クラス付与部３０と、推定部３２と、判別部３４と、結果出力部３６と、データベース（以降、ＤＢという）３８と、を備える。クラス付与部３０、推定部３２、判別部３４、および、結果出力部３６の処理は、実質的にＣＰＵ１２が担う。すなわち、クラス付与部３０、推定部３２、判別部３４、および、結果出力部３６は、ソフトウェアモジュールである。データベース３８は、ＲＡＭ１６あるいはハードディスクドライブ装置１８によって形成される。

検査モジュール１１を生成した検査装置１０は、食用果実の内部の検査をする装置、具体的には、食用果実内に種が有るか無いかを確実に判別することができる装置である。以降では、食用果実として干し柿を例示して説明する。食用果実として、この他に、プルーン等のドライフルーツやブドウ等を挙げることができる。果実とは、引用文献（http://www.biol.tsukuba.ac.jp/~algae/BotanyWEB/fruit1.html）によれば、種子を包む子房壁やそれ以外の器官が成熟した実のことである。

検査プログラムを起動した検査装置１０は、まず、既知事例の蓄積を行う。具体的には、検査装置１０は、カメラ２８で撮像して得られた参照用干し柿の透過光画像、すなわち参照用透過光画像の各画素のＨＳＤと、この撮像に用いた参照用干し柿の内部構造の複数の部位のそれぞれとの間で対応付けを行う。これによって、検査装置１０は、干し柿における「種」、「蔕」、「果肉」、および「種」の候補となる「疑種」のＨＳＤを少なくとも既知事例としてＤＢ３８に記憶し格納する。ＨＳＤは、１つの画素における波長帯域毎の画素値の組である。したがって、カメラ２８が１４１個の波長帯域で干し柿を撮像した場合、画素値の組には１つの画素に１４１個の画素値があるので、ＨＳＤは１４１個の画素値の組となる。

次に、検査装置１０が、干し柿の内部を、既知事例を用いて検査する。具体的には、検査装置１０は、まず、検査用干し柿の透過光をカメラ２８の複数の波長帯域で受光して検査用干し柿の透過光画像、すなわち検査用透過光画像を取得する。検査用透過光画像は、参照用透過光画像と同じ撮像条件でカメラ２８により撮像された画像である。

検査装置１０は、取得された検査用透過光画像と、ＤＢ３８に記憶されている既知事例とを用いて、透過光画像内で、「種」として識別される第１領域、「蔕」として識別される第２領域、および、第２領域の周りに位置し、「疑種」として識別される領域を含む疑第１領域を抽出することにより、干し柿の内部構造を推定する。さらに、検査装置１０は、上記疑第１領域の、第２領域に対する幾何学形状の特徴量を算出することにより、疑第１領域が「種」に該当するか否かを判定して、検査用干し柿に「種」が存在するか否かを判別する。

このように検査装置１０は、検査用透過光画像について予め「疑種」の部位を推定できるように、「疑種」の画素値の組を既知事例として記憶し、「疑種」として推定される領域を含む疑第１領域の、「蔕」に該当する第２領域に対する幾何学形状の特徴量を算出することにより、疑第１領域が、「種」の条件を満たすか否かを判定する。この判定結果を用いて、検査用干し柿に種が存在するか否かを判別する。このため、検査用干し柿の透過光画像を得ることにより、検査用干し柿の種の有無を非破壊で精度良く判別することができる。
以下、検査装置１０について詳細に説明する。

（検査モジュール）
検査モジュール１１のクラス付与部３０は、参照用透過光画像の各画素における画素値の組（ＨＳＤ）に、「種」、「蔕」、「果肉」、および「疑種」の部位の名称をクラスとして付与し、ＤＢ３０に記憶させる。

まず、クラス付与部３０は、参照用干し柿の参照用透過光画像の中から、「種」に該当する第１領域、「蔕」に該当する第２領域、および「果肉」に該当する第３領域を抽出する。この後、クラス付与部３０は、第１領域、第２領域、および第３領域のいずれにも属しない残存領域が「残存部位」に該当するとして、残存領域の各画素について、交差検定を行う。具体的には、クラス付与部３０は、交差検定をしようとする画素を除いた残存領域の他の画素、第１領域に属する画素、第２領域に属する画素、および第３領域に属する画素を既知の部位の画素として用いて交差検定を行う。これにより、クラス付与部３０は、残存領域の各画素について部位の推定を行い、推定時に得られる推定の確信度が閾値より低く、第２領域の外周から設定された許容範囲内に位置する、残存領域の画素を見出す。クラス付与部３０は、この見出した画素におけるＨＳＤを「疑種」と定め、この「疑種」のＨＳＤを既知事例とする。こうして、参照用透過光画像から得られた「種」、「蔕」、「果肉」、および「疑種」の既知事例は、ＤＢ３８に記憶される。なお、交差検定とは、「種」、「蔕」等の部位（クラス）が付与されたＨＳＤを既知事例として用いて、部位（クラス）が付与されていない、部位が未知のＨＳＤについて部位（クラス）を推定し検定することをいう。ここでは、クラス付与部３０は、残存領域の交差検定の対象となる１つの画素について部位（クラス）が付与されていないと仮定して交差検定を行う。このとき、クラス付与部３０は、「残存部位」として付与された残存領域の他の画素（交差検定の対象となっていない画素）のＨＳＤ、「種」、「蔕」、および「果肉」が付与されたＨＳＤを既知事例として用いて、上記交差検定の対象となっている１つの画素の部位（クラス）を推定する。この交差検定は、Leave-one-out交差検定である。交差検定は、Leave-one-out交差検定の他に、n-fold交差検定を用いることもできる。交差検定で行う部位の推定は、具体的には後述するＭＢＲ（Memory Based Reasoning）を用いて行われる。ＭＢＲは、クラス付与済みのＨＳＤを蓄積した既知事例集合の中からクラスが未付与のＨＳＤの類似事例を検索し、その類似事例のスペクトル値をもとに判別を行なう判別器であり、交差検定の対象となる１つの画素のＨＳＤが、残存領域の他の画素（交差検定の対象となっていない画素）のＨＳＤ、「種」、「蔕」、および「果肉」が付与された各画素におけるＨＳＤと類似しているか否かを、定義された距離の計算を行うことにより、部位の推定および確信度が算出される。ＭＢＲの代わりにクラス付与済みのＨＳＤを蓄積した既知事例とクラスが未付与の未知事例を用い、判別結果に対する確信度が算出できる他の判別器（例えばＳＶＭ（Support Vector Machineなど）を用いてもよい。各画素におけるＨＳＤと部位との対応付けを行ってＨＳＤに部位を付与する具体的な方法は後述する。

推定部３２は、ＤＢ３８に記憶された「種」、「蔕」、「果肉」、「疑種」に関する既知事例を用いて、干し柿の検査用透過光画像の各画素のＨＳＤから、「種」、「蔕」、「果肉」、「疑種」の各部位に該当する領域を抽出して検査用干し柿の内部構造を推定する。領域の抽出には、上述のＭＢＲが用いられる。検査用透過光画像の各画素は、「種」、「蔕」、「果肉」、「疑種」の部位の中から推定される。なお、「疑種」に該当する部分は、「種」、「蔕」および「果肉」に識別されず、「種」、「蔕」および「果肉」として推定ができない場所であるため、抽出される疑第１領域には、「疑種」として推定される領域の他に、「種」、「蔕」および「果肉」のいずれの部位についても低い確信度で推定される領域であって、「蔕」に該当する第２領域の周りに位置する領域が含まれる。「蔕」に該当する第２領域の周りに位置する領域とは、第２領域の外周から設定された許容範囲内に含まれる領域をいう。推定部３４の処理については後述する。

判別部３４は、推定部３４で抽出された第１領域と、第２領域と、疑第１領域とを用いて、検査用の干し柿に種が存在するか否かを判別する。判別部３４は、疑第１領域の、「蔕」に該当する第２領域に対する幾何学形状の特徴量を算出し、この特徴量が第１部位である「種」の条件を満たすか否かを判定して、検査用の干し柿に「種」が存在するか否かを判別する。「種」の条件とは、具体的に、第２領域の中心点と「疑第１領域」の外側外周との間の距離の平均値およびこの距離の標準偏差を算出したとき、上記平均値と標準偏差が、与えられた値の範囲にあることをいう。なお、判別部３４が判別結果として「種」有りと判別するには、「種」に該当する第１領域と、「種」の条件を満足する「ほぼ種」に該当する疑第１領域の合計の面積が、予め設定された閾値に対して高いことが条件とされる。この条件が課されるのは、「ほぼ種」および「種」の合計面積が面積比較用閾値以下である場合、実際に種が存在するとは言えず、第１領域の誤った推定、疑第１領域の誤った推定、および「ほぼ種」の誤った判定によって種が有ると誤って判別することがないようにするためである。

図２は、判別部３４の詳細なブロック図である。判別部３４は、蔕外周ＨＳＤ抽出部３４ａと、疑種外周ＨＳＤ抽出部３４ｂと、距離算出部３４ｃと、結果付与部３４ｄと、種有無判別部３４ｅと、を備える。判別部３４の処理、具体的には、蔕外周ＨＳＤ抽出部３４ａと、疑種外周ＨＳＤ抽出部３４ｂと、距離算出部３４ｃと、結果付与部３４ｄと、種有無判別部３４ｅの処理については後述する。

結果出力部３６は、判別部３４で得られた種有無の判別結果と、「種」に該当する第１領域、「蔕」に該当する第２領域、「果肉」に該当する第３領域、および「疑種」に該当する疑第１領域の抽出結果をディスプレイ１９に表示させる。さらに、結果出力部３６は、種有無の判別結果に至る処理中に算出された情報もディスプレイ１９に表示させてもよい。

（検査方法）
次に、検査装置１０で行われる干し柿の検査方法について説明する。図３は、干し柿の検査方法の全体フローを示す図である。
検査装置１０は、まず、干し柿の各部位の既知事例の蓄積を行う。具体的には、検査装置１０は、参照用干し柿の透過光をカメラ２８で受光して得られる参照用透過光画像を、インターフェース２５を介して取得する（ステップＳ１０）。

この後、検査装置１０のクラス付与部３０は、参照用透過光画像の画素毎に、クラスの付与を行う（ステップＳ２０）。これにより、「種」、「蔕」、「果肉」および「疑種」の各部位（クラス）に関する画素値の組が既知事例としてＤＢ３８に記憶される。
次に、カメラ２８が、検査用干し柿を参照用干し柿と同じ撮像条件（同じ光源、同じ光量、同じ画角、同じ撮像方向）で撮像することにより、検査装置１０は、検査用干し柿の検査用透過光画像を取得する（ステップＳ３０）。
検査装置１０は、取得した検査用透過光画像から、ＤＢ３８に記憶された上記既知事例を用いて、内部構造の推定を行う（ステップＳ４０）。すなわち、検査装置１０は、透過光画像内で、「種」として識別される第１領域、「蔕」として識別される第２領域、および、「疑種」として識別される領域を含む疑第１領域を抽出する。これにより、検査装置１０は、内部構造の推定を行う。

次に、検査装置１０は、種の有無の判別を行う（ステップＳ５０）。具体的には、検査装置１０は、疑第１領域の、第２領域に対する幾何学形状の特徴量を算出し、算出した特長量が「種」の条件を満足するか否かを判定して、検査用干し柿に種が存在するか否かを判別する。
以下、クラスの付与（ステップＳ２０）、内部構造の推定（ステップＳ４０）、および種の有無の判別（ステップＳ５０）について詳細に説明する。

（クラスの付与）
図４は、検査装置１０が既知事例の蓄積のために行うクラスの付与の処理のフローを示す図である。クラスの付与は、クラス付与部３０において行われる。ここで、クラスとは、「種」、「蔕」、「果肉」といった部位の名称をいう。
クラス付与部３０は、カメラ２８で撮像されて得られた参照用干し柿の参照用透過光画像を取得し、ＨＳＤを取得する（ステップＳ２１）。クラス付与部３０は、参照用透過光画像を、インターフェース２５から直接取得してもよいし、インターフェース２５を介してＤＢ３８に一度記憶された参照用透過光画像を読み出して取得してもよい。図５は、参照用透過光画像のＨＳＤの一例が示されている。図５に示す例に用いる参照用透過光画像は、１４２ピクセル×１４０ピクセル（縦×横）の画像で、合計１９８８０画素を有する。画素には、参照用透過光画像の１つの角から順番に画素位置の番号を示すＩＮＤＥＸ番号が記され、各画素は、１４１の波長帯域（band１〜band１４１）における画素値を有する。

次に、クラス付与部３０は、ＤＢ３８に、干し柿の参照用透過光画像から求めて蓄積した各部位のＨＳＤの既知事例の個体数（既知事例の数）が１より大きいか否かを判定する（ステップＳ２２）。判定の結果、個体数が１より大きい、すなわち各部位の既知事例が２以上ある場合、検査装置１０は、干し柿の検査が可能であると判断して、ステップＳ３０（図３参照）に進む。上記個体数が１以下である場合、クラス付与部３０は、検査用透過光画像をクラスタリングして参照用干し柿の参照用透過光画像の画素のＨＳＤにクラスを付与する（ステップＳ２３）。

具体的には、クラス付与部３０は、参照用透過光画像の画素のＨＳＤについて、波長帯域毎の画素値に基づいてクラスタリングを行って、例えば周知のk-means法を用いたクラスタリングを行って参照用透過光画像の領域を分割する。その際、波長帯域毎の画素値に基づいてクラスタリングを行うので、「種」、「蔕」、「果肉」の各部位を区別した形でクラスタリング分割領域が生成され得る。しかし、クラスタリング分割領域のどの部分が「種」、「蔕」、「果肉」に該当するのか不明である。このため、オペレータが、参照用透過光画像の撮像方向に対して直交する面に沿って参照用干し柿を切断することにより参照用干し柿を解体し、オペレータの判断により切断面の各部分のうち、「種」、「蔕」、「果肉」であることが確実である部分について特定し、この特定した部分を解体結果データとして用いて、対応するクラスタリング分割領域を「種」、「蔕」、「果肉」の部位であると定める。したがって、オペレータは、参照用透過光画像中の各クラスタリング分割領域に該当する画素のＨＳＤに、オペレータが付与しようとする「種」、「蔕」、「果肉」のいずれかの名称をキーボード２０、マウス２２を通して検査装置２０に入力する。クラス付与部３０は、「種」、「蔕」、「果肉」のいずれかの名称の入力をオペレータから受けることにより、参照用透過光画像中の対応する画素におけるＨＳＤに「種」、「蔕」、「果肉」の名称をクラスとして付与する。参照用透過光画像には、「種」、「蔕」、「果肉」の名称が付与されなかった残りの領域（残存領域）もある。

なお、クラスタリングを行う場合、参照用透過光画像を、「種」、「蔕」、「果肉」の３つの領域に少なくとも分割するために、クラスタリング分割領域が３つ以上となるように分割数を３以上とすることが好ましい。参照用透過光画像は、「種」の部位および「種」の周辺部分、「蔕」の部位および「蔕」の周辺部分、「果肉」の部位に分割されるように、分割数を少なくとも５以上にすることがより好ましい。特に、参照用透過光画像から「種」の領域であることが確実であるクラスタリング分割領域を生成するには、「種」、「蔕」、「果肉」の３つの領域に少なくとも分割するためのクラスタリングを行った後、「種」と想定される範囲の複数のクラスタリング分割領域を対象として、さらに、細かなクラスタリングを行うとよい。これにより、「種」の領域であることが確実なクラスタリング領域を抽出することができる。

図６（ａ）は、参照用干し柿を解体した写真の一例を示す。図６（ｂ）は、参照用透過光画像の中の、図６（ａ）中の白枠で囲まれた範囲内の領域について、クラスタリング（５分割）を行った結果の一例を示す。図６（ｂ）に示すクラスタリング結果では、黒部分は「種」に対応するクラスタリング分割領域であり、この黒部分の周りの灰色部分は、「果肉」に対応するクラスタリング分割領域であり、白色部分は、「蔕」に対応するクラスタリング分割領域である。

クラス付与部３０は、「種」、「蔕」、「果肉」の名称が付与されたＨＳＤ、すなわちクラス付与済みＨＳＤを、「種」、「蔕」、「果肉」に関する既知事例として、ＤＢ３８に記憶させる（ステップＳ２４）。図７Ａ〜図７Ｃは、「種」、「果肉」、「蔕」に関する既知事例である「種」、「果肉」、「蔕」のＨＳＤの一例が示されている。

次に、クラス付与部３０は、「種」、「蔕」、「果肉」の名称が付与されたクラス付与済みＨＳＤをＤＢ３８から読み出し、このクラス付与済みＨＳＤと、ステップＳ２３においてクラスが付与されなかった残存領域を用いて、残存領域の少なくとも一部分の画素におけるＨＳＤに、「種」の候補となる「疑種」の名称をクラスとして付与し、「疑種」の付与された画素値の組をＤＢ３８に記憶させる（ステップＳ２５）。

具体的には、クラス付与部３０は、「種」、「蔕」、および「果肉」のいずれにも属しない残存領域を「残存部位」として、「残存部位」に該当する残存領域の各画素について交差検定を行う。具体的には、クラス付与部３０は、残存領域の他の画素、すなわち、交差検定の対象となる画素以外の、「残存部位」に該当する画素、「種」に該当する第１領域に属する画素、「蔕」に該当する第２領域に属する画素、および「果肉」に該当する第３領域に属する画素を既知事例の画素として用いて交差検定を行う。これにより、クラス付与部３０は、残存領域の各画素について部位を推定し、「種」として誤って推定する画素および推定時に得られる推定の確信度が閾値より低く、「蔕」該当する第２領域の周りに位置する、残存領域の画素のＨＳＤを「疑種」の名称を付与して既知事例としてＤＢ３８に記憶させる。第２領域の周りに位置するとは、第２領域の外周から設定された許容範囲内に位置することをいう。

図８（ａ），（ｂ）は、交差検定を説明する図である。図８（ａ）に示すように、参照用透過光画像Ｇの中で、「種」、「蔕」および「果肉」に該当する第１〜第３領域（斜線領域））と「残存部位」に該当する残存領域（白い領域）が定められているとする。このとき、クラス付与部３０は、図８（ｂ）に示すように、残存領域の１つの画素に付与されているクラスが未知であるとして、これ以外の残存領域の画素におけるＨＳＤと、第１〜３領域の画素におけるＨＳＤ、すなわち「種」、「蔕」、「果肉」に関する既知事例とを用いて、クラスが未知である（未知事例である）とした上記１つの画素のクラスを推定する。このように交差検定の対象となる画素は、残存領域の全画素であり、クラスの推定が繰り返される。図９は、「疑種」に関する既知事例としてＤＢ３８に記憶される「疑種」のＨＳＤの一例が示されている。

クラス付与部３０は、この推定において、残存領域の各画素のうち、「種」と誤って推定される画素におけるＨＳＤ、および、推定の確信度が設定された閾値より低く、「蔕」に該当する第２領域の周りに位置する画素におけるＨＳＤに、「疑種」の名称をクラスとして付与する。「疑種」が付与されたＨＳＤは、「疑種」に関する既知事例としてＤＢ３８に記憶される。なお、上記推定では、下記に説明するＭＢＲを用いて行うことが好ましい。ＭＢＲに代えて、ＳＶＭを用いることもできる。ＭＢＲでは、残存領域の各画素のＨＳＤを未知事例とし、この未知事例について、ＤＢ３８に記憶された「種」、「蔕」、および「果肉」に関する既知事例、さらには、「残存部位」とされた画素におけるＨＳＤそれぞれとの間で類似度を算出することにより推定が行われる。
以上により、クラスの付与が終了する。

（ＭＢＲ）
ＭＢＲでは、未知事例と、既知事例の集合に含まれる各既知事例との間の類似度が求められる。具体的には、事例（未知事例、既知事例）の各波長帯域の画素値ごとに、未知事例と既知事例との説明変数間距離が求められる。より具体的には、下記式（１）を用いて、画素値毎の説明変数間距離が求められ得る。説明変数間距離とは、類似するか否かを調べる２つのＨＳＤの間で、対応する画素値同士の差分を規格化した値である。類似度は、この説明変数間距離ｄ_jを用いて算出される。ただし、ｊは波長帯域を識別する識別子であり、ｄ_jは説明変数間距離である。

上記式（１）において、「種」、「蔕」および「果肉」に関するＨＳＤである既知事例の集合の波長帯域ｊにおける画素値の分布から得られる標準偏差を分母とし、未知事例の波長帯域ｊにおける画素値と各既知事例の波長帯域ｊにおける画素値との差を分子とする値がｄ_jとなる。説明変数間距離ｄ_jは対応する画素値同士の差分を、標準偏差で規格化した値である。

次に、上記式（１）により求めた説明変数間距離ｄ_jと波長帯域ｊにおける画素値の目的変数値の予測に対する影響度とを用いて、未知事例と既知事例との間の事例間距離が求められる。具体的には、下記式（２）を用いて、既知事例と未知事例との間の事例間距離が求められる。ただし、Ｄは事例間距離である。ｎは、波長帯域数である。

そして、上記式（２）により求めた事例間距離Ｄから未知事例と既知事例との間の類似度が求められる。類似度は、事例間距離Ｄが大きくなればなるほど小さくなる。具体的には、下記式（３）を用いて、事例間の類似度を求めることができる。ただし、Ｓは類似度、Δは類似度Ｓが無限大になることを防ぐための正値である。ここでは正値ΔをΔ＝１とする。

次に、既知事例の集合から、未知事例と既知事例との類似度が高い順に上位ｋ個の既知事例（類似事例）が検索される。ここでは、類似度がｉ番目に高い類似事例を「第ｉ類似事例」と表記する。また、第１類似事例は、「最類似事例」とも表記する。上記ｋは任意に設定可能な値である。

このとき、上記影響度に基づく重要度ｗが既知事例に付与されている場合には、その重要度ｗを考慮して、既知事例の集合から既知事例が検索される。ここでは、第ｉ類似事例の重要度を「ｗ（ｉ）」と表記する。重要度ｗの既知事例は、画素値と付与されたクラスとが同一の既知事例がｗ個あることを意味する。

また、既知事例の集合から検索された類似事例の類似度の総和をあらわす類似度和は、検索された各既知事例の類似度に重要度ｗを掛け合わせてから和をとることにより求められる。ここでは、類似度和を「Ｓ_c」と表記する。たとえば、ｋ＝３でかつ第１類似事例の重要度がｗ（１）＝３の場合、第１類似事例だけで類似事例の数が３に達するため、類似事例は第１類似事例のみとなる。

なお、最下位の類似事例の重要度を足し合わせることで、類似事例集合の重要度の和がｋを超える場合には、重要度の和がｋとなるように最下位の類似事例の重要度に必要な係数を掛けてから類似度和を計算するものとする。たとえば、ｋ＝３で、第１類似事例の重要度がｗ（１）＝１、第２類似事例の重要度がｗ（２）＝３の場合、重要度の和が３となるように、第２類似事例の重要度に２／３を掛ける。

ここで、第ｉ類似事例の類似の順位をｒ（ｉ）、重要度をｗ（ｉ）、類似度をＳ（ｉ）とし、クラス（「種」、「蔕」、「果肉」）をｃ（ｉ）とすると、クラスがｃ（ｉ）である上位ｋ個の類似事例の類似度和Ｓ_cは、下記式（４）〜（７）を用いてあらわすことができる。

最後に、クラスｃの確信度が求められる。確信度とは、クラスがｃである確からしさをあらわす指標である。具体的には、下記式（８）を用いて、類似事例集合とその類似度とから確信度が求められる。ただし、確信度をｐ（ｃ）とする。

上記式（８）を用いて求めた確信度ｐ（ｃ）が最大となるクラスが推定の結果となる。なお、上記ＭＢＲ方法に基く推定についての詳細な説明は、たとえば、特開２０００−１５５６８１号公報を参照することができる。

図１０（ａ）は、ＭＢＲを用いて、後述する検査用透過光画像から、「種」、「果肉」、「果肉」の３つのクラス（「疑種」のクラスはない）を用いて推定した結果の一例を示している。この結果は、低い確信度で推定される場合であっても、最大の確信度で推定されるクラスを各画素のＨＳＤに付与した例である。図１０（ａ）に示す結果からわかるように、「種」と推定される領域は、「蔕」と推定される領域の周りに位置していることがわかる。図１０（ｂ）は、上記推定時に算出される確信度ｐ（ｃ）を予め設定された閾値で分けることにより得られる確信度ｐ（ｃ）の高低の分布を示す図である。図１０（ａ）に示すように、「種」と推定される領域は、確信度ｐ（ｃ＝「種」）が低いことがわかる。したがって、検査装置１０は、図１０（ａ）に示すように確信度が低く「種」と推定される部分を、予め「種」の候補となる「疑種」として定め、この「疑種」に関する既知事例を記憶し、「種」、「蔕」、「果肉」に加えて「疑種」に関する既知事例を用いて検査用透過光画像の各画素に対して部位を推定することにより、後述するように検査用干し柿の種の有無を精度良く判別することができる。

（内部構造の推定）
次に、図３に示す内部構造の推定（ステップＳ４０）が行われる。図１１は、内部構造の推定のフローを示す図である。内部構造の推定は、推定部３２（図１（ｂ）参照）において行われる。
推定部３２は、用意した検査用干し柿をカメラ２８で撮像して得られた検査用透過光画像を取得し、検査用透過光画像から各画素の画素値の組、すなわちＨＳＤを取得する（ステップＳ４１）。検査用透過光画像は、カメラ２８からインターフェース２５を通して直接取り込まれることで、ＨＳＤが取得されてもよいし、一度ハードディスクドライブ装置１８に記憶された画像が読み出されることで、ＨＳＤが取得されてもよい。

次に、推定部３２は、ＤＢ３８に記憶されている「種」、「蔕」、「果肉」、「疑種」に関する既知事例であるＨＳＤ（画素値の組）を用いて、ステップＳ４１で取得されたＨＳＤに対して、「種」、「蔕」、「果肉」あるいは「疑種」等の部位の推定を行う（ステップＳ４２）。このとき、上述したＭＢＲを用いた類似度および確信度を算出することにより推定を行う。推定部３２は、算出された確信度が予め設定された閾値より高い画素に対して、確信度が最も高い部位の名称、すなわち「種」、「蔕」、「果肉」、「疑種」のいずれか１つの部位の名称をクラスとして付与する。これにより、「種」が付与された画素の集合が、「種」に該当する第１領域となり、「蔕」が付与された画素の集合が、「蔕」に該当する第２領域となり、「果肉」が付与された画素の集合が、「果肉」に該当する第３領域となる。さらに、「疑種」が付与された画素の集合が、「疑種」に該当する疑第１領域となる。また、確信度が上記設定された閾値より低く、「種」、「蔕」、「果肉」および「疑種」のいずれも付与されない画素であって、第２領域の周りに位置する画素も、疑第１領域に含められる。「疑種」は、本来「種」、「蔕」、「果肉」のいずれも付与されない確信度が低い部位である。図１０（ｂ）に示すように、「蔕」に該当する領域の周りに確信度が低い画素が多く存在する。このため、推定部３２は、確信度が設定された閾値より低く、「種」、「蔕」、「果肉」および「疑種」のいずれも付与されない画素であって、「蔕」に該当する領域の周りに位置する画素を疑第１領域に含め、この画素のＨＳＤに対して「疑種」を付与する。なお、「蔕」に該当する領域の周りに位置する画素とは、「蔕」に該当する第２領域の外周から設定された許容範囲内に含まれる画素である。

この後、推定部３２は、第１領域、第２領域、第３領域、および疑第１領域のそれぞれに含まれる画素におけるＨＳＤ、すなわち画素値の組に対して、推定したクラス（部位の名称）と確信度を付与する（ステップＳ４３）。こうして、クラスおよび確信度が付与されたＨＳＤは、クラス付与済みＨＳＤとしてＤＢ３８に記憶される。

（種の有無の判別）
次に、図３に示す種の有無の判別（ステップＳ５０）について説明する。図１２は、種の有無の判別のフローを示す図である。種の有無の判別は、判別部３４（図１（ｂ）参照）で行われる。

まず、判別部３４は、ステップＳ４０において推定された結果、すなわちクラス付与済みＨＳＤに、「疑種」が付与されたＨＳＤがあるか否かを判定する（ステップＳ５１）。推定結果に「疑種」が付与されたＨＳＤがある場合（ステップＳ５１においてＹＥＳの場合）、判別部３４は、「蔕」に該当する第２領域の中心点を算出する（ステップＳ５２）。第２領域の中心点は、第２領域に属する画素の画素位置情報を用いて算出される。

次に、判別部３４は、算出した中心点と抽出された疑１領域の外周との距離の平均値と標準偏差を算出する（ステップＳ５３）。
図１３（ａ）〜（ｃ）には、第２領域の中心点と抽出された疑１領域の外周との距離の算出方法を説明する図である。疑第１領域は、図１３（ａ），(ｃ)では、疑第１領域の外周が点線で示されている。図１３（ｂ）では、「蔕」に該当する第２領域の外周が実線で示されている。図１３（ｃ）では、第２領域の中心点Ｇと、抽出された疑１領域の外周との距離を示している。判別部３４は、このような距離を算出して距離の平均値および距離の標準偏差を疑第１領域の幾何形状の特徴量として算出し、平均値および標準偏差が「種」の条件を満足するか否かを判定することができる。

上記距離を算出するためには、まず、判別部３４は、第２領域の外周および疑第１領域の外周を、第２領域および疑第１領域から算出する。
図１４は、第２領域の外周を抽出するフローを示す図である。第２領域の外周の抽出は、蔕外周ＨＳＤ抽出部３４ａ（図２参照）で行われる。

蔕外周ＨＳＤ抽出部３４ａは、「蔕」に該当する第２領域に属する画素のＨＳＤ、すなわち「蔕」と推定した画素のＨＳＤ（以降、この画素のＨＳＤを蔕ＨＳＤという）をＤＢ３８から読み出して取得する（ステップＳ７０）。この後、蔕外周ＨＳＤ抽出部３４ａは、画素の画素位置情報でソートを行って画素にＩＤ＝ｉ（ｉ＝１〜ｎの自然数（ｎは蔕ＨＳＤの画素の総数））を振る（ステップＳ７２）。具体的に、ソートされた結果の順番に１から蔕ＨＳＤの総数までの自然数ｉがＩＤとして振られる。検査用透過光画像の直交する二方向のうち一方向をｘ方向とし残りの方向をｙ方向としたとき、例えば、ソートの優先順位はｘ方向を第１位とし、ｙ方向を第２位として、ソートは行われる。次に、蔕外周ＨＳＤ抽出部３４ａは、変数ｉ，ｊを０に初期設定する（ステップＳ７４，Ｓ７６）。この後、蔕外周ＨＳＤ抽出部３４ａは、第２領域の全画素を処理したか否かを判定する（ステップＳ７８）。第２領域の全画素を処理していない場合、蔕外周ＨＳＤ抽出部３４ａは、変数ｉをi＋１に増やし（変数ｉを１増加し）、ＩＤがｉに対応する画素（ＩＤ(i)の画素）におけるＨＳＤを抽出する（ステップＳ８０，Ｓ８２）。外周ＨＳＤ抽出部３４ａは、抽出したＨＳＤの画素に隣接する蔕ＨＳＤの画素が存在するか否かを判定する（ステップＳ８４）。隣接する蔕ＨＳＤの画素とは、検査用透過光画像の注目する画素に直接接触する画素のみならず、注目する画素を中心として複数の画素数離れた範囲内に位置する画素を含んでもよい。例えば、注目する画素を中心として３画素×３画素、５画素×５画素のように、予め設定された数ｋに対して、ｋ画素×ｋ画素の範囲内の画素を隣接する蔕ＨＳＤの画素と定めてもよい。上記判定において隣接する画素がある場合（ステップＳ８４においてＹＥＳの場合）、ステップＳ７８に戻る。一方、上記判定結果が否定である場合（ステップＳ８４においてＮＯの場合）、蔕外周ＨＳＤ抽出部３４ａは、変数ｊをｊ＋１に増やし（変数ｊを１増加し）（ステップＳ８６）、ステップＳ８２で抽出した蔕ＨＳＤの画素に変数ｊの値をＩＤとして付与し、蔕外周ＨＳＤとして、ＤＢ３８に記憶させる（ステップＳ８８）。このようにして第２領域外周が抽出される。

図１５は、疑第１領域外周を抽出するフローを示す図である。疑第１領域外周の抽出は、疑種外周ＨＳＤ抽出部３４ｂ（図２参照）で行われる。疑第１領域外周の抽出は、ステップＳ９０〜Ｓ１０８で行われるが、この処理は、図１４に示す第２領域の外周の抽出におけるステップＳ７０〜Ｓ８８と同じ方法で行われる。したがって、ステップＳ９０〜Ｓ１０８の説明は省略する。なお、第２領域外周の抽出および疑第１領域外周の抽出は、図１４及び図１５に示す方法の他に、画像処理の分野で用いるエッジ強度評価フィルタを用いた周知のエッジ抽出方法を用いることができる。このエッジ抽出方法では、エッジ強度評価フィルタとして、縦、横、斜め等、所定の方向のエッジを抽出する複数種類のエッジ強度評価フィルタのいずれか１つが用いられる。縦方向のエッジ強度評価フィルタを用いて畳込処理を行えば、主に縦方向のエッジが抽出され、横方向のエッジ強度評価フィルタを用いて畳込処理を行えば、主に横方向のエッジが抽出される。したがって、このエッジ抽出方法を用いる場合、エッジの抽出対象となる領域の形状から、その形状に適した種類のエッジ強度評価フィルタを予め選択しておき（例えば、主に横方向のエッジから構成される形状に対しては横方向のエッジ強度評価フィルタを予め選択しておく）、選択した１種類のエッジ強度評価フィルタを用いた畳込処理が行われる。また、エッジ抽出方法の一例として、特開２００４−３４１８４４号公報に記載の方法も挙げられる。

図１６（ａ）は、蔕ＨＳＤの一例を示す。図１６（ｂ）は、蔕外周ＨＳＤの一例を示す。蔕外周ＨＳＤは、図１４に示すフローに従って図１６（ａ）に示す蔕ＨＳＤから抽出された結果である。図１７は、図１５に示すフローに従って抽出された疑第１領域の外周におけるＨＳＤ、すなわち疑種外周ＨＳＤの一例を示す。このような蔕外周ＨＳＤおよび疑種外周ＨＳＤがＤＢ３８に記憶される。

図１８は、「蔕」に該当する第２領域の中心点Ｇを算出し（ステップＳ５２）、中心点Ｇと疑第１領域外周の各画素との間の距離の算出（ステップＳ５３）のフローを詳細に示す図である。このフローは、距離算出部３４ｃ（図２参照）で行われる。

まず、距離算出部３４ｃは、ＤＢ３８に記憶された蔕外周ＨＳＤを読み出して、蔕外周ＨＳＤの画素位置情報を結ぶことで得られる多角形の中心点を、第２領域における中心点Ｇとして算出する（ステップＳ１１０）。具体的に、距離算出部３４ｃは、多角形を、多角形の一つの頂点を共通の頂点とする三角形に分けて三角形毎の重心を算出し、この重心を用いて多角形の中心点を算出する。
例えば、http://izumi-math.jp/F_Nakamura/heso/heso3.htmに記される方法が用いられ得る。図１９（ａ）には、算出される重心点Ｇの画素位置情報の一例が示されている。

次に、距離算出部３４ｃは、疑種外周ＨＳＤをＤＢ３８から読み出して、疑種外周ＨＳＤを取得して、ＩＤでソートを行う（ステップＳ１１２）。これにより、ＩＤの番号の低い順番に並べられる。この後、距離算出部３４ｃは、変数ｊおよび変数ｐを０として設定する（ステップＳ１１４，Ｓ１１６）。

次に、距離算出部３４ｃは、疑種外周ＨＳＤの画素のうち外側外周の全画素についてステップＳ１１０で算出した中心点Ｇとの間の距離を算出したか否かを判定する（ステップＳ１１８）。ここで、疑種外周ＨＳＤの画素のうち外側外周とは、疑第１領域を囲む外周のうち、中心点Ｇから遠い外側の外周部分をいう。例えば、図１３（ｃ）に示すように疑第１領域の外周（点線）のうち、中心点Ｇから疑第１領域の外周に向けて直線を引いたとき、重心点Ｇから近い外周の部分と遠い外周の部分がある。この部分が遠い外周の部分であり、外側外周という。
ステップＳ１１８における判定の結果が肯定である場合、距離算出の処理は終了する。一方、ステップＳ１１８における判定結果が否定である場合、距離算出部３４ｃは、変数ｊをｊ＋１に増やして（変数ｊを１つ増加して）（ステップＳ１２０）、ＩＤがｊである疑種外周ＨＳＤを抽出する（ステップＳ１２２）。さらに、距離算出部３４ｃは、ＩＤがｊである疑種外周ＨＳＤの画素に最も近接した蔕外周ＨＳＤの画素を抽出する（ステップＳ１２４）。このとき、抽出した最も近接した蔕外周ＨＳＤの画素のＩＤをｍとする。

次に、距離算出部３４ｃは、中心点ＧとＩＤがｊである疑種外周ＨＳＤの画素との間の距離ｄ1を算出し、さらに、中心点ＧとＩＤがｍである蔕外周ＨＳＤの画素との間の距離ｄ2を算出する（ステップＳ１２６、Ｓ１２８）。このとき、距離算出部３４ｃは、距離ｄ1が距離ｄ2に比べて大きいか否かを判定する（ステップＳ１３０）。この判定結果が否定である場合、ステップＳ１１８に戻る。一方、上記判定結果が肯定である場合、距離算出部３４ｃは変数ｐをｐ＋１に増やして（変数ｐを１つ増加して）（ステップＳ１３２）、ステップＳ１２２で抽出したＩＤがｊである蔕外周ＨＳＤの画素にＩＤとして変数ｐを付与し、距離ｄ1を算出すべき距離としてＤＢ３８に記憶させる（ステップＳ１３４）。ステップＳ１３０の判定において距離ｄ2に比べて距離ｄ1が長いことは、距離ｄ1の算出に用いた疑種外周ＨＳＤの画素が、疑種外周ＨＳＤの画素のうち外側外周の画素であることを意味する。また、距離ｄ1を算出するのは、疑第１領域の幾何形状の特徴量を求めるためである。図１９（ｂ），（ｃ）には、算出された距離ｄ1,ｄ2の一例が示されている。図１９（ｄ）には、算出した距離の一例が示されている。
以上のようにして距離が算出される。

次に、図１２に示すステップＳ５３に戻って、ステップＳ５３〜Ｓ５６の処理が行われる。これらの処理は、結果付与部３４ｄ（図２参照）で行われる。結果付与部３４ｄは、ＤＢ３８に記憶された全ての距離を読み出し、距離の平均値および標準偏差を疑第１領域の幾何学形状の特徴量として算出する（ステップＳ５３）。この後、結果付与部３４ｄは、算出した距離の平均値が予め設定した距離判定用閾値に対して大きく、かつ、算出した距離の標準偏差が予め設定した標準偏差用閾値に対して小さいか否かを判定する（ステップＳ５４）。この判定の結果が否定である場合、結果付与部３４ｄは、後述するステップＳ５６に移る。一方、上記判定の結果が肯定である場合、結果付与部３４ｄは、疑第１領域に含まれる画素のＨＳＤに「種」である可能性が極めて高い「ほぼ種」を付与する（ステップＳ５５）。

図２０は、ステップＳ５３〜Ｓ５５の結果付与の処理のフローをより詳細に示す図である。すなわち、結果付与部３４ｄは、距離の平均値ａｖｅと標準偏差ｓｄを算出する（ステップＳ１２０）。結果付与部３４ｄは、算出した平均値ａｖｅが予め定められた距離判定用閾値Ｔ（ａｖｅ）に対して大きいか否かを判定する（ステップＳ１２２）。判定結果が否定である場合、結果付与部３４ｄは結果付与の処理を終了する。一方、判定結果が肯定である場合、結果付与部３４ｄは、さらに、算出した標準偏差ｓｄが予め定められた標準偏差用閾値Ｔ（ｓｄ）に対して小さいか否かを判定する（ステップＳ１２４）。判定結果が否定である場合、結果付与部３４ｄは結果付与の処理を終了する。一方、判定結果が肯定である場合、結果付与部３４ｄは、この疑第１領域の各画素のＨＳＤに「ほぼ種」を付与する（ステップＳ１２６）。このように、ステップＳ５３で算出した距離の平均値と標準偏差を「種」の判定条件に用いることで、種の有無の判別をより精度良く行うことができる。距離の標準偏差が標準偏差用閾値Ｔ（ｓｄ）よりも小さいとは、上記距離が大きく変動せず、すなわち、疑第１領域が入り組んだ複雑な形状でなく、種のように滑らかな形状であることを意味する。「ほぼ種」が付与されたＨＳＤは、クラス付与済みＨＳＤとしてＤＢ３８に記憶される。

次に、図１２に戻り、ステップＳ５６の処理が行われる。この処理は、種有無判別部３４ｅ（図２参照）で行われる。種有無判別部３４ｅは、ＤＢ３８に記憶された検査用透過光画像のクラス付与済みＨＳＤの画素を読み出して、「種」あるいは「ほぼ種」が付与された画素があるか否かを判定する（ステップＳ５６）。「種」が付与された画素は、第１領域に属する画素である。また、「ほぼ種」が付与された画素は、ステップＳ５４の判定結果が肯定されて、「ほぼ種」が付与された疑第１領域に含まれる画素である。上記判定において、「種」あるいは「ほぼ種」が付与された画素が無い場合（ステップＳ５６の判定においてＮＯの場合）、種有無判別部３４ｅは、検査用干し柿に種はないと判別する（ステップＳ５９）。一方、「種」あるいは「ほぼ種」が付与された画素がある場合（ステップＳ５６の判定においてＹＥＳの場合）、種有無判別部３４ｅは、「種」および「ほぼ種」が付与された画素の面積の合計が、予め設定された面積比較用閾値に比べて大きいか否かを判定する（ステップＳ５７）。面積比較用閾値には、検査用透過光画像における種に該当する領域の面積の平均値に対して、１より小さい係数を乗算した積が用いられる。１より小さい係数とは、例えば０．９である。すなわち、種に該当する領域の面積の平均値に対して１０％小さい面積を面積比較用閾値とする。このように、「種」および「ほぼ種」が付与された画素の面積の合計に下限を設定するのは、第１領域の誤った推定、疑第１領域の誤った推定、および「ほぼ種」の誤った判定によって、誤った判別結果にならないようにするためである。種はある程度の大きさを有するため、ステップＳ５７におけるスクリーニングにより、種の有無を確実に判別することができる。

ステップＳ５７の判定結果が肯定である場合、種有無判別部３４ｅは、検査用干し柿に種がある、と判別する（ステップＳ５８）。一方、ステップＳ５７の判定結果が否定である場合、種有無判別部３４ｅは、検査用干し柿に種がない、と判別する（ステップＳ５９）。
最後に、結果出力部３６は、ステップＳ５８，Ｓ５９における判別結果を、ディスプレイ１９、プリンタ２４に出力させる（ステップＳ６０）。判別結果とともに、判別に用いられた検査用透過光画像あるいは検査方法で算出された情報が出力されてもよい。

以上のように、本実施形態は、「疑種」のＨＳＤを既知事例として予め記憶し、疑第１領域を抽出して、疑第１領域の幾何学形状の特徴量を算出するので、この特徴量を用いて食用果実の内部を精度良く検査することができる。
また、本実施形態は、「種」に該当する第１領域、「蔕」に該当する第２領域、および「果肉」に該当する第３領域のいずれにも属しない残存領域を残存部位とし、この残存部位に該当する残存領域の各画素について交差検定を行う。このため、本実施形態は、「種」の候補となる「疑種」を確実に既知事例として得ることができる。
本実施形態は、残存領域の各画素の画素値の組について、「種」、「蔕」、および「果肉」の既知事例との間で類似度を算出するので、各画素の部位の推定を定量的に精度良く行うことができる。
検査用透過光画像の各画素の画素値の組と、既知事例との間で類似度を算出し、算出した類似度に基づいて部位を推定するとき得られる確信度に基づいて、第１領域、第２領域および疑第１領域を抽出する。このため、検査用透過光画像の各画素の部位の推定を定量的に精度良く行うことができる。
また、疑第１領域が、「種」に該当するか否かを判定するとき、本実施形態は、「蔕」に該当する第２領域の中心点と、疑第１領域の、中心点から遠い外側外周部分との間の距離を算出することによって疑第１領域の幾何学形状の特徴量を算出する。このため、特徴量が「種」の条件を満たすか否かを判定することができ、種の有無を精度良く判別することができる。
さらに、本実施形態は、疑第１領域および第１領域の合計の面積が、予め設定された面積比較用閾値を超えるか否かを判定する。このため、種の有無の判別結果の誤りはより少なくなる。

上記実施形態及び変形例は、以下に示す内容を開示する。

（付記１）
食用果実の内部を検査する食用果実検査装置が行う検査方法であって、
前記食用果実検査装置は、参照用食用果実の内部構造における複数の部位のそれぞれと、参照用食用果実の透過光を所定の波長帯域で受光した参照用透過光画像の画素値の組との間で対応付けを行うことによって、前記内部構造における第１部位、第２部位、および前記第１部位の候補となる疑第１部位の画素値の組を少なくとも既知事例として予め記憶し、
食用果実の内部を検査するとき、前記食用果実検査装置は、
検査用食用果実の透過光を前記波長帯域で受光して得られる検査用透過光画像を取得し、
取得された前記検査用透過光画像と記憶されている前記既知事例とを用いて、前記透過光画像内で、前記第１部位として識別される第１領域、前記第２部位として識別される第２領域、および、前記第２領域の周りに位置し、前記疑第１部位として識別される領域を含む疑第１領域を抽出することにより、前記内部構造を推定し、
前記疑第１領域の、前記第２領域に対する幾何学形状の特徴量を算出し、算出した前記特徴量が前記第１部位の条件を満たすか否かを判定して、検査用食用果実に前記第１部位が存在するか否かを判別する、ことを特徴とする食用果実の検査方法。

（付記２）
前記既知事例は、前記第１部位の画素値の組、前記第２部位の画素値の組、前記第１部位および前記第２部位に対して前記波長帯域の画素値によって識別される第３領域の画素値の組、および前記疑第１部位の画素値の組を含み、
前記食用果実検査装置は、前記参照用透過光画像から前記既知事例を作成するとき、前記参照用透過光画像の中から、前記第１部位に該当する第１領域、前記第２部位に該当する第２領域、および前記第３部位に該当する第３領域を抽出し、
さらに、前記第１領域、前記第２領域、および前記第３領域のいずれにも属しない残存領域を残存部位として、前記残存部位に該当する前記残存領域の各画素について、当該各画素を除いた前記残存領域の他の画素、前記第１領域に属する画素、前記第２領域に属する画素、および前記第３領域に属する画素を既知の部位の画素として用いて交差検定を行うことにより、前記残存領域の各画素の部位を推定し、推定時に得られる推定の確信度が閾値より低く、前記第２領域の周りに位置する前記残存領域の画素を見出し、当該見出した画素における画素値の組を前記疑第１部位の既知事例として求めて記憶する、付記1に記載の検査方法。

（付記３）
前記残存領域の各画素の部位の推定は、前記残存領域の各画素の画素値の組について、前記第１部位、前記第２部位、および前記第３部位のそれぞれの既知事例との間で第１類似度を算出することにより行う、付記２に記載の検査方法。

（付記４）
前記第１類似度は、類似するか否かを調べる２つの画素値の組の間で、対応する画素値同士の差分を規格化した値を用いて算出する、付記３に記載の検査方法。

（付記５）
前記検査用透過光画像の各画素の画素値の組と、前記既知事例それぞれとの間で第２類似度を算出し、算出した前記第２類似度に基づいて部位を推定するとき得られる第２確信度に基づいて、前記第１領域、前記第２領域および前記疑第１領域を抽出する、付記１〜４のいずれか１項に記載の検査方法。

（付記６）
前記第２類似度は、類似するか否かを調べる２つの画素値の組の間で、対応する画素値同士の差分を規格化した値を用いて算出する、付記５に記載の検査方法。

（付記７）
前記特徴量は、前記第２領域の中心点と、前記疑第１領域の前記中心点からみて外側の外周部分との間の距離を算出することにより得られる値である、付記１〜６のいずれか１項に記載の検査方法。

（付記８）
前記特徴量は、前記外周部分における前記距離の平均値および標準偏差である、付記７に記載の検査方法。

（付記１０）
前記疑第１領域の前記特徴量が、前記第１部位の条件を満たす場合、さらに、前記疑第１領域および前記第１領域の合計の面積が、予め設定された閾値を超えるか否かを判定する、付記１〜８のいずれか１項に記載の検査方法。

（付記１０）
食用果実の内部の検査を、コンピュータに実行させる検査プログラムであって、
参照用食用果実の内部構造における複数の部位のそれぞれと、参照用食用果実の透過光を所定の波長帯域で受光した参照用透過光画像の画素値の組との間で対応付けを行うことによって、前記内部構造における第１部位、第２部位、および前記第１部位の候補となる疑第１部位の画素値の組を少なくとも既知事例としてコンピュータの記憶手段は予め記憶させ、
食用果実の内部を検査するとき、
検査用食用果実の透過光を前記波長帯域で受光して得られる検査用透過光画像を取得し、
取得された前記検査用透過光画像と記憶されている前記既知事例とを用いて、前記透過光画像内で、前記第１部位として識別される第１領域、前記第２部位として識別される第２領域、および、前記第２領域の周りに位置し、前記疑第１部位として識別される領域を含む疑第１領域を抽出することにより、前記内部構造を推定し、
前記疑第１領域の、前記第２領域に対する幾何学形状の特徴量を算出し、算出した前記特徴量が前記第１部位の条件を満たすか否かを判定して、検査用食用果実に前記第１部位が存在するか否かを判別する、処理をコンピュータに実行させることを特徴とする検査プログラム。

（付記１１）
食用果実の内部を検査する食用果実の検査装置であって、
参照用食用果実の内部構造における複数の部位のそれぞれと、参照用食用果実の透過光を所定の波長帯域で受光した参照用透過光画像の画素値の組との間で対応付けを行うことによって、前記内部構造における第１部位、第２部位、および前記第１部位の候補となる疑第１部位の画素値の組を少なくとも既知事例として予め記憶する記憶部と、
検査用食用果実の透過光を前記波長帯域で受光して得られる検査用透過光画像を取得し、取得された前記検査用透過光画像と記憶されている前記既知事例とを用いて、前記透過光画像内で、前記第１部位として識別される第１領域、前記第２部位として識別される第２領域、および、前記第２領域の周りに位置し、前記疑第１部位として識別される領域を含む疑第１領域を抽出することにより、前記内部構造を推定する推定部と、
前記疑第１領域の、前記第２領域に対する幾何学形状の特徴量を算出し、算出した前記特徴量が前記第１部位の条件を満たすか否かを判定して、検査用食用果実に前記第１部位が存在するか否かを判別する判別部と、とを有することを特徴とする食用果実の検査装置。

以上、本発明の食用果実の検査方法、検査装置およびプログラムについて詳細に説明したが、本発明は上記実施形態に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良や変更をしてもよいのはもちろんである。

１０ 検査装置
１２ ＣＰＵ
１４ ＲＯＭ
１６ ＲＡＭ
１８ ハードディスクドライブ装置
１９ ディスプレイ
２０ キーボード
２２ マウス
２４ プリンタ
２５ インターフェース
２６ バス
２８ カメラ
３０ クラス付与部
３２ 推定部
３４ 判別部
３４ａ 蔕外周ＨＳＤ抽出部
３４ｂ 疑種外周ＨＳＤ抽出部
３４ｃ 距離算出部
３４ｄ 結果付与部
３４ｅ 種有無判別部
３６ 結果出力部

Claims (8)

1. 食用果実の内部を検査する食用果実検査装置が行う検査方法であって、
   前記食用果実検査装置は、参照用食用果実の内部構造における複数の部位のそれぞれと、参照用食用果実の透過光を所定の波長帯域で受光した参照用透過光画像の画素値の組との間で対応付けを行うことによって、前記内部構造における第１部位、第２部位、および前記第１部位の候補となる疑第１部位の画素値の組を少なくとも既知事例として予め記憶し、
   食用果実の内部を検査するとき、前記食用果実検査装置は、
   検査用食用果実の透過光を前記波長帯域で受光して得られる検査用透過光画像を取得し、
   取得された前記検査用透過光画像と記憶されている前記既知事例とを用いて、前記透過光画像内で、前記第１部位として識別される第１領域、前記第２部位として識別される第２領域、および、前記第２領域の周りに位置し、前記疑第１部位として識別される領域を含む疑第１領域を抽出することにより、前記内部構造を推定し、
   前記疑第１領域の、前記第２領域に対する幾何学形状の特徴量を算出し、算出した前記特徴量が前記第１部位の条件を満たすか否かを判定して、検査用食用果実に前記第１部位が存在するか否かを判別する、ことを特徴とする食用果実の検査方法。
2. 前記既知事例は、前記第１部位の画素値の組、前記第２部位の画素値の組、前記第１部位および前記第２部位に対して前記波長帯域の画素値によって識別される第３領域の画素値の組、および前記疑第１部位の画素値の組を含み、
   前記食用果実検査装置は、前記参照用透過光画像から前記既知事例を作成するとき、前記参照用透過光画像の中から、前記第１部位に該当する第１領域、前記第２部位に該当する第２領域、および前記第３部位に該当する第３領域を抽出し、
   さらに、前記第１領域、前記第２領域、および前記第３領域のいずれにも属しない残存領域を残存部位として、前記残存部位に該当する前記残存領域の各画素について、当該各画素を除いた前記残存領域の他の画素、前記第１領域に属する画素、前記第２領域に属する画素、および前記第３領域に属する画素を既知の部位の画素として用いて交差検定を行うことにより、前記残存領域の各画素の部位を推定し、推定時に得られる推定の確信度が閾値より低く、前記第２領域の周りに位置する前記残存領域の画素を見出し、当該見出した画素における画素値の組を前記疑第１部位の既知事例として求めて記憶する、請求項1に記載の検査方法。
3. 前記残存領域の各画素の部位の推定は、前記残存領域の各画素の画素値の組について、前記第１部位、前記第２部位、および前記第３部位のそれぞれの既知事例との間で第１類似度を算出することにより行う、請求項２に記載の検査方法。
4. 前記検査用透過光画像の各画素の画素値の組と、前記既知事例それぞれとの間で第２類似度を算出し、算出した前記第２類似度に基づいて部位を推定するとき得られる第２確信度に基づいて、前記第１領域、前記第２領域および前記疑第１領域を抽出する、請求項１〜３のいずれか１項に記載の検査方法。
5. 前記特徴量は、前記第２領域の中心点と、前記疑第１領域の前記中心点からみて外側の外周部分との間の距離を算出することにより得られる値である、請求項１〜４のいずれか１項に記載の検査方法。
6. 前記疑第１領域の前記特徴量が、前記第１部位の条件を満たす場合、さらに、前記疑第１領域および前記第１領域の合計の面積が、予め設定された閾値を超えるか否かを判定する、請求項１〜５のいずれか１項に記載の検査方法。
7. 食用果実の内部の検査を、コンピュータに実行させる検査プログラムであって、
   参照用食用果実の内部構造における複数の部位のそれぞれと、参照用食用果実の透過光を所定の波長帯域で受光した参照用透過光画像の画素値の組との間で対応付けを行うことによって、前記内部構造における第１部位、第２部位、および前記第１部位の候補となる疑第１部位の画素値の組を少なくとも既知事例としてコンピュータの記憶手段に予め記憶させ、
   食用果実の内部を検査するとき、
   検査用食用果実の透過光を前記波長帯域で受光して得られる検査用透過光画像を取得し、
   取得された前記検査用透過光画像と記憶されている前記既知事例とを用いて、前記透過光画像内で、前記第１部位として識別される第１領域、前記第２部位として識別される第２領域、および、前記第２領域の周りに位置し、前記疑第１部位として識別される領域を含む疑第１領域を抽出することにより、前記内部構造を推定し、
   前記疑第１領域の、前記第２領域に対する幾何学形状の特徴量を算出し、算出した前記特徴量が前記第１部位の条件を満たすか否かを判定して、検査用食用果実に前記第１部位が存在するか否かを判別する、処理をコンピュータに実行させることを特徴とする検査プログラム。
8. 食用果実の内部を検査する食用果実の検査装置であって、
   参照用食用果実の内部構造における複数の部位のそれぞれと、参照用食用果実の透過光を所定の波長帯域で受光した参照用透過光画像の画素値の組との間で対応付けを行うことによって、前記内部構造における第１部位、第２部位、および前記第１部位の候補となる疑第１部位の画素値の組を少なくとも既知事例として予め記憶する記憶部と、
   検査用食用果実の透過光を前記波長帯域で受光して得られる検査用透過光画像を取得し、取得された前記検査用透過光画像と記憶されている前記既知事例とを用いて、前記透過光画像内で、前記第１部位として識別される第１領域、前記第２部位として識別される第２領域、および、前記第２領域の周りに位置し、前記疑第１部位として識別される領域を含む疑第１領域を抽出することにより、前記内部構造を推定する推定部と、
   前記疑第１領域の、前記第２領域に対する幾何学形状の特徴量を算出し、算出した前記特徴量が前記第１部位の条件を満たすか否かを判定して、検査用食用果実に前記第１部位が存在するか否かを判別する判別部と、とを有することを特徴とする食用果実の検査装置。