JP7405412B2 - 三次元計測システム、三次元計測装置、三次元計測方法、及び三次元計測プログラム - Google Patents

Description

本発明は、三次元計測システム、三次元計測装置、三次元計測方法、及び三次元計測プログラムに関する。

家畜を屠畜後に整形して食品とした枝肉は、国や地域で統一された基準、あるいは、企業独自の基準に基づいて、格付される。枝肉の格付は、出荷された家畜の適正な価格形成と生産者保護に重要な役割を果たしている。枝肉の格付は、主に目視評価により行われているが、より精度の高い格付への要求から、枝肉の形質を数値化する技術の開発が期待されている。

枝肉の格付のために、枝肉の形質を計測して数値化する方法が従来技術として知られている。特許文献１には、枝肉に接触子を接触させて枝肉の外形を計測する技術が記載されている。また、非特許文献１には、等高線法により、枝肉に等高線を投影して枝肉の形質を計測する技術が記載されている。さらに、非特許文献２には、単眼視法により、一定方向から枝肉を撮像した画像に基づいて枝肉の形質を計測する技術が記載されている。さらに、３Ｄスキャナにより得られる三次元データを、枝肉の評価に利用する試みもある。

三次元データは、枝肉の評価への利用は報告されてはいないが、例えば測量分野では写真計測等の手法が既に利用されており、立体物の計測に非常に有用である。この写真計測を応用した技術として、複数のカメラで撮像して得られた静止画像データに基づいて立体物の三次元データを生成する特許文献２に記載された技術が知られている。

また、特許文献３には、枝肉の移動空間の側方に配置されたカメラで撮像した画像に基づいて、屠体の三次元データを計測することが記載されている。

再公表特許２０１６／００２６３０（２０１６年１月７日公開） 再公表特許２０１５／１０８０７１（２０１５年７月２３日公開） ＷＯ２０１８／１６７０８９（２０１８年９月２０日公開）

Ｃｒａｉｇｉｅ ｅｔ ａｌ．，Ｍｅａｔ Ｓｃｉｅｎｃｅ，９２（４），３０７－３１８，２０１２ Ｌｏｒｅｎｚｏ ｅｔ ａｌ．，Ａｎｉｍａｌ，１２（１），１７４－１８２，２０１８

しかしながら、特許文献１に記載された技術では、装置を枝肉に接触させるため接触部を常に清潔に保つ衛生管理が必要であり、また、装置を接触させることができない部分は計測できないという問題がある。また、非特許文献１に記載された技術では、常に生産ラインを進んでいる枝肉を計測のために制止させなければならず生産性の低下を招き、また、等高線が映し出された面のみが計測可能であり、斉一に評価するために枝肉を常に一定方向から撮像する必要があるという問題がある。さらに、非特許文献２に記載された技術では、カメラに正対する面のみが計測可能であり、斉一に評価するために枝肉を常に一定方向から撮像する必要がある上に、枝肉の肋張り（腹腔の形状、ロースの太さと関係）のような凹凸は評価できず、断面積や体積は求められない。

また、特許文献２に記載された技術では、被写体を、複数のカメラが固定された支持体に囲まれた中央部分に配置して撮像する必要があり、生産ラインに干渉することなく枝肉を撮像することは困難である。

さらに、特許文献３に記載された技術では、枝肉の移動空間の側方から撮影しているため、枝肉の内側の窪み部分がカメラの死角となる。したがって特許文献３に記載された技術では、この死角部分の３Ｄデータを枝肉の重量や吊り下げ時の重心に基づき補完する必要があるため煩雑であると共に、３Ｄデータの信頼性に疑問がある。

本発明の一態様は、生産ラインを進んでいる枝肉を制止させることなく、枝肉の形質を数値化することが可能なシステムを実現することを目的とする。

上記の課題を解決するために、本発明は、例えば、以下に示す態様に係る発明を提供する。
１）吊り下げられた状態で所定の方向に移動する対象物の三次元データを計測する三次元計測システムであって、前記対象物の移動空間の上側及び下側の少なくとも一方であって、側方ではない位置において、当該対象物を撮像するカメラと、前記カメラが撮像した画像に基づいて、前記対象物の三次元データを計測する三次元計測部とを備え、前記対象物は、食肉であり、前記食肉は、枝肉又は部分肉であり、前記対象物は、吊り下げ具を介して接続されたレールに沿って搬送中である三次元計測システム。
２）前記カメラとは異なる方向から前記対象物を撮像する他のカメラを少なくとも１つ備えている、１）の三次元計測システム。
３）前記カメラは、前記対象物の上側及び下側の両方に設けられている、１）又は２）の三次元計測システム。
４）前記カメラは、前記対象物の動線と交差する鉛直軸を中心軸として略同心円状に複数設けられている、１）～３）のいずれかの三次元計測システム。
５）前記対象物の移動空間外であって、前記対象物の移動空間の側方に、前記対象物を撮像するカメラをさらに備えている、１）～４）のいずれかの三次元計測システム。
６）前記対象物は、所定の方向に水平移動する、１）～５）のいずれかの三次元計測システム。
７）前記対象物が前記カメラの撮像領域内に侵入したことが検出された場合に、複数の前記カメラに対して、撮像を指示する撮像指示信号を送信する撮像指示部をさらに備えている、２）～５）のいずれかの三次元計測システム。
８）前記対象物は、枝肉を背割り（屠体の正中線に沿って左右に分割）した半丸を、それらの窪んだ部分が互いに対向するように共に吊り下げたものである、１）から７）のいずれかの三次元計測システム。
９）前記三次元計測部は、計測した前記三次元データを参照して、前記対象物の体積及び断面積の少なくとも一方を計測する、１）から８）のいずれかの三次元計測システム。
１０）吊り下げられた状態で所定の方向に移動する対象物の移動空間の上側及び下側の少なくとも一方であって、側方ではない位置において、当該対象物を撮像する撮像ステップと、前記撮像ステップにおいて撮像した画像に基づいて、前記対象物の三次元データを計測する三次元計測ステップとを含み、前記対象物は、食肉であり、前記食肉は、枝肉又は部分肉であり、前記対象物は、吊り下げ具を介して接続されたレールに沿って搬送中である三次元計測方法。
１１）吊り下げられた状態で所定の方向に移動する対象物の移動空間の上側及び下側の少なくとも一方であって、側方ではない位置において、前記対象物を撮像した画像に基づいて、前記対象物の三次元データを計測する三次元計測部を備え、前記対象物は、食肉であり、前記食肉は、枝肉又は部分肉であり、前記対象物は、吊り下げ具を介して接続されたレールに沿って搬送中である三次元計測装置。
１２）１１）に記載された三次元計測装置としてコンピュータを機能させるための三次元計測プログラムであって、前記三次元計測部として、コンピュータを機能させるための三次元計測プログラム。

本発明の一態様によれば、吊り下げられた状態で移動している対象物の三次元データを計測することができる。

本発明の一実施形態に係る三次元計測システムの構成要素を示すブロック図である。 本発明の一実施形態に係る三次元計測システムの概要を示す図である。 本発明の一実施形態に係る三次元計測システムの概要を示す他の図である。 枝肉の三次元データと、カメラの配置とを示す図である。 実施例１において枝肉を三次元計測した結果を示す図である。 実施例１において枝肉を三次元計測した他の結果を示す図である。 実施例１において枝肉を三次元計測したさらに他の結果と、その数値を示す図である。 実施例１において正常な枝肉と奇形のある枝肉との形態の違いを示す図である。 実施例１において枝肉の一部を三次元計測した結果を示す図である。 実施例２のカメラの配置を示す図である。 実施例２において枝肉を三次元計測した結果を示す図である。 実施例２において三次元計測した枝肉の断面形状、断面積及び周囲長を示す図である。

以下、本発明の一実施形態について、詳細に説明する。本発明の一実施形態に係る三次元計測システム１００は、三次元計測部１３とカメラ２０とを備えている。三次元計測システム１００は、吊り下げられた状態で所定の方向に移動する対象物の三次元データを計測するものである。カメラ２０は、対象物の移動空間外であって、対象物の移動空間の上側及び下側の少なくとも一方において、当該対象物を撮像する。三次元計測部１３は、カメラ２０が撮像した画像に基づいて、対象物の三次元データを計測する。図１に示すように、三次元計測システム１００において、三次元計測部１３は、三次元計測装置１０に含まれている。図１は、本発明の一実施形態に係る三次元計測システム１００の構成要素を示すブロック図である。

三次元計測システム１００は、このような構成により、吊り下げられた状態で移動している対象物の三次元データを計測することができる。三次元計測システム１００によれば、３Ｄスキャナ、ＭＲＩ、ＣＴ等のように、対象物を長時間静止させる必要がない。また、三次元計測システム１００によれば、ＭＲＩやＣＴのように高価な装置は必要なく、対象物の大きさにも制約がない。

（対象物）
三次元計測システム１００により三次元データを計測する、吊り下げられた状態で移動している対象物は、対象物の一端が支持され、他端が支持されていない状態で移動している対象物が意図される。このような対象物の例として、対象物の一端が吊り下げ具により支持され、他端が中に浮いているような状態で搬送されている対象物が意図される。

三次元計測システム１００により三次元データを計測する対象物は、予め定められた所定の方向に移動する。対象物の移動には、水平移動、斜め上方移動、斜め下方移動、鉛直上下移動が含まれる。また、対象物は、その鉛直軸を中心に回転してもよい。

三次元計測システム１００により三次元データを計測する対象物は、食肉であってもよい。食肉の例として、家畜を屠畜した後に、屠体を整形して食品とした枝肉又は部分肉が挙げられる。家畜の種類は特に限定されないが、例えば、牛、豚、めん羊、山羊、馬、鶏等が挙げられ、特に牛及び豚である。三次元計測システム１００は、枝肉のように表面形状が複雑な対象物であっても、精度よく三次元データを計測することができる。

また、枝肉は、食肉センター等において生産ラインを手動又は自動で移動させながら整形、分割又は出荷準備されるものである。生産ラインにおいて、枝肉は、高速で水平移動するような場合もある。対象物が枝肉である場合、その移動速度は、通常、０．１ｍ／秒以上、３ｍ／秒以下であり得る。三次元計測システム１００は、移動している対象物の三次元データを計測するので、枝肉のように生産ラインを進む対象物であっても、生産性を低下させずに三次元データを計測することができる。

また、三次元計測システム１００により三次元データを計測する対象物は、吊り下げ具を介して接続されたレールに沿って搬送されていてもよい。レールに沿った対象物の搬送は、手動であっても自動であってもよい。対象物を手動で搬送する場合、例えば、レールから吊り下げられた対象物を、人の手で押し出す。対象物を自動で搬送する場合、例えば、対象物を懸垂式コンベアにより搬送する。

三次元計測システム１００は、図２に示すように、吊り下げ具２３に吊り下げられた枝肉２１を、レール２２に沿って搬送しながら、三次元データを計測することができる。図２は、本発明の一実施形態に係る三次元計測システムの概要を示す図である。吊り下げ具２３に吊り下げられた枝肉２１は、吊り下げ具２３との接点を中心としてその体軸周りに自由回転するように吊り下げられている。また、枝肉２１を吊り下げ具２３に引っ掛けるためにハンガー２４を使用し、その腕部分が回転するようになっている場合には、枝肉２１を背割り（屠体の正中線に沿って左右に分割）した左右の半丸が独立して回転可能である。なお、図２に示すように、吊り下げ具２３には、枝肉２１の半丸２本を吊り下げてもよいし、例えば牛のように半丸１本の重量が大きい場合には、半丸１本のみを吊り下げてもよい。

（カメラ）
カメラ２０は、吊り下げられた状態で所定の方向に移動する対象物の移動空間の上側及び下側の少なくとも一方において、対象物の移動空間外に設けられ、対象物を撮像する（撮像ステップ）。カメラ２０は、ステレオカメラであってもよい。カメラ２０は、撮像した画像を三次元計測装置１０に送信する。ここで、カメラ２０が撮像し、三次元計測装置１０に送信する画像は、静止画像である。

三次元計測システム１００において、カメラ２０は、複数設けられ、互いに異なる方向から対象物を撮像するようになっていてもよい。カメラ２０の台数は特に限定されないが、例えば３０台以上設けられていることによって、より精度よく三次元データを計測することができる。本実施形態においては、以下、カメラ２０を複数備える構成を例として説明する。

カメラ２０は、三次元計測装置１０の撮像指示部１１から撮像を指示する撮像指示信号を受信して撮像を実行する。複数のカメラ２０による撮像は、互いに略同時に実行される。すなわち、複数のカメラ２０のそれぞれは、互いに略同時に撮像指示信号を受信する。複数のカメラ２０の全てが、互いに略同時に撮像を実行することで、略同時に撮像された画像が得られる。ここで、「略同時」とは、同時のみならず、同時からわずかにずれた一定時間内も含むことを意図している。すなわち、同時に撮像することがより好ましいが、全てのカメラ２０が同じ状態の枝肉２１を撮像できるように、全てのカメラ２０が一定時間内に撮像を行えればよい。カメラ２０は、撮像した画像データを画像取得部１２に送信する。

カメラ２０は、図２に示すように、吊り下げ具２３に吊り下げられた状態でレール２２に沿って搬送されている枝肉２１の上側に２つ設けられている。枝肉２１は、矢印に示す方向、すなわちＸ方向にレール２２に沿って搬送されている。カメラ２０は、レール２２よりも上側に設けられているので、枝肉２１の移動空間外であり、枝肉２１の移動を妨げない。すなわち、カメラ２０は、対象物あるいは対象物を吊り下げて搬送する搬送手段よりも上側に設けられていることが好ましい。カメラ２０は、例えば、枝肉２１の上端から斜め上（鉛直方向に０～２００ｃｍ、水平方向に５０～２００ｃｍ離れた位置）に設けてもよい。

カメラ２０は、枝肉２１の上側ではなく、下側にのみ複数設けられていてもよい。この場合、カメラ２０は枝肉２１の下端よりも下側に設けられていることで、枝肉２１の移動空間外であり、枝肉２１の移動を妨げない。カメラ２０は、枝肉２１の下端から斜め下（鉛直方向に０～１００ｃｍ、水平方向に５０～２００ｃｍ離れた位置）に設けてもよい。

カメラ２０は、枝肉２１の上側及び下側の両方に、それぞれ複数設けられていてもよい。
枝肉２１の上側及び下側の両方から、枝肉２１を撮像することによって、枝肉２１全体を網羅する三次元データを計測することができる。また、カメラ２０は、枝肉２１の上側及び下側の少なくとも一方に環状に設けられてもよい。これにより、枝肉２１の移動を邪魔することなく、枝肉２１がどのような向きであっても、三次元計測が可能である。

カメラ２０は、複雑な表面形状を有する枝肉２１の表面全体を網羅して撮像するために、互いに異なる方向から枝肉を撮像するように設けられている。カメラ２０は、枝肉２１を挟んで対向する位置に設けられていることが好ましい。

カメラ２０は、生産ライン周囲の限られた空間に設置可能とするために、また、少ない台数で凹凸のある枝肉の全体や広い範囲を被写界深度深く撮像できるように、広角レンズを用いて撮像するものであることが好ましい。さらに、カメラ２０は、精度の高い三次元データを計測するために、ピクセルサイズの大きいデジタルカメラであることが好ましく、加えて、カメラ２０を複数設ける場合には、それぞれ同じ焦点距離を持つ等価なセットアップのカメラであることが好ましい。

三次元計測システム１００は、図３に示すように、枝肉２１の移動空間外であって、枝肉２１の移動空間の側方に、枝肉を撮像するカメラ２０ｂを備えていてもよい。図３は、本発明の一実施形態に係る三次元計測システムの概要を示す他の図である。図３は、枝肉２１の進行方向であるＸ方向から、枝肉２１を見た図である。図３において、三次元計測システム１００には、枝肉２１の上側に複数のカメラ２０ａが、枝肉２１の下側に複数のカメラ２０ｃが、枝肉２１の側方に複数のカメラ２０ｂが、それぞれ設けられている。このように、枝肉２１の上側及び下側の少なくとも一方だけでなく、枝肉２１の側方にもカメラ２０ｂが設けられていることによって、より精度よく三次元データを計測することができる。

カメラは、図４に示すように、枝肉２１の動線と交差する鉛直軸を中心軸として略同心円状に複数設けられていてもよい。図４は、枝肉の三次元データと、カメラ２０の配置とを示す図である。図４に示すように、カメラ２０ａ及びカメラ２０ｃは、領域Ａで示す枝肉２１の移動空間の外に設けられている。

また、図４において、三次元計測システム１００は、枝肉２１の上側に設けられた複数のカメラ２０ａと、枝肉２１の下側に設けられた複数のカメラ２０ｃとを備えている。カメラ２０ａ及びカメラ２０ｃは、それぞれ、枝肉２１の動線と交差する鉛直軸を中心軸Ａとして略同心円状に複数設けられている。

カメラ２０ａ及びカメラ２０ｃは、それぞれ、同心円状に等間隔で設けられていてもよい。すなわち、円の中心から同じ角度（例えばｎ個のカメラを設ける場合は３６０／ｎ度）を置いて配置されてもよい。これにより、枝肉２１を概ね３６０度方向から網羅して撮像した画像が得られるので、欠損のない三次元データを得ることができ、体積や断面積等の計測に利用可能である。

なお、枝肉２１の動線とは、枝肉２１の重心の軌跡を意図している。「略同心円」とは、同心円だけでなく、同心円からわずかにずれた位置も含むことを意図している。複数のカメラ２０ａ又はカメラ２０ｃは、複数のカメラ２０ａ又はカメラ２０ｃにより囲まれた領域の内側に中心軸Ａが位置するように設けられていてもよい。

（三次元計測装置）
三次元計測装置１０は、吊り下げられた状態で所定の方向に移動する対象物の、移動空間の上側及び下側の少なくとも一方において、当該対象物を撮像した画像に基づいて、前記対象物の三次元データを計測する三次元計測部１３を備えている。三次元計測装置１０は、さらに、撮像指示部１１と、画像取得部１２と、操作部１４と、記憶部１５と、表示部１７とを含む。三次元計測装置１０は、三次元計測システム１００に備えられている。撮像指示部１１、画像取得部１２、及び三次元計測部１３は、三次元計測装置１０の制御部１６の一構成として実現される。
なお、三次元計測システム１００において、画像取得部１２、記憶部１５及び三次元計測部１３を、三次元計測装置１０内ではなく、クラウドサーバ等の外部装置に備え、インターネットを含む広域通信ネットワークを介して三次元計測装置１０の他の構成要素と互いに通信可能に接続されてもよい。

＜撮像指示部＞
撮像指示部１１は、操作者が操作部１４に対して撮像を指示する操作を入力した場合に、複数のカメラ２０の全てに対して、撮像を指示する撮像指示信号を送信する。撮像指示部１１は、撮像指示信号を任意の通信手段を用いて送信してもよく、例えば、無線通信又は赤外線通信で送信する。撮像指示部１１は、複数のカメラ２０の全てに対して同時に撮像指示信号を送信する。これにより、複数のカメラ２０の全てに、互いに略同時に撮像を実行させる。

撮像指示部１１は、また、対象物が撮像領域内に侵入する直前又は撮像領域内に設けられたセンサ（図示せず）が対象物の通過を検出した場合に送信する検出信号を受信し、対象物がカメラ２０の撮像領域内に侵入したことが検出された場合に、複数のカメラ２０の全てに対して、撮像を指示する撮像指示信号を送信するようになっていてもよい。

＜画像取得部＞
画像取得部１２は、複数のカメラ２０が撮像した画像データを取得する。画像取得部１２は、複数のカメラ２０からの画像データを任意の通信手段を用いて取得してもよく、例えば、無線通信又は有線通信により画像データを受信する。画像取得部１２は、取得した画像データを三次元計測部１３に送信する。また、画像取得部１２は、取得した画像データを記憶部１５にも送信してもよい。

＜三次元計測部＞
三次元計測部１３は、画像取得部１２から受信した画像データに基づいて、三次元データを計測する（三次元計測ステップ）。三次元計測部１３は、ステレオ法、ＳＦＭ（Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ）法等を用いて三次元データを計測するが、これらに限定されず、他の計測法により三次元データを計測してもよい。

ステレオ法は、異なる方向から撮像した複数の画像を用いて、三角測量の原理により対象物の三次元データを計測するものである。ＳＦＭ法は、異なる方向から撮像した複数の画像から抽出した同じ特徴点について、画像間の対応関係により対象物の三次元データを計測するものである。三次元計測部１３が計測する三次元データには、対象物の三次元座標データと共に、対象物の色やテクスチャ等の情報のテキストデータや画像データが含まれていてもよい。

三次元計測部１３は、互いに異なる方向を撮像する複数のカメラ２０により略同時に撮像された画像データに基づいて三次元データを計測するので、吊り下げ状態で移動する対象物のように、平行移動に加えて回転移動もする対象物であっても、好適に三次元データを計測することができる。

三次元計測部１３は、計測した三次元データを表示部１７に送信する。三次元計測部１３は、計測した三次元データを記憶部１５にも送信してもよい。

三次元計測部１３が計測した三次元データは、枝肉を格付するための枝肉の評価に用いることができる。従来、枝肉の格付は目視評価により行われており、その方法が確立している上に、非常に複雑な格付項目を含んでいる。一方で、より精度が高く斉一な格付が可能になれば有用である。三次元計測システム１００によれば、枝肉の三次元データを計測することによって、枝肉の形質を数値化することが可能であり、これに基づき枝肉を格付することで、精度が高く斉一な格付を実現することができる。したがって、計測した枝肉の三次元データに基づく枝肉の格付方法又は評価方法についても本発明の範疇に含まれる。

三次元計測システム１００によれば、枝肉の三次元データを計測することによって、表面の特性（形態、色、テクスチャ等）や、表面から定義付けられる任意の形質（全体の又は部分的な体積、断面積等）についても、評価することができる。また、三次元計測システム１００によれば、枝肉の体軸周りの方向を揃えなくても斉一に評価することができるので、背割りの失敗や奇形等により方向を揃えることが困難な枝肉であっても好適に評価することができる。さらに、三次元計測システム１００によれば、枝肉の表面上の凹凸形状についても計測することが可能であり、複雑な表面形状であっても好適に三次元データを計測することができるので、枝肉の肋張りや、枝肉の各部位の構成である均称についても評価することができる。

また、三次元計測システム１００によれば、これまで、枝肉に触れて又は切開することにより接触又は侵襲的に評価していた枝肉の厚みを、非接触及び非侵襲的に評価することができる。三次元計測システム１００は、枝肉に非接触であることにより、衛生管理上の問題が生じず、さらに、枝肉に計測用のターゲット等を付す必要もない。また、三次元計測システム１００は、枝肉の一部のみ、又は、枝肉を分割した部分肉についても評価することができる。

また、三次元計測システム１００によれば、三次元計測部１３が計測した三次元データに基づいて、三次元モデルを構築し、任意の方向から対象物を確認することもでき、任意の部分の長さ、体積、断面積等の情報を得ることもできる。また、三次元計測データをスケール校正及び色校正することで、より正確な三次元モデルを構築することができる。なお、得られた三次元モデルを、ＰＴＳファイル、ＯＢＪファイル、ＰＤＦファイル、又はＪＰＥＧファイル等として出力し、これらのファイルを枝肉の品質評価や製品情報としてネットオークション等に利用することもできる。

さらに、三次元計測システム１００により三次元データを計測する対象物は、枝肉２１の左右の半丸を、それらの窪んだ部分が互いに対向するように共に吊り下げたものであってもよい。ここで、半丸の窪んだ部分は、例えば、屠畜前の家畜において腹壁に囲まれた腹腔に対応する部分である。三次元計測システム１００においては、後述するように、カメラ２０が枝肉２１の移動空間の上側及び下側の少なくとも一方に設けられている。これにより、カメラの死角がないという、顕著な効果を奏する。

すなわち、三次元計測システム１００においては、枝肉２１の移動空間の上側又は下側から撮影することで、枝肉の内側の窪み部分もカメラ２０の死角とならず、撮影範囲に収めることができる。また、三次元計測システム１００においては、枝肉２本（例えば、枝肉の左右の半丸の両方）を一緒に吊り下げて移動させる場合でも、２本の枝肉に囲まれた内側部分も含めて撮影範囲に収めることができる。特に、豚肉の場合には、通常、２本の枝肉を一緒に吊り下げて移動させるため、三次元計測システム１００の有意性が顕著である。

一方、特許文献３に記載された従来の技術では、枝肉の移動空間の外側であっても、移動空間の側方のみから撮影しているため、枝肉の内側の窪み部分がカメラの死角となる。特許文献３に記載された技術では、この死角部分の３Ｄデータを枝肉の重量や吊り下げ時の重心に基づき補完しているため煩雑であると共に、３Ｄデータの信頼性に疑問がある。また、特許文献３に記載された技術では、枝肉２本を一緒に吊り下げて移動させる場合に、２本の枝肉に囲まれた内側部分を撮影範囲に収めることは困難である。

三次元計測システム１００では、上述したように、カメラの死角がないため、点群データやメッシュデータに抜けが生じず、正確な３Ｄモデルを生成することができる。したがって、本件発明では、正確な３Ｄデータに基づき枝肉の体積及び断面積を正確に算出することができる。また、三次元計測システム１００によれば、枝肉の移動空間の側方の空間が空いているため、枝肉の水平移動を邪魔せず、また吊り下げられた枝肉に人がアクセスしやすいという効果も奏する。

また、三次元計測部１３は、計測した三次元データを参照して、前記対象物の体積及び断面積の少なくとも一方を計測してもよい。三次元計測部１３は、対象物の移動空間の上側及び下側の少なくとも一方から対象物を撮像した画像データに基づいて三次元データを計測するので、適切な三次元データが得られる。すなわち、例えば、枝肉の内側の窪みや、２本の枝肉に囲まれた内側部分のように、特許文献３に記載されたような従来のカメラ位置では死角になるような部分であっても、撮像範囲に収められるので、画像データに抜けがない。したがって、抜けのない画像データに基づいて計測された三次元データを参照することで、三次元計測部１３は、対象物の体積及び断面積を正確に計測することができる。

＜操作部＞
操作部１４は、操作者からの撮像を指示する操作入力を受け付けた場合に、その操作入力を表す信号を制御部１６の撮像指示部１１に送信する。操作部１４は、キーボード、マウス、タッチパネル等であり得る。

＜記憶部＞
記憶部１５は、画像取得部１２が取得した画像データや、三次元計測部１３が計測した三次元データを記憶する。また、記憶部１５は、制御部１６が実行するプログラムを記憶する。記憶部１５は、例えば、ハードディスク、クラウドサーバ上のメモリ等であり得る。

＜表示部＞
表示部１７は、三次元計測部１３が計測した三次元データを表示する。三次元計測部１３が計測した三次元データに基づいて生成された三次元モデルを表示してもよい。表示部１７は、コンピュータのディスプレイ、スマートフォンやタブレット端末のディスプレイ等であり得る。

〔ソフトウェアによる実現例〕
三次元計測装置１０の制御ブロック（特に制御部１６に含まれる三次元計測部１３）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。

後者の場合、三次元計測装置１０は、各機能を実現するソフトウェアであるプログラム（三次元計測プログラム）の命令を実行するコンピュータを備えている。このコンピュータは、例えば１つ以上のプロセッサを備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばＣＰＵ（Central Processing Unit）を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ＲＯＭ（Read Only Memory）等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するＲＡＭ（Random Access Memory）などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して、例えば、該プログラムが記憶されたクラウドサーバから上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

〔実施例１〕
本発明の一実施例について以下に説明する。

天井から吊り下げた状態の枝肉を異なる方向から複数撮像した画像データを用いて、三次元データを計測した。

本実施例においては、枝肉を静止させた状態で複数の方向から枝肉を撮像することで、移動中の豚の枝肉を複数の方向から同時に撮像した場合と同条件とした。枝肉として、剥皮後に背割りした枝肉Ａ及びＢを用いた。枝肉Ａは、正常な枝肉であり、背腰長（第１胸椎前縁から最後腰椎後縁までの長さ）６６．７ｃｍ（実測値）、重量６９．５ｋｇであった。枝肉Ｂは、奇形のある枝肉であり、背腰長６５．1ｃｍ（実測値）、重量６１．０ｋｇであった。

撮像は、枝肉の吊り下げ位置から斜め上方（鉛直方向８０ｃｍ、水平方向２００ｃｍ）の１８箇所からと、枝肉の下端から斜め下方（鉛直方向５０ｃｍ、水平方向２００ｃｍ）の１９箇所からとの、全部で３７箇所において行った。カメラは、Ｏｌｙｍｐｕｓ社製のＯＭ－Ｄ Ｅ－Ｍ５ ＭａｒｋＩＩ（レンズＭ．ＺＵＩＫＯ ＤＩＧＩＴＡＬ ２５ｍｍ ｆ１．８）を用い、記録画素数３４５６×２５９２ｐｘで撮像した。

撮像した画像データをソフトウェアＺｅｐｈｙｒ Ｐｒｏ（３Ｄｆｌｏｗ社）を用いて、ＳＦＭ法により三次元モデル（点群データおよびテクスチャ付メッシュデータ）を生成した。枝肉に隣接させた１００ｃｍものさしによりスケール校正した。生成した三次元モデルを図５及び６に示す。図５に示すように、正常な枝肉について、肋張りのような表面の凹凸形状まで精度よく計測された。また、図６に示すように、奇形のある枝肉についても、正常な枝肉と同様に、精度よく計測された。枝肉形質の実測値と計測値との差を表１に示す。

また、上述したように生成した三次元モデルから、ソフトウェアＮｅｔｆａｂｂ（Ａｕｔｏｄｅｓｋ社）を用いて、図７に示すように、枝肉Ａの重心（図７中Ｐ）の座標、体積、断面積等、種々の形質が数値化された。

また、上述したように生成した三次元モデルから、オープンソースソフトウェアＣｌｏｕｄＣｏｍｐａｒｅ（開発者Ｄａｎｉｅｌ Ｇｉｒａｒｄｅａｕ－Ｍｏｎｔａｕｔ）を用いて、図８に示すように、枝肉の形態の違いを可視化した。図８は、枝肉Ａの三次元モデルと枝肉Ｂの三次元モデルとを二乗平均平方根が最小となるよう位置合わせして重ねて示した図である。色の薄い部分が、正常な枝肉Ａであり、色の濃い部分が、奇形のある枝肉Ｂである。

さらに、枝肉の下方の１９箇所から撮像した画像データのみを用いても、好適に三次元データが計測された。このように一部の画像データのみから計測した三次元データを用いて、図９に示すように、枝肉の一部のみを表す三次元モデルを生成することができた。

〔実施例２〕
本発明の他の実施例について以下に説明する。

天井に設置されたレールに沿って移動する、吊り下げた状態の枝肉を、その移動空間の下側における異なる方向から同時に複数撮像した画像データを用いて、三次元データを計測した。

本実施例においては、移動中（約０．５ｍ／秒）の豚の枝肉を、複数の方向から略同時に撮像した。シャッタースピードは１５ｍｓとした。枝肉として、剥皮後に背割りした枝肉Ｃを用いた。枝肉Ｃは、正常な枝肉であり、左右の半丸（正中線に沿って左右に分割した枝肉）を、腹腔を内側に向けてレールに吊り下げ、移動させた。

撮像は、図１０に示すように、枝肉の下端から斜め下方（鉛直方向３０ｃｍ、水平方向１００ｃｍ）の２０箇所から行った。カメラは、Ｏｍｒｏｎ－Ｓｅｎｔｅｃ社製のＳＴＣ－ＭＣＳ３１２ＰＯＥ（レンズは東京パーツセンター社製のＴＰＣ－ＧＯ６Ｆ１８－３Ｍ）を用い、記録画素数２０４８×１５３６ｐｘで撮像した。

撮像した画像データから、ソフトウェアＺｅｐｈｙｒ Ａｅｒｉａｌ（３Ｄｆｌｏｗ社）を用いて、ＳＦＭ法により三次元モデル（点群データおよびテクスチャ付メッシュデータ）を生成した。生成した三次元モデルを図１１に示す。図１１に示すように、移動中の枝肉を撮像した画像データを用いて、三次元モデルを生成することができた。

また、上述したように生成した三次元モデルにおいて、図１１に示すＣ１～Ｃ１７における１７の断面形状を、ソフトウェアＮｅｔｆａｂｂ（Ａｕｔｏｄｅｓｋ社）を用いて確認した。図１１に示すＣ１～Ｃ１７における１７の断面形状と、その断面積及び周囲長を、図１２に示す。図１２に示すように、生成した三次元モデルの１７の断面は全て、断裂の無い曲線状の輪郭線に囲まれていた。したがって、本実施例によれば、枝肉の腹腔の窪みも死角なく三次元計測できたことがわかった。また、１７の断面の形状は、「豚枝肉取引規格の概要」（公益社団法人 日本食肉格付協会）に掲載された断面形状と祖語がなかった。さらに、これら１７の断面から、面積および周囲長が計測できた。

このように、枝肉の移動空間の下側にカメラを配置して撮像することによって、垂れ下がった皮下脂肪組織や他方の半丸によっても三次元計測時の死角はできなかった。また、枝肉の移動空間の領域内にカメラを配置しないことによって、枝肉の移動を邪魔することなく枝肉中心軸に対してほぼ等間隔に環状にカメラを配置することが可能となった。その結果、枝肉がどのような向きであっても、三次元計測が可能であることが示された。

本発明は、吊り下げ状態で移動する対象物を三次元計測する、食品分野、畜産分野等に利用することができる。

１０ 三次元計測装置
１１ 撮像指示部
１３ 三次元計測部
２０ カメラ
２１ 枝肉（対象物）
２２ レール
１００ 三次元計測システム

Claims (12)

1. 三次元計測システムであって；
   １） 吊り下げられた状態で所定の方向に移動する対象物の三次元データを計測するものであり；
   ２） 前記対象物の移動空間の上側及び下側の少なくとも一方であって、側方ではない位置において、当該対象物を撮像するカメラと；
   ３） 前記カメラが撮像した画像に基づいて、前記対象物の三次元データを計測する三次元計測部と；
   を備え、
   前記対象物は、食肉であり、
   前記食肉は、枝肉又は部分肉であり、
   前記対象物は、吊り下げ具を介して接続されたレールに沿って搬送中である
   ことを特徴とする三次元計測システム。
2. 前記カメラとは異なる方向から前記対象物を撮像する他のカメラを少なくとも１つ備えていることを特徴とする請求項１に記載の三次元計測システム。
3. 前記カメラは、前記対象物の上側及び下側の両方に設けられていることを特徴とする請求項１又は２に記載の三次元計測システム。
4. 前記カメラは、前記対象物の動線と交差する鉛直軸を中心軸として略同心円状に複数設けられていることを特徴とする請求項１から３のいずれか１項に記載の三次元計測システム。
5. 前記対象物の移動空間外であって、前記対象物の移動空間の側方に、前記対象物を撮像するカメラをさらに備えていることを特徴とする請求項１から４のいずれか１項に記載の三次元計測システム。
6. 前記対象物は、所定の方向に水平移動することを特徴とする請求項１から５のいずれか１項に記載の三次元計測システム。
7. 前記対象物が前記カメラの撮像領域内に侵入したことが検出された場合に、複数の前記カメラに対して、撮像を指示する撮像指示信号を送信する撮像指示部をさらに備えていることを特徴とする請求項２から５のいずれか１項に記載の三次元計測システム。
8. 前記対象物は、枝肉を背割りした半丸を、それらの窪んだ部分が互いに対向するように共に吊り下げたものであることを特徴とする請求項１から７のいずれか１項に記載の三次元計測システム。
9. 前記三次元計測部は、計測した前記三次元データを参照して、前記対象物の体積及び断面積の少なくとも一方を計測することを特徴とする請求項１から８のいずれか１項に記載の三次元計測システム。
10. 吊り下げられた状態で所定の方向に移動する対象物の移動空間の上側及び下側の少なくとも一方であって、側方ではない位置において、当該対象物を撮像する撮像ステップと、
    前記撮像ステップにおいて撮像した画像に基づいて、前記対象物の三次元データを計測する三次元計測ステップと
    を含み、
    前記対象物は、食肉であり、
    前記食肉は、枝肉又は部分肉であり、
    前記対象物は、吊り下げ具を介して接続されたレールに沿って搬送中である
    ことを特徴とする三次元計測方法。
11. 吊り下げられた状態で所定の方向に移動する対象物の移動空間の上側及び下側の少なくとも一方であって、側方ではない位置において、前記対象物を撮像した画像に基づいて、前記対象物の三次元データを計測する三次元計測部を備え、
    前記対象物は、食肉であり、
    前記食肉は、枝肉又は部分肉であり、
    前記対象物は、吊り下げ具を介して接続されたレールに沿って搬送中である
    ことを特徴とする三次元計測装置。
12. 請求項１１に記載された三次元計測装置としてコンピュータを機能させるための三次元計測プログラムであって、前記三次元計測部として、コンピュータを機能させるための三次元計測プログラム。

Images