JP7436637B2 - 撮影装置、撮影方法及びプログラム - Google Patents

Description

本発明は、撮影装置、撮影方法及びプログラムに関する。

畜産農家では、飼育している家畜の体重を把握することが従来から行われている。これは、例えば、豚等の家畜では、或る体重を超えると食肉としての価値が下がってしまうことがあるためである。

ところで、畜産農家で飼育されている家畜は数百頭（又は数百匹、数百羽等）を超える場合がある。このため、体重計等を用いる場合、家畜の体重の把握には手間を要する。これに対して、赤外線カメラ等で構成される３次元計測器を用いて、この３次元計測器により家畜を撮影することで得られた３次元点群データから家畜の体重を推定する技術が知られている（例えば、特許文献１参照）。

特開２０１９－２１１３６４号公報

しかしながら、同一の家畜を撮影する場合であっても、様々な原因（例えば、撮影者のカメラの持ち方や家畜が動くこと等に起因するカメラの傾き等）により、撮影者間で、撮影によって得られる３次元点群データにばらつきが生じる場合がある。このため、家畜の体重の推定結果にもばらつきが生じる場合があり、正確な体重が得られないことがある。

本発明の一実施形態は、上記の点に鑑みてなされたもので、体重推定のための３次元点群データのばらつきを抑制することを目的とする。

上記目的を達成するため、一実施形態に係る撮影装置は、撮影対象の体重推定に用いられる３次元点群データを生成する撮影装置であって、前記撮影対象と前記撮影装置との相対的な位置関係が所定の条件を満たすか否かを動的に判定する判定手段と、前記位置関係が前記所定の条件を満たすと判定された場合、ユーザに対して前記撮影対象の撮影を促す通知を行う、又は、前記撮影対象を撮影する制御手段と、を有することを特徴とする。

体重推定のための３次元点群データのばらつきを抑制することができる。

第一の実施形態に係る体重推定システムの全体構成の一例を示す図である。 撮影画面の一例を示す図である。 撮影タイミングの通知の一例を示す図である。 第一の実施形態に係る撮影装置の機能構成の一例を示す図である。 撮影タイミングの通知処理の一例を示すフローチャートである。 撮影タイミング条件の判定の一例を説明するための図（その１）である。 撮影タイミング条件の判定の一例を説明するための図（その２）である。 撮影タイミング条件の判定の一例を説明するための図（その３）である。 撮影タイミング条件の判定の一例を説明するための図（変形例１）である。 撮影タイミング条件の判定の一例を説明するための図（変形例２）である。 第二の実施形態に係る撮影装置の機能構成の一例を示す図である。 自動撮影処理の一例を示すフローチャートである。 自動撮影条件の判定の一例を説明するための図（その１）である。 自動撮影条件の判定の一例を説明するための図（その２）である。 自動撮影条件の判定の一例を説明するための図（その３）である。 障害物表示及び輪郭検知表示の一例を説明するための図である。

以下、本発明の一実施形態について説明する。以下では、家畜の一例として豚の体重推定のための３次元点群データを撮影により生成（取得）する際に、撮影の結果として得られる３次元点群データの撮影者間でのばらつきを抑制することが可能な体重推定システム１について説明する。ここで、３次元点群データの撮影者間でのばらつきの抑制とは、同一の豚を複数の異なる撮影者が撮影した場合に、これらの撮影によって得られる複数の３次元点群データ間のばらつきが或る所定の許容誤差の範囲内に収まっていることをいう。また、後述するように３次元点群データは｛（ｘ，ｙ，ｚ）｝と表され、複数の３次元点群データ間のばらつきとは、同一（ｘ，ｙ）におけるｚの値の各３次元点群データ間でのばらつき（例えば、分散等）をσ_ｘｙとして、（ｘ，ｙ）に関するσ_ｘｙの平均又は合計等のことである。

［第一の実施形態］
まず、第一の実施形態について説明する。

＜全体構成＞
まず、本実施形態に係る体重推定システム１の全体構成について、図１を参照しながら説明する。図１は、第一の実施形態に係る体重推定システム１の全体構成の一例を示す図である。

図１に示すように、本実施形態に係る体重推定システム１には、体重の推定対象である豚Ｐを撮影して３次元点群データを生成する撮影装置１０と、３次元点群データから豚Ｐの体重を推定する体重推定装置２０とが含まれる。撮影装置１０と体重推定装置２０は、例えば、無線若しくは有線又はその両方により通信可能に接続されている。

撮影装置１０は、豚Ｐを撮影する撮影者Ｍが利用するデジタルカメラ、スマートフォン、タブレット端末等である。撮影装置１０には深度センサが備えられており、撮影範囲内における各位置の深度を測定し、これら各位置とその深度とを表す３次元点群データを生成する。３次元点群データは、撮影範囲内の各位置を（ｘ，ｙ）、これらの各位置における深度値をｚとして、（ｘ，ｙ，ｚ）の集合｛（ｘ，ｙ，ｚ）｝で表される。なお、撮影装置１０によって生成された３次元点群データは、体重推定装置２０に送信される。

ここで、本実施形態では、撮影者Ｍは、撮影装置１０を用いて豚Ｐの上方から当該豚Ｐを撮影するものとする。このとき、撮影装置１０は、当該撮影装置１０と豚Ｐとの相対的な位置関係により最適な撮影タイミング（つまり、撮影者間でばらつきの少ない３次元点群データが得られる位置関係）であるか否かを動的に判定し、最適な撮影タイミングとなった場合にその旨を撮影者Ｍに通知する。したがって、この撮影タイミングで豚Ｐを撮影することで、撮影者Ｍは、撮影者間でばらつきの少ない３次元点群データを得ることができる。

体重推定装置２０は、撮影装置１０によって生成された３次元点群データから豚Ｐの体重を推定するコンピュータ又はコンピュータシステムである。なお、体重推定装置２０が体重を推定する手法は限定されず、既知の任意の手法により、３次元点群データから豚Ｐの体重を推定すればよい。一例として、体重推定装置２０は、上記の特許文献１に記載されている手法により、３次元点群データから豚Ｐの体重を推定することができる。

なお、図１に示す体重推定システム１の全体構成は一例であって、他の構成であってもよい。例えば、体重推定システム１には体重推定装置２０が含まれず、３次元点群データから豚Ｐの体重を推定する機能を撮影装置１０が有していてもよい。また、３次元点群データから豚Ｐの体重を推定する機能の一部又は全部が、クラウドサービス等により提供されるものであってもよい。

＜撮影画面及び撮影タイミングの通知＞
ここで、撮影者Ｍが豚Ｐを撮影する際に撮影装置１０のディスプレイ等に表示される撮影画面と最適な撮影タイミングとなった場合の通知とについて説明する。

例えば、撮影者Ｍが撮影装置１０に対して撮影開始操作を行うと、当該撮影装置１０のディスプレイ上には、図２に示す撮影画面１０００が表示される。

図２に示す撮影画面１０００には、豚Ｐの撮影位置を合わせるための撮影ガイド１１００が含まれている。撮影ガイド１１００は豚を上方から見た場合の輪郭を表す形状であり、撮影画面１０００の下方向が頭方向、上方向が尻尾方向となっている。

また、撮影画面１０００には、撮影範囲１２００の中心を示す中心ガイド１１１０が含まれている。ここで、本実施形態では、３次元点群データの原点（つまり、（ｘ，ｙ，ｚ）＝（０，０，０）となる位置）は撮影装置１０のカメラ位置であるものとする。したがって、中心ガイド１１１０が示す位置は、３次元点群データの任意のｘｙ平面における原点（つまり、（ｘ，ｙ）＝（０，０））である。また、撮影方向をｚ軸の正の方向、撮影画面１０００の下方向をｘ軸の正の方向、撮影画面１０００の右方向をｙ軸の正の方向とする。なお、ｘ軸は撮影ガイド１１００が表す形状を左右に二分（等分）する中心線でもある。

撮影者Ｍは豚Ｐの上方に撮影装置１０を移動させて、撮影ガイド１１００に豚Ｐの輪郭が合致するように調整した上で、撮影ボタン１３００を押下することで当該豚Ｐを撮影することができる。これにより、撮影範囲１２００内の各位置（ｘ，ｙ）における深度ｚを表す３次元点群データ｛（ｘ，ｙ，ｚ）｝が生成される。

ところで、上述したように、同一の豚Ｐを撮影する場合であっても、様々な原因（例えば、撮影者Ｍの撮影装置１０の持ち方や豚Ｐが動くこと等に起因する撮影装置１０の傾き等）により、撮影者間で、撮影によって得られる３次元点群データにばらつきが生じる場合がある。そこで、本実施形態に係る撮影装置１０は、撮影画面１０００がディスプレイ等に表示されている間、当該撮影装置１０と豚Ｐとの相対的な位置関係が所定の条件（以下、この条件を「撮影タイミング条件」と表す。）を満たすか否かを動的に判定（つまり、所定の時間毎に繰り返し判定）し、撮影タイミング条件を満たすと判定された場合に、図３に示す撮影タイミング枠１５００を撮影画面１０００上に表示する。このように、撮影タイミング枠１５００が撮影画面１０００上に表示されることで、最適な撮影タイミングとなったこと（つまり、撮影装置１０と豚Ｐとの相対的な位置関係が、撮影者間でばらつきの少ない３次元点群データが得られる位置関係となったこと）が撮影者Ｍに通知される。なお、撮影タイミング枠１５００は所定の時間経過後（例えば、１～２秒経過後など）又は撮影タイミング条件を満たさないと判定された場合に非表示となる。

これにより、撮影タイミング枠１５００が表示された時に撮影者Ｍが撮影ボタン１３００を押下することで、撮影者間でばらつきの少ない３次元点群データを得ることができるようになる。なお、図３に示す例では、撮影タイミング枠１５００を撮影画面１０００上に表示することで撮影タイミングとなったことを撮影者Ｍに通知したが、これは一例であって、これに限られない。例えば、撮影装置１０から所定の音を出力する、撮影装置１０を振動させる、撮影画面１０００を点滅させる等により撮影タイミングとなったことが撮影者Ｍに通知されてもよい。

なお、反転ボタン１４００を押下することで、撮影者Ｍは、撮影ガイド１１００の上下が反転させることができる（つまり、撮影画面１０００の下方向が尻尾方向、上方向が頭方向となるように撮影ガイド１１００を反転させることができる。）。これにより、豚Ｐの実際の向きに合わせて、撮影ガイド１１００が表す形状（豚を上方から見た場合の輪郭を表す形状）の上下を変更することができる。

＜機能構成＞
次に、本実施形態に係る撮影装置１０の機能構成について、図４を参照しながら説明する。図４は、第一の実施形態に係る撮影装置１０の機能構成の一例を示す図である。

図４に示すように、本実施形態に係る撮影装置１０は、ＵＩ制御部１０１と、通知部１０２と、撮影部１０３とを有する。これら各部は、撮影装置１０にインストールされた１以上のプログラムが、ＣＰＵ（Central Processing Unit）等のプロセッサに実行させる処理により実現される。

ＵＩ制御部１０１は、撮影装置１０のディスプレイ上に撮影画面１０００を表示する。通知部１０２は、撮影画面１０００が表示されている間、撮影装置１０と豚Ｐとの相対的な位置関係が撮影タイミング条件を満たすか否かを所定の時間毎（例えば、深度の測定周期毎）に判定し、撮影タイミング条件を満たすと判定された場合に撮影タイミングとなったことを撮影者Ｍに通知する。撮影部１０３は、撮影ボタン１３００が押下された場合、撮影範囲１２００内の各位置（ｘ，ｙ）における深度ｚを表す３次元点群データ｛（ｘ，ｙ，ｚ）｝を生成する。なお、撮影部１０３により生成された３次元点群データは、体重推定装置２０に送信される。

＜撮影タイミングの通知処理＞
以降では、撮影装置１０のディスプレイ上には撮影画面１０００がＵＩ制御部１０１によって表示されているものとして、当該撮影装置１０と豚Ｐとの相対的な位置関係が撮影タイミング条件を満たすか否か動的に判定し、この判定結果に応じて撮影タイミングを撮影者Ｍに通知する処理について、図５を参照しながら説明する。図５は、撮影タイミングの通知処理の一例を示すフローチャートである。

通知部１０２は、撮影装置１０と豚Ｐとの相対的な位置関係が撮影タイミング条件を満たすか否かを判定する（ステップＳ１０１）。なお、この判定の詳細については後述する。

そして、撮影装置１０と豚Ｐとの相対的な位置関係が撮影タイミング条件を満たすと判定された場合（ステップＳ１０２でＹＥＳ）、通知部１０２は、撮影タイミングとなったことを撮影者Ｍに通知する（ステップＳ１０３）。すなわち、通知部１０２は、例えば、撮影タイミング枠１５００を撮影画面１０００上に表示する。ただし、これに限られず、例えば、撮影装置１０と豚Ｐとの相対的な位置関係が撮影タイミング条件を満たすと判定された場合、撮影部１０３によって自動的に撮影されてもよい（つまり、撮影範囲１２００内の各位置（ｘ，ｙ）における深度ｚを表す３次元点群データ｛（ｘ，ｙ，ｚ）｝が自動的に生成されてもよい。）。

一方で、撮影装置１０と豚Ｐとの相対的な位置関係が撮影タイミング条件を満たすと判定されなかった場合（ステップＳ１０２でＮＯ）、通知部１０２は、上記のステップＳ１０１に戻る。

≪撮影タイミング条件の判定≫
ここで、上記のステップＳ１０１における判定の詳細について説明する。本実施形態では、図６に示すように、撮影画面１０００の撮影範囲１２００内に設定された４点Ｑ_１１，Ｑ_１２，Ｑ_２１及びＱ_２２における深度の値を用いて、撮影装置１０と豚Ｐとの相対的な位置関係が撮影タイミング条件を満たすか否かを判定する。

Ｑ_１１は、ｘ軸上であって、かつ、撮影ガイド１１００が表す形状の豚の肩と背中の境界付近に設定された点である。また、Ｑ_１２は、ｘ軸上であって、かつ、撮影ガイド１１００が表す形状の豚の背中と臀部の境界付近に設定された点である。Ｑ_２１は、ｙ軸上の正の範囲であって、かつ、撮影ガイド１１００が表す形状の豚の背中上に設定された点である。Ｑ_２２は、ｙ軸上の負の範囲であって、かつ、撮影ガイド１１００が表す形状の豚の背中上に設定された点である。これは、豚の肩と背中との境界付近の深度や背中と臀部との境界付近の深度、豚の背中上の深度は、豚の姿勢の変化（例えば、豚が前屈みになる等）に対する影響が少ない（つまり、豚の姿勢の変化に対してロバスト性がある）ためである。なお、Ｑ_２１及びＱ_２２は、ｘ軸に対して対称となる位置に設定されることが好ましい。

図７に示すように、Ｑ_１１における深度ｚ_１１は、撮影装置１０から豚Ｐの肩と背中の境界付近までの距離を表す。同様に、Ｑ_１２における深度ｚ_１２は、撮影装置１０から豚Ｐの背中と臀部の境界付近までの距離を表す。また、図８に示すように、Ｑ_２１における深度ｚ_２１は、撮影装置１０から豚Ｐの背中の左側にある位置までの距離を表す。同様に、Ｑ_２２における深度ｚ_２２は、撮影装置１０から豚Ｐの背中の右側にある位置までの距離を表す。

このとき、予め設定された閾値をｔｈ_１～ｔｈ_４として、ｔｈ_１≦ｚ_１２／ｚ_１１≦ｔｈ_２かつｔｈ_３≦ｚ_２２／ｚ_２１≦ｔｈ_４を満たす場合に、撮影装置１０と豚Ｐとの相対的な位置関係が撮影タイミング条件を満たすと判定する。一方で、ｔｈ_１≦ｚ_１２／ｚ_１１≦ｔｈ_２及びｔｈ_３≦ｚ_２２／ｚ_２１≦ｔｈ_４の少なくとも一方を満たさない場合は、撮影装置１０と豚Ｐとの相対的な位置関係が撮影タイミング条件を満たさないと判定する。ここで、ｔｈ_１～ｔｈ_４は適切な値に設定され得るが、一例として、ｔｈ_１は０．８０～０．９０程度、ｔｈ_２は１．００～１．１０程度、ｔｈ_３は０．８５～０．９５程度、ｔｈ_４は１．０５～１．１５程度と設定することが考えられる。

なお、本実施形態では、撮影範囲１２００内に４点Ｑ_１１，Ｑ_１２，Ｑ_２１及びＱ_２２を設定したが、必ずしもＱ_２１及びＱ_２２は設定されなくてもよい。この場合、ｔｈ_１≦ｚ_１２／ｚ_１１≦ｔｈ_２を満たすか否かにより、撮影装置１０と豚Ｐとの相対的な位置関係が撮影タイミング条件を満たすか否かを判定すればよい。

≪撮影タイミング条件の判定（変形例１）≫
次に、上記のステップＳ１０１における判定の変形例１について説明する。変形例１では、図９に示すように、撮影画面１０００の撮影範囲１２００内に設定された８点Ｑ_１１，Ｑ_１２，Ｑ_１３，Ｑ_１４，Ｑ_２１，Ｑ_２２，Ｑ_２３及びＱ_２４のそれぞれおける深度の値ｚ_１１，ｚ_１２，ｚ_１３，ｚ_１４，ｚ_２１，ｚ_２２，ｚ_２３及びｚ_２４を用いて、撮影装置１０と豚Ｐとの相対的な位置関係が撮影タイミング条件を満たすか否かを判定する。

Ｑ_１１及びＱ_１３は、ｘ軸上であって、かつ、撮影ガイド１１００が表す形状の豚の肩と背中の境界付近に設定された点である。また、Ｑ_１２及びＱ_１４は、ｘ軸上であって、かつ、撮影ガイド１１００が表す形状の豚の背中と臀部の境界付近に設定された点である。Ｑ_２１及びＱ_２３は、ｙ軸上の正の範囲であって、かつ、撮影ガイド１１００が表す形状の豚の背中上に設定された点である。Ｑ_２２及びＱ_２４は、ｙ軸上の負の範囲であって、かつ、撮影ガイド１１００が表す形状の豚の背中上に設定された点である。

このとき、予め設定された閾値をｔｈ_１～ｔｈ_４として、ｔｈ_１≦ｚ_１２／ｚ_１１≦ｔｈ_２かつｔｈ_３≦ｚ_２２／ｚ_２１≦ｔｈ_４かつｔｈ_１≦ｚ_１４／ｚ_１３≦ｔｈ_２かつｔｈ_３≦ｚ_２４／ｚ_２３≦ｔｈ_４を満たす場合に、撮影装置１０と豚Ｐとの相対的な位置関係が撮影タイミング条件を満たすと判定する。一方で、ｔｈ_１≦ｚ_１２／ｚ_１１≦ｔｈ_２，ｔｈ_３≦ｚ_２２／ｚ_２１≦ｔｈ_４，ｔｈ_１≦ｚ_１４／ｚ_１３≦ｔｈ_２及びｔｈ_３≦ｚ_２４／ｚ_２３≦ｔｈ_４の少なくとも１つを満たさない場合は、撮影装置１０と豚Ｐとの相対的な位置関係が撮影タイミング条件を満たさないと判定する。

なお、上記と同様に、必ずしもＱ_２１，Ｑ_２２，Ｑ_２３及びＱ_２４は設定されなくてもよい。また、変形例１では撮影範囲１２００内に８点を設定したが、これは一例であって、更に多くの点（９つ以上の点）が設定されてもよい。

≪撮影タイミング条件の判定（変形例２）≫
次に、上記のステップＳ１０１における判定の変形例２について説明する。変形例２では、図１０に示すように、撮影ガイド１１００の内側及び外側にそれぞれ設定された２点の組（Ｑ_１１，Ｑ_１２），（Ｑ_２１，Ｑ_２２），（Ｑ_３１，Ｑ_３２）及び（Ｑ_４１，Ｑ_４２）の深度の値を用いて、撮影装置１０と豚Ｐとの相対的な位置関係が撮影タイミング条件を満たすか否かを判定する。なお、Ｑ_１１，Ｑ_１２，Ｑ_２１，Ｑ_２２，Ｑ_３１，Ｑ_３２，Ｑ_４１及びＱ_４２のそれぞれおける深度の値をｚ_１１，ｚ_１２，ｚ_２１，ｚ_２２，ｚ_３１，ｚ_３２，ｚ_４１及びｚ_４２とする。

Ｑ_１１及びＱ_１２は、撮影ガイド１１００が表す形状の豚の左肩と背中の境界付近であって、当該撮影ガイド１１００の内側及び外側にそれぞれ設定された点である。また、Ｑ_２１及びＱ_２２は、撮影ガイド１１００が表す形状の豚の右肩と背中の境界付近であって、当該撮影ガイド１１００の内側及び外側にそれぞれ設定された点である。同様に、Ｑ_３１及びＱ_３２は、撮影ガイド１１００が表す形状の豚の背中と右臀部との境界付近であって、当該撮影ガイド１１００の内側及び外側にそれぞれ設定された点である。Ｑ_４１及びＱ_４２は、撮影ガイド１１００が表す形状の豚の背中と左臀部との境界付近であって、当該撮影ガイド１１００の内側及び外側にそれぞれ設定された点である。

このとき、予め設定された閾値をｔｈとして、ｚ_１２－ｚ_１１≧ｔｈかつｚ_２２－ｚ_２１≧ｔｈかつｚ_３２－ｚ_３１≧ｔｈかつｚ_４２－ｚ_４１≧ｔｈを満たす場合に、撮影装置１０と豚Ｐとの相対的な位置関係が撮影タイミング条件を満たすと判定する。一方で、ｚ_１２－ｚ_１１≧ｔｈ，ｚ_２２－ｚ_２１≧ｔｈ，ｚ_３２－ｚ_３１≧ｔｈ及びｚ_４２－ｚ_４１≧ｔｈの少なくとも１つを満たさない場合は、撮影装置１０と豚Ｐとの相対的な位置関係が撮影タイミング条件を満たさないと判定する。これは、ｚ_１２－ｚ_１１≧ｔｈかつｚ_２２－ｚ_２１≧ｔｈかつｚ_３２－ｚ_３１≧ｔｈかつｚ_４２－ｚ_４１≧ｔｈを満たす場合は、豚Ｐの輪郭が、撮影ガイド１１００に合致していると考えられるためである。ここで、ｔｈは、豚の体高よりもやや低い程度の適切な値に設定され得るが、例えば、豚の品種等に応じて、３０ｃｍ～５０ｃｍ程度を表す値に設定することが考えられる。

なお、変形例２では、撮影ガイド１１００の内側及び外側にそれぞれ設定された２点の組を４つ（（Ｑ_１１，Ｑ_１２），（Ｑ_２１，Ｑ_２２），（Ｑ_３１，Ｑ_３２）及び（Ｑ_４１，Ｑ_４２））設定したが、これは一例であって、更に多くの２点の組（５つ以上の組）が設定されてもよい。

［第二の実施形態］
次に、第二の実施形態について説明する。図５のステップＳ１０３では、撮影タイミングとなったことを撮影者Ｍに通知することに限られず、撮影部１０３によって自動的に撮影されてもよい旨を説明した。そこで、本実施形態では、このような自動撮影を行う場合のより好適な実施形態について説明する。なお、本実施形態では、撮影タイミングの通知は行われず、撮影装置１０と豚Ｐとの相対的な位置関係が所定の条件（以下、この条件を「自動撮影条件」と表す。）を満たす場合に自動で撮影を行うものである。

＜機能構成＞
まず、本実施形態に係る撮影装置１０の機能構成について、図１１を参照しながら説明する。図１１は、第二の実施形態に係る撮影装置１０の機能構成の一例を示す図である。

図１１に示すように、本実施形態に係る撮影装置１０は、ＵＩ制御部１０１と、判定部１０４と、撮影部１０３とを有する。これら各部は、撮影装置１０にインストールされた１以上のプログラムが、ＣＰＵ等のプロセッサに実行させる処理により実現される。

ＵＩ制御部１０１は、撮影装置１０のディスプレイ上に撮影画面１０００を表示する。判定部１０４は、撮影画面１０００が表示されている間、撮影装置１０と豚Ｐとの相対的な位置関係が自動撮影条件を満たすか否かを所定の時間毎（例えば、深度の測定周期毎）に判定する。撮影部１０３は、自動撮影条件を満たすと判定された場合、撮影範囲１２００内の各位置（ｘ，ｙ）における深度ｚを表す３次元点群データ｛（ｘ，ｙ，ｚ）｝を生成する。なお、撮影部１０３により生成された３次元点群データは、体重推定装置２０に送信される。

＜自動撮影処理＞
以降では、撮影装置１０のディスプレイ上には撮影画面１０００がＵＩ制御部１０１によって表示されているものとして、当該撮影装置１０と豚Ｐとの相対的な位置関係が自動撮影条件を満たすか否かを動的に判定し、この判定結果に応じて自動的に撮影する処理について、図１２を参照しながら説明する。図１２は、自動撮影処理の一例を示すフローチャートである。なお、この自動撮影処理の実行が開始される前に、例えば、露光調整等の事前処理が撮影部１０３によって行われてもよい。

判定部１０４は、撮影装置１０と豚Ｐとの相対的な位置関係が自動撮影条件を満たすか否かを判定する（ステップＳ２０１）。なお、この判定の詳細については後述する。

そして、撮影装置１０と豚Ｐとの相対的な位置関係が自動撮影条件を満たすと判定された場合（ステップＳ２０２でＹＥＳ）、撮影部１０３は、撮影範囲１２００内を撮影する（ステップＳ２０３）。これにより、撮影範囲１２００内の各位置（ｘ，ｙ）における深度ｚを表す３次元点群データ｛（ｘ，ｙ，ｚ）｝が生成される。

一方で、撮影装置１０と豚Ｐとの相対的な位置関係が自動撮影条件を満たすと判定されなかった場合（ステップＳ２０２でＮＯ）、判定部１０４は、上記のステップＳ２０１に戻る。

≪自動撮影条件の判定≫
ここで、上記のステップＳ２０１における判定の詳細について説明する。本実施形態では、以下の条件１～条件３を順に判定し、全ての条件を満たす場合に自動撮影条件を満たすと判定する。

条件１：豚Ｐの尻（尻尾の付け根部分）の輪郭が検知されたこと
条件２：豚Ｐの側面の輪郭が検知されたこと
条件３：豚Ｐに対して撮影装置１０の傾きが小さいこと
以下、上記の条件１～条件３とそれらの条件を満たした場合の表示例について説明する。

・条件１
本実施形態では、図１３の左図に示すように、撮影画面１０００の撮影範囲１２００内に設定された直線Ｌの端点における深度の値を用いて、豚Ｐの尻（尻尾の付け根部分）の輪郭を検知する。

直線Ｌは、ｘ軸上であって、かつ、撮影ガイド１１００が表す形状の尻部分の境界を跨ぐように設定される。なお、直線Ｌの中点が撮影ガイド１１００上にあることが好ましいが、必ずしも撮影ガイド１１００上にあることを要しない。また、直線Ｌの長さは適宜設定されるが、例えば、撮影ガイド１１００が表す豚の体長の１／１０～１／８程度の長さが好ましい。これは、直線Ｌの長さが長すぎると誤検知が発生しやすくなる一方で、短すぎると検知漏れが発生しやすくなるためである。

直線Ｌの端点のうち、ｘ座標値が大きい方の端点（つまり、撮影ガイド１１００の内側にある端点）における深度の値をｚ_１、ｘ座標値が小さい方の端点（つまり、撮影ガイド１１００の外側にある端点）における深度の値をｚ_２とする。このとき、予め設定された閾値をｔｈとして、ｚ_２－ｚ_１≧ｔｈを満たす場合に、豚Ｐの尻（尻尾の付け根部分）の輪郭が検知されたと判定する。ここで、この閾値ｔｈは、図１０で説明した閾値ｔｈと同様としてよい。

なお、図１３の左図では、直線Ｌを設定したが、これに限られず、例えば、直線Ｌの端点に相当する点の組を設定し、これらの点における深度の値を用いて豚Ｐの尻の輪郭を検知してもよい。

また、図１３の左図では直線Ｌを１本のみ設定したが、複数の直線を設定し、これらの各直線の端点における深度の値を用いて豚Ｐの尻の輪郭を検知してもよい。この場合、例えば、所定の割合以上の本数の直線で輪郭が検知されたとき（つまり、所定の割合以上の直線で、撮影ガイド１１００の外側にある端点と内側にある端点との深度差が閾値以上であると判定されたとき）に、豚Ｐの尻の輪郭が検知されたとしてもよい。

そして、豚Ｐの尻の輪郭が検知された場合、図１３の右図に示すように、ＵＩ制御部１０１は、撮影範囲１２００内の豚Ｐの尻に相当する位置に点１６００を表示する。この点１６００により、撮影者Ｍは、豚Ｐの尻（尻尾の付け根部分）の輪郭が検知されたことを知ることができる。

・条件２
本実施形態では、図１４の左図に示すように、撮影画面１０００の撮影範囲１２００内に設定された複数の直線Ｌ_１，１～Ｌ_１，２３及びＬ_２，１～Ｌ_２，２３の端点における深度の値を用いて、豚Ｐの側面の輪郭を検知する。

直線Ｌ_１，１～Ｌ_１，２３は、ｙ軸と平行であって、かつ、少なくとも一部の直線が、撮影ガイド１１００が表す形状の右側面部分の境界を跨ぐように設定される。同様に、直線Ｌ_２，１～Ｌ_２，２３は、ｙ軸と平行であって、かつ、少なくとも一部の直線が、撮影ガイド１１００が表す形状の左側面部分の境界を跨ぐように設定される。なお、図１４の左図では左側面及び右側面にそれぞれ２３本の直線が設定されているが、これは一例であって、任意の本数の直線を設定することができる。また、各直線の長さは適宜設定されるが、例えば、撮影ガイド１１００が表す豚の体幅の１／５～１／３程度の長さが好ましい。これは、直線の長さが長すぎると誤検知が発生しやすくなる一方で、短すぎると検知漏れが発生しやすくなるためである。

直線Ｌ_１，ｋ（ｋ＝１，・・・，２３）の端点のうち、ｙ座標値が大きい方の端点（つまり、撮影ガイド１１００の内側にある端点）における深度の値をｚ_１，ｋ ^（１）、ｙ座標値が小さい方の端点（つまり、撮影ガイド１１００の外側にある端点）における深度の値をｚ_２，ｋ ^（１）とする。このとき、予め設定された閾値をｔｈとして、ｚ_２，ｋ ^（１）－ｚ_１，ｋ ^（１）≧ｔｈを満たすｋの割合が所定の割合以上である場合に、豚Ｐの右側面の輪郭が検知されたと判定する。

同様に、直線Ｌ_２，ｋ（ｋ＝１，・・・，２３）の端点のうち、ｙ座標値が小さい方の端点（つまり、撮影ガイド１１００の内側にある端点）における深度の値をｚ_１，ｋ ^（２）、ｙ座標値が大きい方の端点（つまり、撮影ガイド１１００の外側にある端点）における深度の値をｚ_２，ｋ ^（２）とする。このとき、予め設定された閾値をｔｈとして、ｚ_２，ｋ ^（２）－ｚ_１，ｋ ^（２）≧ｔｈを満たすｋの割合が所定の割合以上である場合に、豚Ｐの左側面の輪郭が検知されたと判定する。

ここで、上記の閾値ｔｈは、図１０で説明した閾値ｔｈと同様としてよい。また、上記の所定の割合は任意に設定することが可能であるが、少なくとも０．５以上（つまり、５割以上）の値が設定されることが好ましい（より好ましくは、０．６～０．８程度）。

そして、豚Ｐの左側面の輪郭と右側面の輪郭とが検知された場合、豚Ｐの側面の輪郭が検知されたものとして、図１４の右図に示すように、ＵＩ制御部１０１は、撮影範囲１２００内に枠１７００を表示する。この枠１７００により、撮影者Ｍは、豚Ｐの側面の輪郭が検知されたことを知ることができる。

なお、図１４の左図では一部の直線が撮影ガイド１１００の境界を跨いでないが、これは、必ずしも豚Ｐが撮影ガイド１１００内に収まらないことを考慮したものである。ただし、全ての直線が撮影ガイド１１００を跨ぐように設定されてもよい。

・条件３
この条件３は、図６で説明した撮影タイミング条件に相当する。したがって、図６で説明した撮影タイミング条件を満たす場合、豚Ｐに対して撮影装置１０の傾きが小さいと判定する。これは、図６で説明した閾値ｔｈ_１～ｔｈ_４が適切に設定されることで、豚Ｐに対して撮影装置１０の傾きは所定の傾き以下となるためである。

そして、豚Ｐに対して撮影装置１０の傾きが小さいと判定された場合、図１５に示すように、ＵＩ制御部１０１は、撮影範囲１２００内に枠１８００を表示する。この枠１８００により、撮影者Ｍは、豚Ｐに対して撮影装置１０の傾きが小さいことを知ることができると共に間もなく自動的に撮影されることを知ることができる。

＜障害物表示及び輪郭＞
ここで、上記の条件１及び２では豚Ｐの輪郭を検知したが、例えば、障害物（壁等も含む）と豚Ｐとが接触等しているため輪郭が検知でないことがある。このため、このような場合には、輪郭が検知できなかった箇所に所定の表示を行い、障害物があることを撮影者Ｍに通知してもよい。例えば、図１６に示すように、輪郭が検知できなかった箇所に「×」印１９００を表示し、障害物があることを撮影者Ｍに通知してもよい。

一方で、輪郭が検知できた箇所にも所定の表示を行い、輪郭が検知できたことを撮影者Ｍに通知してもよい。例えば、図１６に示すように、輪郭が検知できた箇所に点２１０１～２１０５及び２２０１～２２０９を表示し、輪郭が検知できたことを撮影者Ｍに通知してもよい。

これにより、撮影者Ｍは、障害物があるために輪郭が検知できなかった箇所と問題なく輪郭が検知できた箇所とを知ることが可能となる。

＜まとめ＞
以上のように、第一の実施形態に係る撮影装置１０は、豚Ｐの体重推定に用いられる３次元点群データを得ることを目的として当該豚Ｐを撮影する際に、当該撮影装置１０と当該豚Ｐとの相対的な位置関係が所定の条件を満たすか否かを動的に判定し、当該所定の条件を満たす場合は最適な撮影タイミングである旨を撮影者Ｍに通知する（又は、自動的に撮影する）。これにより、第一の実施形態に係る撮影装置１０は、撮影者間でばらつきの少ない３次元点群データを得ることが可能となる。したがって、体重推定装置２０で豚Ｐの体重を推定する際に、その推定結果のばらつきも抑制することが可能となり、再現性の高い体重推定を実現することが可能となる。

また、第二の実施形態に係る撮影装置１０は、豚Ｐの体重推定に用いられる３次元点群データを得ることを目的として当該豚Ｐを撮影する際に、当該撮影装置１０と当該豚Ｐとの相対的な位置関係が所定の条件を満たすか否かを動的に判定し、当該所定の条件を満たす場合は自動的に撮影する。これにより、第二の実施形態に係る撮影装置１０は、第一の実施形態よりも簡便に、撮影者間でばらつきの少ない３次元点群データを得ることが可能となる。したがって、第一の実施形態と同様に、体重推定装置２０で豚Ｐの体重を推定する際に、その推定結果のばらつきも抑制することが可能となり、再現性の高い体重推定を実現することが可能となる。

本発明は、具体的に開示された上記の実施形態に限定されるものではなく、特許請求の範囲の記載から逸脱することなく、種々の変形や変更、既知の技術との組み合わせ等が可能である。

本願は、日本国に２０２０年３月２６日に出願された基礎出願２０２０－０５５９７９号に基づくものであり、その全内容はここに参照をもって援用される。

１ 体重推定システム
１０ 撮影装置
２０ 体重推定装置
１０１ ＵＩ制御部
１０２ 通知部
１０３ 撮影部
１０４ 判定部

Claims (10)

1. ユーザが所持可能で、かつ、撮影対象である家畜の体重推定に用いられる３次元点群データを生成する撮影装置であって、
   前記撮影対象と前記撮影装置との相対的な位置関係が所定の条件を満たすか否かを動的に判定する判定手段と、
   前記位置関係が前記所定の条件を満たすと判定された場合、ユーザに対して前記撮影対象の撮影を促す通知を行う、又は、前記撮影対象を撮影する制御手段と、
   を有することを特徴とする撮影装置。
2. 前記撮影対象は豚であり、
   前記判定手段は、
   前記豚を上方から前記撮影装置によって撮影する際に、前記豚の肩と背中との境界の近傍に設定された第１の位置までの第１の深度と、前記豚の背中と臀部との境界の近傍に設定された第２の位置までの第２の深度との比が少なくとも所定の第１の範囲内である場合に、前記所定の条件を満たすと判定する、ことを特徴とする請求項１に記載の撮影装置。
3. 前記第１の位置及び前記第２の位置は、前記豚の左右を等分する中心線上に設定される、ことを特徴とする請求項２に記載の撮影装置。
4. 前記判定手段は、
   更に、前記中心線に対して対称な第３の位置及び第４の位置であって、かつ、前記豚の背中上に設定された第３の位置及び第４の位置の各々までの第３の深度及び第４の深度の比が所定の第２の範囲内である場合に、前記所定の条件を満たすと判定する、ことを特徴とする請求項３に記載の撮影装置。
5. 前記撮影対象は豚であり、
   前記判定手段は、
   前記豚を上方から前記撮影装置によって撮影する際に、前記豚の境界の内側に設定された第５の位置までの第５の深度と、前記豚の境界の外側に設定された第６の位置までの第６の深度との差が少なくとも所定の閾値以上である場合に、前記所定の条件を満たすと判定する、ことを特徴とする請求項１に記載の撮影装置。
6. 前記撮影対象は豚であり、
   前記所定の条件には、前記豚の尻尾の付け根部分の境界が検知されたことを表す第１の条件と、前記豚の側面の境界が検知されたことを表す第２の条件と、前記豚に対して前記撮影装置の傾きが所定の傾き以下であることを表す第３の条件とが含まれ、
   前記判定手段は、
   前記第１の条件を満たすか否かと、前記第２の条件を満たすか否かと、前記第３の条件を満たすか否かとを順に判定し、
   前記第１の条件と前記第２の条件と前記第３の条件とを満たすと判定された場合、前記撮影対象を撮影する、ことを特徴とする請求項１に記載の撮影装置。
7. 前記豚の側面の境界が検知されなかった箇所に、前記豚の側面の境界が検知できなかったことを表す第１の表示部品を表示する表示手段を有する、ことを特徴とする請求項６に記載の撮影装置。
8. 前記表示手段は、
   前記豚の側面の境界が検知された箇所に、前記豚の側面の境界が検知できたことを表す第２の表示部品を表示する、ことを特徴とする請求項７に記載の撮影装置。
9. ユーザが所持可能で、かつ、撮影対象である家畜の体重推定に用いられる３次元点群データを生成する撮影装置が、
   前記撮影対象と前記撮影装置との相対的な位置関係が所定の条件を満たすか否かを動的に判定する判定手順と、
   前記位置関係が前記所定の条件を満たすと判定された場合、ユーザに対して前記撮影対象の撮影を促す通知を行う、又は、前記撮影対象を撮影する制御手順と、
   を実行することを特徴とする撮影方法。
10. コンピュータを、請求項１乃至８の何か一項に記載の撮影装置における各手段として機能させるためのプログラム。

Images