JP7317732B2 - 推定装置、物体搬送システム、推定方法、およびプログラム - Google Patents

推定装置、物体搬送システム、推定方法、およびプログラム Download PDF

Info

Publication number
JP7317732B2
JP7317732B2 JP2020006887A JP2020006887A JP7317732B2 JP 7317732 B2 JP7317732 B2 JP 7317732B2 JP 2020006887 A JP2020006887 A JP 2020006887A JP 2020006887 A JP2020006887 A JP 2020006887A JP 7317732 B2 JP7317732 B2 JP 7317732B2
Authority
JP
Japan
Prior art keywords
subject
unit
light
estimating
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020006887A
Other languages
English (en)
Other versions
JP2021113756A (ja
Inventor
典太 笹谷
利幸 小野
航 渡邉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2020006887A priority Critical patent/JP7317732B2/ja
Priority to US17/010,986 priority patent/US20210223364A1/en
Publication of JP2021113756A publication Critical patent/JP2021113756A/ja
Application granted granted Critical
Publication of JP7317732B2 publication Critical patent/JP7317732B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808Evaluating distance, position or velocity data
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/10Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/484Transmitters
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/4861Circuits for detection, sampling, integration or read-out
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/4865Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/4865Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • G01S7/4866Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak by fitting a model or function to the received signal
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497Means for monitoring or calibrating

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Description

本発明の実施形態は、推定装置、物体搬送システム、推定方法、およびプログラムに関する。
従来から、物体に対して光パルスを照射し、この光パルスを照射した時刻と、照射した光パルスが物体によって反射してきた反射光を検出した時刻との時間差を計測することにより、物体との距離を計測する技術がある。この技術は、光パルスの飛行時間によって物体との距離を計測する技術であり、タイム・オブ・フライト(Time- of- Flight:ToF)と呼ばれる。このタイム・オブ・フライトの技術は、例えば、物体との距離を計測するためのカメラ(以下、「ToFカメラ」という)などにおいて実用化されている。
ところで、ToF技術を利用した距離の計測における課題として、計測対象の物体の材質によって計測した距離に差が生じてしまうということが挙げられる。例えば、液体や固体(半固体を含む)などの内容物が収められている半透明のプラスチック容器に紙のラベルが貼り付けられている場合、このプラスチック容器と紙のラベルとは同じ位置に置かれているものとして同じ距離を計測する必要があるが、プラスチック容器と紙のラベルとで計測した距離が異なるというようなことが発生する。これは、プラスチック容器と紙のラベルとでは、照射した光パルスが物体の表面で反射して反射光として戻ってくるまでに時間差が生じていることによるものである。より具体的には、半透明のプラスチック容器では、プラスチック容器と収められた内容物との間において光パルスが反射する際に光の散乱が起こり、この光の散乱によって紙のラベルからの反射光を検出する時間とプラスチック容器からの反射光を検出する時間とに時間差が生じてしまうことによるものである。また、光の散乱は、物体の色などによっても異なるため、同じ位置に置かれている同じ材質の物体であっても、色の差によって計測した距離に差が出てしまうこともある。
これに関し、物体の材質により発生する計測した距離の差を低減する方法に関する技術が開示されている。
Shuochen Su、Felix Heide、Robin Swanson、Jonathan Klein、Clara Callenberg、Matthias Hullin、Wolfgang Heidrich、"Material Classification Using Raw Time-of-Flight Measurements"、IEEE Conference on Computer Vision and Pattern Recognition (CVPR)、2016、p.3503~3511 岩口 優也、田中 賢一郎、青砥 隆仁、久保 尋之、舩冨 卓哉、向川 康博、"ToFカメラの距離計測歪みを手掛かりとした半透明物体の分類"、情報処理学会研究報告(IPSJ SIG Technical Report)、Vol.2016-CVIM-203 No.12、p.1~7、2016年09月05日 Kenichiro Tanaka、Yasuhiro Mukaigawa、Takuya Funatomi、Hiroyuki Kubo、Yasuyuki Matsushita、Yasushi Yagi、"Material Classification using Frequency- and Depth-Dependent Time-of-Flight Distortion"、IEEE Conference on Computer Vision and Pattern Recognition (CVPR)、2017、p.79~88
しかしながら、一般的なToFカメラには、照射する光パルスの変調周波数や位相遅延量を変更することができるものが存在しない。このため、現在実現されているToFカメラを改良することが必要になり、従来の技術を容易に適用することができない。また、一般的なToFカメラにおいても、ToFカメラと被写体間の距離を変えることはできると考えられるが、例えば、空間的な制約などによって容易に距離を変えることができない場合がある。
本発明は、上記の課題認識に基づいてなされたものであり、容易な方法で計測を行って被写体の特性を推定することができる推定装置、物体搬送システム、推定方法、およびプログラムを提供することである。
実施形態の推定装置は、被写体を撮影することによって、前記被写体との距離、前記被写体の材質または前記被写体の属性のいずれかを含む前記被写体の特性を推定する推定装置であって、照射光における照射パルスのパルス長と信号レベルとを組み合わせた照射パターンに応じて、前記被写体が存在する空間に前記照射光を照射する光源部と、前記被写体によって反射された前記照射光の反射光を受光する受光ゲートを有し、前記受光ゲートが前記反射光を受光する際の感度に係る時間応答を定めるゲートパルスのパルス長と、前記照射パルスの開始時刻から前記ゲートパルスの開始時刻までの相対的時刻差とを組み合わせた受光パターンに応じて前記反射光を受光する受光部と、複数の前記照射パターンと複数の前記受光パターンとを組み合わせた複数の制御条件を切り替え、前記複数の制御条件を前記光源部および前記受光部に設定する制御部と、前記受光部が取得した前記反射光に基づいて、前記被写体までの距離である距離値を含む被写体データを算出する算出部と、前記複数の制御条件、前記被写体の前記特性および前記距離値の対応関係を定めた特性データを取得し、前記制御条件、前記被写体データおよび前記特性データに基づいて、前記被写体の前記特性を推定する推定部と、を備える。
第1の実施形態の推定装置の構成の一例を示すブロック図。 制御部において設定する照射パターンと受光パターンとを説明する図。 記憶部に記憶するテーブルの作成方法を説明する図。 第1の実施形態の推定装置における推定の動作の流れを示すフローチャート。 第2の実施形態の推定装置の構成の一例を示すブロック図。 第2の実施形態の推定装置における推定の動作の流れを示すフローチャート。 第3の実施形態の推定装置の構成の一例を示すブロック図。 画像処理部において特性画像を生成する画像処理の一例を示す図。 推定装置を採用した物体搬送システムの構成の一例を模式的に示す図。
以下、実施形態の推定装置、物体搬送システム、推定方法、およびプログラムを、図面を参照して説明する。
(第1の実施形態)
図1は、第1の実施形態の推定装置の構成の一例を示すブロック図である。推定装置1は、例えば、光源部10と、受光部20と、算出部30と、制御部40と、推定部50と、記憶部60と、を備える。
また、推定装置1が備える算出部30と、制御部40と、推定部50とのうち一部または全部は、例えば、CPU(Central Processing Unit)などのハードウェアプロセッサがプログラム(ソフトウェア)を実行することにより実現される。また、これらの構成要素のうち一部または全部は、LSI(Large Scale Integration)やASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、GPU(Graphics Processing Unit)などのハードウェア(回路部;circuitryを含む)によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。また、これらの構成要素の機能のうち一部または全部は、専用のLSIによって実現されてもよい。プログラム(ソフトウェア)は、予めHDD(Hard Disk Drive)、フラッシュメモリなどの記憶装置(非一過性の記憶媒体を備える記憶装置)に格納されていてもよいし、DVDやCD-ROMなどの着脱可能な記憶媒体(非一過性の記憶媒体)に格納されており、記憶媒体がドライブ装置に装着されることで、記憶装置にインストールされてもよい。また、プログラム(ソフトウェア)は、他のコンピュータ装置からネットワークを介して予めダウンロードされて記憶装置にインストールされてもよい。
なお、図1においては、それぞれの構成要素をまとめて推定装置1として構成している一例を示したが、これはあくまで一例であり、推定装置1においてこれらの構成要素の一部または全部は、分散的に配置されてもよい。例えば、光源部10と、受光部20と、算出部30とをまとめてカメラ装置1Aとして構成し、制御部40と推定部50とをまとめて制御装置1Bとして構成し、記憶部60を記憶装置1Cとして構成してもよい。さらに、例えば、カメラ装置1Aが分離され、制御装置1Bと記憶装置1Cとが一体に配置されてもよい。以下の説明においては、推定装置1が備えるそれぞれの構成要素を機能的にまとめて、カメラ装置1Aと、制御装置1Bと、記憶装置1Cとのそれぞれに分かれて構成されている場合を一例として説明する。
カメラ装置1Aは、タイム・オブ・フライト(Time- of- Flight:ToF)の技術によって被写体との間の距離を計測するToFカメラである。図1には、推定装置1において特性を推定する対象であり、カメラ装置1Aによって配置されている距離を計測する被写体Sを併せて示している。図1に示した被写体Sは、例えば、液体や固体(半固体を含む)などの内容物が収められている半透明のプラスチック容器であり、プラスチック容器の表面に紙のラベルLが貼り付けられている物体である。なお、被写体Sの材質は、プラスチックに限定されるものではなく、例えば、段ボールなどの紙や、ビニール、金属、布など、いかなる材質であってもよい。また、ラベルLの材質も同様に、いかなる材質であってもよい。
光源部10は、推定装置1において特性を推定する対象の被写体Sが存在する空間に照射光ILを照射する。照射光ILは、例えば、近赤外の波長帯域の光である。光源部10は、例えば、LED(Light Emitting Diode:発光ダイオード)などの発光モジュールである。光源部10は、例えば、垂直共振器面発光レーザー(Vertical Cavity Surface Emitting Laser:VCSEL)などの面発光型の半導体レーザーモジュールであってもよい。光源部10は、制御部40により設定された後述する制御条件に応じたパルス状の光(以下、「照射パルス」という)を照射光ILとして照射する。光源部10は、例えば、拡散板(不図示)によって、発光モジュールが発光した光を、特性を推定する被写体Sが存在する空間における所定の広さの面に拡散させて照射してもよい。
なお、光源部10は、照射光ILの波長帯域を変更することができるものであってもよい。この場合、光源部10は、制御部40により設定された後述する制御条件に応じた波長帯域の照射光ILを照射する。
受光部20は、光源部10が照射した照射光ILの照射パルスが被写体Sで反射された反射光RLを受光し、受光した反射光RLの光量を表すデータ(以下、「受光データ」という)を出力する。受光部20は、例えば、1箇所の距離を計測するために反射光RLを受光する画素が一つ以上の受光ゲートを備える距離画像センサ(以下、「ToFセンサ」という)である。受光部20は、例えば、複数の画素が二次元の行列状に配置されていてもよい。受光部20は、例えば、入射した光を受光部20に導く光学レンズ(不図示)によって集光された反射光RLを受光してもよい。受光部20は、入射した反射光RLを、制御部40により設定された後述する制御条件に応じたタイミングでそれぞれの受光ゲートが受光し、それぞれの受光ゲートが受光した反射光RLの光量を表す受光データを算出部30に出力する。
算出部30は、受光部20により出力されたそれぞれの受光ゲートからの受光データを取得する。算出部30は、取得したそれぞれの受光データに基づいて、被写体Sに関するデータを求め、求めたデータ(以下、「被写体データ」という)を推定部50に出力する。より具体的には、算出部30は、取得したそれぞれの受光データを四則演算して、カメラ装置1Aと推定装置1において特性を推定する対象の被写体Sとの間の距離を算出する。算出部30は、算出した被写体Sとの間の距離の値(以下、「距離値」ともいう)を表す被写体データを、推定部50に出力する。
制御装置1Bは、カメラ装置1Aが備える光源部10による照射光ILの照射タイミングと、受光部20が備えるそれぞれの受光ゲートにおける反射光RLの受光タイミングとを制御する。制御装置1Bは、カメラ装置1Aが備える算出部30により出力された被写体データ(距離値)に基づいて、被写体Sの特性を推定する。
制御部40は、推定装置1において被写体Sの特性を推定する際に、制御条件の設定を設定する。制御部40は、カメラ装置1Aが照射光ILを被写体Sに照射する際の照射パルスの制御条件を光源部10に設定し、カメラ装置1Aが反射光RLを受光する際のそれぞれの受光ゲートの制御条件を受光部20に設定する。制御部40では、照射光ILの照射タイミングを変更するための照射パルスに関する複数の所定パターン(以下、「照射パターン」という)と、それぞれの受光ゲートにおける反射光RLの受光タイミングを変更するためのゲートパルスに関する複数の所定パターン(以下、「受光パターン」という)とが、予め定められている(登録されている)。
制御部40は、予め定められている照射パターンと受光パターンとの少なくとも一つが互いに異なるように組み合わせた制御条件を、カメラ装置1Aが備える光源部10と受光部20とのそれぞれに設定する。照射パターンと受光パターンとの組み合わせは、カメラ装置1Aが、同じ状態の被写体Sで反射された反射光RLを受光した場合でも、受光データが表す反射光RLの光量が異なるようにした組み合わせである。このため、受光データが表す反射光RLの光量が同じとなる照射パターンと受光パターンとの組み合わせは一つのみである。推定装置1では、制御部40が制御条件を複数回切り替えることにより、被写体Sの特性を推定する。このため、制御部40は、推定装置1において被写体Sの特性を推定する際に、照射パターンと受光パターンとの組み合わせを変更した条件を複数回設定する。制御部40は、光源部10と受光部20とのそれぞれに設定した制御条件(照射パターンと受光パターンとの組み合わせ)の情報を、推定部50に出力する。
推定部50は、制御部40が光源部10および受光部20に設定した制御条件の情報と、算出部30により出力された被写体データが表す距離値dとに基づいて、被写体Sの特性を推定する。推定部50は、例えば、算出部30により出力された被写体データが表す距離値dを補正し、カメラ装置1Aと被写体Sとの間の距離を推定する。また、推定部50は、例えば、算出部30により出力された被写体データが表す距離値dに基づいて、被写体Sの材質を推定する。また、推定部50は、例えば、算出部30により出力された被写体データが表す距離値dに基づいて、被写体Sの属性を推定する。被写体Sの属性とは、例えば、被写体Sの反射率、屈折率、透過率、減弱係数、吸収係数、散乱断面積、誘電率、密度、および濃度の少なくとも一つ以上を表す情報である。
推定部50は、被写体Sの特性を推定する際に、記憶部60に記憶された後述する特性データを参照する。より具体的には、推定部50は、制御部40が設定した制御条件に対応する特性データを選択し、算出部30により出力された距離値dを選択した特性データと比較することにより、被写体Sの特性を推定する。推定部50は、推定したカメラ装置1Aと被写体Sとの間の距離や、被写体Sの材質、被写体Sの属性を、推定した被写体Sの特性のデータ(以下、「推定データ」という)として出力する。以下の説明において、推定部50が推定して出力する推定データのそれぞれを区別する場合には、カメラ装置1Aと被写体Sとの間の距離を表す推定データを「推定距離D」といい、被写体Sの材質を表す推定データを「推定材質M」といい、被写体Sの属性を表す推定データを「推定属性A」という。
記憶装置1Cは、記憶部60に、制御装置1Bが備える推定部50が被写体Sの特性を推定する際に用いる特性データを記憶している。記憶部60は、例えば、HDD(Hard Disk Drive)、フラッシュメモリなど、特性データを記憶する記憶装置(非一過性の記憶媒体を備える記憶装置)である。なお、特性データは、DVDやCD-ROMなどの着脱可能な記憶媒体(非一過性の記憶媒体)に格納されており、記憶部60が備えるドライブ装置に装着されることで、推定部50により参照されてもよい。また、特性データは、他のコンピュータ装置からネットワークを介して予めダウンロードされて記憶部60に記憶されてもよい。
特性データは、例えば、制御条件と任意の被写体の特性との対応関係を定めたテーブルである。テーブルは、推定装置1の運用を開始する前に、被写体Sを想定した物体を実際に計測することによって作成する。テーブルを作成する際の被写体Sを想定した物体の計測は、例えば、実験室など、試験を行う環境で行ってもよい。例えば、推定装置1において被写体Sとの間の距離を推定する範囲内に被写体Sを想定した物体を実際に置いて、その物体の位置を所定の距離幅で変更しながら、算出部30が求めた距離値dを、制御部40が光源部10や受光部20に設定した制御条件(照射パターンと受光パターンとの組み合わせ)と対応付けて収集する。つまり、推定装置1における被写体Sとの間の距離の推定可能範囲内で、カメラ装置1Aと被写体Sを想定した物体との間の実際の距離を所定の距離幅で変更しながら、複数の制御条件の距離値dを収集する。例えば、推定装置1における被写体Sとの間の距離の推定可能範囲が100[cm]である場合、被写体Sを想定した物体を置く位置を数[cm]刻みで移動させ、それぞれの位置において制御条件を複数回(例えば、数十回程度)変更して、それぞれの制御条件での距離値dを収集する。この場合、例えば、数百個程度の距離値dを収集することになる。
距離値dを収集するために所定の距離に置く被写体Sを想定した物体としては、例えば、推定装置1において推定する被写体Sの材質や色などが同様の物体を用いる。そして、同じ物体に対して収集した複数の距離値dのそれぞれをデータとして、計測に用いた物体に対応するテーブルを作成する。また、物体の材質(例えば、紙、プラスチック、ビニール、金属、布など)や色などを異なるものに変更して同様に算出部30が求めた距離値dを制御条件と対応付けて収集することにより、他の物体に対応するテーブルを作成する。このようにして、推定装置1において推定する対象の被写体Sの推定距離D、推定材質M、推定属性Aをより正確に導き出すための複数のテーブルを、推定する対象の被写体Sの材質や色などの特性ごとに作成する。記憶部60には、このようにして作成した材質や色などが異なる物体に対応する複数のテーブルを記憶している。
次に、制御部40がカメラ装置1Aに設定する照射パターンと受光パターンとの一例について説明する。図2は、制御部40において設定する照射パターンと受光パターンとを説明する図である。図2に示した一例は、受光部20の画素が、反射光RLを受光する二つの受光ゲート(以下、それぞれの受光ゲートを「受光ゲートG1」、「受光ゲートG2」といって区別する)を備える構成である場合の一例である。図2には、制御部40が光源部10に設定する照射パルスIPと、照射パルスIPに応じて光源部10が照射する照射光ILと、被写体Sにより照射光ILが反射されて受光部20に入射される反射光RLと、制御部40が受光部20の受光ゲートG1に設定するゲートパルスGP1、および受光ゲートG2に設定するゲートパルスGP2とにおける時間的な変化の一例を示している。図2において、横軸は時間である。また、図2において、照射パルスIP、ゲートパルスGP1、およびゲートパルスGP2の縦軸は、それぞれのパルスの信号レベルであり、照射光ILおよび反射光RLの縦軸は、それぞれの光の強さ(光強度)である。なお、以下の説明においては、受光ゲートG1と受光ゲートG2とを区別しない場合には、「受光ゲートG」といい、ゲートパルスGP1とゲートパルスGP2とを区別しない場合には、「ゲートパルスGP」という。
照射パターンは、照射光ILの照射時間を表す照射パルスIPのパルス長Tiと、照射する照射光ILの強度(光強度)を表す照射パルスIPの信号レベルLsとを組み合わせたパルス形状で定められる。制御部40では、パルス長Tiと信号レベルLsとの少なくとも一つが異なるように複数の照射パターンを予め定めておく。
なお、照射パターンは、一般的なToFカメラにおいても変更することができるものとして予め準備されているパラメータと同様、または予め準備されているパラメータを用いて設定することができるものである。
光源部10は、制御条件として設定された照射パターンに定められた照射パルスIPのパルス長Tiと信号レベルLsとを再現するような照射光ILを照射する。なお、理想的な照射光ILのパルス形状は、照射パターンで定められた照射パルスIPと同様の矩形の形状である。しかし、光源部10を構成する発光モジュールにおける発光は、必ずしも照射パルスIPと同様の矩形の形状になるとは限らない。これは、発光モジュールが実際に発光する光には、照射パルスIPが表す立ち上がり(発光開始)や立ち下がり(発光終了)のタイミングから実際に照射パルスIPが表す状態(発光状態または消光状態)になるまでに所定の遷移時間を要するためである。このため、照射光ILが被写体Sで反射して受光部20に入射する反射光RLの光量にも、照射光ILと同様の時間的な遷移が含まれることになる。
図2には、照射パルスIPに応じて光源部10が照射する照射光ILの光量の時間的な遷移の一例を示している。また、図2には、反射光RLの光量の時間的な遷移の一例を示している。なお、図2に示した反射光RLの一例では、照射光ILが全て被写体Sによって反射して反射光RLとして戻ってくる場合を示しているが、被写体Sにおいて照射光ILの散乱が起こった場合には、照射した照射光ILが全て反射光RLとして戻らず、反射光RLの光量やパルス形状は、照射光ILと異なるものとなる。なお、照射光ILと反射光RLとの時間差tは、カメラ装置1Aと被写体Sとの間の距離によるものである。
なお、光源部10が照射する照射光ILの波長帯域を変更することができる構成である場合、照射パターンにおいて照射光ILの波長帯域を予め定めておいてもよい。また、図2では、照射パルスIPが一つの矩形パルスである場合を示したが、照射パルスIPは、パルス長Tiや信号レベルLs(照射光ILの波長帯域を含んでもよい)が異なる複数の矩形パルスが連続した形状であってもよい。
受光パターンは、入射した反射光RLを受光するそれぞれの受光ゲートGが反射光RLを受光する受光時間を表すゲートパルスGPのパルス長Tgと、ゲートパルスGPにおける照射パルスIPからの相対的時刻差Tdとの組み合わせで定められる。ゲートパルスGPのパルス長Tgは、それぞれの受光ゲートGの感度に係る応答時間である。また、ゲートパルスGPの相対的時刻差Tdは、照射パルスIPの開始時刻(立ち上がりタイミング)からゲートパルスGPの開始時刻(立ち上がりタイミング)までの間の遅れ時間である。制御部40では、ゲートパルスのパルス長Tgと相対的時刻差Tdとの少なくとも一つが異なるように複数の受光パターンを予め定めておく。
なお、受光パターンは、受光部20が備えるそれぞれの受光ゲートGごとに定める。このとき、相対的時刻差Tdは、時間的に先のゲートパルスGP(図2では、ゲートパルスGP1)に対して定め、このゲートパルスGP(ゲートパルスGP1)の終了時刻と同じ時刻を、ゲートパルスGP2に対応する相対的時刻差、つまり、照射パルスIPの開始時刻(立ち上がりタイミング)から、時間的に後のゲートパルスGP(図2では、ゲートパルスGP2)の開始時刻(立ち上がりタイミング)までの間の遅れ時間としてもよい。また、パルス長Tgは、ゲートパルスGP1とゲートパルスGP2とにおいて同じパルス長Tgであってもよい。
また、図2では、受光パターンにおけるそれぞれのゲートパルスGPが一つの矩形パルスである場合を示したが、それぞれのゲートパルスGPは、パルス長Tgや信号レベルが異なる複数の矩形パルスが連続した形状であってもよい。この場合、それぞれの受光ゲートGにおける反射光RLの受光時間に応じた重み付けをした処理をすることができる。
なお、受光パターンは、一般的なToFカメラにおいても変更することができるものとして予め準備されているパラメータと同様、または予め準備されているパラメータを用いて設定することができるものである。
受光部20の画素は、制御条件として設定された受光パターンに定められたそれぞれの受光ゲートGのパルス長Tgと相対的時刻差Tdとを再現した期間に、入射した反射光RLを受光する。そして、それぞれの受光ゲートGは、受光した反射光RLの光量を表す受光データを算出部30に出力する。受光データは、例えば、受光ゲートGが受光した反射光RLの光量に応じて発生した電荷を蓄積(積分)した電荷量である。図2には、受光ゲートG1がゲートパルスGP1の期間中に発生して積分した積分電荷I1の受光データを出力し、受光ゲートG2がゲートパルスGP2の期間中に発生して積分した積分電荷I2の受光データを出力する状態を示している。
算出部30は、受光部20により出力されたそれぞれの受光ゲートGからの受光データを四則演算して被写体Sとの間の一つの距離値を求める。このとき、まず、算出部30は、積分電荷I1と、積分電荷I2と、照射パルスIPのパルス長Tiとのそれぞれを下式(1)に代入して、照射光ILと反射光RLとの時間差tを求める。
Figure 0007317732000001
その後、算出部30は、上式(1)により求めた時間差tと、光速cとのそれぞれを下式(2)に代入して、被写体Sとの間の距離値dを求める。
Figure 0007317732000002
なお、受光部20の画素は、反射光RLを受光する受光ゲートGの他に、推定装置1において被写体Sの特性を推定する環境の光(環境光)を受光する受光ゲート(以下、「受光ゲートGB」という)を備える構成も考えられる。この場合、算出部30は、上式(1)に代えて下式(3)により、環境光の影響を低減させた状態の時間差tを求めることができる。
Figure 0007317732000003
上式(3)において、IBは、受光ゲートGBがゲートパルスGP2の後のゲートパルスGPBの期間中に発生して積分した積分電荷である。なお、ゲートパルスGPBのパルス長Tgおよび相対的時刻差Tdも、受光パターンによって予め定められている。このとき、ゲートパルスGPBのパルス長Tgおよび相対的時刻差Tdも、ゲートパルスGP2のパルス長Tgおよび相対的時刻差Tdの考え方と同様に、ゲートパルスGP2との関係に基づいて定めてもよい。
算出部30は、上式(2)により求めた距離値dを表す被写体データを、推定部50に出力する。
なお、推定装置1では、被写体Sの特性を推定する際に、制御部40が光源部10および受光部20に設定する制御条件を複数回切り替える。つまり、推定装置1では、被写体Sの特性を1回の推定する際に、算出部30は、制御部40が照射パターンや受光パターンを複数回切り替えることによりそれぞれの受光ゲートGにより出力された複数の受光データを取得する。このため、算出部30は、取得した複数の受光データの一部または全て、或いは二つ以上の受光データを要素とした多次元のベクトルに基づいて、被写体データを求めてもよい。より具体的には、算出部30は、積分電荷I1と積分電荷I2とのそれぞれに対応する、複数の積分電荷Iを要素とした多次元のベクトルを四則演算して、距離値dを求めてもよい。ここで、積分電荷I1に対応する多次元のベクトルvI1は、例えば、下式(4)のように表される。
Figure 0007317732000004
上式(4)において、多次元のベクトルvI1の各要素の右下の数字は、積分電荷I1であることを意味し、各要素の右上の数字は、制御条件(照射パターンや受光パターン)を識別する識別番号を意味している。なお、識別番号=nは、制御条件の総数、つまり、推定装置1における1回の被写体Sの特性の推定において、制御部40が制御条件をn回切り替えたことを意味している。
なお、多次元のベクトルは、例えば、下式(5)のように、距離値dの相関を表す時間差tで表したものであってもよい。
Figure 0007317732000005
上式(5)において、多次元のベクトルvの各要素の右上の数字は、上式(4)と同様に、制御条件を識別する識別番号を意味している。
また、多次元のベクトルは、例えば、下式(6)のように、上式(4)で表される多次元のベクトルvI1と、上式(5)で表される多次元のベクトルvとを組み合わせたものであってもよい。
Figure 0007317732000006
上式(6)において、多次元のベクトルvI1tの各要素の右下の数字と右上の数字との意味は、上式(4)と同様である。
次に、記憶部60に記憶する特性データ(テーブル)の作成方法の一例について説明する。図3は、記憶部60に記憶するテーブルの作成方法を説明する図である。図3には、制御条件としてのパルス長Tiと、算出部30が求めた距離値dとに基づいて、カメラ装置1Aと被写体Sとの間の推定距離Dを推定するためのテーブルを作成する場合の一例を示している。
特性データ(テーブル)を作成する場合、被写体Sを想定した計測物体SOを推定装置1から被写体Sとの間の推定可能範囲内の位置に置き、制御部40によって所定の制御条件を設定して、距離値dを計測する。図3では、計測物体SOを推定装置1から距離Dpだけ離れた位置に置いて距離値dを計測している状態を示している。さらに、計測物体SOを同じ位置に置いた状態で、制御部40によって制御条件の設定を変更して、同様に距離値dを計測する。この計測物体SOを同じ位置に置いた状態で制御条件を変更した距離値dの計測を、予め定めた回数だけ繰り返して、距離値dを収集する。ここで、テーブルを作成する際に収集する距離値dの個数、つまり、制御条件を変更する回数は、同じ位置に置いた計測物体SOからの反射光RLを受光ゲートGが受光して出力する積分電荷Iが異なる値となる照射パターンと受光パターンとの組み合わせの数分である。
なお、照射パターンと受光パターンとの組み合わせは、推定装置1を運用する際に一つの被写体Sの特性を推定するために制御部40が変更する(切り替える)照射パターンと受光パターンとの組み合わせの数分であってもよい。なお、ここで収集される距離値dは、制御条件が異なるが、推定装置1と計測物体SOとの間の距離は同じ距離を表すものである。例えば、計測物体SOを推定装置1から30[cm]離れた位置に配置した状態で収集される距離値dは、制御条件が異なっても、推定装置1と計測物体SOとの間の距離が30[cm]であることを表す。しかし、例えば、測定誤差など、制御条件の違いによる距離値dの差が表れる。このような制御条件の違いによる距離値dの差を低減させる(補正する)ために、それぞれの制御条件でテーブルを作成するための距離値dを収集するのである。
その後、計測物体SOを置く位置を所定の距離幅だけ変更して、同様に距離値dを収集する。この距離値dの収集作業を、推定装置1における推定可能範囲内で計測物体SOを置く位置を所定の距離幅で順次変更しながら繰り返す。
このようにしてテーブルを作成するための距離値dを収集する。なお、距離値dは、制御部40が光源部10および受光部20に設定する制御条件を複数回切り替えて収集したものである。このため、収集した複数の距離値dの一部または全て、或いは二つ以上の距離値dを要素として、例えば、下式(7)のような多次元のベクトルvとして表すことができる。
Figure 0007317732000007
上式(7)において、多次元のベクトルvの各要素の右上の数字は、制御条件(照射パターンや受光パターン)を識別する識別番号であることを意味している。なお、識別番号=nは、制御条件の総数、つまり、テーブルを作成するための距離値dを収集する際に制御部40が制御条件をn回切り替えたことを意味している。
テーブルは、収集した多次元のベクトルvに基づいて生成する。図3には、作成するテーブルの特徴を容易に示すため、横軸を制御条件(ここでは、パルス長Ti)、縦軸を算出部30が求めた距離値dとしたグラフ上に多次元のベクトルvの各要素である距離値dをプロットした形式で作成したテーブルの一例を示している。推定装置1の運用においては、図3に示したグラフにおける縦軸の値が推定距離Dとなる。
なお、特性データ(テーブル)は、図3に示した右側のグラフのように、プロットした多次元のベクトルvの各要素に基づいて、多次元のベクトルvを、例えば、下式(8)のように近似することにより表される、下式(9)のような特徴量(以下、「特徴量^v」という)としてもよい。
Figure 0007317732000008
Figure 0007317732000009
なお、多次元のベクトルvを特徴量^vで表すための近似式は、上式(8)のような一次元の近似式に限定されるものではなく、例えば、二次元の近似式で多次元のベクトルvを近似してもよい。つまり、直線近似に限定されるものではなく、曲線近似であってもよい。
なお、特徴量は、上式(9)と受光ゲートGが受光して出力する積分電荷Iとを組み合わせて、下式(10)としてもよい。
Figure 0007317732000010
ここで、上式(10)の右辺の第3の要素は、積分電荷I1に対応する要素であり、下式(11)であるものとする。
Figure 0007317732000011
また、特徴量は、上式(7)の多次元のベクトルvから一つ以上の要素を抽出して、下式(12)としてもよい。
Figure 0007317732000012
また、特徴量は、上式(7)の多次元のベクトルvにおいて隣接する要素同士の差分として、下式(13)としてもよい。
Figure 0007317732000013
このように、推定装置1と計測物体SOとの間の距離(ここでは、距離Dp)と、制御部40により光源部10および受光部20に設定する制御条件とを複数回変更しながら、被写体Sを想定した計測物体SOを実際に計測した距離値dを、テーブルを作成するための距離値dとして収集することにより、一種類の被写体Sに対応するテーブルを作成する。また、他の種類の被写体Sに対応するテーブルを作成する際には、計測物体SOを他の種類の材質(例えば、紙、プラスチック、ビニール、金属、布など)や色の物体に交換した後、同様に距離値dを収集して他の種類の被写体Sに対応するテーブルを作成する。
ここで作成されたテーブルは、想定される被写体Sの材質や色などに対応したテーブルである。このため、推定装置1の運用において推定部50は、記憶部60に記憶されたテーブルを参照し、推定装置1を運用して計測した距離値dに基づいて、材質や色などの影響が軽減された被写体Sの特性を得て、推定データとして出力することができる。つまり、推定部50は、推定装置1を運用して計測した距離値dに基づいて、複数の材質や色が組み合わされて構成された被写体において、その材質や色の影響によって受光ゲートGが受光する反射光RLが変化した場合でも、同じ物体であり、同じ位置に置かれているものとして特性を推定した推定データを出力することができる。図1に示した被写体Sでは、推定部50は、液体や固体(半固体を含む)などの内容物が収められた半透明のプラスチック容器の本体と、プラスチック容器の表面に貼り付けられている紙のラベルLとが、同じ被写体Sに属するものであり、同じ位置に置かれているものとして特性を推定した推定データを出力することができる。
次に、推定装置1の運用における動作について説明する。図4は、第1の実施形態の推定装置1における推定の動作の流れを示すフローチャートである。なお、以下の説明においては、推定部50が被写体Sの特性を推定するために用いるテーブルが、すでに記憶部60に記憶されているものとする。推定装置1を運用する場合、制御部40は、テーブルを作成したときと同じ制御条件をカメラ装置1Aに設定し(つまり、同じ回数繰り替えて)、推定部50が、テーブルを参照して、算出部30により出力された被写体データに基づいて被写体Sの特性を推定する。以下の説明においては、制御部40がカメラ装置1Aに設定する制御条件をn回切り替え、算出部30が、上式(7)で表される多次元のベクトルvと同様の形式の多次元のベクトルを被写体データとして推定部50に出力するものとする。
推定装置1が被写体Sの特性を推定する動作を開始すると、制御部40は、カメラ装置1Aが備える光源部10および受光部20に最初の制御条件(照射パターンと受光パターンとの組み合わせ)を設定する(ステップS101)。これにより、光源部10は、制御条件として設定された照射パターンに応じた照射光ILを被写体Sに照射する。また、受光部20は、制御条件として設定された受光パターンに応じたタイミングでそれぞれの受光ゲートGが受光した反射光RLの光量を表す受光データを算出部30に出力する。
続いて、算出部30は、受光部20により出力されたそれぞれの受光ゲートGからの受光データを取得する(ステップS102)。そして、算出部30は、取得したそれぞれの受光データに基づいて、今回の制御条件における被写体データ(距離値d)を求める。
続いて、制御部40は、光源部10および受光部20に設定する制御条件の繰り返しがn回終了したか否かを判定する(ステップS103)。ステップS103において、制御条件の設定の繰り返しがn回終了していない場合、制御部40は、処理をステップS101に戻して、次の制御条件(照射パターンと受光パターンとの別の組み合わせ)を設定する。
一方、ステップS103において、制御条件の設定の繰り返しがn回終了した場合、制御部40は、例えば、被写体Sの受光データの取得を終了することを光源部10および受光部20に通知する。これにより、光源部10は、照射光ILの被写体Sへの照射を終了し、受光部20は、受光ゲートGにおける反射光RLの受光と受光データに出力とを終了する。また、算出部30は、それぞれの制御条件において求めたn回分の被写体データを含む多次元のベクトルを、被写体Sの被写体データとして推定部50に出力する(ステップS104)。
続いて、推定部50は、制御部40により出力された制御条件の情報に基づいて、記憶部60に記憶されている、対応するテーブルを選択して取得する(ステップS105)。このとき、推定部50は、複数のテーブルを選択して記憶部60から取得してもよい。そして、推定部50は、記憶部60から取得したテーブルに表されたデータと、算出部30により出力された被写体データ(多次元のベクトル)が表すそれぞれの制御条件の距離値dとを比較して、被写体Sの特性を推定する。推定部50は、推定した被写体Sの特性の推定データを出力する(ステップS106)。
ここで、推定部50における被写体Sの特性の推定方法の一例について説明する。以下の説明においては、被写体Sの特性として、カメラ装置1Aと被写体Sとの間の推定距離Dを推定するものとする。
推定部50は、算出部30により出力された被写体データが表す距離値dを、記憶部60から取得したテーブルの入力とする。そして、推定部50は、テーブルに含まれる推定距離Dに対応するそれぞれの距離値d(推定装置1の運用を開始する前に計測物体SOを計測して得た距離値d:以下、「テーブル距離値dT」という)と、入力とする被写体データが表す距離値dとの類似度を求める。推定部50は、類似度が最も高い一つのテーブル距離値dTに対応する推定距離Dを、今回の計測した被写体Sとカメラ装置1A、つまり、推定装置1との間の距離として、推定データを出力する。
なお、推定部50における被写体Sの特性の推定は、最も類似度が高いテーブルのデータとする方法に限定されない。推定部50は、例えば、テーブルの入力となる算出部30により出力された距離値dと、テーブルに含まれる複数(例えば、二つ)のテーブル距離値dTとの間で、類似度に基づいた距離の重み付け係数による計算を行って得た値(ここでは、距離値)を、推定データとして出力してもよい。この重み付け係数による計算は、例えば、下式(14)によって行う。
Figure 0007317732000014
上式(14)において、rは、入力となる距離値dのk番目の近傍データを計算したときの距離を意味し、Sは、入力となる距離値dとk番目の近傍データとのベクトル間距離(つまり、類似度)を意味し、Kは、重み付けの計算に用いるデータの数を意味している。
なお、ベクトル間距離は、例えば、ブレイカーティス(BrayCurtis)距離、キャンベラ(Canberra)距離、シェビシェフ(Chebyshev)距離、マンハッタン距離(L1ノルム)、ユークリッド距離(L2ノルム)、マハラノビス(Mahalanobis)距離、ミンコフスキー(Minkowski)距離、ワッサースタイン(Wasserstein)距離、コサイン類似度、およびヒストグラム交差法(Histogram Intersection)の少なくとも一つ以上の重み付け和である。
このような処理によって、推定部50は、記憶部60に記憶された特性データ(テーブル)を参照して、カメラ装置1Aと被写体Sとの間の推定距離Dを推定する。
上述したように、第1の実施形態の推定装置1では、制御部40が、カメラ装置1Aが備える光源部10および受光部20を動作させる際の制御条件(照射パターンおよび受光パターン)を複数回変更する(切り替える)。そして、第1の実施形態の推定装置1では、推定部50が、予め記憶部60に記憶しておいたテーブルを参照して、カメラ装置1Aが備える算出部30により出力された被写体データに基づいて、対象の被写体Sの特性を推定する。これにより、第1の実施形態の推定装置1では、対象の被写体Sの特性の推定に関して、高精度な計測結果(または補正結果)を得ることができる。
しかも、第1の実施形態の推定装置1において推定部50が光源部10および受光部20に対して設定を複数回切り替える制御条件は、一般的なToFカメラにおいても変更することができるものとして予め準備されているパラメータ、または予め準備されているパラメータを用いて設定することができるパラメータのパターンを、照射パターンおよび受光パターンとして複数準備しておいたものである。このため、第1の実施形態の推定装置1では、一般的なToFカメラに対して難易度の高い変更や改良をしたものをカメラ装置1Aとして備えるのではなく、従来からあるToFカメラを、被写体Sとの間の距離値dを計測するカメラ装置1Aとして利用することができる。言い換えれば、第1の実施形態の推定装置1では、ToFカメラに対して従来から行っているそれぞれのパラメータを設定する処理と同様の処理を、制御部40が制御条件を設定する処理として複数回行う(切り替える)ことにより、必要なカメラ装置1Aの機能を実現することができる。これにより、第1の実施形態の推定装置1では、容易な方法で計測を行って被写体Sの特性を推定することができる。
なお、第1の実施形態の推定装置1では、推定部50が、被写体Sの特性として、カメラ装置1Aと被写体Sとの間の推定距離Dを推定する場合を説明した。しかし、上述したように、推定部50は、被写体Sの推定距離Dの他にも、例えば、被写体Sの材質(推定材質M)や、被写体Sの属性(推定属性A)を推定することができる。ただし、この場合の推定部50における推定の処理も、上述した推定距離Dを推定する処理と同様に考えることができる。従って、推定部50における推定距離D以外の推定処理に関する詳細な説明は省略する。
(第1の実施形態の変形例)
なお、第1の実施形態の推定装置1では、記憶部60に記憶しておく特性データとして、推定装置1の運用を開始する前に作成したテーブルを記憶している場合について説明した。しかし、記憶部60に記憶しておく特性データは、上述したテーブルに限定されない。例えば、ニューラルネットワークや、ディープニューラルネットワーク、畳み込みニューラルネットワークなどの機械学習の技術を用いて学習した学習済みモデルのネットワーク構造やパラメータを、記憶部60に記憶しておいてもよい。学習済みモデルは、例えば、制御部40が光源部10および受光部20に設定した制御条件の情報と、算出部30により出力された被写体データが表す距離値dとが入力されると、入力された距離値dが表す被写体Sの特性を結果として出力するように機械学習されたモデルである。学習済みモデルが出力する被写体Sの特性の結果は、例えば、距離値dの差を低減させるための補正された距離値dや、被写体Sの材質、色などである。
この学習済みモデルも、テーブルを作成するときと同様の方法で、被写体Sを想定した物体を実際に計測することによって作成する(図3を参照)。このとき、機械学習モデルの入力側に、制御条件の情報と距離値dとを入力データとして入力し、機械学習モデルの出力側に、推定装置1と計測物体SOとの間の距離(距離Dp)、計測物体SOの材質や色などの情報を教師データとして入力して、機械学習モデルを学習させて学習済みモデルを作成する。この場合、推定部50は、制御部40により出力された制御条件の情報と、算出部30により出力された距離値dとのそれぞれを学習済みモデルに入力し、距離値dが表す被写体Sの特性を学習済みモデルが推定した結果を得て、推定データとして出力する。
また、例えば、算出部30により出力された被写体データが表す距離値dに基づいて推定する被写体Sの属性として、被写体Sの属性を表す情報を含み、この被写体Sの属性を推定するための、テーブルや学習済みモデルを記憶部60に記憶しておいてもよい。被写体Sの属性とは、例えば、被写体Sの反射率、屈折率、透過率、減弱係数、吸収係数、散乱断面積、誘電率、密度、および濃度の少なくとも一つ以上を表す情報である。この場合も、推定部50は、上述した推定距離Dを推定する際の処理と同様の処理によって、推定した被写体Sの属性を、推定データとして出力する。
上記説明したように、推定装置1は、被写体Sに照射する照射光ILの照射パターンと、照射光ILが被写体Sで反射された反射光RLを受光する受光パターンと、の少なくとも一つが互いに異なるように設定した複数の制御条件を切り替える制御部40と、それぞれの複数の制御条件下において、一つ以上の受光ゲートGによって受光することで取得された被写体に関する被写体データに基づいて、被写体Sの特性を推定する推定部50と、を備える。
また、上記説明したように、推定装置1において、照射パターンは、照射光ILの照射パルスのパルス長Tiと信号レベルLsとの少なくとも一つが異なるように設定され、受光パターンは、受光ゲートGが反射光RLを受光する際の感度に係る時間応答を定めるゲートパルスのパルス長Tgと、照射パルスの開始時刻から当該ゲートパルスの開始時刻までの相対的時刻差Tdとの少なくとも一つが異なるように設定されてもよい。
また、上記説明したように、推定装置1は、複数の制御条件と被写体Sの特性との対応関係を定めた特性データを記憶する記憶部60、をさらに備え、推定部50は、被写体データを取得する際に用いた制御条件に基づいて選択した特性データに基づいて、取得した被写体データが表す被写体Sの特性を推定してもよい。
また、上記説明したように、推定装置1において、推定部50は、取得した被写体データが表す被写体Sの特性と、選択した特性データに対応付けられた被写体Sの特性との類似度に基づいた重み係数によって、特性データに対応付けられた二つ以上の被写体Sの特性を重み付けした和を、被写体データが表す被写体Sの特性として推定してもよい。
また、上記説明したように、推定装置1において、特性データは、受光ゲートGが受光した反射光RLの一部または全てを表すデータ、或いは二つ以上のデータを要素とする多次元のベクトルを四則演算した結果であってもよい。
また、上記説明したように、推定装置1において、特性データは、多次元のベクトルをさらに変換した少なくとも一つ以上の要素からなる特徴量であってもよい。
また、上記説明したように、推定装置1において、推定部50は、複数の制御条件に基づいて被写体Sの特性を推定するニューラルネットワークを記憶する記憶部60、をさらに備え、推定部50は、被写体データと、当該被写体データを取得する際に用いた制御条件とをニューラルネットワークに入力して、取得した被写体データが表す被写体Sの特性を推定してもよい。
また、上記説明したように、推定装置1において、被写体Sの特性は、被写体Sとの間の距離を含んでもよい。
また、上記説明したように、推定装置1において、被写体Sの特性は、被写体Sの材質を含んでもよい。
また、上記説明したように、推定装置1において、被写体Sの特性は、被写体Sの属性を表す情報を含んでもよい。
また、上記説明したように、推定装置1において、被写体Sの属性を表す情報は、被写体Sの反射率、屈折率、透過率、減弱係数、吸収係数、散乱断面積、誘電率、密度、および濃度の少なくとも一つ以上を表す情報であってもよい。
また、推定装置1は、CPU、GPUなどのプロセッサや、LSI、ASIC、FPGAなどのハードウェア、専用のLSIなどによって実現され、ROMやRAM、HDD、フラッシュメモリなどの記憶装置を備え、プロセッサが、光源部10により照射された照射光ILが被写体Sで反射された反射光RLを一つ以上の受光ゲートGによって受光することで取得される、被写体Sに関する被写体データを出力し、照射光ILの照射パターンと、反射光RLの受光パターンとの少なくとも一つが互いに異なるように設定した複数の制御条件を切り替え、それぞれの複数の制御条件下において取得した被写体データに基づいて被写体Sの特性を推定する、推定方法を実行する装置であってもよい。
また、推定装置1は、CPU、GPUなどのプロセッサや、LSI、ASIC、FPGAなどのハードウェア、専用のLSIなどによって実現され、ROMやRAM、HDD、フラッシュメモリなどの記憶装置を備え、記憶装置には、プロセッサに、光源部10により照射された照射光ILが被写体Sで反射された反射光RLを一つ以上の受光ゲートGによって受光することで取得される、被写体Sに関する被写体データを出力させ、照射光ILの照射パターンと、反射光RLの受光パターンとの少なくとも一つが互いに異なるように設定した複数の制御条件を切り替えさせ、それぞれの複数の制御条件下において取得した被写体データに基づいて被写体Sの特性を推定させる、プログラムが記憶された装置であってもよい。
(第2の実施形態)
以下、第2の実施形態の推定装置について説明する。図5は、第2の実施形態の推定装置の構成の一例を示すブロック図である。推定装置2は、例えば、光源部10と、受光部20と、算出部30と、制御部42と、推定部52と、記憶部60と、調整部70と、を備える。
推定装置2は、図1に示した第1の実施形態の推定装置1に調整部70が追加されている。そして、推定装置2では、推定装置1が備える制御装置1Bに調整部70が追加されて制御装置2Bとなっている。このため、推定装置2では、推定装置1が備える制御部40が制御部42に代わり、推定部50が推定部52に代わっている。推定装置2が備えるその他の構成要素は、第1の実施形態の推定装置1が備える構成要素と同様の構成要素である。従って、以下の説明においては、推定装置2が備える構成要素において、第1の実施形態の推定装置1の構成要素と同様の構成要素には、同一の符号を付与し、それぞれの構成要素に関する詳細な説明を省略する。
制御装置2Bも、推定装置1が備える制御装置1Bと同様に、カメラ装置1Aが備える光源部10による照射光ILの照射タイミングと、受光部20が備えるそれぞれの受光ゲートGにおける反射光RLの受光タイミングとを制御し、算出部30により出力された被写体データ(距離値d)に基づいて、被写体Sの特性を推定する。
制御部42は、推定装置1が備える制御部40と同様に、推定装置2において被写体Sの特性を推定する際に、光源部10と受光部20とのそれぞれに制御条件の設定を設定する。また、制御部42は、設定した制御条件(照射パターンと受光パターンとの組み合わせ)の情報を、調整部70にも出力する。
調整部70は、算出部30により出力された被写体データが表す距離値dとに基づいて、被写体データの時間的または空間的な揺らぎ、つまり、距離値dのばらつきを判定する。このとき、調整部70は、制御部42により出力された制御条件の情報を参照してもよい。調整部70は、判定した被写体データの揺らぎに応じて、制御部42が光源部10および受光部20に設定する制御条件を変更する回数や、推定部52が被写体Sの特性を推定するために記憶部60から取得して参照する特性データ(テーブル)の数、重み付け係数の少なくとも一つ以上の条件を調整する。
例えば、被写体データの時間的な揺らぎが大きい場合、調整部70は、制御部42が制御条件を変更する回数(上式(4)~上式(6)における「n」の数)を多くするように調整する。この場合、制御部42は、推定装置1の運用において制御条件を設定する回数を、特性データ(テーブル)を作成したときよりも少なくしておき、調整部70が制御条件を変更する回数を多くするように調整した場合に、制御条件を設定する回数が特性データ(テーブル)を作成したときと同じ回数になるようにしてもよい。また、例えば、被写体データの時間的な揺らぎが大きい場合、調整部70は、制御部42が設定した一つの制御条件で計測する距離値dの回数を多くするように調整してもよい。また、例えば、被写体データの時間的な揺らぎが少ない場合、調整部70は、今回の被写体Sに対する距離値dの計測を終了させるように調整してもよい。また、例えば、被写体データの時間的な揺らぎが少ない場合、調整部70は、制御部42が設定した一つの制御条件での距離値dの計測を終了して次の制御条件での計測を開始するように調整してもよい。このとき、調整部70は、制御部42により出力された制御条件の情報に基づいて、変更する条件を指定するようにしてもよい。
推定部52は、推定装置1が備える推定部50と同様に、制御部42により出力された制御条件の情報と、算出部30により出力された被写体データが表す距離値dとに基づいて、被写体Sの特性を推定する。このとき、推定部52は、調整部70により調整された数の特性データ(テーブル)や重み付け係数で被写体Sの特性を推定する。推定部52も、推定した被写体Sの特性(推定距離D、推定材質M、推定属性A)を推定データとして出力する。
次に、推定装置2の運用における動作について説明する。図6は、第2の実施形態の推定装置2における推定の動作の流れを示すフローチャートである。なお、以下の説明においても、推定部52が被写体Sの特性を推定するために用いるテーブルが、すでに記憶部60に記憶されているものとする。推定装置2を運用する場合、制御部42は、特性データ(テーブル)を作成したときと同じ制御条件をカメラ装置1Aに設定し(つまり、同じ回数繰り替えて)、推定部52が、調整部70により調整された特性データ(テーブル)を参照して、算出部30により出力された被写体データに基づいて被写体Sの特性を推定する。以下の説明においても、制御部42がカメラ装置1Aに設定する制御条件をn回切り替え、算出部30が、上式(7)で表される多次元のベクトルvと同様の形式の多次元のベクトルを被写体データとして推定部52と調整部70とのそれぞれに出力するものとする。また、以下の説明においては、調整部70が、推定部52が被写体Sの特性を推定するために記憶部60から取得する特性データ(テーブル)の数を調整するものとする。
なお、図6に示した推定装置2の動作の流れを示すフローチャートには、第1の実施形態の推定装置1の動作の流れを示すフローチャートと同様の動作(処理)を含んでいる。従って、以下の説明においては、推定装置2の動作の流れを示すフローチャートにおいて、推定装置1の動作の流れを示すフローチャートと同様の動作(処理)には、同一のステップ番号を付与し、異なる動作(処理)に重点をおいて説明する。
推定装置2が被写体Sの特性を推定する動作を開始すると、制御部42は、カメラ装置1Aが備える光源部10と受光部20とのそれぞれに制御条件を設定する(ステップS101)。これにより、光源部10は被写体Sに照射光ILを照射し、受光部20はそれぞれの受光ゲートGが受光した反射光RLの光量を表す受光データを算出部30に出力する。そして、算出部30は、受光部20により出力されたそれぞれの受光データを取得し(ステップS102)、取得したそれぞれの受光データに基づいて被写体データ(距離値d)を求める。
制御部42は、設定する制御条件の繰り返しがn回終了した場合(ステップS103の「YES」)、制御条件の変更(切り替え)を終了し、算出部30は、それぞれの制御条件において求めたn回分の被写体データを含む多次元のベクトルを、被写体Sの被写体データとして推定部52と調整部70とのそれぞれに出力する。
続いて、調整部70は、算出部30により出力された被写体データ(多次元のベクトル)が表すそれぞれの制御条件の距離値dのばらつきを判定する。そして、調整部70は、判定した距離値dのばらつきに基づいて、推定部52が被写体Sの特性を推定するために記憶部60から取得するテーブルの数を決定する(ステップS204)。調整部70は、決定したテーブルの数を推定部52に出力する。
続いて、推定部52は、制御部42により出力された制御条件の情報に基づいて記憶部60に記憶されている対応するテーブルを選択し、調整部70により出力された数のテーブルを取得する(ステップS205)。そして、推定部52は、記憶部60から取得したテーブルに表されたデータと、算出部30により出力された被写体データ(多次元のベクトル)が表すそれぞれの制御条件の距離値dとを比較して、被写体Sの特性を推定する。推定部52は、推定した被写体Sの特性の推定データを出力する(ステップS106)。
上述したように、第2の実施形態の推定装置2でも、第1の実施形態の推定装置1と同様に、制御部42が、カメラ装置1Aが備える光源部10および受光部20を動作させる際の制御条件(照射パターンおよび受光パターン)を複数回変更する(切り替える)。そして、第2の実施形態の推定装置2では、調整部70が、カメラ装置1Aが備える算出部30により出力された被写体データのばらつきを判定し、制御部42がカメラ装置1Aに設定する制御条件を変更する回数や、推定部52が被写体Sの特性を推定するために記憶部60から取得する特性データ(テーブル)の数、重み付け係数などを調整する。その後、第2の実施形態の推定装置2でも、第1の実施形態の推定装置1と同様に、推定部52が、記憶部60から取得したテーブルを参照し、カメラ装置1Aが備える算出部30により出力された被写体データに基づいて、対象の被写体Sの特性を推定する。これにより、第2の実施形態の推定装置2でも、第1の実施形態の推定装置1と同様に、容易な計測方法で、対象の被写体Sの特性の推定に関して、高精度な計測結果(または補正結果)を得ることができる。さらに、第2の実施形態の推定装置2では、被写体データのばらつきを判定することにより、例えば、被写体Sの特性を計測する環境の変動(環境光の変動)などの外乱に対して耐性(ロバスト性)が高い計測結果(または補正結果)を得ることができる。
なお、第2の実施形態の推定装置2では、調整部70が、推定部52が被写体Sの特性を推定するために記憶部60から取得する特性データ(テーブル)の数を調整する場合を説明した。しかし、上述したように、調整部70は、制御部42が設定する制御条件を変更する回数や、推定部52が被写体Sの特性を推定する際の重み付け係数なども調整することができる。ただし、この場合の調整部70における調整の処理も、上述した特性データ(テーブル)の数を調整する処理と同様に考えることができる。従って、調整部70における特性データ(テーブル)の数の調整処理に関する詳細な説明は省略する。また、第1の実施形態の推定装置1と同様に、推定部52における推定距離D以外の推定処理に関する詳細な説明も省略する。
上記説明したように、推定装置2は、被写体データにおける時間的または空間的なばらつきに応じて、推定部50が被写体Sの特性を推定する際に用いる被写体データの数を調整する調整部70、をさらに備えてもよい。
また、上記説明したように、推定装置2は、被写体データにおける時間的または空間的なばらつきに応じて、推定部50が選択する特性データの数、または重み係数を調整する調整部70、をさらに備えてもよい。
(第3の実施形態)
以下、第3の実施形態の推定装置について説明する。第1の実施形態の推定装置1および第2の実施形態の推定装置2では、推定部50または推定部52により出力された推定データの利用については詳細に説明していなかった。第3の実施形態の推定装置では、推定部50により出力された推定データの利用の一例について説明する。以下の説明においては、受光部20が、距離を計測するために反射光RLを受光する画素が二次元の行列状に複数配置されている距離画像センサであり、それぞれの画素により出力された受光データに基づく推定データを用いて、被写体Sの特性を画像として表した特性画像を生成する場合について説明する。
図7は、第3の実施形態の推定装置の構成の一例を示すブロック図である。推定装置3は、例えば、光源部10と、受光部20と、算出部30と、制御部40と、推定部50と、記憶部60と、画像処理部80と、を備える。
推定装置3は、図1に示した第1の実施形態の推定装置1に画像処理部80が追加されている。そして、推定装置3では、画像処理部80が分散的に配置され、処理装置3Dとして構成されている。推定装置3が備えるその他の構成要素は、第1の実施形態の推定装置1が備える構成要素と同様の構成要素である。従って、以下の説明においては、推定装置3が備える構成要素において、第1の実施形態の推定装置1の構成要素と同様の構成要素には、同一の符号を付与し、それぞれの構成要素に関する詳細な説明を省略する。
処理装置3Dが備える画像処理部80は、推定部50により出力された推定データに対して所定の画像処理を施して特性画像を生成する。また、画像処理部80は、生成した特性画像に対してさらにフィルタ処理を行って別の特性画像を生成する。例えば、推定部50により出力された推定データに、カメラ装置1Aと被写体Sとの間の距離を推定した推定距離Dと、被写体Sの材質を推定した推定材質Mが含まれている場合、画像処理部80は、推定距離Dと推定材質Mとのそれぞれに基づいて生成した画像に対してフィルタ処理を行って特性画像を生成する。より具体的には、画像処理部80は、推定データに含まれる推定距離Dに基づいてカメラ装置1Aと被写体Sとの間の距離を表す特性画像(以下、「距離画像」という)を生成する。また、画像処理部80は、推定データに含まれる推定材質Mに基づいて被写体Sの材質を表す特性画像(以下、「材質画像」という)を生成する。さらに、画像処理部80は、生成した距離画像と材質画像とに対してフィルタ処理を行って特性画像を生成する。画像処理部80は、生成した特性画像を出力する。なお、画像処理部80は、最終的な特性画像を生成する過程で生成した他の特性画像(ここでは、距離画像や材質画像)を出力してもよい。
ここで、画像処理部80が、被写体Sの距離と材質とを表す特性画像を生成する画像処理(フィルタ処理)の一例について説明する。図8は、画像処理部80において特性画像を生成する画像処理の一例を示す図である。図8には、カメラ装置1Aによって撮影する、つまり、受光部20が反射光RLを受光する環境の被写体Sの画像(以下、「被写体画像」という)SIの一例を示している。また、図8には、画像処理部80が、推定部50により出力された推定データに含まれる推定距離Dに基づいて生成する距離画像DIと、推定データに含まれる推定材質Mに基づいて生成する材質画像MIとの一例を示している。さらに、図8には、画像処理部80が、距離画像DIと材質画像MIとに対してフィルタ処理を行って生成する特性画像CIの一例を示している。
画像処理部80は、推定データに含まれる、受光部20が備えるそれぞれの画素の位置の推定距離Dを、画像の範囲内の対応する位置に配置する画像処理を行って距離画像DIを生成する。同様に、画像処理部80は、推定データに含まれるそれぞれの推定材質Mを画像の範囲内の対応する位置に配置する画像処理を行って材質画像MIを生成する。その後、画像処理部80は、生成した材質画像MIを参照画像として距離画像DIに対してフィルタ処理を行って、特性画像CIを生成する。
画像処理部80が行うフィルタ処理は、例えば、バイラテラル(bilateral)フィルタ、ガイデット(guided)フィルタ、ノン-ローカル・ミーン(non-local means)フィルタなどの原理に基づいた平滑化フィルタ処理である。
画像処理部80が行うフィルタ処理が、例えば、バイラテラルフィルタに基づいたフィルタ処理である場合、このフィルタ処理は、下式(15)および下式(16)に示す計算式によって実行される。
Figure 0007317732000015
Figure 0007317732000016
上式(15)および上式(16)において、^Iはフィルタ処理をした後の距離画像DI、Iはフィルタ処理をする前の距離画像DI、pは距離画像DI内の注目画素、qは距離画像DI内の参照画素、w(p,q)はフィルタ処理の重み関数、S(p)は注目画素の周辺の参照画素の集合、Aは材質画像MI(参照画像)、σは材質画像MI内の空間方向の平滑化係数、σは材質画像MIが表す材質における平滑化係数をそれぞれ意味している。
従って、上式(16)における右辺の第2項の「A(p)-A(q)」は、距離画像DI内の注目画素pと、距離画像DI内の参照画素qとの材質が同じ材質であるか否かを表す2値の値となる。
画像処理部80は、上述したバイラテラルフィルタに基づいたフィルタ処理のような平滑化フィルタ処理を行って、特性画像CIを生成する。
なお、画像処理部80は、推定部50により出力された推定データに含まれる推定属性Aに基づいて被写体Sの属性を表す特性画像(以下、「属性画像」という)を生成してもよい。そして、画像処理部80は、距離画像DIと生成した属性画像に対してフィルタ処理を行って特性画像を生成してもよい。この場合、上式(16)における右辺の第2項の「A(p)-A(q)」は、距離画像DI内の注目画素pと、距離画像DI内の参照画素qとの属性の値の差を表す連続値となる。
上述したように、第3の実施形態の推定装置3でも、第1の実施形態の推定装置1と同様に、制御部40が、カメラ装置1Aが備える光源部10および受光部20を動作させる際の制御条件(照射パターンおよび受光パターン)を複数回変更する(切り替える)。そして、第3の実施形態の推定装置3でも、第1の実施形態の推定装置1と同様に、推定部50が、記憶部60から取得したテーブルを参照し、カメラ装置1Aが備える算出部30により出力された被写体データに基づいて、対象の被写体Sの特性を推定する。その後、第3の実施形態の推定装置3では、画像処理部80が、推定部50が推定した被写体Sの特性を画像として表した特性画像CIを生成する。これにより、第3の実施形態の推定装置3でも、第1の実施形態の推定装置1と同様に、容易な計測方法で、対象の被写体Sの特性の推定に関して、高精度な計測結果(または補正結果)を得ることができる。さらに、第3の実施形態の推定装置3では、推定データに基づいた特性画像(距離画像や、材質画像、属性画像であってもよい)を生成して出力することにより、被写体Sの特性を視覚的に表し、確認の容易性を向上させることができる。
なお、第3の実施形態の推定装置3では、画像処理部80が、バイラテラルフィルタに基づいたフィルタ処理によって特性画像を生成する場合を説明した。しかし、上述したように、画像処理部80におけるフィルタ処理には、バイラテラルフィルタ以外のフィルタ処理もある。しかし、この場合の画像処理部80におけるフィルタ処理は、上述したバイラテラルフィルタに基づいたフィルタ処理の方法と、それぞれのフィルタ処理の原理に基づいて容易に理解することができる。従って、画像処理部80における他のフィルタ処理による特性画像の生成処理に関する詳細な説明は省略する。
上記説明したように、推定装置3は、それぞれの受光ゲートGに対応する被写体Sの特性に基づいて被写体Sの特性画像を生成し、生成した特性画像に対して被写体Sの材質または被写体Sの属性の少なくとも一方に基づいたフィルタ処理を施す画像処理部80、をさらに備えてもよい。
上記に述べたとおり、各実施形態の推定装置では、推定装置の運用を開始する前に、特性を推定する対象の被写体を想定した計測物体を用いて特性データを作成しておく。このとき、各実施形態の推定装置では、制御部が、光源部および受光部を動作させる際の制御条件(照射パターンおよび受光パターン)を複数回変更して(切り替えて)特性データを作成する。その後、各実施形態の推定装置では、推定装置1の運用の際に、制御部が、特性データを作成したときと同じ制御条件を光源部および受光部に設定して(同じ回数繰り替えて)、推定部が、対象の被写体の特性を推定する。これにより、各実施形態の推定装置では、対象の被写体の特性を、高精度に推定することができる。
(推定装置の適用例)
以下、実施形態の推定装置の適用例について説明する。推定装置は、荷物の搬入、搬出を自動で行う物流倉庫における物流用の物体搬送システム(例えば、物流用のハンドリングシステム(ピッキングシステム))や、産業用ロボットシステム、その他のシステムなどに広く適用することができる。以下の説明においては、第1の実施形態の推定装置1を、物流用の物体搬送システムに適用する場合の一例について説明する。
図9は、推定装置1を採用した物体搬送システムの構成の一例を模式的に示す図である。物体搬送システム100は、例えば、ハンドリング装置110と、一つ以上の物体検出器120と、管理装置130と、を備える。ハンドリング装置110は、例えば、移動機構111と、保持部112と、制御部113と、を備える。移動機構111は、例えば、複数のアーム部材111Aと、複数のアーム部材111Aを回動可能に連結した複数の回動部111Bと、を備える。保持部112は、例えば、先端部112Aと、回動部112Bと、を備える。
物体搬送システム100では、移動元MOに置かれている搬送対象物Oを、移動先MAに移動させる。なお、物体搬送システム100は、製品組立や別の目的の一部として物体の搬送(移動)を行う装置やシステムも含む。
移動元MOは、搬送対象物Oが置いてあるものと場所である。移動元MOは、例えば、各種のコンベアや各種のパレット、またはトートや、ビン、オリコンのようなコンテナなどである。なお、移動元MOは、これらのものに限定されない。移動元MOには、大きさや、重さ、形状、材質が異なる多種類の搬送対象物Oがランダムに置かれている。搬送対象物Oには、例えば、5[cm]角のような小さなものから、30[cm]角のような大きなものまで、種々の大きさのものがある。また、搬送対象物Oには、数十[g]のような軽いものから数[kg]のような重いものまで、種々の重さのものがある。また、搬送対象物Oには、多角形のものや、筒型のもの、丸形のものなど、種々の形状のものがある。また、搬送対象物Oには、例えば、段ボールなどの紙や、プラスチック、ビニール、金属、布など、種々の材質のものがある。さらに、搬送対象物Oの材質には、段ボール箱にビニール製のラベルが貼られているなど、複数の材質が使用されているものがある。なお、搬送対象物Oの大きさや、重さ、形状、材質は、上述したものに限定されない。
移動先MAは、搬送対象物Oの搬送先の場所である。移動先MAは、例えば、トートやオリコンのようなコンテナである。「コンテナ」とは、搬送対象物Oを収容可能な部材(例えば、箱状の部材)を広く意味する。なお、移動先MAは、コンテナに限定されない。従って、物体搬送システム100およびハンドリング装置110は、コンテナ以外の移動先MAに搬送対象物Oを移動させるものであってもよい。
ハンドリング装置110は、例えば、ロボット装置である。ハンドリング装置110は、移動元MOに位置する搬送対象物Oを保持し、保持した搬送対象物Oを移動先MAに移動させる。このとき、ハンドリング装置110は、有線通信または無線通信によって管理装置130との間で通信を行い、管理装置130により指定された搬送対象物Oを、管理装置130により指定された移動元MOから移動先MAに移動させる。
移動機構111は、保持部112を所望の位置に移動させる機構である。移動機構111は、例えば、6軸の垂直多関節ロボットアームである。なお、移動機構111は、この構成に限定されない。移動機構111は、例えば、3軸の直交ロボットアームでもよいし、その他の構成により保持部112を所望の位置に移動させる機構であってもよい。また、移動機構111は、各関節の関節角度(例えば、回動部111B回転角度など)を検出するセンサなどを備えてもよい。また、移動機構111は、例えば、回転翼により保持部112を持ち上げて移動させる飛行体(例えば、ドローン)などであってもよい。
保持部112は、移動元MOに位置する搬送対象物Oを先端部112Aに保持する保持機構である。保持部112は、回動部112Bを介して移動機構111に連結されている。先端部112Aは、複数の挟持部材により搬送対象物Oを挟持する機構である。なお、先端部112Aは、搬送対象物Oを挟持する機構に限定されない。先端部112Aは、例えば、吸着部と、この吸着部に連通した吸引装置とを備え、吸着により搬送対象物Oを保持する機構であってもよい。また、先端部112Aは、その他の機構により搬送対象物Oを保持する機構であってもよい。また、保持部112または先端部112Aは、例えば、制御部113または管理装置130による指示に従って、自動で交換可能な構成であってもよい。
制御部113は、ハンドリング装置110の全体の動作を制御する。制御部113は、管理装置130からの制御に応じて、移動機構111が備えるアーム部材111Aや回動部111B、保持部112が備える先端部112Aや回動部112Bを制御することにより、搬送対象物Oを先端部112Aに挟持(保持)させる。
物体検出器120は、移動元MOの近く(例えば、移動元MOの直上や斜め上方)、移動先MAの近く(例えば、移動先MAの直上や斜め上方)に配置されているカメラまたは各種センサである。物体検出器120は、推定装置1のカメラ装置1Aを備える。この場合、物体検出器120(カメラ装置1A)は、搬送対象物Oを計測した被写体データを、管理装置130に出力する。なお、カメラ装置1Aは、例えば、ハンドリング装置110のアーム部材111Aや、保持部112の先端部112Aなど、搬送対象物Oを計測することができるハンドリング装置110の一部の位置に設けられてもよい。この場合、カメラ装置1Aは、搬送対象物Oを計測した被写体データを、制御部113に出力してもよいし、制御部113を介して管理装置130に出力してもよい。
管理装置130は、物体搬送システム100の全体の管理および制御を行う。管理装置130は、物体検出器120により検出された情報を取得し、取得した情報に基づいてハンドリング装置110を制御し、搬送対象物Oを移動元MOから移動先MAに搬送(移動)させる。管理装置130は、推定装置1の制御装置1Bと記憶装置1Cとを備える。管理装置130は、物体検出器120(カメラ装置1A)により出力された被写体データに基づいて、先端部112Aと搬送対象物Oとの間の距離と材質とを推定する。そして、管理装置130は、推定した搬送対象物Oの材質に応じて、先端部112Aによる搬送対象物Oの挟持(保持)を制御する。
例えば、搬送対象物Oが段ボール箱やプラスチック容器である場合、管理装置130は、搬送対象物Oを挟持または吸着させるように先端部112Aを制御する。このとき、管理装置130は、搬送対象物Oを挟持させるように先端部112Aを制御する場合において、例えば、段ボール箱を挟持させるときの力量を、プラスチック容器を挟持させるときの力量よりも低くなるように制御してもよい。また、例えば、搬送対象物Oが段ボール箱にビニール製のラベルが貼られている場合、管理装置130は、搬送対象物Oを吸着させずに挟持のみをさせるように先端部112Aを制御する。これにより、吸着によって段ボール箱に貼られているビニール製のラベルが剥がれてしまうのを防止することができる。なお、移動機構111に連結されている現在の保持部112の先端部112Aが、吸着により搬送対象物Oを保持する機構のものである場合、管理装置130は、搬送対象物Oを挟持する機構の先端部112Aを備える保持部112に交換させるように制御してもよい。
なお、カメラ装置1Aがハンドリング装置110の一部の位置に設けられている場合、推定装置1の制御装置1Bは、例えば、制御部113に備えてもよい。この場合、制御部113が備える制御装置1Bが、カメラ装置1Aにより出力された被写体データに基づいて先端部112Aと搬送対象物Oとの間の距離と材質とを推定する。なお、このとき、推定装置1の記憶装置1Cは、制御装置1Bがテーブルを参照することができれば、例えば、管理装置130、制御部113、または他の装置など、いずれに備えてもよい。そして、制御部113は、推定したすデータを管理装置130に出力し、管理装置130からの制御に応じて搬送対象物Oを先端部112Aに挟持(保持)させる。
このように、推定装置1を物体搬送システム100に適用した場合、搬送対象物Oの材質に応じて、搬送対象物Oを先端部112Aに挟持(保持)させるときの制御をすることができる。これにより、物体搬送システム100では、より丁寧に搬送対象物Oを扱うことができる。
なお、推定装置の適用例では、推定装置1を物流用の物体搬送システムに適用した場合を説明した。しかし、上述したように、実施形態の推定装置は、他のシステムに適用することができる、しかし、実施形態の推定装置を他のシステムにした場合の推定装置の配置や推定装置が推定した推定データの利用方法は、上述した物流用の物体搬送システムに適用した場合と同様な考え方で容易に理解することができる。従って、実施形態の推定装置を他のシステムにした場合に関する詳細な説明は省略する。
上記説明したように、物体搬送システム100は、例えば、推定装置1と、推定装置1が推定した被写体Sの特性に基づいて認識した物体(例えば、搬送対象物O)を保持し、搬送対象物Oを所定の位置(例えば、移動先MA)に移動させる保持機構(例えば、ハンドリング装置110や、保持部112など)と、を備えてもよい。
上記に述べたとおり、各実施形態の推定装置を適用した搬送システムでは、推定装置が備える少なくともカメラ装置(上述した推定装置の適用例では、物体検出器)を、推定する対象の物体を計測することができる位置に配置する。そして、各実施形態の推定装置を適用した搬送システムでは、推定装置が備える制御装置が、記憶装置に記憶されている特性データを参照して、カメラ装置により出力された被写体データに基づいて、対象の物体の特性を推定する。これにより、各実施形態の推定装置を適用した搬送システムでは、対象の物体の特性を高精度に推定し、物体の特性に適した搬送方法に制御して搬送することができる。
以上説明した少なくともひとつの実施形態によれば、被写体(S)に照射する照射光(IL)の照射パターンと、照射光(IL)が被写体(S)で反射された反射光(RL)を受光する受光パターンと、の少なくとも一つが互いに異なるように設定した複数の制御条件を切り替える制御部(40)と、それぞれの複数の制御条件下において、一つ以上の受光ゲート(G)によって受光することで取得された被写体(S)に関する被写体データ(例えば、距離値d)に基づいて、被写体(S)の特性を推定する推定部(50)と、を持つことにより、容易な方法で計測を行って被写体(S)の特性を推定することができる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
1,2,3・・・推定装置、1A・・・カメラ装置、1B,2B・・・制御装置、1C・・・記憶装置、10・・・光源部、20・・・受光部、30・・・算出部、3D・・・処理装置、40,42・・・制御部、50,52・・・推定部、60・・・記憶部、70・・・調整部、80・・・画像処理部、100・・・物体搬送システム、110・・・ハンドリング装置、111・・・移動機構、111A・・・アーム部材、111B・・・回動部、112・・・保持部、112A・・・先端部、112B・・・回動部、113・・・制御部、120・・・物体検出器、130・・・管理装置、IL・・・照射光、RL・・・反射光、S・・・被写体、L・・・ラベル、SO・・・計測物体、O・・・搬送対象物

Claims (16)

  1. 被写体を撮影することによって、前記被写体との距離、前記被写体の材質または前記被写体の属性のいずれかを含む前記被写体の特性を推定する推定装置であって、
    照射光における照射パルスのパルス長と信号レベルとを組み合わせた照射パターンに応じて、前記被写体が存在する空間に前記照射光を照射する光源部と、
    前記被写体によって反射された前記照射光の反射光を受光する受光ゲートを有し、前記受光ゲートが前記反射光を受光する際の感度に係る時間応答を定めるゲートパルスのパルス長と、前記照射パルスの開始時刻から前記ゲートパルスの開始時刻までの相対的時刻差とを組み合わせた受光パターンに応じて前記反射光を受光する受光部と、
    複数の前記照射光の照射パターンと複数の前記受光パターンとを組み合わせた複数の制御条件を切り替え、前記複数の制御条件を前記光源部および前記受光部に設定する制御部と、
    前記受光部が取得した前記反射光に基づいて、前記被写体までの距離である距離値を含む被写体データを算出する算出部と、
    前記複数の制御条件、前記被写体の前記特性および前記距離値の対応関係を定めた特性データを取得し、前記制御条件、前記被写体データおよび前記特性データに基づいて、前記被写体の前記特性を推定する推定部と、
    を備える推定装置。
  2. 複数の前記照射パターンは、前記照射光の前記照射パルスの前記パルス長と前記信号レベルとの少なくとも一つが互いに異なるように設定され、
    複数の前記受光パターンは、前記ゲートパルスの前記パルス長と、前記相対的時刻差との少なくとも一つが互いに異なるように設定される、
    請求項1に記載の推定装置。
  3. 前記特性データを記憶する記憶部、
    をさらに備え、
    前記推定部は、前記被写体データを取得する際に用いた前記制御条件に基づいて選択した前記特性データに基づいて、取得した前記被写体データが表す前記被写体の前記特性を推定する、
    請求項1または請求項2に記載の推定装置。
  4. 前記推定部は、取得した前記被写体データが含む前記距離値と、選択した前記特性データに対応付けられた前記距離値との類似度に基づいた重み係数によって、前記特性データに対応付けられた二つ以上の前記距離値を重み付けした和を、前記被写体データが表す前記距離値として推定する、
    請求項3に記載の推定装置。
  5. 前記特性データは、前記受光ゲートが受光した複数の前記反射光の一部または全てを要素とする多次元のベクトルを四則演算した結果を含む、
    請求項3または請求項4に記載の推定装置。
  6. 前記特性データは、前記多次元のベクトルをさらに変換した近似式における少なくとも一つ以上の要素からなる特徴量を含む、
    請求項5に記載の推定装置。
  7. 前記複数の制御条件に基づいて前記被写体の前記特性を推定するニューラルネットワークを記憶する記憶部、
    をさらに備え、
    前記推定部は、前記被写体データと、当該前記被写体データを取得する際に用いた前記制御条件とを前記ニューラルネットワークに入力して、取得した前記被写体データが表す前記被写体の前記特性を推定する、
    請求項1または請求項2に記載の推定装置。
  8. 前記被写体データにおける時間的または空間的なばらつきに応じて、前記推定部が前記被写体の前記特性を推定する際に用いる前記被写体データの数を調整する調整部、
    をさらに備える、
    請求項1から請求項7のうちいずれか1項に記載の推定装置。
  9. 前記被写体データにおける時間的または空間的なばらつきに応じて、前記推定部が選択する前記特性データの数、または前記重み係数を調整する調整部、
    をさらに備える、
    請求項4に記載の推定装置。
  10. 前記被写体の前記特性は、前記被写体との間の距離を含む、
    請求項1から請求項9のうちいずれか1項に記載の推定装置。
  11. 前記被写体の前記特性は、前記被写体の材質を含む、
    請求項1から請求項10のうちいずれか1項に記載の推定装置。
  12. 前記被写体の前記特性は、前記被写体の前記属性である前記被写体の反射率、屈折率、透過率、減弱係数、吸収係数、散乱断面積、誘電率、密度、および濃度の少なくとも一つ以上を含む
    請求項1から請求項11のうちいずれか1項に記載の推定装置。
  13. それぞれの前記受光ゲートに対応する前記被写体の前記特性に基づいて前記被写体の特性画像を生成し、生成した前記特性画像に対して前記被写体の材質または前記被写体の前記属性の少なくとも一方に基づいたフィルタ処理を施す画像処理部、
    をさらに備える、
    請求項11または請求項12に記載の推定装置。
  14. 請求項1から請求項1のうちいずれか1項に記載の推定装置と、
    前記推定装置が推定した前記被写体の前記特性に基づいて認識した物体を保持し、前記物体を所定の位置に移動させる保持機構と、
    を備える物体搬送システム。
  15. 被写体を撮影することによって、前記被写体との距離、前記被写体の材質または前記被写体の属性のいずれかを含む前記被写体の特性を推定する推定方法であって、
    コンピュータが、
    前記被写体に照射する照射光における照射パルスのパルス長と信号レベルとを組み合わせた複数の照射パターンと、前記照射光が前記被写体で反射された反射光を受光する際の感度に係る時間応答を定めるゲートパルスのパルス長と前記照射パルスの開始時刻から前記ゲートパルスの開始時刻までの相対的時刻差とを組み合わせた複数の受光パターンと、を組み合わせた複数の制御条件を切り替え、
    前記複数の制御条件、前記被写体の前記特性および前記被写体までの距離である距離値の対応関係を定めた特性データを取得し、前記制御条件、前記距離値を含む被写体データおよび前記特性データに基づいて、前記被写体の前記特性を推定する、
    推定方法。
  16. 被写体を撮影することによって、前記被写体との距離、前記被写体の材質または前記被写体の属性のいずれかを含む前記被写体の特性を推定させるプログラムであって、
    コンピュータに、
    前記被写体に照射する照射光における照射パルスのパルス長と信号レベルとを組み合わせた複数の照射パターンと、前記照射光が前記被写体で反射された反射光を受光する際の感度に係る時間応答を定めるゲートパルスのパルス長と前記照射パルスの開始時刻から前記ゲートパルスの開始時刻までの相対的時刻差とを組み合わせた複数の受光パターンと、を組み合わせた複数の制御条件を切り替えさせ、
    前記複数の制御条件、前記被写体の前記特性および前記被写体までの距離である距離値の対応関係を定めた特性データを取得し、前記制御条件、前記距離値を含む被写体データおよび前記特性データに基づいて、前記被写体の前記特性を推定させる、
    プログラム。
JP2020006887A 2020-01-20 2020-01-20 推定装置、物体搬送システム、推定方法、およびプログラム Active JP7317732B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020006887A JP7317732B2 (ja) 2020-01-20 2020-01-20 推定装置、物体搬送システム、推定方法、およびプログラム
US17/010,986 US20210223364A1 (en) 2020-01-20 2020-09-03 Estimation device, object conveyance system, estimation method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020006887A JP7317732B2 (ja) 2020-01-20 2020-01-20 推定装置、物体搬送システム、推定方法、およびプログラム

Publications (2)

Publication Number Publication Date
JP2021113756A JP2021113756A (ja) 2021-08-05
JP7317732B2 true JP7317732B2 (ja) 2023-07-31

Family

ID=76856985

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020006887A Active JP7317732B2 (ja) 2020-01-20 2020-01-20 推定装置、物体搬送システム、推定方法、およびプログラム

Country Status (2)

Country Link
US (1) US20210223364A1 (ja)
JP (1) JP7317732B2 (ja)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4330062A (en) 1978-06-21 1982-05-18 Sunkist Growers, Inc. Method and apparatus for measuring the surface color of an article
JP2007114831A (ja) 2005-10-18 2007-05-10 Omron Corp 物体検出装置
JP2009192217A (ja) 2008-02-12 2009-08-27 National Maritime Research Institute ライダー装置及び対象物検出方法
JP2011179910A (ja) 2010-02-26 2011-09-15 Canon Inc 位置姿勢計測装置、位置姿勢計測方法、およびプログラム
WO2018066698A1 (ja) 2016-10-07 2018-04-12 大学共同利用機関法人情報・システム研究機構 形状測定装置及び方法
WO2018066359A1 (ja) 2016-10-07 2018-04-12 パイオニア株式会社 検査装置、検査方法、コンピュータプログラム及び記録媒体
JP2018511785A (ja) 2015-02-19 2018-04-26 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 赤外線レーザ照明装置
JP2019124582A (ja) 2018-01-16 2019-07-25 株式会社Preferred Networks 触覚情報推定装置、触覚情報推定方法及びプログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6144976B2 (ja) * 2013-06-26 2017-06-07 キヤノン株式会社 情報処理装置、組み付け装置、情報処理方法、及びプログラム
US9945936B2 (en) * 2015-05-27 2018-04-17 Microsoft Technology Licensing, Llc Reduction in camera to camera interference in depth measurements using spread spectrum
CN117310741A (zh) * 2017-01-03 2023-12-29 应诺维思科技有限公司 用于检测和分类物体的激光雷达系统和方法
US11105925B2 (en) * 2017-03-01 2021-08-31 Ouster, Inc. Accurate photo detector measurements for LIDAR
US11947013B2 (en) * 2019-03-15 2024-04-02 Trinamix Gmbh Detector for identifying at least one material property

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4330062A (en) 1978-06-21 1982-05-18 Sunkist Growers, Inc. Method and apparatus for measuring the surface color of an article
JP2007114831A (ja) 2005-10-18 2007-05-10 Omron Corp 物体検出装置
JP2009192217A (ja) 2008-02-12 2009-08-27 National Maritime Research Institute ライダー装置及び対象物検出方法
JP2011179910A (ja) 2010-02-26 2011-09-15 Canon Inc 位置姿勢計測装置、位置姿勢計測方法、およびプログラム
JP2018511785A (ja) 2015-02-19 2018-04-26 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 赤外線レーザ照明装置
WO2018066698A1 (ja) 2016-10-07 2018-04-12 大学共同利用機関法人情報・システム研究機構 形状測定装置及び方法
WO2018066359A1 (ja) 2016-10-07 2018-04-12 パイオニア株式会社 検査装置、検査方法、コンピュータプログラム及び記録媒体
JP2019124582A (ja) 2018-01-16 2019-07-25 株式会社Preferred Networks 触覚情報推定装置、触覚情報推定方法及びプログラム

Also Published As

Publication number Publication date
US20210223364A1 (en) 2021-07-22
JP2021113756A (ja) 2021-08-05

Similar Documents

Publication Publication Date Title
US20180050451A1 (en) Picking system and method for controlling picking robot
US11209528B2 (en) Time-of-flight depth image processing systems and methods
EP3521705B1 (en) Heat treatment monitoring system
US20200057160A1 (en) Multi-object tracking based on lidar point cloud
US20100328682A1 (en) Three-dimensional measurement apparatus, measurement method therefor, and computer-readable storage medium
US20150253863A1 (en) Image Processor Comprising Gesture Recognition System with Static Hand Pose Recognition Based on First and Second Sets of Features
JP2014229303A (ja) シーン内の物体を検出する方法
US20210150760A1 (en) Machine Vision-Based Method and System to Facilitate the Unloading of a Pile of Cartons in a Carton Handling System
US20190188841A1 (en) Image processing system, computer readable recording medium, and image processing method
Roy et al. Pose estimation of texture-less cylindrical objects in bin picking using sensor fusion
JP7317732B2 (ja) 推定装置、物体搬送システム、推定方法、およびプログラム
EP4275174A1 (en) Machine vision-based method and system to facilitate the unloading of a pile of cartons in a carton handling system
JP6880457B2 (ja) 把持方法、把持システム及びプログラム
CN115457494A (zh) 基于红外图像和深度信息融合的物体识别方法及其系统
JP2019060695A (ja) 3次元物体検出装置、ロボット、及びプログラム
US20230120831A1 (en) Method and System for Manipulating a Multitude of Target Items Supported on a Substantially Horizontal Support Surface One at a Time
US20230130353A1 (en) Method and System for Decanting a Plurality of Items Supported on a Transport Structure at One Time with a Picking Tool for Placement into a Transport Container
CN109685002A (zh) 一种数据集采集方法、系统以及电子装置
US12112468B2 (en) Method and apparatus for detecting dimension error
JP7424800B2 (ja) 制御装置、その制御方法、及び制御システム
CN110398477B (zh) 材质分类及识别方法
US10859506B2 (en) Image processing system for processing image data generated in different light emission states, non-transitory computer readable recording medium, and image processing method
WO2020116170A1 (ja) 情報処理装置、制御方法、及びプログラム
CN117067208B (zh) 一种柔性手抓取力的控制方法及控制系统
Palmquist Detecting defects on cheese using hyperspectral image analysis

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220302

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230117

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230314

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230620

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230719

R151 Written notification of patent or utility model registration

Ref document number: 7317732

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151