JP7187388B2 - 位置姿勢推定装置及び位置姿勢推定方法 - Google Patents
位置姿勢推定装置及び位置姿勢推定方法 Download PDFInfo
- Publication number
- JP7187388B2 JP7187388B2 JP2019104149A JP2019104149A JP7187388B2 JP 7187388 B2 JP7187388 B2 JP 7187388B2 JP 2019104149 A JP2019104149 A JP 2019104149A JP 2019104149 A JP2019104149 A JP 2019104149A JP 7187388 B2 JP7187388 B2 JP 7187388B2
- Authority
- JP
- Japan
- Prior art keywords
- fruit vegetable
- image
- fruit
- unit
- characteristic part
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Harvesting Machines For Specific Crops (AREA)
- Image Analysis (AREA)
Description
図1に示すように、本実施形態に係る位置姿勢推定装置10(以下、本実施形態に係る推定装置10ともいう。)は、果菜収穫装置12に適用される。果菜収穫装置12は、収穫対象の果菜14の三次元の位置及び姿勢を推定する推定装置10と、該推定装置10の推定結果に基づき動作することで果菜14を収穫するロボット16とを備える。
次に、本実施形態に係る推定装置10を含む果菜収穫装置12の動作について、図3~図17を参照しながら説明する。図3~図8は、果菜収穫装置12の動作を示すフローチャートである。また、図9~図17は、図3~図8の各フローチャート中の所定のステップに対応する図である。なお、この動作説明では、必要に応じて、図1及び図2も参照しながら説明する。
先ず、図3のステップS1において、ロボット16(図1及び図2参照)は移動を行い、収穫対象となる果菜14の手前に停止する。
次に、図3のステップS3の動作、すなわち、本実施形態に係る推定装置10の動作(位置姿勢推定方法であって、以下、「推定方法」ともいう。)について、図4~図8のフローチャートと、図9~図17の説明図とを参照しながら説明する。
次に、図4のステップS11の詳細について、図5のフローチャートと、図9の説明図とを参照しながら説明する。
次に、図4のステップS12の詳細について、図6のフローチャートと、図11の説明図とを参照しながら説明する。
次に、図4のステップS13の詳細について、図7のフローチャートと、図12A~図12Cの説明図とを参照しながら説明する。
次に、図4のステップS15の詳細について、図8のフローチャートと、図13の説明図とを参照しながら説明する。
上記の説明では、ステップS11の中心位置の推定処理を実行した後に、ステップS12の特徴部の位置の抽出処理を実行する場合について説明した。本実施形態では、ステップS12の抽出処理の後にステップS11の推定処理を実行してもよいし、ステップS11、S12の各処理を同時並行で実行してもよい。
以上説明したように、本実施形態に係る推定装置10及び推定方法は、果菜14の位置及び姿勢を推定する。
18…画像取得部
20…画像処理部(中心位置推定部、特徴部抽出部)
22…信頼性評価部(推定結果評価部、抽出結果評価部)
24…姿勢推定部 56…距離画像
68…特徴部 72…中心位置
Claims (3)
- 果菜の位置及び姿勢を推定する位置姿勢推定装置において、
前記果菜の画像を取得する画像取得部と、
前記画像に基づいて、前記果菜の中心位置を推定する中心位置推定部と、
前記画像に基づいて、前記果菜の姿勢を決定付ける特徴部の位置を抽出する特徴部抽出部と、
推定された前記中心位置に対する信頼性を評価する推定結果評価部と、
抽出された前記特徴部の位置に対する信頼性を評価する抽出結果評価部と、
前記推定結果評価部及び前記抽出結果評価部の双方で信頼性が有ると評価された場合に、前記中心位置及び前記特徴部の位置から前記果菜の中心軸を推定し、推定した前記中心軸から前記果菜の姿勢を推定する姿勢推定部と、
を有し、
前記画像取得部は、前記果菜の距離画像を取得し、
前記特徴部抽出部は、前記距離画像から、前記特徴部の三次元点群を抽出し、
前記抽出結果評価部は、前記特徴部の位置と前記中心位置との距離が前記果菜を模擬した球の半径に近く、前記特徴部の三次元点群が前記球の表面になく、且つ、該三次元点群を構成する点の数が一定数以上である場合、抽出された前記特徴部の位置に信頼性があると評価し、
前記中心位置推定部は、前記距離画像から前記果菜の表面の三次元点群を抽出し、抽出した該三次元点群を、前記果菜を模擬した球にフィッティングすることにより、前記中心位置を推定し、
前記推定結果評価部は、前記果菜の表面の三次元点群が前記球の表面全体に広がり、前記画像取得部が前記果菜の二次元画像をさらに取得した際に、該二次元画像にフィッティングする第1円を設定し、前記球を前記二次元画像に投影した第2円を設定したときに、前記第1円と第2円との誤差が小さい場合、推定された前記中心位置に信頼性が有ると評価する、位置姿勢推定装置。 - 請求項1記載の位置姿勢推定装置において、
前記特徴部は、前記果菜に連なる小果梗又は離層である、位置姿勢推定装置。 - 果菜の位置及び姿勢を推定する位置姿勢推定方法において、
画像取得部を用いて、前記果菜の画像を取得するステップと、
中心位置推定部を用いて、前記画像に基づき前記果菜の中心位置を推定し、一方で、特徴部抽出部を用いて、前記画像に基づき前記果菜の姿勢を決定付ける特徴部の位置を抽出するステップと、
推定結果評価部を用いて、推定された前記中心位置に対する信頼性を評価し、一方で、抽出結果評価部を用いて、抽出された前記特徴部の位置に対する信頼性を評価するステップと、
前記推定結果評価部及び前記抽出結果評価部の双方で信頼性が有ると評価された場合に、姿勢推定部を用いて、前記中心位置及び前記特徴部の位置から前記果菜の中心軸を推定し、推定した前記中心軸から前記果菜の姿勢を推定するステップと、
を有し、
し、
前記画像取得部は、前記果菜の距離画像を取得し、
前記特徴部抽出部は、前記距離画像から、前記特徴部の三次元点群を抽出し、
前記抽出結果評価部は、前記特徴部の位置と前記中心位置との距離が前記果菜を模擬した球の半径に近く、前記特徴部の三次元点群が前記球の表面になく、且つ、該三次元点群を構成する点の数が一定数以上である場合、抽出された前記特徴部の位置に信頼性があると評価し、
前記中心位置推定部は、前記距離画像から前記果菜の表面の三次元点群を抽出し、抽出した該三次元点群を、前記果菜を模擬した球にフィッティングすることにより、前記中心位置を推定し、
前記推定結果評価部は、前記果菜の表面の三次元点群が前記球の表面全体に広がり、前記画像取得部が前記果菜の二次元画像をさらに取得した際に、該二次元画像にフィッティングする第1円を設定し、前記球を前記二次元画像に投影した第2円を設定したときに、前記第1円と第2円との誤差が小さい場合、推定された前記中心位置に信頼性が有ると評価する、位置姿勢推定方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019104149A JP7187388B2 (ja) | 2019-06-04 | 2019-06-04 | 位置姿勢推定装置及び位置姿勢推定方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019104149A JP7187388B2 (ja) | 2019-06-04 | 2019-06-04 | 位置姿勢推定装置及び位置姿勢推定方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020195336A JP2020195336A (ja) | 2020-12-10 |
JP7187388B2 true JP7187388B2 (ja) | 2022-12-12 |
Family
ID=73647466
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019104149A Active JP7187388B2 (ja) | 2019-06-04 | 2019-06-04 | 位置姿勢推定装置及び位置姿勢推定方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7187388B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022137509A1 (ja) * | 2020-12-25 | 2022-06-30 | 日本電気株式会社 | 物体認識装置、物体認識方法、非一時的なコンピュータ可読媒体及び物体認識システム |
WO2023127000A1 (ja) * | 2021-12-27 | 2023-07-06 | 日立Astemo株式会社 | 認識システム及び物体認識方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001095348A (ja) | 1999-10-01 | 2001-04-10 | Masateru Nagata | 果菜収穫用摘採ハンド及びそれを用いた果菜収穫方法 |
JP2012110256A (ja) | 2010-11-22 | 2012-06-14 | National Agriculture & Food Research Organization | 果柄切断装置 |
JP2016115226A (ja) | 2014-12-17 | 2016-06-23 | 日本電気株式会社 | 特徴量抽出装置、認識装置、情報処理システム、特徴量抽出方法およびプログラム |
CN108470339A (zh) | 2018-03-21 | 2018-08-31 | 华南理工大学 | 一种基于信息融合的重叠苹果视觉识别与定位方法 |
JP2018143214A (ja) | 2017-03-09 | 2018-09-20 | パナソニック株式会社 | 果梗位置推定装置および果梗位置推定方法 |
CN109684997A (zh) | 2018-12-20 | 2019-04-26 | 龙口盛福达食品有限公司 | 一种被遮挡圆形成熟果实的图像识别与定位方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09163853A (ja) * | 1995-12-19 | 1997-06-24 | Iseki & Co Ltd | 果実の画像処理装置 |
-
2019
- 2019-06-04 JP JP2019104149A patent/JP7187388B2/ja active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001095348A (ja) | 1999-10-01 | 2001-04-10 | Masateru Nagata | 果菜収穫用摘採ハンド及びそれを用いた果菜収穫方法 |
JP2012110256A (ja) | 2010-11-22 | 2012-06-14 | National Agriculture & Food Research Organization | 果柄切断装置 |
JP2016115226A (ja) | 2014-12-17 | 2016-06-23 | 日本電気株式会社 | 特徴量抽出装置、認識装置、情報処理システム、特徴量抽出方法およびプログラム |
JP2018143214A (ja) | 2017-03-09 | 2018-09-20 | パナソニック株式会社 | 果梗位置推定装置および果梗位置推定方法 |
CN108470339A (zh) | 2018-03-21 | 2018-08-31 | 华南理工大学 | 一种基于信息融合的重叠苹果视觉识别与定位方法 |
CN109684997A (zh) | 2018-12-20 | 2019-04-26 | 龙口盛福达食品有限公司 | 一种被遮挡圆形成熟果实的图像识别与定位方法 |
Non-Patent Citations (2)
Title |
---|
上垣 俊平、他,環境認識にAIを用いたトマト収穫ロボット,パナソニック技報,2018年05月,Vol.64,No.1,54-59頁 |
矢口 裕明、他,収穫装置と視覚認識に着目したトマト自動収穫ロボットの構成法,日本ロボット学会誌,日本ロボット学会,2018年12月,36巻10号,693-702頁 |
Also Published As
Publication number | Publication date |
---|---|
JP2020195336A (ja) | 2020-12-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10059002B2 (en) | Image processing apparatus, image processing method, and non-transitory computer-readable medium | |
US20090290758A1 (en) | Rectangular Table Detection Using Hybrid RGB and Depth Camera Sensors | |
US20200126249A1 (en) | Attitude recognition method and device, and movable platform | |
KR102016551B1 (ko) | 위치 추정 장치 및 방법 | |
JP4665857B2 (ja) | アームを誘導可能な移動体およびアームを誘導する方法 | |
CN110640730B (zh) | 生成用于机器人场景的三维模型的方法和系统 | |
JP5803367B2 (ja) | 自己位置推定装置、自己位置推定方法およびプログラム | |
CN108603936B (zh) | 激光扫描系统、激光扫描方法、非暂时性计算机可读存储介质 | |
US20140018957A1 (en) | Robot system, robot, robot control device, robot control method, and robot control program | |
US9317735B2 (en) | Information processing apparatus, information processing method, and program to calculate position and posture of an object having a three-dimensional shape | |
US9576368B2 (en) | Method and device for optically determining a position and/or orientation of an object in space using a two dimensional image to generate three dimensional information | |
JP5148669B2 (ja) | 位置検出装置、位置検出方法、及び位置検出プログラム | |
US20100172571A1 (en) | Robot and control method thereof | |
KR101951573B1 (ko) | 평면들을 교차하여 장애물을 검출하는 장치 및 이러한 장치를 사용하는 검출 방법 | |
KR20140133773A (ko) | 3-차원 물체 모델링, 피팅 및 트랙킹 | |
JP7187388B2 (ja) | 位置姿勢推定装置及び位置姿勢推定方法 | |
KR102094004B1 (ko) | 탁구 로봇 제어 방법 및 이를 위한 시스템 | |
JP2019152924A (ja) | 自己位置同定システム、車両、及び処理装置 | |
JP4361913B2 (ja) | 動き量計算装置 | |
JP6880457B2 (ja) | 把持方法、把持システム及びプログラム | |
JP2020195335A (ja) | 果菜収穫装置及び果菜収穫方法 | |
JP2017094482A (ja) | ロボット制御システム及びロボット制御方法 | |
JP7229840B2 (ja) | 収穫装置およびその制御方法、並びにプログラム | |
WO2020036910A1 (en) | System and method for creating a single perspective synthesized image | |
Rebello et al. | Autonomous active calibration of a dynamic camera cluster using next-best-view |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211126 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220617 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220628 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220822 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221129 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221130 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7187388 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |