TW202321848A - 資訊處理裝置、模擬系統、模擬方法以及模擬程式 - Google Patents

資訊處理裝置、模擬系統、模擬方法以及模擬程式 Download PDF

Info

Publication number
TW202321848A
TW202321848A TW111115768A TW111115768A TW202321848A TW 202321848 A TW202321848 A TW 202321848A TW 111115768 A TW111115768 A TW 111115768A TW 111115768 A TW111115768 A TW 111115768A TW 202321848 A TW202321848 A TW 202321848A
Authority
TW
Taiwan
Prior art keywords
information
point cloud
aforementioned
robot
cloud information
Prior art date
Application number
TW111115768A
Other languages
English (en)
Inventor
大澤想
Original Assignee
日商三菱電機股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商三菱電機股份有限公司 filed Critical 日商三菱電機股份有限公司
Publication of TW202321848A publication Critical patent/TW202321848A/zh

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)
  • Image Processing (AREA)

Abstract

資訊處理裝置(100)包括：取得部(120)，取得當前點雲資訊(300)、基準點雲資訊(111)以及有關機器人的資訊；位置對齊部(140)，基於當前點雲資訊(300)與基準點雲資訊(111)進行點雲之位置對齊；辨識部(160)，辨識當前點雲資訊(300)顯示的複數物體與基準點雲資訊(111)顯示的複數物體；偵測部(150)，基於位置對齊的結果偵測差異區域，基於當前點雲資訊(300)顯示的複數物體、基準點雲資訊(111)顯示的複數物體以及差異區域，偵測靜止物體以及移動物體之中的至少1者；判定部(170)，基於機器人資訊，判定機器人是否與靜止物體以及移動物體之中的至少1者接觸；以及輸出部(180)，輸出判定結果。

Description

資訊處理裝置、模擬系統、模擬方法以及模擬程式
本揭露係有關於資訊處理裝置、模擬系統、模擬方法以及模擬程式。
機器人在作業廠被設定。藉由機器人的動作，會有與物體接觸的可能性。因此，事先模擬機器人是否接觸物體的技術被提案(參照專利文獻1)。 [先前技術文獻] [專利文獻]
[專利文獻1]日本特開2021-79520號公報
[發明所欲解決的課題]
此外，在習知的模擬中，在環境沒有變化的狀態下模擬了機器人是否與物體接觸。另外，在習知的模擬中，是在數個變化物(例如工件)被決定的狀態下進行了模擬。然而，作業場的環境會變化。另外，在作業廠中，會產生沒有事先考慮的變化。因此，在習知的模擬中，模擬並不充分。因此，實際上會有機器人與物品接觸的情況。
本揭露之目的為進行變化的環境的模擬。 [用以解決課題的手段]
關於本揭露之一態樣的資訊處理裝置被提供。資訊處理裝置，包括：取得部，取得當前點雲資訊、基準點雲資訊以及機器人資訊，前述當前點雲資訊顯示複數物體的特徵點，前述基準點雲資訊為顯示複數物體的特徵點資訊和基準資訊，前述機器人資訊為與機器人有關的資訊；位置對齊部，基於前述當前點雲資訊與前述基準點雲資訊進行點雲之位置對齊；辨識部，辨識前述當前點雲資訊顯示的複數物體與前述基準點雲資訊顯示的複數物體；偵測部，基於位置對齊的結果偵測差異區域，基於前述當前點雲資訊顯示的複數物體、前述基準點雲資訊顯示的複數物體以及前述差異區域，偵測為新出現物體的靜止物體以及為移動之物體的移動物體之中的至少1者；判定部，基於前述機器人資訊，判定前述機器人是否與前述靜止物體以及前述移動物體之中的至少1者接觸；以及輸出部，輸出判定結果。 [發明的效果]
根據本揭露，可以進行變化的環境的模擬。
以下，一邊參照圖式一邊說明實施形態。以下的實施形態僅為例子，在本揭露之範圍內的種種變更皆為可能。
實施形態1. 第1圖為顯示實施形態1之變化多的環境的例子的示意圖。第1圖顯示了資訊處理裝置100。資訊處理裝置100為使用者使用的裝置。舉例而言，資訊處理裝置100為智慧型手機、平板終端裝置等。資訊處理裝置100為執行模擬方法的裝置。
另外，第1圖顯示了作業員200、個人電腦(Personal Computer，PC)201、桌子202、箱子203、帶式輸送機204以及工件205。第1圖顯示的環境為變化多的環境。例如，作業員200會移動。還有，例如箱子203會移動。如此，第1圖顯示的環境為變化多的環境。
使用者也可以利用資訊處理裝置100拍攝像這樣的環境。意即，資訊處理裝置100可以拍攝複數物體存在的空間。 資訊處理裝置100如後述般，在頻繁變化的環境中，模擬機器人是否與物體接觸。以下詳細說明資訊處理裝置100。
接下來，說明資訊處理裝置100包含的硬體。 第2圖為顯示實施形態1之資訊處理裝置包括的硬體的示意圖。資訊處理裝置100包括：處理器101、揮發性記憶裝置102、非揮發性記憶裝置103、攝影裝置104以及顯示器105。
處理器101控制資訊處理裝置100全體。處理器101例如為中央處理器(Central Processing Unit，CPU)、為現場可程式化邏輯閘陣列(Field Programmable Gate Array，FPGA)等。處理器101也可以是多處理器。另外，資訊處理裝置100也可以包括處理電路。
揮發性記憶裝置102為資訊處理裝置100的主記憶裝置。揮發性記憶裝置102例如為隨機存取記憶體(Random Access Memory，RAM)。非揮發性記憶裝置103為資訊處理裝置100的輔助記憶裝置。非揮發性記憶裝置103例如為固態硬碟(Solid State Drive，SSD)。 攝影裝置104例如為三原色(Red Green Blue，RGB)攝影機或RGB深度(RGB-Depth，RGB-D)攝影機。顯示器105顯示資訊。另外，資訊處理裝置100也可以包括感測器。
接下來，說明資訊處理裝置100具有的功能。 第3圖為顯示實施形態1之資訊處理裝置的功能的方塊圖。資訊處理裝置100包括記憶部110、取得部120、抽出部130、位置對齊部140、偵測部150、辨識部160、判定部170以及輸出部180。
記憶部110可以被實現為揮發性記憶裝置102或非揮發性記憶裝置103中確保的記憶區域。 取得部120、抽出部130、位置對齊部140、偵測部150、辨識部160、判定部170以及輸出部180的一部分或全部可以由處理電路實現。另外，取得部120、抽出部130、位置對齊部140、偵測部150、辨識部160、判定部170以及輸出部180的一部分或全部也可以實現為處理器101執行的程式的模組。例如，處理器101執行的程式也稱為模擬程式。例如，模擬程式被記錄於記錄媒體之中。
記憶部110記憶各種資訊。 取得部120可以取得藉由拍攝複數物體存在的空間得到的影像。取得部120在取得此影像時，如後述般基於此影像從抽出部130取得點雲資訊。此處，點雲資訊為顯示複數物體的特徵點資訊。取得部120也可以從外部裝置取得點雲資訊。另外，外部裝置的圖示被省略。資訊處理裝置100包括感測器時，取得部120也可以利用光達(Light Detection And Ranging，LiDAR)基於從感測器得到的資訊取得點雲資訊。此處，取得部120取得的點雲資訊稱為當前點雲資訊。另外，當前點雲資訊也可以表現顯示當前狀況的資訊。
取得部120取得基準點雲資訊。例如，取得部120從記憶部110取得基準點雲資訊。另外，例如，取得部120從外部裝置取得基準點雲資訊。另外，基準點雲資訊為顯示複數物體之特徵點資訊。另外，基準點雲資訊為基準資訊。再者，基準點雲資訊也可以為預先被作成的資訊。
抽出部130在藉由拍攝複數物體存在的空間得到的影像被取得時，基於此影像抽出複數物體的特徵點作為當前點雲資訊。被抽出的當前點雲資訊被取得部120取得。
此處，例示當前點雲資訊與基準點雲資訊。 第4圖為顯示實施形態1之當前點雲資訊與基準點雲資訊的例子的示意圖。第4圖顯示了當前點雲資訊300與基準點雲資訊111。另外，例如，第4圖的顯示當前點雲資訊300與基準點雲資訊111的實線為被顯示為點雲的線。
位置對齊部140基於當前點雲資訊300與基準點雲資訊111進行點雲的位置對齊。詳細而言，位置對齊部140利用習知技術進行點雲的位置對齊。習知技術為例如迭代最近點(iterative closest point，ICP)。 偵測部150基於位置對齊的結果偵測差異區域。將例示差異區域。
第5圖為顯示實施形態1之差異區域的例子的示意圖。第5圖顯示當前點雲資訊300與基準點雲資訊111被位置對齊的狀態。意即，第5圖顯示位置對齊的結果。偵測部150基於位置對齊的結果偵測3個差異區域。
辨識部160辨識當前點雲資訊300顯示的複數物體。具體而言，辨識部160對當前點雲資訊300進行分割。辨識部160辨識藉由分割得到的區域的物體。 另外，辨識部160辨識基準點雲資訊111顯示的複數物體。具體而言，辨識部160對基準點雲資訊111進行分割。辨識部160辨識藉由分割得到的區域的物體。 另外，例如，辨識物體時，辨識部160利用PointNet辨識物體。被辨識的物體被附加標記。將例示被附加標記的物體。
第6圖為顯示實施形態1之附加標記的物體的例子的示意圖。第6圖顯示了對當前點雲資訊300顯示的複數物體附加標記的狀態。另外，第6圖顯示了對基準點雲資訊111顯示的複數物體附加標記的狀態。
偵測部150基於當前點雲資訊300顯示的複數物體、基準點雲資訊111顯示的複數物體以及差異區域，偵測靜止物體、移動物體以及移動區域。另外，靜止物體為新出現物體。移動物體為移動的物體。移動區域為移動物體移動的區域。
具體而言，利用第7圖說明偵測靜止物體、移動物體以及移動區域的方法。 第7圖為顯示實施形態1之靜止物體、移動物體以及移動區域的偵測處理的例子的示意圖。偵測部150在不存在於基準點雲資訊111的物體存在於當前點雲資訊300且此物體在差異區域時，偵測差異區域作為靜止物體。具體而言，偵測部150偵測不存在於基準點雲資訊111的物體(意即：人、PC以及桌子)。偵測部150偵測此物體為差異區域。偵測部150偵測差異區域作為靜止物體。因此，靜止物體為人、PC以及桌子。
偵測部150在基準點雲資訊111與當前點雲資訊300中存在相同物體且可以從差異區域偵測相同物體存在於相近的距離中時，偵測當前點雲資訊300中存在的物體作為移動物體。具體而言，偵測部150偵測到在基準點雲資訊111與當前點雲資訊300中存在箱子。偵測部150從差異區域偵測到基準點雲資訊111顯示的箱子與當前點雲資訊300顯示的箱子的距離相近。偵測部150偵測當前點雲資訊300顯示的箱子305作為移動物體。偵測部150偵測移動物體移動的移動區域。第7圖顯示移動區域310。
偵測部150在靜止物體清單中登錄偵測到的靜止物體。偵測部150在移動物體清單中登錄偵測到的移動物體。偵測部150在移動區域清單中登錄偵測到的移動區域310。靜止物體清單、移動物體清單以及移動區域清單被儲存於記憶部110中。
此處，取得部120取得機器人資訊，機器人資訊與機器人有關。機器人為會動作的機器人。例如，機器人為機械手臂。例如，機器人資訊為機器人之位置、機器人之移動區域、機器人之可動區域等。例如，機器人為機械手臂時，機器人資訊包含手臂的可動區域。另外，機器人資訊也可以是有關複數機器人的資訊。複數機器人也可以是相同種類的機器人(例如複數機械手臂)。另外，複數機器人也可以是不同種類的機器人(例如機械手臂、其他機器人)。 另外，取得部120也可以從記憶部110取得機器人資訊。取得部120也可以從外部裝置取得機器人資訊。
判定部170基於機器人資訊判定機器人是否與靜止物體以及移動物體接觸。另外，偵測到移動物體時，判定部170基於機器人資訊判定機器人是否與在移動區域中移動的移動物體接觸。此處，「接觸」也可以解讀為「衝突」或「干涉」。利用具體例子例示判定部170執行的處理。
第8圖為顯示實施形態1之接觸判定處理的例子的示意圖。第8圖顯示機器人資訊顯示的機械手臂320。 判定部170判定機械手臂320是否與靜止物體(意即：人、PC以及桌子)接觸。藉此，資訊處理裝置100可以判定機械手臂320是否與新出現物體(意即：靜止物體)接觸。
判定部170判定機械手臂320是否與移動物體(意即：箱子305) 接觸。藉此，資訊處理裝置100可以判定機械手臂320是否與移動的物體接觸。
判定部170判定機械手臂320是否與在移動區域310移動的移動物體(意即：箱子305)接觸。換言之，判定部170判定機械手臂320是否與在移動區域310移動的狀態的移動物體(意即：箱子305)接觸。如此，資訊處理裝置100可以藉由移動物體在移動區域移動的模擬判定是否發生接觸。
在機器人資訊顯示機械手臂320之移動(意即：機械手臂320的移動區域)時，判定部170藉由機械手臂320之移動判定是否發生接觸。換言之，機器人資訊顯示機械手臂320之移動時，判定部170判定移動的機械手臂320是否與靜止物體、移動物體以及在移動區域移動的移動物體之中的至少1者接觸。藉此，資訊處理裝置100可以藉由機械手臂320移動的模擬判定是否發生接觸。
機器人資訊顯示複數機械手臂時，判定部170也可以判定機械手臂彼此之間是否接觸。
此處，取得部120也可以取得判定排除資訊。例如，取得部120從記憶部110取得判定排除資訊。另外，例如，取得部120從外部裝置取得判定排除資訊。另外，判定排除資訊為在判定處理中被排除的資訊。具體而言，判定排除資訊為在判定處理中被排除的物體、在判定處理中被排除的區域等。具體而言，在判定處理中被排除的物體為臨時被放置的物體、設置機器人時不存在的物體等。例如，在判定處理中被排除的物體為桌子。另外，例如，在判定處理中被排除的區域為遠離機械手臂320被設置的位置的區域。判定部170從判定之對象中排除判定排除資訊顯示的資訊。換言之，判定部170不判定判定排除資訊顯示的資訊。例如，判定排除資訊顯示桌子時，判定部170不判定機械手臂320是否與桌子接觸。另外，例如判定排除資訊顯示遠離機械手臂320被設置的位置的區域且移動區域不包含於此區域中時，判定部170不判定機械手臂320是否與在此移動區域內的移動物體接觸。若此移動區域遠離機械手臂320，機械手臂320不會與在此移動區域移動的移動物體接觸。因此，判定部170不執行多餘的處理。因此，藉由利用判定排除資訊，資訊處理裝置100不執行多餘的處理。由於資訊處理裝置100不執行多餘的處理，可以減輕處理負擔。另外，例如，判定排除資訊顯示臨時放置的物體、設置機器人時不存在的物體等時，機械手臂320不會接觸上述之物體。因此，判定部170不執行多餘的處理。因此，藉由利用判定排除資訊，資訊處理裝置100不執行多餘的處理。由於資訊處理裝置100不執行多餘的處理，可以減輕處理負擔。另外，在判定結果中不顯示機械手臂320是否與上述物體接觸的資訊。因此，使用者較不會漏看真的想確認的內容。
輸出部180輸出判定結果。例如，輸出部180將判定結果輸出到顯示器105。另外，例如，輸出部180將判定結果輸出到外部裝置。另外，判定結果為顯示是否發生接觸的資訊。輸出部180在判定結果顯示發生接觸時，也可以輸出顯示發生接觸狀況的資訊。例如，此資訊為電腦圖像(Computer Graphics，CG)。藉此，使用者可以瞭解發生接觸的狀況。另外，輸出部180在判定結果顯示不發生接觸時，也可以輸出顯示不發生接觸的狀況的資訊。
另外，判定結果顯示發生接觸時，判定部170也可以自動調整不移動的機器人(意即：在固定之位置動作的機器人)的位置，再次判定是否發生接觸。接下來，在不發生接觸時，輸出部180輸出被調整後機器人的位置。藉此，使用者可以瞭解機器人將設置於何處較好。
再者，判定結果顯示發生接觸時，且機器人之位置因使用者之操作而被變更時，判定部170也可以再次判定是否發生接觸。
另外，判定部170判定機器人彼此之間是否接觸，且機器人彼此接觸時，判定部170也可以自動調整複數機器人各自的位置，再次判定機器人彼此之間是否接觸。
接下來，利用流程圖說明資訊處理裝置100執行的處理。 第9圖為顯示實施形態1之資訊處理裝置執行的處理的例子的流程圖。 (步驟S11) 取得部120取得當前點雲資訊300與基準點雲資訊111。 (步驟S12) 位置對齊部140基於當前點雲資訊300與基準點雲資訊111進行點雲的位置對齊。 (步驟S13) 偵測部150基於位置對齊的結果偵測差異區域。
(步驟S14) 辨識部160辨識當前點雲資訊300顯示的複數物體與基準點雲資訊111顯示的複數物體。 (步驟S15) 偵測部150基於當前點雲資訊300顯示的複數物體、基準點雲資訊111顯示的複數物體以及差異區域，偵測靜止物體、移動物體以及移動區域。 (步驟S16) 取得部120取得機器人資訊。 (步驟S17) 判定部170基於機器人資訊執行接觸判定處理。 (步驟S18) 輸出部180輸出判定結果。
另外，步驟S14也可以與步驟S12、13平行執行。另外，只要在步驟S17執行之前，步驟S16可以在任何時間點被執行。
在上述中，說明了靜止物體、移動物體以及移動區域被偵測的情況。然後，說明了判定部170判定機器人是否與靜止物體、移動物體以及在移動區域移動的移動物體接觸的情況。偵測部150也可以偵測靜止物體以及移動物體之中的至少1者。然後，判定部170也可以判定機器人是否與靜止物體以及移動物體之中的至少1者接觸。另外，偵測部150也可以偵測靜止物體、移動物體以及移動區域之中的至少1者。然後，判定部170也可以判定機器人是否與靜止物體、移動物體以及在移動區域移動的移動物體之中的至少1者接觸。
若根據實施形態1，資訊處理裝置100在變化的環境中，可以模擬機器人是否與物體接觸。然後，若利用模擬的結果，可以實際上減少機器人與物體接觸。
實施形態2. 接下來，說明實施形態2。在實施形態2中，主要說明與實施形態1不同的事項。然後，在實施形態2中，省略與實施形態1共通的事項。 在實施形態2中，說明在實施形態1中說明的例子的狀況有變化的情況。以下利用圖示說明實施形態2。
第10圖為顯示實施形態2之當前點雲資訊與基準點雲資訊的例子的示意圖。第10圖顯示當前點雲資訊301與基準點雲資訊112。基準點雲資訊112為顯示當前點雲資訊301被取得前狀況的資訊。詳細而言，基準點雲資訊112為當前點雲資訊300。當前點雲資訊301顯示的狀況為當前點雲資訊300顯示的狀況之後的狀況。因此，基準點雲資訊112也可以稱為過去點雲資訊。在當前點雲資訊301顯示的狀況中，箱子、使用者等在移動。
當前點雲資訊301被取得部120取得。取得部120也可以從抽出部130取得當前點雲資訊301。由於當前點雲資訊301的取得方法與實施形態1相同，因此省略說明。
位置對齊部140基於當前點雲資訊301與基準點雲資訊112進行點雲的位置對齊。 偵測部150基於位置對齊的結果偵測差異區域。將例示差異區域。
第11圖為顯示實施形態2之差異區域的例子的示意圖。第11圖顯示當前點雲資訊301與基準點雲資訊112被位置對齊的狀態。意即，第11圖顯示位置對齊的結果。偵測部150基於位置對齊的結果偵測4個差異區域。
辨識部160辨識當前點雲資訊301顯示的複數物體。具體而言，辨識部160對當前點雲資訊301進行分割。辨識部160辨識藉由分割得到的區域的物體。基準點雲資訊112顯示的複數物體的資訊沒有被儲存於記憶部110時，辨識部160也可以辨識基準點雲資訊112顯示的複數物體。
偵測部150基於當前點雲資訊301顯示的複數物體、基準點雲資訊112顯示的複數物體以及差異區域，偵測靜止物體、移動物體以及移動區域之中的至少1者。具體而言，利用第12圖說明偵測處理。
第12圖為顯示實施形態2之偵測處理的例子的示意圖。在第12圖的例子中，偵測部150不基於當前點雲資訊301顯示的複數物體、基準點雲資訊112顯示的複數物體以及差異區域偵測靜止物體。不偵測靜止物體時，偵測部150刪除登錄在靜止物體清單的資訊。
偵測部150基於當前點雲資訊301顯示的複數物體、基準點雲資訊112顯示的複數物體以及差異區域偵測移動物體。移動物體為箱子306、人、PC以及桌子。偵測部150更新移動物體清單。 偵測部150偵測移動物體移動的移動區域。第12圖顯示了移動區域312。
偵測部150再偵測到登錄於移動物體清單的移動物體時，將登錄於移動區域清單的移動區域(例如，也稱為第1移動區域)與本次偵測到的移動區域(例如，也稱為第2移動區域)相加。登錄於移動區域清單的移動區域為當前點雲資訊301被取得前偵測到的移動區域。具體而言，此移動區域為移動區域310。因此，偵測部150將登錄於移動區域清單的移動區域310與本次偵測到的移動區域相加。藉此，移動區域311(例如，也稱為第3移動區域)被算出。如此，偵測部150藉由將移動區域相加，偵測箱子在移動區域311移動。藉此，資訊處理裝置100如後述般，可以判定如移動物體在移動區域311移動的模擬中是否發生接觸。 偵測部150將移動區域311與移動區域312登錄到移動區域清單。
判定部170基於機器人資訊判定機器人是否與靜止物體以及移動物體之中的至少1者接觸。另外，存在移動物體時，判定部170基於機器人資訊判定機器人是否與在移動區域中移動的移動物體接觸。利用具體例子例示判定部170執行的處理。
第13圖為顯示實施形態2之接觸判定處理的例子的示意圖。第13圖顯示了機器人資訊顯示的機械手臂320。 判定部170判定機械手臂320是否與移動物體(意即：箱子306)接觸。判定部170判定機械手臂320是否與移動物體(意即：人、PC以及桌子)接觸。
判定部170判定機械手臂320是否與在移動區域311移動的移動物體(意即：箱子)接觸。另外，判定部170判定機械手臂320是否與在移動區域312移動的移動物體(意即：人、PC以及桌子)接觸。 輸出部180輸出判定結果。
資訊處理裝置100在每次狀況有變化時，重複上述之處理。藉此，資訊處理裝置100在每次狀況有變化時，可以模擬機器人是否與物體接觸。然後，若利用模擬的結果，可以實際上減少機器人與物體接觸。
實施形態3. 接下來，說明實施形態3。在實施形態3中，主要說明與實施形態1、2不同的事項。然後，在實施形態3中，省略與實施形態1、2共通的事項。
在實施形態1、2中，說明了資訊處理裝置100執行所有處理的情況。在實施形態3中，說明以2個裝置實現在資訊處理裝置100中進行的處理的情況。
第14圖為顯示實施形態3之模擬系統的示意圖。模擬系統包含終端裝置400與資訊處理裝置500。終端裝置400例如為智慧型手機、平板終端裝置等。資訊處理裝置500例如為伺服器。
終端裝置400與資訊處理裝置500經由網路通訊。終端裝置400取得當前點雲資訊。終端裝置400將當前點雲資訊傳送到資訊處理裝置500。另外，終端裝置400也可以具有與抽出部130相同的功能。
第15圖為顯示實施形態3之資訊處理裝置的功能的方塊圖。資訊處理裝置500包括：記憶部510、取得部520、位置對齊部530、偵測部540、辨識部550、判定部560以及輸出部570。
記憶部510可以被實現為資訊處理裝置500具有的揮發性記憶裝置或非揮發性記憶裝置中確保的記憶區域。 取得部520、位置對齊部530、偵測部540、辨識部550、判定部560以及輸出部570的一部分或全部可以由資訊處理裝置500具有的處理電路實現。另外，取得部520、位置對齊部530、偵測部540、辨識部550、判定部560以及輸出部570的一部分或全部也可以實現為資訊處理裝置500具有的處理器執行的程式的模組。
位置對齊部530、偵測部540、辨識部550以及判定部560的功能與位置對齊部140、偵測部150、辨識部160以及判定部170相同。因此，省略位置對齊部530、偵測部540、辨識部550以及判定部560的功能的說明。
取得部520與取得部120大部分相同。例如，取得部520取得基準點雲資訊以及機器人資訊。取得部520在接下來這點與取得部120不同。取得部520從終端裝置400取得當前點雲資訊。另外，輸出部570將判定結果輸出到終端裝置400。藉此，使用者可以經由終端裝置400了解判定結果。
另外，終端裝置400也可以具有資訊處理裝置500的功能的一部份。
若根據實施形態3，在資訊處理裝置100進行的處理藉由終端裝置400與資訊處理裝置500實現。因此，模擬系統達到與實施形態1以及實施形態2相同的效果。另外，若根據實施形態3，處理被分散。因此，減輕1個裝置的負擔。例如，減輕終端裝置400的負擔。
以上說明的各實施形態中的特徵，可以互相適當地組合。
100:資訊處理裝置 101:處理器 102:揮發性記憶裝置 103:非揮發性記憶裝置 104:攝影裝置 105:顯示器 110:記憶部 111:基準點雲資訊 112:基準點雲資訊 120:取得部 130:抽出部 140:位置對齊部 150:偵測部 160:辨識部 170:判定部 180:輸出部 200:作業員 201:個人電腦(PC) 202:桌子 203:箱子 204:帶式輸送機 205:工件 300:當前點雲資訊 301:當前點雲資訊 305,306:箱子 310:移動區域 311:移動區域 312:移動區域 320:機械手臂 400:終端裝置 500:資訊處理裝置 510:記憶部 520:取得部 530:位置對齊部 540:偵測部 550:辨識部 560:判定部 570:輸出部
[第1圖]為顯示實施形態1之變化多的環境的例子的示意圖。 [第2圖]為顯示實施形態1之資訊處理裝置包括的硬體的示意圖。 [第3圖]為顯示實施形態1之資訊處理裝置的功能的方塊圖。 [第4圖]為顯示實施形態1之當前點雲資訊與基準點雲資訊的例子的示意圖。 [第5圖]為顯示實施形態1之差異區域的例子的示意圖。 [第6圖]為顯示實施形態1之附加標記的物體的例子的示意圖。 [第7圖]為顯示實施形態1之靜止物體、移動物體以及移動區域的偵測處理的例子的示意圖。 [第8圖]為顯示實施形態1之接觸判定處理的例子的示意圖。 [第9圖]為顯示實施形態1之資訊處理裝置執行的處理的例子的流程圖。 [第10圖]為顯示實施形態2之當前點雲資訊與基準點雲資訊的例子的示意圖。 [第11圖]為顯示實施形態2之差異區域的例子的示意圖。 [第12圖]為顯示實施形態2之偵測處理的例子的示意圖。 [第13圖]為顯示實施形態2之接觸判定處理的例子的示意圖。 [第14圖]為顯示實施形態3之模擬系統的示意圖。 [第15圖]為顯示實施形態3之資訊處理裝置的功能的方塊圖。
100:資訊處理裝置
110:記憶部
120:取得部
130:抽出部
140:位置對齊部
150:偵測部
160:辨識部
170:判定部
180:輸出部

Claims (13)

  1. 一種資訊處理裝置，包括： 取得部，取得當前點雲資訊、基準點雲資訊以及機器人資訊，前述當前點雲資訊顯示複數物體的特徵點，前述基準點雲資訊為顯示複數物體的特徵點資訊和基準資訊，前述機器人資訊為與機器人有關的資訊； 位置對齊部，基於前述當前點雲資訊與前述基準點雲資訊，進行點雲之位置對齊； 辨識部，辨識前述當前點雲資訊顯示的複數物體與前述基準點雲資訊顯示的複數物體； 偵測部，基於位置對齊的結果偵測差異區域，基於前述當前點雲資訊顯示的複數物體、前述基準點雲資訊顯示的複數物體以及前述差異區域，偵測為新出現物體的靜止物體以及為移動之物體的移動物體之中的至少1者； 判定部，基於前述機器人資訊，判定前述機器人是否與前述靜止物體以及前述移動物體之中的至少1者接觸；以及 輸出部，輸出判定結果。
  2. 如請求項1之資訊處理裝置，其中， 前述偵測部，基於前述當前點雲資訊顯示的複數物體、前述基準點雲資訊顯示的複數物體以及前述差異區域，偵測前述靜止物體、前述移動物體以及為前述移動物體移動之區域的移動區域之中的至少1者； 前述判定部基於前述機器人資訊，判定前述機器人是否與前述靜止物體、前述移動物體以及在前述移動區域中移動的前述移動物體之中的至少1者接觸。
  3. 如請求項2之資訊處理裝置，其中， 前述偵測部，基於前述當前點雲資訊顯示的複數物體、前述基準點雲資訊顯示的複數物體以及前述差異區域，偵測前述靜止物體、前述移動物體以及前述移動區域； 前述判定部基於前述機器人資訊，判定前述機器人是否與前述靜止物體、前述移動物體以及在前述移動區域中移動的前述移動物體接觸。
  4. 如請求項1或2之資訊處理裝置，其中， 前述判定部在前述判定結果顯示發生接觸時，自動調整前述機器人的位置，再次判定是否發生接觸； 前述輸出部在沒有發生接觸時，輸出被調整後前述機器人的位置。
  5. 如請求項1之資訊處理裝置，其中， 前述偵測部，基於前述當前點雲資訊顯示的複數物體、前述基準點雲資訊顯示的複數物體以及前述差異區域，偵測前述靜止物體、前述移動物體以及為前述移動物體移動之區域的移動區域之中的至少1者； 前述判定部在前述機器人資訊顯示前述機器人移動時，判定移動的前述機器人是否與前述靜止物體、前述移動物體以及在前述移動區域中移動的前述移動物體之中的至少1者接觸。
  6. 如請求項1或2之資訊處理裝置，其中， 前述取得部取得顯示在前述判定之處理中被排除之資訊的判定排除資訊； 前述判定部將顯示前述判定排除資訊的資訊從前述判定之對象排除。
  7. 如請求項1或2之資訊處理裝置，其中，前述輸出部在前述判定結果顯示發生接觸時，輸出顯示發生接觸狀況的資訊。
  8. 如請求項1或2之資訊處理裝置，其中，前述基準點雲資訊為預先作成的資訊，為顯示複數物體的特徵點資訊，以及基準資訊。
  9. 如請求項1或2之資訊處理裝置，其中，前述基準點雲資訊為顯示前述當前點雲資訊被取得前狀況的資訊，為顯示複數物體的特徵點資訊，以及基準資訊。
  10. 如請求項9之資訊處理裝置，更包括： 記憶部，記憶前述當前點雲資訊被取得前偵測到的第1移動區域； 其中，前述偵測部基於前述當前點雲資訊顯示的複數物體、前述基準點雲資訊顯示的複數物體以及前述差異區域，偵測前述靜止物體、前述移動物體以及為前述移動物體移動之區域的第2移動區域之中的至少1者； 前述判定部基於前述機器人資訊，判定前述機器人是否與前述靜止物體、前述移動物體以及在第3移動區域中移動的前述移動物體之中的至少1者接觸，前述第3移動區域藉由將前述第1移動區域與前述第2移動區域相加而得。
  11. 一種模擬系統，包括： 終端裝置，取得顯示複數物體之特徵點的當前點雲資訊，並傳送前述當前點雲資訊；以及 資訊處理裝置； 其中，前述資訊處理裝置，包括： 取得部，取得前述當前點雲資訊、基準點雲資訊以及機器人資訊，前述基準點雲資訊為顯示複數物體的特徵點資訊以及基準資訊，前述機器人資訊為與機器人有關的資訊； 位置對齊部，基於前述當前點雲資訊與前述基準點雲資訊，進行點雲之位置對齊； 辨識部，辨識前述當前點雲資訊顯示的複數物體與前述基準點雲資訊顯示的複數物體； 偵測部，基於位置對齊的結果偵測差異區域，基於前述當前點雲資訊顯示的複數物體、前述基準點雲資訊顯示的複數物體以及前述差異區域，偵測為新出現物體的靜止物體以及為移動之物體的移動物體之中的至少1者； 判定部，基於前述機器人資訊，判定前述機器人是否與前述靜止物體以及前述移動物體之中的至少1者接觸；以及 輸出部，對前述終端裝置輸出判定結果。
  12. 一種模擬方法，包括： 透過資訊處理裝置 取得當前點雲資訊、基準點雲資訊以及機器人資訊，前述當前點雲資訊顯示複數物體的特徵點，前述基準點雲資訊為顯示複數物體的特徵點資訊以及基準資訊，前述機器人資訊為與機器人有關的資訊，基於前述當前點雲資訊與前述基準點雲資訊進行點雲之位置對齊，辨識前述當前點雲資訊顯示的複數物體與前述基準點雲資訊顯示的複數物體，基於位置對齊的結果偵測差異區域，基於前述當前點雲資訊顯示的複數物體、前述基準點雲資訊顯示的複數物體以及前述差異區域，偵測為新出現物體的靜止物體以及為移動之物體的移動物體之中的至少1者； 基於前述機器人資訊，判定前述機器人是否與前述靜止物體以及前述移動物體之中的至少1者接觸；以及 輸出判定結果。
  13. 一種模擬程式，用以在資訊處理裝置中執行以下處理： 取得當前點雲資訊、基準點雲資訊以及機器人資訊，前述當前點雲資訊顯示複數物體的特徵點，前述基準點雲資訊為顯示複數物體的特徵點資訊和基準資訊，前述機器人資訊為與機器人有關的資訊，基於前述當前點雲資訊與前述基準點雲資訊進行點雲之位置對齊，辨識前述當前點雲資訊顯示的複數物體與前述基準點雲資訊顯示的複數物體，基於位置對齊的結果偵測差異區域，基於前述當前點雲資訊顯示的複數物體、前述基準點雲資訊顯示的複數物體以及前述差異區域，偵測為新出現物體的靜止物體以及為移動之物體的移動物體之中的至少1者； 基於前述機器人資訊，判定前述機器人是否與前述靜止物體以及前述移動物體之中的至少1者接觸；以及 輸出判定結果。
TW111115768A 2021-11-22 2022-04-26 資訊處理裝置、模擬系統、模擬方法以及模擬程式 TW202321848A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
WOPCT/JP2021/042765 2021-11-22
PCT/JP2021/042765 WO2023089817A1 (ja) 2021-11-22 2021-11-22 情報処理装置、シミュレーションシステム、シミュレーション方法、及びシミュレーションプログラム

Publications (1)

Publication Number Publication Date
TW202321848A true TW202321848A (zh) 2023-06-01

Family

ID=86396516

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111115768A TW202321848A (zh) 2021-11-22 2022-04-26 資訊處理裝置、模擬系統、模擬方法以及模擬程式

Country Status (3)

Country Link
JP (1) JPWO2023089817A1 (zh)
TW (1) TW202321848A (zh)
WO (1) WO2023089817A1 (zh)

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH085028B2 (ja) * 1990-02-28 1996-01-24 株式会社日立製作所 移動体の衝突判定方法並びに衝突判定装置
JP3007440B2 (ja) * 1991-05-17 2000-02-07 松下電工株式会社 ロボットのオフライン教示装置
JPH1097305A (ja) * 1996-09-24 1998-04-14 Mazda Motor Corp ロボットの制御方法
JP5147129B2 (ja) * 2008-10-23 2013-02-20 株式会社Ｉｈｉエアロスペース 自律型移動体
JP5366018B2 (ja) * 2010-04-28 2013-12-11 株式会社安川電機 ロボットの教示手順校正装置および方法
JP2013136109A (ja) * 2011-12-28 2013-07-11 Nitto Seiko Co Ltd 干渉判定装置及び干渉判定方法
JP5915322B2 (ja) * 2012-03-29 2016-05-11 株式会社デンソーウェーブ ロボット装置
JP5939213B2 (ja) * 2013-08-09 2016-06-22 株式会社安川電機 ロボット制御装置及びロボット制御方法
JP6687582B2 (ja) * 2017-11-30 2020-04-22 ファナック株式会社 情報処理装置
JP2019171501A (ja) * 2018-03-27 2019-10-10 日本電産株式会社 ロボットの干渉判定装置、ロボットの干渉判定方法、プログラム
JP7243979B2 (ja) * 2018-12-14 2023-03-22 オムロン株式会社 ロボット干渉判定装置、ロボット干渉判定方法、ロボット制御装置、ロボット制御システム、人動作予測装置、および人動作予測方法
US11179850B2 (en) * 2019-04-24 2021-11-23 Intrinsic Innovation Llc Robot motion planning
JP2020196058A (ja) * 2019-05-31 2020-12-10 セイコーエプソン株式会社 ロボットシステムおよびロボットシステムの制御方法
JP7489219B2 (ja) * 2020-04-07 2024-05-23 オークマ株式会社 経路生成装置および工作機械
JP2021171905A (ja) * 2020-04-30 2021-11-01 東京ロボティクス株式会社 ロボット制御装置、方法、及びプログラム

Also Published As

Publication number Publication date
WO2023089817A1 (ja) 2023-05-25
JPWO2023089817A1 (zh) 2023-05-25

Similar Documents

Publication Publication Date Title
US12067581B2 (en) Object type identifying apparatus, object type identifying method, and recording medium
CN103189827B (zh) 对象显示装置以及对象显示方法
JP7332183B2 (ja) 情報処理装置、制御方法、及びプログラム
JP7049983B2 (ja) 物体認識装置および物体認識方法
JP6352208B2 (ja) 三次元モデル処理装置およびカメラ校正システム
WO2010101227A1 (ja) 物体位置推定用情報作成装置、物体位置推定用情報作成方法およびプログラム
JPWO2015136714A1 (ja) 画像識別装置、画像センサ、画像識別方法
TWI438702B (zh) 影像環境邊界之動態設定方法及人員活動內容之即時判定方法
US20200134688A1 (en) Merchandise specification system
US12125274B2 (en) Identification information assignment apparatus, identification information assignment method, and program
JP6374812B2 (ja) 三次元モデル処理装置およびカメラ校正システム
WO2022124673A1 (ko) 기계학습 모델을 이용해 촬영 영상에 기반하여 용기 내의 물건 부피를 측정하는 장치 및 방법
CN110909638A (zh) 一种基于arm平台的人脸识别方法及系统
US11989928B2 (en) Image processing system
JP6504180B2 (ja) 異常検出装置、異常検出方法および異常検出プログラム
JP2020181290A (ja) 物品認識システムおよび物品認識方法
TW202321848A (zh) 資訊處理裝置、模擬系統、模擬方法以及模擬程式
JP2015045919A (ja) 画像認識方法及びロボット
US11127158B2 (en) Image indexing and retrieval using local image patches for object three-dimensional pose estimation
US20210027491A1 (en) Position posture identification device, position posture identification method and position posture identification program
CN115298626A (zh) 作业管理装置和作业状态判定方法
CN115298691A (zh) 学习装置和学习方法
JP7376446B2 (ja) 作業分析プログラム、および、作業分析装置
US20230070529A1 (en) Processing apparatus, processing method, and non-transitory storage medium
KR20230072001A (ko) 딥러닝을 적용한 시뮬레이터 객체를 생성하는 장치 및 방법