TW202206242A

TW202206242A - 顯示系統及機器人系統

Info

Publication number: TW202206242A
Application number: TW110124316A
Authority: TW
Inventors: 掃部雅幸; 杉山裕和
Original assignee: 日商川崎重工業股份有限公司
Priority date: 2020-07-02
Filing date: 2021-07-02
Publication date: 2022-02-16
Also published as: WO2022004774A1; JPWO2022004774A1; JP7462046B2

Abstract

本發明之顯示系統具備：3D攝影機，其配置於作業空間內；第1控制裝置，其基於由上述3D攝影機獲得之圖像資訊，形成上述作業空間內之第1作業空間之3D模型，且進一步形成虛擬圖像資訊，該虛擬圖像資訊係虛構之攝影機亦即虛擬攝影機自上述虛擬攝影機之位置亦即虛擬視點，以上述虛擬攝影機之朝向亦即虛擬視線，拍攝上述3D模型時而獲得；第1操作器，其接收對上述虛擬攝影機之操作指示之輸入；及顯示裝置，其顯示上述虛擬圖像資訊；上述第1控制裝置基於上述圖像資訊，即時地形成上述3D模型，以與上述操作指示之操作量連動之方式，移動上述虛擬視點，或變更上述虛擬視線，使上述虛擬圖像資訊顯示於上述顯示裝置。

Description

顯示系統及機器人系統

本發明係關於顯示系統及機器人系統。

已知於各種行動終端顯示表示機器人之工作單元之三維圖像之顯示系統（例如參照專利文獻1）。專利文獻1所揭示之顯示系統具有顯示器，其生成包括三維機器人模型及工作單元之其他構造之模型在內之機器人工作單元資料，顯示所生成之三維機器人模型等之三維繪製(rendering)。

又，於專利文獻1所揭示之顯示系統中，使用者（操作者）使用操作手段操作顯示於顯示器之機器人時，於該機器人執行動作之前，於顯示器內示出碰撞物（例如安全壁）。而且，構成為於藉由使用者之操作，而物理上之機器人與碰撞物碰撞之情形時，將該碰撞顯示於顯示器。 [現有技術文獻] [專利文獻]

[專利文獻1]日本特開2019-177477號公報

然而，於上述專利文獻1所揭示之顯示系統中，程式設計員需要製作三維機器人模型、經動畫化之三維機器人模型等三維資料。因此，若作為機器人之作業對象之工件種類變多，則其製作之資料數量龐大，資料之製作費用增大。尤其是於工件量少之情形時，生產成本中之資料之製作費用之比率變大。

因此，於上述專利文獻1所揭示之顯示系統中，就生產效率提高之觀點而言，仍有改善餘地。

本發明之目的在於提供顯示系統及機器人系統，其解決上述課題，與習知之顯示系統相比，可提高生產效率。

為了解決上述課題，本發明之顯示系統具備：3D攝影機，其配置於作業空間內；第1控制裝置，其基於由上述3D攝影機獲得之圖像資訊，形成上述作業空間內之第1作業空間之3D模型，且進一步形成虛擬圖像資訊，該虛擬圖像資訊係虛構之攝影機亦即虛擬攝影機自上述虛擬攝影機之位置亦即虛擬視點，以上述虛擬攝影機之朝向亦即虛擬視線，拍攝上述3D模型時而獲得；第1操作器，其接收對上述虛擬攝影機之操作指示之輸入；及顯示裝置，其顯示上述虛擬圖像資訊；上述第1控制裝置基於上述圖像資訊，即時地形成上述3D模型，以與上述操作指示之操作量連動之方式，移動上述虛擬視點，或變更上述虛擬視線，使上述虛擬圖像資訊顯示於上述顯示裝置。

藉此，由於不需要由程式設計員製作工件之3D模型，因此可降低資料製作所需之費用。因此，與上述專利文獻1所揭示之顯示系統相比，可提高生產效率。

為了解決上述課題，本發明之機器人系統具備：上述顯示系統；機器人，其配置於上述作業空間內，對配置於上述第1作業空間內之工件進行作業；第2操作器，其接收對上述機器人之操作指示之輸入；及第2控制裝置，其基於由上述第2操作器接收之上述操作指示，控制上述機器人之動作。

本發明之上述目的、其他目的、特徵及優點將於參照隨附圖式之情形下，根據以下較佳之實施形態之詳細說明而明瞭。 [發明之效果]

根據本發明之顯示系統及機器人系統，與習知之顯示系統相比，可提高生產效率。

以下，一面參照圖式一面對本發明之實施形態進行說明。再者，於所有圖式中，對相同或相當之部分標註相同符號，省略重複說明。又，於所有圖式中，對用於說明本發明之構成要素重點地進行圖示，其他構成要素則有時省略圖示。此外，本發明並不限定於以下實施形態。

（實施形態1）以下，一面參照圖1～圖5一面對本實施形態1之顯示系統及機器人系統之一例進行說明。

[顯示系統及機器人系統之構成及作用效果] 圖1係表示本實施形態1之顯示系統及機器人系統之概略構成之示意圖。

如圖1所示，本實施形態1之顯示系統100具備3D攝影機102、顯示裝置103、第1操作器104及第1控制裝置111。又，本實施形態1之機器人系統200具備顯示系統100、機器人101、第2操作器105及第2控制裝置112。

機器人101、3D攝影機102及第2控制裝置112配置於作業空間201內，顯示裝置103、第1操作器104、第2操作器105及第1控制裝置111配置於操作空間202內。再者，第2控制裝置112亦可配置於操作空間202內。

作業空間201為設有機器人101之空間，至少包含機器人101之動作範圍內之空間。又，操作空間202係與作業空間201不同之空間，為與作業空間201分開之空間。

再者，作業空間201與操作空間202可藉由間隔壁構件210隔離。間隔壁構件210可為其一部分係玻璃板等透明構件，而操作者可自外部視認作業空間201內。

圖2係表示配置於圖1所示之顯示系統及機器人系統之作業空間內之機器之概略構成的示意圖。首先，一面參照圖2一面對配置於作業空間201內之機器進行說明。

如圖2所示，3D攝影機102配置於作業空間201內。具體而言，3D攝影機102配置於可拍攝第1作業空間220之位置。於本實施形態1中，3D攝影機102配置於機器人101（工件W1～工件W5）之前方。再者，第1作業空間220指機器人101之動作範圍內之空間。

又，3D攝影機102將藉由拍攝作業空間201內而獲得之圖像資訊輸出至第1控制裝置111。就放大拍攝範圍之觀點而言，3D攝影機102之視角可較大。3D攝影機102之視角例如可為100°以上125°以下。3D攝影機102之視角例如可為120°。再者，關於第1控制裝置111之構成將於下文敍述。

機器人101配置於作業空間201內，對配置於第1作業空間220內之工件W1～工件W5進行作業。機器人101載置於移動體60上。移動體60配置於沿左右方向延伸之軌道構件301A、301B上，可藉由適宜之致動器向左右方向移動。

又，機器人101係具備複數個連桿（此處為第1連桿11a～第6連桿11f）之連接體、複數個關節（此處為第1關節JT1～第6關節JT6）及支持該等之基台15的垂直多關節型機器人。再者，於本實施形態1中，雖採用垂直多關節型機器人作為機器人101，但並不限定於此，亦可採用水平多關節型機器人。

於第1關節JT1，基台15與第1連桿11a之基端部連結為可繞著沿鉛直方向延伸之軸旋轉。於第2關節JT2，第1連桿11a之前端部與第2連桿11b之基端部連結為可繞著沿水平方向延伸之軸旋轉。於第3關節JT3，第2連桿11b之前端部與第3連桿11c之基端部連結為可繞著沿水平方向延伸之軸旋轉。

又，於第4關節JT4，第3連桿11c之前端部與第4連桿11d之基端部連結為可繞著沿第4連桿11d之長度方向延伸之軸旋轉。於第5關節JT5，第4連桿11d之前端部與第5連桿11e之基端部連結為可繞著與第4連桿11d之長度方向正交之軸旋轉。於第6關節JT6，第5連桿11e之前端部與第6連桿11f之基端部連結為可扭轉。

而且，於第6連桿11f之前端部設有機械介面12。於該機械介面12可裝卸地安裝有手20。手20具有一對指構件30A、30B，可保持工件W1～工件W5，可解放所保持之工件W1～工件W5。

又，於第1關節JT1～第6關節JT6，分別設有作為使各關節所連結之2個構件相對旋轉之致動器之一例的驅動馬達。驅動馬達例如可為由第2控制裝置112伺服控制之伺服馬達。又，於第1關節JT1～第6關節JT6，分別設有檢測驅動馬達之旋轉位置之旋轉感測器、及檢測控制驅動馬達之旋轉之電流的電流感測器。旋轉感測器例如可為編碼器。

第2控制裝置112基於由第2操作器105接收之上述操作指示，控制機器人101之動作。第2控制裝置112具備微處理器、CPU等運算處理器及ROM、RAM等記憶器。記憶器記憶基本程式、各種固定資料等資訊。運算處理器藉由讀取並執行記憶器所記憶之基本程式等軟體，執行機器人101之各種動作。又，第2控制裝置112基於由第2操作器105輸入之針對機器人101之操作指令資訊，使機器人101動作。

再者，第2控制裝置112可為集中控制之單獨之控制裝置，亦可為互相協作而進行分散控制之複數個控制裝置。又，第2控制裝置112可為微電腦，亦可為MPU（Micro-Processing Unit：微處理裝置）、PLC（Programmable Logic Controller：可程式邏輯控制器）、邏輯電路等。

接著，一面參照圖1一面對配置於操作空間202內之機器進行說明。

顯示裝置103顯示下述虛擬圖像資訊。具體而言，顯示裝置103顯示由第1控制裝置111輸出之工件W1～W5及機器人101等配置於第1作業空間220內之機器之3D模型。再者，顯示裝置103亦可顯示由3D攝影機102所獲得之工件W1～W5及機器人101等之下述虛擬圖像資訊。

顯示裝置103例如可為放置於桌子、地板等而使用之固定型顯示器，亦可為操作者佩戴於身上而使用之頭戴式顯示器或眼鏡。

第1操作器104接收對虛擬攝影機之操作指示之輸入。此處，所謂虛擬攝影機，係與實際配置於作業空間201內之3D攝影機102不同之虛構之攝影機，且為用於便於說明與下述虛擬圖像資訊之形成相關之虛擬視點及虛擬視線的概念性模組。所謂上述虛擬視點係上述虛擬攝影機之位置，所謂上述虛擬視線係上述虛擬攝影機之朝向。

具體而言，藉由操作者對第1操作器104進行操作，操作訊號由第1操作器104輸入至第1控制裝置111。作為第1操作器104，例如可使用搖桿、鍵盤、數字小鍵盤、滑鼠等公知之操作器。

第2操作器105接收對機器人101之操作指示之輸入。作為第2操作器105，例如可使用搖桿、鍵盤、數字小鍵盤、滑鼠、教導器等公知之操作器。

又，於第2操作器105，可配置將設於機器人101之手20之力感測器所檢測之力資訊、或聲音資訊傳遞至操作者的機器。作為該機器，例如可例舉振動馬達、揚聲器、使構成把持部之殼體伸縮之機構等。

再者，第2操作器105可由操作者攜帶、搬運。又，機器人101與第2操作器105可為主從方式。

第1控制裝置111具備微處理器、CPU等運算處理器及ROM、RAM等記憶器。記憶器記憶基本程式、各種固定資料等資訊。運算處理器藉由讀取並執行記憶器中記憶之基本程式等軟體，而執行顯示系統100之各種動作。

第1控制裝置111基於由3D攝影機102獲得之圖像資訊，形成作業空間201內之第1作業空間220之3D模型，且進一步形成虛擬圖像資訊，該虛擬圖像資訊係概念性模組亦即虛擬攝影機自上述虛擬攝影機之位置亦即虛擬視點，以上述虛擬攝影機之朝向亦即虛擬視線，拍攝上述3D模型時而獲得。

而且，第1控制裝置111基於由3D攝影機102獲得之圖像資訊，即時地形成上述3D模型，以與由第1操作器104接收之操作指示之操作量連動之方式，移動上述虛擬視點，或變更上述虛擬視線，使上述虛擬圖像資訊顯示於顯示裝置103。此處，所謂第1控制裝置111即時地形成3D模型，指第1控制裝置111接收3D模型之形成要求時，立刻執行3D模型之形成處理。再者，第1控制裝置111可於接收3D模型之形成要求後，即時地進行至將上述虛擬圖像資訊顯示於顯示裝置103為止之動作。又，可預先設定自第1控制裝置111接收3D模型之形成要求後至使上述虛擬圖像資訊顯示於顯示裝置103為止所產生之時滯之容許範圍。而且，產生大於該容許範圍之延遲時，第1控制裝置111可將錯誤資訊顯示於顯示裝置111。

根據上述構成，操作者可操作第1操作器104，移動顯示於顯示裝置103之3D模型之虛擬視點，或變更虛擬視線。又，由於不需要由程式設計員製作工件之3D模型，因此可降低資料製作所需之費用。因此，與上述專利文獻1所揭示之顯示系統相比，可提高生產效率。

圖3係表示於圖1所示之顯示系統及機器人系統所具備之顯示裝置中，顯示第1作業空間之虛擬圖像資訊之第1例之情況的示意圖。例如，第1控制裝置111於將作業空間201內之3D攝影機102之位置設為3D模型內之虛擬攝影機之位置之情形時，如圖3所示，將機器人101之3D模型，亦即3D機器人101A、及工件W1～工件W5之3D模型，亦即3D工件W1A～3D工件W5A顯示於顯示裝置103。

圖4係表示於圖1所示之顯示系統及機器人系統所具備之顯示裝置中，顯示第1作業空間之虛擬圖像資訊之第2例之情況的示意圖。於操作者以推近(zoom up)3D模型內之虛擬攝影機之方式操作第1操作器104之情形時，如圖4所示，第1控制裝置111使將手20之3D模型，亦即3D手20A、3D工件W1A～3D工件W5A放大後之3D模型顯示於顯示裝置103。

又，於將圖1及圖2所示之工件W5保持於機器人101之情形時，於如圖4所示之顯示於顯示裝置103之虛擬圖像資訊中，有時不易掌握工件W1～工件W5（3D工件W1A～3D工件W5A）各者之位置關係（距離感、深度感）、工件W1～工件W5（3D工件W1A～3D工件W5A）與手20（3D手20A）的位置關係（距離感、深度感）。

圖5係表示於圖1所示之顯示系統及機器人系統所具備之顯示裝置中，顯示第1作業空間之虛擬圖像資訊之第3例之情況的示意圖。於如上所述般不易掌握位置關係之情形時，藉由操作者以使3D模型內之虛擬攝影機向3D機器人101A之右側追跡（track）之方式操作第1操作器104，第1控制裝置111將如圖5所示之虛擬圖像資訊顯示於顯示裝置103。

又，此時，於操作者操作第2操作器105，使機器人101動作之情形時，第1控制裝置111可獲取由第2操作器105輸入至第2控制裝置112之操作指令資訊。之後，第1控制裝置111可基於所獲取之操作指令資訊，使3D機器人101A動作（使3D機器人101A移動）。

圖6係表示於圖1所示之顯示系統及機器人系統所具備之顯示裝置中，顯示第1作業空間之虛擬圖像資訊之第4例之情況的示意圖。若操作者以使3D模型內之虛擬攝影機向3D機器人101A之左側追跡之方式操作第1操作器104，則第1控制裝置111將如圖6所示之虛擬圖像資訊顯示於顯示裝置103。

藉此，操作者可容易地掌握工件W1～工件W5（3D工件W1A～3D工件W5A）各者之位置關係（距離感、深度感）、工件W1～工件W5（3D工件W1A～3D工件W5A）與手20（3D手20A）的位置關係（距離感、深度感）。

因此，操作者可一面觀察顯示於顯示裝置103之3D模型之虛擬圖像資訊，一面容易地執行利用第2操作器105對機器人101之搖控。

例如，於由機器人101保持工件W1之情形時，於圖4中顯示於顯示裝置103之虛擬圖像中，操作者不易判斷深度方向上之3D手20A與3D工件W1A之位置關係。對此，操作者對第1操作器104輸入操作指示，如圖5所示，使虛擬視線向3D機器人101A之右側追跡。藉此，操作者可容易地判斷深度方向上之3D手20A與3D工件W1A之位置關係。其結果，操作者可對第2操作器105輸入操作指示，使機器人101確實地保持工件W1。

（實施形態2）以下，一面參照圖7一面對本實施形態2之顯示系統及機器人系統之一例進行說明。

[顯示系統及機器人系統之構成] 圖7係表示本實施形態2之顯示系統及機器人系統之概略構成之示意圖。如圖7所示，本實施形態2之顯示系統100及機器人系統200與實施形態1之顯示系統100及機器人系統200之基本構成相同，但設有複數台3D攝影機102之方面不同。

具體而言，3台3D攝影機102A～102C分別以自互相不同之方向拍攝第1作業空間220之方式配置。

又，第1控制裝置111基於由3D攝影機102A獲得之圖像資訊，即時地形成配置於第1作業空間220內之工件W1～工件W5、機器人101等各種機器之3D模型。同樣地，第1控制裝置111基於由3D攝影機102B、102C獲得之圖像資訊，即時地形成配置於第1作業空間220內之工件W1～工件W5、機器人101等各種機器之3D模型。

第1控制裝置111基於所形成之3個3D模型，例如合成所形成之3個3D模型，重新形成配置於第1作業空間220內之工件W1～工件W5、機器人101等各種機器之3D模型。

藉此，與以1台3D攝影機102自機器人101之正面拍攝第1作業空間220之情形相比，能夠擴大可拍攝之區域（範圍）。因此，可更加準確地形成配置於第1作業空間220內之工件W1～工件W5、機器人101等各種機器之3D模型。

因此，由於本實施形態2之顯示系統100及機器人系統200可更加準確地形成第1作業空間220之3D模型，因此操作者可更加準確、且更快速地執行以機器人101之手20保持、搬送工件W1～工件W5的作業。

又，即便為具備上述構成之本實施形態2之顯示系統100及機器人系統200，亦發揮與實施形態1之顯示系統100及機器人系統200相同之作用效果。

再者，於本實施形態1及2之機器人系統200中，採用了機器人101執行保持、搬送工件W1～工件W5之作業的形態，但機器人101所執行之作業並不限定於此。機器人101可執行例如塗裝工件之作業、研磨工件之作業、切削工件之作業、焊接工件之作業等各種作業。

對本發明所屬技術領域中具有通常知識者而言，根據上述說明可明瞭本發明之諸多改良或其他實施形態。因此，上述說明應僅作為例示解釋，係為了對本發明所屬技術領域中具有通常知識者教示執行本發明之最佳態樣而提供。可於不脫離本發明之情形下，實質上變更其構造及/或功能之詳細內容。

[總結] 為了解決上述課題，本發明之顯示系統具備：3D攝影機，其配置於作業空間內；第1控制裝置，其基於由上述3D攝影機獲得之圖像資訊，形成上述作業空間內之第1作業空間之3D模型，且進一步形成虛擬圖像資訊，該虛擬圖像資訊係虛構之攝影機亦即虛擬攝影機自上述虛擬攝影機之位置亦即虛擬視點，以上述虛擬攝影機之朝向亦即虛擬視線，拍攝上述3D模型時而獲得；第1操作器，其接收對上述虛擬攝影機之操作指示之輸入；及顯示裝置，其顯示上述虛擬圖像資訊；上述第1控制裝置基於上述圖像資訊，即時地形成上述3D模型，以與上述操作指示之操作量連動之方式，移動上述虛擬視點，或變更上述虛擬視線，使上述虛擬圖像資訊顯示於上述顯示裝置。

藉此，由於不需要由程式設計員製作工件之3D模型，因此可降低資料製作所需之費用。因此，與習知之顯示系統相比，可提高生產效率。

例如，複數個上述3D攝影機可配置於上述作業空間內。

例如，複數個上述3D攝影機可分別以自互相不同之方向拍攝上述第1作業空間之方式配置。

上述第1控制裝置可針對複數個上述3D攝影機各者形成上述3D模型，基於所形成之複數個上述3D模型，重新形成由上述虛擬攝影機拍攝之上述3D模型。

藉此，可更加準確地形成第1作業空間之3D模型。

為了解決上述課題，本發明之機器人系統具備：顯示系統，其具備上述構成之任一者；機器人，其配置於上述作業空間內，對配置於上述第1作業空間內之工件進行作業；第2操作器，其接收對上述機器人之操作指示之輸入；及第2控制裝置，其基於由上述第2操作器接收之上述操作指示，控制上述機器人之動作。

藉此，由於不需要由程式設計員製作工件之3D模型，因此可降低資料製作所需之費用。因此，與習知之顯示系統相比，可提高生產效率。 [產業上之可利用性]

根據本發明之顯示系統及機器人系統，由於與習知之顯示系統相比，可提高生產效率，因此有益於機器人之領域。

11a:第1連桿 11b:第2連桿 11c:第3連桿 11d:第4連桿 11e:第5連桿 11f:第6連桿 12:機械介面 15:基台 20:手 20A:3D手 30A:指構件 30B:指構件 60:移動體 100:顯示系統 101:機器人 101A:3D機器人 102:3D攝影機 102A:3D攝影機 102B:3D攝影機 102C:3D攝影機 103:顯示裝置 104:第1操作器 105:第2操作器 106:台構件 111:第1控制裝置 112:第2控制裝置 200:機器人系統 201:作業空間 202:操作空間 210:間隔壁構件 220:第1作業空間 301A:軌道構件 301B:軌道構件 JT1:第1關節 JT2:第2關節 JT3:第3關節 JT4:第4關節 JT5:第5關節 JT6:第6關節 W1:工件 W1A:3D工件 W2:工件 W2A:3D工件 W3:工件 W3A:3D工件 W4:工件 W4A:3D工件 W5:工件 W5A:3D工件

[圖1]係表示本實施形態1之顯示系統及機器人系統之概略構成之示意圖。 [圖2]係表示配置於圖1所示之顯示系統及機器人系統之作業空間內之機器之概略構成的示意圖。 [圖3]係表示於圖1所示之顯示系統及機器人系統所具備之顯示裝置中，顯示第1作業空間之虛擬圖像資訊之第1例之情況的示意圖。 [圖4]係表示於圖1所示之顯示系統及機器人系統所具備之顯示裝置中，顯示第1作業空間之虛擬圖像資訊之第2例之情況的示意圖。 [圖5]係表示於圖1所示之顯示系統及機器人系統所具備之顯示裝置中，顯示第1作業空間之虛擬圖像資訊之第3例之情況的示意圖。 [圖6]係表示於圖1所示之顯示系統及機器人系統所具備之顯示裝置中，顯示第1作業空間之虛擬圖像資訊之第4例之情況的示意圖。 [圖7]係表示本實施形態2之顯示系統及機器人系統之概略構成之示意圖。

100:顯示系統

101:機器人

102:3D攝影機

103:顯示裝置

104:第1操作器

105:第2操作器

111:第1控制裝置

112:第2控制裝置

200:機器人系統

201:作業空間

202:操作空間

210:間隔壁構件

Claims

一種顯示系統，其具備： 3D攝影機，其配置於作業空間內；第1控制裝置，其基於由上述3D攝影機獲得之圖像資訊，形成上述作業空間內之第1作業空間之3D模型，且進一步形成虛擬圖像資訊，該虛擬圖像資訊係虛構之攝影機亦即虛擬攝影機自上述虛擬攝影機之位置亦即虛擬視點，以上述虛擬攝影機之朝向亦即虛擬視線，拍攝上述3D模型時而獲得；第1操作器，其接收對上述虛擬攝影機之操作指示之輸入；及顯示裝置，其顯示上述虛擬圖像資訊；上述第1控制裝置基於上述圖像資訊，即時地形成上述3D模型，以與上述操作指示之操作量連動之方式，移動上述虛擬視點，或變更上述虛擬視線，使上述虛擬圖像資訊顯示於上述顯示裝置。
如請求項1之顯示系統，其中複數個上述3D攝影機配置於上述作業空間內。
如請求項1或2之顯示系統，其中複數個上述3D攝影機分別以自互相不同之方向拍攝上述第1作業空間之方式配置。
如請求項2或3之顯示系統，其中上述第1控制裝置針對複數個上述3D攝影機各者形成上述3D模型，基於所形成之複數個上述3D模型，重新形成由上述虛擬攝影機拍攝之上述3D模型。
一種機器人系統，其具備：請求項1至4中任一項之顯示系統；機器人，其配置於上述作業空間內，對配置於上述第1作業空間內之工件進行作業；第2操作器，其接收對上述機器人之操作指示之輸入；及第2控制裝置，其基於由上述第2操作器接收之上述操作指示，控制上述機器人之動作。