JP7250489B2 - 画像処理装置およびその制御方法、プログラム - Google Patents

画像処理装置およびその制御方法、プログラム Download PDF

Info

Publication number
JP7250489B2
JP7250489B2 JP2018220482A JP2018220482A JP7250489B2 JP 7250489 B2 JP7250489 B2 JP 7250489B2 JP 2018220482 A JP2018220482 A JP 2018220482A JP 2018220482 A JP2018220482 A JP 2018220482A JP 7250489 B2 JP7250489 B2 JP 7250489B2
Authority
JP
Japan
Prior art keywords
image processing
robot
image
movable range
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018220482A
Other languages
English (en)
Other versions
JP2020082274A5 (ja
JP2020082274A (ja
Inventor
俊介 野網
元気 長
寛人 岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2018220482A priority Critical patent/JP7250489B2/ja
Priority to US16/685,173 priority patent/US11590657B2/en
Priority to CN201911175749.9A priority patent/CN111225143B/zh
Publication of JP2020082274A publication Critical patent/JP2020082274A/ja
Publication of JP2020082274A5 publication Critical patent/JP2020082274A5/ja
Application granted granted Critical
Publication of JP7250489B2 publication Critical patent/JP7250489B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • B25J19/021Optical sensing devices
    • B25J19/023Optical sensing devices including video camera means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1602Programme controls characterised by the control system, structure, architecture
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1671Programme controls characterised by programming, planning systems for manipulators characterised by simulation, either to verify existing program or to create and verify new program, CAD/CAM oriented, graphic oriented programming systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30164Workpiece; Machine component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661Transmitting camera control signals through networks, e.g. control via the Internet

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • Manipulator (AREA)

Description

本発明は、ロボット等の作業用装置と連携動作する画像処理装置の画像処理の設定を支援する技術に関する。
撮像装置とロボット装置を使用して製品の生産や品質確認、運搬等を行うシステムでは、対象(以下、ワークという)の把持機構、ロボットアーム、アクチュエータや搬送機構等の制御が行われる。撮像装置でワークを撮像し、画像処理を行ってワークの位置を計測したり、検査を行ったりすることで、ロボット装置の制御指示の切り換えや動作補正が可能となるので、より多様な作業を行うシステムを構築することができる。
ロボット装置と連携する画像処理装置はロボットビジョンとも称され、撮影画像からワークの有無を検知し、位置や姿勢等を計測する目的で利用されることが多い。例えば産業用途では、ロボットの動作補正のための画像処理として、パターンマッチングやエッジ検出等が使われる。その処理時間の効率化のために、画像処理の対象とする画像中の領域(以下、画像処理領域という)が指定される。画像処理後に、計算されたワークの位置や姿勢等のデータをロボット座標系に変換する処理が実行され、ロボットがピックアップ等の動作を行う。
特許文献1には、画像処理装置がロボットや撮像装置を制御することで、カメラ座標系からロボット座標系へ変換する方法が開示されている。ユーザが複雑なロボット動作制御プログラムを作成することなく、撮影画像で検出したワークの位置・姿勢のデータをロボット座標系のデータに変換できる。
特開2016-120567号公報
ところで、ロボットの可動範囲には制限があるので、画像処理で計測したワークの位置データをロボット座標系のデータに変換した後、次のロボット動作(ワークの把持等)が常に実行可能であるとは限らない。例えば、撮像装置でワークを撮像して画像内にワークを認識し、その位置や姿勢を計測できたとしても、そのワークの位置や姿勢がロボットの可動範囲外である場合にロボットはその位置に移動できない。
本発明は、作業用装置と連携動作する画像処理装置における画像処理領域の設定を支援して効率的な設定処理を行えるようにすることを目的とする。
本発明の実施形態の画像処理装置は、撮影画像を取得する第1の取得手段と、前記第1の取得手段により取得された画像のうち、所定の画像処理を行う領域である画像処理領域を設定するための設定画面を表示装置に表示する表示制御手段と、前記所定の画像処理の結果に基づいて動作が制御される作業用装置の可動範囲を示す可動範囲情報を取得する第2の取得手段と、を備える。前記作業用装置はアーム部を含み、前記撮影画像は、前記アーム部に取り付けられた撮像装置または前記アーム部に取り付けられたツール部に取り付けられた撮像装置により撮像され、前記表示制御手段は、前記第2の取得手段により取得された前記可動範囲情報に基づき、前記画像において前記作業用装置が動作できない範囲をユーザが識別できるよう、前記設定画面の表示を制御する。
本発明の画像処理装置によれば、作業用装置と連携動作する画像処理装置における画像処理領域の設定を支援して効率的な設定処理を行うことができる。
実施形態の画像処理装置を含むシステムの全体構成図である。 実施形態の画像処理装置を主体とするブロック図である。 フローチャート作成画面の例を表す図である。 画像処理領域の設定を支援する画面例を示す図である。 全画素からロボットの可動範囲を取得する処理のフローチャートである。 全画素から特定の姿勢におけるロボットの可動範囲を取得する処理のフローチャートである。 一定間隔でサンプリングした画素に対してロボットの可動範囲を取得する処理のフローチャートである。 画素のサンプリングとロボットの可動範囲の取得を説明する図である。 ロール角、ピッチ角、ヨー角を用いた回転処理を表す図である。
以下に、図面を参照して、本発明の好適な実施形態を詳細に説明する。本実施形態ではロボットの制御によって作業を行うシステムの例を示すが、マニプレータや搬送装置等の作業用装置を備える各種システムへの適用が可能である。
図1は画像処理装置を含むシステムの全体構成図である。ロボット制御装置101は外部装置からの制御指示にしたがってロボット102の各軸やハンドを制御する。本実施形態のロボット制御装置101は、画像処理装置103から制御指示を受けとることとするが、とりうるシステム構成や指示形態はこの限りではない。また、ロボット制御装置101や画像処理装置103はロボット102と同一の筐体に格納される場合もあるが、本実施形態では別体の装置として説明する。
画像処理装置103は任意の手順にしたがって所定の撮影パラメータの設定で撮像装置104による撮像動作を制御し、撮像された画像の処理や処理結果の出力を行う。撮像装置104はロボット102に取り付けられた形態としているが、分離して設置してもよい。
システムの動作は画像処理装置103がロボット制御装置101に制御指示を出すことにより開始する。ロボット制御装置101は制御指示を受け付け、ロボット102を制御して作業台105上のワーク106を撮影できるようにロボット102の姿勢(以下、撮影姿勢という)を変更する。ロボット102の姿勢が撮影姿勢になると、画像処理装置103は撮像装置104を用いてワーク106を撮影する。画像処理装置103は撮影された画像のデータを用いて画像処理を行い、ワーク106の位置や姿勢を計測する。この際、画像処理装置103は必要に応じて、ワーク106の種類を判別したり、ワーク106の品質に問題がないかを検査したりしてもよい。画像処理装置103はこれらの処理を完了すると、計測した位置や姿勢のデータをカメラ座標系からロボット座標系のデータに変換してロボット制御装置101へ送信する。
ロボット制御装置101は画像処理装置103からデータを受信すると、ロボット102の可動範囲107内(点線枠内)で動作の軌道データを生成し、軌道データに基づいてロボットを動作させる。さらに、ロボット制御装置101はロボット102のハンド(エンドエフェクタ)でワーク106を把持する制御を行う。続いて、配置台109上の指定位置へロボット102を移動させて、ハンドによるワークの把持を解除する制御が行われ、ワーク106が移動する。これ以外にも、ハンドで把持したワークを別のワークに組み付ける作業が続けられる場合もある。
図1のように、ロボット102に撮像装置104が取り付けられる場合、ロボット102を撮影姿勢に変更してから、撮像装置104の撮影パラメータを調整して撮影が行われる。ユーザは作業台105の上方の位置を撮影用の教示点としてロボット102に予め教示しておき、それ以降には教示点を用いて繰り返し撮影や画像処理が行われる。
教示点およびこれに対応する撮影パラメータまたは撮影パラメータの決定方法(固定値利用や自動露出、自動焦点調節等)を画像処理装置103が記憶しており、撮影パラメータを用いて以降の撮影が行われる。教示点のデータはロボット102、ロボット制御装置101、または画像処理装置103等に記憶される。また、画像処理の撮影パラメータは画像処理装置103に記憶される。
図2は、画像処理装置103を主体とするブロック図である。画像処理装置103は複数のインターフェース部203を介してロボット制御装置101、撮像装置104と接続されている。入出力表示装置201と操作入力装置202はインターフェース部203を介して画像処理装置103と接続された、ユーザ・インターフェース用の装置である。各装置は画像処理装置103の内部バス上に配置された各インターフェース部203を介して接続される。各インターフェース部203は通信に適した規格に基づき、接続対象に応じたネットワークインターフェース部、シリアル通信インターフェース部等から構成される。
入出力表示装置201は、画像を表示する陰極管や液晶パネル等の表示デバイスを備える。操作入力装置202は、キーボードやポインティングデバイス、タッチパネル、入力操作コントローラ、ジェスチャ入力装置等により構成される。
画像処理装置103と接続される撮像装置104には、撮影のために必要に応じて照明装置218を併設してもよい。照明装置218はハロゲンランプや発光ダイオード等の光源を備え、インターフェース部203を介して画像処理装置103と接続される。また画像処理装置103に外部記憶装置を接続して、記憶容量を拡大してもよい。
ロボット制御装置101は、ネットワークやケーブル等を介して画像処理装置103に接続される。ロボット制御装置101は、ロボット102の動作の軌道データを生成し、またロボット102の可動範囲107に関する情報を有する。
画像処理装置103は、画像処理の制御主体となる汎用マイクロプロセッサとして構成されたCPU(中央演算処理装置)や画像処理プロセッサ等により構成される演算部204を有する。演算部204は内部バス(データバス、アドレスバス、他の制御線等)を介して記憶部205と接続される。
記憶部205は、例えばROM、RAM、外部記憶装置上のファイル領域や仮想記憶領域等によって構成することができる。ROMは“Read Only Memory”、RAMは“Random Access Memory”の略号である。記憶部205は、処理データ保存領域206およびプログラム記憶領域を有する。処理データ保存領域206は記憶部205中のRAM領域や、外部記憶装置のファイル領域や仮想記憶領域等によって構成される。処理データ保存領域206は、処理データを一時的に記憶する他、画像処理の設定パラメータ等の記憶領域として使用される。
記憶部205のプログラム記憶領域には、本実施形態の画像処理を実行するための画像処理プログラム207が記憶される。画像処理プログラム207は、操作入力装置202によって行われた各種操作に応じて、画像処理の設定変更や所定の画像処理を実行するプログラムである。また変更内容について、処理データ保存領域206へのデータの保存や、データの削除が可能である。
画像処理プログラム207は、各種の機能を実現するソフトウェアモジュールから構成される。例えば画像処理モジュール208は画像処理を実現するプログラムの本体部分である。画像処理モジュール208が行う画像処理には画像処理ライブラリ209が用いられる。画像処理ライブラリ209は、例えば静的または動的にリンクされるライブラリとして記憶部205に実装される。画像処理設定モジュール210は画像処理プログラム207の振舞いを決定する。画像処理設定は操作入力装置202によって行われた各種操作に応じて行われる。
さらに、画像処理プログラム207には、次の機能を実現するI/O(入出力)用サブルーチンが含まれる。例えば、外部デバイス制御サブルーチン211、保存データ生成サブルーチン212、ロボット制御装置101からの制御指令を受け付けるための指令受付サブルーチン213がある。またRAM領域や演算部204のキャッシュ領域等を使用する一時記憶サブルーチン214、表示画面生成サブルーチン215がある。保存データ出力サブルーチン216は処理データ保存領域206に保存されたデータを読み出して出力するプログラムであり、操作受付サブルーチン217は操作入力装置202からの操作指示を受け付けるためのプログラムである。各機能は、アプリケーション(ユーティリティ)プログラムや、静的または動的にリンクされるライブラリとして構成されたサブルーチン、といった形態で記憶部205に実装される。
画像処理装置103の演算部204のCPUは画像処理プログラム207を実行することにより、撮像装置104の制御と画像処理を行う。また、操作入力装置202により、操作受付サブルーチン217を通じてユーザの操作指示を受け付ける処理や、指令受付サブルーチン213を通じてロボット制御装置101から制御指令を受け付ける処理が実行される。演算部204は操作指示や制御指令に応じて、画像処理プログラム207の各機能モジュールやライブラリを呼び出して演算処理を行い、画像処理結果のデータをロボット制御装置101に送信する。また、画像処理結果のデータを外部記憶装置に送信して蓄積(ロギング)することができる。さらには、プログラムによって予め記憶されている画面構成と画像処理結果とを画面上で合成し、入出力表示装置201に表示する処理が実行される。
図3は、画像処理プログラム207を作成するためのフローチャート作成画面の例を示す図である。この画面は入出力表示装置201に表示される。本実施形態に係る画像処理プログラム207は、ユーザが画像処理装置103を用いて作成したフローチャートに従って実行されるものとする。その他の実施形態として、ユーザが図1に示していない画像処理プログラム作成装置を使用して画像処理プログラム207を作成する形態がある。この場合、作成された画像処理プログラム207が画像処理装置103の記憶部205に転送されて記憶される。また、機能別または目的別に予め定型で用意された組合せ済みの画像処理フローチャートを内包したパッケージ機能を用いる形態でもよい。この場合、ユーザはGUI(グラフィカル・ユーザ・インターフェース)上で所望の機能を選択し、パラメータ等の調整を行うことができる。
パーツリスト301は、フローチャートを構成する各処理パーツのリストである。ユーザは矩形枠内に示す各種の処理や、菱形枠内に示す条件分岐処理を指定することができる。例えばユーザは操作入力装置202を用いて、パーツリスト301から所望の処理パーツを指定する。ポインティングデバイス等でドラッグ&ドロップ操作を行い、フローチャート領域302に配置した複数の処理パーツ同士を線で結合することにより、フローチャートの作成が可能である。
複数の処理パーツから構成されるフローチャート303は、ロボット102によってワーク106を作業台105からピックアップし、配置台109にプレイスする処理を記述した例である。処理開始後、ロボット移動304で作業台105の上方にロボット102を移動させる姿勢制御が行われる。撮影305はワーク106を撮影する処理である。次のワーク位置計算306はワーク106の位置や位相を算出する計算処理である。ロボット補正移動307は、ワーク位置計算306で算出されたワーク106の位置と位相に従ってロボット102の補正制御を行い、ワーク位置の上方にロボット102のハンドを移動させたり回転させたりする処理である。
次のロボット移動317は、ロボット102のハンドでワーク106の把持が可能な位置、例えばワーク106の直上の位置までロボット102を移動させる処理である。ロボットハンド制御308は、ハンドの開閉を制御してワーク106を把持(ピッキング)する処理である。次のロボット移動309は配置台109の上方へのロボット移動を行う処理であり、さらにロボット移動310はロボット102のハンドを配置台109に向けて降下させる処理である。ここで、ロボット移動309と310を1つの処理パーツにまとめて行ってもよい。その場合の処理パーツは配置台109の上方位置を経由してからハンドを配置台109に移動させるロボット移動パーツとなる。
ロボットハンド制御311では、ハンドの開閉を制御してワーク106を配置(プレイス)する処理が実行される。次のロボット移動312はロボット102を初期位置に移動させる処理であり、その後にフローチャートに示す一連の処理を終了する。
処理パーツ304から312、317の枠内に表示された文言については、フローチャートのパーツリスト301と同じ文言である必要はない。例えば、処理パーツ309を「配置台の上方へ移動」と表示し、処理パーツ310を「配置台へ移動」と表示してもよい。ユーザがフローチャート303に記述された処理パーツのいずれかをダブルクリックすると、その処理パーツの詳細な処理を設定するための設定画面(以下、詳細設定画面という)の表示処理に遷移する。ユーザは詳細設定画面を参照して、画像処理のパラメータや画像処理領域の調整を行うことができる。またユーザがOKボタン313のクリック操作を行うと、画像処理装置103はフローチャート303に記述された処理を実行する画像処理プログラム207を作成して記憶部205に保存する。
フローチャートを作成する際には、ロボット102がワーク106の位置や姿勢に対応した様々な位置へ移動する必要があるので、それらの動作が実行可能か否かを確認することが必要である。しかしながら画像処理で設定した画像処理領域がロボット102の可動範囲と常に一致するとは限らない。そのため、画像処理領域をロボット102の可動範囲内に収める設定が必要となる。このような画像処理領域を設定するための設定支援機能について、図4から図9を参照して詳細に説明する。
図4は、図3のワーク位置計算306の処理パーツに関する詳細設定画面の例を示す。この詳細設定画面は、画像処理領域の設定支援を行うユーザ・インターフェース用の画面である。ワーク位置計算306ではパターンマッチングを用いた画像処理方法でワークの位置や姿勢を計算する例を説明する。
図4の選択部401は、ユーザが設定用画像を登録する際に使用される。ユーザが選択部401を操作すると、画像処理装置103の記憶部205に予め保存されている画像のファイル名および「カメラ画像」という文字列がリスト形式で選択肢として表示される。ユーザがリストから所望の画像を選択すると、選択された画像が設定用画像として登録される。また、ユーザが「カメラ画像」を選択した場合、使用カメラ402に登録されたカメラ(図4ではカメラ1)で撮影が行われる。
画像表示領域407は設定支援用の表示領域である。設定用画像である撮影画像が登録されると、画像表示領域407に設定用画像が表示される。この時、画像処理装置103はロボットの可動範囲107のデータを取得し、設定用画像に重畳表示する処理を実行する。ロボットの可動範囲107の取得方法については図5から図8を用いて後述する。図4の例ではロボットの可動範囲107が破線で表示されているが、領域の内側または外側を透過や色付けで表示し、あるいは点滅で表示する等、表示方法は限定されない。
画像表示領域407の下方にあるチェックボックス412は、ロボットの可動範囲107の取得する際に、ハンド姿勢を指定するかどうかを判断するためのチェックボックスである(チェック有りで指定)。ロボット102が特定のハンド姿勢でなければワーク106を把持する等の動作ができない場合に、ユーザはチェックボックス412をチェック状態にする。これにより、設定入力部411にロール角、ピッチ角、ヨー角を設定することができる。図9を参照して具体的に説明する。
まずロボット座標系をXYZ座標系とする。X,Y,Zは3次元直交座標系の各軸を表す。ロボット座標系を基準としてロール角、ピッチ角、ヨー角を用いた回転を加え、ロボット102のハンドの取り付け面の中心が原点となるように並進移動したツール座標系をX’Y’Z’座標系と定義する。ロール角、ピッチ角、ヨー角をそれぞれφ、θ、ψと表記する。図9(A)はロール角φによる回転を表し、図9(B)はピッチ角θによる回転を表し、図9(C)はヨー角ψによる回転を表す。回転はこの順で実行されるものとする。このとき、ハンドの位置と姿勢はツール座標系に固定されていることとする。ハンド姿勢についてはオイラー角を用いた表現等でもよい。設定入力部411によるハンド姿勢の指定方法としては、数値を直接入力する方法と、カウントアップ/カウントダウン用の操作ボタンを設けて、ユーザが操作ボタンを押下することで調整する方法等がある。
画像表示領域407に重畳表示されるロボットの可動範囲107のデータは、設定入力部411で指定された値を使用して取得され、ハンド姿勢の設定項目の入力に従って随時更新される。設定入力部411にてハンド姿勢の設定項目が空欄の場合には、その設定項目に関しては現状の回転角度を維持することとする。
次に、ユーザが画像表示領域407内の画像処理領域108を設定する処理について説明する。領域形状403はスピンコントロール付きボックスであり、ユーザは領域形状403の選択操作を行う。領域形状としては、矩形、円、楕円、円環等の形状が選択肢として提示される。または、これらの形状の組み合わせによる領域の加算、除外の処理や、ポインティングデバイス等を使用して作成した自由な形状を設定する処理でもよい。図4の例は、矩形の画像処理領域108が設定された場合を示す。設定入力部404には矩形領域の設定項目として、矩形の左上のx座標およびy座標、右下のx座標およびy標を示している。ここでは撮影画像の左上を原点とし、水平方向をx軸方向とし、垂直方向をy軸方向とする画像座標系を用いる。矩形領域の設定項目の指定方法としては、数値を直接入力する方法と、カウントアップ/カウントダウン用の操作ボタンを設けて、ユーザが操作ボタンを押下することで調整する方法等がある。画像表示領域407内には画像処理領域108が重畳表示され、随時に表示更新が行われる。
ユーザは画像表示領域407に表示される設定用画像と、ロボットの可動範囲107を確認しながら、所望の画像処理領域108を設定できる。つまり画像処理領域108がロボットの可動範囲107に包含されるように画像処理領域108を指定すればよい。なお、ユーザの直接操作により画像処理領域108を任意の位置に指定する例を説明したが、他の方法でもよい。例えばロボットの可動範囲107をそのまま画像処理領域108として利用する方法や、画像処理領域108をロボットの可動範囲107の内部に限定する方法がある。後者の方法では、例えば画像処理領域108の境界を表す枠が可動範囲107の内部に制限される。これらの方法によれば、ユーザの誤操作により画像処理領域108がロボットの可動範囲107の外部にはみ出すことを回避できる。
次に、画像処理領域108に対して実行されるパターンマッチングの設定手順について説明する。選択部405はパターンマッチング用のパターンを設定する際に使用される。パターンはワークの強度勾配や濃淡、位置位相情報等の特徴情報に基づいて生成され、画像処理装置103の記憶部205に予め保存されている。選択部405によってユーザが所望のパターンを設定する操作を行うと、パターン表示領域406にマッチング用のパターンが表示される。その際、マッチングの閾値等のパラメータを設定項目として設けてもよい。
操作ボタン408はテスト実行ボタンであり、ユーザが操作ボタン408を押下すると、使用カメラ402で選択されたカメラ(図4ではカメラ1)を使用して撮影が行われる。撮像装置104が1台のみ使用可能であれば、予めそれを選択しておけばよいが、複数台の場合には使用するカメラを指定する必要がある。
撮像装置104により取得された画像において、指定された画像処理領域108の内部に対してパターンマッチング処理が行われ、ワーク106の位置や姿勢等が計測される。その後、ユーザがOKボタン409を操作すると、設定済みの画像処理領域108の設定値やパターンマッチングの設定値等のデータが画像処理装置103の記憶部205に画像処理プログラム207等と紐付けて保存される。これらのデータは、プログラムの実行時や設定画面を再度表示する際に読み出されて使用される。またユーザがキャンセルボタン410を操作すると、画像処理領域108の設定値やパターンマッチングの設定値等で変更されたデータが破棄される。
図5は、ロボットの可動範囲107を取得する処理を説明するフローチャートである。撮影画像内の全画素を用いてロボットの可動範囲107を取得することを想定する。以下の処理は画像処理装置103およびロボット制御装置101のCPUがプログラムを実行することにより実現される。
S601でロボットの可動範囲107を取得するための設定用画像が指定される。設定用画像は図4の画像表示領域407に表示される画像である。S602では、S601で指定された設定用画像の全画素について、画像座標系における2次元座標データを取得する処理が行われる。
S603で画像処理装置103は画像座標系からロボット座標系への変換処理を行う。S602で取得された画像座標系における2次元座標データから、ツール座標系のデータ、つまりX’軸、Y’軸、Z’軸の各座標値が算出される。例えば、2次元撮影画像データを取得する撮像装置を想定する。撮影画像の画素と、画素の計測平面上(作業台105上)の実距離との対応関係や、計測平面と撮像装置の撮影位置との対応関係を予め定めておき、画像座標系からツール座標系に変換する処理が行われる。あるいは、色情報または濃淡情報と3次元座標データを取得できる撮像装置の場合、平面情報を用いた座標変換ではなく、3次元撮影画像を取得して画素と撮像装置の3次元座標との対応関係に基づいてツール座標系への変換処理が行われる。さらにツール座標系からロボット座標系への、3次元座標変換が行われる。この変換では、ロボット座標系におけるハンドの位置とアームの姿勢等の情報を使用して行列演算が行われる。
S604では、S603で得たロボット座標系における3次元座標の位置へロボット102が移動可能か否かを判定する処理が実行される。判定処理はロボット制御装置101内で移動確認コマンド等を用いて実行される。移動確認コマンドとは、ロボット102が指定した座標に移動可能か否かを画像処理装置103からロボット制御装置101に問合せる場合に使用されるコマンドである。なお、ロボット制御装置101が移動確認コマンドを持たない場合には、画像処理装置103が移動コマンドを用いてロボット制御装置101に移動指示を出し、指定の3次元座標に移動可能か否かを確認する。その後、ロボット102の移動を停止して元の位置姿勢に戻す処理が行われる。
また、ロボットの可動範囲107を表す3Dモデルを利用可能なシステムの場合、3Dモデルのデータを予め読み込み、このデータを参照してロボット座標系における指定された座標に移動可能かどうかを判断することができる。3Dモデルのデータについては、画像処理装置103の操作入力装置202を用いて、ロボット102の型式やモデル名によって参照することができる。3Dモデルのデータは、ロボット制御装置101の記憶部または画像処理装置103の記憶部205に保存されているか、あるいはネットワーク上のストレージ等を検索して参照することができる。またロボット102の各軸の可動範囲を入力して仮想的な3Dモデルを生成する機能を設けてもよい。
S605では、図4にてロボットの可動範囲107が画像表示領域407内に表示される。S604でロボットが移動可能と判断された全ての点(画素位置)に関し、S601で指定された画像において対応する座標(表示位置)にロボットの可動範囲107が重畳表示される。
図6は、図4においてハンド姿勢の設定入力部411による指定に基づいてロボットの可動範囲107を取得する処理を説明するフローチャートである。図4のチェックボックス412にて、ユーザがチェックマークを指定し、設定入力部411にロール角、ピッチ角、ヨー角を設定した場合に以下の処理が実行される。設定入力部411による情報を用いて、所望の位置や姿勢においてロボットの可動範囲107を取得することにより、特定のハンド姿勢でロボット102を動作させたい場合に対応できる。S701~S703の処理はそれぞれ、図5のS601~S603と同様の処理であるため、それらの説明を省略する。
S704では、S703で得られたロボット座標系における3次元座標の位置へ、設定入力部411により指定されたハンド姿勢でのロボット移動が可能であるか否かを判定する処理が行われる。S705では、S705の判定処理の結果に基づいて、移動可能な位置に対応する全画素が画像表示領域407内に重畳表示され、ロボットの可動範囲107がユーザに提示される。
図7および図8を参照して、ロボットの可動範囲107のデータを、さらに効率的に取得する方法を説明する。図7は、画像から一定の間隔でサンプリングした画素を用いて、ロボットの可動範囲107を効率的に取得する処理を説明するフローチャートである。図7に示すS801、S804の処理はそれぞれ図5のS601、S603と同様の処理であるので、それらの詳細な説明を省略して相違点を説明する。図8は、画素のサンプリングとロボットの可動範囲の取得について説明する図である。
図7のS802では、S801で指定された画像から一定の間隔で画素のサンプリング処理が行われる。図8を参照して具体的に説明する。図8(A)は、12×16[pixel]の画像を対象として、2画素ごとにサンプリングを行う例を表す模式図である。黒色で示す画素はサンプリングされた画素(以下、対象画素という)を表している。S803では、S802で対象画素から画像座標系における2次元座標データが取得される。
S804の次にS805では、S604またはS704と同様に、ロボット座標系における3次元座標の位置へのロボット移動が可能かどうかについて判定される。図8(B)は、図8(A)に黒色で示す画素群のうち、S805でロボットの可動範囲107内であると判断された画素を斜線のハッチングで表した模式図である。
S806では、S805での判定結果に基づいて、サンプリングされなかった画素、つまり、図8(B)に斜線で示す画素を着目画素としたときの周辺画素に関して、ロボットの可動範囲107内であるか否かが判定される。図8(C)は判定結果を示す模式図である。着目画素がロボットの可動範囲107内であれば、その周囲の画素は可動範囲107内と判定され、また着目画素がロボットの可動範囲107外であれば、その周囲の画素は可動範囲107外と判定される。図8(C)に示すように着目画素の周辺画素を含む範囲が、ロボットの可動範囲107として取得される処理結果を表している。図7のS807では、S806で得られたロボットの可動範囲107を画像表示領域407に重畳表示する処理が実行される。
このように、サンプリングによって対象画素の数を削減することで、ロボットの可動範囲107のデータを取得する時間が短縮される。例えば図8のように2画素ごとのサンプリングを適用すれば、全画素を処理する場合と比較して処理時間をおよそ4分の1に短縮できる。なお、着目画素周辺の補間方法については、図8の例に限らず、スプライン補間や局所的な多項式近似等の方法で行ってもよい。
またロボットの可動範囲107の境界を探索することで、ロボットの可動範囲107を効率的に取得する方法がある。この方法では、まずロボットの可動範囲107を取得するための画像が指定される。この画像の各行について画像処理装置103は左から右方向にロボットの可動範囲107の境界となる画素を探索する処理を実行する。境界となる画素が見つかると、その行に対する処理を終了する。同様に各行の右から左方向、各列の上から下方向、下から上方向に対してもロボットの可動範囲107の境界となる画素が探索される。画像処理装置103は探索された画素の位置に基づいて複数の境界を合成することでロボットの可動範囲107を算出する。この他にも、画像処理装置103がロボットの可動範囲107の境界の一部を探索した後、その周辺の画素から、ロボットの可動範囲107の境界を探索していくことで、ロボットの可動範囲107を取得する方法等がある。また、画像から一定の間隔で画素のサンプリングを行った後、それらに対してロボットの可動範囲107の境界を探索する方法を用いてもよい。
本実施形態では画像処理領域108の設定支援処理により、画像処理領域108の設定時にユーザがロボットの可動範囲107を確認できる。よってユーザは、ロボットの可動範囲107を容易に把握しつつ、画像処理領域108を効率的に設定することができる。このとき、画像処理領域108をロボットの可動範囲107の内部に限定することにより、ロボットの可動範囲107の外部に画像処理領域108を設定されてしまうことを回避できる。ロボットの可動範囲107を可視化することで、画像計測結果に基づいてロボット移動を補正する際に、可動範囲外で作業指示が出されることを抑制でき、効率的に画像処理領域を設定できる。
また、ロボットの可動範囲107の取得方法として、対象画素がロボットの可動範囲107であるか否かを判断する際、画像内の全画素を対象とする方法を説明した。この方法に対して、画素のサンプリングを行う方法と、ロボットの可動範囲107の境界を探索する方法を採用すれば、ロボットの可動範囲107のデータをより効率的に取得できる。
また、ロボット座標系における任意の座標についてロボットの可動範囲107の内部であるか否かを判断する方法には、ロボット102の移動確認コマンドを利用する方法以外に3Dモデルを参照する方法がある。3Dモデルまたはその諸元となるデータを有するロボットに対しては、移動確認コマンド等を座標ごとに実行する必要がない。よって、ロボット制御装置101の応答性能によっては効率良くロボットの可動範囲107のデータを取得することができる。
本実施形態によれば、撮影画像と併せてロボットの可動範囲に関する情報をユーザに提示して画像処理領域の設定を支援することができる。よって、ユーザは可視化されたロボットの可動範囲を確認しつつ、ロボットの可動範囲の内部に画像処理領域を効率的に設定することができる。
[その他の実施形態]
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
101 ロボット制御装置
102 ロボット
103 画像処理装置
104 撮像装置
107 可動範囲


Claims (14)

  1. 撮影画像を取得する第1の取得手段と、
    前記第1の取得手段により取得された画像のうち、所定の画像処理を行う領域である画像処理領域を設定するための設定画面を表示装置に表示する表示制御手段と、
    前記所定の画像処理の結果に基づいて動作が制御される作業用装置の可動範囲を示す可動範囲情報を取得する第2の取得手段と、を備え、
    前記作業用装置はアーム部を含み、前記撮影画像は、前記アーム部に取り付けられた撮像装置または前記アーム部に取り付けられたツール部に取り付けられた撮像装置により撮像され、
    前記表示制御手段は、前記第2の取得手段により取得された前記可動範囲情報に基づき、前記画像において前記作業用装置が動作できない範囲をユーザが識別できるよう、前記設定画面の表示を制御する
    ことを特徴とする画像処理装置。
  2. 前記第2の取得手段は、移動コマンドまたは移動の確認コマンドを用いて、前記作業用装置が指定する位置に移動可能であるか否かを確認する
    ことを特徴とする請求項1に記載の画像処理装置。
  3. 前記第2の取得手段は、前記作業用装置の型式に対応する可動範囲を表す3Dモデルを参照して前記可動範囲情報を取得する
    ことを特徴とする請求項1に記載の画像処理装置。
  4. 前記第2の取得手段は、前記作業用装置の姿勢の情報が指定された場合、指定された姿勢における前記作業用装置の可動範囲情報を取得する
    ことを特徴とする請求項1に記載の画像処理装置。
  5. 前記第1の取得手段は3次元撮影画像のデータを取得し、前記第2の取得手段は前記作業用装置が3次元座標の位置へ移動可能であるか否かを判定する
    ことを特徴とする請求項1に記載の画像処理装置。
  6. 前記表示制御手段は、前記第1の取得手段により取得された撮影画像とともに前記作業用装置の可動範囲を前記設定画面に表示するよう制御する
    ことを特徴とする請求項1乃至のいずれか1項に記載の画像処理装置。
  7. 前記表示制御手段は、前記第1の取得手段により取得された撮影画像と、前記作業用装置の可動範囲を重畳して表示するよう制御する
    ことを特徴とする請求項1乃至のいずれか1項に記載の画像処理装置。
  8. 前記表示制御手段は、前記画像処理領域の形状を設定するためのアイテムを前記設定画面に表示するよう制御する
    ことを特徴とする請求項1乃至のいずれか1項に記載の画像処理装置。
  9. 前記表示制御手段は、前記画像処理領域として設定可能な領域を、前記作業用装置の可動範囲内に制限するよう制御する
    ことを特徴とする請求項1乃至のいずれか1項に記載の画像処理装置。
  10. 前記表示制御手段は、前記作業用装置の可動範囲外の領域が前記画像処理領域として設定される場合、通知を出力するよう制御する
    ことを特徴とする請求項1乃至のいずれか1項に記載の画像処理装置。
  11. 前記表示制御手段は、前記アーム部に前記ツール部が取り付けられている場合、前記画像処理領域の設定において前記ツール部の姿勢を指定するためのアイテムを表示するよう制御する
    ことを特徴とする請求項1乃至10のいずれか1項に記載の画像処理装置。
  12. 前記表示制御手段は、前記アーム部に前記ツール部が取り付けられている場合、前記画像処理領域の設定において前記ツール部の姿勢を考慮するか否かを選択するためのアイテムを表示するよう制御する
    ことを特徴とする請求項1乃至10のいずれか1項に記載の画像処理装置。
  13. 作業用装置が備えるアーム部に取り付けられた撮像装置または該アーム部に取り付けられたツール部に取り付けられた撮像装置により、撮影画像を取得する工程と、
    所定の画像処理の結果に基づいて動作が制御される前記作業用装置の可動範囲を示す可動範囲情報を取得する工程と、
    取得された画像のうち、前記所定の画像処理を行う領域である画像処理領域を設定するための設定画面を表示装置に表示する制御を行う表示制御工程と、を有し、
    前記表示制御工程では、取得された前記可動範囲情報に基づき、前記画像において前記作業用装置が動作できない範囲をユーザが識別できるよう、前記設定画面の表示が制御される
    ことを特徴とする画像処理装置の制御方法。
  14. 請求項13に記載の各工程を画像処理装置のコンピュータに実行させる
    ことを特徴とするプログラム。
JP2018220482A 2018-11-26 2018-11-26 画像処理装置およびその制御方法、プログラム Active JP7250489B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018220482A JP7250489B2 (ja) 2018-11-26 2018-11-26 画像処理装置およびその制御方法、プログラム
US16/685,173 US11590657B2 (en) 2018-11-26 2019-11-15 Image processing device, control method thereof, and program storage medium
CN201911175749.9A CN111225143B (zh) 2018-11-26 2019-11-26 图像处理装置及其控制方法以及程序存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018220482A JP7250489B2 (ja) 2018-11-26 2018-11-26 画像処理装置およびその制御方法、プログラム

Publications (3)

Publication Number Publication Date
JP2020082274A JP2020082274A (ja) 2020-06-04
JP2020082274A5 JP2020082274A5 (ja) 2022-01-06
JP7250489B2 true JP7250489B2 (ja) 2023-04-03

Family

ID=70769898

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018220482A Active JP7250489B2 (ja) 2018-11-26 2018-11-26 画像処理装置およびその制御方法、プログラム

Country Status (3)

Country Link
US (1) US11590657B2 (ja)
JP (1) JP7250489B2 (ja)
CN (1) CN111225143B (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11816870B2 (en) * 2019-08-01 2023-11-14 Boe Technology Group Co., Ltd. Image processing method and device, neural network and training method thereof, storage medium
JP7397879B2 (ja) * 2020-08-03 2023-12-13 三菱電機株式会社 遠隔操作装置
TW202235239A (zh) * 2020-11-18 2022-09-16 日商發那科股份有限公司 調整參數的裝置、機器人系統、方法及電腦程式
CN115570574B (zh) * 2022-08-31 2024-04-30 华南理工大学 用于远程超声机器人的辅助遥控方法、系统、装置及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012218119A (ja) 2011-04-11 2012-11-12 Canon Inc 情報処理装置、情報処理装置の制御方法、およびプログラム
JP2016001768A (ja) 2014-06-11 2016-01-07 キヤノン株式会社 画像処理方法、および画像処理装置
JP2018001393A (ja) 2016-07-08 2018-01-11 キヤノン株式会社 ロボット装置、ロボット制御方法、プログラム及び記録媒体
JP2018008347A (ja) 2016-07-13 2018-01-18 東芝機械株式会社 ロボットシステムおよび動作領域表示方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60195613A (ja) * 1984-03-16 1985-10-04 Hitachi Ltd 検証機能付ロボツト教示装置
JPS6113309A (ja) * 1984-06-28 1986-01-21 Shinko Electric Co Ltd ロボツトのテイ−チング方式
JP4696991B2 (ja) * 2006-03-22 2011-06-08 日産自動車株式会社 動き検出方法および動き検出装置
JP5370398B2 (ja) * 2011-03-15 2013-12-18 オムロン株式会社 画像処理装置および画像処理プログラム
CN103699272B (zh) * 2013-12-24 2017-04-12 苏州佳世达电通有限公司 显示装置及其红外线触控模块
CN103914855B (zh) 2014-03-25 2017-08-25 苏州大学 一种运动目标的定位方法及装置
JP5911933B2 (ja) * 2014-09-16 2016-04-27 ファナック株式会社 ロボットの動作監視領域を設定するロボットシステム
JP6486679B2 (ja) 2014-12-25 2019-03-20 株式会社キーエンス 画像処理装置、画像処理システム、画像処理方法及びコンピュータプログラム
CN107040709A (zh) * 2015-11-12 2017-08-11 精工爱普生株式会社 图像处理装置、机器人系统、机器人以及图像处理方法
JP6490037B2 (ja) 2016-10-04 2019-03-27 ファナック株式会社 移動可能な台車に支持されたロボットを備えるロボットシステム
JP6880982B2 (ja) * 2017-04-21 2021-06-02 セイコーエプソン株式会社 制御装置およびロボットシステム
JP2020005146A (ja) * 2018-06-28 2020-01-09 株式会社リコー 出力制御装置、表示端末、情報処理装置、移動体、遠隔制御システム、出力制御方法、プログラムおよび撮影制御装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012218119A (ja) 2011-04-11 2012-11-12 Canon Inc 情報処理装置、情報処理装置の制御方法、およびプログラム
JP2016001768A (ja) 2014-06-11 2016-01-07 キヤノン株式会社 画像処理方法、および画像処理装置
JP2018001393A (ja) 2016-07-08 2018-01-11 キヤノン株式会社 ロボット装置、ロボット制御方法、プログラム及び記録媒体
JP2018008347A (ja) 2016-07-13 2018-01-18 東芝機械株式会社 ロボットシステムおよび動作領域表示方法

Also Published As

Publication number Publication date
CN111225143A (zh) 2020-06-02
JP2020082274A (ja) 2020-06-04
US20200164520A1 (en) 2020-05-28
CN111225143B (zh) 2022-04-29
US11590657B2 (en) 2023-02-28

Similar Documents

Publication Publication Date Title
JP7250489B2 (ja) 画像処理装置およびその制御方法、プログラム
US11911914B2 (en) System and method for automatic hand-eye calibration of vision system for robot motion
JP6527178B2 (ja) 視覚センサのキャリブレーション装置、方法及びプログラム
CN110154017B (zh) 输送机跟踪系统以及校准方法
JP6399832B2 (ja) パターンマッチング方法及びパターンマッチング装置
JP7337495B2 (ja) 画像処理装置およびその制御方法、プログラム
JP2009214212A (ja) 動作教示システム及び動作教示方法
JP2019115974A (ja) ビジョンベース操作システムのキャリブレーション及びオペレーション
JP2008254150A (ja) ロボットの教示装置及び教示方法
JP2020179441A (ja) 制御システム、情報処理装置および制御方法
KR20230065881A (ko) 로봇 교시 시스템
JP7112528B2 (ja) 作業座標作成装置
KR20130075712A (ko) 레이저비전 센서 및 그 보정방법
JP2009175012A (ja) 計測装置および計測方法
JP7372076B2 (ja) 画像処理システム
WO2022124232A1 (ja) 画像処理システム及び画像処理方法
JP2005186193A (ja) ロボットのキャリブレーション方法および三次元位置計測方法
JP5862382B2 (ja) 作業支援装置
JP7177239B1 (ja) マーカ検出装置及びロボット教示システム
JP7228070B1 (ja) 点群データ合成装置、点群データ合成プログラム、点群データ合成方法及び点群データ合成システム
JP7509534B2 (ja) 画像処理装置、ロボットシステム、及び画像処理方法
US12102393B2 (en) Surgical robotic arm control system and control method thereof
JP2019159901A (ja) 情報処理装置、情報処理方法、及びプログラム
JP7376227B2 (ja) 複数の撮像条件を用いた画像処理装置
TWI825499B (zh) 手術機械臂控制系統及其控制方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211125

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211125

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220909

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221004

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221114

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230221

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230322

R151 Written notification of patent or utility model registration

Ref document number: 7250489

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151