JP6398509B2 - 画像処理システム及びロボットシステム - Google Patents

画像処理システム及びロボットシステム Download PDF

Info

Publication number
JP6398509B2
JP6398509B2 JP2014188036A JP2014188036A JP6398509B2 JP 6398509 B2 JP6398509 B2 JP 6398509B2 JP 2014188036 A JP2014188036 A JP 2014188036A JP 2014188036 A JP2014188036 A JP 2014188036A JP 6398509 B2 JP6398509 B2 JP 6398509B2
Authority
JP
Japan
Prior art keywords
image processing
processing apparatus
information
network
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014188036A
Other languages
English (en)
Other versions
JP2016063306A (ja
Inventor
西谷 正信
正信 西谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2014188036A priority Critical patent/JP6398509B2/ja
Priority to CN201510578893.2A priority patent/CN105430255A/zh
Priority to EP15185232.4A priority patent/EP2998079B1/en
Priority to US14/854,499 priority patent/US10127622B2/en
Publication of JP2016063306A publication Critical patent/JP2016063306A/ja
Application granted granted Critical
Publication of JP6398509B2 publication Critical patent/JP6398509B2/ja
Priority to US16/157,840 priority patent/US20190043150A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Manipulator (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Telephonic Communication Services (AREA)

Description

本発明は、画像処理システム及びロボットシステムに関する。
従来から、撮像装置が撮像した撮像画像を用いてロボットの動作を制御するロボットシステムが提案されている。例えば、特許文献1には、画像処理装置、制御装置、及び制御用PC(Personal Computer)がネットワークを介して接続されるロボットシステムについて記載されている。この画像処理装置は、撮像装置から取得したロボットの周辺の撮像画像を処理する。制御用PCは、撮像装置から取得した撮像画像を表示し、画像処理のためのプログラムを作成するための開発環境として機能する。
画像処理装置が撮像画像に画像処理を行うためには、撮像装置を画像処理装置に物理的に接続しただけでは足りず、制御用PCに対して設定が必要になる。例えば、ユーザーは、画像処理装置のIPアドレスを事前に調べておき、調べたIPアドレスを制御用PCに手動で入力するための操作を行う。また、画像処理装置には複数の撮像装置が接続可能であり、複数の機種が利用可能である画像処理装置がある。このような画像処理装置については、ユーザーは、どの機種のカメラが画像処理装置に接続されているかを事前に調べておき、複数のカメラのうち、どのカメラを選択するかを制御用PCに設定するための操作を行う。ここで、制御用PCと画像処理装置とが同一のネットワークセグメントに接続されている場合には、設定操作の完了後すぐに制御用PCと画像処理装置の間でデータを送受信できるようになる。よって、設定した撮像装置が利用可能になる。ネットワークセグメントは、LAN(Local Area Network、構内通信網)を論理的に区分した範囲であり、サブネットと呼ばれることがある。
特開2009−218933号公報
しかしながら、制御用PCと画像処理装置が異なるネットワークセグメントに接続されている場合には、設定操作が完了しても制御用PCと画像処理装置の間でデータを送受信できない。そのため、制御用PCと画像処理装置のいずれか一方のネットワークセグメントの設定を、他方のネットワークセグメントの設定に合わせなければ、設定した撮像装置を利用できない。特に、複数の画像処理装置を備える大規模なロボットシステムでは、設定操作のために多くの労力を要する。
そこで、本発明は、上記の問題に鑑みてなされたものであり、撮像装置に関する設定を容易に行うことができる画像処理システム、ロボットシステムを提供する。
本発明の一態様は、撮像画像を処理する画像処理装置と、前記画像処理装置の設定を行う画面を表示する情報処理装置と、を含み、前記画像処理装置は、前記画像処理装置と通信可能な撮像装置を探索し、前記情報処理装置は、前記画像処理装置によって探索された通信可能な前記撮像装置の情報を表示前記情報処理装置は、送信先の機器に設定された情報を照会するためのコマンドを含む探索パケットを前記情報処理装置に接続されたネットワークに同時通報し、前記画像処理装置は、前記探索パケットを前記情報処理装置から受信したとき、探索された通信可能な前記撮像装置の情報を含む探索応答パケットを前記ネットワークに同時通報し、前記情報処理装置は、新たなネットワークアドレスを取得し、取得したネットワークアドレスを含む変更パケットを前記情報処理装置に接続されたネットワークに同時通報し、前記画像処理装置は、前記画像処理装置に設定されたネットワークアドレスを前記情報処理装置から受信した変更パケットに含まれるネットワークアドレスに変更する、画像処理システムである。
この構成によれば、画像処理装置が探索した通信可能な撮像装置の情報が表示される。
そのため、ユーザーが利用したいと考える撮像装置を表示された撮像装置から選択することができるので、その設定に際し、予め利用したいと考える撮像装置の情報を調べる必要がなくなる。
また、この構成によれば、撮像装置が接続された画像処理装置が情報処理装置とは異なるサブネットに属する場合でも、情報処理装置は画像処理装置に接続された撮像装置の情報を取得することができる。そのため、ユーザーは、ネットワークに接続された画像処理装置が探索した撮像装置を遺漏なく利用する手がかりを得ることができる。
また、この構成によれば、撮像装置が接続された画像処理装置が情報処理装置とは異なるサブネットに属する場合でも、画像処理装置に設定されたネットワークアドレスを情報処理装置が取得したネットワークアドレスに変更することができる。例えば、情報処理装置に当該情報処理装置と同一のサブネットに属し、未使用のネットワークアドレスを設定しておくことで、画像処理装置を情報処理装置と同一のサブネットに所属させることができる。
本発明の他の態様は、上述した画像処理システムであって、当該画像処理装置のネットワークアドレスを前記探索応答パケットに含め、前記情報処理装置は、前記ネットワークアドレスを前記撮像装置の情報と対応付けて表示してもよい。
この構成によれば、ユーザーが利用したいと考える撮像装置に係る画像処理装置のネットワークアドレスが表示される。そのため、ユーザーは撮像装置を利用するための設定に際し、その画像処理装置のネットワークアドレスを確認することができる。
本発明の他の態様は、上述した画像処理システムであって、前記情報処理装置は、当該情報処理装置と同一のサブネットに属し、未使用のネットワークアドレスを前記画像処理装置のネットワークアドレスと定めてもよい。
この構成によれば、ユーザーが予めネットワークアドレスを調べ、入力しなくても画像処理装置を情報処理装置と同一のサブネットに所属させることができる。これにより、情報処理装置と画像処理装置に接続された撮像装置との通信が可能になる。
本発明の他の態様は、上述した画像処理システムであって、前記画像処理装置は、前記情報処理装置と同一のサブネットに属する場合には、前記探索応答パケットに送信先のネットワークアドレスとして前記情報処理装置のネットワークアドレスを含めてもよい。
この構成によれば、探索応答パケットを同時通報することにより、探索応答パケットが情報処理装置以外の機器にも伝送されるという無用な通信を回避することができる。
本発明の他の態様は、ロボットと、撮像画像を処理する画像処理装置と、前記画像処理装置の設定を行う画面を表示する情報処理装置と、前記画像処理装置の処理結果に基づいて前記ロボットの動作を制御する制御装置とを含み、前記画像処理装置は、前記画像処理装置と通信可能な撮像装置を探索し、前記情報処理装置は、前記画像処理装置によって探索された通信可能な前記撮像装置の情報を表示前記情報処理装置は、送信先の機器に設定された情報を照会するためのコマンドを含む探索パケットを前記情報処理装置に接続されたネットワークに同時通報し、前記画像処理装置は、前記探索パケットを前記情報処理装置から受信したとき、探索された通信可能な前記撮像装置の情報を含む探索応答パケットを前記ネットワークに同時通報し、前記情報処理装置は、新たなネットワークアドレスを取得し、取得したネットワークアドレスを含む変更パケットを前記情報処理装置に接続されたネットワークに同時通報し、前記画像処理装置は、前記画像処理装置に設定されたネットワークアドレスを前記情報処理装置から受信した変更パケットに含まれるネットワークアドレスに変更する、ロボットシステムである。
この構成によれば、画像処理装置が探索した通信可能な撮像装置の情報が表示される。
そのため、ユーザーが利用したいと考える撮像装置を表示された撮像装置から選択することができるので、その設定に際し、予め利用したいと考える撮像装置の情報を調べる必要がなくなる。
また、この構成によれば、撮像装置が接続された画像処理装置が情報処理装置とは異なるサブネットに属する場合でも、情報処理装置は画像処理装置に接続された撮像装置の情報を取得することができる。そのため、ユーザーは、ネットワークに接続された画像処理装置が探索した撮像装置を遺漏なく利用する手がかりを得ることができる。
また、この構成によれば、撮像装置が接続された画像処理装置が情報処理装置とは異なるサブネットに属する場合でも、画像処理装置に設定されたネットワークアドレスを情報処理装置が取得したネットワークアドレスに変更することができる。例えば、情報処理装置に当該情報処理装置と同一のサブネットに属し、未使用のネットワークアドレスを設定しておくことで、画像処理装置を情報処理装置と同一のサブネットに所属させることができる。
以上に説明した本発明の各態様により、撮像装置に関する設定を容易に行うことができるようになる。
本実施形態に係るロボットシステムを示す構成図である。 本実施形態に係る画像処理装置の構成を示すブロック図である。 本実施形態に係る情報処理装置の構成を示すブロック図である。 システム表示画面の一例を示す図である。 追加方式照会画面の一例を示す図である。 探索パケットの一例を示す図である。 カメラ設定表示画面の一例を示す図である。 システム総合設定表示画面の一例を示す図である。 探索応答パケットの一例を示す図である。 探索応答パケットの返信先を説明するための図である。 探索結果画面の一例を示す図である。 ネットワーク設定画面の一例を示す図である。 変更パケットの一例を示す図である。 ネットワーク設定情報変更の要否判定を説明するための図である。 変更応答パケットの一例を示す図である。 本実施形態に係るネットワーク処理を示すシーケンス図である。
以下、本発明の実施形態について、図面を参照して説明する。以下の説明では、ネットワークとは、LANを意味する。また、LANを論理的に区分した範囲であるネットワークセグメントをサブネットと呼ぶ。ネットワーク上でデータを送受信する機器を識別するためのネットワークアドレスを、単にアドレスと呼び、IP(Internet Protocol)アドレスを例にする。
図1は、本実施形態に係るロボットシステム1を示す構成図である。ロボットシステム1は、画像処理システム2と、撮像装置10と、ロボット20と、制御装置30と、を具備する。
画像処理システム2は、画像処理装置40と、情報処理装置50と、を具備する。
また、制御装置30、画像処理装置40、及び情報処理装置50は、ネットワーク60を介して通信可能に接続されている。ネットワーク60は、有線であっても、無線であってもよい。ネットワーク60を介した有線通信は、例えば、イーサネット(登録商標)やUSB等の規格に準拠した方式によって行われる。ネットワーク60を介した無線通信は、Wi−Fi(登録商標)等の規格に準拠した方式によって行われる。
ロボットシステム1は、情報処理装置50によりユーザーからの操作を受け付け、受け付けられた操作に基づいてロボット20に所定の作業を行わせる。所定の作業とは、例えば、図1に示したように、作業台TBの上面に配置された作業対象Mを所定位置に再配置させる作業を示すが、他の作業であってもよい。作業台TBは、例えば、テーブル等の台である。作業台TBに代えて、作業対象Mを配置することが可能な物体、例えば、床面や壁面等が用いられてもよい。
作業対象Mは、ロボット20により把持可能な物体であり、例えば、ネジやボルト等の工業製品の部品である。作業対象Mは、部品に限られず、他の物体であってもよい。図1において、作業対象Mは、直方体形状の物体として表されている。ロボットシステム1は、画像処理装置40により算出された作業対象Mの位置及び姿勢に基づいてロボット20に所定の作業を行わせる。
撮像装置10は、例えば、集光された光を電気信号に変換する撮像素子であるCCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等を備えたカメラである。撮像装置10は、ケーブルによって画像処理装置40と通信可能に接続されている。ケーブルを介した有線通信は、例えば、イーサネット(登録商標)やUSB等の規格に準拠した方式で行われる。なお、撮像装置10と画像処理装置40とは、Wi−Fi(登録商標)等の無線通信規格に準拠した方式で接続されてもよい。また、撮像装置10は、ネットワーク60を介して画像処理装置40と通信可能に接続されてもよい。
撮像装置10は、作業対象Mを含む範囲の画像を撮像可能な位置に設置される。撮像装置10は、静止画像を撮像する構成である。撮像装置10は、静止画像に代えて、動画像を撮像してもよい。撮像装置10は、撮像した画像を示す撮像画像信号を画像処理装置40に出力する。
なお、撮像装置10の個数は、1個に限られず、2個以上であってもよい。以下の説明では、1個の撮像装置又は2個以上の撮像装置のグループを撮像装置10と総称し、個々の撮像装置をカメラと呼ぶ。
ロボット20は、作業対象Mの位置及び姿勢に基づいた制御信号を制御装置30から取得し、取得した制御信号に基づいて所定の作業を行う。ロボット20は、例えば、物体(この一例では、作業対象M)を把持可能な爪部を備えるエンドエフェクターENDと、マニピュレーターMNPと、図示しない複数のアクチュエーターを備えた単腕のロボットである。単腕のロボットとは、エンドエフェクターENDとマニピュレーターMNP(又は、マニピュレーターMNPのみ)により構成される1本の腕を有するロボットである。
なお、ロボット20は、単腕のロボットである構成に代えて、スカラーロボット(水平多関節ロボット)や双腕のロボット等であってもよい。スカラーロボットとは、マニピュレーターが水平方向にのみ動き、マニピュレーターの先端のスライド軸のみが上下に動くロボットである。また、双腕のロボットとは、エンドエフェクターENDとマニピュレーターMNP(又は、マニピュレーターMNPのみ)によりそれぞれ構成される2本の腕を有するロボットである。
ロボット20の腕は、6軸垂直多関節型となっており、支持台とマニピュレーターMNPとエンドエフェクターENDとがアクチュエーターによる連携した動作によって6軸の自由度の動作を行うことができる。なお、ロボット20の腕は、5自由度(5軸)以下で動作するものであってもよく、7自由度(7軸)以上で動作するものであってもよい。以下では、エンドエフェクターEND及びマニピュレーターMNPを備えた1本の腕によって行われるロボット20の動作について説明する。
ロボット20は、ケーブルを介して制御装置30と通信可能に接続されていてもよい。ネットワーク60は、有線であっても、無線であってもよい。ネットワーク60を介した有線通信は、例えば、イーサネット(登録商標)やUSB等の規格に準拠した方式によって行われる。ネットワーク60を介した無線通信は、Wi−Fi(登録商標)等の規格に準拠した方式によって行われる。なお、ロボット20と制御装置30とは、ネットワーク60とは別個のケーブル、又は他のネットワークで接続されてもよい。また、ロボット20は、図1に示したようにロボット20の外部に設置された制御装置30と接続される構成とするが、この構成に代えて、制御装置30がロボット20に内蔵される構成であってもよい。
制御装置30は、情報処理装置50からオブジェクトコードを取得し、取得されたオブジェクトコードを実行し、所定の作業を行うようにロボット20の動作を制御する。より具体的には、この一例において、制御装置30は、オブジェクトコードを実行して、画像処理装置40に対し、撮像装置10から取得された撮像画像信号に基づいて作業対象Mの位置及び姿勢を算出するための画像処理を行うことを要求する。
画像処理装置40による画像処理が終了した後、制御装置30は、作業対象Mの位置及び姿勢を示す情報を画像処理装置40から取得する。制御装置30は、取得した作業対象Mの位置及び姿勢に基づいてロボット20の動作を制御するための制御信号を生成し、生成した制御信号をロボット20に出力する。ロボット20の動作は、所定の作業を行うように制御される。
なお、制御装置30とロボット20の接続は、ネットワーク60とは別個のケーブル、又は他のネットワークで接続されてもよい。また、ロボット20は、図1に示したようにロボット20の外部に設置された制御装置30と接続される構成としているが、この構成に代えて、制御装置30がロボット20に内蔵される構成であってもよい。
画像処理装置40は、制御装置30からの要求に応じて、撮像装置10から撮像画像信号を取得する。画像処理装置40は、撮像装置10から撮像画像信号を取得した後、取得した撮像画像信号に対して所定の画像処理を行って作業対象Mの位置及び姿勢を算出する。画像処理装置40は、算出した作業対象Mの位置及び姿勢を示す情報を制御装置30に出力する。
なお、画像処理装置40は、制御装置30からの要求に応じて上述した処理を行うことに代え、撮像装置10から周期的に撮像画像信号を取得してもよい。この場合、画像処理装置40は、撮像画像が取得される度に、取得された撮像画像に対して前述の画像処理を行って作業対象Mの位置及び姿勢を算出する。そして、画像処理装置40は、制御装置30からの要求に応じて算出された作業対象Mの位置及び姿勢を示す情報を制御装置30に出力する。
情報処理装置50は、画像処理装置40の設定を行うための各種の画面を表示する表示装置として機能する。情報処理装置50は、画像処理装置40と通信可能な撮像装置10を探索し、探索された通信可能な前記撮像装置の情報を表示する。
情報処理装置50は、例えば、ノートPCやデスクトップPC、タブレットPC、多機能携帯電話端末(スマートフォン)等、ロボット20を制御するためのアプリケーションプログラムをインストールすることが可能であって、表示部を備えた装置である。情報処理装置50は、このアプリケーションプログラムを実行することによって、各種の機能を有するGUI(Graphical User Interface)を当該表示部に表示させる。GUIは、例えば、撮像装置10が撮像した画像を処理するための画像処理プログラムならびにロボット20を制御するための制御プログラムを作成するためのGUIや、ロボットシステム1の動作状態を表示するためのGUI、等である。
情報処理装置50は、表示部に表示されたGUIを介してユーザーからの操作を受け付け、受け付けられた操作に基づいて制御プログラムを作成する。情報処理装置50は、作成した制御プログラムをコンパイルする。このコンパイルにより、制御プログラムは、制御装置30により実行可能な形式のオブジェクトコードに変換される。情報処理装置50は、表示部に表示されたGUIを介してユーザーからの操作を受け付け、受け付けられた操作に基づいて、変換されたオブジェクトコードを制御装置30に出力する。
情報処理装置50は、制御プログラムと同様に前述の画像処理プログラムを作成する。情報処理装置50は、作成した画像処理プログラムをコンパイルして、画像処理装置40により実行可能な形式のオブジェクトコードに変換する。情報処理装置50は、ユーザーからの受け付けられた操作に基づいて、変換されたオブジェクトコードを画像処理装置40に出力する。
(画像処理装置の構成)
次に、本実施形態に係る画像処理装置40の構成について説明する。
図2は、本実施形態に係る画像処理装置40の構成を示すブロック図である。
画像処理装置40は、通信部401、制御部402、画像処理部403、カメラ制御部404、報知部405、第1カメラ通信部406、及び第2カメラ通信部407を含んで構成される。
通信部401は、制御装置30及び情報処理装置50との通信を制御する。通信部401は、制御装置30及び情報処理装置50から受信した各種の受信信号を制御部402に出力する。また、通信部401は、制御部402から入力された各種の送信信号を制御装置30及び情報処理装置50に送信する。また、通信部401は、自装置(画像処理装置40)のネットワーク設定情報を保持している。ネットワーク設定情報には、例えば、画像処理装置40のIPアドレス、IPマスク、ゲートウェイアドレスが含まれる。なお、ネットワーク設定情報は、ネットワーク60上の自装置のアドレスと、自装置が属するサブネットが特定できればよい。IPアドレスは、その全体によりアドレスを示し、その一部によりサブネットを示す。IPマスクは、IPアドレスのうちサブネットを示す範囲を示す。IPマスクは、サブネットマスクとも呼ばれる。
制御部402は、情報処理装置50から探索パケットを受信したとき、通信部401からネットワーク設定情報を読み取り、カメラ制御部404からカメラ情報を読み取る。制御部402は、読み取ったネットワーク設定情報とカメラ情報とを含む探索応答パケットを生成する。制御部402は、探索パケットの送信元である情報処理装置50が属するサブネットと自装置が属するサブネットとが同一であるか否かに応じて返信先のアドレスを定める。具体的には、情報処理装置50が属するサブネットと自装置が属するサブネットとが同一である場合、制御部402は、返信先のアドレスを情報処理装置50のアドレスに定める。情報処理装置50が所属するサブネットと自装置が所属するサブネットとが異なる場合、制御部402は、返信先のアドレスを所定のブロードキャストアドレスを指定する。所定のブロードキャストアドレスは、例えば、UDP(User Datagram Protocol)で規定されたブロードキャストアドレスである。制御部402は、生成した探索応答パケットを返信先のアドレスで送信する。よって、情報処理装置50が属するサブネットと自装置が属するサブネットとが同一である場合には、探索応答パケットは情報処理装置50のみに送信される(ユニキャスト)。情報処理装置50が属するサブネットと自装置が属するサブネットとが同一である場合には、探索応答パケットは、ネットワーク60に接続されている機器の全てに同時に送信される(ブロードキャスト)。以下の説明では、ネットワークに接続されている機器の全てに同一のデータを送信することを、同時通報と呼ぶ。同時通報は、ブロードキャスト、一斉同報とも呼ばれる。
制御部402は、情報処理装置50から変更パケットを受信したとき、受信した変更パケットに含まれるMAC(Media Access Control)アドレスと自装置のMACアドレスとが同一か否かにより、ネットワーク設定を変更するか否かを判定する。MACアドレスとは、個々の機器を一意に識別するための識別情報である。後述するように、受信した変更パケットには、情報処理装置50において選択された画像処理装置40のMACアドレスが含まれる。変更パケットに含まれるMACアドレスと自装置のMACアドレスとが同一である場合、制御部402は、通信部401に設定されているネットワーク設定情報を、受信した変更パケットに含まれるネットワーク設定情報に変更する。変更パケットに含まれるMACアドレスと自装置のMACアドレスとが異なる場合、制御部402は、受信した変更パケットを無視し、通信部401に設定されているネットワーク設定情報を変更しない。
ネットワーク設定情報を変更した場合、制御部402は、変更に係る処理結果を示す変更処理結果情報と自装置のMACアドレスとを含む変更応答パケットを生成する。変更処理結果情報は、処理に成功したか否かを示す情報である。制御部402は、生成した変更応答パケットをネットワーク60に同時通報する。なお、ネットワーク設定情報の変更に成功した場合には、制御部402は、変更応答パケットを変更パケットの送信元である情報処理装置50のみを送信先として指定して送信してもよい(ユニキャスト)。いずれの場合も、変更応答パケットが情報処理装置50に送信される。
なお、制御部402は、画像処理装置40全体の動作を制御する。例えば、制御部402は、情報処理装置50から画像処理プログラムのオブジェクトコードを受信したとき、受信したオブジェクトコードを画像処理部403に出力する。制御部402は、情報処理装置50から画像処理要求信号を受信したとき、受信した画像処理要求信号を画像処理部403に出力する。画像処理要求信号は、撮像画像信号に基づいて作業対象Mの位置及び姿勢を算出するための画像処理を行うことを指示する信号である。
制御部402は、画像処理部403から入力された作業対象情報を制御装置30に送信する。作業対象情報は、撮像画像信号に基づいて算出された作業対象Mの位置及び姿勢を示す情報である。
制御部402は、情報処理装置50からモニター指示信号を受信したとき、受信したモニター指示信号を画像処理部403に出力する。モニター指示信号は、撮像画像を表示部41に表示することを指示する信号である。
なお、制御部402には、報知部405又は入力部42から入力された各種の入力信号が入力される。入力信号が制御部402による制御に用いられることがある。制御部402は、自部又は他の構成部でエラー等の動作状態を検知し、検知した動作状態を示す報知情報を生成し、生成した報知情報を報知部405に出力する。
画像処理部403は、制御部402から入力された画像処理プログラムのオブジェクトコードをインストールする。画像処理部403は、制御部402から画像処理要求信号を受信したとき、インストールしたオブジェクトコードを起動し、カメラ制御部404から処理対象の撮像画像信号を取得する。処理対象の撮像画像信号として、画像処理要求信号で指示されるチャンネルの撮像画像信号が選択される。チャンネルとは、画像処理装置40に接続されている個々のカメラ、又は個々のカメラを接続するためのポートの区別を意味する。例えば、第1カメラ11−1、11−2と、第2カメラ12−1〜12−4のそれぞれがチャンネルで区別される。画像処理部403は、選択された撮像画像信号を処理して作業対象Mの位置及び姿勢を算出し、算出した位置及び姿勢を示す作業対象情報を制御部402に出力する。
画像処理部403は、制御部402からモニター指示信号が入力されたとき、カメラ制御部404から表示対象の撮像画像信号を取得する。処理対象の撮像画像信号として、モニター指示信号で指示される撮像画像信号が選択される。なお、画像処理部403は、撮像画像信号に限らず、現在処理中の撮像画像信号を表示部41に出力してもよい。
カメラ制御部404は、第1カメラ通信部406及び第2カメラ通信部407を介して動作中のカメラの接続の有無を検出し、検出されたカメラのそれぞれからカメラ情報を取得する。つまり、カメラ制御部404は、自装置と通信可能なカメラを探索する。カメラ情報は、各カメラの識別情報や属性を含む情報である。カメラ情報は、例えば、モデル名、シリアル番号、解像度を含む。また、カメラ情報には、第1カメラ通信部406及び第2カメラ通信部407が有するチャンネルのうち、カメラが接続されているチャンネルが含まれてもよい。チャンネルは、カメラを物理的に接続するポートを識別する情報である。カメラ制御部404は、カメラ情報を取得したカメラとの通信を有効にする。
カメラ制御部404は、取得したカメラ情報を保持し、接続が解除されたカメラのカメラ情報を消去する。カメラ制御部404によるカメラの接続の有無の検出は、起動時の他、情報処理装置50から更新要求信号を受信したときに行われてもよい。更新要求信号は、情報処理装置50が保持しているカメラ情報及びネットワーク情報の更新を指示する信号である。カメラ制御部404は、通信部401からネットワーク設定情報を読み取り、読み取ったネットワーク設定情報と、新たに取得又は削除されたカメラ情報とに基づいて更新応答パケットを生成する。カメラ制御部404は、生成した更新応答パケットを情報処理装置50に送信する。これにより、情報処理装置50において通信可能なカメラのカメラ情報が更新される。
カメラ制御部404には、第1カメラ通信部406及び第2カメラ通信部407を介して、接続されたカメラのそれぞれから逐次に撮像画像が入力される。
報知部405は、制御部402から入力された報知情報が示す動作状態を報知する。また、報知部405は、ユーザーによる操作に基づく入力信号を取得し、取得した入力信号を制御部402に出力する。報知部405は、例えば、動作状態を報知するためのLEDランプ、入力信号を取得するためのトリガーボタンを含んで構成される。
第1カメラ通信部406及び第2カメラ通信部407は、それぞれ異なる種別のカメラと通信可能に接続する。図2に示す例では、第1カメラ通信部406は、第1カメラ11−1、11−2と接続されている。第1カメラ11−1、11−2は、例えば、USBカメラである。第2カメラ通信部407は、第2カメラ12−1〜12−4と接続されている。第2カメラ12−1〜12−4は、GigEカメラである。その場合、第1カメラ通信部406は、USBインターフェイスを含んで構成される。第2カメラ通信部407は、例えば、GigEインターフェイスを含んで構成される。
表示部41は、制御部402から入力された画像信号に基づく画像を表示する。表示部41は、例えば、液晶ディスプレイ、有機EL(electroluminescence)ディスプレイ、等である。
入力部42は、ユーザーによる操作に基づく各種の入力信号又は外部機器からの各種の入力信号を取得する。例えば、マウス、キーボード、USBメモリー、等である。
なお、表示部41及び入力部42の一方又は両方は、画像処理装置40と一体化されていてもよいし、別体であってもよい。
また、入力部42は、表示部41と一体化されたタッチパネルとして構成されてもよい。
(情報処理装置の構成)
次に、本実施形態に係る情報処理装置50の構成について説明する。
図3は、本実施形態に係る情報処理装置50の構成を示すブロック図である。
情報処理装置50は、通信部501、制御部502、表示部51、及び入力部52を含んで構成される。
通信部501は、制御装置30及び画像処理装置40との通信を制御する。通信部501は、制御装置30及び画像処理装置40から受信した各種の受信信号を制御部502に出力する。また、通信部501は、制御部502から入力された各種の送信信号を制御装置30及び画像処理装置40に送信する。また、通信部501は、自装置(情報処理装置50)のネットワーク設定情報を保持している。
制御部502は、探索処理部503、設定処理部504、プログラム作成部505、及び画像処理指示部506を含んで構成される。
探索処理部503は、入力部52からカメラ探索指示信号が入力されたとき、探索パケットを生成する。探索パケットには、情報要求コマンドが含まれる。情報要求コマンドは、送信先の装置に設定されている情報を要求することを指示するコマンドである。探索処理部503は、生成した探索パケットをネットワーク60に同時通報する。探索パケットを同時通報する際、探索処理部503は、例えば、送信先アドレスとして所定のブロードキャストアドレスを指定する。
探索処理部503は、送信した探索パケットに対する探索応答パケットを、ネットワークに接続された画像処理装置40から受信する。なお、探索応答パケットの送信元である画像処理装置40の台数は1台に限られず、2台以上であってもよい。
設定処理部504は、受信した探索応答パケットから、送信元の画像処理装置40のネットワーク設定情報と、画像処理装置40に接続されたカメラのカメラ情報とを読み取る。設定処理部504は、読み取ったネットワークの設定情報とカメラ情報とを対応付けて探索結果画面データを生成する。探索結果画面データは、カメラ毎のカメラ情報と、当該カメラに接続された画像処理装置40のネットワーク設定情報とを対応付けて表示する画像信号である。設定処理部504が、生成した探索結果画面データを表示部51に出力する。表示部51は、設定処理部504から入力された探索結果画面データが示す探索結果画面を表示する。探索結果画面において、カメラ情報とネットワーク設定情報がカメラ毎に対応付けて配置される。入力部52から入力されたカメラ選択信号により特定のカメラに係るカメラ情報とネットワーク設定情報の表示が指定される。カメラ選択信号は、探索結果画面に表されたカメラのうちいずれかを指示する信号である。これにより、ユーザーが利用しようと考えるカメラが選択可能になる。
設定処理部504は、入力部52からカメラ選択信号が入力されたとき、予め作成しておいたネットワーク設定画面データを読み取り、読み取ったネットワーク設定画面データを表示部51に出力する。表示部51は、設定処理部504から入力されたネットワーク設定画面データが示すネットワーク設定画面を表示する。ネットワーク設定画面は、選択したカメラが接続された画像処理装置40に対するネットワーク設定情報の入力をユーザーに促すための画像である。ネットワーク設定情報の入力が完了した後、設定処理部504は、入力されたネットワーク設定情報と選択したカメラが接続された画像処理装置40のMACアドレスとを含む変更パケットを生成する。設定処理部504は、生成した変更パケットをネットワーク60に同時通報する。よって、変更パケットが、選択したカメラが接続された画像処理装置40に送信される。
設定処理部504は、画像処理装置40から変更応答パケットを受信したとき、受信した変更応答パケットから画像処理装置40のMACアドレスと変更処理結果情報を読み取る。設定処理部504は、読み取った変更処理結果情報が成功を示す場合には、読み取ったMACアドレスと、そのMACアドレスと選択したカメラ情報を対応付けて保持する。
プログラム作成部505には予めプログラム作成用画面データが記憶され、起動時に記憶されたプログラム作成用画面データを表示部51に出力する。表示部51は、プログラム作成部505から入力されたプログラム作成用画面データに基づくプログラム作成用画面を表示する。
プログラム作成部505は、入力部52から入力された各種の入力信号に基づいて制御プログラム又は画像処理プログラムを作成する。入力部52から制御プログラムコンパイル指示信号が入力されたとき、プログラム作成部505は、作成した制御プログラムをコンパイルして制御装置30により実行可能な形式のオブジェクトコードに変換する。プログラム作成部505は、変換したオブジェクトコードを制御装置30に送信する。
また、入力部52から画像処理プログラムコンパイル指示信号が入力されたとき、プログラム作成部505は、作成した画像処理プログラムをコンパイルして画像処理装置により実行可能な形式のオブジェクトコードに変換する。プログラム作成部505は、変換したオブジェクトコードを画像処理装置40に送信する。
画像処理指示部506は、入力部52から入力された各種の入力信号に基づいて画像処理装置40に対し各種の指示を行う。例えば、画像処理指示部506は、入力部52から入力された画像処理要求信号を画像処理装置40に送信する。画像処理指示部506は、入力部52から入力されたモニター指示信号を画像処理装置40に送信する。
なお、画像処理指示部506は、画像処理装置40から撮像画像信号を受信し、受信した撮像画像信号に基づく撮像画像を自装置の表示部51に表示させてもよい。
表示部51は、制御部502から入力された画像信号に基づく画像を表示する。表示部41は、例えば、液晶ディスプレイ、有機ELディスプレイ、等である。
入力部52は、ユーザーによる操作に基づく入力信号又は外部機器からの入力信号を取得する。例えば、マウス、キーボード、等である。
なお、表示部51及び入力部52の一方又は両方は、画像処理装置40と一体化されていてもよいし、別体であってもよい。
(システム表示画面)
図4は、システム表示画面の一例(システム表示画面sc1)を示す図である。システム表示画面sc1は、情報処理装置50との通信が現在可能なカメラのそれぞれのカメラ情報を表示する画面である。また、システム表示画面sc1は、設定処理部504に入力部52からシステム設定照会信号が入力されたとき、設定処理部504が表示部51に表示させる画面である。
システム表示画面sc1には、表示欄sc11、「閉じる」ボタンsc12及び「追加」ボタンsc13が含まれる。表示欄sc11には、カメラ毎のカメラ情報が表示されている。カメラ情報には、カメラ種別、モデル名、及び解像度が含まれる。モデルとは、カメラの機種を意味する。例えば、表示欄sc11の第2行に示すカメラ「1」のカメラ情報には、カメラ種別「タイプ2」、モデル名「モデル2B」及び解像度「640×480」が含まれる。ここで、モデル名とは、カメラの機種名を示す。解像度とは、カメラがサポートする解像度を示す。
「閉じる」ボタンsc12は、押下されることによりシステム表示画面sc1を消去するためのボタンである。「押下」とは、その表示領域内に含まれる位置を、入力部52への操作により指示することを意味する。指示される位置は、入力部52が生成する入力信号で表される。
「追加」ボタンsc13は、押下されることによりシステム表示画面sc1に表示されているカメラとは別個のカメラを追加するためのボタンである。「追加」ボタンsc13が押下されたとき、設定処理部504には、入力部52から追加指示信号が入力される。このとき、設定処理部504は、追加方式照会画面を表示部51に表示させる。
(追加方式照会画面)
次に、追加方式照会画面について説明する。
図5は、追加方式照会画面の一例(追加方式照会画面ar1)を示す図である。
追加方式照会画面ar1は、ロボットシステム1において利用しようとするカメラを追加する方式をユーザーに選択させるための画面である。
追加方式照会画面ar1には、2個のラジオボタンar11、ar12、「OK」ボタンar13、及び「キャンセル」ボタンar14が含まれる。
2個のラジオボタンar11、ar12は、それらの一方が押下されることにより、その一方に対応する方式を選択するためのボタンである。直近に押下されたボタンが、黒塗りで表され、それ以外のボタンが白抜きで表される。図5に示す例では、押下されたラジオボタンar11に係る方式として、「カメラ探索」が選択されたことを示す。カメラ探索とは、情報処理装置50に接続されたネットワーク60を介して通信可能なカメラを探索することを意味する。なお、ラジオボタンar12に係る「手動でカメラを設定」とは、ユーザーが入力部52を操作することにより、カメラ情報を設定することを意味する。
「OK」ボタンar13は、押下されることにより選択した方式でカメラを追加することを指示するためのボタンである。図5に示す例において「OK」ボタンar13が押下されたとき、探索処理部503には、入力部52からカメラ探索指示信号が入力される。このとき、探索処理部503は、探索パケットを生成し、生成した探索パケットをネットワーク60に同時通報する。
「キャンセル」ボタンar14は、押下されることによりカメラの追加をキャンセルすることを指示するためのボタンである。「キャンセル」ボタンar14が押下されたとき、設定処理部504は、表示部51に表示させた追加方式照会画面ar1を消去する。
(探索パケット)
次に、探索パケットについて説明する。
図6は、探索パケットの一例(探索パケットsp1)を示す図である。探索パケットsp1は、コマンド、送信先アドレス及びポート番号を示すデータである。コマンド「RequestInfo」は、送信先の機器に対して設定情報を照会するためのコマンドである。送信先アドレス「255.255.255.255」は、UDPで規定されているブロードキャストアドレスである。従って、情報処理装置50に接続されているネットワーク、つまり1つのネットワークに所属する機器の全てが送信先となる。ポート番号は、送信先機器のポート番号であり、本実施形態に係る機能を実現するためのアプリケーションプログラムが指定される。なお、図6の左端から第3列に示すパラメーターとは、探索パケットsp1に格納される付加情報を意味する。図6に示す例では、探索パケットsp1にパラメーターが含まれていない。また、探索パケットsp1には、送信元である情報処理装置50のIPアドレスが含まれる。
(カメラ情報)
次に、画像処理装置40のカメラ制御部404に設定されているカメラ情報の例について説明する。
図7は、カメラ設定表示画面の一例(カメラ設定表示画面sc2)を示す図である。
カメラ設定表示画面sc2には、画像処理装置40のカメラ制御部404に設定されているカメラ情報が表示される。
カメラ設定表示画面sc2は、システム設定画面の一部を構成し、タブsc21、表示欄sc22、及び「閉じる」ボタンsc23を含んで構成され、画像処理装置40の制御部402が入力部42からカメラ設定表示要求信号が入力されたことに応じて表示部41に表示される。
タブsc21が押下されることによって、表示欄sc22及び「閉じる」ボタンsc23が表示される。表示欄sc22には、カメラが接続されているチャンネル毎に、モデル名、ID(Identifier)、及び解像度が対応付けて示されている。モデル名、ID、及び解像度は、それぞれカメラ情報の構成要素である。IDは、個々のカメラを識別するシリアル番号である。
「閉じる」ボタンsc23は、押下されることによりカメラ設定表示画面sc2を消去することを指示するためのボタンである。「閉じる」ボタンsc23が押下されたとき、制御部402は、表示部41に表示させたカメラ設定表示画面sc2を消去する。
(ネットワーク情報)
次に、画像処理装置40の通信部401に設定されているネットワーク情報の例について説明する。
図8は、システム総合設定表示画面の一例(システム総合設定表示画面sn2)を示す図である。
システム総合設定表示画面sn2には、通信部401に設定されているネットワーク情報が表示される。
システム総合設定表示画面sn2は、システム設定画面の一部を構成し、タブsn21、表示欄sn22、入力欄sn23、「閉じる」ボタンsn24、「適用」ボタンsn25、「保存」ボタンsn26及び入力キーsn27を含んで構成され、画像処理装置40の制御部402が入力部42からシステム総合設定表示要求信号が入力されたことに応じて表示部41に表示される。
タブsn21が押下されることによって、表示欄sn22、「閉じる」ボタンsn24、「適用」ボタンsn25、「保存」ボタンsn26及び入力キーsn27が表示される。表示欄sn22には、画像処理装置40のモデル名、シリアル番号、ファームウェアバージョン、MACアドレス、及び入力欄sn23が表示される。ファームウェアバージョンは、画像処理装置40にインストールされているファームウェアのバージョンである。入力欄sn23は、画像処理装置40のネットワーク設定情報を入力するための欄である。ネットワーク設定情報として、IPアドレス、IPマスク、及びゲートウェイアドレスが入力可能である。
「閉じる」ボタンsn24は、押下されることによりシステム総合設定表示画面sn2を消去することを指示するためのボタンである。「閉じる」ボタンsn24が押下されたとき、制御部402は、表示部41に表示させたシステム総合設定表示画面sn2を消去する。
「適用」ボタンsn25は、押下されることにより入力されたネットワーク設定情報を画像処理装置40に適用することを指示するためのボタンである。「適用」ボタンsn25が押下されたとき、制御部402は、入力キーsn27を介して入力されたネットワーク設定情報を通信部401に保存する。
「保存」ボタンsn26は、押下されることにより入力されたネットワーク設定情報を画像処理装置40に適用せずに保存することを指示するためのボタンである。「保存」ボタンsn26が押下されたとき、制御部402は、入力キーsn27を介して入力されたネットワーク設定情報を保存する。
入力キーsn27は、入力欄sn23にネットワーク設定情報を入力するためのキーである。入力キーsn27には、テンキー、ピリオドキー、バックスペースキー(Bksp)、削除キー、ホームキー(Home)、終了キー(End)が含まれる。テンキー、ピリオドキーは、それぞれ0から9までのいずれかの数字、ピリオド「.」を入力するためのキーである。削除キーは、入力された文字を削除するためのキーである。バックスペースキーは、入力された文字の左隣の文字を削除するためのキーである。ホームキーは、入力可能な位置(カーソル)を行の先頭に移動させるためのキーである。終了キーは、入力可能な位置を行の末尾に移動させるためのキーである。
なお、上述したカメラ設定表示画面sc2及びシステム総合設定表示画面sn2を、情報処理装置50の設定処理部504により表示部51に表示されてもよい。その場合には、設定処理部504は、画像処理装置40からカメラ情報とネットワーク設定情報とを取得する。また、設定処理部504は、入力部52から入力された入力信号に基づいて画像処理装置40にネットワーク設定情報を設定してもよい。
なお、画像処理装置40は、自装置への操作の他、上述したように情報処理装置50から受信した変更パケットに基づいてネットワーク設定情報を変更可能である。
(探索応答パケット)
次に、制御部402が生成する探索応答パケットについて説明する。制御部402は、情報処理装置50から探索パケットを受信したことに応じて、通信部401から読み取ったネットワーク設定情報と、カメラ制御部404から読み取ったカメラ情報とに基づいて探索応答パケットを生成する。
図9は、探索応答パケットの一例(探索応答パケットsp2)を示す図である。
探索応答パケットsp2には、画像処理装置40の機器情報sp20、画像処理装置40のネットワーク設定情報sp21及びカメラ毎のカメラ情報sp22−1〜sp22−6が含まれる。例えば、機器情報sp20には、IP「XX」、シリアル番号「00001111」及びMACアドレス「00:11:22:AA:BB:CC」が含まれる。ネットワーク設定情報sp21には、IPアドレス「192.168.0.3」、ネットマスク「255.255.255.0」及びゲートウェイアドレス「192.168.0.1」が含まれる。カメラ情報sp22−1には、カメラのモデル名「AAA−BBB」、ID(シリアル番号)「222333」及び解像度「640×480」が含まれる。
(返信先の決定)
次に、探索応答パケットの返信先を定める処理について説明する。
制御部402は、情報処理装置50から受信した探索パケットsp1から情報処理装置50のIPアドレスを読み取り、読み取ったIPアドレスから情報処理装置50が属するサブネットを特定する。また、制御部402は、通信部401に設定されたネットワーク設定情報から画像処理装置40のIPアドレスを読み取り、読み取ったIPアドレスから画像処理装置40が属するサブネットを特定する。サブネットは、IPアドレスを形成するビット列からネットマスクで指示される部分で表される。
図10は、探索応答パケットの返信先を説明するための図である。
図10に示すように、情報処理装置50が所属するサブネットと、自装置が所属するサブネットとが同一である場合、制御部402は、返信先のアドレスを情報処理装置50のアドレス(192.168.0.2)に定める。これにより、他の情報処理装置50への無用な送信を防ぐことができる。また、情報処理装置50が所属するサブネットと自装置が所属するサブネットとが異なる場合、制御部402は、返信先のアドレスとしてUDPブロードキャストアドレス(255.255.255.255)に定める。制御部402は、生成した探索応答パケットを、定めた返信先のアドレスに送信する。これにより、ネットワーク60に同時通報することでサブネットが異なる情報処理装置50に探索応答パケットを送信することができる。
(探索結果画面)
次に、探索結果画面について説明する。
図11は、探索結果画面の一例(探索結果画面sr1)を示す図である。探索結果画面sr1は、ネットワーク60を介して探索されたカメラのカメラ情報の一覧を示す画面である。また、探索結果画面sr1には、設定処理部504が画像処理装置40から受信した探索応答パケットに含まれるカメラ情報が含まれる。
探索結果画面sr1には、表示欄sr11、「閉じる」ボタンsr12、「追加」ボタンsr13、及び「更新」ボタンsr14が含まれる。表示欄sr11には、カメラ毎に装置種別、IPアドレス、チャンネル、及びカメラ情報が各行に表示されている。装置種別とは、直接探索された装置の種別として、画像処理装置40かカメラ単体かの区別を意味する。IPアドレスは、直接探索された装置のIPアドレスである。チャンネルは、直接探索された装置が画像処理装置40である場合に、カメラが接続されているチャンネルを意味する。表示されるカメラ情報には、モデル名、ID及び解像度が含まれる。例えば、表示欄sr11の第2行には、装置種別「画像処理装置」、IPアドレス「192.168.0.3」、チャンネル「1−2」、モデル名「モデル1A」、ID「61031116」及び解像度「640×480」が表示されている。
表示欄sr11に表示される情報は、ユーザーの操作により入力部52から入力されたカメラ選択信号で、行毎に指示可能である。設定処理部504は、カメラ選択信号により指示された行に係るカメラを選択する。
表示欄sr11に示される情報のうち、既に通信可能なカメラとして設定されたカメラ情報に係る行は、他の行とは異なる態様で表示されている。異なる態様とは、図11に示す例では、グレー表示である。異なる態様での表示は、その行に係るカメラが選択不可能であることを示す。
探索結果画面により、画像処理装置40に接続された通信可能なカメラが一覧される。そのため、ユーザーが利用しようと考えるカメラの有無を直ちに把握することができる。また、カメラに接続された画像処理装置40のIPアドレスを予め調べておく必要がなくなる。
「閉じる」ボタンsr12は、押下されることにより探索結果画面sr1を消去するためのボタンである。
「追加」ボタンsr13は、押下されることにより選択されたカメラをロボットシステム1において利用するカメラとして追加するためのボタンである。「追加」ボタンsr13が押下されたとき、設定処理部504は、ネットワーク設定画面を表示部51に表示させる。
「更新」ボタンsr14は、押下されることによりネットワーク設定情報及びカメラ情報を更新するためのボタンである。「更新」ボタンsr14が押下されたとき、設定処理部504は、更新要求信号を含む更新パケットをネットワーク60に同時通報する。設定処理部504は、その後、受信した更新応答パケットから機器情報、ネットワーク設定情報とカメラ情報を読み取る。設定処理部504は、自部に保存された機器情報、ネットワーク設定情報及びカメラ情報を、読み取った機器情報、ネットワーク設定情報及びカメラ情報に更新する。そして、設定処理部504は、探索結果画面sr1に表示させていた装置種別、IPアドレス及びカメラ情報を消去し、更新したネットワーク設定情報に含まれる装置種別、ネットワーク設定情報に含まれるIPアドレス及びカメラ情報を探索結果画面sr1に表示させる。
(ネットワーク設定画面)
次に、ネットワーク設定画面について説明する。
図12は、ネットワーク設定画面の一例(ネットワーク設定画面sn3)を示す図である。
ネットワーク設定画面sn3は、選択されたカメラが接続された画像処理装置40のネットワーク設定情報を入力するための画面である。
ネットワーク設定画面sn3は、入力欄sn31、「OK」ボタンsn32、及び「キャンセル」ボタンsn33を含んで構成される。
入力欄sn31は、画像処理装置40のネットワーク設定情報を入力するための欄である。ネットワーク設定情報として、IPアドレス、IPマスク、及びゲートウェイアドレスが入力可能である。なお、選択されたカメラが画像処理装置40に接続されず、単体でネットワーク60に接続されたカメラである場合には、入力欄sn31には、そのカメラのネットワーク設定情報が入力されてもよい。
「OK」ボタンsn32は、押下されることにより入力したネットワーク設定情報を適用することを指示するためのボタンである。「OK」ボタンsn32が押下されたとき、設定処理部504は、入力されたネットワーク設定情報と選択されたカメラに接続された画像処理装置40のMACアドレスとに基づいて変更パケットを生成する。設定処理部504は、生成した変更パケットをネットワーク60に同時通報する。
「キャンセル」ボタンsn33は、押下されることによりネットワーク設定画面sn3を消去することを指示するためのボタンである。「キャンセル」ボタンsn33が押下されたとき、設定処理部504は、表示部51に表示させたネットワーク設定画面sn3を消去する。このとき、設定処理部504は、入力欄sn31に入力した情報を消去する。
ネットワーク設定画面により、画像処理装置40のネットワーク設定情報の変更を、カメラの選択又は追加の際に行うことができるので、設定変更に要する時間を短縮することができる。
(変更パケット)
次に、変更パケットについて説明する。図13は、変更パケットの一例(変更パケットcp1)を示す図である。
変更パケットcp1は、コマンド、送信先アドレス及びポート番号を示すデータである。コマンド「SetIPAddress」は、送信先の機器に対してネットワーク設定情報を設定するためのコマンドである。送信先アドレス「255.255.255.255」は、UDPで規定されているブロードキャストアドレスである。パラメーターとして、選択されたカメラに係る画像処理装置40のMACアドレス、入力されたネットワーク設定情報、つまり、IPアドレス、ネットマスク及びゲートウェイアドレスが含まれる。ポート番号は、送信先機器のポート番号である。なお、変更パケットcp1には、送信元である情報処理装置50のIPアドレスが含まれる。
(ネットワーク設定情報変更の要否判定)
次に、画像処理装置40の制御部402によるネットワーク設定情報変更の要否判定について説明する。
図14は、ネットワーク設定情報変更の要否判定を説明するための図である。
制御部402は、情報処理装置50から受信した変更パケットからMACアドレスを読み取り、読み取ったMACアドレスと自装置のMACアドレスとを比較する。読み取ったMACアドレスと自装置のMACアドレスとが同一である場合、制御部402は、ネットワーク設定情報を変更すると判定する。変更すると判定した場合、制御部402は、受信した変更パケットからネットワーク設定情報を読み取る。制御部402は、通信部401に設定されているネットワーク設定情報を、読み取ったネットワーク設定情報、つまり新たなIPアドレス、ネットマスク、ゲートウェイアドレスに変更する。他方、MACアドレスと自装置のMACアドレスが異なる場合、制御部402は、受信した変更パケットを無視する。
(変更応答パケット)
次に、制御部402がネットワーク設定情報の変更に係る処理を行った後に生成する変更応答パケットについて説明する。図15は、変更応答パケットの一例(変更応答パケットcp2)を示す図である。変更応答パケットcp2は、自装置(画像処理装置40)のMACアドレスと、変更処理結果情報(IPアドレスの変更処理結果)とを含んで構成される。変更処理結果情報は、処理の成功を示す0又は失敗事由を示すエラー番号で表わされる。失敗事由には、例えば、変更しようとするネットワーク設定情報においてIPアドレスとして所定の範囲外の数値が指定された場合、などがある。
(ネットワーク処理)
次に、本実施形態に係るネットワーク処理について説明する。
図16は、本実施形態に係るネットワーク処理を示すシーケンス図である。
(ステップS101)情報処理装置50の探索処理部503には、入力部52からカメラ探索指示信号が入力される。その後、ステップS102に進む。
(ステップS102)探索処理部503は、探索パケットを生成する。その後、ステップS103に進む。
(ステップS103)探索処理部503は、生成した探索パケットをネットワーク60に同時通報する。画像処理装置40の制御部402が情報処理装置50から探索パケットを受信した後、ステップS104に進む。
(ステップS104)制御部402は、通信部401からネットワーク設定情報を読み取り、カメラ制御部404からカメラ情報を読み取る。制御部402は、読み取ったネットワーク設定情報とカメラ情報とを含む探索応答パケットを生成する。その後、ステップS105に進む。
(ステップS105)制御部402は、情報処理装置50が属するサブネットと自装置が属するサブネットとが同一であるか否かに応じて返信先のアドレスを情報処理装置50のアドレスとするかUDPブロードキャストアドレスとするかを定める。その後、ステップS106に進む。
(ステップS106)制御部402は、定めたアドレスで指定される返信先に生成した探索応答パケットを送信する。情報処理装置50の設定処理部504が画像処理装置40から探索応答パケットを受信した後、ステップS107に進む。
(ステップS107)設定処理部504は、受信した探索応答パケットから読み取ったネットワーク設定情報とカメラ情報とに基づいて探索結果画面データを生成する。設定処理部504は、生成した探索結果画面データを表示部51に出力することにより探索結果画面を表示させる。その後、ステップS108に進む。
(ステップS108)設定処理部504は、入力部52からカメラ選択信号が入力されたとき、ネットワーク設定画面データを表示部51に出力することによりネットワーク設定画面を表示させる。設定処理部504は、入力部52からネットワーク設定情報を取得する。その後、ステップS109に進む。
(ステップS109)設定処理部504は、取得したネットワーク設定情報と選択したカメラが接続された画像処理装置40のMACアドレスとを含む変更パケットを生成する。その後、ステップS110に進む。
(ステップS110)設定処理部504は、生成した変更パケットをネットワーク60に同時通報する。画像処理装置40の制御部402が情報処理装置50から探索パケットを受信した後、ステップS111に進む。
(ステップS111)制御部402は、情報処理装置50から変更パケットに含まれるMACアドレスと自装置のMACアドレスと同一か否かにより、ネットワーク設定を変更するか否かを判定する。変更パケットに含まれるMACアドレスと自装置のMACアドレスとが同一である場合(ステップS111 YES)、ステップS112に進む。変更パケットに含まれるMACアドレスと自装置のMACアドレスとが異なる場合(ステップS111 NO)、図16に示す処理を終了する。
(ステップS112)制御部402は、通信部401に設定されているネットワーク設定情報を、受信した変更パケットに含まれるネットワーク設定情報に変更する。その後、ステップS113に進む。
(ステップS113)制御部402は、変更処理結果情報と自装置のMACアドレスとを含む変更応答パケットを生成する。その後、ステップS114に進む。
(ステップS114)制御部402は、生成した変更応答パケットを情報処理装置50に送信する。情報処理装置50の設定処理部504は、画像処理装置40から受信した変更応答パケットからMACアドレスと変更処理結果情報を読み取る。読み取った変更処理結果情報が成功を示す場合、設定処理部504は、読み取ったMACアドレスと、そのMACアドレスと選択したカメラ情報を対応付けて保持する。その後、図16に示す処理を終了する。
ステップS108では、画像処理装置40のネットワーク設定情報として、ユーザーの操作により上述したネットワーク設定画面を介して、いかなるネットワーク設定情報も取得される可能性がある。しかしながら、画像処理装置40のネットワーク設定情報として、情報処理装置50と同一のサブネットに属するIPアドレスであって、未使用のIPアドレスが指定されることにより、情報処理装置50は、画像処理装置40を介して選択されたカメラとの間で各種のデータの送受信が可能になる。例えば、画像処理装置40は選択されたカメラから取得された撮像画像信号を情報処理装置50に送信し、情報処理装置50は画像処理装置40からの撮像画像信号を受信することができるようになる。
また、ステップS108において、設定処理部504は、情報処理装置50と同一のサブネットに属するIPアドレスのうち機器が接続されていないIPアドレスを探索し、探索したIPアドレスを指定するネットワーク設定情報を自動生成してもよい。ここで、設定処理部504は、ネットワーク設定情報照会コマンドを含みポート番号を指定せずにアドレス照会パケットをネットワーク60に同時通報し、アドレス照会パケットに対応するアドレス照会応答パケットを受信する。設定処理部504は、受信したアドレス照会応答パケットからネットワーク設定情報に含まれるIPアドレスを使用中のIPアドレスとして読み取る。そして、設定処理部504は、自装置のネットワーク設定情報が示す自装置のIPアドレスと、ネットマスクで指定されるビットの範囲から自装置のサブネットに属するIPアドレスの範囲を特定する。設定処理部504は、特定したIPアドレスの範囲から、使用中のIPアドレスを除いた未使用のIPアドレスのうちのいずれかを選択する。そして、設定処理部504は、選択したIPアドレス、自装置のネットマスク及びゲートウェイアドレスを含むネットワーク設定情報を生成する。これにより、ユーザーが未使用のIPアドレスを調べることや、設定のための操作を省略することができるため、設定に係る操作をさらに容易にすることができる。
以上に説明したように、本実施形態に係る画像処理システム2は、撮像画像を処理する画像処理装置40と、画像処理装置40の設定を行う画面を表示する情報処理装置50とを含む。画像処理装置40は、画像処理装置と通信可能な撮像装置10を探索し、情報処理装置50は、画像処理装置40によって探索された通信可能な撮像装置10の情報を表示する。
この構成によれば、画像処理装置40が探索した通信可能な撮像装置10の情報が表示される。そのため、ユーザーが利用したいと考える撮像装置10を、表示された撮像装置10から選択することができるので、その設定に際して利用したいと考える撮像装置10の情報を調べる必要がなくなる。
本実施形態に係る画像処理システム2において、情報処理装置50は、送信先の機器に設定された情報を照会するためのコマンドを含む探索パケットを情報処理装置50に接続されたネットワーク60に同時通報する。画像処理装置40は、探索パケットを情報処理装置50から受信したとき、探索された通信可能な撮像装置10の情報を含む探索応答パケットをネットワーク60に同時通報する。
この構成によれば、撮像装置10が接続された画像処理装置40が情報処理装置50とは異なるサブネットに属する場合でも、情報処理装置50は画像処理装置40に接続された撮像装置10の情報を取得することができる。そのため、ユーザーは、ネットワーク60に接続された画像処理装置40が探索した撮像装置10を遺漏なく利用する手がかりを得ることができる。
本実施形態に係る画像処理システム2において、画像処理装置40は、画像処理装置40のIPアドレスを探索応答パケットに含め、情報処理装置50は、IPアドレスを撮像装置10の情報と対応付けて表示する。
この構成によれば、ユーザーが利用したいと考える撮像装置10に係る画像処理装置40のIPアドレスが表示される。そのため、ユーザーは撮像装置10を利用するための設定に際し、そのIPアドレスを確認することができる。
本実施形態に係る画像処理システム2において、情報処理装置50は、新たなIPアドレスを取得し、取得したIPアドレスを含む変更パケットを情報処理装置50に接続されたネットワーク60に同時通報する。画像処理装置40は、自装置に設定されたIPアドレスを情報処理装置50から受信した変更パケットに含まれるIPアドレスに変更する。
この構成によれば、撮像装置10が接続された画像処理装置40が情報処理装置50とは異なるサブネットに属する場合でも、画像処理装置40に設定されたIPアドレスを情報処理装置50が取得したIPアドレスに変更することができる。例えば、情報処理装置50に当該情報処理装置50と同一のサブネットに属し、未使用のIPアドレスを取得させておくことで、画像処理装置40を情報処理装置50と同一のサブネットに所属させることができる。
本実施形態に係る画像処理システム2において、情報処理装置50は、情報処理装置50と同一のサブネットに属し、未使用のIPアドレスを画像処理装置40のIPアドレスと定める。
この構成によれば、ユーザーが予めIPアドレスを調べ、入力しなくても画像処理装置を情報処理装置50と同一のサブネットに所属させることができる。これにより、情報処理装置50と画像処理装置40に接続された撮像装置10との通信が可能になる。
本実施形態に係る画像処理システム2において、画像処理装置40は、情報処理装置50と同一のサブネットに属する場合には、探索応答パケットに送信先のIPアドレスとして情報処理装置50のIPアドレスを含める。
この構成によれば、探索応答パケットを同時通報することにより、探索応答パケットが情報処理装置以外の機器にも伝送されるという無用な通信を回避することができる。
以上、この発明の実施形態を、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない限り、変更、置換、削除等されてもよい。
例えば、上述した実施形態では、ロボット20が1本の腕を有する単腕ロボットである場合を例にしたが、これには限られない。ロボット20は、2本の腕を有する双腕ロボットであってもよいし、水平多関節ロボット(いわゆる、スカラーロボット)であってもよい。
画像処理装置40は、上述したように制御装置30と別体であってよいし、一体に構成されていてもよい。
制御装置30は、上述したようにロボット20と別体であってよいし、一体に構成されていてもよい。
また、以上に説明した装置(例えば、制御装置30、画像処理装置40、情報処理装置50)における任意の構成部の機能を実現するためのプログラムを、コンピューター読み取り可能な記録媒体に記録し、そのプログラムをコンピューターシステムに読み込ませて実行するようにしてもよい。なお、ここでいう「コンピューターシステム」とは、OS(Operating System)や周辺機器等のハードウェアを含むものとする。また、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD(Compact Disc)(登録商標)−ROM等の可搬媒体、コンピューターシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピューター読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバーやクライアントとなるコンピューターシステム内部の揮発性メモリー(例えば、RAM)のように、一定時間プログラムを保持しているものも含むものとする。
また、上記のプログラムは、このプログラムを記憶装置等に格納したコンピューターシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピューターシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。
また、上記のプログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、上記のプログラムは、前述した機能をコンピューターシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。
1…ロボットシステム、2…画像処理システム、10…撮像装置、11−1、11−2、12−1〜12−4…カメラ、20…ロボット、30…制御装置、40…画像処理装置、401…通信部、402…制御部、403…画像処理部、404…カメラ制御部、405…報知部、406…第1カメラ通信部、407…第2カメラ通信部、41…表示部、42…入力部、50…情報処理装置、501…通信部、502…制御部、503…探索処理部、504…設定処理部、505…プログラム作成部、506…画像処理指示部、51…表示部、52…入力部

Claims (5)

  1. 撮像画像を処理する画像処理装置と、
    前記画像処理装置の設定を行う画面を表示する情報処理装置と、を含み、
    前記画像処理装置は、前記画像処理装置と通信可能な撮像装置を探索し、
    前記情報処理装置は、前記画像処理装置によって探索された通信可能な前記撮像装置の情報を表示
    前記情報処理装置は、送信先の機器に設定された情報を照会するためのコマンドを含む探索パケットを前記情報処理装置に接続されたネットワークに同時通報し、
    前記画像処理装置は、前記探索パケットを前記情報処理装置から受信したとき、探索された通信可能な前記撮像装置の情報を含む探索応答パケットを前記ネットワークに同時通報し、
    前記情報処理装置は、新たなネットワークアドレスを取得し、取得したネットワークアドレスを含む変更パケットを前記情報処理装置に接続されたネットワークに同時通報し、
    前記画像処理装置は、前記画像処理装置に設定されたネットワークアドレスを前記情報処理装置から受信した変更パケットに含まれるネットワークアドレスに変更する、
    画像処理システム。
  2. 前記画像処理装置は、当該画像処理装置のネットワークアドレスを前記探索応答パケットに含め、
    前記情報処理装置は、前記ネットワークアドレスを前記撮像装置の情報と対応付けて表示する請求項に記載の画像処理システム。
  3. 前記情報処理装置は、当該情報処理装置と同一のサブネットに属し、未使用のネットワークアドレスを前記新たなネットワークアドレスと定める請求項1又は請求項2に記載の画像処理システム。
  4. 前記画像処理装置は、前記情報処理装置と同一のサブネットに属する場合には、前記探索応答パケットに送信先のネットワークアドレスとして前記情報処理装置のネットワークアドレスを含める請求項から請求項のいずれかの画像処理システム。
  5. ロボットと、
    撮像画像を処理する画像処理装置と、
    前記画像処理装置の設定を行う画面を表示する情報処理装置と、前記画像処理装置の処理結果に基づいて前記ロボットの動作を制御する制御装置とを含み、
    前記画像処理装置は、前記画像処理装置と通信可能な撮像装置を探索し、
    前記情報処理装置は、前記画像処理装置によって探索された通信可能な前記撮像装置の情報を表示
    前記情報処理装置は、送信先の機器に設定された情報を照会するためのコマンドを含む探索パケットを前記情報処理装置に接続されたネットワークに同時通報し、
    前記画像処理装置は、前記探索パケットを前記情報処理装置から受信したとき、探索された通信可能な前記撮像装置の情報を含む探索応答パケットを前記ネットワークに同時通報し、
    前記情報処理装置は、新たなネットワークアドレスを取得し、取得したネットワークアドレスを含む変更パケットを前記情報処理装置に接続されたネットワークに同時通報し、
    前記画像処理装置は、前記画像処理装置に設定されたネットワークアドレスを前記情報処理装置から受信した変更パケットに含まれるネットワークアドレスに変更する、
    ロボットシステム。
JP2014188036A 2014-09-16 2014-09-16 画像処理システム及びロボットシステム Active JP6398509B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2014188036A JP6398509B2 (ja) 2014-09-16 2014-09-16 画像処理システム及びロボットシステム
CN201510578893.2A CN105430255A (zh) 2014-09-16 2015-09-11 图像处理装置以及机器人系统
EP15185232.4A EP2998079B1 (en) 2014-09-16 2015-09-15 Image processing apparatus, robot system and method for processing an image
US14/854,499 US10127622B2 (en) 2014-09-16 2015-09-15 Image processing apparatus and robot system
US16/157,840 US20190043150A1 (en) 2014-09-16 2018-10-11 Image Processing Apparatus And Robot System

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014188036A JP6398509B2 (ja) 2014-09-16 2014-09-16 画像処理システム及びロボットシステム

Publications (2)

Publication Number Publication Date
JP2016063306A JP2016063306A (ja) 2016-04-25
JP6398509B2 true JP6398509B2 (ja) 2018-10-03

Family

ID=55798301

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014188036A Active JP6398509B2 (ja) 2014-09-16 2014-09-16 画像処理システム及びロボットシステム

Country Status (1)

Country Link
JP (1) JP6398509B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020025992A (ja) * 2018-08-09 2020-02-20 株式会社東芝 制御装置、制御方法、およびプログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007043390A (ja) * 2005-08-02 2007-02-15 Toshiba Corp 映像配信システム及びその方法
JP2009218933A (ja) * 2008-03-11 2009-09-24 Seiko Epson Corp スマートカメラ及びロボットビジョンシステム
JP5645685B2 (ja) * 2011-01-28 2014-12-24 株式会社日立国際電気 ネットワークシステム、ネットワーク機器、および、ネットワーク情報設定方法
JP5757156B2 (ja) * 2011-05-20 2015-07-29 オムロン株式会社 検出対象物の中心位置を算出する方法、装置およびプログラム
JP5998514B2 (ja) * 2012-02-22 2016-09-28 セイコーエプソン株式会社 撮像装置管理システム、撮像制御装置、コントロール装置およびロボット

Also Published As

Publication number Publication date
JP2016063306A (ja) 2016-04-25

Similar Documents

Publication Publication Date Title
US20190043150A1 (en) Image Processing Apparatus And Robot System
US7489900B2 (en) Communication system, communication terminal, and communication method
JP6614763B2 (ja) 情報処理装置、情報処理装置の制御方法及びプログラム
JP4508981B2 (ja) モニタディスプレイ装置及びそれを用いた監視システム
EP3291509B1 (en) Information processing device and non-transitory recording medium
JP2006318329A (ja) 通信システム、通信方法、通信プログラムおよび記録媒体、遠隔制御装置、コマンドセット格納装置、ならびに、電子または電気機器
CN110580004B (zh) 远程管理装置以及远程管理方法
JP2011120119A (ja) システム、システム構築方法、管理端末、プログラム
US20210336924A1 (en) Device management apparatus, device management system, and device management method
JP2013118533A (ja) 撮像装置
JP6398509B2 (ja) 画像処理システム及びロボットシステム
JP6482726B2 (ja) 管理装置及び管理方法
JP6998785B2 (ja) 電子機器およびその制御方法
JP6375810B2 (ja) 画像処理装置、及びロボットシステム
CN105391749A (zh) 一种物联网中设备的联网系统和显示方法
JP6597976B2 (ja) 周辺デバイス中継装置、および画像表示システム
WO2011039836A1 (ja) 無線lan装置および無線通信方法
JP2019169905A (ja) 通信システム、表示装置、電子機器、及び、通信方法
JP7557727B2 (ja) 照明システムおよび照明システムのマッピング設定方法
JP6859636B2 (ja) 機器、及び通信システム
JP2018170742A (ja) 多波長撮影カメラシステム、多波長撮影カメラの撮影方法、画像処理装置、画像処理方法およびプログラム
JP6821369B2 (ja) 通信装置、その制御方法、およびプログラム
JP2009071366A (ja) 映像表示装置およびその信号処理方法
JP6398275B2 (ja) 機器制御装置、機器制御方法、および、機器制御システム
JP2016220067A (ja) 情報処理装置、接続制御方法およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170310

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171211

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180402

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180807

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180820

R150 Certificate of patent or registration of utility model

Ref document number: 6398509

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150