JP7631076B2 - 情報処理装置及び情報処理プログラム - Google Patents

情報処理装置及び情報処理プログラム Download PDF

Info

Publication number
JP7631076B2
JP7631076B2 JP2021063534A JP2021063534A JP7631076B2 JP 7631076 B2 JP7631076 B2 JP 7631076B2 JP 2021063534 A JP2021063534 A JP 2021063534A JP 2021063534 A JP2021063534 A JP 2021063534A JP 7631076 B2 JP7631076 B2 JP 7631076B2
Authority
JP
Japan
Prior art keywords
information processing
processor
determination unit
predetermined
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021063534A
Other languages
English (en)
Other versions
JP2022158552A (ja
Inventor
拓也 関戸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Tec Corp
Original Assignee
Toshiba Tec Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Tec Corp filed Critical Toshiba Tec Corp
Priority to JP2021063534A priority Critical patent/JP7631076B2/ja
Priority to US17/685,416 priority patent/US12236632B2/en
Publication of JP2022158552A publication Critical patent/JP2022158552A/ja
Application granted granted Critical
Publication of JP7631076B2 publication Critical patent/JP7631076B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014Hand-worn input/output arrangements, e.g. data gloves
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/22Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/225Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on a marking or identifier characterising the area
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • G06T2207/10021Stereoscopic video; Stereoscopic image sequence
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)
  • Alarm Systems (AREA)
  • General Factory Administration (AREA)

Description

本発明の実施形態は、情報処理装置及び情報処理プログラムに関する。
製造ラインなどにおける作業者の作業を監視する監視システムは、種々提案されている。
しかしながら、多数のセンサを設ける必要があったり、複雑な情報処理を行う必要があったりと、容易に実施することは困難なシステムとなっていた。
このような事情から、作業者による作業を簡易に監視できることが望まれていた。
特開2012-560765号公報
本発明が解決しようとする課題は、作業者による作業を簡易に監視することを可能とする情報処理装置及び情報処理プログラムを提供することである。
実施形態の情報処理装置は、検出部、第1の判定部及び第2の判定部を備える。検出部は、予め定められた撮影空間をカメラによって撮影して得られた画像に映り込んだマーカを検出する。第1の判定部は、検出部により検出されたマーカまでのカメラからの距離を判定する。第2の判定部は、第1の判定部で判定された距離を考慮して、検出部により検出されたマーカに対する予め定められた相対的位置に仮想されるオブジェクトと、予め定められた配置空間とが予め定められた位置関係となった場合に、配置空間に配置された物体に関する作業を、検出部により検出されたマーカが取り付けられている作業者による作業として判定する。第2の判定部は、物体として部品が配置される配置空間とオブジェクトが予め定められた位置関係となった場合に、部品に関する作業を作業者による作業として判定する。
一実施形態に係る監視システムの外観を示す斜視図。 図1に示される情報処理装置の要部回路構成を示すブロック図。 図2に示される部品箱データベースに含まれるデータレコードの構成を模式的に示す図。 図2に示されるプロセッサによる監視処理のフローチャート。 仮想球体を決定する処理を説明するための図。 オブジェクトの変形例を説明するための図。
以下、実施の形態の一例について図面を用いて説明する。なお、本実施の形態では、部品棚に置かれた部品箱から予め定められた順序で部品を取り出して行われる作業を監視する監視システムを例に説明する。
図1は本実施形態に係る監視システム100の外観を示す斜視図である。
監視システム100は、部品棚200に設けられている。
部品棚200は、一面を開口した中空の直方体をなす。部品棚200は、複数の棚板201及び支持部材202を含む。なお、以下においては、部品棚200の開口された一面を、部品棚200の前面と称し、部品棚200からみて前面の方向を前方と称する。
棚板201は、部品棚200の内部空間に設けられている。棚板201の数及び位置は任意であるが、図1では3つとした例を示す。棚板201上には、図示のように複数の部品箱300が配置される。部品箱300は、それぞれに部品を収容する。複数の部品箱300が収容している部品は、一般的にはそれぞれ異なる。部品箱300はそれぞれ、配置場所が予め決められている。
支持部材202は、門型をなし、上方に突出する状態で部品棚200の天板外面に取り付けられている。
監視システム100は、情報処理装置1、カメラユニット2、表示ユニット3及びスピーカユニット4を含む。
情報処理装置1は、部品箱300に収容されている部品を用いて予め定められた作業を行う作業者を監視するための情報処理を実行する。情報処理装置1は、部品棚200の天板上に載置されている。しかしながら情報処理装置1は、部品棚200の下方の内部空間内などの部品棚200内の任意の位置に載置されてもよいし、又は部品棚200の側壁の外側などに取り付けられてもよい。さらに情報処理装置1は、部品棚200が載置された床上、あるいは部品棚200が設置されているのとは別の部屋など、部品棚200とは無関係な任意の場所に設置されてもよい。
カメラユニット2は、支持部材202に取り付けられている。カメラユニット2は、部品棚200の前方に予め定められた撮影領域を俯瞰撮影する。またカメラユニット2は、撮影領域内に位置している物体までの距離を計測する。カメラユニット2は、例えばTOF(time of flight)カメラ又はステレオカメラ等、被写体までの距離を計測するのに適するカメラデバイスを備える。あるいはカメラユニット2は、距離計測機能を備えない一般的なカメラデバイスと、当該カメラデバイスとは別の距離センサとを含んでいてもよい。カメラユニット2は、撮影領域を撮影可能であれば、その設置形態は任意であってよい。例えばカメラユニット2は、部品棚200が設置されている部屋の天井に取り付けられてもよい。
表示ユニット3は、作業者に対する各種情報の通知のための画面を表示する。表示ユニット3は、例えば液晶ディスプレイ及びランプなどの種々の表示デバイスを含み得る。表示ユニット3は、画面を作業者が視認容易とする状態で、部品棚200の天板上に載置されている。しかしながら表示ユニット3は、部品棚200の側壁の外側などに取り付けられてもよい。さらに表示ユニット3は、部品棚200が載置された部屋の壁に取り付けられたり、同部屋の天井からつり下げられたりするなど、部品棚200とは別の任意の場所に設置されてもよい。
スピーカユニット4は、作業者に対する各種情報の通知のための各種の音を出力する。スピーカユニット4は、出力した音を作業者が聴取容易とする状態で、支持部材202に取り付けられている。しかしながらスピーカユニット4は、部品棚200の側壁の外側などに取り付けられてもよい。さらにスピーカユニット4は、部品棚200が載置された部屋の壁に取り付けられたり、同部屋の天井からつり下げられたりするなど、部品棚200とは別の任意の場所に設置されてもよい。
図2は情報処理装置1の要部回路構成を示すブロック図である。図2において、図1に示されるのと同一の要素については、同一の符号を付している。
情報処理装置1は、プロセッサ11、メインメモリ12、補助記憶ユニット13、インタフェースユニット14及び伝送路15を含む。
プロセッサ11と、メインメモリ12、補助記憶ユニット13及びインタフェースユニット14とは、伝送路15を介して通信可能とされている。プロセッサ11、メインメモリ12及び補助記憶ユニット13が伝送路15により接続されていることによって、情報処理装置1を制御するためのコンピュータが構成される。
プロセッサ11は、上記コンピュータの中枢部分に相当する。プロセッサ11は、オペレーティングシステム及びアプリケーションプログラム等の情報処理プログラムに従って、情報処理装置1としての各種の機能を実現するための情報処理を実行する。プロセッサ11は、例えばCPU(central processing unit)である。
メインメモリ12は、上記コンピュータの主記憶部分に相当する。メインメモリ12は、不揮発性のメモリ領域と揮発性のメモリ領域とを含む。メインメモリ12は、不揮発性のメモリ領域では上記の情報処理プログラムを記憶する。メインメモリ12は、プロセッサ11が情報処理を実行する上で必要なデータを不揮発性又は揮発性のメモリ領域で記憶する場合もある。メインメモリ12は、揮発性のメモリ領域を、プロセッサ11によってデータが適宜書き換えられるワークエリアとして使用する。不揮発性のメモリ領域は、例えばROM(read only memory)である。揮発性のメモリ領域は、例えばRAM(random access memory)である。
補助記憶ユニット13は、上記コンピュータの補助記憶部分に相当する。補助記憶ユニット13としては、例えばEEPROM(electric erasable programmable read-only memory)、HDD(hard disc drive)、あるいはSSD(solid state drive)等の周知の記憶デバイスを用いた記憶ユニットを利用できる。補助記憶ユニット13は、プロセッサ11が各種の処理を行う上で使用するデータ、あるいはプロセッサ11での処理によって作成されたデータ等を保存する。補助記憶ユニット13は、上記の情報処理プログラムを記憶する場合もある。
インタフェースユニット14には、カメラユニット2、表示ユニット3及びスピーカユニット4がそれぞれ接続される。インタフェースユニット14は、プロセッサ11とカメラユニット2、表示ユニット3及びスピーカユニット4との間でのデータの授受をインタフェースする。インタフェースユニット14としては、例えばUSB(universal serial bus)ボードなどの種々のインタフェースボードのような周知のデバイスを用いることができる。インタフェースユニット14は、複数が設けられてもよい。
伝送路15は、アドレスバス、データバス及び制御信号線等を含み、接続された各部の間で授受されるデータ及び制御信号を伝送する。
なお補助記憶ユニット13は、情報処理プログラムの1つである監視プログラムPRAを記憶する。監視プログラムPRAは、アプリケーションプログラムであり、情報処理装置1としての機能を実現するための後述する情報処理について記述されている。また補助記憶ユニット13は、その記憶領域の一部が部品箱データベースDAAの記憶領域として用いられる。部品箱データベースDAAは、複数の部品箱300のそれぞれを管理するためのデータベースである。
図3は部品箱データベースDAAに含まれるデータレコードREAの構成を模式的に示す図である。
部品箱データベースDAAは、複数の部品箱300にそれぞれ関連付けられた複数のデータレコードREAの集合である。データレコードREAは、フィールドFEA,FEB,FECを含む。フィールドFEAには、関連付けられた部品箱300の識別子としての箱番号がセットされる。フィールドFEBには、関連付けられた部品箱300に関する部品の配置空間を表す領域データがセットされる。フィールドFECには、関連付けられた部品箱300に収容される部品の識別子としての部品コードがセットされる。
情報処理装置1のハードウェアとしては、例えば汎用のコンピュータ装置を用いることができる。そして情報処理装置1の譲渡は一般に、補助記憶ユニット13に監視プログラムPRAが記憶されない状態のハードウェアと、監視プログラムPRAとが別々の状態にて行われる。そしてこの場合は、任意の作業者の操作に応じて、補助記憶ユニット13に監視プログラムPRAが書き込まれることによって、情報処理装置1が構成される。なお情報処理装置1の譲渡は、補助記憶ユニット13に監視プログラムPRAが記憶された状態にて行われてもよい。監視プログラムPRAの譲渡は、磁気ディスク、光磁気ディスク、光ディスク、半導体メモリなどのようなリムーバブルな記録媒体に記録して、あるいはネットワークを介した通信により行うことができる。監視プログラムPRAは、メインメモリ12に記憶されてもよい。
次に以上のように構成された監視システム100の動作について説明する。
作業者は、部品棚200の前方に位置し、部品箱300から予め定められた順序で部品を取り出しつつ、当該部品を用いて例えば製品の組み立てなどの作業を行う。複数の部品箱300には、それぞれに箱番号が割り振られ、部品箱300の大きさ、どの部品箱300にどの部品を収容するか、あるいは部品棚200での部品箱300のそれぞれの位置は、予め定められる。そして部品箱データベースDAAがこれら予め定められた環境に応じた内容に、例えば監視システムの管理者などによって適宜に定められる。なお、データレコードREAのフィールドFEBにセットされる領域データが表す配置空間は、例えば関連付けられた部品箱300の内部の部品の収容空間に相当する領域として定められる。そして領域データは、配置空間が、部品棚200及びその周辺の三次元空間内のどの領域であるかを表したデータとして定められる。ただし領域データは、部品箱300が三次元空間内のどの領域を占めるかを表すデータとするなど、部品の収容場所の大まかな位置を特定できるデータであれば、どのようなデータであってもよい。
作業者は、カメラユニット2による撮影画像に映り込むようなマーカが取り付けられたバンドを手首に装着した状態で作業を行う。マーカは、矩形状をなし、4つの角のうちの第1の角、第2の角及び第3の角を画像処理により識別可能とするように構成されている。作業者は、マーカの第1の角及び第2の角が、第3の角及びもう1つの角よりも手先側に位置するようにバンドを装着する。
監視システム100が作業者の作業を監視する状態にあるとき、カメラユニット2は、撮影領域を撮影する。当該の撮影は、典型的には動画の撮影とすればよいが、静止画の繰り返しの撮影であっても構わない。
情報処理装置1にてプロセッサ11は、予め定められた開始タイミングが到来する毎に、監視プログラムPRAに基づく情報処理(以下監視処理と称する)を開始する。開始タイミングは、例えばカメラユニット2のフレームレート毎のタイミングとすることが想定される。しかしながら開始タイミングは、監視プログラムPRAの作成者又は監視システム100の管理者などにより任意に定められてよい。
図4はプロセッサ11による監視処理のフローチャートである。なお、以下に説明する処理の内容は一例であって、一部の処理の順序の変更、一部の処理の省略、あるいは別の処理の追加などは適宜に可能である。
ACT11としてプロセッサ11は、カメラユニット2の出力データを取得する。カメラユニット2は、動画撮影をしている場合は、予め定められたフレームレートで撮影を行い、この結果として得られるフレームデータを出力する。またカメラユニット2は、撮影領域内に存在している物体までの距離を、フレーム領域内の複数の計測点に関して計測し、この結果として得られる計測データを出力する。そこでプロセッサ11は、カメラユニット2が出力する最新のフレームデータ及び計測データを取得する。プロセッサ11は、取得したフレームデータ及び計測データをメインメモリ12又は補助記憶ユニット13に保存する。
ACT12としてプロセッサ11は、ACT11で取得したフレームデータが表す画像に映り込んでいるマーカを検出する。プロセッサ11は、該当の画像の中から、マーカの特徴が現れている領域の抽出を試みる。上記の画像にマーカが映り込んでいるならば、プロセッサ11は該当のマーカが映り込んでいる領域をマーカとして検出する。かくして監視プログラムPRAに基づく情報処理をプロセッサ11が実行することによって、プロセッサ11を中枢部分とするコンピュータは検出部として機能する。
ACT13としてプロセッサ11は、マーカの検出に成功したか否かを確認する。そしてプロセッサ11は、ACT12にてマーカを検出できたならばYESと判定し、ACT14へと進む。
ACT14としてプロセッサ11は、部品棚200内及びその周囲の三次元領域(以下、監視領域と称する)の中に球状の領域を決定する。つまりプロセッサ11は、監視領域内に存在する球体を仮想する。以下、この球体を仮想球体と称する。仮想球体は、仮想されたオブジェクトの一例である。
図5は仮想球体を決定する処理を説明するための図である。
図5は、作業者の手と、作業者に装着されたベルトBEAと、ベルトBEAに取り付けられたマーカMAAとが画像に映り込んでいる様子の一例を示している。ただし、作業者の手及びベルトBEAは参考として図示しており、プロセッサ11が処理の対象とするオブジェクトではない。
仮想球体を決定するためのプロセッサ11の具体的な処理は、一例としては以下の通りである。
プロセッサ11はまず、マーカMAAの第1の角、第2の角及び第3の角の画像内での位置POA,POB,POCを求める。そしてプロセッサ11は、位置POCを基準とした位置POAの方向を手先方向として判定する。つまりプロセッサ11は、図5中の矢印ARAの方向を手先方向として判定する。次にプロセッサ11は、位置POAと位置POBとの中点の位置PODから手先方向に規定距離DIAだけ離れた位置として、仮想球体の中心の水平面内での位置POEを決定する。プロセッサ11は、ACT11で取得した計測データに基づいてマーカMAAまでのカメラユニット2からの距離(以下、撮影距離と称する)を判定する。なおプロセッサ11は例えば、ACT11で取得した計測データに示される複数の計測点の計測値のうちから、マーカMAAが検出された領域内の計測点に関する計測値を選び出し、当該計測値が表す距離を撮影距離として判定する。かくして監視プログラムPRAに基づく情報処理をプロセッサ11が実行することによって、プロセッサ11を中枢部分とするコンピュータは第1の判定部として機能する。
そしてプロセッサ11は例えば、判定した撮影距離に応じて規定距離DIAを変更する。撮影距離と規定距離DIAとの関係は、撮影距離が大きい程に規定距離DIAが小さくなるように、例えば監視プログラムPRAの作成者などによって予め定められる。ただし、カメラユニット2の光学的な特性などを考慮して監視プログラムPRAの作成者などによって予め定められた数式を用いて、撮影距離に応じた規定距離DIAをプロセッサ11が算出するのでもよい。さらにプロセッサ11は、位置POEと撮影距離とに基づいて、中心の三次元位置を決定し、当該位置を中心とした球体を仮想球体SPAとして決定する。プロセッサ11は、撮影距離に応じて仮想球体SPAの大きさを変更する。撮影距離と仮想球体SPAの大きさとの関係は、撮影距離が大きい程に仮想球体SPAが小さくなるように、例えば監視プログラムPRAの作成者などによって予め定められる。ただし、カメラユニット2の光学的な特性などを考慮して監視プログラムPRAの作成者などによって予め定められた数式を用いて、撮影距離に応じた仮想球体SPAの大きさをプロセッサ11が算出するのでもよい。
ACT15としてプロセッサ11は、部品箱300のいずれかに関する配置空間に仮想球体SPAが接触しているか否かを確認する。この確認には、例えばオブジェクトどうしの衝突判定のための周知のアルゴリズムを用いることができる。プロセッサ11は例えば、部品箱データベースDAAに含まれるデータレコードREAの1つを選択し、そのフィールドFEBにセットされている領域データが表す配置空間に仮想球体SPAの一部が重複するか否かを確認する。そしてプロセッサ11は例えば、重複が確認できるまで、選択するデータレコードREAを順次に変更しながら、上記の確認を繰り返し、重複が確認できたならば接触しているとしてYESと判定し、ACT16へと進む。
ACT16としてプロセッサ11は、作業者による作業を判定する。プロセッサ11は例えば、仮想球体SPAの一部が重複したことを確認した際に選択していたデータレコードREAのフィールドFECにセットされている部品コードで識別される部品を用いる作業として作業者による作業を判定する。かくして監視プログラムPRAに基づく情報処理をプロセッサ11が実行することによって、プロセッサ11を中枢部分とするコンピュータは第2の判定部として機能する。
ACT17としてプロセッサ11は、上記のように判定した作業が現状での正規の作業であるか否かを確認する。プロセッサ11は例えば、作業者が実施した作業を経時的に記録した履歴データと、作業者が行うべき作業の予定を表したスケジュールデータとを参照して、作業者が現状で行うべき作業を判定し、その作業とACT16で判定した作業とが一致しないならば、正規作業ではないとしてNOと判定し、ACT18へと進む。ただし、ここでプロセッサ11がどのような条件の下に正規作業であると判定するかについては、例えば監視プログラムPRAの作成者などによって適宜に定められてよい。なお、履歴データ及びスケジュールデータは、例えばメインメモリ12又は補助記憶ユニット13に保存される。ただし履歴データ及びスケジュールデータは、例えばLAN(local area network)などの通信ネットワークを介して通信可能とされた別のサーバ装置などに設けられた記憶デバイスに記憶されてもよい。
ACT18としてプロセッサ11は、警報動作を実行する。プロセッサ11は例えば、予め定められた警報画面を表示ユニット3に表示させる。プロセッサ11は例えば、表示ユニット3に備えられたランプを点滅させる。プロセッサ11は例えば、予め定められた警報音をスピーカユニット4から出力させる。プロセッサ11は例えば、予め定められた音声メッセージをスピーカユニット4から出力させる。プロセッサ11は、警報を作業者に知覚させることができる他の様々な動作を警報動作として実行してもよい。プロセッサ11は、これらの警報動作の1つのみを実行するのでもよいし、複数を同時又は時差的に実行するのでもよい。そしてプロセッサ11は、終了条件が成立したならば、警報動作を停止した上でACT19へと進む。終了条件は、例えば監視プログラムPRAの作成者又は監視システム100の管理者などにより適宜に定められてよい。終了条件は例えば、警報動作の継続時間が規定時間に到達した場合とすることが想定される。終了条件は例えば、作業者により予め定められた動作が行われた場合とすることが想定される。
なおプロセッサ11は、ACT12にてマーカを検出できなかった場合にはACT13にてNOと判定し、ACT19へと進む。プロセッサ11は、ACT15にて、部品箱データベースDAAに含まれるデータレコードREAの全てを選択しても重複が確認できなかった場合には、接触していないとしてNOと判定し、ACT19へと進む。プロセッサ11は、ACT17にて、作業者が現状で行うべき作業とACT16で判定した作業とが一致するならば、正規作業であるとしてYESと判定し、ACT19へと進む。なおプロセッサ11はこれらの場合は、ACT18をパスし、警報動作は行わない。
ACT19としてプロセッサ11は、今回の作業者の行為を表すデータを追加するように履歴データを更新する。そしてプロセッサ11は、監視処理を終了する。
以上のように情報処理装置1によれば、撮影画像に基づくオブジェクトの仮想と、当該オブジェクトと配置空間との位置関係の確認とにより作業を監視することができ、簡易な情報処理により実現できる。
また情報処理装置1によれば、オブジェクトを球状の領域としての仮想球体SPAとしているので、オブジェクトの決定の情報処理は簡易でありながら、作業者の手の大まかな位置を把握しての作業監視が可能である。
また情報処理装置1によれば、オブジェクトと配置空間との接触を検知した場合に、当該配置空間に配置されている部品を用いる作業を作業者が行う作業である判定するので、作業に関わる作業者の実際の行動に基づいてその作業を判定するような場合に比べて簡易な情報処理により実現できる。
この実施形態は、次のような種々の変形実施が可能である。
仮想されたオブジェクトは、球体には限らず、他の任意の形状のオブジェクトであってよい。
図6はオブジェクトの仮想についての変形例を説明する図である。
この変形例では、レイRAA,RABが仮想されたオブジェクトである。レイRAAは、位置PODを一端とし、手先方向に延びる規定長さの直線として仮想される。レイRABは、位置PODを一端とし、手先方向に対して予め定められた傾きを持った方向に延びる規定長さの直線として仮想される。
そしてプロセッサ11は例えば、レイRAA,RABのそれぞれの先端と配置空間との接触状況に応じて作業者の作業を判定すればよい。
プロセッサ11は、配置空間までの仮想球体SPAの離間距離が予め定められた距離よりも小さくなったとき、予め定められた位置関係となったと判定するなど、予め定められた位置関係は適宜に変更が可能である。
配置空間に対し、当該配置空間に手を差し入れる際に手が通過する平面を関連付けておき、プロセッサ11は、当該平面とオブジェクトとの接触に応じて、当該平面が関連付けられた配置空間に配置された部品に関する作業を作業者の作業として判定するなどのように、オブジェクトと配置空間とが予め定められた位置関係となったことを判定するための処理は適宜に変更が可能である。
プロセッサ11は、工具が配置される空間として定められた配置空間と前記オブジェクトが予め定められた位置関係となった場合に、該当の工具を用いた作業を作業者による作業として判定するなど、判定対象の作業は適宜に変更が可能である。
情報処理によりプロセッサ11が実現する各機能は、その一部又は全てをロジック回路などのようなプログラムに基づかない情報処理を実行するハードウェアにより実現することも可能である。また上記の各機能のそれぞれは、上記のロジック回路などのハードウェアにソフトウェア制御を組み合わせて実現することも可能である。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
以下に、本願の当初の特許請求の範囲に記載された発明を付記する。
[付記1] 予め定められた撮影空間をカメラによって撮影して得られた画像に映り込んだマーカを検出する検出部と、
前記検出部により検出されたマーカまでの前記カメラからの距離を判定する第1の判定部と、
前記第1の判定部で判定された距離を考慮して、前記検出部により検出されたマーカに対する予め定められた相対的位置に仮想されるオブジェクトと、予め定められた配置空間とが予め定められた位置関係となった場合に、前記配置空間に配置された物体に関する作業を、前記検出部により検出されたマーカが取り付けられている作業者による作業として判定する第2の判定部と、
を具備した情報処理装置。
[付記2] 前記第2の判定部は、前記検出部により検出されたマーカの位置により定まる中心位置と、前記第1の判定部により判定された距離に応じた大きさとを持った球状の領域として前記オブジェクトを仮想する、
付記1に記載の情報処理装置。
[付記3] 前記第2の判定部は、前記オブジェクトと前記配置空間との接触を検知し、この検知をもって予め定められた位置関係となったとする、
付記1又は付記2に記載の情報処理装置。
[付記4] 前記第2の判定部は、物体として部品が配置される前記配置空間と前記オブジェクトが予め定められた位置関係となった場合に、前記部品に関する作業を作業者による作業として判定する、
付記1~付記3のいずれか一項に記載の情報処理装置。
[付記5] コンピュータを、
予め定められた撮影空間をカメラによって撮影して得られた画像に映り込んだマーカを検出する検出部と、
前記検出部により検出されたマーカまでの前記カメラからの距離を判定する第1の判定部と、
前記第1の判定部で判定された距離を考慮して、前記検出部により検出されたマーカに対する予め定められた相対的位置に仮想されるオブジェクトと、予め定められた配置空間とが予め定められた位置関係となった場合に、前記配置空間に配置された物体を、前記検出部により検出されたマーカが取り付けられている作業者による作業対象として判定する第2の判定部と、
して機能させるための情報処理プログラム。
1…情報処理装置、2…カメラユニット、3…表示ユニット、4…スピーカユニット、11…プロセッサ、12…メインメモリ、13…補助記憶ユニット、14…インタフェースユニット、15…伝送路、100…監視システム、200…部品棚、201…棚板、202…支持部材、300…部品箱。

Claims (4)

  1. 予め定められた撮影空間をカメラによって撮影して得られた画像に映り込んだマーカを検出する検出部と、
    前記検出部により検出されたマーカまでの前記カメラからの距離を判定する第1の判定部と、
    前記第1の判定部で判定された距離を考慮して、前記検出部により検出されたマーカに対する予め定められた相対的位置に仮想されるオブジェクトと、予め定められた配置空間とが予め定められた位置関係となった場合に、前記配置空間に配置された物体に関する作業を、前記検出部により検出されたマーカが取り付けられている作業者による作業として判定する第2の判定部と、
    を具備し
    前記第2の判定部は、物体として部品が配置される前記配置空間と前記オブジェクトが前記予め定められた位置関係となった場合に、前記部品に関する作業を作業者による作業として判定する、
    情報処理装置。
  2. 前記第2の判定部は、前記検出部により検出されたマーカの位置により定まる中心位置と、前記第1の判定部により判定された距離に応じた大きさとを持った球状の領域として前記オブジェクトを仮想する、
    請求項1に記載の情報処理装置。
  3. 前記第2の判定部は、前記オブジェクトと前記配置空間との接触を検知し、この検知をもって前記予め定められた位置関係となったとする、
    請求項1又は請求項2に記載の情報処理装置。
  4. コンピュータを、
    予め定められた撮影空間をカメラによって撮影して得られた画像に映り込んだマーカを検出する検出部と、
    前記検出部により検出されたマーカまでの前記カメラからの距離を判定する第1の判定部と、
    前記第1の判定部で判定された距離を考慮して、前記検出部により検出されたマーカに対する予め定められた相対的位置に仮想されるオブジェクトと、予め定められた配置空間とが予め定められた位置関係となった場合に、前記配置空間に配置された物体を、前記検出部により検出されたマーカが取り付けられている作業者による作業対象として判定する第2の判定部と、
    して機能させ
    前記第2の判定部としては、物体として部品が配置される前記配置空間と前記オブジェクトが前記予め定められた位置関係となった場合に、前記部品に関する作業を作業者による作業として判定させる、
    情報処理プログラム。
JP2021063534A 2021-04-02 2021-04-02 情報処理装置及び情報処理プログラム Active JP7631076B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021063534A JP7631076B2 (ja) 2021-04-02 2021-04-02 情報処理装置及び情報処理プログラム
US17/685,416 US12236632B2 (en) 2021-04-02 2022-03-03 Information processing apparatus and information processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021063534A JP7631076B2 (ja) 2021-04-02 2021-04-02 情報処理装置及び情報処理プログラム

Publications (2)

Publication Number Publication Date
JP2022158552A JP2022158552A (ja) 2022-10-17
JP7631076B2 true JP7631076B2 (ja) 2025-02-18

Family

ID=83450010

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021063534A Active JP7631076B2 (ja) 2021-04-02 2021-04-02 情報処理装置及び情報処理プログラム

Country Status (2)

Country Link
US (1) US12236632B2 (ja)
JP (1) JP7631076B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN119998720A (zh) 2022-09-30 2025-05-13 住友电木株式会社 电致变色片、层叠体、眼镜用透镜及眼镜

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012058968A (ja) 2010-09-08 2012-03-22 Namco Bandai Games Inc プログラム、情報記憶媒体及び画像生成システム
JP2020201634A (ja) 2019-06-07 2020-12-17 マツダ株式会社 映像処理方法、映像処理装置、映像処理プログラム及び映像処理プログラムを記録した記録媒体

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120062725A1 (en) * 2010-09-10 2012-03-15 Gm Global Technology Operations, Inc. System for error-proofing manual assembly operations using machine vision
US10203762B2 (en) * 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
JP2017111722A (ja) 2015-12-18 2017-06-22 株式会社ブリリアントサービス ヘッドマウントディスプレイ、ヘッドマウントディスプレイの表示方法、およびヘッドマウントディスプレイのプログラム
DE102016120132A1 (de) * 2016-10-21 2018-04-26 Trumpf Werkzeugmaschinen Gmbh + Co. Kg Werkstücksammelstelleneinheit und Verfahren zur Unterstützung der Bearbeitung von Werkstücken
US10593101B1 (en) * 2017-11-01 2020-03-17 Facebook Technologies, Llc Marker based tracking
JP7209333B2 (ja) * 2018-09-10 2023-01-20 国立大学法人 東京大学 関節位置の取得方法及び装置、動作の取得方法及び装置
JP7171359B2 (ja) 2018-10-17 2022-11-15 株式会社日立製作所 作業情報管理システム及びウェアラブルセンサ
JP7139289B2 (ja) 2019-06-21 2022-09-20 株式会社日立製作所 作業内容検出判定装置、作業内容検出判定システム、及びウェアラブルセンサ内蔵手袋
WO2022035820A1 (en) * 2020-08-12 2022-02-17 The Esab Group Inc. Monitoring system employing smart gloves to analyze operator fabrication activities

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012058968A (ja) 2010-09-08 2012-03-22 Namco Bandai Games Inc プログラム、情報記憶媒体及び画像生成システム
JP2020201634A (ja) 2019-06-07 2020-12-17 マツダ株式会社 映像処理方法、映像処理装置、映像処理プログラム及び映像処理プログラムを記録した記録媒体

Also Published As

Publication number Publication date
US20220319044A1 (en) 2022-10-06
US12236632B2 (en) 2025-02-25
JP2022158552A (ja) 2022-10-17

Similar Documents

Publication Publication Date Title
CN111194548B (zh) 向远程接收方传输实时视觉数据的方法
JP2015079444A5 (ja)
US9684169B2 (en) Image processing apparatus and image processing method for viewpoint determination
US20170201825A1 (en) Active speaker location detection
US9773335B2 (en) Display control device and method
JP7230941B2 (ja) 情報処理装置、制御方法、及びプログラム
US20140089859A1 (en) Equipment control device, operation reception method, and program
JP2015079433A5 (ja)
US20220239892A1 (en) Information processing apparatus, information processing method, and storage medium
WO2009066219A1 (en) Methods and devices for receiving and transmitting an indication of presence
US20240020930A1 (en) Method and apparatus for determining security area, device, and storage medium
JP7631076B2 (ja) 情報処理装置及び情報処理プログラム
JP7043601B2 (ja) 環境モデルを生成するための方法および装置ならびに記憶媒体
JP6730577B2 (ja) 情報処理装置、情報処理システム、その制御方法及びプログラム
EP3925235B1 (en) Multi-sensor object tracking for modifying audio
CN111028270B (zh) 跟踪全景图像中物体越界的方法、装置、终端及存储装置
TWI838917B (zh) 追蹤裝置、方法及其非暫態電腦可讀取記錄媒體
US10936275B2 (en) Asynchronous communications in mixed-reality
CN108957914B (zh) 激光投射模组、深度获取装置和电子设备
US20200320729A1 (en) Information processing apparatus, method of information processing, and information processing system
CN111176445B (zh) 交互装置的识别方法、终端设备及可读存储介质
TWI837861B (zh) 資料處理系統、用於判定座標的方法以及電腦可讀儲存媒體
CN107239333B (zh) 应用切换处理方法和装置
JP4722732B2 (ja) 撮影位置特定システム、撮影位置特定装置及び撮影位置特定方法
US10943102B2 (en) Computer vision system that provides information relative to animal wellness and habitat/intervention design

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20230104

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240328

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20241022

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20241210

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20250107

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20250205

R150 Certificate of patent or registration of utility model

Ref document number: 7631076

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150