JP7631076B2 - 情報処理装置及び情報処理プログラム - Google Patents
情報処理装置及び情報処理プログラム Download PDFInfo
- Publication number
- JP7631076B2 JP7631076B2 JP2021063534A JP2021063534A JP7631076B2 JP 7631076 B2 JP7631076 B2 JP 7631076B2 JP 2021063534 A JP2021063534 A JP 2021063534A JP 2021063534 A JP2021063534 A JP 2021063534A JP 7631076 B2 JP7631076 B2 JP 7631076B2
- Authority
- JP
- Japan
- Prior art keywords
- information processing
- processor
- determination unit
- predetermined
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
- G06V10/225—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on a marking or identifier characterising the area
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
- G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Image Analysis (AREA)
- Alarm Systems (AREA)
- General Factory Administration (AREA)
Description
しかしながら、多数のセンサを設ける必要があったり、複雑な情報処理を行う必要があったりと、容易に実施することは困難なシステムとなっていた。
このような事情から、作業者による作業を簡易に監視できることが望まれていた。
図1は本実施形態に係る監視システム100の外観を示す斜視図である。
部品棚200は、一面を開口した中空の直方体をなす。部品棚200は、複数の棚板201及び支持部材202を含む。なお、以下においては、部品棚200の開口された一面を、部品棚200の前面と称し、部品棚200からみて前面の方向を前方と称する。
棚板201は、部品棚200の内部空間に設けられている。棚板201の数及び位置は任意であるが、図1では3つとした例を示す。棚板201上には、図示のように複数の部品箱300が配置される。部品箱300は、それぞれに部品を収容する。複数の部品箱300が収容している部品は、一般的にはそれぞれ異なる。部品箱300はそれぞれ、配置場所が予め決められている。
支持部材202は、門型をなし、上方に突出する状態で部品棚200の天板外面に取り付けられている。
情報処理装置1は、部品箱300に収容されている部品を用いて予め定められた作業を行う作業者を監視するための情報処理を実行する。情報処理装置1は、部品棚200の天板上に載置されている。しかしながら情報処理装置1は、部品棚200の下方の内部空間内などの部品棚200内の任意の位置に載置されてもよいし、又は部品棚200の側壁の外側などに取り付けられてもよい。さらに情報処理装置1は、部品棚200が載置された床上、あるいは部品棚200が設置されているのとは別の部屋など、部品棚200とは無関係な任意の場所に設置されてもよい。
情報処理装置1は、プロセッサ11、メインメモリ12、補助記憶ユニット13、インタフェースユニット14及び伝送路15を含む。
伝送路15は、アドレスバス、データバス及び制御信号線等を含み、接続された各部の間で授受されるデータ及び制御信号を伝送する。
部品箱データベースDAAは、複数の部品箱300にそれぞれ関連付けられた複数のデータレコードREAの集合である。データレコードREAは、フィールドFEA,FEB,FECを含む。フィールドFEAには、関連付けられた部品箱300の識別子としての箱番号がセットされる。フィールドFEBには、関連付けられた部品箱300に関する部品の配置空間を表す領域データがセットされる。フィールドFECには、関連付けられた部品箱300に収容される部品の識別子としての部品コードがセットされる。
作業者は、部品棚200の前方に位置し、部品箱300から予め定められた順序で部品を取り出しつつ、当該部品を用いて例えば製品の組み立てなどの作業を行う。複数の部品箱300には、それぞれに箱番号が割り振られ、部品箱300の大きさ、どの部品箱300にどの部品を収容するか、あるいは部品棚200での部品箱300のそれぞれの位置は、予め定められる。そして部品箱データベースDAAがこれら予め定められた環境に応じた内容に、例えば監視システムの管理者などによって適宜に定められる。なお、データレコードREAのフィールドFEBにセットされる領域データが表す配置空間は、例えば関連付けられた部品箱300の内部の部品の収容空間に相当する領域として定められる。そして領域データは、配置空間が、部品棚200及びその周辺の三次元空間内のどの領域であるかを表したデータとして定められる。ただし領域データは、部品箱300が三次元空間内のどの領域を占めるかを表すデータとするなど、部品の収容場所の大まかな位置を特定できるデータであれば、どのようなデータであってもよい。
情報処理装置1にてプロセッサ11は、予め定められた開始タイミングが到来する毎に、監視プログラムPRAに基づく情報処理(以下監視処理と称する)を開始する。開始タイミングは、例えばカメラユニット2のフレームレート毎のタイミングとすることが想定される。しかしながら開始タイミングは、監視プログラムPRAの作成者又は監視システム100の管理者などにより任意に定められてよい。
図4はプロセッサ11による監視処理のフローチャートである。なお、以下に説明する処理の内容は一例であって、一部の処理の順序の変更、一部の処理の省略、あるいは別の処理の追加などは適宜に可能である。
ACT14としてプロセッサ11は、部品棚200内及びその周囲の三次元領域(以下、監視領域と称する)の中に球状の領域を決定する。つまりプロセッサ11は、監視領域内に存在する球体を仮想する。以下、この球体を仮想球体と称する。仮想球体は、仮想されたオブジェクトの一例である。
図5は、作業者の手と、作業者に装着されたベルトBEAと、ベルトBEAに取り付けられたマーカMAAとが画像に映り込んでいる様子の一例を示している。ただし、作業者の手及びベルトBEAは参考として図示しており、プロセッサ11が処理の対象とするオブジェクトではない。
プロセッサ11はまず、マーカMAAの第1の角、第2の角及び第3の角の画像内での位置POA,POB,POCを求める。そしてプロセッサ11は、位置POCを基準とした位置POAの方向を手先方向として判定する。つまりプロセッサ11は、図5中の矢印ARAの方向を手先方向として判定する。次にプロセッサ11は、位置POAと位置POBとの中点の位置PODから手先方向に規定距離DIAだけ離れた位置として、仮想球体の中心の水平面内での位置POEを決定する。プロセッサ11は、ACT11で取得した計測データに基づいてマーカMAAまでのカメラユニット2からの距離(以下、撮影距離と称する)を判定する。なおプロセッサ11は例えば、ACT11で取得した計測データに示される複数の計測点の計測値のうちから、マーカMAAが検出された領域内の計測点に関する計測値を選び出し、当該計測値が表す距離を撮影距離として判定する。かくして監視プログラムPRAに基づく情報処理をプロセッサ11が実行することによって、プロセッサ11を中枢部分とするコンピュータは第1の判定部として機能する。
ACT19としてプロセッサ11は、今回の作業者の行為を表すデータを追加するように履歴データを更新する。そしてプロセッサ11は、監視処理を終了する。
仮想されたオブジェクトは、球体には限らず、他の任意の形状のオブジェクトであってよい。
この変形例では、レイRAA,RABが仮想されたオブジェクトである。レイRAAは、位置PODを一端とし、手先方向に延びる規定長さの直線として仮想される。レイRABは、位置PODを一端とし、手先方向に対して予め定められた傾きを持った方向に延びる規定長さの直線として仮想される。
そしてプロセッサ11は例えば、レイRAA,RABのそれぞれの先端と配置空間との接触状況に応じて作業者の作業を判定すればよい。
以下に、本願の当初の特許請求の範囲に記載された発明を付記する。
[付記1] 予め定められた撮影空間をカメラによって撮影して得られた画像に映り込んだマーカを検出する検出部と、
前記検出部により検出されたマーカまでの前記カメラからの距離を判定する第1の判定部と、
前記第1の判定部で判定された距離を考慮して、前記検出部により検出されたマーカに対する予め定められた相対的位置に仮想されるオブジェクトと、予め定められた配置空間とが予め定められた位置関係となった場合に、前記配置空間に配置された物体に関する作業を、前記検出部により検出されたマーカが取り付けられている作業者による作業として判定する第2の判定部と、
を具備した情報処理装置。
[付記2] 前記第2の判定部は、前記検出部により検出されたマーカの位置により定まる中心位置と、前記第1の判定部により判定された距離に応じた大きさとを持った球状の領域として前記オブジェクトを仮想する、
付記1に記載の情報処理装置。
[付記3] 前記第2の判定部は、前記オブジェクトと前記配置空間との接触を検知し、この検知をもって予め定められた位置関係となったとする、
付記1又は付記2に記載の情報処理装置。
[付記4] 前記第2の判定部は、物体として部品が配置される前記配置空間と前記オブジェクトが予め定められた位置関係となった場合に、前記部品に関する作業を作業者による作業として判定する、
付記1~付記3のいずれか一項に記載の情報処理装置。
[付記5] コンピュータを、
予め定められた撮影空間をカメラによって撮影して得られた画像に映り込んだマーカを検出する検出部と、
前記検出部により検出されたマーカまでの前記カメラからの距離を判定する第1の判定部と、
前記第1の判定部で判定された距離を考慮して、前記検出部により検出されたマーカに対する予め定められた相対的位置に仮想されるオブジェクトと、予め定められた配置空間とが予め定められた位置関係となった場合に、前記配置空間に配置された物体を、前記検出部により検出されたマーカが取り付けられている作業者による作業対象として判定する第2の判定部と、
して機能させるための情報処理プログラム。
Claims (4)
- 予め定められた撮影空間をカメラによって撮影して得られた画像に映り込んだマーカを検出する検出部と、
前記検出部により検出されたマーカまでの前記カメラからの距離を判定する第1の判定部と、
前記第1の判定部で判定された距離を考慮して、前記検出部により検出されたマーカに対する予め定められた相対的位置に仮想されるオブジェクトと、予め定められた配置空間とが予め定められた位置関係となった場合に、前記配置空間に配置された物体に関する作業を、前記検出部により検出されたマーカが取り付けられている作業者による作業として判定する第2の判定部と、
を具備し、
前記第2の判定部は、物体として部品が配置される前記配置空間と前記オブジェクトが前記予め定められた位置関係となった場合に、前記部品に関する作業を作業者による作業として判定する、
情報処理装置。 - 前記第2の判定部は、前記検出部により検出されたマーカの位置により定まる中心位置と、前記第1の判定部により判定された距離に応じた大きさとを持った球状の領域として前記オブジェクトを仮想する、
請求項1に記載の情報処理装置。 - 前記第2の判定部は、前記オブジェクトと前記配置空間との接触を検知し、この検知をもって前記予め定められた位置関係となったとする、
請求項1又は請求項2に記載の情報処理装置。 - コンピュータを、
予め定められた撮影空間をカメラによって撮影して得られた画像に映り込んだマーカを検出する検出部と、
前記検出部により検出されたマーカまでの前記カメラからの距離を判定する第1の判定部と、
前記第1の判定部で判定された距離を考慮して、前記検出部により検出されたマーカに対する予め定められた相対的位置に仮想されるオブジェクトと、予め定められた配置空間とが予め定められた位置関係となった場合に、前記配置空間に配置された物体を、前記検出部により検出されたマーカが取り付けられている作業者による作業対象として判定する第2の判定部と、
して機能させ、
前記第2の判定部としては、物体として部品が配置される前記配置空間と前記オブジェクトが前記予め定められた位置関係となった場合に、前記部品に関する作業を作業者による作業として判定させる、
情報処理プログラム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021063534A JP7631076B2 (ja) | 2021-04-02 | 2021-04-02 | 情報処理装置及び情報処理プログラム |
| US17/685,416 US12236632B2 (en) | 2021-04-02 | 2022-03-03 | Information processing apparatus and information processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021063534A JP7631076B2 (ja) | 2021-04-02 | 2021-04-02 | 情報処理装置及び情報処理プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2022158552A JP2022158552A (ja) | 2022-10-17 |
| JP7631076B2 true JP7631076B2 (ja) | 2025-02-18 |
Family
ID=83450010
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021063534A Active JP7631076B2 (ja) | 2021-04-02 | 2021-04-02 | 情報処理装置及び情報処理プログラム |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US12236632B2 (ja) |
| JP (1) | JP7631076B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN119998720A (zh) | 2022-09-30 | 2025-05-13 | 住友电木株式会社 | 电致变色片、层叠体、眼镜用透镜及眼镜 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012058968A (ja) | 2010-09-08 | 2012-03-22 | Namco Bandai Games Inc | プログラム、情報記憶媒体及び画像生成システム |
| JP2020201634A (ja) | 2019-06-07 | 2020-12-17 | マツダ株式会社 | 映像処理方法、映像処理装置、映像処理プログラム及び映像処理プログラムを記録した記録媒体 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120062725A1 (en) * | 2010-09-10 | 2012-03-15 | Gm Global Technology Operations, Inc. | System for error-proofing manual assembly operations using machine vision |
| US10203762B2 (en) * | 2014-03-11 | 2019-02-12 | Magic Leap, Inc. | Methods and systems for creating virtual and augmented reality |
| JP2017111722A (ja) | 2015-12-18 | 2017-06-22 | 株式会社ブリリアントサービス | ヘッドマウントディスプレイ、ヘッドマウントディスプレイの表示方法、およびヘッドマウントディスプレイのプログラム |
| DE102016120132A1 (de) * | 2016-10-21 | 2018-04-26 | Trumpf Werkzeugmaschinen Gmbh + Co. Kg | Werkstücksammelstelleneinheit und Verfahren zur Unterstützung der Bearbeitung von Werkstücken |
| US10593101B1 (en) * | 2017-11-01 | 2020-03-17 | Facebook Technologies, Llc | Marker based tracking |
| JP7209333B2 (ja) * | 2018-09-10 | 2023-01-20 | 国立大学法人 東京大学 | 関節位置の取得方法及び装置、動作の取得方法及び装置 |
| JP7171359B2 (ja) | 2018-10-17 | 2022-11-15 | 株式会社日立製作所 | 作業情報管理システム及びウェアラブルセンサ |
| JP7139289B2 (ja) | 2019-06-21 | 2022-09-20 | 株式会社日立製作所 | 作業内容検出判定装置、作業内容検出判定システム、及びウェアラブルセンサ内蔵手袋 |
| WO2022035820A1 (en) * | 2020-08-12 | 2022-02-17 | The Esab Group Inc. | Monitoring system employing smart gloves to analyze operator fabrication activities |
-
2021
- 2021-04-02 JP JP2021063534A patent/JP7631076B2/ja active Active
-
2022
- 2022-03-03 US US17/685,416 patent/US12236632B2/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012058968A (ja) | 2010-09-08 | 2012-03-22 | Namco Bandai Games Inc | プログラム、情報記憶媒体及び画像生成システム |
| JP2020201634A (ja) | 2019-06-07 | 2020-12-17 | マツダ株式会社 | 映像処理方法、映像処理装置、映像処理プログラム及び映像処理プログラムを記録した記録媒体 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20220319044A1 (en) | 2022-10-06 |
| US12236632B2 (en) | 2025-02-25 |
| JP2022158552A (ja) | 2022-10-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111194548B (zh) | 向远程接收方传输实时视觉数据的方法 | |
| JP2015079444A5 (ja) | ||
| US9684169B2 (en) | Image processing apparatus and image processing method for viewpoint determination | |
| US20170201825A1 (en) | Active speaker location detection | |
| US9773335B2 (en) | Display control device and method | |
| JP7230941B2 (ja) | 情報処理装置、制御方法、及びプログラム | |
| US20140089859A1 (en) | Equipment control device, operation reception method, and program | |
| JP2015079433A5 (ja) | ||
| US20220239892A1 (en) | Information processing apparatus, information processing method, and storage medium | |
| WO2009066219A1 (en) | Methods and devices for receiving and transmitting an indication of presence | |
| US20240020930A1 (en) | Method and apparatus for determining security area, device, and storage medium | |
| JP7631076B2 (ja) | 情報処理装置及び情報処理プログラム | |
| JP7043601B2 (ja) | 環境モデルを生成するための方法および装置ならびに記憶媒体 | |
| JP6730577B2 (ja) | 情報処理装置、情報処理システム、その制御方法及びプログラム | |
| EP3925235B1 (en) | Multi-sensor object tracking for modifying audio | |
| CN111028270B (zh) | 跟踪全景图像中物体越界的方法、装置、终端及存储装置 | |
| TWI838917B (zh) | 追蹤裝置、方法及其非暫態電腦可讀取記錄媒體 | |
| US10936275B2 (en) | Asynchronous communications in mixed-reality | |
| CN108957914B (zh) | 激光投射模组、深度获取装置和电子设备 | |
| US20200320729A1 (en) | Information processing apparatus, method of information processing, and information processing system | |
| CN111176445B (zh) | 交互装置的识别方法、终端设备及可读存储介质 | |
| TWI837861B (zh) | 資料處理系統、用於判定座標的方法以及電腦可讀儲存媒體 | |
| CN107239333B (zh) | 应用切换处理方法和装置 | |
| JP4722732B2 (ja) | 撮影位置特定システム、撮影位置特定装置及び撮影位置特定方法 | |
| US10943102B2 (en) | Computer vision system that provides information relative to animal wellness and habitat/intervention design |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20230104 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240328 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20241022 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20241210 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20250107 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20250205 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7631076 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |