JP7191309B2 - Automatic Guidance, Positioning and Real-time Correction Method for Laser Projection Marking Using Camera - Google Patents

Automatic Guidance, Positioning and Real-time Correction Method for Laser Projection Marking Using Camera Download PDF

Info

Publication number
JP7191309B2
JP7191309B2 JP2022001977A JP2022001977A JP7191309B2 JP 7191309 B2 JP7191309 B2 JP 7191309B2 JP 2022001977 A JP2022001977 A JP 2022001977A JP 2022001977 A JP2022001977 A JP 2022001977A JP 7191309 B2 JP7191309 B2 JP 7191309B2
Authority
JP
Japan
Prior art keywords
camera
projection
marking system
target
projection marking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022001977A
Other languages
Japanese (ja)
Other versions
JP2022173182A (en
Inventor
俊超 ▲塗▼
兵 徐
慈南 史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lightvision Technology Ltd
Original Assignee
Lightvision Technology Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lightvision Technology Ltd filed Critical Lightvision Technology Ltd
Publication of JP2022173182A publication Critical patent/JP2022173182A/en
Application granted granted Critical
Publication of JP7191309B2 publication Critical patent/JP7191309B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/315—Modulator illumination systems
    • H04N9/3161—Modulator illumination systems using laser light sources

Description

本発明は、レーザーポジショニングプロジェクション技術分野に関し、特に、カメラを用いるレーザープロジェクションマーキングの自動ガイド・位置決め及びリアルタイム補正方法に関する。 FIELD OF THE INVENTION The present invention relates to the field of laser positioning projection technology, and more particularly to an automatic guiding, positioning and real-time correction method for laser projection marking using a camera.

空間３次元（３Ｄ）曲線のレーザープロジェクションマーキング技術は、工業生産内の部品のデジタル化設計情報を実際の製品の製造現場に直接表示させることができ、拡張現実技術の重要な一部であり、デジタル化製造、デジタル化計測分野に幅広く活用されている。レーザープロジェクションマーキング技術の具体的な実現は、基本的に商用化されているレーザーガルバノスキャナプロジェクションマーキングシステムに依存する。前記システムを介してターゲット曲線（被投影対象）に対してレーザープロジェクションマーキングを実行する前に、まずプロジェクションマーキングシステムとターゲット曲線との位置姿勢を合わせる必要がある。現在、アライメントプロセスは、一般的に位置決めを支援するため、手動ガイドに依存する必要がある。すなわち、人手でレーザープロジェクションマーキングシステムを操作して、被投影対象の表面に配置された位置決め用の反射ターゲットによっておおよその位置を見つけ出す。全ての反射ターゲットのおおよその位置を見つけ出した後、レーザープロジェクションマーキングシステムは、反射ターゲットのおおよその位置に基づいて検索範囲を設定し、この範囲内で反射ターゲットを正確にスキャンして位置決めし、アライメントプロセスを完了する。 Spatial three-dimensional (3D) curve laser projection marking technology can directly display the digitized design information of parts in industrial production on the actual product manufacturing site, is an important part of augmented reality technology, It is widely used in the fields of digitized manufacturing and digitized measurement. The specific realization of laser projection marking technology basically depends on the commercially available laser galvanometer scanner projection marking system. Before performing laser projection marking on a target curve (projected object) via the system, it is first necessary to align the projection marking system and the target curve. Currently, the alignment process generally has to rely on manual guides to aid in positioning. That is, the laser projection marking system is manually operated to find the approximate position by positioning reflective targets placed on the surface of the projected object. After finding the approximate positions of all reflective targets, the laser projection marking system sets a search range based on the approximate positions of the reflective targets, and within this range accurately scans, positions, and aligns the reflective targets. complete the process.

レーザープロジェクションマーキングシステム自体は、観測および測定の能力を備えていない。そのため、外部の要因により被投影対象の全体的な位置姿勢が変化した場合、プロジェクションマーキングシステムは、この位置姿勢の変化をモニタリングできないため、投射された空間曲線が設計位置からずれてしまっていた。直ちにこの位置ずれを補正するため、定期的に投影部位を手動で検査する必要があり、ずれ状況が見つかった場合には、再度手動ガイドを介してプロジェクションマーキングシステムを制御して被投影対象の位置姿勢に再度合わせる。このため、レーザープロジェクションマーキング技術の自動化ならびにスマート化のレベルは、高くなかった。 Laser projection marking systems themselves do not provide observation and measurement capabilities. Therefore, when the overall position and orientation of the projected object changes due to external factors, the projection marking system cannot monitor this position and orientation change, so the projected space curve deviates from the design position. In order to immediately correct this positional deviation, it is necessary to periodically manually inspect the projection site, and if a deviation is found, the projection marking system is controlled again via manual guidance to correct the position of the object to be projected. Readjust your posture. For this reason, the level of automation and smartness of laser projection marking technology has not been high.

本発明の目的は、カメラを用いるレーザープロジェクションマーキングの自動ガイド・位置決め及びリアルタイム補正方法を提供することである。本発明は、レーザープロジェクションマーキングシステムが無人状態で被投影対象を自動的にガイド・位置決めすることを可能にし、被投影対象の位置姿勢をリアルタイムでモニタリング及び補正することもできる。 SUMMARY OF THE INVENTION It is an object of the present invention to provide an automatic guiding, positioning and real-time correction method for laser projection marking using a camera. The present invention enables the laser projection marking system to guide and position the projected object automatically in an unmanned state, and can also monitor and correct the position and orientation of the projected object in real time.

本発明の技術的手段として、カメラを用いるレーザープロジェクションマーキングの自動ガイド・位置決め及びリアルタイム補正方法であって、次のステップ１～９を含む。すなわち、
カメラを用いるプロジェクションマーキングシステムを標定し、プロジェクションマーキングシステムの入力する制御デジタル信号と対応する出射光のプロジェクションマーキングシステム座標系における空間ベクトルとの間のマッピング関係を得；ガイド・位置決めに参加するカメラを標定し、カメラの内部パラメータを得るステップ１、 A technical means of the present invention is a camera-based automatic guiding, positioning and real-time correction method for laser projection marking, comprising the following steps 1-9. i.e.
Orienting the projection marking system using a camera, obtaining the mapping relationship between the input control digital signal of the projection marking system and the corresponding spatial vector of the output light in the projection marking system coordinate system; step 1 of orienting and obtaining the intrinsic parameters of the camera;

カメラとプロジェクションマーキングシステムとの間の相対的な姿勢の位置関係を求めるステップ２、 Step 2, determining the relative pose positional relationship between the camera and the projection marking system;

表面に反射ターゲットを配置した被投影対象がプロジェクションマーキングシステムの投影領域内に現れた時、カメラを制御して被投影対象の表面に配置された反射ターゲットに対応する画像をサンプリングし、サンプリングにより被投影対象座標系における反射ターゲットの空間座標を得、ステップ１で標定されたカメラの内部パラメータの助けを借りてカメラと被投影対象との間の相対的な姿勢の位置関係を求めるステップ３、 When a projection target with a reflective target placed on its surface appears within the projection area of the projection marking system, the camera is controlled to sample an image corresponding to the reflective target placed on the surface of the projection target, and the object is detected by sampling. step 3 of obtaining the spatial coordinates of the reflective target in the projection target coordinate system and determining the relative pose positional relationship between the camera and the projected target with the help of the intrinsic parameters of the camera oriented in step 1;

ステップ３で得られたカメラと被投影対象との間の相対的な姿勢の位置関係、被投影対象座標系における反射ターゲットの空間座標及びステップ２で得られたカメラとプロジェクションマーキングシステムとの間の相対的な姿勢の位置関係を介してプロジェクションマーキングシステム座標系における反射ターゲットのおおよその空間的位置を求めるステップ４、 The relative pose positional relationship between the camera and the projection target obtained in step 3, the spatial coordinates of the reflection target in the projection target coordinate system, and the relationship between the camera and the projection marking system obtained in step 2 step 4 of determining the approximate spatial position of the reflective target in the projection marking system coordinate system via relative pose positional relationships;

ステップ１で標定されたマッピング関係、ステップ４で得られたプロジェクションマーキングシステム座標系における反射ターゲットのおおよその空間的位置を介して、プロジェクションマーキングシステムがこれら反射ターゲットに近似的に投影するためにレーザーガルバノスキャナへ入力すべき制御デジタル信号を求めるステップ５、 Through the mapping relationship oriented in step 1, the approximate spatial positions of the reflective targets in the projection marking system coordinate system obtained in step 4, the laser galvanometers are used for the projection marking system to approximately project onto these reflective targets. step 5 of determining the control digital signal to be input to the scanner;

ステップ５で得られたデジタル信号をさらに処理して、プロジェクションマーキングシステムが反射ターゲット中心に正確に投射するためにレーザーガルバノスキャナへ入力すべき制御デジタル信号を決定するステップ６、 step 6 of further processing the digital signal obtained in step 5 to determine the control digital signal to be input to the laser galvanometer scanner in order for the projection marking system to accurately project onto the center of the reflective target;

ステップ１で標定されたマッピング関係、ステップ６で得たデジタル信号、被投影対象座標系における反射ターゲットの空間座標を介して、プロジェクションマーキングシステムと被投影対象との間の相対的な姿勢の位置関係を求め、カメラによるプロジェクションマーキングシステムと被投影対象との間のガイド・位置決めを完了するステップ７、 Relative pose positional relationship between the projection marking system and the projected object via the mapping relationship oriented in step 1, the digital signal obtained in step 6, and the spatial coordinates of the reflective target in the projected object coordinate system. and completing the guiding and positioning between the projection marking system and the object to be projected by the camera (7);

カメラを制御して一定のフレームレートに従い被投影対象表面の反射ターゲットの画像をリアルタイムでサンプリングし、サンプリング結果とステップ３内の反射ターゲットの画像サンプリング結果とを比較し、両者の差が設定された閾値を超えた場合、被投影対象の位置姿勢に変化が生じたと判定するステップ８、 Control the camera to sample the image of the reflective target on the surface of the object to be projected in real time according to a certain frame rate, compare the sampling result with the image sampling result of the reflective target in step 3, and set the difference between the two step 8 of determining that a change has occurred in the position and orientation of the projection target if the threshold is exceeded;

位置姿勢が変化した後の被投影対象表面の反射ターゲットサンプリング画像が安定したら、安定後の新しい反射ターゲットのリアルタイムサンプリング画像位置を取得し、ステップ３～ステップ７に従いプロジェクションマーキングシステムと被投影対象との間の位置姿勢の合わせを改めて実現し、カメラによるプロジェクションマーキングシステムと被投影対象との間の位置姿勢のリアルタイム監視と補正を完了するステップ９。 After the reflective target sampling image of the surface of the projection target after the change in position and orientation is stabilized, the real-time sampling image position of the new reflective target after stabilization is obtained, and the projection marking system and the projection target are aligned according to steps 3 to 7. Step 9: re-realize the alignment between the projection marking system and the real-time monitoring and correction of the alignment between the projection marking system and the projected object by the camera;

前記カメラを用いるレーザープロジェクションマーキングの自動ガイド・位置決め及びリアルタイム補正方法において、前記ステップ２は、具体的にステップ２．１～２．４を含む。すなわち、 In the camera-based automatic guiding, positioning and real-time correction method for laser projection marking, the step 2 specifically includes steps 2.1 to 2.4. i.e.

Ｎ個の反射ターゲットを貼った標定板をステップ１のプロジェクションマーキングシステムの投影領域内に置き、カメラがプロジェクションマーキングシステムの投影領域を観測できるようにカメラの視野を調整するステップ２．１、 Step 2.1 of placing the orientation plate with N reflective targets in the projection area of the projection marking system in step 1 and adjusting the field of view of the camera so that the camera can observe the projection area of the projection marking system;

カメラと標定板との間の相対的な姿勢の位置関係を得、プロジェクションマーキングシステムと標定板との間の相対的な姿勢の位置関係を得るステップ２．２、 Step 2.2, obtaining the relative pose positional relationship between the camera and the orientation plate, and obtaining the relative pose positional relationship between the projection marking system and the orientation plate;

投影領域のサイズに応じて、標定板の配置位置を変更し、ステップ２．２を繰り返し、複数のカメラと標定板との間の相対的な姿勢の位置関係及び複数のプロジェクションマーキングシステムと標定板との間の相対的な姿勢の位置関係を得るステップ２．３、 According to the size of the projection area, the placement position of the orientation plate is changed, step 2.2 is repeated, and the positional relationship of the relative posture between the plurality of cameras and the orientation plate, and the plurality of projection marking systems and the orientation plate. step 2.3 of obtaining the relative pose positional relationship between

ステップ２．３で得られた複数のカメラと標定板との間の相対的な姿勢の位置関係及び複数のプロジェクションマーキングシステムと標定板との間の相対的な姿勢の位置関係に基づき、カメラとプロジェクションマーキングシステムとの間の相対的な姿勢の位置関係を求めるステップ２．４。 Based on the relative attitude positional relationship between the plurality of cameras and the orientation plate obtained in step 2.3 and the relative attitude positional relationship between the plurality of projection marking systems and the orientation plate, the camera and Determining the relative pose positional relationship with the projection marking system 2.4.

前記カメラを用いるレーザープロジェクションマーキングの自動ガイド・位置決め及びリアルタイム補正方法において、前記ステップ２．２内でカメラを制御して、ステップ２．１内の標定板に対し画像をサンプリングし、カメラと標定板との間の相対的な姿勢の位置関係を得； In the method for automatic guiding, positioning and real-time correction of laser projection marking using a camera, the camera is controlled in step 2.2 to sample an image on the orientation plate in step 2.1, and the camera and the orientation plate are Obtaining the relative pose position relationship between

プロジェクションマーキングシステムを制御して、投影領域内の標定板上の反射ターゲットポイントをスキャンし、プロジェクションマーキングシステムと標定板との間の相対的な姿勢の位置関係を得る。 The projection marking system is controlled to scan the reflective target points on the orientation plate within the projection area to obtain the relative pose positional relationship between the projection marking system and the orientation plate.

前記カメラを用いるレーザープロジェクションマーキングの自動ガイド・位置決め及びリアルタイム補正方法において、前記ステップ２．２でカメラによる標定板の画像サンプリングで得られた画像内の反射ターゲットの中心位置、標定板座標系における反射ターゲット中心位置の空間座標、及びステップ１で得られたカメラの内部パラメータに基づいて、カメラと標定板との間の相対的な姿勢の位置関係を求める。 In the method for automatic guiding, positioning and real-time correction of laser projection marking using a camera, the center position of the reflection target in the image obtained by image sampling of the orientation plate by the camera in step 2.2 above, the reflection in the orientation plate coordinate system Based on the spatial coordinates of the target center position and the internal parameters of the camera obtained in step 1, the positional relationship of the relative attitude between the camera and the orientation plate is obtained.

前記カメラを用いるレーザープロジェクションマーキングの自動ガイド・位置決め及びリアルタイム補正方法において、ステップ５で得られたデジタル信号をステップ６でさらに処理する時、ステップ５で得られたデジタル信号を中心として１つの矩形レーザースキャン領域を定め、この領域内においてレーザーグリッド線の方式でこの領域内にある反射ターゲットをスキャン・位置決めすることで、プロジェクションマーキングシステムが反射ターゲット中心に正確に投射するために必要なレーザーガルバノスキャナの入力する制御デジタル信号を決定する。 In the method for automatic guiding, positioning and real-time correction of laser projection marking using a camera, when the digital signal obtained in step 5 is further processed in step 6, a rectangular laser centered on the digital signal obtained in step 5 By defining a scan area and scanning and positioning a reflective target within this area in the manner of a laser grid line, the projection marking system can accurately project onto the center of the reflective target with the required laser galvanometer scanner. Determines the input control digital signal.

従来技術と比較して、本発明の有利な効果としては、本発明は、事前にカメラとレーザープロジェクションマーキングシステムとの間の姿勢の位置関係を標定することによって、手動の代わりにカメラがレーザープロジェクションマーキングシステムをガイドして反射ターゲットに対してレーザーをスキャンし、位置決めを実行できるようにさせるため、レーザープロジェクションマーキングシステムと被投影対象との間の姿勢の位置合わせを自動的に実現する。これに基づいて、カメラで被投影対象表面の反射ターゲット画像をリアルタイムにサンプリングし、被投影対象の位置姿勢をリアルタイムで監視することもでき、前後のサンプリング画像の位置を比較することにより、被投影対象の位置姿勢に変化が生じた時、投影されたレーザー曲線についてリアルタイムの位置姿勢補正を自動的に実行することで、実際の製造工程でのレーザープロジェクションマーキング作業の自動化及びスマート化のレベルを大幅に向上する。 An advantageous effect of the present invention as compared with the prior art is that the present invention enables the camera to perform laser projection instead of manual operation by pre-orienting the pose positional relationship between the camera and the laser projection marking system. A pose alignment between the laser projection marking system and the projected object is automatically achieved to guide the marking system to scan the laser against the reflective target and perform the positioning. Based on this, the camera can also sample the reflection target image of the surface of the projection target in real time, and monitor the position and orientation of the projection target in real time. By automatically performing real-time position and orientation correction on the projected laser curve when the position and orientation of the object changes, the level of automation and smartness of the laser projection marking work in the actual manufacturing process is greatly increased. improve to

本発明のカメラでレーザープロジェクションマーキングシステムを自動的にガイドして被投影対象を位置決めする実施の概略図である。FIG. 2 is a schematic diagram of an implementation of automatically guiding a laser projection marking system to position a projected object with a camera of the present invention; 本発明のレーザープロジェクションマーキングシステムの内部構造を示す概略図である。1 is a schematic diagram showing the internal structure of the laser projection marking system of the present invention; FIG. 本発明の反射ターゲットを貼った標定板でカメラとプロジェクションマーキングシステムの位置姿勢関係を決定する原理を示す概略図である。FIG. 4 is a schematic diagram showing the principle of determining the position and orientation relationship between the camera and the projection marking system using the orientation plate to which the reflective target of the present invention is attached; 本発明におけるカメラがレーザープロジェクションマーキングシステムをガイドして被投影対象を位置決めする方法の原理を示す概略図である。1 is a schematic diagram showing the principle of how a camera guides a laser projection marking system to position a projected object in the present invention; FIG. 本発明におけるカメラが被投影対象の位置姿勢を監視し、プロジェクションマーキングを自動的に補正する原理を示す概略図である。FIG. 3 is a schematic diagram showing the principle of the camera monitoring the position and orientation of the projection target and automatically correcting the projection marking in the present invention; 本発明のステップフローチャートである。It is a step flow chart of the present invention. 本発明の具体的実施例における被投影対象とターゲット空間曲線のＣＡＤデジタルモデル図である。FIG. 4 is a CAD digital model diagram of a projected object and a target space curve in a specific embodiment of the present invention; 本発明の具体的実施例におけるカメラがレーザープロジェクションマーキングシステムをガイドして被投影対象を位置決めし、ターゲット空間曲線をレーザーマーキングするプロセス全体を示す図である。FIG. 4 is a diagram showing the overall process of laser marking a target space curve with a camera guiding a laser projection marking system to position a projected object and laser marking a target space curve in a specific embodiment of the present invention; 本発明の具体的実施例におけるカメラが被投影対象の位置姿勢に変化が生じたことをモニタリングした後、プロジェクションマーキングシステムを自動的にガイドして被投影対象を再度位置決めし、ターゲット曲線をマーキング・補正するプロセス全体を示す図である。After the camera in the specific embodiment of the present invention monitors the change in the position and orientation of the projected object, it automatically guides the projection marking system to reposition the projected object and mark the target curve. FIG. 4 illustrates the overall process of correction;

以下、図面及び実施形態を参照しつつ本発明をさらに説明するが、本発明を限定するため根拠としては使用されない。 The invention will now be further described with reference to the drawings and embodiments, which are not used as a basis for limiting the invention.

本発明の方法は、図１に示すようにレーザープロジェクションマーキングシステム１００（以下、「プロジェクションマーキングシステム」という）、産業用カメラ２００（以下、「カメラ」という）及び主幹制御装置３００を用いる。 The method of the present invention uses a laser projection marking system 100 (hereinafter "projection marking system"), an industrial camera 200 (hereinafter "camera") and a master controller 300 as shown in FIG.

うち、レーザープロジェクションマーキングシステム１００は、図２に示すように、レーザーガルバノスキャナと、受光センシングデバイスとを備え、前記レーザーガルバノスキャナは、レーザー光源１１と、ビームエキスパンダー１２と、集束装置１３と、２次元ガルバノスキャンヘッド１４とを備える。前記受光センシングデバイスは、受光センサー２１と、レンズフィルター２２と、集束ミラー２３と、ビームスプリッタ２４とを備える。 Among them, the laser projection marking system 100 includes a laser galvanometer scanner and a light receiving sensing device, as shown in FIG. and a dimensional galvanometer scan head 14 . The light receiving sensing device comprises a light receiving sensor 21 , a lens filter 22 , a focusing mirror 23 and a beam splitter 24 .

前記主幹制御装置３００は、制御盤と、コンピュータ本体とを備える。制御盤は、レーザーガルバノスキャナ及び受光センシングデバイスを協調的に制御する。コンピュータ本体は、システムのソフトウェアと制御盤、産業用カメラ２００との間の通信に用いられる。前記受光センサー２１は、レーザー光源１１から発射された後に反射して戻ってくるレーザービーム信号を受光する。 The master control device 300 includes a control panel and a computer main body. A control board coordinates the laser galvanometer scanner and the light receiving sensing device. The computer main body is used for communication between the software of the system, the control panel, and the industrial camera 200 . The light receiving sensor 21 receives a laser beam signal emitted from the laser light source 11 and then reflected back.

図３～図６に示されるように、カメラを用いるレーザープロジェクションマーキングの自動ガイド・位置決め及びリアルタイム補正方法は、以下のステップを含む。 As shown in FIGS. 3-6, the automatic guiding, positioning and real-time correction method of laser projection marking using camera includes the following steps.

カメラを用いるプロジェクションマーキングシステムを標定し、プロジェクションマーキングシステムの入力する制御デジタル信号Dと、対応する出射光のプロジェクションマーキングシステム座標系における空間ベクトルVとの間のマッピング関係D→Vを得；
ガイド・位置決めに参加するカメラを標定し、カメラの内部パラメータAを得る。 Orienting a projection marking system using a camera to obtain a mapping relationship D→V between the input control digital signal D of the projection marking system and the spatial vector V of the corresponding output light in the projection marking system coordinate system;
Orient the camera that participates in guiding and positioning, and obtain the internal parameter A of the camera.

ステップ２：カメラとプロジェクションマーキングシステムとの間の相対的な姿勢の位置関係を求める。 Step 2: Determine the relative pose positional relationship between the camera and the projection marking system.

ステップ２は、具体的には次のステップを含む。すなわち、
ステップ２．１：Ｎ個の反射ターゲットを貼った標定板をステップ１のプロジェクションマーキングシステムの投影領域内に置き、カメラがプロジェクションマーキングシステムの投影領域を観測できるようにカメラの視野を調整し； Step 2 specifically includes the following steps. i.e.
Step 2.1: Place the orientation plate with N reflective targets in the projection area of the projection marking system in step 1, and adjust the field of view of the camera so that the camera can observe the projection area of the projection marking system;

ステップ２．２：カメラを制御してステップ２．１内の標定板に対して画像をサンプリングし、カメラによる標定板の画像サンプリングで得られた画像内の反射ターゲットの中心位置

Figure 0007191309000001
標定板座標系
Figure 0007191309000002
における反射ターゲット中心位置の空間座標
Figure 0007191309000003
及びステップ１で得られたカメラの内部パラメータAに基づいて、カメラと標定板との間の相対的な姿勢の位置関係
Figure 0007191309000004
を求め； Step 2.2: Control the camera to sample the image for the orientation plate in step 2.1, and the center position of the reflection target in the image obtained by image sampling of the orientation plate by the camera
Figure 0007191309000001
Orientation plate coordinate system
Figure 0007191309000002
Spatial coordinates of the reflective target center position at
Figure 0007191309000003
and based on the camera's intrinsic parameter A obtained in step 1, the relative pose positional relationship between the camera and the orientation plate
Figure 0007191309000004
seeking;

手動ガイド方式を通じてプロジェクションマーキングシステムを制御して投影領域における標定板上の反射ターゲットポイントをスキャンし、プロジェクションマーキングシステムと標定板との間の相対的な姿勢の位置関係

Figure 0007191309000005
を得； The projection marking system is controlled through manual guidance to scan the reflection target points on the orientation plate in the projection area, and the relative posture positional relationship between the projection marking system and the orientation plate
Figure 0007191309000005
get;

ステップ２．３：投影領域のサイズに応じて、標定板の配置位置を変更し、ステップ２．２を繰り返し、Ｍ個のカメラと標定板との間の相対的な姿勢の位置関係

Figure 0007191309000006
及び、Ｍ個のプロジェクションマーキングシステムと標定板との間の相対的な姿勢の位置関係
Figure 0007191309000007
を得； Step 2.3: Change the placement position of the orientation plate according to the size of the projection area, repeat step 2.2, and position the relative posture positional relationship between the M cameras and the orientation plate
Figure 0007191309000006
and the positional relationship of the relative attitude between the M projection marking systems and the orientation plate
Figure 0007191309000007
get;

ステップ２．４：ステップ２．３で得られたＭ個のカメラと標定板との間の相対的な姿勢の位置関係

Figure 0007191309000008
及び、Ｍ個のプロジェクションマーキングシステムと標定板との間の相対的な姿勢の位置関係
Figure 0007191309000009
に基づき、Ｍ個のカメラとプロジェクションマーキングシステムとの間の相対的な姿勢の位置関係
Figure 0007191309000010
を求める。
Figure 0007191309000011
をカメラとプロジェクションマーキングシステムとの間の最終的な、相対的な姿勢の位置関係とする。 Step 2.4: Positional relationship of relative attitudes between the M cameras obtained in step 2.3 and the orientation plate
Figure 0007191309000008
and the positional relationship of the relative attitude between the M projection marking systems and the orientation plate
Figure 0007191309000009
The relative pose positional relationship between the M cameras and the projection marking system based on
Figure 0007191309000010
Ask for
Figure 0007191309000011
be the final relative pose positional relationship between the camera and the projection marking system.

ステップ３：表面に反射ターゲットを配置した被投影対象が、プロジェクションマーキングシステムの投影領域内にある時、カメラを制御して被投影対象の表面に配置された反射ターゲットに対応する画像をサンプリングする。カメラによる被投影対象の画像のサンプリングで得られた画像内の反射ターゲットの中心位置

Figure 0007191309000012
被投影対象座標系
Figure 0007191309000013
における反射ターゲット中心位置の空間座標
Figure 0007191309000014
及び、ステップ１で得られたカメラの内部パラメータAに基づいて、カメラと被投影対象との間の相対的な姿勢の位置関係
Figure 0007191309000015
を求める。 Step 3: When the projected object with the reflective target placed on the surface is within the projection area of the projection marking system, control the camera to sample the image corresponding to the reflective target placed on the surface of the projected object. Center position of the reflective target in the image obtained by sampling the image of the projected target with the camera
Figure 0007191309000012
Projected coordinate system
Figure 0007191309000013
Spatial coordinates of the reflective target center position at
Figure 0007191309000014
And, based on the camera's intrinsic parameter A obtained in step 1, the positional relationship of the relative pose between the camera and the projection target
Figure 0007191309000015
Ask for

ステップ４：ステップ３で得られたカメラと被投影対象との間の相対的な姿勢の位置関係

Figure 0007191309000016
、被投影対象座標系における反射ターゲットの空間座標
Figure 0007191309000017
及び、ステップ２で得られたカメラとプロジェクションマーキングシステムとの間の相対的な姿勢の位置関係
Figure 0007191309000018
を介して、プロジェクションマーキングシステム座標系における反射ターゲットのおおよその空間的位置
Figure 0007191309000019
を求める。 Step 4: Positional relationship of relative poses between camera and projection target obtained in step 3
Figure 0007191309000016
, the spatial coordinates of the reflective target in the projected target coordinate system
Figure 0007191309000017
and the relative pose positional relationship between the camera and the projection marking system obtained in step 2
Figure 0007191309000018
the approximate spatial position of the reflective target in the projection marking system coordinate system, via
Figure 0007191309000019
Ask for

ステップ５：ステップ１で標定されたマッピング関係、ステップ４で得られたプロジェクションマーキングシステム座標系における反射ターゲットのおおよその空間的位置

Figure 0007191309000020
を介して、プロジェクションマーキングシステムが、これら反射ターゲットに近似的に投影するために、レーザーガルバノスキャナへ入力すべき制御デジタル信号
Figure 0007191309000021
を求める。 Step 5: mapping relationship oriented in step 1, approximate spatial position of the reflective target in the projection marking system coordinate system obtained in step 4
Figure 0007191309000020
Control digital signals to be input to the laser galvo scanner for the projection marking system to approximately project onto these reflective targets via
Figure 0007191309000021
Ask for

ステップ６：ステップ５で得られたデジタル信号Dj cを中心として１つの矩形レーザースキャン領域を定め、この領域内においてレーザーグリッド線の方式でこの領域内にある反射ターゲットの位置をスキャンして特定することにより、プロジェクションマーキングシステムが、反射ターゲットの中心に正確に投影するために、レーザーガルバノスキャナへ入力すべき制御デジタル信号

Figure 0007191309000022
を決定する。 Step 6: Defining a rectangular laser scanning area centered on the digital signal D j c obtained in Step 5, scanning and identifying the position of the reflective target within this area in the manner of laser grid lines. , the control digital signal to be input to the laser galvo scanner in order for the projection marking system to accurately project onto the center of the reflective target.
Figure 0007191309000022
to decide.

ステップ７：ステップ１で標定されたマッピング関係、ステップ６で得たデジタル信号

Figure 0007191309000023
および、被投影対象座標系における反射ターゲットの空間座標
Figure 0007191309000024
を介して、プロジェクションマーキングシステムと被投影対象との間の相対的な姿勢の位置関係を求め、カメラによるプロジェクションマーキングシステムと被投影対象との間のガイド・位置決めを完了する。 Step 7: Mapping Relation Oriented in Step 1, Digital Signals Obtained in Step 6
Figure 0007191309000023
and the spatial coordinates of the reflective target in the projected target coordinate system
Figure 0007191309000024
to obtain the positional relationship of the relative posture between the projection marking system and the object to be projected, and complete the guiding and positioning between the projection marking system and the object to be projected by the camera.

ステップ８：カメラを制御して、一定のフレームレートに従って、被投影対象表面の反射ターゲットの画像をリアルタイムでサンプリングし、反射ターゲットのリアルタイムな中心位置Pj '＝(uj '，vj ')，j＝１，２，・・・，nを抽出し、サンプリング結果Pj '＝(uj '，vj ')，j＝１，２，・・・，nと、ステップ３内の反射ターゲットの画像サンプリング結果Pj＝(uj，vj)，j＝１，２，・・・，nとを比較し、
両者の差が

Figure 0007191309000025
の場合（ΔPは、設定された閾値である）、被投影対象の位置姿勢に変化が生じたと判定する。 Step 8: Control the camera to sample the image of the reflective target on the surface to be projected in real time according to a constant frame rate, and the real-time central position of the reflective target P j ' = (u j ' , v j ' ) , j = 1 , 2 , . Compare the target image sampling result P j = (u j , v j ), j = 1, 2, ..., n,
the difference between the two
Figure 0007191309000025
(ΔP is a set threshold value), it is determined that a change has occurred in the position and orientation of the projection target.

ステップ９：位置姿勢が変化した後の被投影対象表面の反射ターゲットのサンプリング画像が安定したら、安定後の新しい反射ターゲットのリアルタイムサンプリング画像位置Pj '＝(uj '，vj ')，j＝１，２，・・・，nを取得し、ステップ３～ステップ７に従って、プロジェクションマーキングシステムと被投影対象との間の位置姿勢の位置合わせを改めて実現し、カメラによるプロジェクションマーキングシステムと被投影対象との間の位置姿勢のリアルタイム監視と補正を完了する。 Step 9: When the sampling image of the reflective target on the projection target surface after the change in position and orientation is stabilized, the real-time sampling image position of the new reflective target after stabilization P j ' = (u j ' , v j ' ), j = 1, 2, . Complete real-time monitoring and correction of position and orientation between objects.

（本発明の具体的実施例）
図７に示すように、多面体を被投影対象とし、ターゲット空間曲線としてこの対象の表面に２つの五角形を選択してレーザーマーキングを実施する。なお、事前に多面体の表面に一定数量の反射ターゲット（図７）を配置し、反射ターゲットの空間的位置が事前に測定されている。図８に示すように、産業用カメラとプロジェクションマーキングシステムとの間の位置姿勢の関係を標定した後、カメラを制御して被投影対象の画像をサンプリングし、反射ターゲットの画像座標とカメラ自体の内部パラメータに基づいてカメラと多面体の位置決めを実現する。次にカメラ座標系内で得られた反射ターゲットの空間座標を通じてレーザープロジェクションマーキングシステムを自動的にガイドして多面体をレーザースキャンして位置決めし、最後にプロジェクションマーキングシステムと多面体との間の位置姿勢の関係の確認を完了する。これにより、プロジェクションマーキングシステムを制御してターゲット曲線に対してレーザープロジェクションマーキングすることができる。 (Specific embodiment of the present invention)
As shown in FIG. 7, a polyhedron is used as a projection object, and two pentagons are selected on the surface of this object as target space curves for laser marking. A certain number of reflective targets (FIG. 7) are placed on the surface of the polyhedron in advance, and the spatial positions of the reflective targets are measured in advance. As shown in Figure 8, after locating the pose relationship between the industrial camera and the projection marking system, the camera is controlled to sample the image of the projected object, and the image coordinates of the reflective target and the camera itself Realize camera and polyhedron positioning based on internal parameters. Next, the laser projection marking system is automatically guided through the spatial coordinates of the reflective target obtained in the camera coordinate system to laser scan and position the polyhedron, and finally the position and orientation between the projection marking system and the polyhedron are determined. Complete relationship verification. This allows the projection marking system to be controlled to laser projection mark onto the target curve.

図９に示すように、多面体の位置姿勢に変化が生じた後、レーザーで投射された曲線が実際の位置からずれてしまう。この時カメラは、多面体表面の反射ターゲットの画像座標に明らかな変化が生じたことをモニタリングするため、自動補正がトリガーされる。反射ターゲットの画像座標が再度安定した後、まず新しい反射ターゲットの画像座標に従って多面体を視覚的に再度位置決めする。次にカメラ座標系における反射ターゲットの空間座標を改めて得て、プロジェクションマーキングシステムを再度ガイドして多面体に対してレーザースキャンし、位置決めを実施することにより、プロジェクションマーキングシステムと多面体との間の姿勢の位置関係を改めて得る。この新しい姿勢の位置関係を介してターゲット曲線に対してレーザープロジェクションマーキングを再度実施し、この時投射されたレーザー曲線も再度実際の位置と重なり、最後に自動補正プロセス全体を完了する。 As shown in FIG. 9, after a change in the orientation of the polyhedron, the laser-projected curve deviates from its actual position. At this time, the camera monitors that the image coordinates of the reflective target on the polyhedral surface have undergone an obvious change, thus triggering an automatic correction. After the image coordinates of the reflection target are stabilized again, first visually reposition the polyhedron according to the image coordinates of the new reflection target. Next, the spatial coordinates of the reflective target in the camera coordinate system are again obtained, and the projection marking system is guided again to perform laser scanning and positioning on the polyhedron, thereby determining the pose between the projection marking system and the polyhedron. Obtain the positional relationship again. Laser projection marking is performed again on the target curve through this new pose positional relationship, at this time the projected laser curve is also overlapped with the actual position again, and finally the whole automatic correction process is completed.

上記は本発明の好ましい実施形態にすぎず、本発明の保護範囲は上記実施例に限定されない。本発明の技術的思想の下でのすべての技術的手段は、本発明の保護範囲に属する。当業者であれば、本発明の原理を脱しない範囲内で各種の改良や潤色を加えることができ、かかる改良や潤色も本発明の保護範囲に網羅することを見なされるべきであることに留意されたい。 The above are only preferred embodiments of the present invention, and the protection scope of the present invention is not limited to the above examples. All technical means under the technical idea of the present invention belong to the protection scope of the present invention. It should be noted that those skilled in the art can make various improvements and embellishments without departing from the principles of the present invention, and such improvements and embellishments should also be considered to be covered by the protection scope of the present invention. want to be

１００ レーザープロジェクションマーキングシステム
１１ レーザー光源
１２ ビームエキスパンダー
１３ 集束装置
１４ ２次元ガルバノスキャンヘッド
２００ 産業用カメラ
２１ 受光センサー
２２ レンズフィルター
２３ 集束ミラー
２４ ビームスプリッタ
３００ 主幹制御装置
100 laser projection marking system 11 laser light source 12 beam expander 13 focusing device 14 two-dimensional galvano scan head 200 industrial camera 21 light receiving sensor 22 lens filter 23 focusing mirror 24 beam splitter 300 master controller

Claims (5)

カメラを用いるレーザープロジェクションマーキングの自動ガイド・位置決め及びリアルタイム補正方法であって、
前記カメラを用いるプロジェクションマーキングシステムを標定し、前記プロジェクションマーキングシステムの入力する制御デジタル信号と、対応する出射光のプロジェクションマーキングシステム座標系における空間ベクトルとの間のマッピング関係を得；ガイド・位置決めに参加する前記カメラを標定し、前記カメラの内部パラメータを得るステップ１と、
前記カメラと前記プロジェクションマーキングシステムとの間の相対的な姿勢の位置関係を求めるステップ２と、
表面に反射ターゲットを配置した被投影対象が前記プロジェクションマーキングシステムの投影領域内にある時、前記カメラを制御して前記被投影対象の表面に配置された前記反射ターゲットに対応する画像をサンプリングし、サンプリングにより被投影対象座標系における前記反射ターゲットの空間座標を得、前記ステップ１で標定された前記カメラの内部パラメータの助けを借りて前記カメラと前記被投影対象との間の相対的な姿勢の位置関係を求めるステップ３と、
前記ステップ３で得られた前記カメラと前記被投影対象との間の相対的な姿勢の位置関係、前記被投影対象座標系における前記反射ターゲットの空間座標、及び、前記ステップ２で得られた前記カメラと前記プロジェクションマーキングシステムとの間の相対的な姿勢の位置関係を介して、前記プロジェクションマーキングシステム座標系における前記反射ターゲットのおおよその空間的位置を求めるステップ４と、
前記ステップ１で標定されたマッピング関係、および、前記ステップ４で得られた前記プロジェクションマーキングシステム座標系における前記反射ターゲットのおおよその空間的位置を介して、前記プロジェクションマーキングシステムがこれら前記反射ターゲットに近似的に投影するためにレーザーガルバノスキャナへ入力すべき制御デジタル信号を求めるステップ５と、
前記ステップ５で得られたデジタル信号をさらに処理して、前記プロジェクションマーキングシステムが反射ターゲット中心に正確に投射するために、前記レーザーガルバノスキャナへ入力すべき前記制御デジタル信号を決定するステップ６と、
前記ステップ１で標定されたマッピング関係、前記ステップ６で得た前記デジタル信号、および、前記被投影対象座標系における前記反射ターゲットの空間座標を介して、前記プロジェクションマーキングシステムと前記被投影対象との間の相対的な姿勢の位置関係を求め、前記カメラによる前記プロジェクションマーキングシステムと前記被投影対象との間のガイド・位置決めを完了するステップ７と、
前記カメラを制御して一定のフレームレートに従い前記被投影対象表面の前記反射ターゲットの画像をリアルタイムでサンプリングし、サンプリング結果と前記ステップ３内の前記反射ターゲットの画像サンプリング結果とを比較し、両者の差が設定された閾値を超えた場合、前記被投影対象の位置姿勢に変化が生じたと判定するステップ８と、
位置姿勢が変化した後の前記被投影対象表面の反射ターゲットサンプリング画像が安定したら、安定後の新しい前記反射ターゲットのリアルタイムサンプリング画像位置を取得し、前記ステップ３～ステップ７に従い前記プロジェクションマーキングシステムと前記被投影対象との間の位置姿勢の合わせを改めて実現し、前記カメラによる前記プロジェクションマーキングシステムと前記被投影対象との間の位置姿勢のリアルタイム監視と補正を完了するステップ９と、
を含むことを特徴とする、カメラを用いるレーザープロジェクションマーキングの自動ガイド・位置決め及びリアルタイム補正方法。 A method for automatic guiding, positioning and real-time correction of laser projection marking using a camera, comprising:
orienting the projection marking system using the camera to obtain the mapping relationship between the input control digital signal of the projection marking system and the spatial vector of the corresponding output light in the projection marking system coordinate system; participating in guiding and positioning; a step 1 of orienting the camera and obtaining intrinsic parameters of the camera;
determining a relative pose positional relationship between the camera and the projection marking system;
controlling the camera to sample an image corresponding to the reflective target placed on the surface of the projected target when the projected target having the reflective target placed on the surface thereof is within the projection area of the projection marking system; Obtaining the spatial coordinates of the reflective target in the projected object coordinate system by sampling, and obtaining the relative pose between the camera and the projected object with the help of the intrinsic parameters of the camera oriented in the step 1; Step 3 of determining the positional relationship;
The relative pose positional relationship between the camera and the projection target obtained in step 3, the spatial coordinates of the reflection target in the projection target coordinate system, and the above obtained in step 2 determining an approximate spatial position of the reflective target in the projection marking system coordinate system via the relative pose relationship between a camera and the projection marking system;
the projection marking system approximates the reflective targets via the mapping relationships determined in step 1 and the approximate spatial positions of the reflective targets in the projection marking system coordinate system obtained in step 4; determining a control digital signal to be input to the laser galvanometer scanner for the purpose of projecting 5;
step 6 of further processing the digital signal obtained in step 5 to determine the control digital signal to be input to the laser galvanometer scanner for the projection marking system to accurately project onto the center of the reflective target;
the projection marking system and the projected object via the mapping relationship determined in the step 1, the digital signal obtained in the step 6, and the spatial coordinates of the reflective target in the projected object coordinate system; a step 7 of determining the positional relationship of the relative posture between the projection marking system and the object to be projected by the camera;
controlling the camera to sample the image of the reflective target on the surface to be projected in real time according to a constant frame rate, comparing the sampling result with the image sampling result of the reflective target in the step 3, step 8 of determining that a change has occurred in the position and orientation of the projection target if the difference exceeds a set threshold;
After the reflective target sampling image of the surface to be projected after the change in position and orientation is stabilized, a real-time sampling image position of the new reflective target after stabilization is obtained, and the projection marking system and the a step 9 of re-realizing alignment between the projection marking system and the projection target, and completing real-time monitoring and correction of the alignment between the projection marking system and the projection target by the camera;
A method for automatic guiding, positioning and real-time correction of laser projection marking using a camera, comprising: 前記ステップ２は、
Ｎ個の前記反射ターゲットを貼った標定板を前記ステップ１の前記プロジェクションマーキングシステムの前記投影領域内に置き、前記カメラが前記プロジェクションマーキングシステムの前記投影領域を観測できるように前記カメラの視野を調整するステップ２．１と、
前記カメラと前記標定板との間の相対的な姿勢の位置関係を得、前記プロジェクションマーキングシステムと前記標定板との間の相対的な姿勢の位置関係を得るステップ２．２と、
前記投影領域のサイズに応じて、前記標定板の配置位置を変更し、前記ステップ２．２を繰り返し、複数の前記カメラと前記標定板との間の相対的な姿勢の位置関係及び複数の前記プロジェクションマーキングシステムと前記標定板との間の相対的な姿勢の位置関係を得るステップ２．３と、
前記ステップ２．３で得られた複数の前記カメラと前記標定板との間の相対的な姿勢の位置関係及び複数の前記プロジェクションマーキングシステムと前記標定板との間の相対的な姿勢の位置関係に基づき、前記カメラと前記プロジェクションマーキングシステムとの間の相対的な姿勢の位置関係を求めるステップ２．４と、
を含むことを特徴とする、請求項１に記載のカメラを用いるレーザープロジェクションマーキングの自動ガイド・位置決め及びリアルタイム補正方法。 The step 2 is
Place the orientation plate with the N reflective targets in the projection area of the projection marking system in step 1, and adjust the field of view of the camera so that the camera can observe the projection area of the projection marking system. step 2.1 to
Step 2.2 of obtaining a relative pose positional relationship between the camera and the orientation plate, and obtaining a relative pose positional relationship between the projection marking system and the orientation plate;
According to the size of the projection area, the arrangement position of the orientation plate is changed, the step 2.2 is repeated, the positional relationship of the relative postures between the plurality of cameras and the orientation plate, and the plurality of the orientation plates. step 2.3 of obtaining the relative pose positional relationship between the projection marking system and the orientation plate;
The relative attitude positional relationship between the plurality of cameras and the orientation plate obtained in step 2.3 and the relative attitude positional relationship between the plurality of the projection marking systems and the orientation plate. step 2.4 of determining the relative pose relationship between the camera and the projection marking system based on
The automatic guiding, positioning and real-time correction method for laser projection marking using a camera according to claim 1, characterized by comprising: 前記ステップ２．２内で前記カメラを制御して、前記ステップ２．１内の前記標定板に対し画像をサンプリングし、前記カメラと前記標定板との間の相対的な姿勢の位置関係を得；
前記プロジェクションマーキングシステムを制御して、前記投影領域内の前記標定板上の反射ターゲットポイントをスキャンし、前記プロジェクションマーキングシステムと前記標定板との間の相対的な姿勢の位置関係を得る、
を含むことを特徴とする、請求項２に記載のカメラを用いるレーザープロジェクションマーキングの自動ガイド・位置決め及びリアルタイム補正方法。 controlling the camera in step 2.2 to sample an image with respect to the orientation plate in step 2.1 to obtain the positional relationship of the relative attitude between the camera and the orientation plate; ;
controlling the projection marking system to scan a reflective target point on the orientation plate within the projection area to obtain a relative pose positional relationship between the projection marking system and the orientation plate;
The automatic guiding, positioning and real-time correction method for laser projection marking using a camera according to claim 2, characterized by comprising: 前記ステップ２．２で前記カメラによる前記標定板の画像サンプリングで得られた画像内の反射ターゲットの中心位置、標定板座標系における反射ターゲット中心位置の空間座標、及び前記ステップ１で得られた前記カメラの内部パラメータに基づいて、前記カメラと前記標定板との間の相対的な姿勢の位置関係を求めることを特徴とする、請求項３に記載のカメラを用いるレーザープロジェクションマーキングの自動ガイド・位置決め及びリアルタイム補正方法。 The center position of the reflection target in the image obtained by image sampling of the orientation plate by the camera in step 2.2, the spatial coordinates of the center position of the reflection target in the orientation plate coordinate system, and the above obtained in step 1 4. Automatic guiding and positioning of laser projection marking using a camera according to claim 3, wherein the positional relationship of the relative posture between the camera and the orientation plate is obtained based on the internal parameters of the camera. and real-time correction methods. 前記ステップ５で得られたデジタル信号を前記ステップ６でさらに処理する時、前記ステップ５で得られたデジタル信号を中心として１つの矩形レーザースキャン領域を定め、前記領域内においてレーザーグリッド線の方式で前記領域内にある前記反射ターゲットをスキャンし位置決めすることで、前記プロジェクションマーキングシステムが前記反射ターゲット中心に正確に投射するためにレーザーガルバノスキャナへ入力すべき前記制御デジタル信号を決定することを特徴とする、請求項１に記載のカメラを用いるレーザープロジェクションマーキングの自動ガイド・位置決め及びリアルタイム補正方法。
When the digital signal obtained in step 5 is further processed in step 6, a rectangular laser scanning area is defined around the digital signal obtained in step 5, and a laser grid line is used within the area. scanning and positioning the reflective target within the area to determine the control digital signal to be input to a laser galvanometer scanner for the projection marking system to accurately project onto the center of the reflective target; The method for automatic guiding, positioning and real-time correction of laser projection marking using a camera according to claim 1.
JP2022001977A 2021-05-08 2022-01-08 Automatic Guidance, Positioning and Real-time Correction Method for Laser Projection Marking Using Camera Active JP7191309B2 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202110497634.2 2021-05-08
CN202110497634.2A CN112991467B (en) 2021-05-08 2021-05-08 Camera-based laser projection identification automatic guiding positioning and real-time correction method

Publications (2)

Publication Number Publication Date
JP2022173182A JP2022173182A (en) 2022-11-18
JP7191309B2 true JP7191309B2 (en) 2022-12-19

Family

ID=76337228

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022001977A Active JP7191309B2 (en) 2021-05-08 2022-01-08 Automatic Guidance, Positioning and Real-time Correction Method for Laser Projection Marking Using Camera

Country Status (2)

Country Link
JP (1) JP7191309B2 (en)
CN (1) CN112991467B (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113660473B (en) * 2021-07-07 2024-03-08 深圳市睿达科技有限公司 Auxiliary positioning method based on projector
CN113724321B (en) * 2021-07-08 2023-03-24 南京航空航天大学苏州研究院 Self-adaptive laser projection auxiliary assembly method
CN113298886B (en) * 2021-07-27 2021-10-08 光量信息科技(宁波)有限公司 Calibration method of projector
CN115040238B (en) * 2022-08-15 2022-11-15 南昌大学第二附属医院 Control method of laser positioning equipment for body surface skin damage area and laser positioning equipment

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000241874A (en) 1999-02-19 2000-09-08 Nec Corp Method and device for automatically adjusting screen position for projector
JP2006523067A (en) 2003-04-11 2006-10-05 三菱電機株式会社 How to display an output image on an object
JP2008533451A (en) 2005-03-11 2008-08-21 クリアフォーム インク． Automatic reference system and apparatus for 3D scanning
US9055237B1 (en) 2012-06-01 2015-06-09 Rawles Llc Projection autofocus
JP2016152586A (en) 2015-02-19 2016-08-22 国立大学法人電気通信大学 Projection mapping device, and device, method and program for video projection control
CN112304568A (en) 2020-09-18 2021-02-02 光量信息科技(宁波)有限公司 Laser galvanometer calibration system based on photosensitive sensor and calibration method thereof
CN112666703A (en) 2021-03-18 2021-04-16 光量信息科技(宁波)有限公司 Space curve joint positioning projection system and method based on multiple laser galvanometers
CN111147694B (en) 2019-12-30 2022-03-22 Oppo广东移动通信有限公司 Photographing method, photographing apparatus, terminal device, and computer-readable storage medium

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011205524A (en) * 2010-03-26 2011-10-13 Seiko Epson Corp Projector device, and projection method thereof
EP3070495B1 (en) * 2015-03-19 2020-08-19 Albert-Ludwigs-Universität Freiburg Method and system for calibrating a network of multiple horizontally scanning range finders
CN109194939A (en) * 2018-08-29 2019-01-11 明基智能科技（上海）有限公司 Frame correction method and projector system
CN111953950B (en) * 2020-08-14 2022-06-07 青岛海信移动通信技术股份有限公司 Projection equipment and posture adjusting method of projection lens of projection equipment

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000241874A (en) 1999-02-19 2000-09-08 Nec Corp Method and device for automatically adjusting screen position for projector
JP2006523067A (en) 2003-04-11 2006-10-05 三菱電機株式会社 How to display an output image on an object
JP2008533451A (en) 2005-03-11 2008-08-21 クリアフォーム インク． Automatic reference system and apparatus for 3D scanning
US9055237B1 (en) 2012-06-01 2015-06-09 Rawles Llc Projection autofocus
JP2016152586A (en) 2015-02-19 2016-08-22 国立大学法人電気通信大学 Projection mapping device, and device, method and program for video projection control
CN111147694B (en) 2019-12-30 2022-03-22 Oppo广东移动通信有限公司 Photographing method, photographing apparatus, terminal device, and computer-readable storage medium
CN112304568A (en) 2020-09-18 2021-02-02 光量信息科技(宁波)有限公司 Laser galvanometer calibration system based on photosensitive sensor and calibration method thereof
CN112666703A (en) 2021-03-18 2021-04-16 光量信息科技(宁波)有限公司 Space curve joint positioning projection system and method based on multiple laser galvanometers

Also Published As

Publication number Publication date
CN112991467B (en) 2021-07-20
CN112991467A (en) 2021-06-18
JP2022173182A (en) 2022-11-18

Similar Documents

Publication Publication Date Title
JP7191309B2 (en) Automatic Guidance, Positioning and Real-time Correction Method for Laser Projection Marking Using Camera
KR102458415B1 (en) System and method for automatic hand-eye calibration of vision system for robot motion
US10571254B2 (en) Three-dimensional shape data and texture information generating system, imaging control program, and three-dimensional shape data and texture information generating method
TWI670153B (en) Robot and robot system
KR102276259B1 (en) Calibration and operation of vision-based manipulation systems
US20150202776A1 (en) Data generation device for vision sensor and detection simulation system
CN109739239B (en) Planning method for uninterrupted instrument recognition of inspection robot
JP2005201824A (en) Measuring device
CN106625713A (en) Method of improving gumming accuracy of gumming industrial robot
JP6869159B2 (en) Robot system
CN111278608B (en) Calibration article for 3D vision robot system
US20210291376A1 (en) System and method for three-dimensional calibration of a vision system
JP6670974B1 (en) Robot coordinate system alignment method, alignment system, and alignment device
US20040081352A1 (en) Three-dimensional visual sensor
US9990739B1 (en) Method and device for fisheye camera automatic calibration
JPH0798214A (en) Method and device for three dimensional position and attitude recognition method based on sense of sight
JP2018194542A (en) Image processing system, image processing apparatus, and image processing program
JP7216775B2 (en) ROBOT ARM COORDINATE SYSTEM CALIBRATION DEVICE AND CALIBRATION METHOD
JP6420530B2 (en) Information processing apparatus, measurement system, control system, light quantity determination method, program, and storage medium
US20230123629A1 (en) 3d computer-vision system with variable spatial resolution
CN111993420A (en) Fixed binocular vision 3D guide piece feeding system
JPH0820207B2 (en) Optical 3D position measurement method
JPH09329440A (en) Coordinating method for measuring points on plural images
Iakovou et al. Integrated sensors for robotic laser welding
JP2018031701A (en) Calibration method and calibration device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220124

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221108

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221128

R150 Certificate of patent or registration of utility model

Ref document number: 7191309

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150