WO2023021668A1 - 撮影ガイド装置 - Google Patents

撮影ガイド装置 Download PDF

Info

Publication number
WO2023021668A1
WO2023021668A1 PCT/JP2021/030462 JP2021030462W WO2023021668A1 WO 2023021668 A1 WO2023021668 A1 WO 2023021668A1 JP 2021030462 W JP2021030462 W JP 2021030462W WO 2023021668 A1 WO2023021668 A1 WO 2023021668A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
photographing
camera
transformation matrix
product
Prior art date
Application number
PCT/JP2021/030462
Other languages
English (en)
French (fr)
Inventor
和寛 渡邉
塁 石山
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to PCT/JP2021/030462 priority Critical patent/WO2023021668A1/ja
Priority to JP2023542138A priority patent/JPWO2023021668A1/ja
Publication of WO2023021668A1 publication Critical patent/WO2023021668A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras

Definitions

  • a fourth index 1434 consists of a rectangular figure and represents the inclination of the shooting direction of the camera 212 with respect to the camera 211 .
  • the quadrangle forming the fourth index 1434 is drawn as a square whose sides are colored in a first color (for example, green) if the camera 212 is not tilted in the shooting direction with respect to the camera 211 .
  • the quadrangle is rendered as a trapezoid having a perspective distortion in the direction corresponding to the direction of the tilt shift.
  • the registration unit 152 is configured to acquire an image of the product carried into the first process processing device 201 and store the registered image and the like in the product DB 144 in the operation phase of the production line 200 .
  • the user places the reference product on the carrier 203 and causes it to be carried toward the first process processing device 201 .
  • the reference product is carried into the first process processing apparatus 201, it is detected by a sensor (not shown) installed in the first process processing apparatus 201, and when the reference product reaches a predetermined position, transportation is temporarily stopped. It is stopped and the reference product is kept stationary.
  • the first process processing device 201 notifies the individual identification device 100 by communication that the product has been carried into the first process processing device 201 .
  • the photographing guide unit 151 adjusts the position/posture of the camera 212 by the camera position/posture adjuster 222 according to instructions input by the user through the operation input unit 120 (step S3).
  • the user inputs, for example, position/orientation information from the operation input unit 120 so that the position/orientation is the same as the position/orientation of the camera 211 that has already been adjusted. can be considered.
  • FIG. 11 is a flowchart showing an example of detailed processing in step S5.
  • the photographing guide unit 151 calculates the rigid transformation matrix Mr of the reference image 142 and the photographed image SG based on the same light-dark pattern. For example, the imaging guide unit 151 calculates the rigid transformation matrix Mr using the phase-only correlation method. Specifically, the photographing guide unit 151 first performs FFT transformation on each of the reference image 142 and the captured image SG, and then further performs logarithmic polar coordinate transformation. Next, the imaging guide unit 151 calculates the rotation angle and the amount of scaling between the reference image 142 and the captured image SG using phase-only correlation from the frequency spectrum images of the reference image 142 and the captured image SG after logarithmic-polar coordinate transformation. calculate.
  • the photographing guide unit 151 first extracts a plurality of feature points from each of the reference image 142 and the photographed image SG using any method such as SIFT or Random. Next, the shooting guide unit 151 associates a plurality of feature points between the reference image 142 and the shot image SG using the Lucas-Kanade method. Next, the photographing guide unit 151 calculates the planar projective transformation matrix Mh of the reference image 142 and the photographed image SG using the coordinates of the associated feature point group.
  • the photographing guide unit 151 multiplies the difference in length from the opposite side by a predetermined exaggeration factor f for each of the sides h 1 , h 2 , h 3 , and h 4 using the following equation, A gamma-corrected value g n is obtained (step S42).
  • g n ((h n ⁇ h n+2 ) ⁇ f/255) 1/gamma ⁇ 255 (4)
  • FIG. 16 is a flow chart showing an example of the operation of the registration unit 152 in the operation phase of the individual identification device 100.
  • FIG. 17 is a flowchart showing an example of the operation of the matching unit 153 in the operation phase of the individual identification device 100. As shown in FIG.
  • the registration unit 152 stores the registration image and the manufacturing information of the product acquired from the first process processing apparatus 201 in the product DB 144 of the storage unit 140 (step S53). The above operation is repeated each time the product is carried into the first process processing apparatus 201 .
  • step S63 of the matching unit 153 will be described.
  • the matching unit 153 may compare the two images themselves, or may compare the feature amounts obtained by performing some transformation on the two images.
  • the matching unit 153 may compare frequency spectrum images obtained by applying frequency transform such as Fourier transform to each of the two images.
  • the matching unit 153 first performs frequency transformation such as Fourier transform on each of the two images to convert them into frequency spectrum images, and then performs polar coordinate transformation or logarithmic polar coordinate transformation on the frequency spectrum images. The resulting polar images (Fourier-Mellin feature images) may be compared.
  • the matching unit 153 first performs frequency transformation such as Fourier transform on each of the two images to convert them into frequency spectrum images, and then performs polar coordinate transformation or logarithmic polar coordinate transformation on the frequency spectrum images. Phase images obtained by transforming into Fourier-Mellin features and then performing frequency transform such as Fourier transform on the Fourier-Mellin features may be compared.
  • frequency transformation such as Fourier transform
  • polar coordinate transformation or logarithmic polar coordinate transformation
  • the matching unit 153 calculates a matching score indicating the degree of similarity between the matching image and the registered image from the correlation coefficient map (step S74).
  • the matching unit 153 performs matching between the matching image and the registered image based on the matching score calculated for each registered image (step S75). For example, if the best score among the plurality of matching scores calculated for each registered image is equal to or greater than a predetermined threshold value, the matching unit 153 matches the matching image with the registered image having the best matching score. (identical). On the other hand, if the best matching score is less than the threshold, the matching unit 153 determines that the matching image does not match (is not the same as) any of the registered images.
  • the user can adjust the orientation of the camera 212 based on the orientation of the projection distortion of the figure that constitutes the fourth index 1434 displayed in the guide image 143 to register. It is possible to easily determine whether or not the direction of the camera 211 for use can be matched.
  • FIG. 19 is a block diagram of a shooting guide device according to this embodiment.
  • the generating means generates the display item further including a text indicator that textually represents the amount of rotation and position deviation.
  • the photographing guide device according to appendix 6.
  • [Appendix 8] calculating a planar projective transformation matrix of a first image obtained by photographing a plane of an object with a first photographing device and a second image obtained by photographing the plane with a second photographing device; Acquiring a second figure obtained by transforming a first figure virtually drawn in the first image in a predetermined orientation and in a predetermined shape based on the planar projective transformation matrix; generating a tilt index representing the tilt of the photographing direction of the second photographing device with respect to the first photographing device based on the second graphic, and generating a display item including the tilt index; displaying the display item superimposed on the second image; Shooting guide method.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

撮影ガイド装置は、対象物の平面を第１の撮影装置によって撮影して得られた第１の画像と前記平面を第２の撮影装置によって撮影して得られた第２の画像の平面射影変換行列を算出する算出手段と、前記第１の画像に所定の向き且つ所定の形状で仮想的に描かれた第１の図形を、前記平面射影変換行列に基づいて変換して得られる第２の図形を取得する取得手段と、前記第２の図形に基づいて、前記第１の撮影装置に対する前記第２の撮影装置の撮影方向の傾きを表す傾斜指標を生成し、前記傾斜指標を含む表示アイテムを生成する生成手段と、前記表示アイテムを前記第２の画像に重畳して表示する表示制御手段と、を含む。

Description

撮影ガイド装置
　本発明は、撮影ガイド装置、撮影ガイド方法、および、記録媒体に関する。
　物体をカメラによって撮影して得られた画像の個体差を個体認証や照合に利用する試みが行われている（例えば特許文献１参照）。
　このように物体をカメラによって撮影して得られた画像の個体差を個体認証などに利用する場合、登録対象物体を撮影したときのカメラの向きと照合対象物体を撮影したときのカメラの向きとが相違すると、射影歪み（台形歪みとも称する）の影響により認証性能が劣化する。そのため、登録時と照合時とでカメラの向きを合わせることが重要である。
　本発明に関連する技術を記載した文献として、特許文献２および特許文献３がある。
　特許文献２に記載された技術（以下、第１の関連技術と記す）では、照合時にカメラによって照合対象物体の照合領域を撮影する際に、所定の向き及び位置に設定したカメラで照合領域を事前に撮影した登録画像あるいはその輪郭線（以下、単に登録画像と記す）を、スルー画像（プレビュー画像やライブビュー画像とも呼ばれる）に重畳表示する。
　特許文献３に記載された技術（以下、第２の関連技術と記す）は、橋梁などの構造物の点検個所をカメラによって毎回同じ位置と向きで撮影する定点観測を支援する技術である。第２の関連技術では、カメラによって構造物を撮影した候補画像と同じ構造物を所定の向き及び位置に設定されたカメラで過去に撮影した登録画像の平面射影変換行列（ホモグラフィ行列とも称する）を推定する。そして、第２の関連技術では、推定した平面射影変換行列に基づき登録画像を変換した後の画像と上記候補画像とを合成した合成画像を表示装置に表示する。
特許第６２１７８８６号 特許第６２０６６４５号 ＷＯ／２０２０／１４５００４
　第１の関連技術によれば、利用者は、スルー画像の照合領域と登録画像とが一致するように、カメラの向きを調整することにより、登録時と照合時とでカメラの向きを合わせることができる。しかし、利用者は、カメラをどの向きに調整すればスルー画像の照合領域と登録画像とが一致するようになるのかを、スルー画像の照合領域と登録画像とを一見しただけでは容易に判断できない。勿論、照合領域の本来の形状が分かっていれば、スルー画像の照合領域の形状の射影歪みの向きとスルー画像に重畳表示された登録画像の形状の射影歪みの向きとからカメラの向きの調整方向を推定することは理論的に可能である。しかし、照合領域の本来の形状が分からない場合がある。また、分かっている場合でも矩形などの単純な形状ではなく台形、ひし形、星形など、射影歪みの向きからカメラの向きの調整方向を推定するのが難しい形状もある。そのような理由により、第１の関連技術では、照合時にカメラの向きを登録時の向きと一致するように調整するのは容易でない。
　一方、定点観測の分野における第２の関連技術を個体認証における撮影に適用することを考える。その場合、照合時にカメラによって照合対象物体の照合領域を撮影した画像と所定の向き及び位置に設定したカメラで照合領域を事前に撮影した登録画像の平面射影変換行列を推定し、その平面射影変換行列に基づき登録画像を変換した後の画像と上記照合対象物体の照合領域を撮影した画像とを合成した合成画像を表示装置に表示する構成となる。このような構成によれば、利用者は、平面射影変換行列に基づき登録画像を変換した後の画像の形状と照合領域の本来の形状などに基づいて、カメラの向きを調整する方向を判断することになる。しかし、前述したように、照合領域の本来の形状が分からない場合がある。また、分かっている場合でも矩形などの単純な形状ではなく台形、ひし形、星形など、射影歪みの向きからカメラの向きの調整方向を推定するのが難しい形状もある。そのような理由により、第２の関連技術を個体認証における撮影に適用した場合、照合時にカメラの向きを登録時の向きと一致するように調整するのは容易でない。
　本発明は、上述した課題を解決する撮影ガイド装置を提供することにある。
　本発明の一形態に係る撮影ガイド装置は、
　対象物の平面を第１の撮影装置によって撮影して得られた第１の画像と前記平面を第２の撮影装置によって撮影して得られた第２の画像の平面射影変換行列を算出する算出手段と、
　前記第１の画像に所定の向き且つ所定の形状で仮想的に描かれた第１の図形を、前記平面射影変換行列に基づいて変換して得られる第２の図形を取得する取得手段と、
　前記第２の図形に基づいて、前記第１の撮影装置に対する前記第２の撮影装置の撮影方向の傾きを表す傾斜指標を生成し、前記傾斜指標を含む表示アイテムを生成する生成手段と、
　前記表示アイテムを前記第２の画像に重畳して表示する表示制御手段と、
を含むように構成されている。
　本発明の他の形態に係る撮影ガイド方法は、
　対象物の平面を第１の撮影装置によって撮影して得られた第１の画像と前記平面を第２の撮影装置によって撮影して得られた第２の画像の平面射影変換行列を算出し、
　前記第１の画像に所定の向き且つ所定の形状で仮想的に描かれた第１の図形を、前記平面射影変換行列に基づいて変換して得られる第２の図形を取得し、
　前記第２の図形に基づいて、前記第１の撮影装置に対する前記第２の撮影装置の撮影方向の傾きを表す傾斜指標を生成し、前記傾斜指標を含む表示アイテムを生成し、
　前記表示アイテムを前記第２の画像に重畳して表示する、
ように構成されている。
　本発明の他の形態に係るコンピュータ読み取り可能な記録媒体は、
　コンピュータに、
　対象物の平面を第１の撮影装置によって撮影して得られた第１の画像と前記平面を第２の撮影装置によって撮影して得られた第２の画像の平面射影変換行列を算出する処理と、
　前記第１の画像に所定の向き且つ所定の形状で仮想的に描かれた第１の図形を、前記平面射影変換行列に基づいて変換して得られる第２の図形を取得する処理と、
　前記第２の図形に基づいて、前記第１の撮影装置に対する前記第２の撮影装置の撮影方向の傾きを表す傾斜指標を生成し、前記傾斜指標を含む表示アイテムを生成する処理と、
　前記表示アイテムを前記第２の画像に重畳して表示する処理と、
を行わせるためのプログラムを記録するように構成されている。
　本発明は、上述したような構成を有することにより、利用者は、所定形状の図形の射影歪みの向きから、カメラをどの向きに調整すれば照合時のカメラの向きを登録時の向きに合わせることができるかを容易に判断することができる。
本発明の第１の実施形態に係る個体識別システムのブロック図である。 本発明の第１の実施形態に係る個体識別システムを構成する生産ラインの第１工程処理装置における製品撮影時のカメラと製品の相対位置関係の一例を示す模式図である。 本発明の第１の実施形態に係る個体識別システムを構成する生産ラインの第１工程処理装置において撮影された登録画像の一例を示す図である。 本発明の第１の実施形態に係る個体識別システムを構成する生産ラインの第２工程処理装置における製品撮影時のカメラと製品の相対位置関係の一例を示す模式図である。 本発明の第１の実施形態に係る個体識別システムを構成する生産ラインの第２工程処理装置において撮影された照合画像の一例を示す図である。 本発明の第１の実施形態に係る個体識別システムを構成する生産ラインの第２工程処理装置において撮影された照合画像の他の例を示す図である。 本発明の第１の実施形態に係る個体識別装置のブロック図である。 本発明の第１の実施形態に係る個体識別装置が利用者に提示するガイド画像の一例を示す図である。 本発明の第１の実施形態に係る個体識別装置における製品ＤＢの構成例を示す図である。 本発明の第１の実施形態に係る個体識別装置における撮影ガイド部の動作の一例を示すフローチャートである。 ステップＳ５の詳細な処理の一例を示すフローチャートである。 基準図形を描画した基準画像の例を示す図である。 第４の指標を算出する処理の一例を示すフローチャートである。 基準図形とそれを射影変換した図形、その射影歪みを誇張した図形、それを回転させた図形の例を示す図である。 図形の各辺に射影歪みに応じた着色を行う処理の一例を示すフローチャートである。 本発明の第１の実施形態に係る個体識別装置の登録部の動作の一例を示すフローチャートである。 本発明の第１の実施形態に係る個体識別装置の照合部の動作の一例を示すフローチャートである。 本発明の第１の実施形態に係る個体識別装置の照合部が照合画像と登録画像とを照合する処理の一例を示すフローチャートである。 本発明の第２の実施形態に係る撮影ガイド装置のブロック図である。
　次に、本発明の実施の形態について、図面を参照して詳細に説明する。
［第１の実施の形態］
　図１は、本発明の第１の実施形態に係る撮影ガイド装置を適用した個体識別システム１０のブロック図である。この個体識別システム１０は、個体識別装置１００と生産ライン２００とから構成される。
　生産ライン２００は、工業製品を生産するラインである。生産する工業製品は特に限定されない。例えば、工業製品は、プリント配線基板などの電気製品、ネジやワッシャなどの金属製品、缶ビールなどの食料品、薬などの医薬品などであってよい。生産ライン２００は、少なくとも２つの工程処理装置、すなわち第１工程処理装置２０１および第２工程処理装置２０２と、コンベアなどの搬送機２０３～２０５とを含んで構成されている。例えば、プリント配線基板のＳＭＴ（Ｓｕｒｆａｃｅ　Ｍｏｕｎｔ　Ｔｅｃｈｎｏｌｏｇｙ）ラインの場合、第１工程処理装置２０１は、例えば基板上にはんだを塗布するはんだ印刷機であり、第２工程処理装置２０２は、はんだ印刷後の基板の所定の場所に複数の電子部品を搭載する部品搭載機である。或いは、第１工程処理装置２０１が部品搭載機であり、第２工程処理装置２０２が、搭載された部品を基板に固定するため、恒温槽の中を、基板を流してはんだを溶解し固めるリフロー機であってもよい。搬送機２０３～２０５は、第１工程処理装置２０１、第２工程処理装置２０２の順に１製品ずつ上流側から下流側へ製品を搬送する手段である。
　生産ライン２００は、調整フェーズと運用フェーズとの２つのフェーズを少なくとも有する。調整フェーズは、運用フェーズに先だって実施され、後述するカメラ位置・姿勢の調整などの処理が実施される。運用フェーズは、大量の製品を流れ作業方式で生産する処理が実施される。この運用フェーズでは、第１工程処理装置２０１を通過した複数の製品は、次に第２工程処理装置２０２に搬入される。しかし、第１工程処理装置２０１と第２工程処理装置２０２との間に、複数の製品を順不同に一時的に蓄積するバッファ部が設けられることがある。そのため、第１工程処理装置２０１を通過した複数の製品は、その通過順序を保ちながら第２工程処理装置２０２を通過するとは限られない。そのため、第２工程処理装置２０２に搬入された製品が、第１工程処理装置２０１を通過したどの製品と同一であるかを識別する個体識別が行われる。
　個体識別装置１００は、製造工程管理、品質管理、出荷管理、販売管理などのために、生産ライン２００で生産される製品の個体を管理する情報処理装置である。個体識別装置１００と第１工程処理装置２０１および第２工程処理装置２０２との間は、有線または無線により相互に通信可能に接続されている。第１工程処理装置２０１および第２工程処理装置２０２には、個体識別のために第１工程処理装置２０１および第２工程処理装置２０２に搬入された製品２４１、２４２を撮影するためのカメラ２１１、２１２と、カメラ２１１、２１２の位置・姿勢を調整するためのカメラ位置・姿勢調整器２２１、２２２と、撮影のための照明を製品に照射する照明器２３１、２３２とが設けられている。カメラ２１１、２１２は、例えば、数百万画素程度の画素容量を有するＣＣＤ（Ｃｈａｒｇｅ－Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）イメージセンサやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　ＭＯＳ）イメージセンサを備えた可視光かつカラーカメラ或いは白黒カメラであってよい。カメラ位置・姿勢調整器２２１、２２２は、例えば、パンチルト雲台や６軸ロボットアームなどであってよい。照明器２３１、２３２は、例えばリング照明やドーム照明などであってよい。
　図２は、第１工程処理装置２０１における製品撮影時のカメラ２１１と製品２４１の相対位置関係の一例を示す模式図である。カメラ２１１は、製品２４１の上面を上方から撮影できる位置に置かれている。カメラ２１１の位置は、カメラ位置・姿勢調整器２２１によって、紙面の左右方向、紙面の手前と奥方向、および紙面の上下方向に調整できる。また、カメラ２１１の姿勢は、カメラ位置・姿勢調整器２２１によって、左右方向（パン方向）、上下方向（チルト方向）、およびカメラ回転方向（ロール方向）に調整できる。製品２４１は、搬送機２０３によって第１工程処理装置２０１に搬入されると、製品２４１の先端が所定位置に到達した時点で、一時的に搬送が停止され、静止した状態とされる。利用者は、静止した状態の製品２４１の上面に形成されたランダムパターンを明暗パターンとして撮影できるように、カメラ位置・姿勢調整器２２１によってカメラ２１１の位置・姿勢を調整する。このとき、必要に応じて水準器やセンサ等の器具を使用してカメラ２１１の最適な位置・姿勢を決定してよい。そして、利用者は、カメラ位置・姿勢調整器２２１による調整を完了すると、その位置・姿勢でカメラ２１１を固定する。カメラ２１１は、固定された位置・姿勢の状態で、静止した状態の製品２４１の照合領域を撮影した画像である登録画像を取得する。
　図３は、カメラ２１１によって製品２４１の照合領域を撮影して得られた登録画像の一例を示す。この例の製品２４１は、平面視リング状を成す金属性のワッシャである。また、照合領域は製品２４１の上面全体である。製品２４１の上面は、略同一平面を形成している。一般に同一の製造過程を経て製造される複数の製品２４１の表面には、個々の製品２４１固有の微細パターンおよび複数の製品２４１に共通な微細パターンや非微細パターンが存在している。
　一方、図４は、第２工程処理装置２０２における製品撮影時のカメラ２１２と製品２４２の相対位置関係の一例を示す模式図である。カメラ２１２は、製品２４２の上面を上方から撮影できる位置に置かれている。カメラ２１２の位置は、カメラ位置・姿勢調整器２２２によって、紙面の左右方向、紙面の手前と奥方向、および紙面の上下方向に調整できる。また、カメラ２１２の姿勢は、カメラ位置・姿勢調整器２２２によって、左右方向（パン方向）、上下方向（チルト方向）、およびカメラ回転方向（ロール方向）に調整できる。製品２４２は、搬送機２０４によって第２工程処理装置２０２に搬入されると、製品２４２の先端が所定位置に到達した時点で、一時的に搬送が停止され、静止した状態とされる。カメラ２１２は、静止した状態の製品２４２の上面を上方から撮影する。このとき、利用者は、製品２４２に対するカメラ２１２の位置・姿勢が、製品２４１に対するカメラ２１１の位置・姿勢と同じになるように、カメラ位置・姿勢調整器２２２によってカメラ２１２の位置・姿勢を初期設定する。
　しかしながら、人手によるカメラ位置の設定誤りやカメラ位置・姿勢調節器の個体差などの種々の要因によって、第２工程処理装置２０２における製品２４２に対するカメラ２１２の初期設定された位置・姿勢が、第１工程処理装置２０１における製品２４１に対するカメラ２１１の位置・姿勢と相違することがある。例えば、カメラ２１２の位置をカメラ２１１と同じ位置に設定するために、カメラ位置・姿勢調整器２２２に対してカメラ位置・姿勢調整器２２１に与えた移動量と同一の移動量を与えたとしても、カメラ位置・姿勢調整器２２１、２２２の個体差により、実際には同じ位置に設定されないことがある。また、カメラ２１２の姿勢をカメラ２１１と同じ姿勢に設定するために、カメラ位置・姿勢調整器２２２に対してカメラ位置・姿勢調整器２２１に与えた回転量と同一の回転量を与えたとしても、カメラ位置・姿勢調整器２２１、２２２の個体差により、実際には同じ回転量に設定されないことがある。
　そして、カメラ２１２の位置・姿勢がカメラ２１１と相違していると、カメラ２１１では製品２４１の上面全体が画像内におさまっているのに対して、例えば図５に示すように、カメラ２１２では製品２４２の上面全体が画像内におさまらず一部が切れることがある。また、カメラ２１２の位置・姿勢がカメラ２１１と相違していると、カメラ２１１では製品２４１の上面の像に射影歪みが発生していないのに対して、例えば図６に示すように、カメラ２１２では製品２４２の上面の像に射影歪みが発生することがある。図５に示したような照合領域全体が画像内に収まらないような位置ずれは、製品の画像上の位置によって視認できるため、利用者は比較的容易に対処することができる。しかし、図６に示したようなカメラ姿勢の相違は、１０度以下の姿勢差では視認で確認することは難しい。また、数ピクセル程度の画像の差を招く僅かな射影歪みでも照合性能の劣化要因となる。そのため、特に射影歪みを引き起こすカメラ姿勢の相違がないようにカメラ２１２の位置・姿勢を調整できるように利用者を支援することが重要である。そこで、個体識別装置１００は、カメラ２１１の位置・姿勢に対するカメラ２１２の位置・姿勢の差を示す情報を利用者に提示するように構成されている。以下、個体識別装置１００について詳細に説明する。
　図７は、個体識別装置１００のブロック図である。図７を参照すると、個体識別装置１００は、第１工程処理装置２０１および第２工程処理装置２０２と通信可能に接続されている。また、個体識別装置１００は、通信Ｉ／Ｆ（インターフェース）部１１０と、操作入力部１２０と、画面表示部１３０と、記憶部１４０と、演算処理部１５０とを含んで構成されている。
　通信Ｉ／Ｆ部１１０は、データ通信回路から構成され、無線または有線によって外部装置との間でデータ通信を行うように構成されている。操作入力部１２０は、キーボードやマウスなどの装置から構成され、オペレータの操作を検出して演算処理部１５０に出力するように構成されている。画面表示部１３０は、ＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）などの装置から構成され、演算処理部１５０からの指示に応じて、各種情報を画面表示するように構成されている。
　記憶部１４０は、ハードディスクやメモリなどの記憶装置から構成され、演算処理部１５０における各種処理に必要な処理情報およびプログラム１４１を記憶するように構成されている。プログラム１４１は、演算処理部１５０に読み込まれて実行されることにより各種処理部を実現するプログラムであり、通信Ｉ／Ｆ部１１０などのデータ入出力機能を介して図示しない外部装置や記録媒体から予め読み込まれて記憶部１４０に保存される。記憶部１４０に記憶される主な処理情報には、基準画像１４２、ガイド画像１４３、および製品ＤＢ（データベース）１４４がある。
　基準画像１４２は、第１工程処理装置２０１に搬入された位置・姿勢調整のための製品（以下、基準製品と記す）の照合領域を、位置・姿勢を調整済みのカメラ２１１によって撮影した画像である。基準製品は、生産ライン２００で生産する複数の製品のうちの１つである。基準製品は、生産ライン２００で生産する他の製品と同様に第１工程処理装置２０１および第２工程処理装置２０２において所定の工程が施されてもよいし、それらの工程が省略されてもよい。例えば、基準製品が平面視リング状を成す金属製のワッシャの場合、基準画像１４２の一例は、図３に示した登録画像の一例と同じ画像になる。
　ガイド画像１４３は、第２工程処理装置２０２に搬入された基準製品の照合領域をカメラ２１２によって撮影した画像に、カメラ２１１に対するカメラ２１２の位置・姿勢のずれの程度を表す表示アイテムを重畳した画像である。
　図８はガイド画像１４３の一例を示す。この例のガイド画像１４３は、第１の指標１４３１と第２の指標１４３２と第３の指標１４３３と第４の指標１４３４とを含む表示アイテムを、カメラ２１２によって撮影した画像に重畳している。第１の指標１４３１は無傾斜指標とも称する。第２の指標１４３２は矢印指標とも称する。第３の指標１４３３はテキスト指標とも称する。第４の指標１４３４は傾斜指標とも称する。
　第１の指標１４３１は、正方形の図形から成り、正方形の位置及び向きにより、カメラ２１１に対するカメラ２１２の位置ずれおよび回転ずれを表している。例えば、カメラ２１２に回転ずれがない場合、上記正方形は正立した状態で描画される。一方、カメラ２１２に回転ずれがある場合、上記正方形は回転ずれ量に応じて正立した状態から回転した状態で描画される。第２の指標１４３２は、１本の矢印から成り、矢印の長さ及び向きにより、カメラ２１１に対するカメラ２１２の位置ずれおよび回転ずれを表している。例えば、カメラ２１２に位置ずれがない場合、矢印の長さはゼロになり、矢印は実質的に描画されない。一方、カメラ２１２に位置ずれがある場合、位置ずれ量に応じた長さの矢印が描画される。このとき、矢印の先端は、第１の指標１４３１を構成する正方形の中心と同じ個所に描画される。従って、第１の指標１４３１を構成する正方形は、カメラ２１２に位置ずれがある場合、矢印の長さおよび向きだけシフトして描画されることになる。第３の指標１４３３は、３行のテキストから成り、１行目および２行目は、カメラ２１１に対するカメラ２１２のＸ軸方向およびＹ軸方向の位置ずれ量を表し、３行目は、カメラ２１１に対するカメラ２１２の回転ずれ角を表している。このように、第１の指標１４３１と第２の指標１４３２と第３の指標１４３３は、何れも、カメラ２１１に対するカメラ２１２の位置ずれおよび回転ずれを表している。
　第４の指標１４３４は、四角形の図形から成り、カメラ２１１に対するカメラ２１２の撮影方向の傾きを表している。第４の指標１４３４を構成する四角形は、カメラ２１１に対してカメラ２１２に撮影方向の傾きのずれがない場合、各辺が第１の色（例えば緑色）で着色された正方形で描画される。一方、カメラ２１１に対してカメラ２１２に撮影方向の傾きのずれがある場合、上記四角形は、傾きのずれ方向に応じた向きの射影歪みを有する台形で描画される。さらに、上記台形の４つの辺のうち、対向する辺と同じ長さの辺は第１の色（例えば緑色）で着色され、対向する辺より短い長さの辺は第２の色（例えば赤色）で着色され、対向する辺より長い長さの辺は第３の色（例えば青色）で着色される。
　但し、ガイド画像１４３の表示アイテムを構成する指標は、上記に限定されない。例えば、表示アイテムは、第４の指標１４３４のみを含んでいてもよい。或いは、表示アイテムは、第４の指標１４３４と、第１乃至第３の指標のうちの何れか１つまたは２つを含んでいてもよい。或いは、表示アイテムは、第１乃至第４の指標とは異なる他の指標を含んでいてよい。他の指標の例として、第４の指標１４３４の射影歪みの向きを示す矢印で構成される指標が考えられる。
　製品ＤＢ１４４は、生産ライン２００で大量生産される個々の製品の画像などの情報を保存するデータベースである。図９は、製品ＤＢ１４４の構成例を示す。この例の製品ＤＢ１４４は、複数のエントリから構成され、１つのエントリは、製品ＩＤ、第１工程の製造情報および登録画像、および第２工程の製造情報および照合画像の各項目から構成される。製品ＩＤの項目には、製品に割り振られた通し番号などのＩＤが設定される。第１工程の製造情報および登録画像の項目には、製品に対する第１工程の作業履歴、使用する部品の形式、ロット番号などから構成される製造情報、および当該製品をカメラ２１１で撮影した画像である登録画像が設定される。第２工程の製造情報および照合画像の項目には、製品に対する第２工程の作業履歴、使用する部品の形式、ロット番号などから構成される製造情報、および当該製品をカメラ２１２で撮影した画像である照合画像が設定される。
　演算処理部１５０は、ＭＰＵなどのプロセッサとその周辺回路を有し、記憶部１４０からプログラム１４１を読み込んで実行することにより、上記ハードウェアとプログラム１４１とを協働させて各種処理部を実現するように構成されている。演算処理部１５０で実現される主な処理部は、撮影ガイド部１５１、登録部１５２、および照合部１５３である。
　撮影ガイド部１５１は、生産ライン２００の調整フェーズにおいて、利用者がカメラ２１１、２１２の位置・姿勢を調整する作業を支援するように構成されている。例えば、撮影ガイド部１５１は、カメラ２１１の位置・姿勢に対するカメラ２１２の位置・姿勢の差を示す情報を、画面表示部１３０を通じて利用者に提示するように構成されている。
　登録部１５２は、生産ライン２００の運用フェーズにおいて、第１工程処理装置２０１に搬入された製品の画像を取得し、登録画像などを製品ＤＢ１４４に保存するように構成されている。
　照合部１５３は、生産ライン２００の運用フェーズにおいて、第２工程処理装置２０２に搬入された製品の画像を取得し、製品ＤＢ１４４に記録されている第１工程処理装置２０１を通過した製品の登録画像と照合することにより、第２工程処理装置２０２に搬入された製品が第１工程処理装置２０１を通過した何れの製品であるかを識別する個体識別を行うように構成されている。
　続いて、個体識別装置１００の動作を説明する。最初に、個体識別装置１００の調整フェーズの動作を説明する。
　図１０は、撮影ガイド部１５１が調整フェーズにおいて実行する処理の一例を示すフローチャートである。図１０を参照すると、先ず、撮影ガイド部１５１は、操作入力部１２０を通じて利用者から入力される指示に従って、カメラ位置・姿勢調整器２２１によってカメラ２１１の位置・姿勢を調整する（ステップＳ１）。製品の最適な照合領域は製品の種類によって異なるため、利用者は、製造する製品の種類に応じたカメラ２１１の位置・姿勢情報を操作入力部１２０から入力することで調整を行う。ここでは、利用者から入力された位置・姿勢情報に従って、カメラ２１１は、図３を参照して説明したように、製品２４１のほぼ真上から上面全体が画像内に収まるような位置・姿勢で調整され、固定されたものとする。
　カメラ２１１の位置・姿勢の調整が完了すると、利用者は基準製品を搬送機２０３に載置し、第１工程処理装置２０１に向かって搬送させる。基準製品が第１工程処理装置２０１に搬入されると、第１工程処理装置２０１内に設置された図示しないセンサによって検知され、基準製品が所定の位置に到達した時点で、一時的に搬送が停止され、基準製品は静止した状態とされる。また、製品が第１工程処理装置２０１に搬入されたことが第１工程処理装置２０１から個体識別装置１００へ通信によって通知される。撮影ガイド部１５１は、この通信によって基準製品の搬入を検知すると、カメラ２１１により基準製品の画像を基準画像１４２として取得し、記憶部１４０に保存する（ステップＳ２）。このとき、撮影ガイド部１５１は、基準画像１４２を利用者に確認させるために画面表示部１３０に表示してよい。
　このように撮影ガイド部１５１の動作により、生産ライン２００の第１工程処理装置２０１のカメラ２１１の位置・姿勢が調整され、その調整された位置・姿勢のカメラ２１１で撮影された基準製品の画像である基準画像１４２が記憶部１４０に保存される。
　次に、撮影ガイド部１５１は、操作入力部１２０を通じて利用者から入力される指示に従って、カメラ位置・姿勢調整器２２２によってカメラ２１２の位置・姿勢を調整する（ステップＳ３）。利用者は、カメラ２１２の最初の位置・姿勢調整時には、例えば、調整済みのカメラ２１１の位置・姿勢と同一の位置・姿勢となるような位置・姿勢情報を操作入力部１２０から入力して調整を行うことが考えられる。
　利用者は、カメラ２１２の位置・姿勢を調整した後、第１工程処理装置２０１に搬入された基準製品を第１工程処理装置２０１から取り出し、搬送機２０４に載置して第２工程処理装置２０２に向かって搬送させる。搬送機２０４によって基準製品が第２工程処理装置２０２に搬入されると、第２工程処理装置２０２内に設置された図示しないセンサによって検知され、基準製品が所定位置に到達した時点で、一時的に搬送が停止され、基準製品は静止した状態とされる。また、基準製品が第２工程処理装置２０２に搬入されたことが第２工程処理装置２０２から個体識別装置１００へ通信によって通知される。撮影ガイド部１５１は、この基準製品の搬入を検知すると、カメラ２１２により基準製品の画像を撮影し、撮影された画像を取得する（ステップＳ４）。
　次に、撮影ガイド部１５１は、ステップＳ２で取得した基準画像１４２と直前のステップＳ４で取得した撮影画像（以下、撮影画像ＳＧと記す）とから、図８に例示したようなガイド画像１４３を生成し、画面表示部１３０に表示する（ステップＳ５）。利用者は、表示されたガイド画像１４３を目視で確認し、カメラ２１１に対してカメラ２１２の位置・姿勢がずれていないかどうかを確認する。そして、利用者は、カメラ２１２の位置・姿勢を再調整する必要がなければ、例えば操作入力部１２０からＯＫを示す指示を入力し、そうでなければＮＧを示す指示を入力する。撮影ガイド部１５１は、ＯＫの指示が入力されると、図１０に示す処理を終了する。一方、ＮＧの指示が入力されると、撮影ガイド部１５１は、ステップＳ３の処理に戻り、上述した処理と同様の処理を再び繰り返す。
　続いて、ガイド画像１４３を生成するステップＳ５の詳細について説明する。図１１は、ステップＳ５の詳細な処理の一例を示すフローチャートである。
　先ず、撮影ガイド部１５１は、ステップＳ２で取得した基準画像１４２と直前のステップＳ４で取得した撮影画像ＳＧの平面射影変換行列Ｍｈを算出する（ステップＳ１１～Ｓ１２）。具体的には、先ず、撮影ガイド部１５１は、基準画像１４２と撮影画像ＳＧの剛体変換行列Ｍｒを算出する（ステップＳ１１）。基準画像１４２と撮影画像ＳＧは同じ基準製品を撮影した画像である。基準製品の表面には、製品個体に固有の微細パターンが存在していると共に、製品金型に起因する複数の製品に共通な微細パターンおよび非微細パターンが存在している。そのため、基準画像１４２と撮影画像ＳＧには、同一の微細パターンおよび非微細パターンによる、同一の明暗パターンが存在している。撮影ガイド部１５１は、このような同一の明暗パターンに基づいて、基準画像１４２と撮影画像ＳＧの剛体変換行列Ｍｒを算出する。例えば、撮影ガイド部１５１は、位相限定相関法を用いて剛体変換行列Ｍｒを算出する。具体的には、撮影ガイド部１５１は、先ず、基準画像１４２および撮影画像ＳＧのそれぞれをＦＦＴ変換した後に更に対数極座標変換する。次に、撮影ガイド部１５１は、対数極座標変換後の基準画像１４２および撮影画像ＳＧの周波数スペクトル画像から、位相限定相関を用いて、基準画像１４２と撮影画像ＳＧ間の回転角度および拡大縮小量を算出する。次に、上記算出した回転角度および拡大縮小量を用いて基準画像１４２と撮影画像ＳＧの回転ずれおよび拡大縮小ずれを補正し、補正後の基準画像１４２と撮影画像ＳＧの周波数スペクトル画像から、位相限定相関を用いて、基準画像１４２と撮影画像ＳＧ間の位置ずれ量（平行移動量）を算出する。上記算出した位置ずれ量、回転角度、および拡大縮小量から剛体変換行列Ｍｒは一意に定められる。
　次に、撮影ガイド部１５１は、上記算出した剛体変換行列Ｍｒを用いて撮影画像ＳＧを剛体変換して得られる画像（以下、撮影画像ＳＧ’と記す）を取得する（ステップＳ１２）。撮影画像ＳＧ’は、基準画像１４２とほぼ重なる画像となる。次に、撮影ガイド部１５１は、基準画像１４２と撮影画像ＳＧ’から２つの画像間の平面射影変換行列Ｍｈ’を算出する（ステップＳ１３）。具体的には、先ず、撮影ガイド部１５１は、基準画像１４２と撮影画像ＳＧ’のそれぞれからＳＩＦＴ、Ｒａｎｄｏｍ等の任意の手法を用いて複数の特徴点を抽出する。次に、撮影ガイド部１５１は、Ｌｕｃａｓ－Ｋａｎａｄｅ法を用いて、基準画像１４２と撮影画像ＳＧ’間で複数の特徴点を対応付ける。次に、撮影ガイド部１５１は、対応付けられた特徴点群の座標を用いて基準画像１４２と撮影画像ＳＧ’の平面射影変換行列Ｍｈ’を算出する。
　基準画像１４２と撮影画像ＳＧの平面射影変換行列Ｍｈは、上記剛体変換行列Ｍｒと上記平面射影変換行列Ｍｈ’の積で与えられる。なお、平面射影変換行列Ｍｈは、相似変換行列とアフィン変換行列と射影変換行列とに分解できる。そのため、剛体変換行列Ｍｒを用いた平行移動、回転、拡大縮小の変換は、平面射影変換行列Ｍｈを分解して得られる相似変換行列およびアフィン変換行列を用いた平行移動、回転、拡大縮小の変換と同じである。また、平面射影変換行列Ｍｈ’を用いた変換は、平面射影変換行列Ｍｈを分解して得られる射影変換行列を用いた変換と同じである。
　上記では、基準画像１４２と撮影画像ＳＧの平面射影変換行列Ｍｈを、基準画像１４２と撮影画像ＳＧの剛体変換行列Ｍｒと、基準画像１４２と剛体変換行列Ｍｒによる変換後の撮影画像ＳＧ’の平面射影変換行列Ｍｈ’とに分割して算出した。しかし、平面射影変換行列Ｍｈを算出する方法は、上記に限定されない。例えば、基準画像１４２と撮影画像ＳＧとの回転ずれ、位置ずれ、および拡大縮小ずれが小さいことが保証されている環境では、基準画像１４２と撮影画像ＳＧとから直接に平面射影変換行列Ｍｈを算出してよい。すなわち、撮影ガイド部１５１は、先ず、基準画像１４２と撮影画像ＳＧのそれぞれからＳＩＦＴ、Ｒａｎｄｏｍ等の任意の手法を用いて複数の特徴点を抽出する。次に、撮影ガイド部１５１は、Ｌｕｃａｓ－Ｋａｎａｄｅ法を用いて、基準画像１４２と撮影画像ＳＧ間で複数の特徴点を対応付ける。次に、撮影ガイド部１５１は、対応付けられた特徴点群の座標を用いて基準画像１４２と撮影画像ＳＧの平面射影変換行列Ｍｈを算出する。
　次に、撮影ガイド部１５１は、基準画像１４２中の基準製品の平面上に所定の向き且つ所定の形状の基準図形１４２１を仮想的に描画する（ステップＳ１４）。図１２は、基準図形１４２１を描画した基準画像１４２の例を示す。この例の基準図形１４２１は正方形である。また、この例では、中心が基準製品の中心に一致するように、基準図形１４２１を正立した向きで描画している。正立した向きとは、基準図形１４２１の各辺が基準画像１４２の横方向（Ｘ軸）または縦方向（Ｙ軸）に平行になる向きである。基準図形１４２１の各頂点の位置は、基準画像１４２のＸＹ座標値で特定される。但し、基準図形１４２１は正方形に限定されず、長方形など他の形状を有する図形であってよい。また、基準図形１４２１の成立した向きは上記に限定されない。
　次に、撮影ガイド部１５１は、基準図形１４２１に対してステップＳ１１で算出した剛体変換行列Ｍｒによる剛体変換を適用することにより、位置および向きにより位置ずれおよび回転ずれを表す正方形からなる第１の指標１４３１を算出する（ステップＳ１５）。また、第１の指標１４３１を構成する正方形のサイズは、基準図形１４２１のサイズと剛体変換行列Ｍｒの拡大縮小成分により決定される。なお、カメラ２１２の拡大縮小のずれ量を可視化するため、拡大縮小のずれ量のない正方形を１つの指標として作成し表示アイテムに含めるようにしてもよい。
　次に、撮影ガイド部１５１は、ステップＳ１１において算出した剛体変換行列Ｍｒの成分である位置ずれ量および回転角度から、矢印の長さおよび向きにより位置ずれおよび回転ずれを表す第２の指標１４３２を算出する（ステップＳ１６）。
　次に、撮影ガイド部１５１は、ステップＳ１１において算出した剛体変換行列Ｍｒの成分である位置ずれ量および回転角度から、テキストにより位置ずれおよび回転ずれを表す第３の指標１４３３を算出する（ステップＳ１７）。
　次に、撮影ガイド部１５１は、第４の指標１４３４を算出する（ステップＳ１８）。このステップＳ１８の詳細は後述する。次に、撮影ガイド部１５１は、撮影画像ＳＧに第１乃至第４の指標を含む表示アイテムを重畳して得られるガイド画像１４３を取得する（ステップＳ１９）。次に、撮影ガイド部１５１は、ガイド画像１４３を画面表示部１３０に表示する（ステップＳ２０）。
　図１３は、第４の指標１４３４を算出する処理の一例を示すフローチャートである。図１３を参照すると、撮影ガイド部１５１は、先ず、基準図形１４２１をステップＳ１３で算出された平面射影変換行列Ｍｈ’を用いて射影変換して得られる図形を算出する（ステップＳ３１）。図１４は、基準図形１４２１とそれを射影変換した図形１４２２の一例を示す。基準図形１４２１は、頂点ａ1，ａ2，ａ3，ａ4を持つ正方形である。射影変換後の図形１４２２は、頂点ｂ1，ｂ2，ｂ3，ｂ4を持つ台形である。
　次に、撮影ガイド部１５１は、ステップＳ３１で算出した射影変換後の図形１４２２の射影歪みを誇張した図形を算出する（ステップＳ３２）。図１４に示す図形１４２３は、図形１４２２の射影歪みを誇張した図形の例である。撮影ガイド部１５１は、例えば以下のような方法を用いて、射影歪みを誇張した図形を算出する。
　先ず、撮影ガイド部１５１は、図形１４２２の頂点ｂn毎に、基準図形１４２１の対応する頂点ａnとの間のＸ座標値の差（ｂnX－ａnＸ）、およびＹ座標値の差（ｂnＹ－ａnＹ）を算出する。次に、撮影ガイド部１５１は、上記の差をｅ倍する。ここで、ｅは事前に定められた誇張係数である。次に、撮影ガイド部１５１は、上記ｅ倍した差を基準図形１４２１の対応する頂点ａnの座標値に足し合わせて、誇張された射影歪みの図形１４２３の頂点ｃ1，ｃ2，ｃ3，ｃ4の座標値を算出する。頂点ｃnのＸ座標値およびＹ座標値は次式で与えられる。
　ｃnＸ＝（ｂnＸ－ａnＸ）×ｅ＋ａnＸ　　　・・・（１）
　ｃnＹ＝（ｂnＹ－ａnＹ）×ｅ＋ａnＹ　　　・・・（２）
　再び図１３を参照すると、撮影ガイド部１５１は、ステップＳ３２で算出した射影歪みを誇張した図形１４２３にステップＳ１１で算出した剛体変換行列Ｍｒに基づく変換を適用して得られる図形を算出する（ステップＳ３３）。図１４に示す図形１４２４は、図形１４２３に上記変換を適用して得られる図形の一例である。なお、撮影ガイド部１５１は、ステップＳ３３において、図形１４２３に剛体変換行列Ｍｒの回転成分だけを適用して得られる図形１４２４を算出するようにしてもよい。
　次に、撮影ガイド部１５１は、ステップＳ３３で算出した図形１４２４の各辺に射影歪みに応じた着色を行って得られる図形を第４の指標１４３４として算出する（ステップＳ３４）。
　図１５は、図形の各辺に射影歪みに応じた着色を行う処理の一例を示すフローチャートである。図１５を参照すると、撮影ガイド部１５１は、先ず、次式を用いて、基準図形１４２１を射影変換した図形１４２２の各辺ｈ1，ｈ2，ｈ3，ｈ4の長さを算出する（ステップＳ４１）。
　ｈn＝ＳＱＲＴ((ｂnＸ－ｂn+1Ｘ)2＋(ｂnＹ－ｂn+1Ｙ)2)　　　・・・（３）
　次に、撮影ガイド部１５１は、次式を用いて、各々の辺ｈ1，ｈ2，ｈ3，ｈ4について、対辺との長さの差に予め定められた誇張係数ｆを乗算し、ガンマ補正した値ｇnを求める（ステップＳ４２）。
　ｇn＝((ｈn－ｈn+2)×ｆ／２５５）1/gamma×２５５　　　（４）
　次に、撮影ガイド部１５１は、図形１４２２の各々の辺に１対１に対応する図形１４２４の辺について、ＨＬＳ色空間において、色相：ｇn＋７５、輝度：１２８、彩度：２５５に対応する色で辺を着色する（ステップＳ４３）。ここで、色相と輝度と彩度の値域は０～２５５である。色相が７５の色は緑である。７５より色相が小さくなると赤色になり、大きくなると青色になる。上記式から、対辺と同じ長さの辺は緑色で着色され、対辺より短い辺は赤色で着色され、対辺より長い辺は青色で着色される。
　以上が、個体識別装置１００の調整フェーズの動作である。
　続いて、個体識別装置１００の運用フェーズの動作を説明する。図１６は、個体識別装置１００の運用フェーズにおける登録部１５２の動作の一例を示すフローチャートである。また、図１７は、個体識別装置１００の運用フェーズにおける照合部１５３の動作の一例を示すフローチャートである。
　先ず、個体識別装置１００の運用フェーズにおける登録部１５２の動作について図１６を参照して説明する。運用フェーズにおいて、製品が第１工程処理装置２０１に搬入されると、第１工程処理装置２０１内に設置された図示しないセンサによって検知され、製品が所定位置に到達した時点で、一時的に搬送が停止され、製品は静止した状態とされる。また、製品が第１工程処理装置２０１に搬入されたことが第１工程処理装置２０１から個体識別装置１００へ通信によって通知される。登録部１５２は、この通信によって製品の搬入を検知すると（ステップＳ５１でＹＥＳ）、製品の画像を登録画像として取得する（ステップＳ５２）。次に、登録部１５２は、上記登録画像と第１工程処理装置２０１から取得された製品の製造情報とを記憶部１４０の製品ＤＢ１４４に保存する（ステップＳ５３）。上記動作は、製品が第１工程処理装置２０１に搬入される毎に繰り返される。
　続いて、運用フェーズの照合部１５３の動作を説明する。搬送機２０４によって製品が第２工程処理装置２０２に搬入されると、第２工程処理装置２０２内に設置された図示しないセンサによって検知され、製品が所定位置に到達した時点で、一時的に搬送が停止され、製品は静止した状態とされる。また、製品が第２工程処理装置２０２に搬入されたことが第２工程処理装置２０２から個体識別装置１００へ通信によって通知される。照合部１５３は、製品の搬入を検知すると（ステップＳ６１）、製品の画像を照合画像として取得する（ステップＳ５２）。次に、照合部１５３は、上記照合画像と製品ＤＢ１４４に保存されている１以上の登録画像とを照合し、照合スコアを算出する（ステップＳ６３）。ここで、照合部１５３は、上記照合画像と照合する１以上の登録画像として、製品ＤＢ１４４に登録されている登録画像のうち未だ第２工程処理装置の照合画像と照合に成功していない登録画像を使用する。例えば、上記照合画像の照合時点で製品ＤＢ１４４が図９に示した状態にある場合、登録画像Ｇ１０１は照合画像Ｇ２０１と照合成功しているため、照合成功していない登録画像Ｇ１０２～Ｇ１０８と順に照合する。
　照合部１５３は、照合画像との照合スコアが閾値より大きい登録画像が存在した場合（ステップＳ６４でＹＥＳ）、照合画像に係る製品は照合スコアが閾値より大きい登録画像に係る製品と同一であると判定する（ステップＳ６５）。この場合、照合部１５３は、上記照合画像と第２工程処理装置２０２から取得された製造情報とを、照合一致した登録画像に対応付けて製品ＤＢ１４４に保存する（ステップＳ６６）。そして、ステップＳ６１に戻って、上述した処理と同様の処理を繰り返す。
　一方、照合部１５３は、照合画像との照合スコアが閾値より大きい登録画像が製品ＤＢ１４４に存在しなかった場合（ステップＳ６４でＮＯ）、エラー処理を行い（ステップＳ６７）、その後、ステップＳ６１に戻って、上述した処理と同様の処理を繰り返す。
　次に、照合部１５３のステップＳ６３の詳細を説明する。
　照合部１５３が照合画像と登録画像との２つの画像を照合する具体的な手法は各種考えられる。例えば、照合部１５３は、２つの画像そのものを比較してもよいし、２つの画像に対して何らかの変換を施して得られた特徴量どうしを比較してもよい。例えば、照合部１５３は、２つの画像のそれぞれを、フーリエ変換等の周波数変換を施して得られる周波数スペクトル画像どうしを比較してよい。或いは、照合部１５３は、２つの画像のそれぞれを、先ずフーリエ変換等の周波数変換を施して周波数スペクトル画像に変換し、次に、その周波数スペクトル画像に対して極座標変換あるいは対数極座標変換を施して得られる極座標画像（フーリエ・メリン特徴画像）どうしを比較してよい。或いは、照合部１５３は、２つの画像のそれぞれを、先ずフーリエ変換等の周波数変換を施して周波数スペクトル画像に変換し、次に、その周波数スペクトル画像に対して極座標変換あるいは対数極座標変換を施してフーリエ・メリン特徴に変換し、更に、そのフーリエ・メリン特徴に対してフーリエ変換等の周波数変換を施して得られる位相画像どうしを比較してよい。以下では、照合部１５３が実施する照合方法の一例を説明する。
　図１８は、照合部１５３が照合画像と登録画像とを照合する処理の一例を示すフローチャートである。図１８を参照すると、照合部１５３は、まず、照合画像および登録画像に対して離散フーリエ変換を施すことにより、照合画像の周波数スペクトル画像と登録画像の周波数スペクトル画像とを取得する（ステップＳ７１）。登録画像が複数存在する場合、照合部１５３は、その各々の登録画像から周波数スペクトル画像を取得する。次に、照合部１５３は、登録画像毎に、照合画像の周波数スペクトル画像と登録画像の周波数スペクトル画像との正規化クロスパワースペクトルを算出する（ステップＳ７２）。次に、照合部１５３は、登録画像毎に、正規化クロスパワースペクトルを逆フーリエ変換して相関係数マップを算出する（ステップＳ７３）。次に、照合部１５３は、登録画像毎に、相関係数マップから照合画像と登録画像の類似度を示す照合スコアを算出する（ステップＳ７４）。次に、照合部１５３は、登録画像毎に算出した照合スコアに基づいて、照合画像と登録画像との照合を行う（ステップＳ７５）。例えば、照合部１５３は、登録画像毎に算出した複数の照合スコアのうちの最良のスコアが予め定められた閾値以上であれば、照合画像は上記最良の照合スコアとなった登録画像と一致する（同一である）と判定する。他方、照合部１５３は、上記最良の照合スコアが上記閾値未満であれば、照合画像は何れの登録画像とも一致しない（同一でない）と判定する。
　このように運用フェーズにおいては、調整フェーズにおいて位置・姿勢が調整されたカメラ２１１、２１２の下で、第１工程処理装置２０１に搬入された製品の登録画像と第２工程処理装置２０２に搬入された製品の照合画像とが取得されて照合され、製品個体の識別が行われる。
　以上説明したように、本実施形態によれば、利用者は、ガイド画像１４３に表示される第４の指標１４３４を構成する図形の射影歪みの向きから、カメラ２１２をどの向きに調整すれば登録用のカメラ２１１の向きに合わせることができるかを容易に判断することができる。
　また、本実施形態では、第４の指標１４３４を構成する図形の射影歪みを誇張しているため、利用者は、射影歪みを肉眼では確認し難い姿勢差１０度以下の場合であっても、図形の射影歪みの向きを肉眼で容易に確認することができる。その結果、カメラ２１２の向きの調整方向を肉眼で容易に認識することができる。
　また、本実施形態では、第４の指標１４３４を構成する図形の各辺を射影歪みの向きに応じて着色しているため、利用者は、図形の射影歪みの向きを視覚的に容易に確認することができる。その結果、カメラ２１２の向きの調整方法を視覚的に容易に認識することができる。
　２つの画像の差の視認性を向上させるために画像間のずれを誇張するとしても、単純にずれ全体を誇張すると、射影歪みだけでなく回転歪みも誇張することになる。しかし、回転歪みを誇張すると、カメラを修正すべき方向が分かり難くなる。そこで、本実施形態では、第４の指標１４３４を構成する図形の射影歪みは誇張するが、当該図形の回転歪みは誇張しないようにしている。
　また、本実施形態によれば、利用者は、ガイド画像１４３に表示される第１の指標１４３１を構成する正方形の位置及び向きにより、カメラ２１１に対するカメラ２１２の位置ずれおよび回転ずれを認識することができる。
　また、本実施形態によれば、利用者は、ガイド画像１４３に表示される第２の指標１４３２を構成する矢印の長さ及び向きにより、カメラ２１１に対するカメラ２１２の位置ずれおよび回転ずれを認識することができる。
　また、本実施形態によれば、利用者は、ガイド画像１４３に表示される第３の指標１４３３を構成するテキストにより、カメラ２１１に対するカメラ２１２のＸ軸方向およびＹ軸方向の位置ずれ量、および、カメラ２１１に対するカメラ２１２の回転角度を認識することができる。
［第２の実施の形態］
　次に、本発明の第２の実施形態に係る撮影ガイド装置について図１９を参照して説明する。図１９は、本実施の形態における撮影ガイド装置のブロック図である。
　図１９を参照すると、本実施形態に係る撮影ガイド装置３００は、算出手段３０１と取得手段３０２と生成手段３０３と表示制御手段３０４とを含んで構成されている。
　算出手段３０１は、対象物の平面を第１の撮影装置によって撮影して得られた第１の画像と上記平面を第２の撮影装置によって撮影して得られた第２の画像の平面射影変換行列を算出するように構成されている。
　取得手段３０２は、上記第１の画像中に所定の向き且つ所定の形状で仮想的に描かれた第１の図形を上記平面射影変換行列に基づいて変換して得られる第２の図形を取得するように構成されている。
　生成手段３０３は、上記第２の図形に基づいて、第１の撮影装置に対する第２の撮影装置の撮影方向の傾きを表す傾斜指標を生成し、上記傾斜指標を含む表示アイテムを生成するように構成されている。
　表示制御手段３０４は、上記表示アイテムを上記第２の画像に重畳して表示するように構成されている。
　このように構成された撮影ガイド装置３００は、以下のように動作する。すなわち、先ず、算出手段３０１は、対象物の平面を第１の撮影装置によって撮影して得られた第１の画像と上記平面を第２の撮影装置によって撮影して得られた第２の画像の平面射影変換行列を算出する。次に、取得手段３０２は、上記第１の画像中に所定の向き且つ所定の形状で仮想的に描かれた第１の図形を上記平面射影変換行列に基づいて変換して得られる第２の図形を取得する。次に、生成手段３０３は、上記第２の図形に基づいて、第１の撮影装置に対する第２の撮影装置の撮影方向の傾きを表す傾斜指標を生成し、上記傾斜指標を含む表示アイテムを生成する。次に、表示制御手段３０４は、上記表示アイテムを上記第２の画像に重畳して表示する。
　以上のように構成され動作する撮影ガイド装置３００によれば、利用者は、傾斜指標を構成する図形の射影歪みの向きから、第２の撮影装置をどの向きに調整すれば第１の撮影装置の向きに合わせることができるかを容易に判断することができる。
　以上、上記各実施形態を参照して本発明を説明したが、本発明は、上述した実施形態に限定されるものではない。本発明の構成や詳細には、本発明の範囲内で当業者が理解しうる様々な変更をすることができる。
　例えば、上記第１の実施形態では、生産ラインに設定されたカメラ２１２の位置・姿勢をカメラ２１１の位置・姿勢に合わせる作業を支援するための撮影ガイド装置に本発明を適用した。しかし、利用者がカメラで撮影した製品の画像を予め撮影され登録された製品の画像と照合して個体識別や真贋判定を行う際のカメラの位置・姿勢の撮影ガイド装置に本発明を適用してもよい。
　本発明は、個体を識別する分野に利用でき、例えば、生産ラインを流れる製品の個体を識別する分野に利用できる。
　上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
［付記１］
　対象物の平面を第１の撮影装置によって撮影して得られた第１の画像と前記平面を第２の撮影装置によって撮影して得られた第２の画像の平面射影変換行列を算出する算出手段と、
　前記第１の画像に所定の向き且つ所定の形状で仮想的に描かれた第１の図形を、前記平面射影変換行列に基づいて変換して得られる第２の図形を取得する取得手段と、
　前記第２の図形に基づいて、前記第１の撮影装置に対する前記第２の撮影装置の撮影方向の傾きを表す傾斜指標を生成し、前記傾斜指標を含む表示アイテムを生成する生成手段と、
　前記表示アイテムを前記第２の画像に重畳して表示する表示制御手段と、
を含む撮影ガイド装置。
［付記２］
　前記算出手段は、前記第１の画像と前記第２の画像の剛体変換行列を算出し、前記第１の画像と前記第２の画像を前記剛体変換行列に基づいて変換して得られる画像の平面射影変換行列を算出する、
付記１に記載の撮影ガイド装置。
［付記３］
　前記生成手段は、前記第２の図形の射影歪みを誇張して得られる図形を前記傾斜指標として生成する、
付記１または２に記載の撮影ガイド装置。
［付記４］
　前記第１の図形は正方形であり、
　前記生成手段は、前記第２の図形の４辺のそれぞれについて、辺の長さを対向する辺の長さと比較し、対向する辺と同じ長さの辺を第１の色で着色し、対向する辺より短い長さの辺を第２の色で着色し、対向する辺より長い長さの辺を第３の色で着色して得られる図形を前記傾斜指標として生成する、
付記１乃至３の何れかに記載の撮影ガイド装置。
［付記５］
　前記取得手段は、前記第１の図形を前記剛体変換行列に基づいて変換して得られる第３の図形をさらに取得し、
　前記生成手段は、前記第３の図形を無傾斜指標としてさらに含む前記表示アイテムを生成する、
付記２に記載の撮影ガイド装置。
［付記６］
　前記取得手段は、前記第１の図形に対する前記第３の図形の回転および位置のずれ量をさらに取得し、
　前記生成手段は、前記回転および位置のずれ量を矢印の向きおよび長さで表す矢印指標をさらに含む前記表示アイテムを生成する、
付記５に記載の撮影ガイド装置。
［付記７］
　前記生成手段は、前記回転および位置のずれ量をテキストで表すテキスト指標をさらに含む前記表示アイテムを生成する、
付記６に記載の撮影ガイド装置。
［付記８］
　対象物の平面を第１の撮影装置によって撮影して得られた第１の画像と前記平面を第２の撮影装置によって撮影して得られた第２の画像の平面射影変換行列を算出し、
　前記第１の画像に所定の向き且つ所定の形状で仮想的に描かれた第１の図形を、前記平面射影変換行列に基づいて変換して得られる第２の図形を取得し、
　前記第２の図形に基づいて、前記第１の撮影装置に対する前記第２の撮影装置の撮影方向の傾きを表す傾斜指標を生成し、前記傾斜指標を含む表示アイテムを生成し、
　前記表示アイテムを前記第２の画像に重畳して表示する、
撮影ガイド方法。
［付記９］
　コンピュータに、
　対象物の平面を第１の撮影装置によって撮影して得られた第１の画像と前記平面を第２の撮影装置によって撮影して得られた第２の画像の平面射影変換行列を算出する処理と、
　前記第１の画像に所定の向き且つ所定の形状で仮想的に描かれた第１の図形を、前記平面射影変換行列に基づいて変換して得られる第２の図形を取得する処理と、
　前記第２の図形に基づいて、前記第１の撮影装置に対する前記第２の撮影装置の撮影方向の傾きを表す傾斜指標を生成し、前記傾斜指標を含む表示アイテムを生成する処理と、
　前記表示アイテムを前記第２の画像に重畳して表示する処理と、
を行わせるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
１０　個体識別システム
１００　個体識別装置
１１０　通信Ｉ／Ｆ部
１２０　操作入力部
１３０　画面表示部
１４０　記憶部
１４１　プログラム
１４２　基準画像
１４３　ガイド画像
１４４　製品ＤＢ
１５０　演算処理部
１５１　撮影ガイド部
１５２　登録部
１５３　照合部
２０１　第１工程処理装置
２０２　第２工程処理装置
２０３～２０５　搬送機
２１１、２１２　カメラ
２２１、２２２　カメラ位置・姿勢調整器
２３１、２３２　照明器
２４１、２４２　製品

Claims (9)

  1. 　対象物の平面を第１の撮影装置によって撮影して得られた第１の画像と前記平面を第２の撮影装置によって撮影して得られた第２の画像の平面射影変換行列を算出する算出手段と、
    　前記第１の画像に所定の向き且つ所定の形状で仮想的に描かれた第１の図形を、前記平面射影変換行列に基づいて変換して得られる第２の図形を取得する取得手段と、
    　前記第２の図形に基づいて、前記第１の撮影装置に対する前記第２の撮影装置の撮影方向の傾きを表す傾斜指標を生成し、前記傾斜指標を含む表示アイテムを生成する生成手段と、
    　前記表示アイテムを前記第２の画像に重畳して表示する表示制御手段と、
    を含む撮影ガイド装置。
  2. 　前記算出手段は、前記第１の画像と前記第２の画像の剛体変換行列を算出し、前記第１の画像と前記第２の画像を前記剛体変換行列に基づいて変換して得られる画像の平面射影変換行列を算出する、
    請求項１に記載の撮影ガイド装置。
  3. 　前記生成手段は、前記第２の図形の射影歪みを誇張して得られる図形を前記傾斜指標として生成する、
    請求項１または２に記載の撮影ガイド装置。
  4. 　前記第１の図形は正方形であり、
    　前記生成手段は、前記第２の図形の４辺のそれぞれについて、辺の長さを対向する辺の長さと比較し、対向する辺と同じ長さの辺を第１の色で着色し、対向する辺より短い長さの辺を第２の色で着色し、対向する辺より長い長さの辺を第３の色で着色して得られる図形を前記傾斜指標として生成する、
    請求項１乃至３の何れかに記載の撮影ガイド装置。
  5. 　前記取得手段は、前記第１の図形を前記剛体変換行列に基づいて変換して得られる第３の図形をさらに取得し、
    　前記生成手段は、前記第３の図形を無傾斜指標としてさらに含む前記表示アイテムを生成する、
    請求項２に記載の撮影ガイド装置。
  6. 　前記取得手段は、前記第１の図形に対する前記第３の図形の回転および位置のずれ量をさらに取得し、
    　前記生成手段は、前記回転および位置のずれ量を矢印の向きおよび長さで表す矢印指標をさらに含む前記表示アイテムを生成する、
    請求項５に記載の撮影ガイド装置。
  7. 　前記生成手段は、前記回転および位置のずれ量をテキストで表すテキスト指標をさらに含む前記表示アイテムを生成する、
    請求項６に記載の撮影ガイド装置。
  8. 　対象物の平面を第１の撮影装置によって撮影して得られた第１の画像と前記平面を第２の撮影装置によって撮影して得られた第２の画像の平面射影変換行列を算出し、
    　前記第１の画像に所定の向き且つ所定の形状で仮想的に描かれた第１の図形を、前記平面射影変換行列に基づいて変換して得られる第２の図形を取得し、
    　前記第２の図形に基づいて、前記第１の撮影装置に対する前記第２の撮影装置の撮影方向の傾きを表す傾斜指標を生成し、前記傾斜指標を含む表示アイテムを生成し、
    　前記表示アイテムを前記第２の画像に重畳して表示する、
    撮影ガイド方法。
  9. 　コンピュータに、
    　対象物の平面を第１の撮影装置によって撮影して得られた第１の画像と前記平面を第２の撮影装置によって撮影して得られた第２の画像の平面射影変換行列を算出する処理と、
    　前記第１の画像に所定の向き且つ所定の形状で仮想的に描かれた第１の図形を、前記平面射影変換行列に基づいて変換して得られる第２の図形を取得する処理と、
    　前記第２の図形に基づいて、前記第１の撮影装置に対する前記第２の撮影装置の撮影方向の傾きを表す傾斜指標を生成し、前記傾斜指標を含む表示アイテムを生成する処理と、
    　前記表示アイテムを前記第２の画像に重畳して表示する処理と、
    を行わせるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
PCT/JP2021/030462 2021-08-19 2021-08-19 撮影ガイド装置 WO2023021668A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2021/030462 WO2023021668A1 (ja) 2021-08-19 2021-08-19 撮影ガイド装置
JP2023542138A JPWO2023021668A1 (ja) 2021-08-19 2021-08-19

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/030462 WO2023021668A1 (ja) 2021-08-19 2021-08-19 撮影ガイド装置

Publications (1)

Publication Number Publication Date
WO2023021668A1 true WO2023021668A1 (ja) 2023-02-23

Family

ID=85240392

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/030462 WO2023021668A1 (ja) 2021-08-19 2021-08-19 撮影ガイド装置

Country Status (2)

Country Link
JP (1) JPWO2023021668A1 (ja)
WO (1) WO2023021668A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012193980A (ja) * 2011-03-15 2012-10-11 Omron Corp 画像処理装置および画像処理プログラム
JP2015082830A (ja) * 2013-10-24 2015-04-27 富士通株式会社 ガイド方法、情報処理装置およびガイドプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012193980A (ja) * 2011-03-15 2012-10-11 Omron Corp 画像処理装置および画像処理プログラム
JP2015082830A (ja) * 2013-10-24 2015-04-27 富士通株式会社 ガイド方法、情報処理装置およびガイドプログラム

Also Published As

Publication number Publication date
JPWO2023021668A1 (ja) 2023-02-23

Similar Documents

Publication Publication Date Title
TWI253006B (en) Image processing system, projector, information storage medium, and image processing method
JP4906586B2 (ja) 歪み補正装置及びプログラム
WO2001047285A1 (en) Method and apparatus for calibrating projector-camera system
WO2014084148A1 (en) Image correction system, image correction method, and computer program product
TW201531960A (zh) 用於驗證產品的圖像分析
Alomran et al. Feature-based panoramic image stitching
US20090180008A1 (en) Automatic calibration for camera lens distortion correction
JP2023075366A (ja) 情報処理装置、認識支援方法およびコンピュータプログラム
WO2020220832A1 (zh) 实现投影画面拼接的方法、装置及投影系统
US20120113238A1 (en) Drawn image sharing apparatus, drawn image sharing system, and drawn image sharing method
KR20120054689A (ko) 검사방법
JP6233824B1 (ja) 画像検査装置、生産システム、画像検査方法、プログラム及び記憶媒体
JP5600954B2 (ja) 検査システム、その方法及びプログラム
CN111915485A (zh) 一种特征点稀疏工件图像的快速拼接方法及系统
WO2023021668A1 (ja) 撮影ガイド装置
JP5560722B2 (ja) 画像処理装置、画像表示システム、および画像処理方法
US9305235B1 (en) System and method for identifying and locating instances of a shape under large variations in linear degrees of freedom and/or stroke widths
JP4187458B2 (ja) 画像処理におけるアフィン変換係数算出方法および画像処理装置
CN112995641B (zh) 一种3d模组成像装置及方法、电子设备
JP2003308526A (ja) 環状画像のパノラマ画像への展開時の鉛直方向ひずみ補正方法および装置
JPH1115951A (ja) ずれ検出装置および画像合成装置
JP6665903B2 (ja) 特徴画像生成装置、検査装置、特徴画像生成方法及び特徴画像生成プログラム
JPH10320565A (ja) 画像処理方法及び装置
JP3654092B2 (ja) 画像認識方法
WO2020220827A1 (zh) 实现投影画面叠加的方法、装置及投影系统

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2023542138

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE