JP6553624B2 - Measurement equipment and system - Google Patents
Measurement equipment and system Download PDFInfo
- Publication number
- JP6553624B2 JP6553624B2 JP2016543000A JP2016543000A JP6553624B2 JP 6553624 B2 JP6553624 B2 JP 6553624B2 JP 2016543000 A JP2016543000 A JP 2016543000A JP 2016543000 A JP2016543000 A JP 2016543000A JP 6553624 B2 JP6553624 B2 JP 6553624B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- image data
- difference
- luminance value
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000005259 measurement Methods 0.000 title description 5
- 238000003384 imaging method Methods 0.000 claims description 97
- 238000012545 processing Methods 0.000 claims description 56
- 238000006243 chemical reaction Methods 0.000 claims description 50
- 239000000463 material Substances 0.000 claims description 46
- 238000004364 calculation method Methods 0.000 claims description 17
- 238000004891 communication Methods 0.000 claims description 15
- 238000000034 method Methods 0.000 description 26
- 230000008569 process Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 11
- 238000003909 pattern recognition Methods 0.000 description 9
- 238000004422 calculation algorithm Methods 0.000 description 7
- 238000003066 decision tree Methods 0.000 description 6
- 239000000284 extract Substances 0.000 description 5
- 238000005286 illumination Methods 0.000 description 5
- 238000012937 correction Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 241000282341 Mustela putorius furo Species 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 239000011248 coating agent Substances 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 239000010419 fine particle Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000002932 luster Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 229920003002 synthetic resin Polymers 0.000 description 1
- 239000000057 synthetic resin Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/20—Circuitry for controlling amplitude response
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20076—Probabilistic image processing
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Analysis (AREA)
Description
本願は、2013年12月27日に出願された日本国出願第2013〜273189号の利益を主張するものであり、その全体の内容は、参照により本明細書に援用されている。 This application claims the benefit of Japanese Application No. 2013-273189, filed Dec. 27, 2013, the entire contents of which are incorporated herein by reference.
本発明は、計測機器、システム、及びプログラムに関する。 The present invention relates to a measuring instrument, a system, and a program.
図8は、再帰性反射材を示す図である。再帰性反射は、入射角に関わらず、入射光を入射方向に戻らせる反射現象である。再帰性反射材80は、多数の微粒子81を含有する透明な合成樹脂のコーティング82を含む。再帰性反射材へ入射する入射光83は、粒子81内で偏向し、1点で集束した後、反射して再び粒子を通過して元の方向に戻って進む反射光84となる。したがって、再帰性反射材は、光の入射方向から見ると光って見えるが、光の入射方向とは異なる方向から見ると光っては見えない。更に、再帰性反射材80は、3次元に形成されたプリズムなどの他の構成により得ることができる。
FIG. 8 is a diagram showing a retroreflective material. Retroreflective is a reflection phenomenon that causes incident light to return to the incident direction regardless of the incident angle. The
特許文献1は、再帰性反射材により形成された認識目標物(target for recognition)を撮影画像から識別する画像認識機器について記載している。この機器は、光が第1の照明部から照射されたときに得られる画像撮影結果及び第1の照明部から所定の距離だけ離間して位置する第2の照明部から光が照射されたときに得られる画像撮影結果に基づいて、撮影画像が認識目標物に等しいことを特定する。
特許文献2は、画像を撮影するための一つの命令に応じて、フラッシュ部を使用した撮影及びフラッシュ部を使用しない撮影を連続的に行い、背景としての夜間のシーンを有する撮影画像内のノイズを抑制することによって、高品質の画像を得る電子スチルカメラについて記載している。
According to one instruction for photographing an image,
再帰性反射により反射された光の強度が十分に大きい場合、反射光が記録された画像領域及び背景を容易に弁別することができる。しかしながら、例えば、劣化した再帰性反射フィルムが貼られた物体が撮影されると、画像上の再帰性反射領域と再帰性反射の無い領域との間の輝度の差がそれほど大きくなくなる可能性がある。この場合、白色の物体のように明るい物体が画像に撮影されると、その物体に対する画像領域の輝度値が増加することによって、再帰性反射光の画像領域を検出すことが困難になる。輝度値は、画像データの全チャネルの重み付き合計を指す。例えば、RGBフォーマットにおける3つのカラーチャネル内のR値、G値、B値を有する画像データについては、輝度値は、W1 *R+W2 *G+W3 *B[式中、W1、W2、及びW3は、それぞれRチャネル、Gチャネル、Bチャネルに対する重み付け係数である]を指す。別の例として、単一のチャネル画像をもたらす画素毎の等価スカラー値はまた、(明示的な差分のない)2つの画像の有向の重み付けされた組み合わせ(directed weighted combination)(DWC)w1*R_f+w2*G_f+w3*B_f+w4*R_nf+w5*G_nf+w6*B_nf[式中、w1、w2、w3は、撮影用発光を使用して撮影された画像に対する赤、緑、及び青色チャネルであるR_f、G_f、及びB_fに対応する重みであり、R_nf、G_nf、及びB_nfは、撮影用発光を使用しないで撮影された画像の赤、緑、及び青色チャネルであり、w4、w5、w6は対応する重みである]を実施することにより得ることができる。 If the intensity of the light reflected by the retroreflection is high enough, the reflected light can easily distinguish between the recorded image area and the background. However, for example, when an object to which a deteriorated retroreflective film is attached is photographed, the difference in luminance between the retroreflective area on the image and the area without the retroreflection may not be so large. . In this case, when a bright object such as a white object is captured in an image, the luminance value of the image area with respect to the object is increased, which makes it difficult to detect the image area of retroreflected light. The luminance value refers to the weighted sum of all channels of image data. For example, for image data having R value, G value, and B value in three color channels in RGB format, the luminance value is W 1 * R + W 2 * G + W 3 * B [wherein W 1 , W 2 , And W 3 denote weighting factors for R channel, G channel, and B channel, respectively. As another example, the per-pixel equivalent scalar value that results in a single channel image can also be directed weighted combination (DWC) w1 * (without explicit difference) of the two images . R_f + w2 * G_f + w3 * B_f + w4 * R_nf + w5 * G_nf + w6 * B_nf [wherein, w1, w2, w3 are red, green, and blue channels R_f, G_f, and B_f for images taken using light emission for photographing The corresponding weights R_nf, G_nf, and B_nf are the red, green, and blue channels of the image taken without using the emission for imaging, w4, w5, w6 are the corresponding weights] Can be obtained.
したがって、本開示の目的は、隣接する物体によって影響されることなく、再帰性反射光が記録された画像領域を容易に検出することができる機器、システム、及びプログラムを提供することである。 Therefore, an object of the present disclosure is to provide an apparatus, a system, and a program that can easily detect an image area in which retroreflected light is recorded without being affected by an adjacent object.
本開示による機器は、撮像部と、撮影用発光を使用して撮像部により撮影された第1の画像データ及び撮影用発光を使用することなく撮像部により撮影された第2の画像データを輝度値に変換する変換部と、第1の画像データに基づく第1の輝度値と第2の画像データに基づく第2の輝度値との間の差分を画素毎に算出して、得られた差分画像に基づいて差分が存在する領域を視覚的に表す出力画像を生成する差分処理部と、出力画像を表示する表示部と、を備える。あるいは、輝度値は、差分演算が暗黙的に含まれる差分処理部により、上述したようにDWCによって直接的に生成することができる。 An apparatus according to the present disclosure provides brightness of an imaging unit and first image data captured by the imaging unit using the imaging light emission and second image data captured by the imaging unit without using the imaging light emission. The difference obtained by calculating, for each pixel, the difference between the conversion unit that converts the value into a value, and the first luminance value based on the first image data and the second luminance value based on the second image data A difference processing unit that generates an output image that visually represents a region where a difference exists based on the image, and a display unit that displays the output image are provided. Alternatively, the luminance value can be directly generated by the DWC as described above by the difference processing unit in which the difference calculation is implicitly included.
機器に関して、差分処理部は、差分画像の領域の面積又は形状に基づいて、第1の画像データ又は第2の画像データ内の再帰性反射材による反射光の領域を検出することが好ましい。再帰性反射領域を検出するために、差分画像の他の特徴も使用することができ、例えば、再帰性反射領域の輪郭線内に含まれる画素数、アスペクト比(領域の外接矩形の幅/高さ)、最小外接矩形の面積、広さ(輪郭面積と最小外接矩形面積の比)、フェレ比(最大フェレ径/輪郭線の幅)、真円度(4π*輪郭面積/輪郭線周長2)、凸包(凸包を囲む輪郭点)、凸包面積、ソリディティ(輪郭面積とその凸包面積の比)、輪郭面積に等しい面積を有する円の直径、ストローク幅変換の中央値ストローク幅、及び(例えば、Epshtein、Boris、Eyal Ofek、及びYonatan Wexlerによる「Detecting text in natural scenes with stroke width transform」、Computer Vision and Pattern Recognition(CVPR)、2010 IEEE Conference、p.2963〜2970に記載されているような)ストローク幅変換を使用して生成されたストローク幅値の分散等が挙げられる。 With regard to the device, the difference processing unit preferably detects a region of light reflected by the retroreflecting material in the first image data or the second image data based on the area or shape of the region of the difference image. Other features of the difference image can also be used to detect retroreflective areas, for example, the number of pixels contained within the outline of the retroreflective area, the aspect ratio (width / height of the area's circumscribed rectangle Area, width (ratio of contour area to minimum circumscribed rectangle area), Feret's ratio (maximum Feret diameter / contour width), roundness (4π * contour area / contour circumference 2 ), Convex hull (contour point surrounding convex hull), convex hull area, solidity (ratio of contour area to its convex hull area), diameter of circle having area equal to contour area, median stroke width of stroke width conversion, And (for example, “Detecting text in natural scenes with stroke width transfor by Epshtein, Boris, Eyal Ofek, and Yonatan Wexler. m ”, Computer Vision and Pattern Recognition (CVPR), the distribution of stroke width values generated using stroke width conversion (as described in 2010 IEEE Conference, pages 2963-2970, etc.).
機器は、再帰性反射材によって反射された光が観察される差分画像の領域の特性指標を算出する算出部を更に備えることが好ましい。 It is preferable that the device further includes a calculation unit that calculates a characteristic index of a region of the difference image where the light reflected by the retroreflecting material is observed.
機器において、表示部は、出力画像と共に算出部によって算出された特性指標を表示することが好ましい。 In the device, the display unit preferably displays the characteristic index calculated by the calculation unit together with the output image.
機器は、算出部により算出された特性指標が基準範囲内にあるか否かを判定する判定部を更に備えることが好ましく、表示部は、出力画像と共に判定部によって判定された結果を表示する。 The device preferably further includes a determination unit that determines whether or not the characteristic index calculated by the calculation unit is within the reference range, and the display unit displays the result determined by the determination unit together with the output image.
機器において、変換部は、第1の画像データと第2の画像データのそれぞれを相対輝度値を含むデータに変換し、差分処理部は、第1の画像データに基づく第1の相対輝度値と第2の画像データに基づく第2の相対輝度値との間の差分を各画素について算出し、差分画像を生成することが好ましい。あるいは、単一の輝度値は、上述したようにDWCにより得られてもよい。他の幾つかの実施形態では、差分処理部は、撮影用発光を使用して撮影された画像データに基づく輝度値を使用することができる。 In the device, the conversion unit converts each of the first image data and the second image data into data including a relative luminance value, and the difference processing unit converts the first relative luminance value based on the first image data and It is preferable to generate a difference image by calculating a difference between the second relative luminance value based on the second image data for each pixel. Alternatively, a single luminance value may be obtained by the DWC as described above. In some other embodiments, the difference processing unit can use a luminance value based on image data captured using the imaging light.
機器において、変換部は、第1の画像データと第2の画像データのそれぞれを相対輝度値を含むデータに変換し、第1の画像データ及び第2の画像データのそれぞれに対して、撮像部からの画像情報を使用して被写体の基準輝度値を取得し、基準輝度値を使用して、画素毎の相対輝度値を絶対輝度値に変換し、差分処理部は、第1の画像データに基づく第1の絶対輝度値と第2の画像データに基づく第2の絶対輝度値との間の差分を画素毎に算出し、差分画像を生成することが好ましい。 In the device, the conversion unit converts each of the first image data and the second image data into data including a relative luminance value, and performs an imaging unit for each of the first image data and the second image data. The reference luminance value of the subject is acquired using the image information from the image, the relative luminance value for each pixel is converted into the absolute luminance value using the reference luminance value, and the difference processing unit converts the first image data into the first image data. Preferably, a difference between the first absolute luminance value based on the second absolute luminance value based on the second image data is calculated for each pixel to generate a differential image.
機器は、撮像部を形成するレンズに隣接して配設された発光部を更に備えることが好ましい。 It is preferable that the device further includes a light emitting unit disposed adjacent to a lens forming the imaging unit.
本開示によるシステムは、互いに通信可能な端末デバイス及びサーバを備える。端末デバイスは、撮像部と、撮影用発光を使用して撮像部により撮影された第1の画像データ及び撮影用発光を使用せずに撮像部により撮影された第2の画像データをサーバに送信し、第1の画像データ及び第2の画像データに基づいて生成された出力画像をサーバから受信する端末通信部と、出力画像を表示する表示部と、を備える。サーバは、第1の画像データ及び第2の画像データを輝度値に変換する変換部と、第1の画像データに基づく第1の輝度値と第2の画像データに基づく第2の輝度値との間の差分を画素毎に算出し、得られた差分画像に基づいて差分が存在する領域を視覚的に表す出力画像を生成する差分処理部と、第1の画像データ及び第2の画像データを端末デバイスから受信し、出力画像を端末デバイスに送信するサーバ通信部と、を備える。 A system according to the present disclosure comprises terminal devices and servers that can communicate with one another. The terminal device transmits to the server the imaging unit and the first image data captured by the imaging unit using the imaging light emission and the second image data captured by the imaging unit without using the imaging light emission. And a terminal communication unit that receives an output image generated based on the first image data and the second image data from the server, and a display unit that displays the output image. The server includes a conversion unit that converts the first image data and the second image data into luminance values, a first luminance value based on the first image data, and a second luminance value based on the second image data. Calculating a difference between the pixels on a pixel-by-pixel basis, and generating an output image visually representing a region where the difference exists based on the obtained difference image; first image data and second image data And a server communication unit that receives an output image from the terminal device and transmits the output image to the terminal device.
本開示によるプログラムにより、コンピュータは、撮影用発光を使用して撮像部により撮像された第1の画像データ及び撮影用発光を使用することなく撮像部により撮像された第2の画像データを取得し、第1の画像データ及び第2の画像データを輝度値に変換し、第1の画像データに基づく第1の輝度値と第2の画像データに基づく第2の輝度値との間の差分を画素毎に算出して差分画像を生成するか、又はDWCを使用して組み合わされた輝度値を得、差分画像に基づいて差分が存在する領域を視覚的に表す出力画像を表示することができる。 With the program according to the present disclosure, the computer acquires the first image data captured by the imaging unit using the shooting light emission and the second image data captured by the imaging unit without using the shooting light emission. The first image data and the second image data are converted into luminance values, and a difference between the first luminance value based on the first image data and the second luminance value based on the second image data is calculated. The difference image can be calculated for each pixel to generate a difference image, or the DWC can be used to obtain a combined luminance value, and based on the difference image, an output image can be displayed that visually represents the area where the difference exists. .
本開示による機器、システム、及びプログラムは、隣接する物体により影響されることなく、再帰性反射光が記録された画像領域を容易に検出することができる。 An apparatus, system, and program according to the present disclosure can easily detect an image area in which retroreflected light is recorded without being affected by an adjacent object.
添付の図面は、本明細書に援用され、本明細書の一部をなすものであって、説明文と併せて本発明の利点及び原理を説明するものである。図中、
本開示による機器、システム、及びプログラムを添付の図面を参照して以下で詳細に説明する。本開示の技術的な範囲は、機器、システム、及びプログラムの実施形態に限定されず、添付の特許請求の範囲に記載された事柄及びその均等物を含むことに留意されたい。 Devices, systems, and programs according to the present disclosure will be described in detail below with reference to the accompanying drawings. It should be noted that the technical scope of the present disclosure is not limited to the embodiments of the apparatus, the system, and the program, but includes matters described in the appended claims and equivalents thereof.
図1は、端末デバイス1の概略構成図である。端末デバイス1は、撮像部11、発光部12、記憶部13、制御部14、操作部15、及び表示部16を備える。端末デバイス1は、再帰性反射材による反射光が記録されたデジタル画像内の画像領域を検出し、例えば、この領域の輝度値及び面積を算出し、この領域を表す出力画像と共に輝度値及び面積を出力する。端末デバイス1は、内蔵カメラを有するスマートフォンなどの携帯端末である。
FIG. 1 is a schematic block diagram of the
撮像部11は、測定対象の画像を撮影してRAW(DNG)データ、JPEG(JFIF)データ、又はsRGBデータ等の形式で測定用物体の画像データを取得する。これらのデータ形式のうち任意が利用可能であるが、以下では、撮像部11がJPEG(JFIF)データを取得する例について主に説明する。
The
発光部12は、撮像部11が画像を撮影するときに必要に応じて発光する。発光部12は、撮像部11のレンズに隣接して配設されることが好ましい。この配置により、撮影用発光(フラッシュ又はトーチ)が再帰性反射材に入射し、そこで反射される方向を、撮像部11が画像を撮影する方向と実質的に一致させ、その結果、再帰性反射材による反射光の大部分を撮像することができる。発光部12は、例えば、可視光、蛍光、紫外光、又は赤外光などの様々な種類の可視又は不可視の光を発することができる。
The
記憶部13は、例えば、撮像部11によって取得されたデータ、及び端末デバイス1の動作のために必要なデータを記憶するための半導体メモリである。制御部14は、CPU、RAM、及びROMを含み、端末デバイス1の動作を制御する。操作部15としては、例えば、ユーザによって操作されるタッチパネル及びキーボタンが挙げられる。
The
表示部16としては、例えば、タッチパネルディスプレイとして操作部15と一体化することができる液晶ディスプレイである。表示部16は、制御部14によって得られた出力画像を表示する。
The
図2A〜図2Eは、再帰性反射材による反射光が記録された画像領域を検出するプロセスを示す図である。図2Aは、発光部12からの撮影用発光を使用して撮像部11により撮影された第1の画像21の例を示す。図2Bは、発光部12からの撮影用発光を使用せずに撮像部11により撮影された第2の画像22の例を示す。この例では、実線により囲まれた領域23内に、再帰性反射材が適用された7つのスポットがある。これらのスポットは、撮影用発光を使用せずに撮影された第2の画像22では殆ど見えない一方で、撮影用発光を使用している第1の画像21においては、撮影用発光は撮像部11に向けて再帰性反射材により反射され、その結果、7つのスポットを明確に識別することができる。このように、端末デバイス1は、撮影用発光を使用して撮影された第1の画像21の画像データ(第1の画像データ)と、撮影用発光を使用せずに撮影された第2の画像22の画像データ(第2の画像データ)とをまず取得する。
2A to 2E are diagrams illustrating a process for detecting an image area in which light reflected by a retroreflecting material is recorded. FIG. 2A shows an example of the first image 21 photographed by the
図2Cは、第1の画像21のそれぞれの画素の算出された輝度値(第1の輝度値)及び第2の画像22の各画素の算出された輝度値(第2の輝度値)に基づく差分値に基づいて生成された差分画像24を示す。第1の輝度値及び第2の輝度値は、絶対輝度値であってもよく、又は相対輝度値であってもよい。差分値は、例えば、第1の絶対輝度値と第2の絶対輝度値との間の差分である絶対差分、第1の相対輝度値と第2の相対輝度値との間の差分である符号付き差分、第1の輝度値の第1の因子倍と第2の輝度値の第2の因子倍との間の差分である重み付けされた差分であり得る。別の例として、差分値は、DWCを使用して算出された、組み合わされた輝度値であってもよい。差分画像24において、再帰性反射材を適用された主に領域23内のスポットが明るく見える。このように、端末デバイス1は、第1の画像データ及び第2の画像データのそれぞれから輝度画像を生成し、2つの輝度画像の間の差分画像を生成する。
FIG. 2C is based on the calculated luminance value (first luminance value) of each pixel of the first image 21 and the calculated luminance value (second luminance value) of each pixel of the
2つの画像から差分画像を生成するために、これらの画像は、正確に位置合わせされている必要がある。したがって、撮像部11は、いわゆる露出ブラケットを使用して、撮影用発光を使用している画像と撮影用発光を使用していない画像とをほぼ同時に撮影する。端末デバイス1が、例えば、三脚又は固定テーブルにユーザによって固定されている場合、互いに位置合わせされた第1の画像21及び第2の画像22は、露出ブラケットを使用せずに撮影されてもよい。金属光沢を有する表面を撮影する場合、表面で反射される照明光が画像内に現れる場合があるで、撮像部11は、第1の画像21及び第2の画像22を再帰性反射材が適用された面に対して斜め方向から撮影してもよい。
In order to generate a difference image from the two images, these images need to be precisely registered. Therefore, the
図2Dは、輝度値に対して適切な閾値を設定し差分画像24上で2値化を実行することにより得られた2値化画像25を示す。幾つかの実施形態では、適切な閾値は、受信者動作特性(ROC)曲線上の所望の動作点に基づいて選択することができる。ROC曲線は、偽陽性率(我々の関心領域として検出された背景である画素のパーセンテージ)及び真陽性率(関心領域として検出された真の関心領域内の画素のパーセンテージ)のプロットである。図9は、絶対差分、符号付き差分、及び(図9では「フラッシュ」と標識されている)撮影用発光を使用して撮影された画像のみを使用などの様々な差分演算に対するROC曲線などのROC曲線の幾つかの例を示す。これらの曲線を使用して、例えば、0.01の偽陽性率(又は1%の偽陽性率)による閾値を選択することができる。適切な閾値を選択するための符号付き差分を使用する1つの例において、これにより、(画素数で)およそ30%の真陽性率がもたらされる。場合によっては、領域23内の再帰性反射材でコーティングされた3つの場所は、2値化画像25において明確に識別することができる。
FIG. 2D shows a
端末デバイス1は、差分画像上で2値化を実行し、例えば、輝度値間に差がある領域の面積若しくは形状、又は差分画像の差分(輝度差分)の程度に基づいて、更にノイズを除去し、それによって、再帰性反射に起因する反射光が記録された画像領域を抽出する。ノイズはまた、以下の領域特性のうち1つ又は2つ以上に対して動作する決定木分類器などのパターン認識アルゴリズムを使用して除去することができ、領域特性は、輪郭線の面積及び周長、輪郭線内に含まれる画素数、アスペクト比(外接矩形の幅/高さ)、最小外接矩形の面積、広さ(輪郭面積と最小外接矩形面積の比)、フェレ比(最大フェレ径/輪郭線の幅)、真円度(4π*輪郭面積/輪郭線周長2)、凸包(凸包を囲む輪郭点)、凸包面積、ソリディティ(輪郭面積とその凸包面積の比)、輪郭面積に等しい面積を有する円の直径、ストローク幅変換の中央値ストローク幅、及びストローク幅変換を使用して生成されたストローク幅値の分散である。あるいは、例えば、k最近傍探索、サポートベクターマシン、判別分類器(線形、二次、高次)、ランダムフォレスト等の他の分類アルゴリズムを使用することができる。
The
図2Eは、2値化画像25に含有されるノイズ26を除去することにより得られた最終出力画像27の例を示す。端末デバイス1は、再帰性反射に起因する反射光が記録された画像領域が容易に識別されるような方法で、差分画像に基づいて処理された出力画像を生成し、この出力画像を表示部16上に表示する。次いで、端末デバイス1は、例えば、前述の方法で検出された画像領域の輝度値及び面積を算出し、出力画像と共に輝度値及び面積を表示する。
FIG. 2E shows an example of the
図10は、撮影用発光を使用して撮影された画像のみに基づく輝度値を使用して、再帰性反射材による反射光が記録された画像領域を検出するプロセスの一実施形態のフローチャートを示す。まず、機器、例えば、端末デバイス1又はシステムが、撮影用発光で撮影された画像データを受信する(工程510)。次に、機器は、画像データを使用して輝度値を生成する(工程515)。機器は、所定の閾値を使用して画像を2値化してもよい(工程520)。機器は、面積、周長、真円度、又は広さ等の領域特性を算出してもよい(工程525)。任意選択的に、機器は、関心領域を検出しノイズを除去するためにパターン認識を実行することができる(工程530)。別の任意選択的な工程では、機器は、結果を表示してもよい(工程535)。
FIG. 10 shows a flowchart of an embodiment of a process for detecting an image area where light reflected by a retroreflecting material is recorded using luminance values based solely on the image captured using the imaging light. . First, an apparatus, for example, the
図11Aは、輝度値を使用して、例えば、グレースケール輝度値=0.2126*R+0.7152*G+0.0722*Bを使用して、RGBフォーマット画像をグレースケール画像に変換することにより得られる例示の輝度画像を示す。図11Bは、図11Aに示されたグレースケール画像上で閾値演算を実行した後の2値化画像を示す。使用された閾値は、例として、double型表現(double representation)で0.9であってもよい。この閾値は、先述したように、図9における「フラッシュ」に対応するROC曲線上の所望の動作点に基づいて選択された。図11Cは、本明細書に記載した領域特性上で動作する(例えば、決定木等の)パターン認識アルゴリズムを使用して得られるクリーンアップ画像の結果を示す。このクリーンアップ画像は、関心領域のみを示し、ノイズを低減する。 FIG. 11A is obtained by converting an RGB formatted image to a gray scale image, using, for example, gray scale luminance value = 0.2126 * R + 0.7152 * G + 0.0722 * B using luminance values An exemplary luminance image is shown. FIG. 11B shows the binarized image after performing thresholding on the grayscale image shown in FIG. 11A. The threshold used may, for example, be 0.9 in double representation. This threshold was selected based on the desired operating point on the ROC curve corresponding to "flash" in FIG. 9, as described above. FIG. 11C shows the results of a clean-up image obtained using a pattern recognition algorithm (eg, such as a decision tree) operating on the domain characteristics described herein. This clean-up image shows only the region of interest and reduces noise.
図12は、再帰性反射である円形の関心領域を検出するように調整された決定木の例を示す。図12において、x4は、領域特性の「広さ」に該当し、x1は、領域特性の「面積」に該当する。決定木の葉ノードにおける出力ラベル1は、関心予測領域に該当し、ラベル2は、ノイズに該当する。パターン認識を使用してノイズを低減することができる。
FIG. 12 shows an example of a decision tree tuned to detect circular regions of interest that are retroreflective. In FIG. 12, x4 corresponds to the "area" of the area characteristic, and x1 corresponds to the "area" of the area characteristic. The
図3は、制御部14の機能ブロック図である。制御部14は、変換部141、差分処理部142、算出部143、及び判定部144を機能ブロックとして備える。
FIG. 3 is a functional block diagram of the
変換部141は、第1の変換部141Aと、基準輝度値取得部141Bと、第2の変換部141Cと、を備える。変換部141は、撮影用発光を使用して撮像部11により取得された第1の画像データと、撮影用発光を使用せずに撮像部11により取得された第2の画像データとをリニアスケール輝度値に変換して2つの輝度画像を生成する。
The
したがって、変換部141は、第1の画像データ及び第2の画像データのそれぞれについて相対輝度値を得、撮像部11からの撮影情報を使用してそれぞれの画像の被写体の基準輝度値を得、この基準輝度値を使用して各画素の相対輝度値を絶対輝度値に変換する。絶対輝度値は、nit、cd/m2、又はftLなどの単位によって表わされる量である。この時、変換部141は、例えば、撮像部11によって取得された画像データに付随するExifデータから、有効口径の値(F値)、シャッタースピード、ISO感度、焦点距離、及び撮影距離などの画像データ撮影情報を抽出する。次いで、変換部141は、抽出された撮影情報を使用して、第1の画像データ及び第2の画像データを絶対輝度値を含むデータに変換する。
Therefore, the
図4は、変換部141により使用されるデータの関係図である。第1の変換部141Aは、撮像部11によって取得された画像のJPEGデータを、相対輝度値を含むYCrCbデータに変換する(矢印4a)。輝度信号Yの値は、相対輝度値である。この時、第1の変換部141Aは、既知のIEC 619662−1規格によって指定される変換テーブルに従って、JPEGデータをYCrCbデータに変換してもよい。画像データがsRGBである場合、第1の変換部141Aは、既知の規格によって指定される変換テーブルに従って、sRGBデータを変換してもよい(矢印4b)。RAWデータに関しては、第1の変換部141Aは、撮像部11の製造者によって提供される変換テーブルに従って、RAWデータを変換してもよい(矢印4c)。
FIG. 4 is a relationship diagram of data used by the
基準輝度値取得部141Bは、画像データ撮影情報を使用して、撮像部11によって取得された画像内に含まれる被写体の基準輝度値βを取得する。撮像部11の有効口径の値(F値)、シャッタースピード(秒)、及びISO感度がそれぞれF、T、及びSであり、画面全体の平均反射率が18%であると仮定すると、被写体の基準輝度値β(cd/m2又はnit)は、以下の式で表わされる。
β=10×F2/(k×S×T) (1)
[式中、kは、定数であり、0.65などの値が使用される]基準輝度値取得部141Bは、この式を使用して、有効口径の値(F値)、シャッタースピードT(秒)、及びISO感度Sから基準輝度値βを算出する(矢印4d)。
The reference luminance
β = 10 × F 2 / (k × S × T) (1)
[Wherein, k is a constant and a value such as 0.65 is used] The reference luminance
F、S、及びTの撮影情報は一般的に、RAWデータ、又はJPEGデータ等に付随するExifデータ中に記録されている。したがって、基準輝度値取得部141Bは、ExifデータからF、S、及びTを抽出して基準輝度値βを算出する。この方法により、ユーザが手動で撮影情報を入力する必要性を取り除くことによって、ユーザにとっての利便性を向上させることができる。なお、Exifデータが利用できない場合、ユーザは、操作部15を介してF、S、及びTの値を入力し、基準輝度値取得部141Bがこの入力された値を取得することを留意されたい。
F, S, and T shooting information is generally recorded in Exif data accompanying RAW data, JPEG data, or the like. Therefore, the reference luminance
第2の変換部141Cは、基準輝度値βを使用して、相対輝度値Yを絶対輝度値に変換する。この時、第2の変換部141Cはまず、相対輝度値Yをリニアスケールに変換して、線形相対輝度値linearYを取得する(矢印4e)。次いで、第2の変換部141Cは、基準輝度値取得部141Bによって算出された基準輝度値bを使用して、測定用の物体の各画素の線形相対輝度値linearYtargetを絶対輝度値βtargetに変換する(矢印4f、4g)。
The
一般的に、ディスプレイ上に表示される各画素のRGB値は、ガンマ補正により非リニアスケールに変換されてディスプレイの非線形性を補償する。したがって、非線形のRGB値を使用するために、第2の変換部141Cは、例えば、典型的なガンマ補正値2.2を使用する次式を使用して、第1の変換部141Aによって算出された各画素の輝度信号Y(非線形の値)を、リニアスケールのlinearYに変換する。
linearY=Y2.2 (2)
Generally, the RGB values of each pixel displayed on the display are converted to non-linear scale by gamma correction to compensate for non-linearity of the display. Thus, in order to use non-linear RGB values, the
linearY = Y 2.2 (2)
そのようなガンマ補正を実施することは、複数の点及び複数の値が高速で容易に処理されるという点で利点がある。当然ながら、第2の変換部141Cは、式(2)とは関係なく各カラー空間に特定の方法によって、相対輝度値Yをリニアスケールに変換することができる。
Implementing such gamma correction is advantageous in that multiple points and multiple values are easily processed at high speed. Naturally, the
18%の反射率に対する基準輝度値βが得られると、第2の変換部141Cは、対象画素の線形相対輝度値linearYtargetに基づく次式を使用して、対象画素の絶対輝度値βtargetを算出する。
βtarget=β×linearYtarget/linearYm (3)
[式中、linearYmは、画面全体の平均反射率が18%であると仮定される場合の線形相対輝度値(基準レベル)である]0〜255の8ビットのシステムについては、ディスプレイの2.2ガンマ規格及び18%の平均反射率の定義から、基準レベルは、46(255の最大値×0.18)となり、その結果、
linearYm=46/255
となる。
When the reference luminance value β for the reflectance of 18% is obtained, the
β target = β × linear Y target / linear Y m (3)
[Wherein, linearY m is a linear relative luminance value (reference level) when the average reflectance of the entire screen is assumed to be 18%] For an 8-bit system from 0 to 255, 2 of the display From the definition of the .2 gamma standard and the average reflectance of 18%, the reference level is 46 (maximum value of 255.times.0.18), so that
linearY m = 46/255
It becomes.
Exifデータの撮影情報が利用可能である場合又はその等価情報がユーザによって手動で入力される場合、画像上の個々の座標における画素についての絶対輝度値βtargetは、sRGB、JPEGデータのRGB、又はRAWデータのRGBのうちいずれか1つから上述の手順によって得ることができる。絶対輝度値は、互いに異なる照明条件下で取得された画像を比較するときの精度を向上させることができる。例えば、通常光で撮影された画像と閃光などの補助光により撮影された画像とを比較して、補助光の強度が十分であるか否かを判定することが可能である。 If the shooting information of Exif data is available or its equivalent information is manually input by the user, the absolute luminance value β target for the pixel at each coordinate on the image is sRGB, RGB of JPEG data, or RAW It can be obtained by the above-described procedure from any one of RGB of data. Absolute luminance values can improve the accuracy when comparing images acquired under different lighting conditions. For example, it is possible to determine whether the intensity of the auxiliary light is sufficient by comparing an image captured with normal light and an image captured with auxiliary light such as flashlight.
第2の変換部141Cは、撮像部11の撮影レンズの焦点距離及び画像撮影素子の寸法から得られた視野角に関する情報を使用した、コサイン四乗と呼ばれる方法など既知の方法で、最終絶対輝度値βtarget上の隣接光の量の低減(Vignetting)に関連した補正を実施することができる。この手法は、絶対輝度値の精度を向上させることができる。
The
変換部141は、第1の画像データ及び第2の画像データの輝度画像を、絶対輝度値を算出せずに、これらの相対輝度値から生成してもよい。この場合、変換部141は、第1の変換部141Aのみを含むべきである。相対輝度値は、絶対輝度値より容易に算出することができるので、精度が必要とされない場合、相対輝度値で十分である。
The
差分処理部142は、変換部141によって変換された第1の画像データに基づく第1の輝度値と変換141によって変換された第2の画像データに基づく第2の輝度値との間の差分値を画素毎に算出して、図2Cに示される差分画像を生成する。第1の輝度値及び第2の輝度値は、絶対輝度値又は相対輝度値であり得る。差分値は、例えば、第1の絶対輝度値と第2の絶対輝度値との間の差分である絶対差分、第1の相対輝度値と第2の相対輝度値との間の差分である符号付き差分、第1の輝度値の第1の因子倍と第2の輝度値の第2の因子倍との間の差分である重み付けされた差分、又はDWCを使用して得られた組み合わされた輝度値であってもよい。画像が再帰性反射材とは無関係の明るい領域を含有する場合であっても、撮影用発光が存在するしないに関わらず輝度値があまり変化しない領域の大部分は、差分画像を取得することにより除去される。
The
差分画像が取得される場合であっても、図2Cに示されるように、再帰性反射材からの反射光とは無関係の明るい領域が依然として含まれ得ることに留意されたい。したがって、差分処理部142は、輝度値に対して適切な閾値を設定し、得られた差分画像上で2値化を実行して、図2Dに示すような2値化画像を生成する。場合によっては、差分処理部142は、差分画像の画素毎に、輝度値が閾値以上であるときには輝度値が白色になり、輝度値が閾値未満であるときには黒色になるように、2値化された値を決定する。あるいは、図10のフローチャートに記載されるように、閾値は、撮影用発光を使用して撮影された画像に直接的に適用することができる。
It should be noted that even if a difference image is obtained, as shown in FIG. 2C, bright areas that are not related to the reflected light from the retroreflective material may still be included. Therefore, the
次いで、以下に説明するように、差分処理部142は、2値化前の差分画像及び2値化後の2値化画像を使用して、差が存在する領域の面積及び面積の大きさに基づいて、再帰性反射材における反射光が記録された領域を抽出する。再帰性反射領域を抽出するために、他の領域特性もまた使用することができる。他の領域特性は、例えば、再帰性反射領域の輪郭線の周長、輪郭線内に含まれる画素数、アスペクト比(外接矩形の幅/高さ)、最小外接矩形の面積、広さ(輪郭面積と最小外接矩形面積の比)、フェレ比(最大フェレ径/輪郭線の幅)、真円度(4π*輪郭面積/輪郭線周長2)、凸包(凸包を囲む領域点)、凸包面積、ソリディティ(輪郭面積とその凸包面積の比)、領域面積に等しい面積を有する円の直径、ストローク幅変換の中央値ストローク幅、及びストローク幅変換を使用して生成されたストローク幅値の分散等を含む。
Next, as described below, the
図5は、画像上の対象領域を抽出する方法の例を示す図である。2値化画像52は、差分画像51上で2値化処理56を実行することにより取得されたと想定する。図5の例では、4つの大小領域53a〜53dが、差分を含有する領域として見られる。
FIG. 5 is a diagram showing an example of a method of extracting a target area on an image. It is assumed that the
差分処理部142は、差分画像51の輝度値を、例えば、弱(Weak)57a、中(Medium)57b、及び強(Strong)57cの3段階に分離して差分画像54を生成する。次いで、差分処理部142は、差分を含有する領域53a〜53dの中から「強(Strong)」の輝度値を有する画素を含有する任意の領域を抽出する。図5の例では、領域53a及び53dは、差分画像54から抽出される。加えて、差分処理部142は、2値化画像52の面積を、例えば小(Small)58a、中(Middle)58b、大(Large)58cの3段階に分離して2値化画像55を生成する。次いで、差分処理部142は、差分を含有する領域53a〜53dの中から面積が「大(Large)」である任意の領域を抽出する。図5の例では、領域53aは、2値化画像55から抽出される。更に、差分処理部142は、「強(Strong)」の輝度値を有する画素を含有し、かつその面積が「大(Large)」である任意の領域を再帰性反射材における反射光が記録された領域として抽出する。このようにして、図5の例では領域53aが最終的に抽出される。
The
更に、再帰性反射材が適用される、検出されるべき画像領域の形状が既知である場合、差分処理部142は、形状がこの既知の形状とはかけ離れている領域をノイズとして除去することができる。この除去を達成するために、検出されるべき画像領域の形状は、予め記憶部13に記憶されていてもよく、差分処理部142は、抽出された画像領域が検出されるべき画像領域であるかどうかをパターン認識によって判定することができる。例えば、差分処理部142は、検出されるべき画像領域が円形であることが分かっている場合、抽出された領域の真円度等の値を算出することができ、又は検出されるべき画像領域が矩形であることが分かっている場合、抽出された領域のアスペクト比等の値を算出することができ、算出された値を閾値と比較して領域を選択することができる。
Furthermore, if the shape of the image area to be detected is known, to which the retroreflecting material is applied, the
差分処理部142は、別の画像認識技術を使用して差分画像から対象領域を抽出してもよく、又は操作部15によって領域を選択するユーザ操作によって対象領域を抽出してもよい。
The
更に、差分処理部142は、得られた差分画像に基づいて、差分が存在する領域を視覚的に表す出力画像を生成する。例えば、差分処理部142は、図2Eに示されるように、ノイズ除去された2値化画像を最終出力画像として生成する。あるいは、差分処理部142は、各画素の輝度値のレベルを示すレベル(輪郭線)マップ、ヒートマップ等の上に再帰性反射領域を示す記号等が重ねられた形態で出力画像を生成してもよい。再帰性反射材において反射された光が記録された画像領域を容易に弁別できるようにするために、差分処理部142は、例えば、元の画像又は差分画像上に画像領域を強調する外枠又は画像領域を指し示す矢印が表示された出力画像を生成することでもよい。生成された出力画像は、表示部16上に表示される。
Furthermore, the
算出部143は、差分処理部142によって抽出された再帰性反射領域の特性指標を算出する。特性指標は、例えば、再帰性反射領域の面積又は輝度値である。輝度値として、算出部143は、例えば、対象領域の画素について、変換部141により実行された変換によって得られた相対輝度値又は絶対輝度値の平均値を算出する。あるいは、特性指標は、再帰性反射領域の形状に関係する、真円度などの量であってもよく、又は他の特性のうち1つ又は2つ以上であってもよく、又は、例えば、多数の特性、すなわち、輪郭線の面積及び周長、輪郭線内に含まれる画素数、アスペクト比(外接矩形の幅/高さ)、最小外接矩形の面積、広さ(輪郭面積と最小外接矩形面積の比)、フェレ比(最大フェレ径/輪郭線の幅)、真円度(4π*輪郭面積/輪郭線周長2)、凸包(凸包を囲む輪郭点)、凸包面積、ソリディティ(輪郭面積とその凸包面積の比)、輪郭面積に等しい面積を有する円の直径、ストローク幅変換の中央値ストローク幅、及びストローク幅変換を使用して生成されたストローク幅値の分散等のうち1つ又は2つ以上であってもよい。算出部143は、表示部16に、差分処理部142によって生成された出力画像と共に算出された特性指標を表示させる。これにより、検出された画像領域が対象領域であるのか、又は不要なノイズであるのかをユーザが容易に判定できるようになる。
The calculating
判定部144は、算出部143によって算出された特性指標が所定の基準範囲内にあるかどうかを判定する。例えば、判定部144は、再帰性反射領域の面積又は輝度値が所定の閾値以上であるか否かを判定する。再帰性反射材が適用された看板などの画像について、判定部144は、面積又は輝度値が閾値以上である場合には再帰性反射材は劣化していないと判定し、面積又は閾値が閾値未満である場合には再帰性反射材が劣化していると判定する。
The
再帰性反射材が洗浄により除去された表面などの画像について、判定部144は、面積又は輝度値が閾値未満である場合には再帰性反射材が除去されたと判定し、面積又は閾値が閾値以上である場合には再帰性反射材が除去されていないと判定する。判定部144は、表示部16に、差分処理部142によって生成された出力画像と共に判定結果を表示するように指示できる。これにより、対象となる再帰性反射材の状態が要求されるレベルを満足するか否かをユーザが判定することができる。
For an image such as a surface on which the retroreflective material has been removed by cleaning, the
あるいは、判定部144は、複数の所定の区分のうちどの区分に算出部143により算出された面積又は輝度値が属するのかを判定することができる。例えば、判定部144は、面積が小(Small)、中(Middle)、及び大(Large)の3段階のうちいずれに属するのか、又は輝度値が弱(Weak)、中(Medium)、及び強(Strong)の3段階のうちいずれに属するのかを判定することができ、判定結果を表示部16に表示させることができる。
Alternatively, the
図6は、再帰性反射材による反射光が記録された画像領域を検出するプロセスの例を示すフローチャートである。制御部14は、記憶部13内に記憶されたプログラムに基づいて、端末デバイス1の個々の構成要素と協同して図6における個々の工程のプロセスを実行する。
FIG. 6 is a flow chart showing an example of a process of detecting an image area where light reflected by the retroreflecting material is recorded. The
まず、制御部14は、撮像部11及び発光部12に撮影用発光を使用して第1の画像を撮影させ、ほぼ同時に、撮像部11及び発光部12に撮影用発光を使用せずに第2の画像を撮影させる(工程S1)。
First, the
次に、制御部14の変換部141は、工程S1で撮影された第1の画像データ及び第2の画像データを取得し、画像データの個々の部分をリニアスケールの輝度値に変換して2つの輝度画像を生成する(工程S2)。輝度値は、第1の変換部141Aにより得られた相対輝度値であってもよく、又は第2の変換部141Cにより得られた絶対輝度値であってもよい。
Next, the
次に、制御部14の差分処理部142は、工程S2で得られた第1の画像データの輝度値と第2の画像データの輝度値との間の差分を画素毎に得て差分画像を生成する(工程S3)。更に、差分処理部142は、差分画像上で2値化処理を実行して2値化画像を生成し(工程S4)、差分が存在する差分画像中の領域の面積及び輝度値に基づいて、再帰性反射材からの反射光が記録された領域を抽出する(工程S5)。次いで、差分処理部142は、抽出された画像領域を示す出力画像を生成する(工程S6)。
Next, the
更に、制御部14の算出部143は、工程S5で抽出された画像領域の特徴的な量として、例えば、面積及び輝度値を算出する(工程S7)。必要に応じて、形状等に基づいてノイズが除去される。次いで、制御部14の判定部144は、工程S7で算出された面積及び輝度値が所定の基準範囲内であるか否かを判定する(工程S8)。最後に、制御部14は、工程S6で生成された出力画像と、工程S7で算出された面積及び輝度値と、工程S8における判定結果と、を表示部16に表示させる(工程S9)。結果として、図6における検出プロセスが終了する。
Furthermore, the
上述したように、端末デバイス1は、撮影用発光を使用して取得された第1の画像データ及び撮影用発光を使用せずに取得された第2の出力画像からの輝度値に関係する差分画像を生成し、差分画像を使用して再帰性反射材において反射された光が記録された領域を検出する。撮影方向が、点光源、ビーム光源等から放射される照明光が再帰性反射材に入射しそこから反射される方向と実質的に一致する場合、再帰性反射光は容易に検出できる。しかしながら、撮影された画像が、白色の物体などの高輝度の部分を含有する場合、そのような再帰性反射光の検出は困難になる場合がある。そのような場合であっても、端末デバイス1内の差分処理部142は、主に輝度差分を使用して画像処理を実行してそのような高輝度の不要な部分を除去し、それによって再帰性反射材において反射された光が記録された領域の自動検出を可能にする。端末デバイス1は、制御部14の機能を実現するためのプログラムを携帯デバイスに単にインストールすることにより、全ての必要なハードウェアを組み込んだ携帯デバイスにより実現することができる。
As described above, the
図7は、通信システム2の概略構成図である。通信システム2は、互いに通信することが可能な端末デバイス3及びサーバ4を備える。これらの2つの構成要素は、有線又は無線の通信ネットワーク6を介して互いに接続されている。
FIG. 7 is a schematic configuration diagram of the
端末デバイス3は、撮像部31、発光部32、記憶部33、制御部34、端末通信部35、及び表示部36を備える。撮像部31は、測定用物体の画像を撮影して、RAW(DNG)データ、JPEG(JFIF)データ、又はsRGBデータ等の形式で測定用物体の画像データを取得する。発光部32は、撮像部31に隣接して配設され、撮像部11が画像を撮影するときに必要に応じて光を放射する。記憶部33は、撮像部31によって取得されたデータ、及び端末デバイス3の動作のために必要なデータ等を記憶する。制御部34は、CPU、RAM、及びROMを含み、端末デバイス3の動作を制御する。端末通信部35は、撮影用発光を使用して撮像部により取得された第1の画像データ及び撮影用発光を使用せずに撮像部により取得された第2の出力画像をサーバ4に送信し、第1の画像データ及び第2の画像データに基づいて生成された出力画像と、この出力画像に付属している判定情報と、をサーバ4から受信する。表示部36は、サーバ4から受信された出力画像、出力画像に付属する判定情報などを表示する。
The
サーバ4は、サーバ通信部41と、記憶部42と、制御部43と、を備える。サーバ通信部41は、第1の画像データ及び第2の画像データを端末デバイス3から受信し、出力画像を端末デバイス3に送信する。記憶部42は、端末デバイス3から受信した画像データ、撮影情報、サーバ4の動作に必要なデータなどを記憶する。制御部43は、CPU、RAM、及びROMを含み、端末デバイス1の制御部14の機能と同様の機能を有する。すなわち、制御部43は、第1の画像データ及び第2の画像データを輝度値に変換し、第1の画像データに基づく第1の輝度値と第2の画像データに基づく第2の輝度値との間の差分を画素毎に算出し、得られた差分画像に基づき差分が存在する領域を視覚的に表す出力画像と、出力画像に付属する判定情報等と、を生成する。
The server 4 includes a
上記のように、画像の撮影及び表示プロセス、並びに画像データを変換し、出力画像及び出力画像に付属する判定情報等を生成するプロセスは、別々のデバイスによって実行されてもよい。通信システム2は、端末デバイス3の表示部とは異なる別の表示デバイスを更に備えて出力画像を表示してもよい。
As described above, the image capturing and display process, and the process of converting the image data and generating the output information, the determination information attached to the output image, and the like may be performed by separate devices. The
変換部の個々の機能をコンピュータが実現できるようにするコンピュータプログラムは、磁気記録媒体又は光記録媒体などのコンピュータ可読記憶媒体内に記憶された形態で提供することができる。 A computer program that enables a computer to realize the individual functions of the conversion unit can be provided in a form stored in a computer readable storage medium such as a magnetic recording medium or an optical recording medium.
例示的な実施形態
項目1.撮像部と、
撮影用発光を使用して撮像部により撮影された第1の画像データ及び撮影用発光を使用せずに撮像部により撮影された第2の画像データを輝度値に変換する変換部と、
第1の画像データに基づく第1の輝度値と第2の画像データに基づく第2の輝度値との間の差分を画素毎に算出して、得られた差分画像に基づいて差分が存在する領域を視覚的に表す出力画像を生成する、差分処理部と、
出力画像を表示する表示部と、を備える、機器。
A conversion unit configured to convert the first image data captured by the imaging unit using the imaging light and the second image data captured by the imaging unit without using the shooting light into a luminance value;
The difference between the first luminance value based on the first image data and the second luminance value based on the second image data is calculated for each pixel, and the difference exists based on the obtained difference image A difference processing unit that generates an output image that visually represents a region;
And a display unit for displaying an output image.
項目2.差分処理部は、差分画像上の差分を有する領域の面積、領域の形状、又は差分の大きさに基づいて、第1の画像データ又は第2の画像データ内の、光が再帰性反射材によって反射されている領域を検出する、項目1に記載の機器。
項目3.再帰性反射材によって反射された光が観察される差分画像上の領域の特性指標を算出する算出部を更に備える、項目2に記載の機器。
項目4.表示部は、出力画像と共に算出部によって算出された特性指標を表示する、項目3に記載の機器。
Item 4 The apparatus according to
項目5.算出部により算出された特性指標が所定の基準範囲内にあるか否かを判定する判定部を更に備え、表示部は、出力画像と共に判定部によって判定された結果を表示する、項目3又は4に記載の機器。
項目6.変換部は、第1の画像データと第2の画像データのそれぞれを相対輝度値を含むデータに変換し、差分処理部は、第1の画像データに基づく第1の相対輝度値と第2の画像データに基づく第2の相対輝度値との間の差分を画素毎に算出し、差分画像を生成する、項目1〜5のいずれか一項目に記載の機器。
項目7.変換部は、相対輝度値を含む第1の画像データ及び第2の画像データのそれぞれを変換し、
第1の画像データ及び第2の画像データのそれぞれについて撮像部からの画像情報を使用して被写体の基準輝度値を取得し、基準輝度値を使用して、画素毎に相対輝度値を絶対輝度値に変換し、
差分処理部は、第1の画像データに基づく第1の絶対輝度値と第2の画像データに基づく第2の絶対輝度値との間の差分を画素毎に算出し、差分画像を生成する、項目1〜5のいずれか一項目に記載の機器。
Item 7. The conversion unit converts each of the first image data and the second image data including the relative luminance value,
The reference luminance value of the subject is acquired using the image information from the imaging unit for each of the first image data and the second image data, and the relative luminance value is calculated for each pixel by using the reference luminance value. Converted to a value,
The difference processing unit calculates, for each pixel, a difference between a first absolute brightness value based on the first image data and a second absolute brightness value based on the second image data, and generates a difference image. The device according to any one of
項目8.撮像部を形成するレンズに隣接して配設される発光部を更に備える、項目1〜7のいずれか一項目に記載の機器。
Item 8. The device according to any one of
項目9.互いに通信が可能である端末デバイス及びサーバを備えるシステムであって、
撮像部と、
撮影用発光を使用して撮像部により撮影された第1の画像データ及び撮影用発光を使用せずに撮像部により撮影された第2の画像データをサーバに送信し、第1の画像データ及び第2の画像データに基づいて生成された出力画像をサーバから受信する、端末通信部と、
出力画像を表示する表示部と、を備える、端末デバイスと、
第1の画像データ及び第2の画像データを輝度値に変換する変換部と、
第1の画像データに基づく第1の輝度値と第2の画像データに基づく第2の輝度値との間の差分を画素毎に算出し、得られた差分画像に基づいて差分が存在する領域を視覚的に表す出力画像を生成する、差分処理部と、
第1の画像データ及び第2の画像データを端末デバイスから受信し、出力画像を端末デバイスに送信する、サーバ通信部と、を備える、サーバと、を備える、システム。
An imaging unit;
The first image data captured by the imaging unit using the imaging light and the second image data captured by the imaging unit without using the imaging light are transmitted to the server, and the first image data and A terminal communication unit that receives an output image generated based on the second image data from the server;
A terminal device comprising a display unit for displaying an output image;
A converter for converting the first image data and the second image data into luminance values;
The difference between the first luminance value based on the first image data and the second luminance value based on the second image data is calculated for each pixel, and the area where the difference exists based on the obtained difference image A difference processing unit that generates an output image that visually represents
A server communication unit receiving the first image data and the second image data from the terminal device and transmitting the output image to the terminal device.
項目10.コンピュータ上で実現されるプログラムであって、
撮影用発光を使用して撮像機器によって撮像された第1の画像データ及び撮影用発光を使用せずに撮像機器により撮像された第2の画像データを取得することと、
第1の画像データ及び第2の画像データを輝度値に変換することと、
第1の画像データに基づく第1の輝度値と第2の画像データに基づく第2の輝度値との間の差分を画素毎に算出して差分画像を生成することと、
差分画像に基づいて、差分が存在する領域を視覚的に表す出力画像を表示するための表示データを生成することと、を含む、プログラム。
Obtaining first image data imaged by the imaging device using the imaging light and second image data imaged by the imaging device without using the imaging light;
Converting the first image data and the second image data into luminance values;
Calculating a difference between the first luminance value based on the first image data and the second luminance value based on the second image data for each pixel to generate a differential image;
Generating display data for displaying an output image that visually represents an area where the difference exists based on the difference image.
項目11.撮像部と、
撮影用発光を使用して撮像部により撮影された第1の画像データについて第1の輝度値に変換するように構成された変換部と、
第1の輝度値にパターン認識アルゴリズムを適用して処理値を算出し、処理値で出力画像を生成するように構成された差分処理部であって、差分処理部は、処理値を使用して光が再帰性反射材によって反射される出力画像中の再帰性反射領域を特定する、差分処理部と、を備える、機器。
A converter configured to convert first image data captured by the imaging unit using the imaging light emission into a first luminance value;
A difference processing unit configured to calculate a processing value by applying a pattern recognition algorithm to the first luminance value and generate an output image using the processing value, and the difference processing unit uses the processing value. An subtraction processing unit that identifies a retroreflective area in an output image in which light is reflected by the retroreflective material.
項目12.パターン認識アルゴリズムは、2値化アルゴリズム、決定木のうち少なくとも1つを含む、項目11に記載の機器。
項目13.変換部は、撮影用発光を使用せずに撮像部により撮影された第2の画像データについて第2の輝度値に変換するように更に構成され、差分処理部は、第1の輝度値及び第2の輝度値に差分アルゴリズムを適用して差分値を生成するように更に構成され、差分処理部は、差分値を使用して出力画像内の再帰性反射領域を識別するように更に構成されている、項目11又は12に記載の機器。
項目14.差分処理部は、再帰性反射領域の面積、再帰性反射領域の形状、再帰性反射領域内部の画素に対する処理値、再帰性反射領域の広さ、再帰性反射領域のフェレ比、再帰性反射領域の真円度のうち少なくとも1つに基づいて再帰性反射領域を識別する、項目11〜13のいずれか一項に記載の機器。
項目15.差分処理部は、処理値にフィルタを更に適用して出力画像を生成する、項目11〜14のいずれか一項目に記載の機器。
項目16.出力画像を表示する表示部を更に備える、項目11〜15のいずれか一項目に記載の機器。
項目17.出力画像中の再帰性反射領域の特性指標を算出する算出部を更に備える、項目11〜16のいずれか一項目に記載の機器。
Item 17. The apparatus according to any one of
項目18.特性指標は、再帰性反射領域の面積、再帰性反射領域の輝度値、再帰性反射領域の形状パラメータのうち少なくとも1つを含む、項目17に記載の機器。 Item 18. 18. The apparatus according to Item 17, wherein the characteristic index includes at least one of the area of the retroreflective area, the luminance value of the retroreflective area, and the shape parameter of the retroreflective area.
項目19.算出部により算出された特性指標を表示する表示部を更に備える、項目17に記載の機器。 Item 19. Item 18. The device according to Item 17, further comprising a display unit that displays the characteristic index calculated by the calculation unit.
項目20.算出部により算出された特性指標が所定の基準範囲内にあるか否かを判定する判定部を更に備える、項目17に記載の機器。 Item 20. Item 18. The device according to Item 17, further comprising a determination unit that determines whether or not the characteristic index calculated by the calculation unit is within a predetermined reference range.
項目21.撮像部に近接して配設された、光を放射するように構成されている、発光部を更に備える、機器。 Item 21. An apparatus further comprising a light emitting unit disposed proximate to the imaging unit and configured to emit light.
上述の特定の実施形態は本発明の様々な態様の説明を容易にするように詳細に記載されているため、本発明は、上述の特定の実施例及び実施形態に限定されると見なされるべきではない。むしろ、本発明は、添付の特許請求の範囲及びそれらの均等物によって定義される本発明の趣旨及び範囲に収まる様々な修正、均等のプロセス、及び代替のデバイスを含む、本発明の全ての態様を包含することが理解されるべきである。 Since the specific embodiments described above are described in detail to facilitate the description of various aspects of the invention, the invention should be considered limited to the specific examples and embodiments described above. is not. Rather, the invention is directed to all aspects of the invention including various modifications, equivalent processes, and alternative devices falling within the spirit and scope of the invention as defined by the appended claims and their equivalents. It should be understood to encompass
Claims (7)
撮影用発光を使用して前記撮像部により撮影された第1の画像データ及び前記撮影用発光を使用せずに前記撮像部により撮影された第2の画像データを輝度値に変換する変換部と、
前記第1の画像データに基づく第1の輝度値と前記第2の画像データに基づく第2の輝度値との差分を画素毎に算出して、得られた差分画像に基づき前記差分が存在する領域を視覚的に表した出力画像を生成する差分処理部と、
前記出力画像を表示する表示部と、
を備え、
前記差分の値が、前記第1の輝度値と前記第2の輝度値との有向の重み付けされた組み合わせを使用して算出される、機器。 An imaging unit;
A conversion unit configured to convert the first image data captured by the imaging unit using the imaging light and the second image data captured by the imaging unit without using the shooting light into a luminance value; ,
A difference between a first luminance value based on the first image data and a second luminance value based on the second image data is calculated for each pixel, and the difference exists based on the obtained difference image A difference processing unit that generates an output image that visually represents a region;
A display unit for displaying the output image;
Equipped with a,
The device wherein the value of the difference is calculated using a directed weighted combination of the first luminance value and the second luminance value .
前記表示部は、前記出力画像と併せて、前記判定部による判定結果を表示する、
請求項3に記載の機器。 The apparatus further comprises a determination unit that determines whether the characteristic index calculated by the calculation unit is within a predetermined reference range,
The display unit displays the determination result by the determination unit together with the output image.
The device according to claim 3.
前記差分処理部は、前記第1の画像データに基づく第1の相対輝度値と前記第2の画像データに基づく第2の相対輝度値との差分を画素毎に算出して前記差分画像を生成する、
請求項1〜4のいずれか一項に記載の機器。 The conversion unit converts each of the first image data and the second image data into data including relative luminance values,
The difference processing unit generates, for each pixel, a difference between a first relative luminance value based on the first image data and a second relative luminance value based on the second image data to generate the difference image. To
The device according to any one of claims 1 to 4.
前記第1の画像データ及び前記第2の画像データのそれぞれを、相対輝度値を含むデータに変換し、
前記第1の画像データ及び前記第2の画像データのそれぞれについて、前記撮像部の撮像情報を用いて被写体の基準輝度値を求め、前記基準輝度値を用いて画素毎の前記相対輝度値を絶対輝度値に変換し、
前記差分処理部は、前記第1の画像データに基づく第1の絶対輝度値と前記第2の画像データに基づく第2の絶対輝度値との差分を画素毎に算出して前記差分画像を生成する、
請求項1〜4のいずれか一項に記載の機器。 The converter is
Converting each of the first image data and the second image data into data including relative luminance values;
For each of the first image data and the second image data, a reference luminance value of the subject is determined using imaging information of the imaging unit, and the relative luminance value for each pixel is determined absolutely using the reference luminance value. Convert to luminance value,
The difference processing unit generates, for each pixel, a difference between a first absolute brightness value based on the first image data and a second absolute brightness value based on the second image data to generate the difference image. To
The device according to any one of claims 1 to 4.
前記端末装置は、
撮像部と、
撮影用発光を使用して前記撮像部により撮影された第1の画像データ及び前記撮影用発光を使用せずに前記撮像部により撮影された第2の画像データを前記サーバに送信し、前記第1の画像データ及び前記第2の画像データに基づき生成された出力画像を前記サーバから受信する端末通信部と、
前記出力画像を表示する表示部と、
を備え、
前記サーバは、
前記第1の画像データ及び前記第2の画像データを輝度値に変換する変換部と、
前記第1の画像データに基づく第1の輝度値と前記第2の画像データに基づく第2の輝度値との差分を画素毎に算出して、得られた差分画像に基づき前記差分が存在する領域を視覚的に表した出力画像を生成する差分処理部であって、前記差分の値が、前記第1の輝度値と前記第2の輝度値との有向の重み付けされた組み合わせを使用して算出される、差分処理部と、
前記第1の画像データ及び前記第2の画像データを前記端末装置から受信し、前記出力画像を前記端末装置に送信するサーバ通信部と、
を備える、システム。 A system including a terminal device and a server that can communicate with each other,
The terminal device
An imaging unit;
Transmitting the first image data captured by the imaging unit using the imaging light emission and the second image data captured by the imaging unit without using the imaging light emission to the server; A terminal communication unit for receiving from the server an output image generated based on the first image data and the second image data;
A display unit for displaying the output image;
Equipped with
The server is
A converter for converting the first image data and the second image data into luminance values;
A difference between a first luminance value based on the first image data and a second luminance value based on the second image data is calculated for each pixel, and the difference exists based on the obtained difference image A difference processing unit for generating an output image visually representing a region , wherein the value of the difference uses a directed weighted combination of the first luminance value and the second luminance value. A difference processing unit that is calculated
A server communication unit that receives the first image data and the second image data from the terminal device and transmits the output image to the terminal device;
A system comprising:
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013273189 | 2013-12-27 | ||
JP2013273189A JP2015127668A (en) | 2013-12-27 | 2013-12-27 | Measurement device, system and program |
PCT/US2014/072034 WO2015100284A1 (en) | 2013-12-27 | 2014-12-23 | Measuring apparatus, system, and program |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2017504017A JP2017504017A (en) | 2017-02-02 |
JP2017504017A5 JP2017504017A5 (en) | 2018-02-08 |
JP6553624B2 true JP6553624B2 (en) | 2019-07-31 |
Family
ID=53479636
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013273189A Pending JP2015127668A (en) | 2013-12-27 | 2013-12-27 | Measurement device, system and program |
JP2016543000A Expired - Fee Related JP6553624B2 (en) | 2013-12-27 | 2014-12-23 | Measurement equipment and system |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013273189A Pending JP2015127668A (en) | 2013-12-27 | 2013-12-27 | Measurement device, system and program |
Country Status (4)
Country | Link |
---|---|
US (1) | US20160321825A1 (en) |
EP (1) | EP3087736A4 (en) |
JP (2) | JP2015127668A (en) |
WO (1) | WO2015100284A1 (en) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017004008A1 (en) | 2015-07-01 | 2017-01-05 | 3M Innovative Properties Company | Measuring device, system, method, and program |
EP3582642A4 (en) | 2017-02-20 | 2021-01-13 | 3M Innovative Properties Company | Optical articles and systems interacting with the same |
CN111164605A (en) | 2017-09-27 | 2020-05-15 | 3M创新有限公司 | Personal protective equipment management system using optical patterns for equipment and security monitoring |
TWI746907B (en) * | 2017-12-05 | 2021-11-21 | 日商斯庫林集團股份有限公司 | Fume determination method, substrate processing method, and substrate processing equipment |
US11244439B2 (en) | 2018-03-20 | 2022-02-08 | 3M Innovative Properties Company | Vision system for status detection of wrapped packages |
US10874759B2 (en) | 2018-03-20 | 2020-12-29 | 3M Innovative Properties Company | Sterilization process management |
US11462319B2 (en) | 2018-03-20 | 2022-10-04 | 3M Innovative Properties Company | Sterilization process management |
US10832454B1 (en) * | 2019-09-11 | 2020-11-10 | Autodesk, Inc. | Edit propagation on raster sketches |
US20220137218A1 (en) * | 2020-10-30 | 2022-05-05 | Waymo Llc | Detecting Retroreflectors in NIR Images to Control LIDAR Scan |
US11978181B1 (en) | 2020-12-11 | 2024-05-07 | Nvidia Corporation | Training a neural network using luminance |
US11637998B1 (en) * | 2020-12-11 | 2023-04-25 | Nvidia Corporation | Determination of luminance values using image signal processing pipeline |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3286168B2 (en) * | 1995-06-28 | 2002-05-27 | 小糸工業株式会社 | Object detection apparatus and method |
JP2002206989A (en) * | 2001-01-10 | 2002-07-26 | Idemitsu Unitech Co Ltd | Retroreflective performance measuring device |
JP5130504B2 (en) * | 2003-07-02 | 2013-01-30 | 新世代株式会社 | Information processing apparatus, information processing method, program, and storage medium |
US20050244060A1 (en) * | 2004-04-30 | 2005-11-03 | Xerox Corporation | Reformatting binary image data to generate smaller compressed image data size |
US20080031544A1 (en) * | 2004-09-09 | 2008-02-07 | Hiromu Ueshima | Tilt Detection Method and Entertainment System |
US20100215215A1 (en) * | 2008-12-18 | 2010-08-26 | Hiromu Ueshima | Object detecting apparatus, interactive system, object detecting method, interactive system realizing method, and recording medium |
JP5351081B2 (en) * | 2010-03-09 | 2013-11-27 | 株式会社四国総合研究所 | Oil leakage remote monitoring device and method |
JP5790644B2 (en) * | 2010-04-30 | 2015-10-07 | 株式会社ニコン | Inspection apparatus and inspection method |
US8594385B2 (en) * | 2011-04-19 | 2013-11-26 | Xerox Corporation | Predicting the aesthetic value of an image |
US9208567B2 (en) * | 2013-06-04 | 2015-12-08 | Apple Inc. | Object landmark detection in images |
-
2013
- 2013-12-27 JP JP2013273189A patent/JP2015127668A/en active Pending
-
2014
- 2014-12-23 US US15/106,219 patent/US20160321825A1/en not_active Abandoned
- 2014-12-23 WO PCT/US2014/072034 patent/WO2015100284A1/en active Application Filing
- 2014-12-23 JP JP2016543000A patent/JP6553624B2/en not_active Expired - Fee Related
- 2014-12-23 EP EP14875645.5A patent/EP3087736A4/en not_active Withdrawn
Also Published As
Publication number | Publication date |
---|---|
EP3087736A4 (en) | 2017-09-13 |
EP3087736A1 (en) | 2016-11-02 |
JP2015127668A (en) | 2015-07-09 |
WO2015100284A1 (en) | 2015-07-02 |
JP2017504017A (en) | 2017-02-02 |
US20160321825A1 (en) | 2016-11-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6553624B2 (en) | Measurement equipment and system | |
US10997696B2 (en) | Image processing method, apparatus and device | |
CN109377469B (en) | Processing method, system and storage medium for fusing thermal imaging with visible light image | |
CN105933589B (en) | A kind of image processing method and terminal | |
EP3520390B1 (en) | Recolorization of infrared image streams | |
US8538075B2 (en) | Classifying pixels for target tracking, apparatus and method | |
JP6394338B2 (en) | Image processing apparatus, image processing method, and imaging system | |
JP5779089B2 (en) | Edge detection apparatus, edge detection program, and edge detection method | |
JP2007300253A (en) | Imaging apparatus and its light source estimating apparatus | |
US10121271B2 (en) | Image processing apparatus and image processing method | |
GB2557035A (en) | IR or thermal image enhancement method based on background information for video analysis | |
US9336607B1 (en) | Automatic identification of projection surfaces | |
US8503723B2 (en) | Histogram-based object tracking apparatus and method | |
JP5740147B2 (en) | Light source estimation apparatus and light source estimation method | |
JP6922399B2 (en) | Image processing device, image processing method and image processing program | |
WO2020130070A1 (en) | Detecting device, information processing device, detecting method, and information processing program | |
CN111311500A (en) | Method and device for carrying out color restoration on image | |
JP2015192338A (en) | Image processing device and image processing program | |
JP2011134019A (en) | Image processor and control method of the same | |
CN112770021B (en) | Camera and filter switching method | |
JP7194534B2 (en) | Object detection device, image processing device, object detection method, image processing method, and program | |
JP6565513B2 (en) | Color correction device, color correction method, and computer program for color correction | |
CN114125311A (en) | Automatic switching method and device for wide dynamic mode | |
Jo et al. | Adaptive white point extraction based on dark channel prior for automatic white balance | |
JP2021069004A (en) | Image processing device, image processing method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161111 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161117 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20161111 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171221 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171221 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180831 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180918 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181211 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190604 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190704 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6553624 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |