JP6805903B2 - 表示差異検出プログラム、装置、及び方法 - Google Patents
表示差異検出プログラム、装置、及び方法 Download PDFInfo
- Publication number
- JP6805903B2 JP6805903B2 JP2017044295A JP2017044295A JP6805903B2 JP 6805903 B2 JP6805903 B2 JP 6805903B2 JP 2017044295 A JP2017044295 A JP 2017044295A JP 2017044295 A JP2017044295 A JP 2017044295A JP 6805903 B2 JP6805903 B2 JP 6805903B2
- Authority
- JP
- Japan
- Prior art keywords
- display
- target
- display element
- image
- elements
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
図1は、本実施形態に係る表示差異検出システム90の構成の一例を示す図である。
図1に示すように、本実施形態に係る表示差異検出システム90は、Webサーバ10、Personal Computer(PC)20A、PC20B、及び表示差異検出装置30を含んで構成される。
図2に示すように、本実施形態に係る表示差異検出装置30は、機能的には、取得部32と、抽出部34と、検索部36と、対応付け部38と、選択部40と、検出部42と、を含む。また、表示差異検出装置30は、PC20Aから取得した第1画像44A及びPC20Bから取得した第2画像44Bを表示する表示部44を備える。表示部44には、液晶ディスプレイや有機Electro Luminescence(EL)ディスプレイ等が適用される。表示部44は、第1画像44A及び第2画像44Bを、一例として水平方向に並べて配置した状態で表示する。
図3に示すように、本実施形態に係る第1画像44Aには、表示要素群10Aが含まれている。この表示要素群10Aには、一例として、複数の表示要素1A、2A,3A、4Aが含まれる。一方、本実施形態に係る第2画像44Bには、表示要素群10Aの対応付けの対象となる他の対象要素群10Bが含まれている。この対象要素群10Bには、一例として、複数の対象要素1B、2B、3B、4Bが含まれる。なお、画像に含まれる要素の配置や個数は、図3に示す例に限定されるものではなく、ブラウザ表示テストの対象とされる画像に応じて様々である。なお、図3の例では、表示要素及び対象要素の各々は、矩形領域として示される。
図4に示す例の場合、表示要素1Aには対象要素1Bが一対一で対応付けられている。表示要素2Aには対象要素2B及び対象要素3Bが一対多で対応付けられている。表示要素3Aには対象要素4Bが一対一で対応付けられている。表示要素4Aには対象要素2B及び対象要素3Bが一対多で対応付けられている。
図5に示す例は、第1画像44Aの表示要素群10Aの位置及び第2画像44Bの対象要素群10Bの各々の位置を同一の座標系に示したものである。この座標系は、表示部44に画像を表示させた場合に、当該画像の左角点を原点P0(0、0)とし、原点P0から右向きにx座標、下向きにy座標を取る座標系である。
図6に示す例の場合、表示要素1Aには対象要素1Bが一対一で対応付けられている。表示要素2Aには対象要素3Bが一対一で対応付けられている。表示要素3Aには対象要素4Bが一対一で対応付けられている。表示要素4Aには対象要素2Bが一対一で対応付けられている。
図12に示すように、要素e1は、ステップ200において選択された2つの要素のうちの一方の要素であり、要素e2は、他方の要素である。
f1=f(left1−right2)
f2=f(right1−left2)
f3=f(right1−right2)
f4=f(top1−top2)
f5=f(top1−bottom2)
f6=f(bottom1−top2)
f7=f(bottom1−bottom2)
ここで、f(x)の値は、以下の通りである。
−α≦x≦αの場合、f(x)=0
x<−αの場合、f(x)=−1
f1=f(left1−right2)=−1
f2=f(right1−left2)=1
f3=f(right1−right2)=−1
f4=f(top1−top2)=−1
f5=f(top1−bottom2)=−1
f6=f(bottom1−top2)=−1
f7=f(bottom1−bottom2)=−1
また、一対多の対応付けから、最適な一対一の対応付けを選択するため、ソース情報を用いなくても、画像間の差異を適切に検出することができる。
また、従来、ブラウザ表示テストの担当者が目視等で行っていた作業が自動化されるため、作業負荷が軽減され、見落とし等の発生を抑制することができる。
上記の第1の実施形態では、表示要素の座標値と対象要素の座標値との差を用いて、一対多から、一対一の対応付けを行った。第2の実施形態では、表示要素と対象要素との相対的な位置関係を考慮し、評価基準となる距離を選択的に用いて、一対一の対応付け処理を行う。
図17に示すように、第1画像44Aの表示要素4Aと第2画像44Bの対象要素2Bとの間で、折り返しずれが生じている。なお、図17では、説明の便宜上、第1画像44Aの表示要素4Aを第2画像44Bに重畳した状態で示している。
第1画像を解析して表示要素群を抽出し、
前記表示要素群の対応付けの対象となる他の対象要素群を含む第2画像から、前記表示要素群の各表示要素に類似する対象要素を検索し、
前記各表示要素に対して、前記検索した少なくとも1つの対象要素を対応付け、
複数の対象要素が対応付けられた表示要素が存在する場合に、前記複数の対象要素の中から、前記表示要素に対応付ける対象要素を選択し、
前記各表示要素の前記第1画像における相対的な位置関係と、前記各表示要素に対応付けられた各対象要素の前記第2画像における相対的な位置関係との差異を検出する、
処理をコンピュータに実行させることを特徴とする表示差異検出プログラム。
前記表示要素を選択する際に、前記表示要素群の位置及び前記対象要素群の位置を同一座標系で表した場合、前記表示要素の基準点の座標値と前記対象要素の基準点の座標値との差が最も小さい対象要素を選択することを特徴とする付記1に記載の表示差異検出プログラム。
前記表示要素と前記対象要素との相対的な位置関係に応じて、前記差により示される基準点間の第1距離と、前記第1距離よりも短い第2距離と、を選択的に用いることを特徴とする付記2に記載の表示差異検出プログラム。
前記第2距離は、前記第1距離と、前記基準点間の水平方向における水平距離及び前記基準点間の垂直方向における垂直距離のいずれか短い方との平均値であり、
前記対象要素が前記表示要素の上下方向又は左右方向に位置する場合、前記第1距離を用い、
前記対象要素が前記表示要素の斜め下方向に位置する場合、前記第2距離を用いることを特徴とする付記3に記載の表示差異検出プログラム。
前記対象要素を検索する際に、前記表示要素との類似度が所定値以上となる部分領域を対象要素として検索することを特徴とする付記1〜4のいずれか1項に記載の表示差異検出プログラム。
第1画像を解析して表示要素群を抽出する抽出部と、
前記表示要素群の対応付けの対象となる他の対象要素群を含む第2画像から、前記表示要素群の各表示要素に類似する対象要素を検索する検索部と、
前記各表示要素に対して、前記検索部により検索した少なくとも1つの対象要素を対応付ける対応付け部と、
複数の対象要素が対応付けられた表示要素が存在する場合に、前記複数の対象要素の中から、前記表示要素に対応付ける対象要素を選択する選択部と、
前記各表示要素の前記第1画像における相対的な位置関係と、前記各表示要素に対応付けられた各対象要素の前記第2画像における相対的な位置関係との差異を検出する検出部と、
を備えたことを特徴とする表示差異検出装置。
前記選択部は、前記表示要素群の位置及び前記対象要素群の位置を同一座標系で表した場合に、前記表示要素の基準点の座標値と前記対象要素の基準点の座標値との差が最も小さい対象要素を選択することを特徴とする付記6に記載の表示差異検出装置。
前記選択部は、前記表示要素と前記対象要素との相対的な位置関係に応じて、前記差により示される基準点間の第1距離と、前記第1距離よりも短い第2距離と、を選択的に用いることを特徴とする付記7に記載の表示差異検出装置。
前記第2距離は、前記第1距離と、前記基準点間の水平方向における水平距離及び前記基準点間の垂直方向における垂直距離のいずれか短い方との平均値であり、
前記選択部は、前記対象要素が前記表示要素の上下方向又は左右方向に位置する場合、前記第1距離を用い、
前記対象要素が前記表示要素の斜め下方向に位置する場合、前記第2距離を用いることを特徴とする付記8に記載の表示差異検出装置。
前記検索部は、前記表示要素との類似度が所定値以上となる部分領域を対象要素として検索することを特徴とする付記6〜9のいずれか1項に記載の表示差異検出装置。
第1画像を解析して表示要素群を抽出し、
前記表示要素群の対応付けの対象となる他の対象要素群を含む第2画像から、前記表示要素群の各表示要素に類似する対象要素を検索し、
前記各表示要素に対して、前記検索した少なくとも1つの対象要素を対応付け、
複数の対象要素が対応付けられた表示要素が存在する場合に、前記複数の対象要素の中から、前記表示要素に一対一で対応付ける対象要素を選択し、
前記各表示要素の前記第1画像における相対的な位置関係と、前記各表示要素に対応付けられた各対象要素の前記第2画像における相対的な位置関係との差異を検出する、
処理をコンピュータが実行することを特徴とする表示差異検出方法。
前記表示要素を選択する際に、前記表示要素群の位置及び前記対象要素群の位置を同一座標系で表した場合、前記表示要素の基準点の座標値と前記対象要素の基準点の座標値との差が最も小さい対象要素を選択することを特徴とする付記11に記載の表示差異検出方法。
前記表示要素と前記対象要素との相対的な位置関係に応じて、前記差により示される基準点間の第1距離と、前記第1距離よりも短い第2距離と、を選択的に用いることを特徴とする付記12に記載の表示差異検出方法。
前記第2距離は、前記第1距離と、前記基準点間の水平方向における水平距離及び前記基準点間の垂直方向における垂直距離のいずれか短い方との平均値であり、
前記対象要素が前記表示要素の上下方向又は左右方向に位置する場合、前記第1距離を用い、
前記対象要素が前記表示要素の斜め下方向に位置する場合、前記第2距離を用いることを特徴とする付記13に記載の表示差異検出方法。
前記対象要素を検索する際に、前記表示要素との類似度が所定値以上となる部分領域を対象要素として検索することを特徴とする付記11〜14のいずれか1項に記載の表示差異検出方法。
第1画像を解析して表示要素群を抽出し、
前記表示要素群の対応付けの対象となる他の対象要素群を含む第2画像から、前記表示要素群の各表示要素に類似する対象要素を検索し、
前記各表示要素に対して、前記検索した少なくとも1つの対象要素を対応付け、
複数の対象要素が対応付けられた表示要素が存在する場合に、前記複数の対象要素の中から、前記表示要素に対応付ける対象要素を選択し、
前記各表示要素の前記第1画像における相対的な位置関係と、前記各表示要素に対応付けられた各対象要素の前記第2画像における相対的な位置関係との差異を検出する、
処理をコンピュータに実行させる表示差異検出プログラムを記憶したことを特徴とする記憶媒体。
10A 表示要素群
10B 対象要素群
12 HTML文書
14 Webページ
22A 第1Webブラウザ
22B 第2Webブラウザ
30 表示差異検出装置
32 取得部
34 抽出部
36 検索部
38 対応付け部
40 選択部
42 検出部
44 表示部
44A 第1画像
44B 第2画像
50 コンピュータ
51 CPU
52 メモリ
53 記憶部
54 入出力装置
55 R/W部
56 通信I/F
57 バス
58 記憶媒体
70 表示差異検出プログラム
72 取得プロセス
74 抽出プロセス
76 検索プロセス
78 対応付けプロセス
80 選択プロセス
82 検出プロセス
90 表示差異検出システム
Claims (7)
- 第1画像を解析して表示要素群を抽出し、
前記表示要素群の対応付けの対象となる他の対象要素群を含む第2画像から、前記表示要素群の各表示要素に類似する対象要素を検索し、
前記各表示要素に対して、前記検索した少なくとも1つの対象要素を対応付け、
複数の対象要素が対応付けられた表示要素が存在する場合に、前記複数の対象要素の中から、前記表示要素に対応付ける対象要素を選択し、
前記各表示要素の前記第1画像における相対的な位置関係と、前記各表示要素に対応付けられた各対象要素の前記第2画像における相対的な位置関係との差異を検出する、
処理をコンピュータに実行させることを特徴とする表示差異検出プログラム。 - 前記対象要素を選択する際に、前記表示要素群の位置及び前記対象要素群の位置を同一座標系で表した場合、前記表示要素の基準点の座標値と前記対象要素の基準点の座標値との差が最も小さい対象要素を選択することを特徴とする請求項1に記載の表示差異検出プログラム。
- 前記表示要素と前記対象要素との相対的な位置関係に応じて、前記差により示される基準点間の第1距離と、前記第1距離よりも短い第2距離と、を選択的に用いることを特徴とする請求項2に記載の表示差異検出プログラム。
- 前記第2距離は、前記第1距離と、前記基準点間の水平方向における水平距離及び前記基準点間の垂直方向における垂直距離のいずれか短い方との平均値であり、
前記対象要素が前記表示要素の上下方向又は左右方向に位置する場合、前記第1距離を用い、
前記対象要素が前記表示要素の斜め下方向に位置する場合、前記第2距離を用いることを特徴とする請求項3に記載の表示差異検出プログラム。 - 前記対象要素を検索する際に、前記表示要素との類似度が所定値以上となる部分領域を対象要素として検索することを特徴とする請求項1〜4のいずれか1項に記載の表示差異検出プログラム。
- 第1画像を解析して表示要素群を抽出する抽出部と、
前記表示要素群の対応付けの対象となる他の対象要素群を含む第2画像から、前記表示要素群の各表示要素に類似する対象要素を検索する検索部と、
前記各表示要素に対して、前記検索部により検索した少なくとも1つの対象要素を対応付ける対応付け部と、
複数の対象要素が対応付けられた表示要素が存在する場合に、前記複数の対象要素の中から、前記表示要素に対応付ける対象要素を選択する選択部と、
前記各表示要素の前記第1画像における相対的な位置関係と、前記各表示要素に対応付けられた各対象要素の前記第2画像における相対的な位置関係との差異を検出する検出部と、
を備えたことを特徴とする表示差異検出装置。 - 第1画像を解析して表示要素群を抽出し、
前記表示要素群の対応付けの対象となる他の対象要素群を含む第2画像から、前記表示要素群の各表示要素に類似する対象要素を検索し、
前記各表示要素に対して、前記検索した少なくとも1つの対象要素を対応付け、
複数の対象要素が対応付けられた表示要素が存在する場合に、前記複数の対象要素の中から、前記表示要素に対応付ける対象要素を選択し、
前記各表示要素の前記第1画像における相対的な位置関係と、前記各表示要素に対応付けられた各対象要素の前記第2画像における相対的な位置関係との差異を検出する、
処理をコンピュータが実行することを特徴とする表示差異検出方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017044295A JP6805903B2 (ja) | 2017-03-08 | 2017-03-08 | 表示差異検出プログラム、装置、及び方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017044295A JP6805903B2 (ja) | 2017-03-08 | 2017-03-08 | 表示差異検出プログラム、装置、及び方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018147400A JP2018147400A (ja) | 2018-09-20 |
JP6805903B2 true JP6805903B2 (ja) | 2020-12-23 |
Family
ID=63591376
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017044295A Active JP6805903B2 (ja) | 2017-03-08 | 2017-03-08 | 表示差異検出プログラム、装置、及び方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6805903B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102209569B1 (ko) * | 2018-12-18 | 2021-01-28 | 주식회사 포스코 | 고강도 고연성 강판 및 그 제조방법 |
-
2017
- 2017-03-08 JP JP2017044295A patent/JP6805903B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018147400A (ja) | 2018-09-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10127199B2 (en) | Automatic measure of visual similarity between fonts | |
US20190188729A1 (en) | System and method for detecting counterfeit product based on deep learning | |
CN109285105B (zh) | 水印检测方法、装置、计算机设备和存储介质 | |
US20170147552A1 (en) | Aligning a data table with a reference table | |
JP5617095B2 (ja) | 新たな画像及びその情報を画像データベースに書き込むための方法、システム、及びプログラム | |
US11783610B2 (en) | Document structure identification using post-processing error correction | |
US20190272425A1 (en) | Visual feedback of process state | |
US10621465B2 (en) | Apparatus, method for character recognition, and non-transitory computer-readable storage medium | |
CN111340020B (zh) | 一种公式识别方法、装置、设备及存储介质 | |
CN110222641B (zh) | 用于识别图像的方法和装置 | |
US20200005078A1 (en) | Content aware forensic detection of image manipulations | |
JP2021165913A (ja) | 道路領域補正装置、道路領域補正方法及び道路領域補正用コンピュータプログラム | |
CN112215811A (zh) | 一种图像检测方法、装置、电子设备及存储介质 | |
CN110517221B (zh) | 基于现实坐标的缝隙定位方法、装置和存储介质 | |
JP6805903B2 (ja) | 表示差異検出プログラム、装置、及び方法 | |
JP2013171309A (ja) | 文字切り出し方法、およびこの方法を用いた文字認識装置およびプログラム | |
US10354409B2 (en) | Image processing device, image processing method, and non-transitory computer-readable recording medium | |
JP6222541B2 (ja) | 画像処理装置及びプログラム | |
JP6476145B2 (ja) | 画面差異合否判定装置、画面差異合否判定方法、及びプログラム | |
US20200150855A1 (en) | Information processing apparatus and non-transitory computer readable medium storing program | |
US9437020B2 (en) | System and method to check the correct rendering of a font | |
CN113642642B (zh) | 控件识别方法及装置 | |
JP6446945B2 (ja) | 非互換検出装置、非互換検出方法、及びプログラム | |
KR102509343B1 (ko) | 이미지의 레이아웃 분석 방법 및 시스템 | |
US11611678B2 (en) | Image processing apparatus and non-transitory computer readable medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191112 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200901 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200831 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201016 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201104 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201117 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6805903 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |