JP5771500B2 - 類似画像領域検出方法、装置及びプログラム - Google Patents
類似画像領域検出方法、装置及びプログラム Download PDFInfo
- Publication number
- JP5771500B2 JP5771500B2 JP2011224768A JP2011224768A JP5771500B2 JP 5771500 B2 JP5771500 B2 JP 5771500B2 JP 2011224768 A JP2011224768 A JP 2011224768A JP 2011224768 A JP2011224768 A JP 2011224768A JP 5771500 B2 JP5771500 B2 JP 5771500B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- image
- pixel
- shift movement
- coincidence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
Description
第1の態様は、第1の画像データに対する第2の画像データの位置が前記画素ブロック単位で1回シフト移動するごとに、先ず当該第1の画像データと第2の画像データとの間でその画素値を前記画素ブロック単位で比較して、当該画素値が予め設定した差の範囲内で一致した場合に当該画素ブロックの一致度数を計算し、この計算された画素ブロックの一致度数の、前記第1又は第2の画像データ全体における合計値を計算する。続いて、今回のシフト移動により得られた前記一致度数の合計値を、第2の記憶手段に保存されている前回のシフト移動までに得られた一致度数の合計値と比較し、今回のシフト移動により得られた一致度数の合計値が前記保存されている値より大きい場合に、当該保存されている値を今回のシフト移動により得られた一致度数の合計値に更新すると共に、今回のシフト移動位置を表す情報を第3の記憶手段に保存する。そして、前記第1の画像データの全領域にわたる全てのシフト移動が終了した後、前記第3の記憶手段に記憶されているシフト移動位置を表す情報を読み出し、このシフト移動位置をもとに前記第1又は第2の画像データから当該第1及び第2の画像データ間の類似画像領域を抽出するようにしたものである。
したがって、第1及び第2の画像データがカラー画像の場合でもその画素ブロックの一致度数を算出することができ、しかも一致するか不一致かに応じて係数1又は0を掛けるだけで一致度数が計算されるので、簡単な計算処理により一致度数を算出することが可能となる。
[一実施形態]
(構成)
図1は、この発明の一実施形態に係る類似画像領域検出方法を実施するための機能を備えた情報通信端末の構成を示すブロック図である。
この実施形態における情報通信端末は、ユーザが使用するパーソナル・コンピュータ、スマートホン或いはタブレット型端末からなり、制御ユニット1と、記憶ユニット2と、入出力インタフェースユニット3と、通信インタフェースユニット4を備えている。
初期位置記憶部22には、後述する画像ずらし制御部121が2枚の画像データをずらし制御する際に使用する、ずらし対象となる画像データの初期位置が記憶されている。
暫定最大値保持部23は、後述する一致度数計算部123により計算された一致度数合計の暫定最大値を保持するために用いられる。
ずらし位置保持部24は、上記暫定最大値が得られたときの画像データのずらし位置を表す情報を記憶するために用いられる。
(1) 上記画像比較処理部122による判定結果をもとに、RGB値が一致すると判定されたときに係数を“1”とし、一致しないと判定されたときに係数を“0”として、当該画素の一致度数を計算する処理。
(2) (1) により計算された各画素の一致度数を、上記重なり合っている領域中の全ての画素について合計する処理。
(3) (2) により求められた一致度数の合計値を、暫定最大値保持部23に保持された、前回のシフト移動までに得られた一致度数合計の最大値と比較する。そして、今回のシフト移動により得られた一致度数合計が、前回のシフト移動までに得られた一致度数合計の最大値より大きければ、暫定最大値保持部23に保持されている値を今回のシフト移動により得られた一致度数合計に更新し、以下であれば暫定最大値保持部23に保持されている値を維持する処理。
(4) (3) により、暫定最大値保持部23に保持されている値を今回のシフト移動により得られた一致度数合計に更新された場合に、ずらし位置保持部24に保持されているずらし位置座標を今回のシフト移動によるずらし位置座標に更新する処理。
(動作)
以上のように構成された情報通信端末による類似画像領域の検出処理動作を説明する。図2はその処理手順と処理内容を示すフローチャートである。
なお、ここでは複数のアプリケーション・プログラムが起動し、これらのアプリケーション・プログラムによりWebサイトから取得されたコンテンツや記録媒体から読込まれたコンテンツが表示デバイス32に異なるウィンドウにより表示されているものとして説明を行う。各コンテンツはテキストデータ、画像データ及び音楽データの何れを含むものでもよい。
上記複数のコンテンツがウィンドウ表示された状態で、制御ユニット1は画面キャプチャ処理部11を起動する。そして、この画面キャプチャ処理部11の制御の下で、表示デバイス32に表示されている1画面の表示情報を入出力インタフェースユニット3から予め設定された一定の時間間隔で取り込み、この1画面の表示情報を取り込むごとに、当該1画面の画面イメージを画像データの形式で取得タイミングを表す情報と関連付けて検査対象画像記憶部21に記憶させる。したがって、検査対象画像記憶部21には、上記表示デバイス32に表示された画面イメージの時系列変化を表す画像データの集合が蓄積されることになる。
制御ユニット1は、一致領域検出部12の制御の下で、先ずステップS1により、上記検査対象画像記憶部21から検査対象となる2枚の画像データ、例えば表示タイミングが一定時間離れている2枚の画像データを読み出し、この読み出された2枚の画像データの一方をずらし画像、他方を固定画像にそれぞれ設定する。そして、ステップS2により初期位置記憶部22からずらし制御の初期位置座標を読み出す。
いま図3に示すようにずらし画像として画像データD1を、また固定画像として画像データD2を選択したとする。そして、画像データD1と画像データD2を重ね合わせ、重なる領域に含まれる全ての画素についてRGB値を検出してその一致度数を計算し、さらにこの一致度数合計を計算してその暫定最大値を保持する。この結果、上記図3に示した画像データD1,D2の場合、ウィンドウB1−1とB1−2が同一内容を表示しているウィンドウであるとすれば、これらの画像データD1,D2を図4に示すようなシフト位置で重ねたとき、一致度数合計が最大値を示す。すなわち、上記ウィンドウB1−1とB1−2の全域が重なったときに一致度数合計は最大値を示すことになる。したがって、このときの一致度数が“1”となる画素集合の領域を保存しておけば、この一致度数が“1”となる画素集合の領域をそのまま一致画像領域とすることができる。
制御ユニット1は、最後にステップS5において検出結果送信部13を起動する。そして、この検出結果送信部13の制御の下、先ず上記抽出された一致画像領域に含まれる部分画像データの内容を認識するための処理を行う。認識処理の方法としては、例えば文字認識によりテキスト情報を抽出するものや、QRコード等のコード情報を抽出するものが適用できる。また、予め抽出されることが予測される画像等については、当該予測画像を参照画像として予め記憶ユニット2に記憶しておき、この予測画像との類似度をもとに画像データの内容を認識するようにしてもよい。
なお、画像認識処理の実行タイミングについては、時間的なパラメータや領域画像データに関するパラメータ、ユーザの操作や外部の端末等からのアクセスなどをトリガとして任意に設定することができる。
以上詳述したようにこの実施形態では、表示タイミングの異なる2枚の画像データを重ね合わせた状態で、その一方の画像データの位置座標を二次元方向(X軸、Y軸の各方向)に一定量シフトするごとに、当該画像データ間で画素ごとにそのRGB値の一致度数を計算してその全画素の合計を求め、この一致度数合計が最大値を示すときの画像データのシフト位置座標から一致画像領域を検出するようにしている。
なお、この発明は上記実施形態に限定されるものではない。例えば、前記実施形態では、画像データをX軸及びY軸の両方向に、つまり二次元方向にシフト移動させるようにしたが、ウィンドウが水平方向又は垂直方向にしか移動しない画像データであれば、X軸方向又はY軸方向の何れか一方にのみシフト移動させるようにしてもよい。
要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
Claims (5)
- コンピュータが、各々が表示画面を構成する複数の画像データを第1の記憶手段に格納する過程と、
前記コンピュータが、前記第1の記憶手段から、表示タイミングの異なる第1及び第2の画像データを読み出し、この読み出された第1の画像データに対する第2の画像データの位置を予め設定した画素ブロック単位で前記第1の画像データの全領域にわたりシフト移動させ、前記画素ブロック単位で1回シフト移動するごとに、当該第1の画像データと第2の画像データとの画素値を比較する比較過程と、
前記コンピュータが、前記比較過程による画像データの比較結果に基づいて、画素値が予め設定した差の範囲内で一致する領域を前記第1又は第2の画像データ中から類似画像領域を表す情報として抽出する抽出過程と
を具備することを特徴とする類似画像領域検出方法。 - 前記比較過程は、
第1の画像データに対する第2の画像データの位置が前記画素ブロック単位で1回シフト移動するごとに、
当該第1の画像データと第2の画像データとの間でその画素値を前記画素ブロック単位で比較し、当該画素値が前記予め設定した差の範囲内で一致した場合に当該画素ブロックの一致度数を計算し、
前記計算された画素ブロックの一致度数の、前記第1又は第2の画像データ全体における合計値を計算し、
今回のシフト移動により得られた前記一致度数の合計値を、第2の記憶手段に保存されている前回のシフト移動までに得られた一致度数の合計値と比較し、今回のシフト移動により得られた一致度数の合計値が前記保存されている値より大きい場合に、当該保存されている値を今回のシフト移動により得られた一致度数の合計値に更新すると共に、今回のシフト移動位置を表す情報を第3の記憶手段に保存し、
前記抽出過程は、
前記第1の画像データの全領域にわたる全てのシフト移動が終了した後、前記第3の記憶手段に記憶されているシフト移動位置を表す情報を読み出し、
当該シフト移動位置をもとに、前記第1又は第2の画像データから当該第1及び第2の画像データ間の類似画像領域を抽出する
ことを特徴とする請求項1記載の類似画像領域検出方法。 - 前記比較過程は、前記第1の画像データと第2の画像データとの間でそのRGB値を前記画素ブロック単位で比較し、RGB値が一致した場合に係数を1、一致しない場合に係数を0として当該画素ブロックの一致度数を計算することを特徴とする請求項2記載の類似画像領域検出方法。
- 各々が表示画面を構成する複数の画像データを記憶する第1の記憶手段と、
前記第1の記憶手段から、表示タイミングの異なる第1及び第2の画像データを読み出し、この読み出された第1の画像データに対する第2の画像データの位置を予め設定した画素ブロック単位で前記第1の画像データの全領域にわたりシフト移動させ、前記画素ブロック単位で1回シフト移動するごとに、当該第1の画像データと第2の画像データとの画素値を比較する比較手段と、
前記比較手段による画像データの比較結果に基づいて、画素値が予め設定した差の範囲内で一致する領域を前記第1又は第2の画像データ中から類似画像領域を表す情報として抽出する抽出手段と
を具備することを特徴とする類似画像領域検出装置。 - 請求項1乃至3のいずれかに記載の類似画像領域検出方法が備える各過程を実現する処理を、コンピュータに実行させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011224768A JP5771500B2 (ja) | 2011-10-12 | 2011-10-12 | 類似画像領域検出方法、装置及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011224768A JP5771500B2 (ja) | 2011-10-12 | 2011-10-12 | 類似画像領域検出方法、装置及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013084183A JP2013084183A (ja) | 2013-05-09 |
JP5771500B2 true JP5771500B2 (ja) | 2015-09-02 |
Family
ID=48529297
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011224768A Expired - Fee Related JP5771500B2 (ja) | 2011-10-12 | 2011-10-12 | 類似画像領域検出方法、装置及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5771500B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104457758B (zh) * | 2014-12-19 | 2017-04-12 | 哈尔滨工业大学 | 基于视频采集的Visual Map数据库建立方法及利用该数据库的室内视觉定位方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005012660A (ja) * | 2003-06-20 | 2005-01-13 | Nikon Corp | 画像生成方法、画像生成装置 |
JP2005157847A (ja) * | 2003-11-27 | 2005-06-16 | Seiko Epson Corp | 画像処理装置および処理方法 |
JP4821653B2 (ja) * | 2007-02-28 | 2011-11-24 | 富士ゼロックス株式会社 | 画像処理装置及び画像処理プログラム |
-
2011
- 2011-10-12 JP JP2011224768A patent/JP5771500B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2013084183A (ja) | 2013-05-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10395120B2 (en) | Method, apparatus, and system for identifying objects in video images and displaying information of same | |
CN104899146B (zh) | 基于图像匹配技术的软件稳定性测试方法和装置 | |
CN103488528B (zh) | 一种基于移动终端的二维码处理方法及装置 | |
EP3188034A1 (en) | Display terminal-based data processing method | |
CN107145816A (zh) | 对象识别跟踪方法及装置 | |
CN104090761A (zh) | 一种截图应用装置和方法 | |
JP2016514865A (ja) | 現実世界の分析可視化 | |
CN111179268B (zh) | 车载终端的异常检测方法、装置和车载终端 | |
CN112748827B (zh) | 截图分享方法、装置、终端设备和存储介质 | |
CN114416244B (zh) | 信息的显示方法、装置、电子设备及存储介质 | |
CN103345738B (zh) | 基于感兴趣区域的对象检测方法及装置 | |
CN114003160A (zh) | 数据可视化展示方法、装置、计算机设备和存储介质 | |
JP7139236B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
US20180336243A1 (en) | Image Search Method, Apparatus and Storage Medium | |
CN107103628A (zh) | 图像检测方法及装置 | |
JP5771500B2 (ja) | 類似画像領域検出方法、装置及びプログラム | |
KR101319667B1 (ko) | 증강현실 제공 시스템 및 그 방법과 이에 사용되는 관심 영역 트래킹 방법 및 단말기 | |
US8702001B2 (en) | Apparatus and method for acquiring code image in a portable terminal | |
CN112667212A (zh) | 埋点数据可视化方法、装置、终端和存储介质 | |
CN109889892A (zh) | 视频效果添加方法、装置、设备及存储介质 | |
CN112084444B (zh) | 页面加载时间检测方法、装置和计算机可读存储介质 | |
US20120162246A1 (en) | Method and an apparatus for automatic capturing | |
US20220283698A1 (en) | Method for operating an electronic device in order to browse through photos | |
JP5998952B2 (ja) | 標識画像配置支援装置及びプログラム | |
JP2018036687A (ja) | 情報処理装置および情報処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20130515 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140305 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20141112 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141125 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150115 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150623 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150629 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5771500 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |