JP7367917B2

JP7367917B2 - 情報処理システム及びプログラム

Info

Publication number: JP7367917B2
Application number: JP2019090996A
Authority: JP
Inventors: 陸久保; 寛徳川人
Original assignee: Cinnon
Current assignee: Cinnon
Priority date: 2019-05-13
Filing date: 2019-05-13
Publication date: 2023-10-24
Anticipated expiration: 2039-05-13
Also published as: JP2020187501A

Description

本発明は、操作対象となる装置やアプリケーション等の自動操作を可能にする情報処理システム及びプログラムに関する。

従来、各種の業務において、ワープロソフトでの文書作成、表計算ソフトを用いた計算処理、会計システムを用いた会計処理等が、日常的に行われている。また、最近では、これらの業務を自動化するに当たり、ＲＰＡ（ＲｏｂｏｔｉｃＰｒｏｃｅｓｓＡｕｔｏｍａｔｉｏｎ）が利用されている。

上記ＲＰＡは、認知技術（機械学習、人工知能等）を活用したホワイトカラーの業務を効率化や自動化する技術として知られている。また、ＲＰＡを活用した技術として、ソフトウェアの操作手順を記録し、その記録された操作手順に従ってソフトウェアを自動的に実行する情報処理装置が知られている（例えば、特許文献１）。

上記特許文献１の情報処理装置は、ユーザーが行うソフトウェアの操作手順を記録し、その記録された操作手順に従ってユーザーの操作を自動的に行う。具体的には、まず、ユーザーが表示部に表示されたオペレーションシステムのスタートボタンを指定することにより、ソフトウェアに紐付けられた起動タブ等の画像の一覧が表示部に表示され、当該画像の一覧からユーザーが所定のソフトウェアの起動タブ等の画像（以下、起動タブともいう）を指定する。これにより、スタートボタンの位置を基準として、起動タブの位置情報とユーザーの操作情報とが記録手段に記録される。前記情報処理装置は、前記記録に基づいて、操作内容を制御することでユーザーの操作の自動化を図る。

上述のように特許文献１の情報処理装置は表示部に表示されたスタートボタンの位置を基準とするものである。しかしながら、一般的にＲＰＡの作成は、上述のようなスタートボタンの位置を基にするものではなく、画像全体を検索して操作対象を認識することで行われる。また、一般的に操作対象の検索は、画面の左上から行われて、左上に最も近い操作対象を検出するように行われる。

特開２０１８－２０６２８８

ところで、上述のような特許文献１の情報処理装置は、オペレーションシステムのスタートボタンを基準として起動タブの位置情報やユーザーの操作情報を記録し、これらの操作情報に基づいて、操作内容を制御している。

しかしながら、上記特許文献１の情報処理装置は、環境の異なる別のパソコンで操作情報を記録する場合、起動タブの表示配列が異なることがあるので、誤って他のソフトウェアが起動される問題があった。また、タブレットやスマートフォン等では、画面内にスタートボタンがない場合（物理的なボタンがスタートボタンの場合）もある。かかる場合は、操作情報を取得できない問題があった。

また、環境が異なるパソコンでは、スタートボタンや起動タブの一覧の表示される位置が異なる配置となっている場合があり、このような場合も誤って他のソフトウェアが起動される問題があった。さらに、同一のパソコンを用いる場合であっても、ソフトウェアの新たな追加が行われた場合、ソフトウェアの起動タブの配列が変更され、正確な起動タブの位置情報を認識することができなくなる問題があった。

また、ＲＰＡで一般的に行われている画像全体の検索では、似た画像が複数存在する場合、誤って操作対象が認識される問題があった。このように操作対象が誤って認識されると、操作対象となるアプリケーションが誤動作を起こしたり、誤った実行結果が出力されたりする問題があった。

また、画面サイズ等が変わったり、微細な変化が生じたりした場合に対処する方法として、一般的に画像認識の精度を下げることが行われる（画面サイズや微細な変化に対してロバストにする）。しかしながら、この方法は、余計なオブジェクト１２も検出してしまうので、動作確率を上げることができるが、ＲＰＡの動作自体の精度が下がる問題があった。

そこで、本発明は、各種の環境が異なる端末を用いても、選択すべきオブジェクトを操作対象オブジェクトとして正確に自動選択して情報処理可能な、汎用性の高い情報処理システム及びプログラムを提供することにある。

上述した課題を解決すべく提供される本発明の情報処理システムは、表示領域内に操作可能なように表示されているオブジェクトから、選択すべきオブジェクトを操作対象オブジェクトとして自動選択して情報処理を行うものであって、前記操作対象オブジェクトを自動選択するための選択基準を規定する選択基準規定手段と、前記選択基準に則って前記操作対象オブジェクトを特定する操作対象特定手段と、前記操作対象特定手段により特定された前記操作対象オブジェクトの操作を実行する実行手段とを有し、前記選択基準規定手段が、前記操作対象オブジェクトを基準として所定範囲の領域の画像を操作対象基準画像とし、当該操作対象基準画像に基づいて前記選択基準を規定するものであり、前記操作対象特定手段が、前記表示領域内に表示されている前記オブジェクトから、画像認識により前記操作対象オブジェクトに係る画像と同一又は類似する画像に係る前記オブジェクトを検出し、検出された前記オブジェクトを基準として所定範囲の領域の画像を候補画像として抽出する抽出部と、前記操作対象基準画像との一致度合いが高いことを前記選択基準の一部又は全部の条件として、前記抽出部により抽出された一又は複数の前記候補画像のうちの一つを選択画像として選択する選択部と、前記選択画像に含まれている前記オブジェクトから前記操作対象オブジェクトを特定する特定部とを有し、前記実行手段が、前記操作対象特定手段により特定された前記操作対象オブジェクトを、所定のアルゴリズムに則って自動選択して情報処理を実行することを特徴とするものである。

本発明によれば、例えば各種の環境が異なる端末を用いる等しても、選択すべきオブジェクトを操作対象オブジェクトとして正確に自動選択して情報処理可能な、汎用性の高い情報処理システムを提供できる。すなわち、本発明の情報処理システムにおいては、操作対象オブジェクトを基準として所定範囲の領域の画像を操作対象基準画像とし、当該操作対象基準画像に基づいて規定された選択基準が操作対象オブジェクトの自動選択に際して使用される。また、本発明の情報処理システムは、操作対象特定手段を備えており、操作対象オブジェクトに係る画像と同一又は類似する画像に係るオブジェクトが存在していたとしても、これらのオブジェクトから操作対象オブジェクトを適確に特定できる。

すなわち、本発明の情報処理システムでは、操作対象オブジェクトに係る画像と同一又は類似する画像に係るオブジェクトを単に検出するだけでなく、検出されたオブジェクトを基準として所定範囲の領域の画像情報も加味して操作対象オブジェクトを選択することとしている。具体的には、本発明の情報処理システムでは、検出されたオブジェクトを基準として所定範囲の領域の画像を候補画像として抽出する処理を抽出部によって行うと共に、操作対象基準画像との一致度合いが高いことを選択基準の一部又は全部の条件として、候補画像から選択画像を選択する。また、本発明の情報処理システムでは、このようにして選択された選択画像に含まれているオブジェクトから操作対象オブジェクトを特定することとしている。このように、本発明の情報処理システムでは、操作対象オブジェクトに係る画像との一致度だけではなく、操作対象オブジェクトの周囲の画像との一致度も加味して操作対象オブジェクトが特定される。従って、操作対象オブジェクトの周囲の画像との一致度も加味して操作対象オブジェクトを特定するので、ロバスト性を保ったまま、操作対象オブジェクトの特定精度を向上させることができる。本発明の情報処理システムは、このようにして特定された操作対象オブジェクトを、所定のアルゴリズムに則って自動選択して情報処理を実行できる。従って、本発明によれば、例えば各種の環境が異なる端末を用いる等しても、適確に操作対象オブジェクトを特定し、自動選択して情報処理可能な情報処理システムを提供できる。

上述の選択基準規定手段は、表示領域内に操作対象オブジェクトと同一又は類似のオブジェクトであって、自動選択の対象外である非操作対象オブジェクトが存在することを条件として、前記非操作対象オブジェクトを基準として所定範囲の領域の画像を非操作対象基準画像とし、前記操作対象基準画像と前記非操作対象基準画像とに基づいて選択基準を規定することが好ましい。

かかる構成によれば、操作対象オブジェクトを基準とした操作対象基準画像と、自動選択の対象外である非操作対象オブジェクトを基準とした非操作対象基準画像とに基づいて選択基準が規定されるので、操作対象基準画像及び非操作対象基準画像のそれぞれと候補画像とを比較することができる。すなわち、操作対象基準画像のみを用いて候補画像から選択画像を選択することに比べて、より正確に候補画像から選択画像が選択されるので、操作対象オブジェクトを、所定のアルゴリズムに則って正確に自動選択して情報処理を実行することができる。

上述の選択基準規定手段は、前記操作対象基準画像との一致度合いが他の前記候補画像よりも高いことに加えて、あるいは前記操作対象基準画像との一致度合いが他の前記候補画像よりも高いことに代えて、前記非操作対象基準画像との一致度合いが他の前記候補画像よりも低い前記候補画像であることを前記選択基準の一部又は全部とすることが好ましい。

かかる構成によれば、選択基準規定手段は、操作対象基準画像との一致度合いが高い候補画像であることに加えて、非操作対象基準画像との一致度合いが低い候補画像であることを選択基準の一部又は全部とすることができる。従って、操作対象基準画像との一致度合いの最も高い候補画像が選択できる。すなわち、表示領域内に操作対象オブジェクトと同一又は類似のオブジェクトが複数存在する場合でも、より正確に操作対象オブジェクトを所定のアルゴリズムに則って自動選択して情報処理を実行することができる。

上述の選択部は、前記操作対象基準画像と前記候補画像との一致度合いを画像マッチングにより導出し、前記選択画像を選択するものであることが好ましい。

かかる構成によれば、選択部が、テンプレートマッチングやパターンマッチング等の画像マッチングにより、操作対象基準画像と前記候補画像との一致度合いを導出するので、選択基準の情報量が低減でき、選択画像の選択の高速化が図れる。

上述の選択部は、前記操作対象基準画像及び前記候補画像の特徴量、及び特徴点のいずれか一方又は双方の比較により前記操作対象基準画像と前記候補画像との一致度合いを導出することが好ましい。

かかる構成によれば、操作対象基準画像及び候補画像の特徴量及び特徴点のいずれか一方又は双方の比較により、前記操作対象基準画像と前記候補画像との一致度合いが導出されるので、操作対象オブジェクトの周囲の画像が複雑であっても、候補画像から精度良く自動選択の対象となる候補画像が選択できる。また、表示領域内に操作対象オブジェクトと同一又は類似のオブジェクトが複数存在する場合でも、候補画像から精度良く自動選択の対象となる候補画像が選択できる。また、少ない情報量で効率良く、操作対象基準画像と候補画像との比較が行えるので、情報処理の実行を高速に行うことができる。

前記操作対象基準画像及び前記候補画像の特徴量、及び特徴点のいずれか一方又は双方の比較による一致度合いは、操作対象基準画像と候補画像との類似度として導出しても良い。また、非操作対象基準画像が存在する場合は、操作対象基準画像及び非操作対象基準画像と候補画像とのそれぞれの類似度として導出しても良い。

上述した課題を解決すべく提供される本発明のプログラムは、表示領域内に操作可能なように表示されているオブジェクトから、選択すべきオブジェクトを操作対象オブジェクトとして自動選択して情報処理を行うものであって、前記操作対象オブジェクトを自動選択するための選択基準を規定する選択基準規定機能と、前記選択基準に則って前記操作対象オブジェクトを特定する操作対象特定機能と、前記操作対象特定機能により特定された前記操作対象オブジェクトの操作を実行する実行機能とを有し、前記選択基準規定機能が、前記操作対象オブジェクトを基準として所定範囲の領域の画像を操作対象基準画像とし、当該操作対象基準画像に基づいて前記選択基準を規定するものであり、前記操作対象特定機能が、前記表示領域内に表示されている前記オブジェクトから、画像認識により前記操作対象オブジェクトに係る画像と同一又は類似する画像に係る前記オブジェクトを検出し、検出された前記オブジェクトを基準として所定範囲の領域の画像を候補画像として抽出する抽出機能と、前記操作対象基準画像との一致度合いが高いことを前記選択基準の一部又は全部の条件として、前記抽出機能により抽出された一又は複数の前記候補画像のうちの一つを選択画像として選択する選択機能と、前記選択画像に含まれている前記オブジェクトから前記操作対象オブジェクトを特定する特定機能とを有し、前記実行機能が、前記操作対象特定機能により特定された前記操作対象を、所定のアルゴリズムに則って自動選択して情報処理を実行することを特徴とするものである。

本発明によれば、例えば各種の環境が異なる端末を用いる等しても、選択すべきオブジェクトを操作対象オブジェクトとして正確に自動選択して情報処理可能な、汎用性の高いプログラムを提供できる。すなわち、本発明のプログラムにおいては、操作対象オブジェクトを基準として所定範囲の領域の画像を操作対象基準画像とし、当該操作対象基準画像に基づいて規定された選択基準が操作対象オブジェクトの自動選択に際して使用される。また、本発明のプログラムは、操作対象特定機能を備えており、操作対象オブジェクトに係る画像と同一又は類似する画像に係るオブジェクトが存在していたとしても、これらのオブジェクトから操作対象オブジェクトを適確に特定できる。

すなわち、本発明のプログラムでは、操作対象オブジェクトに係る画像と同一又は類似する画像に係るオブジェクトを単に検出するだけでなく、検出されたオブジェクトを基準として所定範囲の領域の画像情報も加味して操作対象オブジェクトを選択することとしている。具体的には、本発明のプログラムでは、検出されたオブジェクトを基準として所定範囲の領域の画像を候補画像として抽出する処理を抽出部によって行うと共に、操作対象基準画像との一致度合いが高いことを選択基準の一部又は全部の条件として、候補画像から選択画像を選択する。また、プログラムでは、このようにして選択された選択画像に含まれているオブジェクトから操作対象オブジェクトを特定することとしている。このように、本発明のプログラムでは、操作対象オブジェクトに係る画像との一致度だけではなく、操作対象オブジェクトの周囲の画像との一致度も加味して操作対象オブジェクトが特定される。従って、操作対象オブジェクトの周囲の画像との一致度も加味して操作対象オブジェクトを特定するので、ロバスト性を保ったまま、操作対象オブジェクトの特定精度を向上させたプログラムを提供できる。本発明のプログラムは、このようにして特定された操作対象オブジェクトを、所定のアルゴリズムに則って自動選択して情報処理を実行できる。従って、本発明によれば、例えば各種の環境が異なる端末を用いる等しても、適確に操作対象オブジェクトを特定し、自動選択して情報処理可能なプログラムを提供できる。

本発明のプログラムでは、前記選択基準規定機能が、表示領域内に操作対象オブジェクトと同一又は類似のオブジェクトであって、自動選択の対象外である非操作対象オブジェクトが存在することを条件として、前記非操作対象オブジェクトを基準として所定範囲の領域の画像を非操作対象基準画像とし、前記操作対象基準画像と前記非操作対象基準画像とに基づいて選択基準を規定することが好ましい。

本発明のプログラムにおける前記選択基準規定機能は、前記操作対象基準画像との一致度合いが他の前記候補画像よりも高いことに加えて、あるいは前記操作対象基準画像との一致度合いが他の前記候補画像よりも高いことに代えて、前記非操作対象基準画像との一致度合いが他の前記候補画像よりも低い前記候補画像であることを前記選択基準の一部又は全部とすることが好ましい。

かかる構成によれば、選択基準規定機能は、操作対象基準画像との一致度合いが高い候補画像であることに加えて、非操作対象基準画像との一致度合いが低い候補画像であることを選択基準の一部又は全部とすることができる。従って、操作対象基準画像との一致度合いの最も高い候補画像が選択できる。すなわち、表示領域内に操作対象オブジェクトと同一又は類似のオブジェクトが複数存在する場合でも、より正確に操作対象オブジェクトを所定のアルゴリズムに則って自動選択して情報処理を実行することができる。

本発明のプログラムにおける前記選択機能は、前記操作対象基準画像と前記候補画像との一致度合いを画像マッチングにより導出し、前記選択画像を選択するものであることが好ましい。

本発明のプログラムにおける前記選択機能は、前記操作対象基準画像及び前記候補画像の特徴量、及び特徴点のいずれか一方又は双方の比較により前記操作対象基準画像と前記候補画像との一致度合いを導出することが好ましい。

本発明の情報処理システムは、上述のプログラムをクラウド上のサーバーに記憶しておき、操作者が、前記サーバー上のプログラムを実行することで、操作者の被操作端末における操作対象オブジェクトを自動選択して情報処理を実行するようにしたことを特徴とするものである。

かかる構成によれば、操作者が前記プログラムを保有していない場合であっても、前記サーバー上のプログラムを実行することで、被操作端末で操作対象オブジェクトを自動選択して情報処理を実行することが可能となる。

本発明の情報処理システムは、上述のプログラムをクラウド上のサーバーに記憶しておき、操作者が、前記サーバー上のプログラムを、被操作端末にダウンロードし、前記被操作端末における操作対象オブジェクトを自動選択して情報処理を実行するようにしたことを特徴とするものである。

かかる構成によれば、操作者が、クラウド上のプログラムをダウンロードして利用することが可能であるので、プログラムの管理がクラウド上で一括して行える。これにより、プログラムの管理が簡素化できる。

本発明の情報処理システムは、上述のプログラムと、操作対象とをクラウド上のサーバーに保存しておき、前記サーバーとは異なる外部端末からサーバー上のプログラムの実行を指示することで、サーバー上の操作対象オブジェクトを自動選択して情報処理を実行するようにしたことを特徴とするものである。

かかる構成によれば、操作者が前記プログラムやアプリケーションを保有していなくても、操作者がクラウド上のサーバーに実行指令するだけで、前記プログラムがクラウド上で実行され、操作者がアプリケーションの実行結果を得られる。すなわち、操作者が、サーバーを仮想マシンとして、アプリケーションを仮想マシン上で実行できるので、操作者側でアプリケーションやアプリケーション実行用の機器や装置を用意しなくても良い。従って、操作者の負担が軽減される。

本発明の情報処理システムは、上述のプログラムをクラウド上のサーバーに記憶しておき、ＡＩ機能が、操作者の操作対象オブジェクトの操作を推測して認識し、前記サーバー上のプログラムの実行を指示することで、被操作端末における操作対象オブジェクトを自動選択して情報処理を実行するようにしたことを特徴とするものである。

かかる構成によれば、操作者からの実行指令をＡＩ機能が学習し、ＡＩ機能が自動的に操作者からの実行指令を予測して実行するようにすることが可能となる。従って、操作者の負担なく、自動的に操作対象オブジェクトを操作することが可能となる。

本発明によれば、表示領域内に同一又は類似する操作対象オブジェクトが複数あっても、操作対象オブジェクトが正確に自動選択されて情報処理を自動的に実行することが可能になる。

本発明によれば、画像表示体系が異なる被操作端末を用いても、被操作端末が、正確に操作対象オブジェクト（フォルダ、アプリケーションのショートカット、起動プログラム等）を認識できる。従って、端末を操作する操作者が行っていた定型処理等が、被操作端末で自動的に実行される。

本発明のプログラムを、クラウドのサーバー上で実行可能としておくことで、操作者が被操作端末からサーバーに指示するだけで、操作者は、前記プログラムを使用でき、操作者が被操作端末を用意する必要がなくなる。これにより、操作者の負担を軽減できる。

は、本発明の一実施形態のシステム構成を表す概略図である。は、本発明の情報処理システムにおける表示領域の一例である。（ａ）及び（ｂ）は、操作対象基準画像の抽出に係る説明図である。（ｃ）及び（ｄ）は、非操作対象基準画像の抽出に係る説明図である。（ｅ）は、候補画像の抽出に係る説明図である。（ｆ）及び（ｇ）は、類似度導出に係る説明図である。（ｈ）は、操作対象オブジェクトの特定に係る説明図である。は、本発明の操作対象基準画像取得に係るフロー図である。は、本発明の候補画像取得に係るフロー図である。は、本発明の別の実施形態を表すシステム構成の概略図である。

本発明の一実施形態に係る情報処理システム１及びプログラムについて、図１及び図２に基づいて以下に説明する。

図１は、本発明の一実施形態を表す情報処理システム１の構成の概略図である。情報処理システム１は、選択基準規定手段２と、操作対象特定手段３と、実行手段７とを含んで構成されている。操作対象特定手段３は、抽出部４と、選択部５と、特定部６とを含んで構成されている。また、情報処理システム１には、ディスプレイ等の表示装置８が接続されている。なお、本実施形態においては、情報処理システム１が搭載された端末と、操作対象となる操作対象オブジェクトが搭載された被操作端末とが同一端末上で行われる場合を一例として説明する。

情報処理システム１は、例えば、会計システム等で定型的に行われる処理を自動的に実行することに使用される。本実施形態においては、操作者が、マウス等でファイル等の選択を行う作業を自動化することを例として説明する。

図２のように表示装置８の表示領域９内の画像には、操作可能なアイコン２０のようなオブジェクト１２が複数表示されている。オブジェクト１２には、操作対象オブジェクト１３が含まれている。

選択基準規定手段２は、操作対象オブジェクト１３を自動選択するための選択基準を規定する。選択基準規定手段２は、操作者が選択した操作対象オブジェクト１３を含む所定範囲の領域の画像を操作対象基準画像１０として抽出する。前記選択基準は、抽出された操作対象基準画像１０に基づいて規定される。

前記操作対象基準画像１０は、画像認識によりピクセル情報として抽出することができる。なお、ピクセル情報に代えて、適宜所定範囲をブロック化して画像情報を抽出するようにしても良い。ここで、操作対象オブジェクト１３は、本実施形態においてはフォルダであるが、操作対象に応じて各種のもの（例えば、アプリケーションの実行用アイコン、画面表示されたデータ等）を操作対象オブジェクト１３として設定できる。

ここで、所定範囲の領域は、例えば、表示領域９を超えない範囲で、かつ各オブジェクト１２の親領域（本実施形態では、領域１７に相当）を超えない範囲で、操作対象オブジェクト１３の縦幅及び横幅をそれぞれ定数倍した領域を好ましく設定できる。なお、前記定数倍とするのは、表示領域９又は前記親領域を超えると、超えた範囲のデータが各オブジェクト１２の認識の際のノイズとなるためである。本実施形態においては、例えば、操作対象オブジェクト１３の例えば３倍、操作対象オブジェクト１３が小さい場合は、例えば５倍程度の範囲内の領域を所定範囲の領域として設定できる。上述の所定範囲の領域の設定はあくまで例示であり、操作対象オブジェクト１３の大きさや、ノイズの発生度合いに応じて、適宜設定できる。

また、選択基準規定手段２は、表示装置８に表示された表示領域９内の画像を検索し、操作対象オブジェクト１３に係る画像と同一又は類似する画像を検出する。前記検索は、操作対象オブジェクト１３に係る画像と、表示領域９全体の画像とを例えばテンプレートマッチングやパターンマッチング等の画像マッチングで比較することで行う。

また、選択基準規定手段２は、前記検索によって、操作対象オブジェクト１３と同一又は類似であって、操作対象オブジェクト１３とは異なる非操作対象オブジェクト１５を検出した場合は、非操作対象オブジェクト１５として、当該非操作対象オブジェクト１５を含む所定範囲の領域の画像を非操作対象基準画像１６として抽出する。

なお、前記検索によって複数の非操作対象オブジェクト１５が検出された場合は、選択基準規定手段２は、検出された非操作対象オブジェクト１５を含む所定範囲の領域の画像をそれぞれ非操作対象基準画像１６として抽出する。

また、選択基準規定手段２は、抽出した画像から、後述する複数の特徴点１４（図３参照）を抽出する。特徴点１４は、本実施形態においては、数値化した特徴量として抽出している。なお、特徴点１４に代えて、選択基準規定手段２が、キャラクター、形状、色等の各種の情報を抽出するようにしても良い。抽出された特徴量は、画像と共にファイルへ書き込んだり、記憶手段等に記憶したりすることができる。なお、特徴点１４そのものを画像と共にファイルへ書き込んだり、記憶手段等に記憶したりするようにしても良い。

次に操作対象特定手段３で操作対象となる操作対象オブジェクト１３を特定することについて、以下に説明する。

操作対象特定手段３は、候補画像１１を抽出する抽出部４と、抽出部４で抽出された一又は複数の候補画像１１から選択画像１９を選択する選択部５と、選択画像１９に含まれているオブジェクト１２から操作対象オブジェクト１３を特定する特定部６とを含んで構成されている。

抽出部４は、表示装置８の表示領域９内の画像を検索し、操作対象オブジェクト１３と、操作対象オブジェクト１３と同一又は類似する非操作対象オブジェクト１５とを、検出して当該オブジェクトを含む所定範囲の領域の画像を候補画像１１として抽出する。なお、本実施形態においては、操作対象となる画像領域９内に操作対象オブジェクト１３と同一又は類似する非操作対象オブジェクト１５が１つ含まれている場合を例として説明する。

選択部５は、前記特徴量をファイル等から呼び出して取得する。なお、特徴点１４を基準とする場合は、選択部５は、特徴点１４の情報をファイル等から呼び出して取得すれば良い。また、選択部５は、抽出部４で抽出された一又は複数の候補画像１１の特徴量と操作対象基準画像１０の特徴量を比較して、一致度合いが高いことを一部又は全部の条件として、候補画像１１のうちの一つを選択画像１９として選択する。前記比較は、テンプレートマッチングやパターンマッチング等の画像マッチングを用いて行われる。

また、選択部５は、操作対象基準画像１０の特徴量と候補画像１１の特徴量との類似する度合いを類似度として導出する。前記類似度は、例えば操作対象基準画像１０及び候補画像１１との特徴点１４の一致個数の比率を用いることができる。なお、類似度の導出は、上記以外に例えば複数の特徴点１４の位置、色、形状、又は、特徴点１４全体が形成する形状等との一致度合いから導出するようにしても良い。

特定部６は、選択画像１９に含まれている複数のオブジェクト１２から操作対象オブジェクト１３を特定するものである。前記特定は、テンプレートマッチングやパターンマッチング等の画像マッチングを用いれば良い。

上述の選択基準規定手段２と、操作対象特定手段３と、抽出部４と、選択部５と、特定部と、実行手段７とをそれぞれ機能化し、情報処理システム１における処理をそれぞれ実現させるようにすることで、情報処理システム１をプログラムとすることもできる。

以上が、本発明の情報処理システム１又はプログラムの構成であり、次に図２から図７並びに図８及び図９に基づいて、上述の情報処理システム１における処理の詳細を説明する。

図２は、情報システム１に接続された表示装置８の表示画面の一例である。表示画面の表示領域９内には、アイコン２０等の複数のオブジェクト１２が表示されている。また、表示領域９内の図示左側の領域１７には、操作対象基準画像１０と非操作対象基準画像１５が表示されている。

図３（ａ）は、領域１７を拡大表示したものである。操作者は、マウス（図示しない）を操作して、領域１７内に存在する操作対象オブジェクト１３（本実施形態においては、下段の「デスクトップ」）付近にカーソル１８を移動させる。操作対象オブジェクト１３は、フォルダ、起動プログラム、ファイル等、操作者が操作する各種のものを割り当てることができる。

図８は、操作対象基準画像１０を抽出する処理を表すフローチャートである。ステップＳ１において、図３（ａ）のように操作者が、操作対象オブジェクト１３をカーソル１８で選択する。これにより、処理が開始され、操作対象オブジェクト１３が選択される。

ステップＳ２において、図３（ａ）のように選択基準規定手段２が、まず操作対象オブジェクト１３に係る画像を抽出する。前記画像は、例えばピクセル情報として抽出される。次に、選択基準規定手段２が、操作対象オブジェクト１３を含むその周辺の所定範囲の領域の画像を操作対象基準画像１０として抽出する。操作対象基準画像１０は、例えば、ピクセル情報として抽出される。操作対象オブジェクト１３とその周辺の所定範囲を含む操作対象基準画像１０は、一括して抽出しても良い。

ステップＳ３において、図３（ｂ）のように選択基準規定手段２は、操作対象基準画像１０の内部を検索し、特徴点１４を抽出する。特徴点１４は、本実施形態においては、オブジェクト１２の特定の部分を設定しているが、任意に設定することが可能である。抽出された特徴点１４は、特徴量Ａとして例えばファイル等に出力される。この時、操作対象基準画像１０及び操作対象オブジェクト１３に係る画像も特徴量Ａと併せてファイル等に出力される。なお、特徴量Ａは、特徴点１４を例えば個数や配置に基づいて数値化して表したものである。

ステップＳ４において、選択基準規定手段２は、表示領域９全体の画像から、操作対象オブジェクト１３と同一又は類似の画像を検索する。前記検索は、テンプレートマッチングやパターンマッチング等の画像マッチングで行われる。

ステップＳ５において、選択基準規定手段２は、前記検索において、操作対象オブジェクト１３と同一又は類似する画像が他に存在するか否かを判断する。操作対象オブジェクト１３と同一又は類似する画像が１つしか存在しない場合、ステップＳ８で操作対象基準画像１０と特徴量Ａは、選択基準として規定され、選択基準規定手段２の処理が終了する。なお、本実施形態においては、特徴量Ａを選択基準として規定しているが、前記選択基準は、特徴量Ａ及び特徴点１４のいずれか一方又は双方を規定することができる。

操作対象オブジェクト１３と同一又は類似する画像が複数存在する場合、ステップＳ６として、図４（ｃ）のように選択基準規定手段２は、操作対象オブジェクト１３と同一又は類似する画像（以下、非操作対象オブジェクト１５ともいう）を抽出する。次に選択基準規定手段２は、非操作対象オブジェクト１５を含む所定範囲の領域の画像を非操作対象基準画像１６として抽出する。非操作対象オブジェクト１５を含む所定範囲の領域の画像は、一括で抽出しても良い。なお、本実施形態においては、非操作対象オブジェクト１５が１つである場合を例として説明する。

ステップＳ７において、図４（ｄ）のように選択基準規定手段２は、非操作対象基準画像１６の特徴点１４として抽出する。抽出された特徴点１４は、特徴量Ｂとして例えばファイル等に出力される。この時、非操作対象基準画像１６及び非操作対象オブジェクト１５に係る画像も特徴量Ｂと併せてファイル等に出力される。なお、特徴量Ｂは、特徴量Ａと同様に特徴点１４を例えば個数や配置に基づいて数値化して表したものである。

ステップＳ８において、上述のように特徴量Ａと特徴量Ｂが抽出されると、特徴量Ａ及び特徴量Ｂが選択基準として規定され、選択基準規定手段２での処理が終了する。なお、図示しないが、非操作対象オブジェクト１５が複数ある場合は、ステップＳ６からステップＳ８を非操作対象オブジェクト１５の数に応じて繰り返し処理すれば良い。

図９は、操作対象となる端末での処理についてのフローチャートである。ステップＳ１１において、ファイル等に出力された操作対象オブジェクト１３及び非操作対象オブジェクト１５に係る画像（以下、オブジェクト画像ともいう）の情報を抽出部４に呼び出して取得する。

ステップＳ１２において、抽出部４は、表示装置８に表示された表示領域９全体の画像を取得する。画像は、例えばピクセル情報として取得される。

ステップＳ１３において、抽出部４は、表示領域９全体の画像からオブジェクト画像と同一又は類似する画像を検索する。前記検索は、例えばテンプレートマッチングやパターンマッチング等の画像マッチングで行われる。なお、本実施形態においては、候補画像１１が２つである場合を例として説明する。

ステップＳ１４において、抽出部４は、オブジェクト画像が１つかどうかを判断する。オブジェクト画像が１つしか存在しない場合、ステップＳ２０において、選択部５は、認識されたオブジェクト画像を、操作対象オブジェクト１３として特定する。操作対象オブジェクト１３が特定されると操作対象オブジェクト１３の特定処理が終了する。

オブジェクト画像が複数存在する場合、ステップＳ１５として、抽出部４は、全てのオブジェクト画像について、オブジェクト画像を含む所定範囲の領域の画像をそれぞれ候補画像１１として抽出する（図５（ｅ）参照）。なお、理解を容易にするため、操作対象オブジェクト１３を含む画像を候補画像１１ａ、非操作対象オブジェクト１５を含む画像を候補画像１１ｂとして、以下説明する。

ステップ１６において、選択部５は、選択基準としての特徴量Ａ及び特徴量Ｂをファイル等から呼び出して取得する。

ステップ１７において、図６（ｆ）のように、選択部５は、非操作対象基準画像１６の特徴量Ｂと、候補画像１１ａ及び１１ｂとをそれぞれ比較し、類似度を特徴点１４との一致度合いから導出する。特徴量Ｂに対する候補画像１１ａ及び１１ｂの類似度は、類似度Ｃとして取得する。

また、ステップ１７において、図６（ｇ）のように、選択部５は、操作対象基準画像１０の特徴量Ａと、候補画像１１ａ及び１１ｂとをそれぞれ比較し、類似度を特徴点１４との一致度合いから導出する。特徴量Ａに対する候補画像１１ａ及び１１ｂの類似度は、類似度Ｄとして取得する。

ステップＳ１８において、選択部５は、類似度Ｃにおける類似度が低く、類似度Ｄにおける類似度が高いものを操作対象オブジェクト１３として認識する。すなわち、操作者が選択した操作対象オブジェクト１３を含む所定範囲の領域の画像（操作対象基準画像１０）との類似度が最も高い画像を選択画像１９として選択する。

ステップＳ１９において、特定部６は、選択画像１９内から操作対象オブジェクト１３の画像を検索する。前記検索は、例えばテンプレートマッチングやパターンマッチング等の画像マッチングで行われる。既に検索した結果がある場合は、その結果を用いても良い。

ステップＳ２０において、操作対象オブジェクト１３が、操作対象となる端末（本実施形態においては同一の端末）において特定される。

操作対象オブジェクト１３の特定が終了すると、実行手段７によって操作対象オブジェクト１３が実行処理される。これにより、操作対象オブジェクト１３に割り付けられたアプリケーション等が自動的に実行され、所要の実行結果が出力される。また、必要により一連の処理内容がＲＰＡ３４として作成される。また、上記処理を繰り返し行って、複数の操作の処理を記録することにより、自動的に複数の操作を行うことができる。以上により、本発明の情報処理システム１又はプログラムの処理が終了する。

次に別の実施形態について図１０に基づいて以下に説明する。図１０は、本発明の情報処理システム１を利用したシステム構成の一例である。

本発明の情報処理システム１を実現するプログラムは、端末となる複数のコンピューター３０上に実行可能に記憶されている。また、これらのコンピューター３０は、前記プログラムを実行して、ＲＰＡ３４を作成する。作成されたＲＰＡ３４は、クラウドサーバー３１に送信されて記憶される。

ライセンサー３３は、クラウドサーバー３１上のＲＰＡ３４についてライセンシー３２に使用許諾する。ＲＰＡ３４の使用許諾を受けたライセンシー３２の操作者が、クラウドサーバー３１にログインしてアクセスすることにより、ライセンシー３２は、クラウドサーバー３１上のＲＰＡ３４を使用できる。すなわち、ライセンシー３２の企業内の各操作者が、ＲＰＡ３４を共有して使用することができる。また、クラウドサーバー３１上にＡＩ機能３８を置くことにより、例えば、ＡＩ機能３８がライセンシー３２からの要請を自動的に取得できる。これにより、ＡＩ機能３８が、前記要請に応じたＲＰＡ３４を自動的に作成することができる。また、ライセンシー３２のＲＰＡ３４の使用状況からＡＩ機能３８がライセンシー３２の要請を推測し、推測した要請に応じたＲＰＡ３４を新たに作成することも可能となる。

また、クラウド（仮想マシン）３６にＲＰＡ３４と、このＲＰＡ３４により実行される操作対象オブジェクト１３となるアプリケーションとを、記憶し、クラウド３６がＲＰＡ３４と前記アプリケーションとを実行できるようにする。このようにすることで、操作者がスマートフォン等の端末からクラウド３６に実行指示するだけで、操作者は、クラウド３６で実行されたＲＰＡ３４の実行結果を得ることができる。すなわち、特定のコンピューター３０上でしか利用できないＲＰＡ３４がクラウド３６上で実行できるので、操作者が、コンピューター３０を別途用意しなくとも、ＲＰＡ３４の実行結果を得ることができる。スマートフォン３６からの実行指示は、例えば日時の指定、入力データの設定、ＲＰＡ３４の選択等である。

以上が、本発明の実施形態であるが、本発明は、発明の範囲内で適宜変更することができる。

本実施形態においては、表示領域９全体の画像を取得しているが、表示領域９の中でオブジェクト１２が所定の範囲に表示されることが確実な場合は、表示領域９を所定の範囲に設定しても良い。

選択基準規定手段２は、操作対象特定手段３と同様にそれぞれの機能に応じて抽出部４、選択部５等を設けるようにしても良い。また、操作対象特定手段３は、それぞれの機能を分けて抽出部４、選択部５、特定部６を設けているが、これらを一体に形成しても良い。また、それぞれの機能を細分化して構成しても良い。

画像マッチングは、テンプレートマッチングやパターンマッチングに関わらず、各種の手法が採用できる。すなわち、操作対象基準画像１０と対比して、判断を付けることができるものであれば、例えば、色の階調や図形の形状に基づくものであっても良い。

本発明は、各種の環境が異なる端末を用いても、選択すべきオブジェクトを操作対象オブジェクトとして正確に自動選択して情報処理可能な、汎用性の高い情報処理システム及びプログラムとして利用できる。従って、パソコン、サーバー、携帯端末に広く利用できる。また、本発明は、仮想マシンやクラウド上においても利用することができる。

１情報処理システム
２選択基準規定手段
３操作対象特定手段
４抽出部
５選択部
６特定部
７実行手段
９表示領域
１０基準画像
１１候補画像
１２オブジェクト
１３操作対象オブジェクト
１４特徴点
１５非操作対象オブジェクト
１６非操作対象基準画像
１９選択画像
３０コンピューター
３１クラウドサーバー
３４ＲＰＡ
３６クラウド（仮想マシン）
３８ＡＩ機能

Claims

表示領域内に操作可能なように表示されているオブジェクトから、選択すべきオブジェクトを操作対象オブジェクトとして自動選択して情報処理を行う情報処理システムであって、
前記操作対象オブジェクトを自動選択するための選択基準を規定する選択基準規定手段と、
前記選択基準に則って前記操作対象オブジェクトを特定する操作対象特定手段と、
前記操作対象特定手段により特定された前記操作対象オブジェクトの操作を実行する実行手段とを有し、
前記選択基準規定手段が、
前記操作対象オブジェクトを基準として所定範囲の領域の画像を操作対象基準画像とし、当該操作対象基準画像に基づいて前記選択基準を規定するものであり、
前記操作対象特定手段が、
前記表示領域内に表示されている前記オブジェクトから、画像認識により前記操作対象オブジェクトに係る画像と同一又は類似する画像に係る前記オブジェクトを検出し、検出された前記オブジェクトを基準として所定範囲の領域の画像を候補画像として抽出する抽出部と、
前記操作対象基準画像との一致度合いが高いことを前記選択基準の一部又は全部の条件として、前記抽出部により抽出された一又は複数の前記候補画像のうちの一つを選択画像として選択する選択部と、
前記選択画像に含まれている前記オブジェクトから前記操作対象オブジェクトを特定する特定部とを有し、
前記実行手段が、
前記操作対象特定手段により特定された前記操作対象オブジェクトを、所定のアルゴリズムに則って自動選択して情報処理を実行することを特徴とする情報処理システム。
前記選択基準規定手段は、表示領域内に操作対象オブジェクトと同一又は類似のオブジェクトであって、自動選択の対象外である非操作対象オブジェクトが存在することを条件として、前記非操作対象オブジェクトを基準として所定範囲の領域の画像を非操作対象基準画像とし、前記操作対象基準画像と前記非操作対象基準画像とに基づいて選択基準を規定することを特徴とする請求項１に記載の情報処理システム。
前記選択基準規定手段は、前記操作対象基準画像との一致度合いが他の前記候補画像よりも高いことに加えて、あるいは前記操作対象基準画像との一致度合いが他の前記候補画像よりも高いことに代えて、前記非操作対象基準画像との一致が他の前記候補画像よりも低い前記候補画像であることを前記選択基準の一部又は全部とすることを特徴とする請求項２に記載の情報処理システム。
前記選択部が、前記操作対象基準画像と前記候補画像との一致度合いを画像マッチングにより導出し、前記選択画像を選択するものであることを特徴とする請求項１～３のいずれかに記載の情報処理システム。
前記選択部が、前記操作対象基準画像及び前記候補画像の特徴量、及び特徴点のいずれか一方又は双方の比較により前記操作対象基準画像と前記候補画像との一致度合いを導出することを特徴とする請求項４に記載の情報処理システム。
表示領域内に操作可能なように表示されているオブジェクトから、選択すべきオブジェクトを操作対象オブジェクトとして自動選択して情報処理を行うプログラムであって、
前記操作対象オブジェクトを自動選択するための選択基準を規定する選択基準規定機能と、
前記選択基準に則って前記操作対象オブジェクトを特定する操作対象特定機能と、
前記操作対象特定機能により特定された前記操作対象オブジェクトの操作を実行する実行機能とを有し、
前記選択基準規定機能が、
前記操作対象オブジェクトを基準として所定範囲の領域の画像を操作対象基準画像とし、当該操作対象基準画像に基づいて前記選択基準を規定するものであり、
前記操作対象特定機能が、
前記表示領域内に表示されている前記オブジェクトから、画像認識により前記操作対象オブジェクトに係る画像と同一又は類似する画像に係る前記オブジェクトを検出し、検出された前記オブジェクトを基準として所定範囲の領域の画像を候補画像として抽出する抽出機能と、
前記操作対象基準画像との一致度合いが高いことを前記選択基準の一部又は全部の条件として、前記抽出機能により抽出された一又は複数の前記候補画像のうちの一つを選択画像として選択する選択機能と、
前記選択画像に含まれている前記オブジェクトから前記操作対象オブジェクトを特定する特定機能とを有し、
前記実行機能が、
前記操作対象特定機能により特定された前記操作対象オブジェクトを、所定のアルゴリズムに則って自動選択して情報処理を実行することを特徴とするプログラム。
前記選択基準規定機能は、表示領域内に操作対象オブジェクトと同一又は類似のオブジェクトであって、自動選択の対象外である非操作対象オブジェクトが存在することを条件として、前記非操作対象オブジェクトを基準として所定範囲の領域の画像を非操作対象基準画像とし、前記操作対象基準画像と前記非操作対象基準画像とに基づいて選択基準を規定することを特徴とする請求項６に記載のプログラム。
前記選択基準規定機能は、前記操作対象基準画像との一致度合いが他の前記候補画像よりも高いことに加えて、あるいは前記操作対象基準画像との一致度合いが他の前記候補画像よりも高いことに代えて、前記非操作対象基準画像との一致度合いが他の前記候補画像よりも低い前記候補画像であることを前記選択基準の一部又は全部とすることを特徴とする請求項７に記載のプログラム。
前記選択機能が、前記操作対象基準画像と前記候補画像との一致度合いを画像マッチングにより導出し、前記選択画像を選択するものであることを特徴とする請求項６～８のいずれかに記載のプログラム。
前記選択機能が、前記操作対象基準画像及び前記候補画像の特徴量、及び特徴点のいずれか一方又は双方の比較により前記操作対象基準画像と前記候補画像との一致度合いを導出することを特徴とする請求項９に記載のプログラム。
前記請求項６から１０のいずれかに記載のプログラムをクラウド上のサーバーに記憶しておき、操作者が、前記サーバー上のプログラムを実行することで、操作者の被操作端末における操作対象オブジェクトを自動選択して情報処理を実行するようにしたことを特徴とする情報処理システム。
前記請求項６から１０のいずれかに記載のプログラムをクラウド上のサーバーに記憶しておき、操作者が、前記サーバー上のプログラムを、被操作端末にダウンロードし、前記被操作端末における操作対象オブジェクトを自動選択して情報処理を実行するようにしたことを特徴とする情報処理システム。
前記請求項６から１０のいずれかに記載のプログラムと、操作対象とをクラウド上のサーバーに保存しておき、前記サーバーとは異なる外部端末からサーバー上のプログラムの実行を指示することで、サーバー上の操作対象オブジェクトを自動選択して情報処理を実行するようにしたことを特徴とする情報処理システム。
前記請求項６から１０のいずれかに記載のプログラムをクラウド上のサーバーに記憶しておき、ＡＩ機能が、操作者の操作対象オブジェクトの操作を推測して認識し、前記サーバー上のプログラムの実行を指示することで、被操作端末における操作対象オブジェクトを自動選択して情報処理を実行するようにしたことを特徴とする情報処理システム。