WO2020208955A1 - 情報処理装置、情報処理装置の制御方法及びプログラム - Google Patents

Abstract

情報処理装置であって、所定の画像処理に係るパラメータの複数の候補値を用い、対象データに対して前記所定の画像処理を実行した結果を表す複数の画像を取得する画像処理手段と、前記複数の画像から、複数の代表画像を選択する選択手段と、選択された前記複数の代表画像を表示手段に表示させる表示制御手段と、表示された前記複数の代表画像に対して入力される操作を受け付ける操作手段と、受け付けられた前記操作によって得られた情報の統計処理の結果に基づいて、前記複数の候補値から、少なくとも１つの値を決定する統計処理手段とを備える。

Description

情報処理装置、情報処理装置の制御方法及びプログラム

　本発明は、情報処理装置、情報処理装置の制御方法及びプログラムに関し、特に、画像処理におけるパラメータを適切に決定するための技術に関する。

　画像処理において処理のパラメータを適切に決定することは重要な課題である。最良の処理の結果を選ぶ際に、理想的なデータや正解データを用意できる場合には、理想的なデータと最も近い処理の結果を調べれば良い。

　特許文献１は、処理の結果ごとに理想的なデータとの類似性を調べることで、自動的にパラメータ最適値を決める方法を開示している。

　特許文献２は、異なるパラメータを用いて取得した複数の画像を用意しておき、画像の中から代表のデータを統計的に選んだ上でユーザに表示し、良い方をユーザに選ばせ、一度の試行によりパラメータの適切な値を決定する方法を開示している。

特許第５３６８８７３号公報 特開２０１５－１９８３００号公報

　しかしながら、特許文献１に記載の技術では、理想的なデータを用意できない場合や、処理結果の正解が一義的、客観的に定まらず主観によらざるを得ない場合など、理論的に予測できない場合には、パラメータの適切な値が分からない。また、特許文献２に記載の技術では、ユーザは代表データのみを確認すれば良いため負担が小さいものの、代表データに必ずしも適切なパラメータの設定値を用いた結果が含まれているとは限らない。

　このように、従来の技術では、パラメータを用いた処理を行う対象のデータが複数存在する状況において、ユーザの負担を軽減しながらパラメータの適切な値を決定することが難しいという課題がある。

　本発明は、上記の課題に鑑みてなされたものであり、パラメータを用いた処理を行う対象のデータが複数存在する状況において、ユーザの負担を軽減しながらパラメータの適切な値を決定するための技術を提供する。

　上記の目的を達成する本発明に係る情報処理装置は、
　所定の画像処理に係るパラメータの複数の候補値を用い、対象データに対して前記所定の画像処理を実行した結果を表す複数の画像を取得する画像処理手段と、
　前記複数の画像から、複数の代表画像を選択する選択手段と、
　選択された前記複数の代表画像を表示手段に表示させる表示制御手段と、
　表示された前記複数の代表画像に対して入力される操作を受け付ける操作手段と、
　受け付けられた前記操作によって得られた情報の統計処理の結果に基づいて、前記複数の候補値から、少なくとも１つの値を決定する統計処理手段と、
　を備えることを特徴とする。

　本発明によれば、パラメータを用いた処理を行う対象のデータが複数存在する状況において、ユーザの負担を軽減しながら、パラメータの適切な値を決定することができる。

　本発明のその他の特徴及び利点は、添付図面を参照とした以下の説明により明らかになるであろう。なお、添付図面においては、同じ若しくは同様の構成には、同じ参照番号を付す。

　添付図面は明細書に含まれ、その一部を構成し、本発明の実施の形態を示し、その記述と共に本発明の原理を説明するために用いられる。
一実施形態に係る情報処理装置のハードウェア構成例を示す図 一実施形態に係る情報処理装置の機能構成例を示す図 一実施形態に係る情報処理装置が実行する処理の流れを説明するフローチャート 処理実行結果と表示画面の例を説明する図 処理実行結果と表示画面の例を説明する図 適切なパラメータを決定する処理例を説明する図 適切なパラメータを決定する処理例を説明する図 適切なパラメータを決定する処理例を説明する図 適切なパラメータを決定する処理例を説明する図 一実施形態に係る情報処理装置の機能構成を示す図 一実施形態に係る情報処理装置が実行する処理の流れを説明するフローチャート 適切なパラメータを決定する処理例を説明する図 適切なパラメータを決定する処理例を説明する図 適切なパラメータを決定する処理例を説明する図 適切なパラメータを決定する処理例を説明する図 一実施形態に係る情報処理装置が実行する処理の流れを説明するフローチャート 処理実行結果と表示画面の例を説明する図 処理実行結果と表示画面の例を説明する図 処理実行結果と表示画面の例を説明する図 適切なパラメータを決定する処理例を説明する図 適切なパラメータを決定する処理例を説明する図 適切なパラメータを決定する処理例を説明する図 適切なパラメータを決定する処理例を説明する図 一実施形態に係る情報処理装置の機能構成を示す図 基準決定部を用いた処理例を説明する図 基準決定部を用いた処理例を説明する図 基準決定部を用いた処理例を説明する図

　以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

　（実施形態１）
　本実施形態では、理想的なデータや正解データを用意できない場合において、パラメータを用いた処理を行う対象のデータが複数存在する状況を想定して、人が見るべきデータ量を減らしながら、パラメータに設定される適切な値を決定する。

　情報処理装置では、処理対象である複数のデータと、その処理に使用するパラメータについて複数の候補値を入力し、その中からパラメータの適切な値（適切なパラメータ、ともいう）を出力する。以降では、パラメータを用いた処理を行う対象となるデータを処理対象データ、パラメータを用いた処理を実行して得られるデータを処理実行結果、適切なパラメータの候補として注目するパラメータに設定する値をパラメータの候補値と記載する。

　実施形態１では、処理対象データは、撮影により得られる画像とし、パラメータを用いた処理は、機械学習により生成したモデルを処理対象データに適用する処理とする。機械学習は、データから特定の情報を自動で抽出するモデルを生成する方法に関する技術である。画像を用いた機械学習は、画像内の特定の対象物の領域や輪郭を検知するためのモデルを構築する方法として用いられることがある。学習時のパラメータには、学習回数や学習率があり、実施形態１では、処理対象データに学習回数が異なるモデルを適用する例を示す。

　＜概要＞
　本実施形態に係る情報処理装置の概要を説明する。まず、ある１つの処理対象データに対して、パラメータの複数の候補値を用いて処理を実行することで、複数の処理実行結果を取得する。次に、それらの処理実行結果から複数の代表データを選択し、代表データをユーザに提示し、好適な代表データを主観的に選択させる。以降では、ユーザの選択に関する情報をユーザ選択情報とし、特にユーザに選択された代表データをユーザ選択データと記載する。ユーザによる選択操作の後、ユーザ選択データに対応するパラメータに得点を付与する。このとき、処理実行結果とユーザ選択データとの関係性（例えば類似性）を調べ、その結果、処理実行結果のうちユーザ選択データと似ているデータがあれば、似ている処理実行結果のパラメータにも得点を付与する。ユーザ選択データ以外の処理実行結果にも得点をつけるのは、適切な処理実行結果が必ずしも代表データとして選ばれない可能性を考慮するためである。以上の処理を、処理対象データを変更しながら繰り返し実行した後、得点の集計を行い、パラメータの適切な値を決定する。

　このように、本実施形態では、ユーザ選択情報と、処理実行結果との関係性に基づいて、パラメータの各候補値の得点を決定する。

　また、処理実行結果の関係性については代表データの選択の際に利用しても良い。例えば、関係性として処理実行結果間の類似性を調べ、特に類似性の低い処理実行結果の組み合わせを代表データとして選択する。代表データの選択の際に処理実行結果の関係性を利用すると、見た目上差異の大きい処理実行結果が表示されやすくなり、ユーザにとって選択操作のための判断が容易となる。

　実施形態１では、処理実行結果の関係性として類似性を調べ、類似性に基づいて代表データの選択および得点の決定を行う方法を説明する。

　＜情報処理装置のハードウェア構成＞
　図１Ａは、情報処理装置１００のハードウェア構成図である情報処理装置１００は、ＣＰＵ１００１、ＲＯＭ１００２、ＲＡＭ１００３、記憶装置１００４、バス１００５、入力装置１００６、及び表示装置１００７を備えている。情報処理装置１００は汎用のパーソナルコンピュータなどにより構成される。

　ＣＰＵ１００１は、情報処理装置１００の後述の機能ブロックによる各種動作を制御する。その制御内容は、後述するＲＯＭ１００２やＲＡＭ１００３上のプログラムによって指示される。また、ＣＰＵ１００１は、複数の計算機プログラムを並列に動作させることもできる。ＲＯＭ１００２は、ＣＰＵ１００１による制御の手順を記憶させた計算機プログラムやデータを格納している。ＲＡＭ１００３は、ＣＰＵ１００１が処理するための制御プログラムを格納するとともに、ＣＰＵ１００１が各種制御を実行する際の様々なデータの作業領域を提供する。ＲＯＭ１００２やＲＡＭ１００３などの記録媒体に格納されたプログラムコードの機能は、ＣＰＵ１００１が読み出して実行することによって実現されるが、記録媒体の種類は問われない。

　記憶装置１００４は、さまざまなデータ等を記憶することができる。記憶装置１００４は、ハードディスクやフロッピーディスク、光ディスク、磁気ディスク、光磁気ディスク、磁気テープ、不揮発性のメモリカード等の記録媒体と、当該記録媒体を駆動して情報を記録するドライブとを有する。保管された計算機プログラムやデータはキーボード等の指示や、各種計算機プログラムの指示により、必要な時にＲＡＭ１００３上に呼び出される。

　バス１００５は、各構成要素と接続されているデータバスなどであり、各構成要素間の通信を実現し、情報のやり取りを高速に実現するためのものである。入力装置１００６は、ユーザによる各種入力環境を提供する。各種入力操作環境を提供するものとして、キーボードやマウス等が考えられるが、タッチパネル、スタイラスペン等であっても良い。

　表示装置１００７は、ＬＣＤディスプレイなどで構成され、各種入力操作の状態やそれに応じた計算結果などをユーザに対して表示する。なお、以上述べてきた構成は一例であり、説明した構成に限定されるものでない。

　＜情報処理装置の機能構成＞
　図１Ｂは、情報処理装置１００の機能構成を示す図である。情報処理装置１００は、ネットワークまたは各種情報記録媒体を介して取得したソフトウェア（プログラム）を、ＣＰＵ、メモリ、ストレージデバイス、入出力装置、バス、表示装置などにより構成される計算機によって実行することで実現できる。なお、計算機については、汎用の計算機を用いても良いし、本実施形態に係るソフトウェアに最適に設計されたハードウェアを用いても良い。

　情報処理装置１００は、処理対象データ入力部１０１、パラメータ設定部１０２、処理実行部１０３、代表データ選択部１０４、表示制御部１０５、操作部１０６、統計処理部１０７、ユーザ選択情報保持部１１０、及び得点情報格納部１１１を備えている。

　処理対象データ入力部１０１は、処理対象データを受け付ける機能を持つ。

　パラメータ設定部１０２は、処理を行う上で注目するパラメータについて候補値を複数設定する。

　処理実行部１０３は、処理対象データとパラメータの候補値とを受け取り、処理対象データに対して異なる候補値により処理を実行して処理実行結果を取得する。

　代表データ選択部１０４は、処理実行部１０３から複数の処理実行結果を受け取り、処理実行結果の中から複数の代表データを選択する。

　表示制御部１０５は、代表データ選択部１０４から代表データを受け取り、表示装置１００７の表示画面に表示してユーザに選択の操作を促す。

　操作部１０６は、ユーザが代表データの中からデータを選択する操作を受け付ける。操作部１０６は、ユーザの選択操作に基づくユーザ選択情報を、ユーザ選択情報保持部１１０と統計処理部１０７とへ送る。

　ユーザ選択情報保持部１１０は、ユーザ選択情報を受け取るたびに随時記録する。処理対象データを変更しながら、代表データ選択部１０４、表示制御部１０５、操作部１０６の処理を繰り返し実行した後、統計処理部１０７は、ユーザ選択情報と処理実行結果とを用いて統計処理を行うことでパラメータの適切な値を決定する。統計処理部１０７は、得点決定部１０８と集計部１０９とを備えている。

　得点決定部１０８は、ユーザ選択情報と複数の処理実行結果との関係性に基づいてパラメータの候補値ごとに得点を決定する。ここで決定する得点は、得点格納部１１１で得点テーブルに格納する。集計部１０９は、得点格納部１１１の得点テーブルを参照して得点の集計を行い、パラメータの適切な値を決定する。

　なお、図１Ｂの構成には記憶装置としてユーザ選択情報保持部１１０や得点情報格納部１１１を記載しているが、これらは構成上必須ではない。ユーザ選択情報保持部１１０の情報は操作部１０６から統計処理部１０７へ直接渡しても良い。得点情報格納部１１１の情報は得点決定部１０８から集計部１０９へ直接渡しても良い。

　＜処理フロー＞
　図２を用いて、実施形態１に係る情報処理装置１００が実施する処理の手順を説明する。Ｓ２０１において、処理対象データ入力部１０１は、処理対象データを読み込む。Ｓ２０２において、パラメータ設定部１０２は、パラメータの候補値を複数設定する。Ｓ２０３において、処理実行部１０３は、処理対象データに対して候補値ごとに処理を実行し、処理実行結果を取得する。

　Ｓ２０４において、統計処理部１０７は、処理実行結果間の関係性として、実施形態１では類似性を調査する。Ｓ２０５において、代表データ選択部１０４は、類似性の低い処理実行結果の組み合わせを代表データとして選択する。Ｓ２０６において、表示制御部１０５は、選択された代表データを表示することにより、ユーザに表示画面上の代表データの中から望ましいデータを選択するように促す。Ｓ２０７において、操作部１０６は、ユーザの選択操作を受け付ける。

　Ｓ２０８において、得点決定部１０８は、操作部１０６による選択操作に基づくユーザ選択情報と、処理実行結果との関係性に基づいて、各候補値の得点を決定する。Ｓ２０９において、得点決定部１０８は、全処理対象データについて得点の決定を終えたか否かを判定する。終えていない場合は、Ｓ２０３からＳ２０９までの処理を繰り返し、終えている場合はＳ２１０へ進む。

　Ｓ２１０において、集計部１０９は、得点決定部１０８により決定された得点を用いて全処理対象データについて集計を行う。Ｓ２１１において、集計部１０９は、集計結果に基づいてパラメータの適切な値を決定し、パラメータ設定部１０２へ出力する。Ｓ２１２において、表示制御部１０５は、集計結果に基づいて決定されたパラメータの適切な値を確認画面に表示し、一連の処理を終了する。

　以上の処理により、ユーザの負担を軽減しながら、全処理対象データに対して、適切なパラメータを決定することができる。

　＜各構成要素の処理内容＞
　続いて、図３Ａ、図３Ｂ及び図４Ａ～図４Ｄを用いて、情報処理装置１００の各構成要素の処理内容を具体的に説明する。実施形態１では、人の写っている画像を処理対象データとする。処理実行部１０３で処理対象データに対して実行する処理として、画像内の人の輪郭抽出を行うためのモデルを適用する。本実施形態で注目するパラメータは、モデル生成に関するパラメータの１つである、学習回数とする。

　まず、処理対象データ入力部１０１について説明する。処理対象データ入力部１０１は、ユーザが用意した処理対象データを入力する機能を持つ。入力のため、ユーザは処理対象データのファイルを指定したり、処理対象データが格納されているフォルダを指定したりする。実施形態１では、人の写った大量の画像ファイルを指定して読み込む。

　次に、パラメータ設定部１０２について説明する。パラメータ設定部１０２は、注目するパラメータについて候補値を複数設定する。設定方法として、複数の候補値を記入したファイルを用意してファイルを指定する。または、表示画面上でユーザに候補値の入力を促して設定させる。実施形態１では、注目するパラメータは学習回数であり、候補値はα１、α２、α３、α４、α５とする。設定後は、候補値ごとに学習モデルを用意する。つまり、本実施形態では、学習回数をα１として学習した学習モデル、学習回数をα２として学習した学習モデル、というように、学習回数の異なる５つの学習済みモデルを用意する。

　次に、処理実行部１０３について説明する。処理実行部１０３は、処理対象データごとに一通りの候補値を用いた処理を実行することにより、複数の処理実行結果を取得する。実施形態１では、処理対象データに対し、異なる学習回数により生成されたモデルを適用することで、人の輪郭抽出を行い、処理実行結果としてスコアマップを取得する。スコアマップは、処理対象データと同じサイズのデータで、各画素に人の輪郭らしいかという確率を格納している画像である。図３Ａに、処理実行結果としてスコアマップのイメージを示す。画像３１０、３２０、３３０、３４０、３５０は、ある処理対象データｉｍａｇｅ１に対して処理を実行することで得られる処理実行結果であり、それぞれ候補値α１、α２、α３、α４、α５に対応するものとする。

　次に、代表データ選択部１０４について説明する。代表データ選択部１０４は、複数の処理実行結果の中から複数の代表データを選択する。選択方法には、処理実行結果間の関係性に基づいて選択する方法がある。実施形態１では、関係性として処理実行結果間の類似性を調べる。類似性は、処理実行結果間の類似度を算出することで調べることができ、類似性の低い処理実行結果の組み合わせを選択して、代表データとする。処理実行結果の類似度は、例えば、それぞれのスコアマップの相関を求める等により算出する。以降では、関係性を調べることで得られる情報を関係性調査結果と記載する。

　ここで、図４Ａは、処理対象データｉｍａｇｅ１における関係性調査結果の例を示す。図４Ａに示す表は、パラメータの候補値α１からα５に対応する処理実行結果の組み合わせごとに、類似度を算出した結果を格納している。ここでは点線領域４１０に示す、最も類似度が低い組み合わせに着目し、該当する候補値の組み合わせである、α１とα５に対応する処理実行結果である画像３１０と画像３５０を代表データとして選択する。

　次に、表示制御部１０５について説明する。表示制御部１０５は、表示画像を作成して表示装置１００７の画面に出力する。表示画面には、作業画面と確認画面とがある。確認画面については後で説明するものとし、まずは作業画面について説明する。

　作業画面は、ユーザに操作を促すための作業中の画面であり、基本的には代表データを表示し、ユーザに選択の操作を促すための画面である。図３Ｂの画像３６０に作業画面の例を示す。画像３６０は作業画面の最も基本的な例であり、代表データである画像３１０、画像３５０が表示されている。表示画面上には、代表データの他に、処理対象データを表示しても良い。処理対象データと代表データとを同じ表示画面に表示することにより、ユーザは処理の適用前後の画像を確認できるようになるため、選択の判断が容易になる。

　また、表示画面上には、処理対象データに代表データを重畳した画像を作成して表示しても良い。重畳した画像を表示することで、処理対象データと代表データとの位置の対応が、ユーザにとってより分かりやすくなる。重畳する際、処理実行結果（ここではスコアマップ）を透過色にしても良い。これにより、視認性が向上する。

　また、表示画面には、代表データの他にも、ユーザが選択に迷う場合に備えて、いずれも良好、いずれも不良、判断不可、という選択肢（代表データの良否に関する選択肢）を表示しても良い。以降では、このような選択肢を、判断に迷うケースに備えた選択肢と記載する。図３Ｂの画像３７０に具体例を示す。画像３７０は作業画面であり、代表データである画像３１０、３５０の他に、判断に迷うケースに備えた選択肢３７１を表示している。このように、判断に迷うケースに備えた選択肢を用意することで、ユーザは代表データの中から望ましいデータを毎回選ばなくても良くなるため、選択が難しい代表データが表示されたときに、ユーザが選択に悩む時間を削減することができる。

　続いて、操作部１０６について説明する。操作部１０６は、ユーザが表示画面に表示されている複数の代表データから主観的に好ましいデータをユーザ選択データとして選択する操作を受け付ける。具体的には、作業画面３６０にてマウスポインタ３６３をいずれかの代表データにかざしてクリックすることにより選択の操作を行う。また、表示画面上に判断に迷うケースに備えた選択肢を表示している場合は、ユーザは操作部１０６にてそれらの選択肢を選択することができる。例えば作業画面３７０において、ユーザが代表データである画像３１０、３５０のいずれも良好であると判断した場合、マウスポインタ３６３を、いずれも良好という文字を示した選択肢３７２に移動してクリックすることで選択の操作を行う。

　このように操作部１０６で取得する、ユーザ選択データや、ユーザが選択した判断に迷うケースに備えた選択肢の情報は、ユーザ選択情報として処理対象データごとにユーザ選択情報保持部１１０に記録する。以降、操作部１０６でα５の方の代表データである画像３５０がユーザにより選択されたものとして説明を行う。

　次に、得点決定部１０８について説明する。得点決定部１０８では、ユーザ選択情報と、処理実行結果との関係性（ここでは類似性）に基づいて、各処理対象データについて候補値ごとに得点を決定する。得点の決定方法について、ユーザ選択情報としてユーザ選択データの情報が格納されている場合と、ユーザが選択した判断に迷うケースに備えた選択肢に関する情報が格納されている場合についてそれぞれ説明する。

　まず、１つ目の、ユーザ選択情報としてユーザ選択データの情報が格納されている場合について説明する。この場合、ユーザ選択データに対応する候補値と、ユーザ選択データと類似性の高い処理実行結果に対応する候補値とに得点を付与する。

　得点の付け方として、各候補値の処理実行結果とユーザ選択データとの類似度を得点とする方法がある。類似度を得点とすることにより、ユーザ選択データとの類似性が高い程、より高い得点を付けることになる。具体例として、代表データである画像３１０、３５０の中からユーザが画像３５０（候補値α５の処理実行結果）をユーザ選択データとして選択した場合の得点テーブルの例を、図４Ｂに示す。図４Ｂの得点テーブルの各行には処理対象データごとの各候補値の得点を格納している。ここではユーザ選択データに対応する候補値がα５であるため、図４Ａの関係性調査結果における、α５と他の候補値の処理実行結果の類似度を示す点線領域４２０を参照し、得点テーブルの点線４３０の箇所にその情報を格納する。

　なお、上記の例ではパラメータの候補値の全てに得点を付与しているが、得点を付与する対象はユーザ選択データと特に類似性の高い処理実行結果の候補値のみとしても良い。具体的には、処理実行結果のうち、ユーザ選択データとの類似度がもう一方の代表データとの類似度に比べて高い処理実行結果を選び、その処理実行結果に対応する候補値の得点には正の値を付与して、その他の候補値の得点は０点とする。

　図４Ａの関係性調査結果を用いて例を示す。代表データに対応するパラメータの候補値α１とα５における、各候補値との類似度として、点線領域４７０、４２０に注目する。本実施形態１では、α５の処理実行結果がユーザ選択データであるため、候補値の中から、α１よりα５との類似度が高いものを調べる。該当する候補値がα４のみであることから、α４、α５に正の得点を付与する。このように、ユーザ選択データと類似性の高い処理実行結果の候補値のみに得点を付与することにより、ユーザの意図に沿わない得点付与を行うリスクを軽減できる。

　次に、２つ目の、ユーザ選択情報として、判断に迷うケースに備えた選択肢（代表データの良否に関する選択肢）に関する情報が格納されている場合について説明する。この場合、その選択内容に基づいて代表データでないものも含め、全ての候補値について得点を決定する。例えば、ユーザがいずれも良好という選択肢を選択した場合は、全ての候補値に等しく正の得点を付ける。ユーザがいずれも不良という選択肢を選択した場合は、全ての候補値に等しく負の得点を付ける。ユーザが判断不可という選択肢を選択した場合は、全ての候補値に０点を設定する。また、ユーザがこれらの選択肢から選択したときには、その処理対象データは得点決定の対象外とみなして得点をつけないようにしても良い。このように、判断に迷うケースに備えた選択肢に関する情報を用いることで、ユーザの意志をより柔軟に反映した得点決定を行うことができる。

　次に、集計部１０９について説明する。集計部１０９は、代表データ選択部１０４、表示制御部１０５、操作部１０６、および得点決定部１０８の処理が、処理対象データを変更しながら繰り返し実行された後に処理を行う。集計部１０９は、得点決定部１０８で決定した得点の集計を行い、候補値から適切な値を決定する。実施形態１では、集計は、候補値ごとに得点をヒストグラム化し、集計の結果、最高点を得た候補値をパラメータの適切な値とする。

　具体的には、図４Ｂの得点テーブルにおいて、候補値ごとに得点の合計を算出し、点線領域４４０に示すように集計結果を得る。この例では候補値α４の集計結果が最高値であることから、候補値α４を適切な値として決定する。

　なお、集計部１０９で集計を行うタイミングは２種類ある。１つ目は、得点決定部１０８で各処理対象データについて得点を決定した直後である。この集計処理は最大で処理対象データの画像枚数分だけ発生するが、得点を決定する度に毎回集計せずに、複数の処理対象データについてまとめて集計することもできる。２つ目は、全処理対象データについて得点の決定を終えた時点であり、この集計処理は一度だけ発生する。両者の区別のため、前者で得る結果を途中集計結果、後者で得る結果を最終集計結果と記載するものとする。

　集計部１０９の処理の後は、表示制御部１０５が確認画面を表示する。確認画面は、適切な値が決定された後、ユーザに結果を確認させるための画面である。図３Ｂの確認画面３８０には、集計部１０９で決定されたパラメータの適切な値の他に、得点に関する情報、パラメータの適切な値を用いたときの処理実行結果、後述のカバー率を表示する。最終的に適切な値として決定したパラメータの表示の例を、確認画面３８０の点線領域３８１に示す。

　得点に関する情報の表示の例として、点線領域３８３に最終集計結果のヒストグラムを示す。なお、得点に関する情報は、確認画面のみならず、随時途中集計結果を求めて作業画面に表示することもできる。ヒストグラムを表示すると、ユーザは、パラメータの全候補値の中で、比較的良好な結果が得られる範囲を把握できる。

　適切なパラメータの値を用いたときの処理実行結果の例を点線領域３８４、３８５に示す。これらはそれぞれ、その候補値を用いたときに、高得点を取得した例と低得点を取得した例を表している。このように、決定した候補値による様々な処理実行結果を表示することで、ユーザにその候補値を採用することの最終確認をさせることができる。

　カバー率は、集計部１０９で決定されたパラメータの値を用いて全処理対象データに処理を実行したときに、ユーザにとって望ましい処理実行結果の占める割合に関する情報である。具体的には、集計部１０９で決定したパラメータにより例えば０．５点などの所定値以上の得点を得た処理対象データ数と、全処理対象データ数との比を算出する。点線領域３８２に、カバー率の表示の例を示す。カバー率を表示することで、ユーザは、最終的に決定した適切なパラメータが、全処理対象データに対してどの程度有効なものであるかを把握できる。

　以上に述べた各構成要素の処理によって、パラメータの適切な値を決定することができる。

　＜途中集計結果の利用＞
　集計部１０９で算出される途中集計結果は、より適切なパラメータを決定することを目的として利用することができる。以下に、途中集計結果を、パラメータ設定部１０２、表示制御部１０５で利用する方法を説明する。

　まず、パラメータ設定部１０２における利用方法を述べる。パラメータ設定部１０２は、途中集計結果に基づいて、候補値を途中で変更することができる。途中集計結果において適切な値となる可能性の高い候補値があれば、その候補値の前後の値に、さらにユーザの好みに合うパラメータがある可能性がある。反対に、途中集計結果において適切な値となる可能性の低い候補値があれば、その候補値の処理実行結果は、それ以上は見る必要がないと考えられる。このため、途中集計結果を調べ、ある特定の候補値の得点の合計値が高いことが顕著であれば、その候補値の前後の値を候補値として増やす。一方で、途中集計結果を調べ、ある特定の候補値の得点の合計値が低いことが顕著であれば、その候補値の値を候補値の中から削除する。

　候補値の追加や削除を行った後は、処理実行部１０３が、修正した候補値を用いて処理を実行する。ただし、追加した候補値は、より適切な値である可能性があるため追加したにも関わらず、追加した時点ではそれまでの獲得得点がないため、最終的に高い得点を得ることが難しい。このため、追加した候補値の途中集計結果として、近い候補値のその時点における合計点に基づいて得点を設定する。例えば、追加した候補値の途中集計結果として、追加した候補値と最も近い候補値の途中集計結果と同じ得点を設定する。このように、パラメータ設定部１０２が途中集計結果を利用することにより、不要な候補値を削除できるため、一連の処理を効率化することができる。さらに、ユーザにとってより好ましい値を中心に候補値を限定できるため、より適切なパラメータを見つけられる可能性が高まる。

　次に、表示制御部１０５における利用方法を述べる。表示制御部１０５は、途中集計結果において得点の低い（例えば所定値以下の）候補値に対応する代表データが、ユーザにより選択された場合、同じ表示を再度行う。再度表示するのは、ユーザが誤って操作した可能性があると解釈し、ユーザに再確認させるためである。再表示を行うタイミングは、その処理対象データに関する表示の直後であっても、他の処理対象データに関する表示の後であっても良い。

　ここで、ユーザ選択データが１回目と２回目とで同じである場合、その処理対象データにおけるユーザの操作は誤操作ではなかったと解釈し、その処理対象データについて、通常通り得点を決定する。一方、ユーザ選択データが１回目と２回目とで異なる場合は、１回目の操作は誤操作であったと解釈する。そして、その処理対象データについては得点を無効とするか、２回目の操作により選択されたユーザ選択データを用いて得点を決定する。このように、表示制御部１０５が途中集計結果を利用することにより、ユーザの誤操作による得点を無効にすることができるため、集計結果の信頼性を向上させることができる。結果として、より適切なパラメータを決定できるようになることが期待できる。

　このように、途中集計結果を利用することで、一連の処理の効率や信頼性を向上できる。

　＜関係性に関する情報の操作＞
　次に、表示制御部１０５が、作業画面に、処理実行結果の関係性に関する情報を表示する方法について説明する。

　処理実行結果の関係性は、代表データと似ているデータに関する情報である。表示する方法としては、表示画面上の代表データの周辺に、代表データとの類似性が高い処理実行結果のサムネイルを表示する。

　処理実行結果の関係性の表示例を、図３Ｂの画像３９０の点線領域３９１、３９２に示す。点線領域３９１は代表データである画像３１０の近くに表示されており、この領域に含まれる処理実行結果は、代表データである画像３５０より代表データである画像３１０との類似度が高いことを示している。また、点線領域３７２は、代表データである画像３５０の近くに表示されており、この領域に含まれる処理実行結果は、代表データである画像３１０より代表データである画像３５０との類似度が高いことを示している。このように、処理実行結果間の関係性に関する情報を表示することによって、代表データの選択により、どの処理実行結果に対応する候補値に高い得点が付与されるかをユーザが容易に認識できるようになる。

　また、処理実行結果の関係性を表示する場合に、操作部１０６により関係性を変更できるようにしても良い。以下、操作部１０６により関係性に関する情報の変更の操作を行い、当該操作に応じて、得点決定部１０８が得点を変更する方法を説明する。

　関係性に関する情報の変更を行うタイミングは、ユーザが選択しようとした代表データに類似したデータとして表示される処理実行結果の中に、ユーザにとって好ましくないデータがあることが分かった時である。このとき、ユーザの操作により関係性に関する情報を変更することで、好ましくない処理実行結果に対応する候補値には得点が付与されないようにする。

　具体的には、図３Ｂの作業画面３９０において、ユーザが代表データ３１０を選択しようとしたが、代表データ３１０と類似したデータとして表示されている処理実行結果のうち、処理実行結果３３０がユーザにとって好ましくないとする。このとき、ユーザはマウスポインタ３６３を用いて、処理実行結果である画像３３０の位置から点線領域３９２の位置までドラッグをする。この操作により、処理実行結果である画像３１０がユーザ選択データとして選ばれても、処理実行結果である画像３３０に対応する候補値には、得点が付与されないようにすることができる。

　なお、本実施形態では、処理対象データは撮影により得られる画像としたが、これに限らず、ベクタデータ、動画、3次元データ、ポリラインデータであっても良い。画像はグレースケール画像であっても良いし、カラー画像であっても良い。また、処理対象データは、画像を加工したデータや、画像にエッジ抽出処理を行って得られるエッジ画像であっても良い。

　また、本実施形態では、パラメータを用いた処理として、機械学習により生成したモデルを処理対象データに適用する処理を説明したが、処理の内容はこれに限らず、一般的な画像処理であっても良い。具体的には、画像処理は、具体的にはエッジ抽出処理や閾値処理がある。パラメータを用いた処理がエッジ抽出処理である場合は、注目するパラメータはフィルタサイズやフィルタの種類となる。パラメータを用いた処理が閾値処理である場合は、処理対象データはエッジ画像となり、注目するパラメータは閾値となる。

　また、本実施形態では、代表データ選択部１０４が代表データを選択する方法として、処理実行結果間の類似度を算出することにより類似性を調べ、類似度に基づいて代表データを選択する方法を説明したが、代表データの選択方法はこれに限定されない。

　例えば、代表データ選択部１０４は、処理実行結果と処理対象データとを統合した情報に基づいて代表データを選択しても良い。具体的には、処理対象データの特徴ベクトルと処理実行結果とを統合した新たな特徴ベクトル等の類似性判定や、処理対象データと処理実行結果とに関して総合的な類似性判定を行うモジュール（例えばＤｅｅｐ　Ｌｅａｒｎｉｎｇのアーキテクチャ）を構築する。このようなモジュールを使用することにより、代表データを選択する。または、類似性を明示的に評価、算出せずに、複数の処理実行結果や処理対象データを入力すると、代表データを出力するモジュールを構築して使用することもできる。このように、処理実行結果のみならず処理対象データの情報も利用することにより、処理対象データ上の重要な領域に重点をおいて代表データを選択できるようになる。その他にも、代表データはランダムに決定しても良い。

　なお、本実施形態では、１つのパラメータに着目し、異なる複数の候補値を設定する方法を示したが、２つ以上のパラメータを対象とすることもできる。パラメータが１つの場合は、候補値ごとに処理実行結果を取得し、候補値ごとに得点を決定する処理を繰り返して、適切な候補値を決定した。一方、パラメータが２つある場合は、候補値のペアごとに処理実行結果を取得し、候補値のペアごとに得点を決定する処理を繰り返して、最終的に適切なパラメータのペアを決定するようにする。

　本実施形態では、図２のフローチャートにおいて、Ｓ２０４で調べた処理実行結果の関係性の情報を、Ｓ２０５の代表データ選択と、Ｓ２０８の得点の決定において使用する方法を示した。しかし、関係性調査結果の使用は、Ｓ２０８の得点の決定には必須であるが、Ｓ２０５の代表データ選択には必須ではないため、Ｓ２０４の処理は、Ｓ２０３からＳ２０８までの間であれば、どの段階で実行しても良い。

　また、本実施形態では、Ｓ２０３の処理実行結果の取得からＳ２０８の得点の決定までの工程を処理対象データごとに繰り返す方法を示したが、全処理対象データに対して一度に実施することもできる。なお、本実施形態では、Ｓ２１０で、集計部１０９が、全処理対象データの得点を決定してから最終的な集計結果を求めているが、集計は、処理対象データに得点を決定するたびに随時行っても良い。集計を随時行うことにより、上述したように途中集計結果を利用することができるようになり、結果として一連の処理の効率面や信頼性を向上できる。

　（実施形態２）
　実施形態１では、処理実行結果の関係性を類似性に基づいて調査し、ユーザ選択情報と類似性とに基づいて得点を決定する方法を説明した。これに対し、実施形態２では、処理実行結果の関係性を、処理実行結果を、データの分布によりグループに分けすることにより調べ、グループに基づいて得点を決定する方法を説明する。

　また、実施形態１では、集計部１０９は、候補値ごとにヒストグラム化することにより集計を行い、最高点を得た候補値を適切な値とした。これに対し、実施形態２では、集計部１０９は、得点を用いてパラメータ空間上における重心に位置する候補値を算出し、算出した候補値を適切な値とする方法を説明する。

　実施形態２では、処理対象データは、人の写っている画像に対してエッジ抽出することで得られるエッジ画像とする。エッジ画像は、画像と同じサイズのグレースケール画像であり、エッジ抽出を適用する前の画像上でエッジのある部分には１に近い画素値、エッジのない部分には０に近い画素値を格納した２次元データである。処理実行部１０３が行う処理は、閾値処理とし、注目するパラメータは、閾値とする。

　なお、本実施形態に係る情報処理装置の構成は実施形態１で図１Ａ及び図１Ｂを参照して説明した構成と同様であり、処理の手順も図２のフローチャートと同様である。ただし、実施形態１では、関係性を調査する際に類似度を算出したが、実施形態２ではグループに関する情報を求める点で異なっている。

　＜各構成要素の処理内容＞
　実施形態２の各構成要素の処理内容について説明する。処理対象データ入力部１０１は、人の写った画像群に対してエッジ抽出を行って得られるエッジ画像のデータ群を処理対象データとして入力する。パラメータの候補値には異なる閾値を設定し、それぞれα１、α２、α３、α４、α５とする。

　処理実行部１０３は、処理対象データに対して、一通りの候補値を用いて閾値処理をする。図３Ａの画像３１０、３２０、３３０、３４０、３５０は、候補値α１、α２、α３、α４、α５に対応する処理実行結果の例である。

　代表データ選択部１０４は、複数の候補値により得られた複数の処理実行結果をグループ化し、各グループから１つの処理実行結果を代表データとして選択する。グループ化は、処理対象データごとに、異なる候補値により得られた処理実行結果をクラスタリングすることにより実行する。クラスタリングとは、データ群をデータ分布に基づき複数のグループに分類する方法である。

　１つの処理対象データｉｍａｇｅ１におけるグループ化による関係性調査結果の例を図４Ｃに示す。ｇ１、ｇ２は処理実行結果が所属するグループを意味するものとする。この表は、グループ化によりα１、α２、α３はグループｇ１に属し、α４、α５はグループｇ２に分類されていることを示している。

　各グループから代表データを選択する方法には、処理実行結果に基づき選択する方法、パラメータの候補値に基づき選択する方法がある。処理実行結果に基づき選択する方法では、グループ分けした空間上においてグループの中心に最も近い処理実行結果を代表データとする。

　候補値に基づき選択する方法は２つある。１つ目は、グループごとに候補値の平均値を求め、平均値に近い候補値の処理実行結果を代表データとする方法である。２つ目は、平均値と一致する値が候補値の中に存在しないとき、その平均値をパラメータの値として処理実行結果を取得し直して代表データとする方法である。その他、各グループから代表データを選択するときには、ランダムに選択しても良い。実施形態２では、代表データ選択部１０４が、グループｇ１、ｇ２の代表データとして、それぞれ候補値α１、α５の処理実行結果を選択したものとする。

　表示制御部１０５が代表データを表示して、操作部１０６によるユーザ操作を行った後、得点決定部１０８が各候補値に得点を付与する。実施形態２では、処理実行結果がユーザ選択データのグループと同じであるかどうかに基づき得点を決定する。得点の付与方法としては、ユーザ選択データの属するグループには均等の得点を付ける方法がある。例えば、ユーザ選択データとしてα５の処理実行結果が選ばれたとする。図４Ｃの関係性調査結果の処理対象データｉｍａｇｅ１に着目すると、ユーザ選択データの属するグループｇ２には候補値α４、α５が含まれている。このため、図４Ｄに示す得点テーブルにおいて、点線領域４５０に示すようにα４、α５に得点を均等に付与する。

　その他の得点の付与方法として、ユーザ選択データの属するグループの中で、ユーザ選択データと処理実行結果との類似性を調べ、該当グループの候補値のみ得点として類似度を付与し、他のグループの候補値の得点は０点としても良い。

　次に、集計部１０９について説明する。実施形態２における集計部１０９は、得点を用いてパラメータ空間上における重心に位置する候補値を調べて適切な値とする。各候補値が取得した得点の合計値を求めて、合計値と候補値を用いてパラメータ空間上での重心を求め、重心をパラメータの適切な値とみなす。具体的には、図４Ｄの点線領域４６０に示すように、候補値ごとに合計得点を求め、その後、式（１）を用いて候補値の重心を求めることにより、適切な値を決定する。

　ただし、ｘｉは各候補値の合計得点、αｉは候補値とし、添え字ｉは候補値ごとに異なる値をとるものとする。また、ｎは候補値の数とする。このように、重心を求める処理は、パラメータ設定部１０２が設定する設定値に適切なパラメータが必ずしも含まれているとは限らないことを考慮した処理である。重心から適切な値を決めることで、より適切な候補値を見つけることができる可能性がある。

　以上のように、本実施形態では、関係性として処理実行結果のグループを調べ、グループに基づいて得点を決定し、集計の際に重心を利用する。これにより、より適切な候補値を見つけられる可能性を高めることができる。

　（実施形態３）
　実施形態１及び実施形態２では、処理対象データごとに代表データを一度だけ表示していた。これに対し、実施形態３では、処理対象データごとに代表データの表示を複数回行う。具体的には、代表データが３つ以上ある場合に、表示する代表データの組み合わせを変更するとユーザによる選択の結果が変化することを考慮し、処理対象データごとに組み合わせを変更しながら代表データを表示する。実施形態３では、特に、処理対象データごとに得られる複数のユーザ選択情報を分析して、候補値の順位に関する情報を取得し、順位に基づいて得点の決定を行う方法を説明する。

　実施形態３では、ユーザが主観的に美しいと感じるパラメータを決定することを目的として、処理対象データには景色や人物の写った画像（例えば６４０ｐｉｘｃｅｌ×４８０ｐｉｘｃｅｌのサイズの画像）を扱う。処理実行部１０３が実施する処理は、明るさ変換処理とし、注目するパラメータは、明るさ変換パラメータとする。

　＜情報処理装置の機能構成＞
　図５は、実施形態３に係る情報処理装置５００の機能構成を示す図である。実施形態３では、実施形態１で図１Ａ及び図１Ｂを参照して説明した情報処理装置１００の構成に、ユーザ選択情報分析部５１０が追加されている。

　ユーザ選択情報分析部５１０は、ある処理対象データに対する複数のユーザ選択情報をユーザ選択情報保持部１１０から受け取り、ユーザ選択情報に基づいてユーザ選択情報分析結果を取得して、ユーザ選択情報分析結果を得点決定部１０８に送る。得点決定部１０８は、ユーザ選択情報分析部５１０からユーザ選択情報分析結果を受け取ると、ユーザ選択情報分析結果と処理実行結果との関係性に基づいて各候補値の得点を決定する。

　＜処理フロー＞
　図６を用いて、実施形態１に係る情報処理装置５００が実施する処理の手順を説明する。Ｓ２０１で処理対象データ入力部１０１が処理対象データを読み込んでから、Ｓ２０４で統計処理部１０７が処理実行結果の関係性を調査するまでは、実施形態１及び２と同様である。Ｓ２０５において、代表データ選択部１０４は、実施形態１、２では代表データを２つ選択していたのに対し、実施形態３では代表データを３つ以上選択する。

　続いて、Ｓ６０１では、表示制御部１０５は、代表データから表示画面に表示するデータの組み合わせを１つ選ぶ。Ｓ２０６において、代表データ選択部１０４は、代表データを表示することによりユーザに好ましいデータを選択するよう促す。Ｓ２０７において、操作部１０６は、ユーザの選択操作を受け付ける。Ｓ６０２において、ユーザ選択情報保持部１１０は、ユーザ選択情報を記録する。

　Ｓ６０３において、表示制御部１０５は、代表データの組み合わせとしてあり得るものを全て選択して表示したか否かを判定する。全組み合わせを表示していない場合は、Ｓ６０１の代表データから組み合わせを選択する工程に戻る。一方、全組み合わせを表示し終えている場合は、Ｓ６０４へ進む。

　Ｓ６０４において、ユーザ選択情報分析部５１０は、ユーザ選択情報を分析する。Ｓ６０５において、得点決定部１０８は、ユーザ選択情報分析結果と処理実行結果との間の関係性に基づいて、１つの処理対象データについて、各候補値の得点を決定する。

　続いて、Ｓ２０９において、得点決定部１０８は、全処理対象データについて各候補値の得点を決定済みであるか否かを判定する。決定済みでない場合は、Ｓ２０３に戻り、処理実行部１０３が次の処理対象データに処理を適用して処理実行結果を取得する。一方、決定済みである場合は、Ｓ２１０へ進む。

　Ｓ２１０において、集計部１０９は、得点の集計を行う。Ｓ２１１において、集計部１０９は、パラメータの適切な値を決定する。Ｓ２１２において、表示制御部１０５が、決定されたパラメータについての確認画面を表示する。

　＜各構成要素の処理内容＞
　実施形態３における各構成要素の処理内容について説明する。まず、処理対象データ入力部１０１は、複数の画像を処理対象データとして取得する。次に、パラメータ設定部１０２は、明るさに関するパラメータの設定値を複数設定する。ここでは、候補値として、α１、α２、α３、α４、α５を設定したとする。次に、処理実行部１０３は、処理対象データｉｍａｇｅ１に対してα１からα５の候補値を用いて明るさ変換を行い、複数の処理実行結果を取得する。

　続いて、処理実行部１０３は、処理実行結果間の関係性の調査のため、実施形態２と同様にクラスタリングにより処理実行結果のグループ化を行い、結果として図７Ａに示す関係性調査結果が得られたとする。図７Ａの表は、各候補値の属すグループを表しており、α１、α２の処理実行結果はグループｇ１に属し、α３、α４の処理実行結果はグループｇ２に属し、α５の処理実行結果はグループｇ３に属していることを示している。

　次に、代表データ選択部１０４が、関係性の調査結果に基づいて、各グループから代表データをランダムに選択する。ここでは、α１、α３、α５の処理実行結果が選択されたものとする。

　表示制御部１０５は、候補値α１、α３、α５の処理実行結果のうち、表示する組み合わせを変更して表示する。表示を確認したユーザが、操作部１０６を用いてユーザ選択データの選択操作を行う。

　図７Ｂの表の各行は、表示する代表パラメータの組み合わせを変更したときにユーザが選択した結果を表している。ユーザ選択データの候補値には１、それ以外の候補値には０、表示しなかった場合はＮＵＬＬを格納する。図７Ｂは、α１とα３、α１とα５、α３とα５の組み合わせをそれぞれ表示したときに、それぞれα１、α１、α３が選ばれたことを示している。

　ユーザ選択情報分析部５１０は、処理対象データｉｍａｇｅ１に関するユーザ選択情報を参照してパラメータの候補値ごとに集計を行うことで、ユーザ選択情報分析結果として、候補値の順位に関する情報を求める。実施形態３における順位に関する情報の例を図７Ｃに示す。この例では、代表データの組み合わせを変更した３回の試行のうち、α１が２回、α３が１回、α５が０回ユーザから選択されていることから、α１、α３、α５に、それぞれ２点、１点、０点が格納されている。

　得点決定部１０８は、処理実行結果の関係性と、ユーザ選択情報分析結果として得られた順位に関する情報とに基づいて、得点の決定を行う。実施形態３では、図７Ａ及び図７Ｃに基づいて、図７Ｄに示す得点テーブルを作成する。まず、図７Ｃの順位に関する情報に従って、α１、α３、α５の得点に差をつける。さらに、図７Ａの関係性調査結果に基づいて、同じグループの候補値には同じ得点を付与する。

　なお、この例では、図７Ｃのように順位に関する情報において候補値間で差があるが、差がない場合には、得点決定部１０８は、その処理対象データについては得点を付与しないようにすることもできる。

　このように、順位に関する情報を用いることで、表示する代表データの組み合わせを変更することによりユーザによる選択の結果が変化することを考慮した得点付与を行うことができる。

　以上の処理を全処理対象データに対して繰り返し実行し、集計部１０９が集計を行ってパラメータの適切な値を決定する。

　以上説明したように、本実施形態では、ユーザ選択情報分析部５１０が順位に関する情報を調べて、得点決定部１０８で反映する方法を示した。

　なお、本実施形態では、図６のフローチャートにおいて、表示の際に、１つの処理対象データについて、代表データの組み合わせを変更して続けて表示しているが、これに限定されない。ある処理対象データから得られた代表データの組み合わせを複数回変更して表示する際に、他の処理対象データから得られた代表データの表示を挟んでも良い。

　（実施形態４）
　実施形態１から３では、１人のユーザを対象としていたが、実施形態４では、複数のユーザを対象とする例を説明する。実施形態４では、実施形態３と同様に、ユーザ選択情報分析部５１０が取得するユーザ選択情報分析結果を利用して得点を決定する。ユーザ選択情報分析結果として、実施形態３では順位に関する情報を利用したのに対し、実施形態４では後述の信頼性に関する情報を利用する。信頼性に関する情報を用いることで、ユーザの慣れの度合い（熟練度）の得点への影響を小さくすることが可能となる。

　実施形態４で扱うデータは、インフラ構造物の大きな壁面画像とする。実施形態４では、壁面上の浮きなどの変状部分を検知した結果を取得する上で、適切なパラメータを決定することを目的とするものとする。

　実施形態４では、処理対象データを取得するための処理を事前に行うことを前提とするため、まずその処理内容について説明する。まず、変状部分を検知するためのモデルを生成しておき、そのモデルを壁面画像に適用することで、壁面画像と同じサイズのデータであって、変状らしい画素に1に近い値、そうでない画素に０に近い値が格納されたスコアマップを取得する。その後、スコアマップを用いてポリラインデータを作成し、ポリラインデータを処理対象データとする。

　ポリラインデータとは、位置情報から構成されるデータである。ポリラインの作成方法としては、スコアマップに対して２値化して細線化処理を施した後、さらにベクタ化処理を実施することで作成することができる。実施形態４における、ポリラインデータの例を図９Ａの９１０に示す。線分９１１、９１２、９１３、９１４、９１５はポリラインデータを表しており、変状らしい部分の位置を示している。この例のように、ポリラインデータは、隣接する点を繋ぐ線分で表現されても良いし、位置情報の他に数式情報を持たせておき、曲線で表現されても良い。

　実施形態４では、処理実行部１０３における処理として、ポリラインデータのうち誤検知の可能性のあるポリラインを除去する。具体的には、極端に短いポリラインは、ひび割れや浮きではなく、壁面上の穴や傷を誤検知している可能性があると考えられるため、削除する。注目するパラメータは、除去の基準とするポリラインの長さとする。

　実施形態４に係る情報処理装置の構成は、実施形態３で図５を参照して説明した情報処理装置５００と同様であるため、説明は省略する。

　＜処理フロー＞
　まず、図６を用いて、複数のユーザを対象とする実施形態４に係る情報処理装置５００が実施する処理の手順を説明する。Ｓ２０１で処理対象データ入力部１０１が処理対象データを読み込む工程から、Ｓ２０７で操作部１０６がユーザの選択操作を受け付ける工程までの処理は、実施形態１と同様である。Ｓ２０７の処理の後、Ｓ６０２へ進む。Ｓ６０２において、ユーザ選択情報保持部１１０は、ユーザ選択情報を記録し、Ｓ８０１へ進む。

　Ｓ８０１において、処理実行部１０３は、全処理対象データについてＳ２０３からＳ６０２までの処理を実施したか否かを確認する。実施していない場合は、Ｓ２０３に戻り、実施している場合は、Ｓ８０２へ進む。Ｓ８０２において、処理実行部１０３は、全てのユーザに対してＳ２０３からＳ８０１までの処理を実施したか否かを確認する。実施していない場合は、Ｓ２０３に戻り、まだ実施していないユーザを対象に、Ｓ２０３からＳ８０１までの処理を実行する。一方、実施できている場合は、Ｓ６０４へ進む。

　Ｓ６０４において、ユーザ選択情報分析部５１０は、ユーザ選択情報を分析する。Ｓ６０５において、得点決定部１０８は、処理実行結果の関係性とユーザ選択情報分析結果とに基づいて、パラメータの各候補値に得点を付与する。

　そして、Ｓ２０９において、得点決定部１０８は、全処理対象データについて得点の決定を終えたか否かを判定する。終えていない場合は、Ｓ６０４に戻る。一方、終えている場合は、Ｓ２１０へ進む。Ｓ２１０において、集計部１０９は、得点決定部１０８により決定された得点を用いて全処理対象データについて集計を行う。

　Ｓ２１１において、集計部１０９は、集計結果に基づいてパラメータの適切な値を決定し、パラメータ設定部１０２へ出力する。Ｓ２１２において、表示制御部１０５は、集計結果に基づいて決定されたパラメータの適切な値を確認画面に表示し、一連の処理を終了する。

　＜各構成要素の処理内容＞
　実施形態４の各構成要素の処理内容について、図９Ａ～図９Ｃ及び図１０Ａ～図１０Ｄを用いて説明する。まず、処理対象データ入力部１０１が処理対象データを入力する。例えば、変状を検知するためのモデルの適用や、細線化やポリライン化などの画像処理によって、大きな壁面画像から元の壁面画像と同じサイズの２次元空間にあるポリラインデータを取得する。ここでは、大きな壁面画像の空間から、５００ｐｉｘｃｅｌ×５００ｐｉｘｃｅｌ程度のサイズの小領域を複数切り出し、処理対象データとする。

　パラメータ設定部１０２は、注目するパラメータを、ポリラインデータを除去する基準のポリラインの長さとし、候補値はα１、α２、α３、α４、α５とする。

　処理実行部１０３は、処理対象データと候補値とを受け取り、ポリラインデータのうち短いポリラインを除去する処理を行う。処理実行結果の例を図９Ｂに示す。画像９２０、９３０、９４０、９５０、９６０は、候補値α１、α２、α３、α４、α５に対応する処理実行結果を表してる。画像９２０から画像９６０に向かうにつれて、除去する基準のポリラインの長さを徐々に大きくしたときの処理実行結果を表している。

　その後、代表データ選択部１０４は、代表データを選択する。実施形態４では、処理実行結果の関係性として、実施形態２と同様に、処理実行結果のグループ化を行い、結果として、図１０Ａに示す情報が得られたとする。図１０Ａの表は、各候補値の属するグループを表しており、α１、α２、α３はグループｇ１に属し、α４、α５はグループｇ２に属していることを示している。ここでは、各グループからランダムに、代表データとして、候補値α１とα５の処理実行結果が選択されたとする。

　次に、複数のユーザに対して、表示制御部１０５が、候補値α１とα５の処理実行結果を表示し、操作部１０６によりユーザ選択データを選択させる操作を実施する。表示と操作のタイミングは、ユーザ間でそろえる必要はない。ユーザから操作を受けた後、ユーザ選択情報保持部１１０がユーザ選択情報を格納する。図１０Ｂに、処理対象データｉｍａｇｅ１に関するユーザ選択情報の例を示す。表の各行は、異なるユーザに代表データを表示したときの選択の結果を表しており、各ユーザが選んだ代表データには１、選ばなかった代表データには０を格納している。この例では、ユーザ１、２はα１の方を選んでおり、ユーザ３はα５の方を選んでいる。

　次に、ユーザ選択情報分析部５１０は、ユーザ選択情報分析結果として、処理対象データｉｍａｇｅ１に関する信頼性に関する情報を取得する。信頼性に関する情報は、各ユーザの選択操作への慣れの度合いを考慮した候補値ごとの得点である。具体的には、慣れているユーザの選択結果には高い重みを付け、慣れていないユーザの選択結果には低い重みを付けて集計することにより求める。慣れているユーザと慣れていないユーザの決定方法として、予め別の処理対象データ群を用いて複数のユーザによるユーザ選択情報を取得しておき、他のユーザと比べて選択の内容に外れ値の多いユーザを慣れていないユーザとみなす方法がある。実施形態４では、３名のユーザを対象とし、ユーザ１、２は慣れているものとし、ユーザ３は慣れていないものとする。

　以下に、各候補値の信頼性に関する情報を算出するための式を示す。

　ただし、ｍはユーザの数、ｘｊはユーザが選択したかどうかに関する情報で０か１をとるものとする。ｗｊはユーザごとの慣れの度合いを考慮した重みとし、添え字ｊはユーザごとに異なる値をとる。ここでは、慣れているユーザ１、２の重みを１、慣れていないユーザ３の重みを０．５点とし、信頼性に関する情報を求めた例を図１０Ｃに示す。図１０Ｃにおいて、α１は慣れているユーザ２名が選択したことから２点、α５は慣れていないユーザ１名が選択したことから０．５点となっている。信頼性に関する情報を用いて得点の決定をすることで、ユーザの慣れの度合いの得点への影響を軽減することができる。

　得点決定部１０８は、処理実行結果の関係性と、信頼性に関する情報とに基づいて得点を決定する。ここでは、図１０Ａ及び図１０Ｃに基づいて、図１０Ｄに示す得点テーブルを作成する。まず、図１０Ｃの信頼性に関する情報に基づいてα１の得点は２点、α５の得点は０．５点とする。さらに、図１０Ａの関係性調査結果に基づき同じグループの候補値α２にはα１と同じ得点を付与する。同様に、同じグループの候補値α３、α４にはα５と同じ得点を付与する。

　以上の処理を全処理対象データに繰り返し実行し、集計部１０９が集計することで、パラメータの適切な値を決定する。

　パラメータの適切な値が決まった後は、表示制御部１０５が確認画面にカバー範囲を表示する。カバー範囲とは、大きな画像を扱うときに表示できる情報であり、ある候補値によりユーザにとって好ましい処理実行結果が得られている画像領域の範囲である。具体的には、得点テーブルのうち、集計部１０９が適切な値として決定した候補値を用いたときに各処理対象データで得られた得点に着目し、所定値以上の得点が得られた処理対象データを抽出する。

　そして、全体の大きな画像に対して抽出した処理対象データの占める範囲を描写する。図９Ｃに、確認画面９７０の例を示す。点線領域９７１は、適切な値として決定したパラメータを表示している。表示画像９７０の右側はカバー範囲の例であり、大きな画像９７２の中の領域９７３は、決定されたパラメータによるカバー範囲を表している。カバー範囲を表示することにより、決定されたパラメータが大きな画像の中で、どの範囲に適していているかを、ユーザは容易に確認できるようになる。

　このように、実施形態４では、ユーザ選択情報分析部５１０が信頼性に関する情報を取得して、得点決定部１０８が得点に反映することで、パラメータのより適切な値を決定することができる。

　なお、上述の実施形態３、４では、ユーザ選択情報分析部５１０で調べたユーザ選択情報分析結果として、順位に関する情報、信頼性に関する情報をそれぞれ利用する例を説明した。一方、ユーザ選択情報分析結果として、その他にも、代表データを表示してからユーザが選択操作を行うまでの時間情報を利用することができる。この場合、ユーザ選択情報として、代表データを表示してからユーザ選択情報を取得するまでの時間を記録する必要がある。表示してからユーザが選択を行うまでの時間が長い場合は、短い場合に比べ、ユーザがどちらの方が好ましいか判断に悩んだためであると解釈し、得点決定部１０８が低い得点を付与する。このように、時間情報を利用することにより、得点の質を高めることができる。

　（実施形態５）
　実施形態１から４までは、全処理対象データに関して、表示制御部１０５が表示装置１００７上に表示を行って、ユーザに選択操作を促していた。しかし、代表データの組み合わせによっては、代表データ同士が良く似ていて、どちらが好ましいかを目視では判断しにくい場合がある。このようなデータを表示するときは、いずれも良好などの判断に迷うケースに備えた選択肢（代表データの良否に関する選択肢）を用意して選択させれば良い。しかし、人が判断できないようなデータは重要でないため、毎回表示するのはユーザにとって煩わしい可能性がある。このため、処理対象データから得る代表データを全て表示するのではなく、人が判断に迷うようなデータは表示しないことが望ましい。

　実施形態５では、ユーザ操作を反映した関係性調査結果を用いて、表示制御部１０５が代表データを表示する基準を、統計的に決定する例を説明する。本実施形態では、実施形態１、２と同様に、人の写った画像を扱うものとし、人の輪郭を抽出することを目的として、処理対象データは、エッジ抽出したエッジ画像とする。また、処理実行部１０３における処理の内容は閾値処理とし、注目するパラメータは閾値とする。

　＜情報処理装置の機能構成＞
　図１１は、実施形態５に係る情報処理装置１１００の機能構成を示す図である。実施形態３では、実施形態１で図１Ａ及び図１Ｂを参照して説明した情報処理装置１００の構成に、基準決定部１１０１が追加されている。

　基準決定部１１０１は、ユーザ選択情報保持部１１０に保持されているユーザ選択情報を利用して、ユーザに提示するデータの基準を決定する。基準決定部１１０１により決定された基準に基づいて、表示制御部１０５は、代表データを受け取った後、表示装置１００７に表示する否かを判定し、その判定結果に応じて、表示すべき代表データのみを表示する。

　＜各構成要素の処理内容＞
　基準決定部１１０１が基準を決定するタイミングは、実施形態１の図２に示したような一連の処理を行う前である。まず、表示制御部１０５が出力する表示内容について、図１２Ａの画像１２１０を用いて説明する。画像１２１０は表示画面の例であり、関係性として類似性を調べるケースにおける表示方法を説明する。表示画像１２１０に示す画像１２１５、１２１６、１２１７、１２１８、１２１９は、ある処理対象データに対して、異なる候補値を用いて処理実行部１０３が処理を適用した処理実行結果である。

　点線領域１２１１、１２１２、１２１３は、処理実行結果を関係性に基づいてグループ化した結果を表示している。点線領域１２１１に含まれる処理実行結果１２１５、１２１６、１２１７はグループｇ１に属することを意味しており、点線領域１２１３に含まれる処理実行結果１２１８、１２１９はグループｇ２に属することを意味している。点線領域１２１２は、グループ化したとき分類できなかった処理実行結果のために用意してある領域である。

　ユーザは、表示画面の分類を見て、分類が目視上の印象と異なる場合は、操作部１０６を用いて処理実行結果の所属を変更する。例えば、ユーザが処理実行結果１２１７の所属をグループｇ１から分類不可に変更したい場合、ユーザは処理実行結果１２１７にマウスポインタ１２１４をかざし、矢印１２１５の方向にドラッグすることで、所属をｇ１から分類不可に変更する。

　ユーザが表示画面の分類を見て、いずれの処理実行結果も似ていて差異がないと判断した場合は、同様にドラッグ操作により全ての処理実行結果の所属を分類不可に変更することもできる。または、表示画面に分類不可などの旨を示す選択肢を用意し、ユーザに選択させても良い。

　ユーザ操作を反映した関係性の例を図１２Ｂに示す。図１２Ｂの表は、処理対象データごとの候補値の処理実行結果の分類を表している。処理対象データｉｍａｇｅ１において、候補値α１、α２、α４、α５には所属するグループを格納し、α３の処理実行結果はユーザが所属を分類不可に変更したことから、グループではなくＮＵＬＬを格納している。

　次に、基準決定部１１０１について説明する。基準決定部１１０１は、関係性調査結果と、代表データと、ユーザ選択情報とに基づいて、表示制御部１０５が表示する代表データの基準を統計的に決定する。

　基準決定部１１０１は、まず、ユーザの目視の結果、異なるグループに属することが確認された処理実行結果を用いて、類似性を調べる。類似性の調査は、処理対象データごとに関係性調査結果を示す図１２Ｂを参照しながら行う。処理実行結果がグループ分けされている場合、異なるグループに属する処理実行結果を１つずつ選び、処理実行結果間の距離を算出する処理を、全組み合わせに対して繰り返し実施する。そして、処理対象データごとに距離の最小値を、図１２Ｃに示す基準分析テーブルに記録する。距離は、２つの処理実行結果において位置が対応する画素の差分の二乗和を算出することで求めれば良い。関係性調査結果において、全候補値にＮＵＬＬしか設定されていない場合、距離の算出は行わず、次の処理対象データに移る。図１２Ｂの処理対象データｉｍａｇｅ１においては、グループの情報ｇ１、ｇ２が格納されていることから、異なるグループの処理実行結果の距離を、組み合わせを変更しながら算出し、図１２Ｃに示す基準分析テーブルに距離の最小値を格納する。

　処理対象データを変更しながら距離の最小値の記録を繰り返し、ユーザに表示する基準を決定する上で十分な量のデータを収集できたら、基準を統計的に決定する。具体的には、距離が求められている処理対象データの情報のみ抽出して、距離の平均値を基準とする。

　基準が決まった後の処理内容は、図２を参照して説明した処理と同様である。表示制御部１０５は、代表データ選択部１０４から新たに受け取った代表データ間の距離を算出する。そして、その距離と、基準決定部１１０１により決定された基準値とを比較して、距離が基準値以上であれば、ユーザにとって差異のあるデータであると判定して表示画面に表示する。反対に、距離が基準値未満であれば、その代表データは表示しない。

　このように、基準決定部１１０１により表示する代表データの基準を決定することで、表示する代表データを限定することができるため、効率的に表示と選択を行うことができる。

　なお、上記の説明では、図１２Ａの画像１２１０のような表示により、基準を決定するために事前に情報を収集したが、必ずしも事前に行う必要はない。上述の各実施形態で示した通り、処理対象データを変更しながら代表データ選択部１０４、表示制御部１０５、操作部１０６の処理を繰り返す中で基準を決定しても良い。

　具体的には、表示画面に、代表データの他に、いずれも良好、いずれも不良、判断不可、という判断に迷うケースに備えた選択肢（代表データの良否に関する選択肢）を表示する。そして、それらが選択された場合を除き、代表データが選択された場合のみ、代表データ間の距離を算出して基準分析テーブルに格納していく。表示を終えた処理対象データについて算出した距離の平均値を求めて基準とすることで、表示を繰り返しながら基準を更新していくことができる。これにより、基準を決定するために事前に情報収集する方法と比較すると、よりユーザの作業を少なくすることができる。

　（その他の実施形態）
　本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

　発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

　本願は、２０１９年４月９日提出の日本国特許出願特願２０１９－０７４２６９を基礎として優先権を主張するものであり、その記載内容の全てを、ここに援用する。

Claims (20)

1. 　情報処理装置であって、
   　所定の画像処理に係るパラメータの複数の候補値を用い、対象データに対して前記所定の画像処理を実行した結果を表す複数の画像を取得する画像処理手段と、
   　前記複数の画像から、複数の代表画像を選択する選択手段と、
   　選択された前記複数の代表画像を表示手段に表示させる表示制御手段と、
   　表示された前記複数の代表画像に対して入力される操作を受け付ける操作手段と、
   　受け付けられた前記操作によって得られた情報の統計処理の結果に基づいて、前記複数の候補値から、少なくとも１つの値を決定する統計処理手段と、
   　を備えることを特徴とする情報処理装置。
2. 　前記統計処理手段は、
   　　前記操作によって得られた情報と、前記複数の画像とに基づいて、前記複数の候補値の各々について得点を決定する得点決定手段と、
   　　前記得点の集計結果に基づいて、前記複数の候補値から前記少なくとも１つの値を決定する集計手段と、
   　を備えることを特徴とする請求項１に記載の情報処理装置。
3. 　前記得点決定手段は、前記操作によって得られた情報と、前記複数の候補値を用いた前記所定の画像処理の結果との関係性に基づいて、前記複数の候補値の各々について得点を決定することを特徴とする請求項２に記載の情報処理装置。
4. 　前記得点決定手段は、前記操作手段により操作が受け付けられた代表画像と、前記複数の候補値を用いた前記所定の画像処理の結果を表す前記複数の画像との類似度を算出し、前記類似度に基づいて前記得点を決定することを特徴とする請求項３に記載の情報処理装置。
5. 　前記選択手段は、前記複数の候補値を用いた前記所定の画像処理の結果のデータ分布に基づいて前記複数の画像をグループ化することにより前記関係性を取得し、
   　前記得点決定手段は、各画像が、前記操作により選択された代表画像が属するグループと同一かどうかに基づいて前記得点を決定することを特徴とする請求項３に記載の情報処理装置。
6. 　前記集計手段は、前記候補値ごとにヒストグラム化することにより前記得点の集計を行うことを特徴とする請求項２乃至５の何れか１項に記載の情報処理装置。
7. 　前記表示制御手段は、全ての対象データについて前記得点が決定されていない場合に前記集計手段により集計された途中集計結果を示す情報を前記表示手段にさらに表示させることを特徴とする請求項２乃至６の何れか１項に記載の情報処理装置。
8. 　全ての対象データについて前記得点が決定されていない場合に前記集計手段により集計された途中集計結果に基づいて、前記候補値を変更する変更手段をさらに備えることを特徴とする請求項２乃至７の何れか１項に記載の情報処理装置。
9. 　前記表示制御手段は、全ての対象データについて前記得点が決定されていない場合に前記集計手段により集計された途中集計結果において、前記得点が所定値以下である候補値に対応する代表画像が前記操作により選択された場合、前記複数の代表画像を前記表示手段に再表示させることを特徴とする請求項２乃至７の何れか１項に記載の情報処理装置。
10. 　前記表示制御手段は、前記集計手段により決定された候補値と、前記得点に関する情報と、前記集計手段により決定された値に基づいて所定値以上の得点が決定された対象データ数の全対象データに対する比を示すカバー率との少なくとも１つを前記表示手段に表示させることを特徴とする請求項２乃至９の何れか１項に記載の情報処理装置。
11. 　前記表示制御手段は、各対象データが１つの画像を構成する小領域のデータである場合に、前記集計手段により決定された候補値に基づいて所定値以上の得点が決定された対象データの、前記画像におけるカバー範囲を前記表示手段に表示させることを特徴とする請求項２乃至９の何れか１項に記載の情報処理装置。
12. 　前記表示制御手段は、前記複数の代表画像とともに、代表画像の良否に関する選択肢を前記表示手段に表示させ、
    　前記得点決定手段は、前記選択肢の選択結果と、前記関係性とに基づいて前記得点を決定することを特徴とする請求項３に記載の情報処理装置。
13. 　各対象データについて前記操作によって得られた情報に基づいて情報分析結果を取得する分析手段をさらに備え、
    　前記得点決定手段は、前記情報分析結果と、前記関係性とに基づいて前記得点を決定することを特徴とする請求項３に記載の情報処理装置。
14. 　前記分析手段は、前記複数の代表画像が表示されてからユーザが前記操作を行うまでの時間の情報に基づいて、前記情報分析結果を取得することを特徴とする請求項１３に記載の情報処理装置。
15. 　前記分析手段は、各対象データについて得られるユーザ選択情報を分析して、前記複数の候補値の順位に関する情報を、前記情報分析結果として取得することを特徴とする請求項１３に記載の情報処理装置。
16. 　前記分析手段は、１以上のユーザによる前記操作の結果に基づいて判定される各ユーザの熟練度に基づいて、各対象データに対する信頼性に関する情報を、前記情報分析結果として取得することを特徴とする請求項１３に記載の情報処理装置。
17. 　情報処理装置であって、
    　構造物を撮影した画像から前記構造物に生じたひび割れを検知した結果を、画素ごとのひび割れらしさに基づくポリラインデータとして取得する取得手段と、
    　前記ポリラインデータの少なくとも一部に対して、ポリラインの長さの違いであるパラメータの複数の候補値を用い、候補値より短いポリラインを削除した結果を表す複数の画像を取得する処理手段と、
    　前記複数の画像の一部の画像を表示手段に表示させる表示制御手段と、
    　表示された前記画像に対して入力される操作を受け付ける操作手段と、
    　前記表示手段に表示された画像が異なる複数の状態で受け付けられた前記操作によって得られた情報に基づいて、前記複数の候補値のうち少なくとも１の値を決定する決定手段と、
    　を有することを特徴とする情報処理装置。
18. 　情報処理装置の制御方法であって、
    　所定の画像処理に係るパラメータの複数の候補値を用い、対象データに対して前記所定の画像処理を実行した結果を表す複数の画像を取得する画像処理工程と、
    　前記複数の画像から、複数の代表画像を選択する選択工程と、
    　選択された前記複数の代表画像を表示手段に表示させる表示制御工程と、
    　表示された前記複数の代表画像に対して入力される操作を受け付ける操作工程と、
    　受け付けられた前記操作によって得られた情報の統計処理の結果に基づいて、前記複数の候補値から、少なくとも１つの値を決定する統計処理工程と、
    　を有することを特徴とする情報処理装置の制御方法。
19. 　情報処理装置の制御方法であって、
    　構造物を撮影した画像から前記構造物に生じたひび割れを検知した結果を、画素ごとのひび割れらしさに基づくポリラインデータとして取得する取得工程と、
    　前記ポリラインデータの少なくとも一部に対して、ポリラインの長さの違いであるパラメータの複数の候補値を用い、候補値より短いポリラインを削除した結果を表す複数の画像を取得する処理工程と、
    　前記複数の画像の一部の画像を表示手段に表示させる表示制御工程と、
    　表示された前記画像に対して入力される操作を受け付ける操作工程と、
    　前記表示手段に表示された画像が異なる複数の状態で受け付けられた前記操作によって得られた情報に基づいて、前記複数の候補値のうち少なくとも１の値を決定する決定工程と、
    　を有することを特徴とする情報処理装置の制御方法。
20. 　コンピュータを、請求項１乃至１７の何れか１項に記載の情報処理装置として機能させるためのプログラムを格納したコンピュータ読み取り可能な記憶媒体。

Images