JPWO2013046414A1 - 画像表示方法、画像表示プログラム、及び画像表示装置 - Google Patents

Abstract

画像表示方法は、それぞれが複数の画像を含む複数グループの各々から比較基準に基づき複数の画像を選択し、選択された画像の枚数が相対的に少ないグループにおいて画像を複製して各グループでの選択画像の枚数を同数とし、類似度が近い選択画像同士を複数グループ間で一対一に対応付け並列に表示する表示画面データを生成する各段階を含み、各段階をコンピュータが実行することを特徴とする。

Description

本願開示は、一般に画像表示方法に関し、詳しくは画像比較のための画像表示方法に関する。

圃場の管理及び運用においては圃場見回り作業が重要である。この圃場見回り作業の際に土壌状態や作物の生育状況等を正確に記録し、作業者間で情報を共有する手段として、土壌や作物を撮影した写真（以下、見回り画像）を利用することが有用である。見回り画像により、作物の生育具合の把握、病気の経過や進行度合いの把握、農薬や作業の効果の評価、異常の発見等ができる。また更に、異なる場所や時間で撮られた見回り画像を用いることにより、異なる圃場間での状態の比較、熟練者の圃場に基づく初心者の圃場の評価、過去の成功又は失敗事例に基づく現在の状態の評価などを行なうことができる。このようにして見回り画像を利用することにより、大規模な農業経営を少人数で効率的に管理することが可能となる。

上記のような評価や比較のためには、異なる属性の見回り画像を、一致又は対応する比較基準に基づいて比較することが望ましい。ここで属性とは撮影場所や撮影者や撮影時間等である。異なる属性の見回り画像を比較することで、品種、品目、及び作型の何れかが異なる圃場間での比較、品種、品目、及び作型が同一である熟練者の圃場と初心者の圃場との比較、品種、品目、及び作型の同一である過去の事例と現在の状態との比較等が可能になる。また比較基準とは、例えば、作付け日からの累積日数、作付け日からの累積温度、作付け日からの累積雨量、作付け日からの累積日照時間等である。例えば、作付け直後の作物と収穫直前の作物とで見回り画像を比較しても一般にあまり意味はなく、作付け日からの累積日数が一致又は対応する見回り画像を比較することにより重要な知見が得られる。

このようにして見回り画像を比較するために、適切な形式で見回り画像を表示する表示システムが望まれる。しかしながら、例えば２つの圃場それぞれにおいて撮られた複数の見回り画像を並列に配置して見比べる場合、ある比較基準に従って（例えば時系列順に）画像を並べて表示しても、比較して意味のある画像同士が隣り合うとは限らない。即ち、ある比較基準に従って単純に画像を配置しても、必ずしもユーザにとっては効率的に比較可能な配置とはなっていない。この場合、比較して意味のある画像同士を多数の表示画像の中から目視により選択して比較する、という作業をユーザが自ら行なうことになり、効率的でない。また更には、一方の圃場で撮影した枚数と他方の圃場で撮影した枚数とが異なる場合、比較基準に従って並べて表示した比較対象の画像枚数が、圃場間で異なる可能性がある。このような場合、比較して意味のある画像同士が隣り合うようにユーザ自らが見回り画像を並べ替えても、画像同士が一対一に対応せず、画像枚数が多い方の圃場の見回り画像が無駄になってしまう。

なお特許文献１では、画像の属性情報により画像をグループ（系列）に分け、複数のグループの画像を時間同期させて並列に表示し、同期したスクロール操作性を提供する。この技術では、同期する単位における画像が１枚ではなく複数枚ある場合に、グループ間で何れの画像と何れの画像を比較すればよいのか、については考慮されていない。

特許文献２では、キー文書の各ページのサムネイル画像をページ順に一列に配置し、比較対象文書の各ページのサムネイル画像をこれと並列に配置する。さらに、キー文書のキーページを比較対象文書の各ページと比較し、最も類似するページがキーページに近接するように比較対象文書の列を列方向にシフトして配置する。また類似度が所定の閾値よりも高いページ同士を線で結ぶこと等により、文書間の類似度合いを確認しやすくする。この技術では、キーページ（着目ページ）に対して、類似するページを隣り合わせに配置するのみであり、他のページのサムネイル画像については、類似するページを隣り合わせに配置することにならない。

特許文献３では、映像を構成する複数の画像から抽出された注目画像を中心に、所定数抽出した時間的指標が最も近い映像を第１の軸に沿って時間的指標の順に配置し、所定数抽出した類似的指標が最も近い映像を第２の軸に沿って類似的指標の順に配置する。これにより、着目画像に対して時間的に連続する画像が時間的指標の順序に例えば横軸に配置され、注目画像と内容的に類似する画像が類似度指標の順序に縦軸に配置される。この技術では、着目画像に対して、類似する画像を隣り合わせに配置するのみであり、複数の画像に対して、類似するページを隣り合わせに配置することにならない。

特開２００９−２８２６０７号公報 特開２００７−１１５１９３号公報 特開４３５９６８５号公報

以上を鑑みると、複数の画像を並列に配置して表示する際に比較して意味のある画像同士を対応して表示することが可能な画像表示方法が望まれる。

画像表示方法は、それぞれが複数の画像を含む複数グループの各々から比較基準に基づき複数の画像を選択し、前記選択された画像の枚数が相対的に少ないグループにおいて画像を複製して各グループでの選択画像の枚数を同数とし、類似度が近い前記選択画像同士を前記複数グループ間で一対一に対応付け並列に表示する表示画面データを生成する各段階を含み、前記各段階をコンピュータが実行することを特徴とする。

画像表示プログラムは、それぞれが複数の画像を含む複数グループの各々から比較基準に基づき複数の画像を選択し、前記選択された画像の枚数が相対的に少ないグループにおいて画像を複製して各グループでの選択画像の枚数を同数とし、類似度が近い前記選択画像同士を前記複数グループ間で一対一に対応付け並列に表示する表示画面データを生成する各段階を含み、前記各段階をコンピュータに実行させることを特徴とする。

画像表示装置は、処理ユニットと、プログラム及び画像データを格納するメモリとを含み、前記メモリに格納された前記プログラムを前記処理ユニットが実行することにより、それぞれが複数の画像を含む複数グループの各々から比較基準に基づき複数の画像を選択し、前記選択された画像の枚数が相対的に少ないグループにおいて画像を複製して各グループでの選択画像の枚数を同数とし、類似度が近い前記選択画像同士を前記複数グループ間で一対一に対応付け並列に表示する表示画面データを生成する各段階を実行することを特徴とする。

本願開示の少なくとも１つの実施例によれば、複数の画像を並列に配置して表示する際に比較して意味のある画像同士を対応して表示することが可能となる。

画像表示方法により表示される表示画面の一例を示す図である。 類似度に基づいて複製する画像を選択する手順を説明するための図である。 図２の類似度に基づいて複製する画像を選択して複製した場合の画像表示の様子を示す図である。 画像表示方法を実行することにより表示画面データを生成する画像表示装置の機能構成の一例を示す図である。 識別器学習部による特徴パラメータの学習について説明するための図である。 画像分類部による画像分類について説明するための図である。 画像の構図に関する特徴量を説明する図である。 ２次元マトリクスによる画像識別の精度を上げるための計算例を示す図である。 色ヒストグラムを求めるための前処理について説明するための図である。 色ヒストグラムについて説明するための図である。 表示制御処理部による類似度計算及び表示画面制御の処理の流れの一例を示すフローチャートである。 表示制御処理部による類似度計算及び表示画面制御の処理の流れの一例を示すフローチャートである。 類似度計算の処理の流れの一例を示すフローチャートである。 比較元画像群と比較先画像群との間で求められた類似度の一例を示す図である。 比較先画像群に属するそれぞれの画像の最も類似度が高い比較元画像を比較ペアとして設定する処理を示す図である。 画像ペアに含まれずに余った比較元画像に対して比較先画像を割り当てる処理を説明するための図である。 Ａ_ｉ＋１及びＡ_ｉ＋２の比較元画像に対してそれぞれ割り当てたＢ_ｊ＋２及びＢ_ｊ＋１の比較先画像を太線枠で囲って示した図である。 図１２乃至図１５に示した例に対応した画面表示の例を示す図である。 図１６に示す画面表示形態に対する比較例として、上段及び下段の画像を共に撮影日時の順に配置した場合の画面表示を示す図である。 ２つのグループの全ての画像の間で類似度を計算する例を示す図である。 予め計算された類似度のうち、同期基準区間又は類似画像探索区間から選択された画像に対する類似度を抽出する様子を示す図である。 画像表示方法を実行する装置の構成を示す図である。

以下に、本発明の実施例を添付の図面を用いて詳細に説明する。

図１は、画像表示方法により表示される表示画面の一例を示す図である。図１に示す表示画面１０は、複数の画像を含む第１のグループから比較基準に基づき複数の画像を選択し、選択された画像のうち少なくとも１つの画像を複製することにより枚数を増やした選択画像１２を表示する。表示画面１０は更に、複数の画像を含む第２のグループから比較基準に基づき選択した選択画像１１を表示する。第１のグループは、選択され表示されている画像以外に複数の画像１２Ａ及び１２Ｂを含む。同様に第２のグループは、選択され表示されている画像以外に複数の画像１１Ａ及び１１Ｂを含む。表示画面１０では、これらの複数の画像１２Ａ及び１２Ｂ及び画像１１Ａ及び１１Ｂについて、その存在を示すように、斜め方向から見た複数枚の画像フレームを近接して並べた画像を図１の例のように表示してよい。

第１のグループの選択画像１２は、この例では６枚の画像１２−１乃至１２−６を含む。第２のグループの選択画像１１は、同様に６枚の画像１１−１乃至１１−６を含む。左からｎ番目の画像１１−ｎと左からｎ番目の画像１２−ｎとは、画像の類似度が高い画像同士であり、互いに比較する対象として適切な画像のペアとなっている。このように表示画面１０では、類似度が高い選択画像同士を複数グループ間で一対一に対応付け並列に表示している。一対一に対応付けて並列に表示するとは、この限定を意図しない例では、画像１１−ｎと画像１２−ｎとを一対として同一の水平位置に配置し、画面中の上の列と下の列に並列に表示することを意味する。代替的に、例えば一対の画像を同一の垂直位置に配置し、画面中の左の列と右の列に並列に表示してもよい。図１に示す例では、画像１１−ｎと画像１２−ｎとが一対として同一の水平位置に配置しており、その結果、互いに上下に隣り合うように表示されている。

画像が圃場での見回り作業により撮られた見回り画像である場合、水平位置は、比較基準である作付け日からの累積日数、作付け日からの累積温度、作付け日からの累積雨量、作付け日からの累積日照時間等に対応する。ここで農業における見回り作業とは、農作業者が農作物の生育状況や土壌の様子を定期的に確認をしたり、病害虫や雑草の発生といったリスクを早期に発見するために、管理している圃場を見回る作業である。また、見回り作業時に確認もしくは発見した事象を記録するために撮影した写真を見回り画像と呼ぶ。比較基準が例えば累積日数である場合、第２のグループの選択画像１１において、一番左側の画像１１−１が最も累積日数が少ない（即ち最も時間的に早い）日時に撮影された画像であってよい。また一番右側の画像１１−６が最も累積日数が多い（即ち最も時間的に遅い）日時に撮影された画像であってよい。第１のグループの選択画像１２は、選択画像１１の各々の画像と類似度が近い画像が対応して表示されるように配置される。この結果、選択画像１２の表示順（水平位置）は、比較基準とは無関係のランダムな表示順となってよい。即ち、例えば比較基準が累積日数である場合、表示画面１０に表示された選択画像１２において、各画像の撮影時間は時間順に並んでいなくてよい。

第１のグループから比較基準に基づき選択した元々の複数の画像は、図１の例では、画像１２−１、１２−４、１２−５、及び１２−６の４枚である。このうち画像１２−１を複製して画像１２−２として表示（即ち２枚の同一の画像を表示）し、画像１２−５を複製して画像１２−３として表示（即ち２枚の同一の画像を表示）している。その結果、選択画像１２は、６枚の画像１２−１乃至１２−６となる。それに対して第２のグループから比較基準に基づき選択した複数の画像は、最初から６枚の画像１１−１乃至１１−６である。このように、選択された画像の枚数が相対的に少ないグループ（第１のグループ）において画像を複製して、各グループでの選択画像の枚数を同数（この例では６枚）にしている。このように画像を複製することにより、同数の画像を一対一に対応付けて並列に表示することが可能となる。なお各グループの選択された画像の枚数が最初から同一である場合には、画像の複製を行なうことなく、そのまま並列に表示すればよい。

図１に示す表示画面１０の表示画面データを生成する方法は以下のようになる。まず、それぞれが複数の画像を含む複数グループの各々から比較基準に基づき複数の画像を選択する。例えば比較基準が累積日数である場合、まず比較基準の基準点を例えば累積日数９０日等と指定する。次にこの基準点に基づいて、例えば累積日数９０日の前後７日の範囲（即ち累積日数８３日から累積日数９７日まで）を、比較基準の範囲として決定してよい。或いは例えば、累積日数９０日の後１５日の範囲（即ち累積日数９０日から累積日数１０４日まで）を、比較基準の範囲として決定してよい。そして、複数グループ（この例では第１のグループ及び第２のグループ）の各々から比較基準の範囲にはいる複数の画像を選択する。即ち例えば累積日数８３日から累積日数９７日までが比較基準の範囲である場合、作付けから８３日目から９７日目の間に撮影された画像が各グループから選択される。なお図１において、選択画像１１中の画像１３は、基準点に対応する画像（例えば基準点である累積日数９０日における撮影画像）である。

次に選択された画像の枚数が相対的に少ないグループ（図１の例では第１のグループ）において、画像を複製することにより、各グループでの選択画像の枚数を同数とする。即ち、図１の例では、画像１２−１及び１２−５を複製してそれぞれ画像１２−２及び１２−３とすることにより、第１のグループと第２のグループとで選択画像の枚数を同数の６枚とする。

最後に、類似度が高い選択画像同士を複数グループ間で一対一に対応付け並列に表示する表示画面データを生成する。即ち、図１の例の場合、画像１１−ｎと画像１２−ｎとを一対として同一の水平位置に配置し、画面中の上の列と下の列とに並列に表示する表示画面データを生成する。

図１に示す表示画面１０は、同期スライド操作ボタン１４、個別スライド操作ボタン１５及び１６、同期基準区間設定メニュー１７、同期条件設定メニュー１８、絞込条件設定メニュー１９を含む。同期スライド操作ボタン１４は、選択画像１１と選択画像１２とを同期させて、比較基準軸上でスライドする。例えば比較基準が累積日数である場合に同期スライド操作ボタン１４の左向きのボタンをクリックすると、最初に選択画像１１及び１２として表示されていた画像よりも、撮像日時の古い画像が選択画像１１及び１２として表示される。図１の例では、同期スライド操作ボタン１４の左向きのボタンをクリックする前には、累積日数８３日から累積日数９７日迄の画像が表示されている。それに対して、１回クリック後には、基準となる画像１３が画像１１−４に対して左に１つ移動して画像１１−３の累積日数を基準とした±７日の画像を表示しても良い。例えば、画像１１−３の累積日数が８８日だった場合には、画像１１には累積日数が８１日から９５日までの画像が表示されることになる。もし、画像１１−３と画像１１−４の累積日数が同じ場合には、基準画像１３の累積日数よりも小さくなる最初の画像（該当する画像の中で撮像日時が最も新しい画像）までジャンプする（遡る）。さらに、もし、このジャンプ後の累積日数の±７日に該当する画像がジャンプ前と変化しない場合には、変化があるまで先述したジャンプを繰り返す。また同期スライド操作ボタン１４の左向きのボタンをクリックした状態のままにすると、選択画像１１及び１２として表示される画像の撮像日時が次々と古くなっていってよい。また例えば比較基準が累積日数である場合に同期スライド操作ボタン１４の右向きのボタンをクリックすると、最初に選択画像１１及び１２として表示されていた画像よりも、撮像日時の新しい画像が選択画像１１及び１２として表示されてよい。

同期スライド操作ボタン１４は、選択画像１１と選択画像１２とを同期させて、即ち上下の対応関係を保ったまま、表示画像をスライドさせる。この場合、各グループからの画像の選択及び複製動作は、表示対象の比較基準の範囲が変わる度に逐次実行されてよい。或いは表示範囲よりも広い比較基準の範囲において、各グループからの画像の選択、画像の複製、及び類似度に基づく対応付けを予め実行しておき、既に画像同士が対応付けられている広い比較基準の範囲内の画像から、表示範囲の画像を選択して表示してもよい。例えば３０日の累積日数の範囲内で各グループからの画像の選択、画像の複製、及び類似度に基づく対応付けを予め実行しておき、表示範囲として１５日の累積日数の範囲内の画像を選択して表示してよい。この場合、表示画像スライド時には、既に画像同士が対応付けられている広い比較基準の範囲内の画像から表示範囲の画像を選択して表示する際に、表示対象として選択する範囲を適宜移動させてよい。

個別スライド操作ボタン１６は、選択画像１１のみを比較基準軸上でスライドする。例えば比較基準が累積日数である場合に個別スライド操作ボタン１６の左向きのボタンをクリックすると、最初に選択画像１１として表示されていた画像よりも、撮像日時の古い画像が選択画像１１として表示される。例えば個別スライド操作ボタン１６の左向きのボタンをクリックする前には、累積日数８３日から累積日数９７日迄の画像が表示されていたのが、１回クリック後には、画像表示が変更されてよい。この際、基準となる画像１３が画像１１−４に対して左に１つ移動して画像１１−３の累積日数を基準とした±７日の画像を表示してよい。例えば、画像１１−３の累積日数が８８日だった場合には、画像１１には累積日数が８１日から９５日までの画像が表示されることになる。もし、画像１１−３と画像１１−４の累積日数が同じ場合には、基準画像１３の累積日数よりも小さくなる最初の画像（該当する画像の中で撮像日時が最も新しい画像）までジャンプする（遡る）。さらに、もし、このジャンプ後の累積日数の±７日に該当する画像がジャンプ前と変化しない場合には、変化があるまで先述したジャンプを繰り返す。個別スライド操作ボタン１６の右向きのボタンをクリックする場合には、最初に選択画像１１として表示されていた画像よりも、撮像日時の新しい画像が選択画像１１として表示されてよい。個別スライド操作ボタン１６をクリックする場合、選択画像１２はスライドしない。

個別スライド操作ボタン１５は、選択画像１２のみを比較基準軸上でスライドする。選択画像１１はスライドされない。例えば比較基準が累積日数である場合に個別スライド操作ボタン１５の左向きのボタンをクリックすると、最初に選択画像１２として表示されていた画像よりも、撮像日時の古い画像が選択画像１２として表示される。

これにより、比較基準の範囲が互いに異なる選択画像１１と選択画像１２とを、比較することが可能となる。例えば累積日数が７０日から８４日の選択画像１１と、累積日数が８３日から９７日の選択画像１２とを比較することが可能となる。このような比較は、例えば、一方の圃場の作物の生育が悪いときに、他方の圃場の作物に比較して何日程度遅れているのか、を判断するために用いることができる。

同期基準区間設定メニュー１７は、同期基準区間（各グループから画像を選択する比較基準の範囲）を設定するために用いられる。同期基準区間設定メニュー１７をクリックすることにより、例えば、±１日、±２日、±３日、・・・、±７日、・・・等の選択肢がプルダウンメニューとして表示され、所望の選択肢を選択することができる。同期条件設定メニュー１８は、同期条件（比較基準）を設定するために用いられる。同期条件設定メニュー１８をクリックすることにより、例えば、作付け日からの累積日数、作付け日からの累積温度、作付け日からの累積雨量、作付け日からの累積日照時間等の等の選択肢がプルダウンメニューとして表示され、所望の選択肢を選択することができる。絞込条件設定メニュー１９は、絞込条件を設定するために用いられる。絞込条件設定メニュー１９をクリックすることにより、例えば、圃場全景、土壌、作物等の選択肢がプルダウンメニューとして表示され、所望の選択肢を選択することができる。これらのメニュー１７乃至１９により各設定を行なうことにより、選択された同期条件（比較基準）を用いて、選択された同期基準区間において、選択された絞込条件の画像が表示されることになる。

表示画面１０は、画像群の属性情報のラベル２０及び２１を表示する。これらのラベルにより、圃場名、圃場グループ、圃場ブロック、作付品目、作付品種、作付作型、管理担当等の情報を確認することができる。また表示画面１０は更に、画像属性情報のツールチップ２２を表示する。このツールチップ２２により、注目している画像を例えばカーソルにより選択することにより、当該注目画像の種々の画像属性情報を表示することができる。ここで画像属性情報としては、作付けからの累積日数、累積温度、累積降雨量、累積日照時間、コメント等がある。

図２は、類似度に基づいて複製する画像を選択する手順を説明するための図である。図２において、Ｂ−３乃至Ｂ−５は、比較基準に基づいて選択された画像の枚数が相対的に少ない第1のグループのｎ枚（この例では３枚）の画像である。またＡ−７乃至Ａ−１０は、比較基準に基づいて選択された画像の枚数が相対的に多い第２のグループのｍ枚（この例では４枚）の画像である。枚数が相対的に多い方の画像が比較元として示され、枚数が相対的に少ない方の画像が比較先として示されている。

図２に示すマトリクス表には、第1のグループの３枚の画像と第２のグループの４枚の画像との間での画像ペアの類似度が示される。例えば、画像Ｂ−３と画像Ａ−７とに対応する欄に示す類似度０．９８は、画像Ｂ−３と画像Ａ−７との間の画像の類似度が０．９８であることを示す。また例えば、画像Ｂ−４と画像Ａ−９とに対応する欄に示す類似度０．５４は、画像Ｂ−４と画像Ａ−９との間の画像の類似度が０．５４であることを示す。２つの画像の間の類似度が高いほど、これら２つの画像は互いに類似していてよい（似通っていてよい）。ここで類似度が高いということは、２つの画像が、互いに比較する対象として適切な画像であることを示している。

図１に示すように、第１のグループの選択画像１２の枚数を第２のグループの選択画像１１の枚数と同数とするために、図２に示される類似度に基づいて複製する画像を選択して複製する。具体的には、画像枚数が相対的に少ない第1のグループのｎ枚の画像と画像枚数が相対的に多い第２のグループのｍ（＞ｎ）枚の画像との間で画像ペアの類似度を比較し、類似度が高い画像ペアから優先的に、画像が重複しないｎ個の画像ペアを選択する。図２の例の場合では、類似度が一番高い画像ペアはＢ−３とＡ−７であるので、この画像ペアをまず第１の画像ペアとして選択する。次に類似度が高い画像ペアはＢ−５とＡ−８であり、この画像ペアは既に選択済みの第１の画像ペアと画像が重複しないので、Ｂ−５とＡ−８を第２の画像ペアとして選択する。次に類似度が高い画像ペアはＢ−４とＡ−１０であり、この画像ペアは既に選択済みの第１及び第２の画像ペアと画像が重複しないので、Ｂ−４とＡ−１０を第３の画像ペアとして選択する。このようにして、画像が重複しないｎ（＝３）個の画像ペアを選択する。

ここで仮に、説明の便宜上、画像ペアＢ−３とＡ−９の類似度が例えば０．８１であったとする。また画像ペアＢ−４とＡ−８の類似度が例えば０．７９であったとする。この場合、第２の画像ペアの次に類似度が高い画像ペアはＢ−３とＡ−９である。しかしこの画像ペアＢ−３とＡ−９は、第１の画像ペアと画像Ｂ−３が重複するので、第３の画像ペアとして選択されない。この次に類似度が高い画像ペアはＢ−４とＡ−８である。しかしこの画像ペアＢ−４とＡ−８は、第２の画像ペアと画像Ａ−８が重複するので、第３の画像ペアとして選択されない。その次に類似度が高い画像ペアはＢ−４とＡ−１０であり、この画像ペアは既に選択済みの第１及び第２の画像ペアと画像が重複しないので、Ｂ−４とＡ−１０を第３の画像ペアとして選択する。このようにして、画像が重複しないｎ（＝３）個の画像ペアを選択する。

このようにして、画像枚数が相対的に少ない第1のグループの画像の枚数（この例では３枚）に等しい個数の画像ペア（上記の第１乃至第３の画像ペア）が選択される。次に、第２のグループのｍ（＝４）枚の画像のうち選択されたｎ（＝３）個の画像ペアに含まれないｍ−ｎ（＝１）個の残り画像に対して、ｍ−ｎ個の残り画像との類似度が最も高い第１のグループの画像を複製する。図２の例で言えば、第１乃至第３の画像ペアに含まれない１個の残り画像Ａ−９に対して、この１個の残り画像Ａ−９との類似度が最も高い第１のグループの画像Ｂ−３を選択して複製する。

上記のようにして選択されたｎ個の画像ペア、及び、ｍ−ｎ個の残り画像と複製された画像との画像ペア、の合計ｍ個の画像ペアが、画像同士が隣り合うように並列に表示される。図２の例で言えば、３個の画像ペアＢ−３＆Ａ−７、Ｂ−５＆Ａ−８、及びＢ−４＆Ａ−１０、及び、１個の残り画像Ａ−９と複製された画像Ｂ−３との画像ペアＢ−３＆Ａ−９、の合計４個の画像ペアが、画像同士が隣り合うように並列に表示される。

図３は、図２の類似度に基づいて複製する画像を選択して複製した場合の画像表示の様子を示す図である。図３に示すように、比較元の４枚の画像Ａ−７乃至Ａ−１０が例えば撮影日時順（例えば比較基準が累積日数の場合の順序）に表示され、それと並列に画像Ｂ−３、Ｂ−５、Ｂ−３、及びＢ−４が４枚の画像Ａ−７乃至Ａ−１０と一対一に対応して表示される。Ａ−７とＢ−３との類似度は０．９８、Ａ−８とＢ−５との類似度は０．８７、Ａ−９とＢ−３との類似度は０．７６、Ａ−１０とＢ−４との類似度は０．７７である。１同期単位区間（画像選択する比較基準の範囲）における第１のグループの画像の枚数が３枚であり、第２のグループの画像の枚数が４枚であるので、第１のグループにおいて画像Ｂ−３が複製され、合計４枚の第１のグループの画像が表示されている。

なお上記の例では、２つのグループの画像を並列に表示する場合について説明したが、グループの数は３つ以上であってもよい。この場合、比較基準に基づいて選択された画像の枚数が一番多いグループを基準として用い、類似度が近い選択画像を基準グループと他の各々のグループとの間で一対一に対応付けて並列に表示してよい。即ち、基準グループの画像を比較基準に従った順序で表示し、他のグループの画像については基準グループの画像と一対一に対応付けられるように並列に表示してよい。

また画像間の類似度が、例えば０から１の間で正規化されている場合、ある閾値（例えば０．８）以上の画像だけを表示対象とし、それ以外の画像は表示しないようにしてもよい。この場合、画像が表示されない位置には、ダミー画像等を表示したり、空欄としてもよい。

図４は、画像表示方法を実行することにより表示画面データを生成する画像表示装置の機能構成の一例を示す図である。図４に示す画像表示装置は、画像分類処理部３１、表示制御処理部３２、画像記憶部３３、特徴量記憶部３４、学習パラメータ記憶部３５、分類結果記憶部３６、及び画像属性情報記憶部３７を含む。なお図４において、各ボックスで示される各機能ブロックと他の機能ブロックとの境界は、基本的には機能的な境界を示すものであり、物理的な位置の分離、電気的な信号の分離、制御論理的な分離等に対応するとは限らない。ハードウェアの場合、各機能ブロックは、他のブロックと物理的にある程度分離された１つのハードウェアモジュールであってもよいし、或いは他のブロックと物理的に一体となったハードウェアモジュール中の１つの機能を示したものであってもよい。ソフトウェアの場合、各機能ブロックは、他のブロックと論理的にある程度分離された１つのソフトウェアモジュールであってもよいし、或いは他のブロックと論理的に一体となったソフトモジュール中の１つの機能を示したものであってもよい。

画像記憶部３３は、圃場の見回り作業時に撮影された見回り画像の画像データを記憶する。画像分類処理部３１は、画像特徴抽出部４１、識別器学習部４２、及び画像分類部４３を含む。画像分類処理部３１の画像特徴抽出部４１は、画像記憶部３３に格納された見回り画像の画像データに基づいて画像の特徴量を求める。求めた画像特徴量は特徴量記憶部３４に格納される。識別器学習部４２は、特徴量記憶部３４に格納された画像特徴量に基づいて、見回り画像を観点毎に分類するための学習パラメータを生成する。生成された学習パラメータは学習パラメータ記憶部３５に格納される。画像分類部４３は、学習パラメータ記憶部３５に格納された学習パラメータに基づいて、見回り画像の画像データを複数の異なる撮影観点に分類する。撮影観点としては、圃場全景、作物、土壌等がある。見回り画像データの分類結果は、分類結果記憶部３６に格納される。この分類結果は、例えば画像データのＩＤと、当該ＩＤの画像データの属する撮影観点（分類）とを対応付けて格納したデータであってよい。なお学習パラメータは、予め観点毎に分類された正解の画像データセットを学習データとして用いて求められるものであり、適切な画像分類が可能なように画像特徴量に対して設定された閾値データや特徴空間の境界データ等を含んでよい。

表示制御処理部３２は、類似度計算部４４、表示制御部４５、及びユーザインターフェース部４６を含む。類似度計算部４４は、特徴量記憶部３４に格納された画像特徴量に基づいて、画像記憶部３３に格納された見回り画像の画像データ間の類似度を計算する。表示制御部４５は、類似度計算部４４により求められた類似度、分類結果記憶部３６に格納された分類結果、及び画像属性情報記憶部３７に格納された見回り画像の属性情報等に基づいて、見回り画像を表示する表示画面データを生成する。生成された表示画面データはユーザインターフェース部４６に供給される。画像表示装置は、コンピュータであってよく、生成された表示画面データをローカルな表示ディスプレイに表示してよい。また或いは画像表示装置は、サーバコンピュータであってよく、生成された表示画面データをインターネット等のネットワークを介してクライアントコンピュータに送信し、クライアントコンピュータの表示ディスプレイに表示させてよい。

図５Ａ及び図５Ｂは、識別器学習部４２による学習パラメータの学習及び画像分類部４３による画像分類について説明するための図である。図５Ａ及び図５Ｂには、撮影観点毎に圃場全景の識別器５１、土壌の識別器５２、及び作物の識別器５３が示される。識別器５１乃至５３は画像分類部４３に含まれてよく、これら識別器５１乃至５３に対して、識別器学習部４２により正解データセットに基づく学習が行なわれる。

図５Ａにおいて、圃場全景の識別器５１、土壌の識別器５２、及び作物の識別器５３のそれぞれに対応して、撮影観点毎の圃場全景の正解データセット５４、土壌の正解データセット５５、及び作物の正解データセット５６を正例とする。また、それ以外の識別器と正解データセットとの組み合わせを負例する。これらの正例と負例とのデータセットを用いて識別器５１乃至５３を学習することにより、学習パラメータを生成し、こうして得られる学習パラメータを画像分類部にて利用する。図５Ｂでは、学習パラメータを用いた圃場全景の識別器５１、土壌の識別器５２、及び作物の識別器５３により、未知の画像に対する分類結果を出力する。この時、各識別器５１乃至５３を図５Ｂに示すように直列に組み合わせてもよいし、並列に組み合わせてもよい。但し、直列に組み合わせた場合には、例えば識別能力（分類性能）が高い順に各識別器を組み合わせるなどする。一方、並列に組み合わせた場合には、各識別器ごとに出力する分類結果の確信度が高いほうの観点を採用するなどする。

図５Ａにおいて、圃場全景の識別器５１の場合、圃場全景の画像のデータセットを正解データセット５４として供給する。圃場全景の識別器５１において、正解データセット５４が圃場全景として分類され、それ以外の画像が圃場全景以外として分類されるように、画像特徴量に対する閾値設定や特徴空間の区分け等がなされる。図５Ｂにおいて、学習が終了した後、撮影観点が未知の画像データを圃場全景の識別器５１に入力すると、入力画像データが圃場全景画像５７とそれ以外の画像とに分類される。この圃場全景の識別器５１においては、例えば、主に画像の構図に関する特徴量に着目して画像分類を実行してよい。

図６は、画像の構図に関する特徴量を説明する図である。例えば、画像の構図に関する特徴量として、画像６１を縦横に分割して複数の部分画像領域に分け、マトリクス６２として示されるように各部分画像領域における明度の平均値を求める。画像６１を縦横４×４に分割したときには、明度平均値マトリクス６２は４×４の大きさとなる。画像６１として示すような圃場全景の画像の場合、一般的に、空がある画像上部は明度が高く、地面がある画像下部は明度が低い。従って、明度平均値マトリクス６２を求めると、画像上部に対応するマトリクス要素の値は高く、画像下部に対応するマトリクス要素の値は低くなる。圃場全景の画像を識別するためには、例えば、２次元マトリクス６２の上半分において所定の閾値以上であるマトリクス要素の割合が所定割合以上であり、下半分において所定の閾値以下であるマトリクス要素の割合が所定割合以上である、等の条件を設定すればよい。

図７は、２次元マトリクス６２による画像識別の精度を上げるための計算例を示す図である。図６のように、画像６１を縦横に分割した各部分画像領域における明度の平均値を求めた場合、画像の傾きや空の部分が画像中に占める割合等が変動すると、圃場の水平線の位置が変動し、求められるマトリクスデータも大きく変動することになる。そこで図７に示すように、着目部分画像領域の明度平均値ｖ_ｘに対して、周辺４近傍の明度平均値ｖ_１〜ｖ_４に重みｗを掛け合わせた値を加算することが考えられる。なお着目部分画像領域が画像のエッジ部分に位置する場合、周辺４近傍ではなく周辺３近傍の明度平均値を用い、着目部分画像領域が画像のコーナー部分に位置する場合、周辺４近傍ではなく周辺２近傍の明度平均値を用いればよい。このような演算をすることにより、水平線位置の変動を吸収して、画像識別の精度を上げることが可能となる。

図５Ａに戻り、土壌の識別器５２の場合、土壌の画像のデータセットを正解データセット５５として供給する。土壌の識別器５２において、正解データセット５５が土壌画像として分類され、それ以外の画像が土壌以外として分類されるように、画像特徴量に対する閾値設定や特徴空間の区分け等がなされる。図５Ｂにおいて、学習が終了した後、未知の画像データ（圃場全景以外と判定された画像データ）を土壌の識別器５２に入力すると、入力画像データが土壌画像５８とそれ以外の画像とに分類される。この土壌の識別器５２においては、例えば、主に画像の色に関する特徴量に着目して画像分類を実行してよい。具体的には、例えば画像から求めた色ヒストグラムに基づいて画像を分類してよい。

図８は、色ヒストグラムを求めるための前処理について説明するための図である。図９は、色ヒストグラムについて説明するための図である。図８に示すように、まず画像６３に対してガウシアンフィルタ等のローパスフィルタをかけることにより平滑化処理を行ない、細かいノイズの影響を軽減した画像６４を生成する。次に、図9に示すように、平滑化処理後の画像６４の各画素の色データに基づいて、色ヒストグラム６５を生成する。その際の色ヒストグラムの生成にあたり、色相、彩度、及び明度の３つの成分に着目し、例えば、色相空間を１０分割し、彩度空間を３分割し、更に明度空間を５分割する。これにより、３つの成分により規定される空間が合計で１５０個の部分に分割されることになる。平滑化処理後の画像６４の各画素の色データが、これら１５０個の部分空間の何れに属するのかを判断し、各部分空間に属する画素数をカウントすることにより、色ヒストグラム６５が得られる。

図５Ａにおいて、土壌の画像である正解データセット５５から求めた色ヒストグラム６５の分布は、１５０個の部分空間のうちの特定の１つ又は複数の隣接する部分空間に属する画素数の割合が大きな分布となる。即ち、特定の一部の部分空間に分布が偏った色ヒストグラム６５となる。これは土壌の色が画像中の大部分を占めるためである。従って、例えばこの特定の一部の部分空間を区分けする境界データを設定し、この境界データが示す部分区間内に分布が偏った色ヒストグラム６５を特定することで、土壌画像を特定することが可能となる。

図５Ａおいて、作物の識別器５３の場合、作物の画像のデータセットを正解データセット５６として供給する。作物の識別器５３において、正解データセット５６が作物画像として分類され、それ以外の画像が作物以外として分類されるように、画像特徴量に対する閾値設定や特徴空間の区分け等がなされる。図５Ｂにおいて、学習が終了した後、未知の画像データ（圃場全景以外且つ土壌以外と判定された画像データ）を作物の識別器５３に入力すると、入力画像データが作物画像５９とそれ以外の画像とに分類される。この作物の識別器５３においては、例えば、主に画像の色に関する特徴量に着目して画像分類を実行してよい。具体的には、前述の土壌の識別器５２の場合と同様に、例えば画像から求めた色ヒストグラムに基づいて画像を分類してよい。

図１０Ａ及び図１０Ｂは、表示制御処理部３２による類似度計算及び表示画面制御の処理の流れの一例を示すフローチャートである。まずステップＳ１において、比較対象の圃場の画像を検索条件を用いて絞込検査する。具体的には、栽培年度、作付けの日付、作物の種類等を検索条件として指定し、この検索条件を満たす圃場の画像を、例えば画像属性情報記憶部３７に格納される属性データに基づいて特定する。ステップＳ２で、基準画像とする日付を選択する。基準画像の日付を指定するデータをユーザがユーザインターフェース部４６を介して入力する。なおこの例では、画像表示装置の画像表示機能を最初に起動したときに、同期条件（比較基準）は、デフォルトとして累積日数に設定されるものとする。

ステップＳ３で、起動初回において同期条件（比較基準）及び同期基準区間（表示する比較基準の範囲）をデフォルト値に設定する。例えば、作付け日からの累積日数を同期条件のデフォルトとして用いる場合、同期基準区間は±７日の区間がデフォルトとして設定される。これにより、ステップＳ２で指定された基準画像を中心として、当該基準画像の累積日数の±７日の区間に属した画像が表示対象として表示される。

なおこの場合、同期基準区間として、±７日のように固定の長さの区間が設定されるのではなく、ステップＳ２で選択した基準画像の日付に応じて異なる長さの区間に設定されてよい。

一般的に、作物には、作物の生育過程における所定の時期を区切りとして分割又は分類された期間である生育ステージがある。例えば、おおよその作物の生育ステージは、「播種期（種まき期）」、「育苗期」、「成長期」、及び「収穫期」等に分類される。但し、作物によっては「育苗期」が無かったり、「成長期」が細かく分類されたりする。この生育ステージを、同期基準区間を変化させる単位として利用することが考えられる。例えば基準画像の日付が生育ステージの萌芽期に該当するとき、作物の成長又は状態変化が早いので、比較的短い±７日の区間を設定してよい。また例えば基準画像の日付が収穫期に該当するとき、作物の成長又は状態変化が遅いので、比較的長い±１４日の区間を設定してよい。

このように指定された基準画像の日付に応じて異なる区間を設定する動作は、画像表示装置（コンピュータ）が実行し、人手を介することなく自動的に区間を設定してよい。例えば、作付け日からの累積日数、累積温度、累積雨量、累積日照時間等の各比較基準が示す全体の範囲を、２つ又はそれ以上の部分に分け、それぞれの部分に対して適切な同期基準区間を設定したデータを予め作成し、登録しておいてよい。例えば上記の例の場合、作付け日からの累積日数が示す全体の範囲を、萌芽期と収穫期との２つの部分に分け、それぞれの部分に対して適切な同期基準区間±７日及び±１４日を設定したデータを予め作成し、登録しておいてよい。基準画像の日付、基準画像の温度、基準画像の雨量、基準画像の日照時間等が指定されると、この指定値に基づいて登録データを参照することにより、指定値に対応する適切な同期基準区間を選択することができる。

ステップＳ４で、設定された同期条件及び同期基準区間に基づき、同期基準区間内の画像群を特定する。即ち、この例では、指定された基準画像の日付に該当する累積日数を中心として±７日の区間に入る累積日数を属性にもった全ての画像を、表示対象のグループの各々から選択する。ステップＳ５で、同期基準区間内で最も画像枚数が多い画像群（一番枚数が多いグループの画像群）を比較元画像群として設定する。ステップＳ６で、基準画像の日付を中心に同期条件に基づいた類似画像探索区間内の非比較元画像群を比較先画像群として設定する。即ち、ステップＳ５で設定された比較元画像群が属するグループ以外の他のグループの画像を、比較先画像群として設定する。この際、比較先画像群の画像は類似画像探索区間に属する画像であり、この類似画像探索区間は、同期基準区間と同一区間であってもよいし、或いは同期基準区間よりも広い区間であってもよい。

ステップＳ７で、比較元画像群から比較先画像群に対する類似度を特徴量記憶部３４（図４参照）の特徴量を用いて算出する。なお特徴量記憶部３４に格納されている特徴量は、前述の画像分類の為に計算した画像特徴量であってよいし、或いは類似度計算用に別個に計算した画像特徴量であってもよい。

図１１は、類似度計算の処理の流れの一例を示すフローチャートである。ステップＳ２１で、比較元画像群及び比較先画像群の画像特徴量を特徴量記憶部３４から取得する。ステップＳ２２で、画像毎に画像特徴量の距離（例：ユークリッド距離）を算出する。例えば図６に示す４×４のマトリクス６２の画像特徴量を用いる場合、比較元画像のマトリクス６２と比較先画像のマトリクス６２との間で１６個のマトリクス要素毎の差分を求め、１６個の差分の自乗和の平方根がユークリッド距離となる。次にステップＳ２３で、距離を元に類似度（例えばユークリッド距離の逆数）を算出する。更にステップＳ２４で、算出された類似度を例えば０〜１の範囲で正規化する。

図１２は、比較元画像群と比較先画像群との間で求められた類似度の一例を示す図である。表７１において、横方向の各欄（列）は画像ＩＤがＢ_１乃至Ｂ_ｍであるｍ枚の画像を含む第１のグループを示し、縦方向の各欄（行）は画像ＩＤがＡ_１乃至Ａ_ｎであるｎ枚の画像を含む第２のグループを示す。この例では、基準画像の日付として２０１０年４月１５日が指定され、その前後±７日の４月８日から４月２２日が同期基準区間Ｔとされている。これにより、基準となる日付に撮影された画像７２（画像ＩＤ＝Ａ_ｉ＋２）、及びその前後に撮影されたＡ_ｉ、Ａ_ｉ＋１、Ａ_ｉ＋３、Ａ_ｉ＋４、Ａ_ｉ＋５の画像ＩＤを有する各画像が、６枚の画像を含む比較元画像群として選択されている。また比較先画像を抽出する類似画像探索区間は、この例では同期基準区間と同一の区間Ｔに設定されており、Ｂ_ｊ、Ｂ_ｊ＋１、Ｂ_ｊ＋２、Ｂ_ｊ＋３の画像ＩＤを有する各画像が、４枚の画像を含む比較先画像群として選択されている。なお実際には、まず最初に第1のグループの同期基準区間Ｔ内の画像の枚数と第２のグループの同期基準区間Ｔ内の画像の枚数とを比較して、枚数が多い第1のグループの画像を、比較元画像群として設定している。

更に図１２に示されるように、画像ＩＤがＡ_ｉ乃至Ａ_ｉ＋５の各画像と画像ＩＤがＢ_ｊ乃至Ｂ_ｊ＋３の各画像との間で、類似度が計算される。この類似度は、０〜１の範囲で正規化したものとなっている。表７１において、画像ＩＤがＡ_ｉ乃至Ａ_ｉ＋５の各画像に対応する行と画像ＩＤがＢ_ｊ乃至Ｂ_ｊ＋３の各画像に対応する列との交差する欄に記載される類似度が、当該行に対応する画像と当該列に対応する画像との間の類似度である。例えば、画像ＩＤがＡ_ｉの画像と画像ＩＤがＢ_ｊ＋１の画像との間の類似度は０．１８である。

図１０Ａに戻り、ステップＳ８で、比較先画像群に属するそれぞれの画像の最も類似度が高い比較元画像を比較ペアとして設定する。なお画像が重複した場合には表示時に複製してもよいし、前述のように重複しない画像ペアを類似度が高い画像ペアから優先的に選択してもよい。

図１３は、比較先画像群に属するそれぞれの画像の最も類似度が高い比較元画像を比較ペアとして設定する処理を示す図である。図１３に示す類似度の数値例は、図１２に示す類似度の数値例と同一である。表の縦方向の各欄（各行）には、比較先画像群の各画像（画像ＩＤ＝Ｂ_ｊ乃至Ｂ_ｊ＋３）が示され、表の横方向の各欄（各列）には、各比較先画像に対する比較元画像との類似度が高い順に、各比較元画像の画像ＩＤが記載されている。例えば、画像ＩＤがＢ_ｊ＋２の比較先画像に対しては、当該比較先画像と比較元画像との類似度が高い順に比較元画像の画像ＩＤを並べると、Ａ_ｉ、Ａ_ｉ＋４、Ａ_ｉ＋１、Ａ_ｉ＋５、Ａ_ｉ＋２、Ａ_ｉ＋３となる。各画像ＩＤの下には、括弧内に類似度の数値が示されている。図１３の例において、比較先画像Ｂ_ｊ乃至Ｂ_ｊ＋３に対して最も類似度が高い比較元画像を選択すると、Ａ_ｉ＋５、Ａ_ｉ＋３、Ａ_ｉ、Ａ_ｉ＋４となる。

図１０Ｂに戻り、ステップＳ９で、比較元画像群に属する画像にて、比較ペアとして未選択の画像に関して、最も類似度が高い比較先画像を比較ペアとして選択する。この際、画像が重複した場合には表示時に画像を複製する。図１３に示されるように、画像枚数が少ない方の比較先画像の各々に対して比較元画像を割り当てて画像ペアを決定すると、画像枚数が多い方の比較元画像の幾つかは、画像ペアに含まれずに余ることになる。上記のステップＳ９では、このように画像ペアに含まれずに余った比較元画像に対して比較先画像を割り当てる処理が実行される。

図１４は、画像ペアに含まれずに余った比較元画像に対して比較先画像を割り当てる処理を説明するための図である。図１４において、表の縦方向の各欄（各行）には、比較元画像群の各画像（画像ＩＤ＝Ａ_ｉ乃至Ａ_ｉ＋５）が示され、表の横方向の各欄（各列）には、各比較元画像に対する比較先画像との類似度が高い順に、各比較先画像の画像ＩＤが記載されている。表中、太線枠で囲まれたＢ_ｊ＋２、Ｂ_ｊ＋１、Ｂ_ｊ＋３、Ｂ_ｊは、前述のステップＳ８において図１３に示すように選択された画像ペア中の比較先画像である。

この表に示すように、Ａ_ｉ、Ａ_ｉ＋３、Ａ_ｉ＋４、Ａ_ｉ＋５の各比較元画像にはペアとなる比較先画像が割り当てられているが、Ａ_ｉ＋１及びＡ_ｉ＋２の比較元画像には比較先画像が割り当てられていない。そこで、図１４に示される表において、Ａ_ｉ＋１及びＡ_ｉ＋２の比較元画像に対して、最も類似度の高い比較先画像、即ち、Ｂ_ｊ＋２及びＢ_ｊ＋１の比較先画像をそれぞれペアとして割り当てる。

図１５は、Ａ_ｉ＋１及びＡ_ｉ＋２の比較元画像に対してそれぞれ割り当てたＢ_ｊ＋２及びＢ_ｊ＋１の比較先画像を太線枠で囲って示した図である。このようにして、６枚全ての比較元画像に対して比較先画像が割り当てられる。なおこの例の場合、Ｂ_ｊ＋２及びＢ_ｊ＋１については、画像が重複するので、画面表示の際に複写されることになる。

図１０Ｂに戻り、ステップＳ１０で、比較元画像群を同期条件順でソートし、比較先画像群は比較元画像群のソート順を基準としてり比較ペアとなる画像でソートしてズーム表示する。この際、重複する比較先画像については適宜複製して表示する。

図１６は、図１２乃至図１５に示した例に対応した画面表示の例を示す図である。図１６の下段には、６枚の比較元画像Ａ_ｉ、Ａ_ｉ＋１、Ａ_ｉ＋２、Ａ_ｉ＋３、Ａ_ｉ＋４、Ａ_ｉ＋５が、同期条件（作付け日からの累積日数）順に対応する撮影日時の順番に並べて表示されている。ここで画像８１（画像ＩＤ＝Ａ_ｉ＋２）は、２０１０年４月１５日に撮影された画像であり、基準となる日付において撮影された画像である。図１６の上段には、６枚の比較先画像が、Ｂ_ｊ＋２、Ｂ_ｊ＋２、Ｂ_ｊ＋１、Ｂ_ｊ＋１、Ｂ_ｊ＋３、Ｂ_ｊの順番に画面に表示されている。矢印で対応付けられ画面上段と画面下段とで隣り合う画像同士は、前述の手順により類似度が高い画像同士をペアにしたものであり、比較対象として適切な画像同士となっている。これらの６組のペアの画像間の類似度は、それぞれ１．００、０．７２、０．９３、０．９６、０．３７、０．９５となっている。

なお画面上段の比較先画像の並び順は、類似度に基づく比較元画像との対応関係に従った並び順となる。また画面上段の比較先画像においては、元から画像データとして存在する４枚の画像Ｂ_ｊ、Ｂ_ｊ＋１、Ｂ_ｊ＋２、Ｂ_ｊ＋３のうち、Ｂ_ｊ＋１及びＢ_ｊ＋２の２枚を複製して、合計６枚の画像として表示している。これにより、６枚の比較元画像に対して一対一に対応する形で、比較先画像を比較元画像と隣り合う位置に並列に並べて表示することが可能となる。

図１７は、図１６に示す画面表示形態に対する比較例として、上段及び下段の画像を共に撮影日時の順に配置した場合の画面表示を示す図である。図１７の下段には、６枚の比較元画像Ａ_ｉ、Ａ_ｉ＋１、Ａ_ｉ＋２、Ａ_ｉ＋３、Ａ_ｉ＋４、Ａ_ｉ＋５が、比較基準（作付け日からの累積日数）に対応する撮影日時の順番に並べて表示されている。ここで画像８２（画像ＩＤ＝Ａ_ｉ＋２）は、２０１０年４月１５日に撮影された画像であり、基準となる日付において撮影された画像である。図１７の上段には、４枚の比較先画像がＢ_ｊ、Ｂ_ｊ＋１、Ｂ_ｊ＋２、Ｂ_ｊ＋３の順番、即ち撮影日時の順番に画面に表示されている。画面上段と画面下段との間で点線の矢印により対応付けられた画像同士は、類似度が高い画像同士であり、比較対象として適切な画像同士である。点線の矢印が錯綜していることから分かるように、この画面表示を見たユーザは、適切な比較対象の画像同士を目視により特定して比較を行なうことになり、比較動作が容易ではない。また上段と下段とで表示枚数を合わせるとしても、図１７に示すようにダミー画像を表示するか、或いは並び順の最後の画像Ｂ_ｊ＋３を複製して表示するくらいの処理しかできない。従って、比較対象として適切な画像を複製して表示することにならない。

図１０Ｂに戻り、ステップＳ１１で同期スライド操作を行なうか否かを判定する。即ち例えば図１に示す同期スライド操作ボタン１４がクリックされたか否かを判定する。同期スライド操作を実行する場合には、ステップＳ１２において、同期スライド操作ボタン１４の左右のキー操作に応じて、基準画像を対応する方向に１つ移動させる。例えば図１６に示す例であれば、基準画像８１を画像Ａ_ｉ＋２からＡ_ｉ＋１又はＡ_ｉ＋３に変更する。その後、処理は図１０ＡのステップＳ４に戻り、以降の処理を繰り返す。例えば、左に１回クリック後には、基準となる画像がＡ_ｉ＋２からＡ_ｉ＋１へと１つ移動して、Ａ_ｉ＋１の累積日数を基準とした前後の画像を表示してよい。もし、画像Ａ_ｉ＋２と画像Ａ_ｉ＋１の累積日数が同じ場合には、基準画像Ａ_ｉ＋２の累積日数よりも小さくなる最初の画像（該当する画像の中で撮像日時が最も新しい画像）までジャンプする（遡る）。さらに、もし、このジャンプ後の累積日数の前後の表示対象の画像がジャンプ前と変化しない場合には、変化があるまで先述したジャンプを繰り返す。

また図１０ＢのステップＳ１３で、絞込条件を変更するか否かを判定する。即ち例えば図１に示す絞込条件設定メニュー１９から新たな絞込条件が選択されたか否かを判定する。新たな絞込条件が選択された場合には、ステップＳ１４において、指定した絞込条件に合致する画像群のみを表示対象とするように設定を変更する。その後、処理は図１０ＡのステップＳ４に戻り、以降の処理を繰り返す。

更に図１０ＢのステップＳ１５で、同期条件を変更するか否かを判定する。即ち例えば図１に示す同期条件設定メニュー１８から新たな同期条件が選択されたか否かを判定する。新たな同期条件が選択された場合には、ステップＳ１６において、同期条件をユーザ選択に基づき設定し、同期基準区間をデフォルト値に設定する。例えば、比較基準として作付け日からの累積温度をデフォルトとして用いる場合、同期基準区間は±５０℃の区間がデフォルトとして設定される。これにより、ステップＳ２で指定された基準画像の日付の累積温度を中心として、±５０℃の区間において撮影された画像が表示対象として表示される。

なおこの場合、同期基準区間として、±５０℃のように固定の長さの区間が設定されるのではなく、ステップＳ２で選択した基準日時に応じて異なる長さの区間に設定されてよい。上述したように、同期基準区間を変化させる単位として、生育ステージを利用することが考えられる。例えば基準画像の日付が生育ステージの定植期に該当するとき、比較的短い±５０℃の区間を設定してよい。また例えば基準画像の日付が収穫期に該当するとき、比較的長い±１００℃の区間を設定してよい。このように指定された基準画像の日付（又は累積温度）に応じて異なる区間を設定する動作は、画像表示装置（コンピュータ）が実行し、人手を介することなく自動的に区間を設定してよい。ステップＳ１６の後、処理は図１０ＡのステップＳ４に戻り、以降の処理を繰り返す。

更に図１０ＢのステップＳ１７で、同期基準区間を変更するか否かを判定する。即ち例えば図１に示す同期基準区間設定メニュー１７から新たな同期基準区間が選択されたか否かを判定する。新たな同期基準区間が選択された場合には、ステップＳ１８において、同期基準区間をユーザ指定に基づき設定する。その後、処理は図１０ＡのステップＳ４に戻り、以降の処理を繰り返す。

図１０Ａ及び１０Ｂに示すフローチャートでは、同期基準区間又は類似画像探索区間から選択された画像に対して類似度を計算している。それに対して、予め各グループの全ての画像の間で類似度を計算しておいてもよい。

図１８は、２つのグループの全ての画像の間で類似度を計算する例を示す図である。図１８に示す表において、横方向の各欄（列）は画像ＩＤがＢ_１乃至Ｂ_ｍであるｍ枚の画像を含む第１のグループを示し、縦方向の各欄（行）は画像ＩＤがＡ_１乃至Ａ_ｎであるｎ枚の画像を含む第２のグループを示す。この例では、第1のグルーブのｍ枚の画像と第２のグループのｎ枚の画像との間で生成され得る全てのペアに対して、類似度を計算している。

図１９は、予め計算された類似度のうち、同期基準区間又は類似画像探索区間から選択された画像に対する類似度を抽出する様子を示す図である。図１９に示す例では、基準画像の日付として２０１０年４月１５日が指定され、その前後±７日の４月８日から４月２２日が同期基準区間とされている。これにより、基準となる日付に撮影された画像を含みその前後に撮影された第２のグループの画像、即ちＡ_ｉ、Ａ_ｉ＋１、Ａ_ｉ＋２、Ａ_ｉ＋３、Ａ_ｉ＋４、Ａ_ｉ＋５の画像ＩＤを有する第２のグループの画像が選択されている。また同様に、同期基準区間に含まれるＢ_ｊ、Ｂ_ｊ＋１、Ｂ_ｊ＋２、Ｂ_ｊ＋３の画像ＩＤを有する第１のグループの画像が選択されている。これら画像ＩＤがＡ_ｉ乃至Ａ_ｉ＋５の各画像と画像ＩＤがＢ_ｊ乃至Ｂ_ｊ＋３の各画像との間で既に計算されている類似度８３を、０〜１の範囲で正規化すれば、図１２に示すのと同様の類似度のデータが得られる。例えば図１０Ａ及び１０Ｂに示すフローチャートにおいて、ステップＳ１の開始前に、予め図１８に示すように全ての画像ペアに対して類似度を計算しておいてよい。そして、ステップＳ７では類似度を計算する代りに、既に計算されている類似度データから該当部分の類似度データを抽出し、抽出された類似度データを必要に応じて正規化すればよい。

図２０は、画像表示方法を実行する装置の構成を示す図である。

図２０に示されるように、画像表示方法を実行する装置は、例えばパーソナルコンピュータ、エンジニアリングワークステーション、サーバコンピュータ等のコンピュータにより実現される。図２０の装置は、コンピュータ５１０と、コンピュータ５１０に接続されるディスプレイ装置５２０、通信装置５２３、及び入力装置よりなる。入力装置は、例えばキーボード５２１及びマウス５２２を含む。コンピュータ５１０は、ＣＰＵ５１１、ＲＡＭ５１２、ＲＯＭ５１３、ハードディスク等の二次記憶装置５１４、可換媒体記憶装置５１５、及びインターフェース５１６を含む。

キーボード５２１及びマウス５２２は、ユーザとのインターフェースを提供するものであり、コンピュータ５１０を操作するための各種コマンドや要求されたデータに対するユーザ応答等が入力される。ディスプレイ装置５２０は、コンピュータ５１０で処理された結果等を表示すると共に、コンピュータ５１０を操作する際にユーザとの対話を可能にするために様々なデータ表示を行う。通信装置５２３は、遠隔地との通信を行なうためのものであり、例えばモデムやネットワークインターフェース等よりなる。

本発明による画像表示方法は、コンピュータ５１０が実行可能なコンピュータプログラムとして提供される。このコンピュータプログラムは、可換媒体記憶装置５１５に装着可能な記憶媒体Ｍに記憶されており、記憶媒体Ｍから可換媒体記憶装置５１５を介して、ＲＡＭ５１２或いは二次記憶装置５１４にロードされる。或いは、このコンピュータプログラムは、遠隔地にある記憶媒体（図示せず）に記憶されており、この記憶媒体から通信装置５２３及びインターフェース５１６を介して、ＲＡＭ５１２或いは二次記憶装置５１４にロードされる。

キーボード５２１及び／又はマウス５２２を介してユーザからプログラム実行指示があると、ＣＰＵ５１１は、記憶媒体Ｍ、遠隔地記憶媒体、或いは二次記憶装置５１４からプログラムをＲＡＭ５１２にロードする。ＣＰＵ５１１は、ＲＡＭ５１２の空き記憶空間をワークエリアとして使用して、ＲＡＭ５１２にロードされたプログラムを実行し、適宜ユーザと対話しながら処理を進める。なおＲＯＭ５１３は、コンピュータ５１０の基本動作を制御するための制御プログラムが格納されている。

上記コンピュータプログラムを実行することにより、コンピュータ５１０が、上記説明されたように画像表示方法を実行する。コンピュータ５１０は、画像表示方法により生成された表示画面データをローカルなディスプレイ装置５２０に表示してよい。また或いはコンピュータ５１０は、クライアントコンピュータに対して例えばクラウドサービスを提供するサーバコンピュータであってよい。この場合、コンピュータ５１０は、画像表示方法により生成された表示画面データを、通信装置５２３に接続されたインターネット等のネットワークを介してクライアントコンピュータに送信してよい。クライアントコンピュータは、ブラウザを介して、クライアントコンピュータの表示ディスプレイに受信した表示画面データを表示してよい。

なお上記の実施例の説明では、圃場での見回り写真を対象とした画像表示方法について説明したが、本発明の画像表示方法の対象は見回り写真に限定されるものではない。開示の画像表示方法は、例えば背、胸部Ｘ線画像、ＣＴ画像、ＭＲＩ画像などの医用画像を対象とし、類似する症例の患者間や同じ患者の前年度と今年度で画像を比較する際に利用できる。この場合のユーザは、診断医や、研修医、研究者等である。同期基準は、投薬や施術からの経過日数や、累積の投薬量などが考えられる。類似画像探索区間は、同期基準が投薬からの経過日数であれば、投薬直後は細かく経過を比較したいので、区間は狭く、逆に投薬から時間が経過すれば大きな変化は無いので、区間は広く設定してよい。絞込条件は画像種別（Ｘ線、ＣＴ、ＭＲＩ、内視鏡等）であってよい。

また開示の画像表示方法は、不正コピー検出分野において、動画を対象とし、原本映像内の各シーンの代表画像と不正コピーが疑われる映像内の各シーンの代表画像とを比較して、目視で不正コピーかどうかを判定する際に利用できる。この場合のユーザは、コンテンツホルダーや不正摘発の担当者等である。同期基準は、映像の開始からの経過時間や各シーンの優先度などが考えられる。類似画像探索区間は、例えば、同期基準を優先度とした場合、優先度が高いシーンについては網羅的に類似画像を探したいので、区間を広く設定し、優先度が低いシーンであれば、区間を狭く設定してよい。絞込条件はシーンの属性（発話シーン、音楽シーン、人物シーン等）であってよい。

以上、本発明を実施例に基づいて説明したが、本発明は上記実施例に限定されるものではなく、特許請求の範囲に記載の範囲内で様々な変形が可能である。

３１ 画像分類処理部
３２ 表示制御処理部
３３ 画像記憶部
３４ 特徴量記憶部
３５ 学習パラメータ記憶部
３６ 分類結果記憶部
３７ 画像属性情報記憶部
４１ 画像特徴抽出部
４２ 識別器学習部
４３ 画像分類部
４４ 類似度計算部
４５ 表示制御部
４６ ユーザインターフェース部

Claims (13)

1. それぞれが複数の画像を含む複数グループの各々から比較基準に基づき複数の画像を選択し、
   前記選択された画像の枚数が相対的に少ないグループにおいて画像を複製して各グループでの選択画像の枚数を同数とし、
   類似度に基づいて前記選択画像同士を前記複数グループ間で一対一に対応付けた状態で、前記複数グループ同士を並列に表示する表示画面データを生成する
   各段階を含み、
   前記各段階をコンピュータが実行することを特徴とする画像表示方法。
2. 前記複数グループのうちの第一のグループに含まれる１の画像と、前記複数グループのうちの第二のグループに含まれる１の画像との画像ペアについて前記類似度を求める段階を更に含み、
   前記選択画像の枚数を同数とする段階は、前記類似度に基づいて複製する画像を選択して複製することを特徴とする請求項１記載の画像表示方法。
3. 前記複製する段階は、前記選択された画像の枚数が相対的に少ない第1のグループのｎ枚の画像と前記選択された画像の枚数が相対的に多い第２のグループのｍ（＞ｎ）枚の画像との間で画像ペアの前記類似度を比較し、前記類似度が高い画像ペアから優先的に画像が重複しないｎ個の画像ペアを選択し、前記第２のグループの前記ｍ枚の画像のうち前記選択されたｎ個の画像ペアに含まれないｍ−ｎ個の残り画像に対して、前記ｍ−ｎ個の残り画像との前記類似度が最も高い前記第１のグループの画像を複製することを特徴とする請求項２記載の画像表示方法。
4. 前記表示画面データを生成する段階は、前記選択されたｎ個の画像ペア、及び、前記ｍ−ｎ個の残り画像と前記複製された画像との画像ペア、の合計ｍ個の画像ペアを、ペアとなる画像同士が隣り合うように前記複数グループ同士を並列に配置するとともに、画像の表示順番を前記第２のグループの前記ｍ枚の画像が前記比較基準に従った順番にすることを特徴とする請求項３記載の画像表示方法。
5. 前記比較基準の基準点が指定されると、前記基準点に基づいて前記比較基準の範囲を決定する段階を更に含み、
   前記複数の画像を選択する段階は、前記複数グループの各々から前記比較基準の前記範囲に入る複数の画像を選択することを特徴とする請求項１乃至４何れか一項記載の画像表示方法。
6. 前記比較基準の範囲を決定する段階は、前記比較基準が異なる場合には前記比較基準の範囲を異ならせることを特徴とする請求項５記載の画像表示方法。
7. それぞれが複数の画像を含む複数グループの各々から比較基準に基づき複数の画像を選択し、
   前記選択された画像の枚数が相対的に少ないグループにおいて画像を複製して各グループでの選択画像の枚数を同数とし、
   類似度に基づいて前記選択画像同士を前記複数グループ間で一対一に対応付けた状態で、前記複数グループ同士を並列に表示する表示画面データを生成する
   各段階を含み、前記各段階をコンピュータに実行させることを特徴とする画像表示プログラム。
8. 前記複数グループのうちの第一のグループに含まれる１の画像と、前記複数グループのうちの第二のグループに含まれる１の画像との画像ペアについて前記類似度を求める段階を更に含み、
   前記選択画像の枚数を同数とする段階は、前記類似度に基づいて複製する画像を選択して複製することを特徴とする請求項７記載の画像表示プログラム。
9. 前記複製する段階は、前記選択された画像の枚数が相対的に少ない第1のグループのｎ枚の画像と前記選択された枚数が相対的に多い第２のグループのｍ（＞ｎ）枚の画像との間で画像ペアの前記類似度を比較し、前記類似度が高い画像ペアから優先的に画像が重複しないｎ個の画像ペアを選択し、前記第２のグループの前記ｍ枚の画像のうち前記選択されたｎ個の画像ペアに含まれないｍ−ｎ個の残り画像に対して、前記ｍ−ｎ個の残り画像との前記類似度が最も高い前記第１のグループの画像を複製することを特徴とする請求項８記載の画像表示プログラム。
10. 前記表示する段階は、前記選択されたｎ個の画像ペア、及び、前記ｍ−ｎ個の残り画像と前記複製された画像との画像ペア、の合計ｍ個の画像ペアを、ペアとなる画像同士が隣り合うように前記複数グループ同士を並列に配置するとともに、画像の表示順番を前記第２のグループの前記ｍ枚の画像が前記比較基準に従った順番にすることを特徴とする請求項９記載の画像表示プログラム。
11. 前記比較基準の基準点が指定されると、前記基準点に基づいて前記比較基準の範囲を決定する段階を更に含み、
    前記複数の画像を選択する段階は、前記複数グループの各々から前記比較基準の前記範囲に入る複数の画像を選択することを特徴とする請求項７乃至１０何れか一項記載の画像表示プログラム。
12. 前記比較基準の範囲を決定する段階は、前記比較基準が異なる場合には前記比較基準の範囲を異ならせることを特徴とする請求項１１記載の画像表示プログラム。
13. 処理ユニットと、
    プログラム及び画像データを格納するメモリと
    を含み、前記メモリに格納された前記プログラムを前記処理ユニットが実行することにより、
    それぞれが複数の画像を含む複数グループの各々から比較基準に基づき複数の画像を選択し、
    前記選択された画像の枚数が相対的に少ないグループにおいて画像を複製して各グループでの選択画像の枚数を同数とし、
    類似度に基づいて前記選択画像同士を前記複数グループ間で一対一に対応付けた状態で、前記複数グループ同士を並列に表示する表示画面データを生成する
    各段階を含み、
    各段階を実行することを特徴とする画像表示装置。

Images