JP6191391B2 - 画像処理装置 - Google Patents

Description

本発明は、画像処理装置に関する。

特許文献１には、電子アルバムに容易に電子画像の登録・分類ができる情報処理方法を提供することを課題とし、複数のページから構成されるアルバム形式でデータを有する電子アルバムシステムにおける情報処理方法であって、ＧＰＳ装置を接続又は備えたデジタルカメラによって撮影された電子画像と、各電子画像に対応して記録されたＧＰＳ情報とを取得するステップと、インターネットを介してサーバ装置から前記電子画像を貼り付ける台紙データを取得するステップと、各電子画像に対応して記録されたＧＰＳ情報をもとに、前記台紙データ上の所定のポイントに前記電子画像を貼り付けるステップとを備えることが開示されている。

特開２００２−３２９１９１号公報

本発明は、対象の部分を撮影した画像を表示する場合にあって、その画像の位置関係を保ったまま表示するようにした画像処理装置を提供することを目的としている。

かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。
請求項１の発明は、第１の画像と該第１の画像に撮影されている対象の部分を撮影した画像である複数の第２の画像を受け付ける画像受付手段と、前記第１の画像の部分と前記第２の画像を照合した結果、該第１の画像における該第２の画像の位置関係を抽出する抽出手段と、前記抽出手段によって抽出された位置関係に基づいて、前記第２の画像を配置して表示する表示手段を具備し、前記抽出手段は、前記第２の画像が複数枚あり、該第２の画像のうち一方の画像が他方の画像を含む場合、該他方の画像を削除する、ことを特徴とする画像処理装置である。

請求項２の発明は、第１の画像と該第１の画像に撮影されている対象の部分を撮影した画像である複数の第２の画像を受け付ける画像受付手段と、前記第１の画像の部分と前記第２の画像を照合した結果、該第１の画像における該第２の画像の位置関係を抽出する抽出手段と、前記抽出手段によって抽出された位置関係に基づいて、前記第２の画像を配置して表示する表示手段を具備し、前記第２の画像では、第１の画像においてカバーしていない領域がある場合は、そのカバーしていない領域を提示して、その領域を撮影させるように促す、ことを特徴とする画像処理装置である。

請求項３の発明は、第１の画像と該第１の画像に撮影されている対象の部分を撮影した画像である複数の第２の画像を受け付ける画像受付手段と、前記第１の画像の部分と前記第２の画像を照合した結果、該第１の画像における該第２の画像の位置関係を抽出する抽出手段と、前記抽出手段によって抽出された位置関係に基づいて、前記第２の画像を配置して表示する表示手段を具備し、前記第１の画像に対する操作の履歴として、前記第２の画像に対する操作も記録する、ことを特徴とする画像処理装置である。

請求項４の発明は、第１の画像と該第１の画像に撮影されている対象の部分を撮影した画像である複数の第２の画像を受け付ける画像受付手段と、前記第１の画像の部分と前記第２の画像を照合した結果、該第１の画像における該第２の画像の位置関係を抽出する抽出手段と、前記抽出手段によって抽出された位置関係に基づいて、前記第２の画像を配置して表示する表示手段と、第１の画像、第２の画像のいずれかのアクセス権を変更する場合は、他の画像のアクセス権も連動して変更するアクセス権変更手段を具備することを特徴とする画像処理装置である。

請求項５の発明は、第１の画像と該第１の画像に撮影されている対象の部分を撮影した画像である複数の第２の画像を受け付ける画像受付手段と、前記第１の画像の部分と前記第２の画像を照合した結果、該第１の画像における該第２の画像の位置関係を抽出する抽出手段と、前記抽出手段によって抽出された位置関係に基づいて、前記第２の画像を配置して表示する表示手段を具備し、複数の第２の画像のうち一部の第２の画像を削除する操作が行われた場合は、他の第２の画像であって、削除対象の第２の画像と位置関係を有している第２の画像を共に削除するか否かを尋ねるメッセージを出力することを特徴とする画像処理装置である。

請求項１の画像処理装置によれば、第２の画像が複数枚あり、その第２の画像のうち一方の画像が他方の画像を含む場合、他方の画像を削除することができる。

請求項２の画像処理装置によれば、第２の画像では、第１の画像においてカバーしていない領域がある場合は、そのカバーしていない領域を提示して、その領域を撮影させるように促すことができる。

請求項３の画像処理装置によれば、第１の画像に対する操作の履歴として、第２の画像に対する操作も記録することができる。

請求項４の画像処理装置によれば、第１の画像、第２の画像のいずれかのアクセス権を変更する場合は、他の画像のアクセス権も連動して変更することができる。

請求項５の画像処理装置によれば、複数の第２の画像のうち一部の第２の画像を削除する操作が行われた場合は、他の第２の画像であって、削除対象の第２の画像と位置関係を有している第２の画像を共に削除するか否かを尋ねるメッセージを出力することができる。

本実施の形態の構成例についての概念的なモジュール構成図である。 本実施の形態による処理例を示すフローチャートである。 本実施の形態による処理例を示すフローチャートである。 本実施の形態による処理例を示すフローチャートである。 本実施の形態による処理対象の全体画像の例を示す説明図である。 部分画像とその表示例を示す説明図である。 本実施の形態による処理対象の部分画像とその表示例を示す説明図である。 全体画像データテーブルのデータ構造例を示す説明図である。 詳細画像データテーブルのデータ構造例を示す説明図である。 本実施の形態による表示処理例を示す説明図である。 本実施の形態による表示処理例を示す説明図である。 本実施の形態による処理例を示す説明図である。 本実施の形態による表示処理例を示す説明図である。 本実施の形態による表示処理例を示す説明図である。 本実施の形態を実現するコンピュータのハードウェア構成例を示すブロック図である。

以下、図面に基づき本発明を実現するにあたっての好適な一実施の形態の例を説明する。
図１は、本実施の形態の構成例についての概念的なモジュール構成図を示している。
なお、モジュールとは、一般的に論理的に分離可能なソフトウェア（コンピュータ・プログラム）、ハードウェア等の部品を指す。したがって、本実施の形態におけるモジュールはコンピュータ・プログラムにおけるモジュールのことだけでなく、ハードウェア構成におけるモジュールも指す。それゆえ、本実施の形態は、それらのモジュールとして機能させるためのコンピュータ・プログラム（コンピュータにそれぞれの手順を実行させるためのプログラム、コンピュータをそれぞれの手段として機能させるためのプログラム、コンピュータにそれぞれの機能を実現させるためのプログラム）、システム及び方法の説明をも兼ねている。ただし、説明の都合上、「記憶する」、「記憶させる」、これらと同等の文言を用いるが、これらの文言は、実施の形態がコンピュータ・プログラムの場合は、記憶装置に記憶させる、又は記憶装置に記憶させるように制御するの意である。また、モジュールは機能に一対一に対応していてもよいが、実装においては、１モジュールを１プログラムで構成してもよいし、複数モジュールを１プログラムで構成してもよく、逆に１モジュールを複数プログラムで構成してもよい。また、複数モジュールは１コンピュータによって実行されてもよいし、分散又は並列環境におけるコンピュータによって１モジュールが複数コンピュータで実行されてもよい。なお、１つのモジュールに他のモジュールが含まれていてもよい。また、以下、「接続」とは物理的な接続の他、論理的な接続（データの授受、指示、データ間の参照関係等）の場合にも用いる。「予め定められた」とは、対象としている処理の前に定まっていることをいい、本実施の形態による処理が始まる前はもちろんのこと、本実施の形態による処理が始まった後であっても、対象としている処理の前であれば、そのときの状況・状態に応じて、又はそれまでの状況・状態に応じて定まることの意を含めて用いる。「予め定められた値」が複数ある場合は、それぞれ異なった値であってもよいし、２以上の値（もちろんのことながら、全ての値も含む）が同じであってもよい。また、「Ａである場合、Ｂをする」という意味を有する記載は、「Ａであるか否かを判断し、Ａであると判断した場合はＢをする」の意味で用いる。ただし、Ａであるか否かの判断が不要である場合を除く。
また、システム又は装置とは、複数のコンピュータ、ハードウェア、装置等がネットワーク（一対一対応の通信接続を含む）等の通信手段で接続されて構成されるほか、１つのコンピュータ、ハードウェア、装置等によって実現される場合も含まれる。「装置」と「システム」とは、互いに同義の用語として用いる。もちろんのことながら、「システム」には、人為的な取り決めである社会的な「仕組み」（社会システム）にすぎないものは含まない。
また、各モジュールによる処理毎に又はモジュール内で複数の処理を行う場合はその処理毎に、対象となる情報を記憶装置から読み込み、その処理を行った後に、処理結果を記憶装置に書き出すものである。したがって、処理前の記憶装置からの読み込み、処理後の記憶装置への書き出しについては、説明を省略する場合がある。なお、ここでの記憶装置としては、ハードディスク、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、外部記憶媒体、通信回線を介した記憶装置、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）内のレジスタ等を含んでいてもよい。

本実施の形態である画像処理装置１００は、対象の部分を撮影した画像を表示するものであって、図１の例に示すように、受付モジュール１１０、制御モジュール１２０、画像解析モジュール１３０、画像配置モジュール１４０、画像データ格納モジュール１５０、出力モジュール１６０を有している。画像処理装置１００は、撮影者が所持している情報処理装置（後述する電子カメラ等）であってもよいし、閲覧者が所持している閲覧用の情報処理装置であってもよいし、それらの情報処理装置と通信回線を介して接続されている情報処理装置（文書管理装置）であってもよい。また、撮影者と閲覧者は、同じあってもよいし、異なっていてもよい。

受付モジュール１１０は、制御モジュール１２０と接続されている。受付モジュール１１０は、第１の画像とその第１の画像に撮影されている対象（被写体）の部分を撮影した画像である複数の第２の画像を受け付ける。第１の画像は、対象の全体を撮影した画像である。また、第２の画像は、その対象の部分を撮影した画像である。以下、第１の画像を全体画像、第２の画像を詳細画像群ともいう。対象とは、例えば、典型的なものとして、黒板、白板等に記載されたものが該当するが、これに限る必要はなく、物、風景、人物等であってもよい。この黒板の例にあっては、第１の画像は、黒板全体を撮影したものであり、第２の画像は、その黒板の部分、例えば、４等分したもの等が該当する。例えば、撮影者は、全体を撮影した後に、大切な部分をズーム（拡大）して撮影したような場合が該当する。また、複数枚で１つの対象を構成している場合（詳細画像群をつなぎ合わせると全体画像が完成する場合）であってもよいし、複数枚あるが対象の全体とはならない場合（詳細画像には撮影されていない対象の部分がある場合）であってもよい。なお、第１の画像と第２の画像は、同じ場所で撮影されたものである。ただし、同じ場所とは、完全同一の場所である以外に、第１の画像を撮影した場所から予め定められた範囲内で撮影された場合を含む。予め定められた範囲は、撮影対象の大きさ、撮影対象に対する撮影確度等に応じて定められる。また、電子(静止画像)カメラであって、その形態は、電子カメラ単独であってもよいし、携帯電話（スマートフォン等を含む）に内蔵されているものであってもよい。
そして、第１の画像と複数枚の第２の画像は、対応付けて格納する。例えば、１つのフォルダ内に格納する。また、第１の画像と第２の画像の受け付け順は、どのような順であってもよいが、例えば、第１の画像の撮影が行われた後に、第２の画像の撮影が行われるのが一般的であり、この順番に沿って受け付けるようにしてもよい。

制御モジュール１２０は、受付モジュール１１０、画像解析モジュール１３０、画像配置モジュール１４０、画像データ格納モジュール１５０、出力モジュール１６０と接続されている。制御モジュール１２０は、画像の解析処理、配置処理、画像データの格納等の処理を制御する。
画像解析モジュール１３０は、制御モジュール１２０と接続されている。画像解析モジュール１３０は、第１の画像の部分と第２の画像を照合した結果、その第１の画像における、その第２の画像の位置関係を抽出する。つまり、画像解析モジュール１３０は、詳細画像が全体画像上のどの領域に位置するかを解析する。また、画像解析モジュール１３０は、既に位置関係が抽出された第２の画像がある場合は、その第２の画像の照合における変換係数を、次の第２の画像の変換係数として用いて、照合処理を行うようにしてもよい。第１の画像と第２の画像との照合を行うのに、第２の画像に対して変換（例えば、アフィン変換等）を行うが、第２の画像は、同じ撮影条件（対象からの距離、倍率等）である可能性が高いので、前回の照合処理で行った変換における変換係数を、そのまま用いてもよい。また、照合を複数回繰り返す場合は、変換も複数回行うこととなるが、その最初の変換において、前回の照合処理で用いた変換係数を用いればよい。
また、画像解析モジュール１３０は、１枚の第１の画像に対する第２の画像の枚数で、始めの縮小率を定めてもよい。具体的には、第２の画像が４枚の場合は２５％とし、６枚の場合は１６．７％とし、８枚の場合は１２．５％等とする。もちろんのことながら、この数値から予め定められた範囲内の縮小率から始めるようにしてもよい。例えば、始めの縮小率として、１／（枚数−予め定められた値）としてもよい。

画像配置モジュール１４０は、制御モジュール１２０と接続されている。画像配置モジュール１４０は、画像解析モジュール１３０によって抽出された位置関係に基づいて、第２の画像を配置して表示できるようにする。つまり、画像配置モジュール１４０は、詳細画像の位置関係を保った表示用データを生成する。
また、画像配置モジュール１４０は、第２の画像の周辺領域と、その周辺領域に対応する位置にある他の第２の画像を対応付け、その周辺領域が選択された場合は、その周辺領域に対応する第２の画像を表示できるようにしてもよい。具体的には、図１０を用いて後述する。
また、画像配置モジュール１４０は、第２の画像の周辺領域に、その周辺領域に対応する位置にある他の第２の画像の縮小画像を表示できるようにしてもよい。具体的には、図１１を用いて後述する。
画像データ格納モジュール１５０は、制御モジュール１２０と接続されている。画像データ格納モジュール１５０は、第１の画像、第２の画像、処理結果等を記憶する機能を有しており、制御モジュール１２０からの指示に応じて、受付モジュール１１０が受け付けた画像を記憶し、画像解析モジュール１３０、画像配置モジュール１４０、出力モジュール１６０に対して画像を渡し、また、画像解析モジュール１３０、画像配置モジュール１４０の処理結果等を記憶する。
出力モジュール１６０は、制御モジュール１２０と接続されている。出力モジュール１６０は、位置関係を保った詳細画像群の表示用データを閲覧者が使用する情報処理装置へ出力する。

画像処理装置１００の全体の処理の概要を説明する。利用者（撮影者、ユーザーともいう）の操作に基づいて、事前に全体画像をフォルダ等の格納場所と関連付けておき、その格納場所へ詳細画像群を登録する。そして、画像処理装置１００は、各詳細画像が全体画像のどの領域に位置するかを算出する。この算出結果に基づき、位置関係を保った状態でのビューを提供する。

図２は、本実施の形態による処理例（全体画像と詳細画像群の登録処理例）を示すフローチャートである。
ステップＳ２０２では、受付モジュール１１０が、登録場所と全体画像を受け付ける。例えば、ユーザーの操作に基づいて、登録場所としてのフォルダを作成する。もちろんのことながら、既に作成されているフォルダを指定することであってもよい。そして、撮影された全体画像を受け付ける。
ステップＳ２０４では、制御モジュール１２０が、登録場所と全体画像を関連付ける。例えば、ユーザーの操作に基づいて、前述のフォルダに全体画像を登録することが該当する。
ステップＳ２０６では、受付モジュール１１０が、詳細画像群を受け付ける。例えば、ユーザーの操作に基づいて、前述のフォルダに複数の詳細画像を登録することが該当する。
ステップＳ２０８では、画像解析モジュール１３０が、詳細画像全てを解析したか否かを判断し、全てを解析した場合は処理を終了し（ステップＳ２９９）、それ以外の場合はステップＳ２１０へ進む。
ステップＳ２１０では、画像解析モジュール１３０が、詳細画像を１枚取得し、ステップＳ２０４で関連付けた全体画像のどの領域に位置するかを算出する。その後、登録場所情報と算出結果（位置情報）と一緒に画像を画像データ格納モジュール１５０へ保存する。ステップＳ２１０の処理については、図４の例に示すフローチャートを用いて後述する。

図３は、本実施の形態による処理例（詳細画像の表示処理例）を示すフローチャートである。
ステップＳ３０２では、受付モジュール１１０が、登録場所表示要求を受け付ける。例えば、ユーザーの操作に基づいて、登録場所の内容表示要求を受け付ける。具体的には、ブラウザを用いてフォルダを開く、又は詳細画像の１枚を表示する等の操作を受け付ける。
ステップＳ３０４では、画像配置モジュール１４０が、その登録場所に関連付いている詳細画像群を画像データ格納モジュール１５０から読み込む。
ステップＳ３０６では、画像配置モジュール１４０が、詳細画像群を配置する。つまり、閲覧者の情報処理装置へ送る表示用データの表示領域を取得する。その表示領域上に、ステップＳ２１０で算出した位置情報をもとに詳細画像を配置する。
ステップＳ３０８では、出力モジュール１６０が、ステップＳ３０６で生成した配置結果を表示用データとして、閲覧者の情報処理装置へ出力する。

図４は、本実施の形態による処理例（ステップＳ２１０の詳細な処理例）を示すフローチャートである。
ステップＳ４０２では、既に他の詳細画像とのマッチング処理を行っているか否かを判断し、行っている場合はステップＳ４０４へ進み、それ以外の場合はステップＳ４０６へ進む。
ステップＳ４０４では、既にマッチング処理した詳細画像におけるアフィン変換パラメータによって対象とする詳細画像を変換する。
ステップＳ４０６では、全体画像と詳細画像とのマッチング処理を行う。なお、マッチング処理には、詳細画像におけるアフィン変換を含む。図１２の例を用いて後述する。
ステップＳ４０８では、全体画像と対象としている詳細画像との位置関係を抽出する。
なお、ステップＳ４０２、Ｓ４０４の処理は省略してもよい。

図５は、本実施の形態による処理対象である被写体の全体画像５００の例を示す説明図である。全体画像５００は、対象全体を撮影しているため、詳細画像における対象と比較すると、対象そのものの大きさは小さくなっている。
図６は、部分画像とその表示例を示す説明図である。Ｃｏｌｌｅｃｔｉｏｎ−１０フォルダ（後述する図９に例示の詳細画像データテーブル９００の格納場所ハンドル欄９３０に該当）の内容表示画面６００内に、詳細画像Ａ６１０、詳細画像Ｂ６２０、詳細画像Ｃ６３０、詳細画像Ｄ６４０を表示している例である。これらの詳細画像Ａ６１０等は、全体画像５００の詳細画像群である。対象の一部を撮影しているので、全体画像５００に比較すると撮影されている部分は大きくなっており、詳細を知ることができる。図６の例では、撮影順、ファイル名称順のように、一般の表示順で表示しているので、つまり詳細画像に撮影されている対象における位置関係とは無関係に表示されることになる。なお、これらの画像（全体画像、詳細画像）の表示は、縮小画像（いわゆるサムネイル画像）の表示であってもよいし、等倍での表示、拡大した画像の表示であってもよい。
図７は、本実施の形態による処理対象の部分画像とその表示例を示す説明図である。Ｃｏｌｌｅｃｔｉｏｎ−１０フォルダ内の画像の内容表示画面７００内に、詳細画像Ａ６１０、詳細画像Ｂ６２０、詳細画像Ｃ６３０、詳細画像Ｄ６４０を、撮影されている対象の位置関係を保持して表示している例である。つまり、全体画像５００の左上を撮影した詳細画像Ａ６１０を左上位置に、全体画像５００の右上を撮影した詳細画像Ｃ６３０を右上位置に、全体画像５００の左下を撮影した詳細画像Ｂ６２０を左下位置に、全体画像５００の右下を撮影した詳細画像Ｄ６４０を右下位置に、それぞれ配置して表示している。

図８は、全体画像データテーブル８００のデータ構造例を示す説明図である。
全体画像データテーブル８００は、ハンドル欄８１０、タイトル欄８２０、関連場所ハンドル欄８３０を有している。ハンドル欄８１０は、全体画像を本実施の形態において一意に識別し得る情報であるハンドルを記憶している。タイトル欄８２０は、その全体画像のタイトル（ファイル名）を記憶している。関連場所ハンドル欄８３０は、その全体画像に対する詳細画像が格納されている場所（フォルダ）である関連場所ハンドルを記憶している。なお、全体画像は、この関連場所ハンドルに記憶してもよい。全体画像データテーブル８００は、受付モジュール１１０が全体画像を受け付けたときに作成する。

図９は、詳細画像データテーブル９００のデータ構造例を示す説明図である。
詳細画像データテーブル９００は、ハンドル欄９１０、タイトル欄９２０、格納場所ハンドル欄９３０、左上座標欄９４０、右下座標欄９５０を有している。ハンドル欄９１０は、詳細画像を本実施の形態において一意に識別し得る情報であるハンドルを記憶している。タイトル欄９２０は、その詳細画像のタイトルを記憶している。格納場所ハンドル欄９３０は、その詳細画像が格納されている場所である格納場所ハンドルを記憶している。左上座標欄９４０は、その詳細画像を表示する場合における左上座標を記憶している。右下座標欄９５０は、その詳細画像を表示する場合における右下座標を記憶している。詳細画像データテーブル９００のハンドル欄９１０、タイトル欄９２０、格納場所ハンドル欄９３０は、受付モジュール１１０が詳細画像を受け付けたときに作成する。また、左上座標欄９４０、右下座標欄９５０は、画像解析モジュール１３０が処理結果を記憶させる。左上座標欄９４０、右下座標欄９５０における座標は、図９の例の場合は、左上を原点（０，０）、横をＸ軸、縦をＹ軸とし、座標系における最も右下の座標（１００，１００）に正規化した座標系を用いている。したがって、実際に表示する場合は、表示する領域の大きさに合わせて座標を決定すればよい。

図１０は、本実施の形態による表示処理例（画像配置モジュール１４０による配置処理例）を示す説明図である。図１０の例は、画面に１つの詳細画像を表示する場合を示している。つまり、詳細画像の端が、別の詳細画像へのリンクとなる例である。
画面１０００に、詳細画像Ａ６１０を表示している。画像解析モジュール１３０によって、詳細画像Ａ６１０、詳細画像Ｂ６２０、詳細画像Ｃ６３０、詳細画像Ｄ６４０間の位置関係は図７の例に示したように判明しているので、図１０（ａ）の例に示すように、画像配置モジュール１４０は、詳細画像データテーブル９００（特に、左上座標欄９４０、右下座標欄９５０）を用いて、画面１０００内に表示されている詳細画像Ａ６１０内の右周辺領域に詳細画像Ｃへのリンク領域１０２０を設定し、詳細画像Ａ６１０内の下周辺領域に詳細画像Ｂへのリンク領域１０３０を設定する。そして、閲覧者の操作によって、詳細画像Ｃへのリンク領域１０２０が選択された場合は詳細画像Ａ６１０に換えて詳細画像Ｃ６３０を表示し、詳細画像Ｂへのリンク領域１０３０が選択された場合は詳細画像Ａ６１０に換えて詳細画像Ｂ６２０を表示する。また、図１０（ｂ）の例に示すように、画像配置モジュール１４０は、画面１０００内に表示されている詳細画像Ｃ６３０内の左周辺領域に詳細画像Ａへのリンク領域１０４０を設定し、詳細画像Ｃ６３０内の下周辺領域に詳細画像Ｄへのリンク領域１０５０を設定する。そして、閲覧者の操作によって、詳細画像Ａへのリンク領域１０４０が選択された場合は詳細画像Ｃ６３０に換えて詳細画像Ａ６１０を表示し、詳細画像Ｄへのリンク領域１０５０が選択された場合は詳細画像Ｃ６３０に換えて詳細画像Ｄ６４０を表示する。
なお、この例では、１つの辺に１つの詳細画像が対応付けられている場合を示しているが、対象としている辺の方向に複数の詳細画像がある場合は、周辺領域をその数だけ分割し、その分割された周辺領域に詳細画像を
リンクさせればよい。例えば、右側に２つの詳細画像がある場合は、右周辺領域（例えば、詳細画像Ｃへのリンク領域１０２０）を上下２つに分けた領域に分割すればよい。また、閲覧者が選択する周辺領域が詳細画像内にある例を示したが、詳細画像の外の周辺領域を含めてもよい。

図１１は、本実施の形態による表示処理例（画像配置モジュール１４０による配置処理例）を示す説明図である。図１１の例は、画面に１つの詳細画像を等倍で表示し、その他の詳細画像の縮小画像を位置関係にしたがって配置したものである。つまり、詳細画像の周囲に、別の詳細画像の縮小画像がリンクとして表示される例である。この方式の場合、近傍に複数の詳細画像があっても、その位置関係を容易に把握可能である。
画面１１００に、詳細画像Ａ６１０を等倍で表示している。画像解析モジュール１３０によって、詳細画像Ａ６１０、詳細画像Ｂ６２０、詳細画像Ｃ６３０、詳細画像Ｄ６４０間の位置関係は図７の例に示したように判明しているので、図１１（ａ）の例に示すように、画像配置モジュール１４０は、詳細画像データテーブル９００（特に、左上座標欄９４０、右下座標欄９５０）を用いて、画面１１００内に表示されている詳細画像Ａ６１０内の右側に詳細画像Ｃへのリンク領域１１２０として詳細画像Ｃ６３０の縮小画像を、詳細画像Ａ６１０内の下側に詳細画像Ｂへのリンク領域１１３０として詳細画像Ｂ６２０の縮小画像を、詳細画像Ａ６１０内の右下側に詳細画像Ｄへのリンク領域１１４０として詳細画像Ｄ６４０の縮小画像を、それぞれ配置する。
そして、閲覧者の選択操作によって、詳細画像Ｃへのリンク領域１１２０が選択された場合は、図１１（ｂ）の例に示すように、詳細画像Ｃ６３０を等倍表示し、詳細画像Ｃ６３０内の左側に詳細画像Ａへのリンク領域１１５０として詳細画像Ａ６１０の縮小画像を、詳細画像Ｃ６３０内の下側に詳細画像Ｄへのリンク領域１１７０として詳細画像Ｄ６４０の縮小画像を、詳細画像Ｃ６３０内の左下側に詳細画像Ｂへのリンク領域１１６０として詳細画像Ｂ６２０の縮小画像を、それぞれ配置する。

図１２は、本実施の形態による処理例（画像解析モジュール１３０による照合処理例）を示す説明図である。
次のような処理を行う。この処理は、全体画像と１つの詳細画像との照合処理であるが、詳細画像の数だけ、この処理を繰り返せばよい。
（１） 図１２（ａ）の例に示すように、被写体全体画像１２００を、左上を原点（０，０）、横をＸ軸、縦をＹ軸とし、最も右下の座標（１００，１００）として正規化した座標系とする。
（２） 詳細画像の左上の位置を、被写体全体画像１２００の（０，０），（０，１），（０，２）…と順にずらしながら（１００，１００）まで各位置での類似度を算出する。類似度としては、例えば、排他的論理和の処理結果として「１」となった画素数の逆数としてもよいし、被写体全体画像１２００と詳細画像との特徴抽出を行い、特徴空間における距離の逆数としてもよい。例えば、被写体全体画像１２００と図１２（ｂ１）等に示す画像（１００％）１２５０ｂ１等を図１２（ｃ）に示すように、重複させた場合の類似度を算出する。
（３） 詳細画像のサイズを予め定められた値（例えば、１０％）分縮小して、手順（２）を行う。
（４） 詳細画像のサイズが予め定められた値（例えば、１０％）になるまで、手順（２）、（３）を繰り返す。
（５） 最大値類似度が、類似とみなす閾値を超えていれば、その場所を詳細画像の配置位置とする。
（６） なお、類似とみされる場所がなければ、詳細画像を９０度ずつ回転させながら、手順（２）〜（５）の処理を行ってもよい。
また、この例では、座標の１単位毎の移動、１０％毎の縮小、９０度毎の回転の例を示したが、その他の数値の移動、縮小、回転であってもよい。
そして、詳細画像の配置位置とした場合における、縮小率、回転角度を用いて、次の詳細画像との照合に用いるようにしてもよい。つまり、前回の詳細画像の照合処理における縮小率、回転角度を用いて、今回の詳細画像における手順（２）と（５）の処理を行い、閾値を超えていれば、その場所を今回の詳細画像の配置位置とする。閾値を超えていなければ（詳細画像それぞれのサイズ（撮影している箇所のサイズ）に大小ばらつきがある場合）、手順（２）〜（５）の処理を行ってもよい。

詳細画像の配置関係を維持した表示を行う場合には、次のような２つの形式を閲覧者に予め選択させてもよい。
（Ａ）大きさ優先モード：画面内に全ての詳細画像は表示されないが、各画像の大きさはあるサイズ以下にはならないモード。
（Ｂ）全体表示優先モード：詳細画像のサイズが小さくなる可能性はあるが、全ての詳細画像が画面内に収まるモード。
大きさ優先モードでの表示例は、図１３の通りである。
全体表示優先モードでの表示例は、図１４の通りである。
画面１３００は、ヘッダーエリア１３１０、サイドバーエリア１３２０、内容表示エリア１３３０、スクロールバー１３４０がある。ヘッダーエリア１３１０には全体画像、詳細画像の名称等を表示し、サイドバーエリア１３２０にはフォルダの階層、画像ファイルの関係等を表示し、内容表示エリア１３３０に詳細画像（又は詳細画像の縮小画像）を表示する。図１３の例では、スクロールバー１３４０があるが、これに対する操作によって詳細画像をスクロール表示する。
（１）内容表示エリア１３３０上に全体画像に対応する領域（以下、全体領域）を割り当てる。
大きさ優先モードの場合は、詳細画像の表示領域のサイズは固定、又はあるサイズ以下にはならないようにする。
全体表示優先モードの場合は、内容表示エリアのサイズをもとに動的に決定する。例えば、スマートフォンのような画面の小さな端末の場合は、そのスマートフォンの画面に収まる領域にする。
（２） 手順（１）で決定した全体領域上に（０，０）から（１００，１００）までの座標をプロットする。図１３の例では画像配置座標系１３５０、図１４（ａ）の例では画像配置座標系１４５０のように座標系を設定する。
（３） 左上と右下の位置が全体画像の座標にあうように、詳細画像をリサイズ（拡大又は縮小）し、そのリサイズ画像を配置する。
したがって、一般的に、大きさ優先モードでは、図１３の例に示すように、複数の詳細画像を表示するにはスクロールバーを必要とし、全体表示優先モードでは、図１４の例に示すように、スクロールバーを必要とせずに、配置関係を一覧できるように複数の詳細画像を表示する。

図１５を参照して、本実施の形態の画像処理装置のハードウェア構成例について説明する。図１５に示す構成は、例えばパーソナルコンピュータ（ＰＣ）などによって構成されるものであり、スキャナ等のデータ読み取り部１５１７と、プリンタなどのデータ出力部１５１８を備えたハードウェア構成例を示している。

ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１５０１は、前述の実施の形態において説明した各種のモジュール、すなわち、受付モジュール１１０、制御モジュール１２０、画像解析モジュール１３０、画像配置モジュール１４０、出力モジュール１６０等の各モジュールの実行シーケンスを記述したコンピュータ・プログラムにしたがった処理を実行する制御部である。

ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１５０２は、ＣＰＵ１５０１が使用するプログラムや演算パラメータ等を格納する。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１５０３は、ＣＰＵ１５０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を格納する。これらはＣＰＵバスなどから構成されるホストバス１５０４により相互に接続されている。

ホストバス１５０４は、ブリッジ１５０５を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス１５０６に接続されている。

キーボード１５０８、マウス等のポインティングデバイス１５０９は、操作者により操作される入力デバイスである。ディスプレイ１５１０は、液晶表示装置又はＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）などがあり、各種情報をテキストやイメージ情報として表示する。

ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）１５１１は、ハードディスクを内蔵し、ハードディスクを駆動し、ＣＰＵ１５０１によって実行するプログラムや情報を記録又は再生させる。ハードディスクには、全体画像、詳細画像群、全体画像データテーブル８００、詳細画像データテーブル９００などが格納される。さらに、その他の各種のデータ処理プログラム等、各種コンピュータ・プログラムが格納される。

ドライブ１５１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体１５１３に記録されているデータ又はプログラムを読み出して、そのデータ又はプログラムを、インタフェース１５０７、外部バス１５０６、ブリッジ１５０５、及びホストバス１５０４を介して接続されているＲＡＭ１５０３に供給する。リムーバブル記録媒体１５１３も、ハードディスクと同様のデータ記録領域として利用可能である。

接続ポート１５１４は、外部接続機器１５１５を接続するポートであり、ＵＳＢ、ＩＥＥＥ１３９４等の接続部を持つ。接続ポート１５１４は、インタフェース１５０７、及び外部バス１５０６、ブリッジ１５０５、ホストバス１５０４等を介してＣＰＵ１５０１等に接続されている。通信部１５１６は、通信回線に接続され、外部とのデータ通信処理を実行する。データ読み取り部１５１７は、例えばスキャナであり、ドキュメントの読み取り処理を実行する。データ出力部１５１８は、例えばプリンタであり、ドキュメントデータの出力処理を実行する。

なお、図１５に示す画像処理装置のハードウェア構成は、１つの構成例を示すものであり、本実施の形態は、図１５に示す構成に限らず、本実施の形態において説明したモジュールを実行可能な構成であればよい。例えば、一部のモジュールを専用のハードウェア（例えば特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）等）で構成してもよく、一部のモジュールは外部のシステム内にあり通信回線で接続しているような形態でもよく、さらに図１５に示すシステムが複数互いに通信回線によって接続されていて互いに協調動作するようにしてもよい。また、複写機、ファックス、スキャナ、プリンタ、複合機（スキャナ、プリンタ、複写機、ファックス等のいずれか２つ以上の機能を有している画像処理装置）などに組み込まれていてもよい。

なお、同じ箇所に対する詳細画像が複数ある場合は次のようにしてもよい。例えば、同じ箇所の詳細画像が２枚（詳細画像Ａと詳細画像Ｂ）あり、画像Ａが画像Ｂの内側に位置する場合（画像Ｂが画像Ａを含む場合）、その箇所の詳細画像は画像Ｂを採用するようにしてもよい。つまり、画像解析モジュール１３０は、詳細画像間の位置関係を抽出した後に、その詳細画像間で包含関係（一方の詳細画像は他方の詳細画像を含んでいるか否か）を判断し、包含関係がある場合は、包含されている詳細画像を削除する。包含関係ではなく、一部分の重複がある場合は、その複数の詳細画像は重なった状態で表示されることとなる。
また、詳細画像が撮影される都度に、画像解析モジュール１３０による処理を行うようにしてもよい。そして、それまでに撮影された詳細画像では、全体画像においてカバーしていない領域がある場合（それらの詳細画像では全体画像の全ての領域を構成できない場合）は、そのカバーしていない領域を提示して、その領域を撮影させるように促すようにしてもよい。例えば、詳細画像を撮影して画像処理装置１００へ登録する端末（例えば、スマートフォン）に、この処理を行うアプリケーションを入れることで、実現可能である。

前述の実施の形態において、全体画像に対する操作の履歴として、詳細画像に対する操作も記録するようにしてもよい。これによって、詳細画像を全ての履歴を確認しなくても、画像に対する操作を簡便に把握することができるようになる。例えば、全体画像、詳細画像に対する操作のログとして、その操作を行った操作者識別情報、操作対象（例えば、画像ファイル名等）、その操作の種類（閲覧、回転等の編集、複写、消去等）、操作日時（年、月、日、時、分、秒、秒以下、又はこれらの組み合わせであってもよい）等を記録しておき、全体画像に対する操作履歴として記憶する。
また、アクセス権変更モジュールを具備させ、そのアクセス権変更モジュールは、全体画像、詳細画像のアクセス権を変更する場合に、他の画像のアクセス権も連動して変更するようにしてもよい。これによって、被写体に対するアクセス権を実現することができ、アクセス権が、画像間で異なる権限になってしまうのを防ぐことができる。例えば、一部の画像が閲覧できなくなる等の不具合を防止することになる。
また、削除モジュールを具備させ、その削除モジュールは、複数の詳細画像のうち一部の詳細画像を削除する操作が行われた場合は、他の詳細画像（削除対象の詳細画像と位置関係を有している詳細画像）を共に削除するか否かを尋ねるメッセージを出力してもよい。

なお、説明したプログラムについては、記録媒体に格納して提供してもよく、また、そのプログラムを通信手段によって提供してもよい。その場合、例えば、前記説明したプログラムについて、「プログラムを記録したコンピュータ読み取り可能な記録媒体」の発明として捉えてもよい。
「プログラムを記録したコンピュータ読み取り可能な記録媒体」とは、プログラムのインストール、実行、プログラムの流通などのために用いられる、プログラムが記録されたコンピュータで読み取り可能な記録媒体をいう。
なお、記録媒体としては、例えば、デジタル・バーサタイル・ディスク（ＤＶＤ）であって、ＤＶＤフォーラムで策定された規格である「ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ−ＲＡＭ等」、ＤＶＤ＋ＲＷで策定された規格である「ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等」、コンパクトディスク（ＣＤ）であって、読出し専用メモリ（ＣＤ−ＲＯＭ）、ＣＤレコーダブル（ＣＤ−Ｒ）、ＣＤリライタブル（ＣＤ−ＲＷ）等、ブルーレイ・ディスク（Ｂｌｕ−ｒａｙ（登録商標） Ｄｉｓｃ）、光磁気ディスク（ＭＯ）、フレキシブルディスク（ＦＤ）、磁気テープ、ハードディスク、読出し専用メモリ（ＲＯＭ）、電気的消去及び書換可能な読出し専用メモリ（ＥＥＰＲＯＭ（登録商標））、フラッシュ・メモリ、ランダム・アクセス・メモリ（ＲＡＭ）、ＳＤ（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ）メモリーカード等が含まれる。
そして、前記のプログラム又はその一部は、前記記録媒体に記録して保存や流通等させてもよい。また、通信によって、例えば、ローカル・エリア・ネットワーク（ＬＡＮ）、メトロポリタン・エリア・ネットワーク（ＭＡＮ）、ワイド・エリア・ネットワーク（ＷＡＮ）、インターネット、イントラネット、エクストラネット等に用いられる有線ネットワーク、あるいは無線通信ネットワーク、さらにこれらの組み合わせ等の伝送媒体を用いて伝送させてもよく、また、搬送波に乗せて搬送させてもよい。
さらに、前記のプログラムは、他のプログラムの一部分であってもよく、あるいは別個のプログラムと共に記録媒体に記録されていてもよい。また、複数の記録媒体に分割して
記録されていてもよい。また、圧縮や暗号化など、復元可能であればどのような態様で記録されていてもよい。
前述の実施の形態は以下のように把握してもよい。
［Ａ１］ 第１の画像と該第１の画像に撮影されている対象の部分を撮影した画像である複数の第２の画像を受け付ける画像受付手段と、
前記第１の画像の部分と前記第２の画像を照合した結果、該第１の画像における該第２の画像の位置関係を抽出する抽出手段と、
前記抽出手段によって抽出された位置関係に基づいて、前記第２の画像を配置して表示する表示手段
を具備することを特徴とする画像処理装置。
［Ａ２］ 前記抽出手段は、既に位置関係が抽出された第２の画像がある場合は、該第２の画像の照合における変換係数を、次の第２の画像の変換係数として用いて、照合処理を行う
ことを特徴とする［Ａ１］に記載の画像処理装置。
［Ａ３］ 前記表示手段は、前記第２の画像の周辺領域と、該周辺領域に対応する位置にある他の第２の画像を対応付け、該周辺領域が選択された場合は、該周辺領域に対応する第２の画像を表示する
ことを特徴とする［Ａ１］又は［Ａ２］に記載の画像処理装置。
［Ａ４］ 前記表示手段は、前記第２の画像の周辺領域に、該周辺領域に対応する位置にある他の第２の画像の縮小画像を表示する
ことを特徴とする［Ａ１］又は［Ａ２］に記載の画像処理装置。
［Ａ５］ コンピュータを、
第１の画像と該第１の画像に撮影されている対象の部分を撮影した画像である複数の第２の画像を受け付ける画像受付手段と、
前記第１の画像の部分と前記第２の画像を照合した結果、該第１の画像における該第２の画像の位置関係を抽出する抽出手段と、
前記抽出手段によって抽出された位置関係に基づいて、前記第２の画像を配置して表示する表示手段
として機能させるための画像処理プログラム。
そして、前述の発明は、以下の効果を有する。
［Ａ１］の画像処理装置によれば、対象の部分を撮影した画像を表示する場合にあって、その画像の位置関係を保ったまま表示することができる。
［Ａ２］の画像処理装置によれば、本構成を有していない場合に比較して、効率的な照合処理を行うことができる。
［Ａ３］の画像処理装置によれば、本構成を有していない場合に比較して、画像間の関係を把握しやすい表示を行うことができる。
［Ａ４］の画像処理装置によれば、本構成を有していない場合に比較して、画像間の関係を把握しやすい表示を行うことができる。
［Ａ５］の画像処理プログラムによれば、対象の部分を撮影した画像を表示する場合にあって、その画像の位置関係を保ったまま表示することができる。

１００…画像処理装置
１１０…受付モジュール
１２０…制御モジュール
１３０…画像解析モジュール
１４０…画像配置モジュール
１５０…画像データ格納モジュール
１６０…出力モジュール

Claims (5)

1. 第１の画像と該第１の画像に撮影されている対象の部分を撮影した画像である複数の第２の画像を受け付ける画像受付手段と、
   前記第１の画像の部分と前記第２の画像を照合した結果、該第１の画像における該第２の画像の位置関係を抽出する抽出手段と、
   前記抽出手段によって抽出された位置関係に基づいて、前記第２の画像を配置して表示する表示手段
   を具備し、
   前記抽出手段は、前記第２の画像が複数枚あり、該第２の画像のうち一方の画像が他方の画像を含む場合、該他方の画像を削除する、
   ことを特徴とする画像処理装置。
2. 第１の画像と該第１の画像に撮影されている対象の部分を撮影した画像である複数の第２の画像を受け付ける画像受付手段と、
   前記第１の画像の部分と前記第２の画像を照合した結果、該第１の画像における該第２の画像の位置関係を抽出する抽出手段と、
   前記抽出手段によって抽出された位置関係に基づいて、前記第２の画像を配置して表示する表示手段
   を具備し、
   前記第２の画像では、第１の画像においてカバーしていない領域がある場合は、そのカバーしていない領域を提示して、その領域を撮影させるように促す、
   ことを特徴とする画像処理装置。
3. 第１の画像と該第１の画像に撮影されている対象の部分を撮影した画像である複数の第２の画像を受け付ける画像受付手段と、
   前記第１の画像の部分と前記第２の画像を照合した結果、該第１の画像における該第２の画像の位置関係を抽出する抽出手段と、
   前記抽出手段によって抽出された位置関係に基づいて、前記第２の画像を配置して表示する表示手段
   を具備し、
   前記第１の画像に対する操作の履歴として、前記第２の画像に対する操作も記録する、
   ことを特徴とする画像処理装置。
4. 第１の画像と該第１の画像に撮影されている対象の部分を撮影した画像である複数の第２の画像を受け付ける画像受付手段と、
   前記第１の画像の部分と前記第２の画像を照合した結果、該第１の画像における該第２の画像の位置関係を抽出する抽出手段と、
   前記抽出手段によって抽出された位置関係に基づいて、前記第２の画像を配置して表示する表示手段と、
   第１の画像、第２の画像のいずれかのアクセス権を変更する場合は、他の画像のアクセス権も連動して変更するアクセス権変更手段
   を具備することを特徴とする画像処理装置。
5. 第１の画像と該第１の画像に撮影されている対象の部分を撮影した画像である複数の第２の画像を受け付ける画像受付手段と、
   前記第１の画像の部分と前記第２の画像を照合した結果、該第１の画像における該第２の画像の位置関係を抽出する抽出手段と、
   前記抽出手段によって抽出された位置関係に基づいて、前記第２の画像を配置して表示する表示手段
   を具備し、
   複数の第２の画像のうち一部の第２の画像を削除する操作が行われた場合は、他の第２の画像であって、削除対象の第２の画像と位置関係を有している第２の画像を共に削除するか否かを尋ねるメッセージを出力する
   ことを特徴とする画像処理装置。

Images