WO2020158326A1

WO2020158326A1 - 情報処理装置、情報処理方法、及びプログラム

Info

Publication number: WO2020158326A1
Application number: PCT/JP2020/000378
Authority: WO
Inventors: 中村　和夫
Original assignee: ソニーセミコンダクタソリューションズ株式会社
Priority date: 2019-01-29
Filing date: 2020-01-09
Publication date: 2020-08-06
Also published as: CN113228112A; JP2020123016A; US20220157037A1

Abstract

本技術の一形態に係る画像表示装置は、表示制御部と、処理実行部とを具備する。前記表示制御部は、対象画像に対して領域を指定可能な指定用画像の表示を制御する。前記処理実行部は、前記指定用画像により指定された指定領域に対して、前記指定用画像に関連付けられた処理を実行する。前記処理実行部は、第１の指定用画像により指定された第１の指定領域と、第２の指定用画像により指定された第２の指定領域とが重複する重複領域に対して、前記第１の指定用画像に関連付けられた第１の処理、及び前記第２の指定用画像に関連付けられた第２の処理を実行する。前記表示制御部は、前記重複領域が存在している場合、前記第１の指定用画像の移動に連動して前記第２の指定用画像を移動させる。

Description

情報処理装置、情報処理方法、及びプログラム

　本技術は、画像解析等の画像処理に適用可能な情報処理装置、情報処理方法、及びプログラムに関する。

　特許文献１に記載の画像処理システムでは、特許文献１の図１３に示すように、画像処理等が可能な仮想レンズオブジェクトが供給される。仮想レンズオブジェクトに定義された色フィルタ等の光学レンズの特性により、画像の一部が変更される。これら仮想レンズオブジェクトを重ねることで、様々な画像処理が実行される。これにより、処理操作の単純化及び使い勝手の向上が図られている（特許文献１の明細書段落［００１４］［００２３］図１４、図１８等）。

特開平７－５７１１１号公報

　このような画像解析等の画像処理の実行に関して、高いユーザビリティを発揮可能な技術が求められている。

　以上のような事情に鑑み、本技術の目的は、画像処理の実行に関して、高いユーザビリティを発揮可能な情報処理装置、情報処理方法、及びプログラムを提供することにある。

　上記目的を達成するため、本技術の一形態に係る情報処理装置は、表示制御部と、処理実行部とを具備する。
　前記表示制御部は、対象画像に対して領域を指定可能な指定用画像の表示を制御する。
　前記処理実行部は、前記指定用画像により指定された指定領域に対して、前記指定用画像に関連付けられた処理を実行する。
　前記処理実行部は、第１の指定用画像により指定された第１の指定領域と、第２の指定用画像により指定された第２の指定領域とが重複する重複領域に対して、前記第１の指定用画像に関連付けられた第１の処理、及び前記第２の指定用画像に関連付けられた第２の処理を実行する。
　前記表示制御部は、前記重複領域が存在している場合、前記第１の指定用画像の移動に連動して前記第２の指定用画像を移動させる。

　この情報処理装置では、対象画像に対して領域を指定可能な第１の指定用画像により指定された第１の指定領域と、前記対象画像に対して領域を指定可能な第２の指定用画像により指定された第２の指定領域とが重複する重複領域に対して、各指定用画像に関連付けられた処理が実行される。重複領域が存在している場合、第１の指定用画像の移動に連動して第２の指定用画像が移動させられる。これにより、高いユーザビリティを発揮可能となる。

　前記表示制御部は、前記第２の指定領域の全体が前記重複領域となる場合に、前記第１の指定用画像の移動に連動して前記第２の指定用画像を移動させてもよい。

　前記表示制御部は、前記第１の指定用画像及び前記第２の指定用画像の位置関係を維持したまま、前記第１の指定用画像の移動に連動して前記第２の指定用画像を移動させてもよい。

　前記表示制御部は、前記第１の指定領域の全体及び前記第２の指定領域の全体が前記重複領域となる場合に、前記第１の指定領域画像及び前記第２の指定領域画像を同時に移動させてもよい。

　前記表示制御部は、前記第１の指定領域の全体及び前記第２の指定領域の全体が前記重複領域となる場合を除いて、前記第２の指定領域画像を前記第１の指定領域画像に対して独立して移動させてもよい。

　前記情報処理装置は、さらに、ユーザの指示を受付ける受付部を具備してもよい。この場合、前記表示制御部は、受付けられた前記ユーザの指示に基づいて、前記第１の指定領域の全体及び前記第２の指定領域の全体が前記重複領域となるように前記第１の指定用画像及び前記第２の指定用画像を合成し、合成された前記第１の指定用画像及び前記第２の指定用画像を、前記重複領域を指定しかつ前記第１の処理及び前記第２の処理が関連付けられた合成指定用画像として表示を制御してもよい。

　前記表示制御部は、受付けられた前記ユーザの指示に基づいて、前記対象画像に対する前記指定用画像の位置を示す情報を表示させてもよい。

　前記対象画像に対する前記指定用画像の位置を示す情報は、前記指定用画像の位置を基準として表示される前記対象画像の全体画像であってもよい。

　前記処理実行部は、前記重複領域に関連するデータを入力として前記第１の処理を実行し、前記第１の処理の結果を入力として前記第２の処理を実行してもよい。

　前記処理実行部は、前記重複領域に関連するデータを入力として、前記第１の処理及び前記第２の処理をそれぞれ実行してもよい。

　前記表示制御部は、前記第１の処理の結果を入力とした前記第２の処理の実行が不可能な場合に、前記第２の処理の実行が不可能である旨の情報を表示させてもよい。

　前記表示制御部は、前記第１の処理の結果を入力とした前記第２の処理の実行が不可能な場合に、前記第１の指定用画像の移動に対する前記第２の指定用画像の移動の連動を解除してもよい。

　前記表示制御部は、前記指定用画像に関連付けられた処理に基づいた処理結果画像を、前記指定領域上に表示させてもよい。

　前記指定用画像に関連付けられた処理は、前記指定領域の画像データの出力、前記指定領域に対する画像処理、又は前記指定領域に対する解析処理の少なくとも１つを含んでもよい。

　前記処理結果画像は、前記指定領域の画像、前記画像処理後の前記指定領域の画像、又は前記解析処理の結果を含む画像の少なくとも１つを含んでもよい。

　前記合成指定用画像に対応する前記処理結果画像は、前記合成指定用画像に関連付けられた前記第２の処理に基づいた前記処理結果画像であってもよい。

　前記表示制御部は、前記処理結果画像が複製された画像である複製画像を表示させてもよい。

　前記処理実行部は、前記複製画像を前記対象画像として、前記指定用画像により指定された前記指定領域に対して、前記指定用画像に関連付けられた処理を実行してもよい。

　本技術の一形態に係る情報処理方法は、コンピュータシステムにより実行される情報処理方法であって、対象画像に対して領域を指定可能な第１の指定用画像により指定された第１の指定領域と、前記対象画像に対して領域を指定可能な第２の指定用画像により指定された第２の指定領域とが重複する重複領域に対して、前記第１の指定用画像に関連付けられた第１の処理、及び前記第２の指定用画像に関連付けられた第２の処理を実行することを含む。
　前記重複領域が存在している場合、前記第１の指定用画像の移動に連動して前記第２の指定用画像を移動させるように、前記第１の指定用画像及び前記第２の指定用画像の表示が制御される。

　本技術の一形態に係るプログラムは、コンピュータシステムに以下のステップを実行させる。
　対象画像に対して領域を指定可能な第１の指定用画像により指定された第１の指定領域と、前記対象画像に対して領域を指定可能な第２の指定用画像により指定された第２の指定領域とが重複する重複領域に対して、前記第１の指定用画像に関連付けられた第１の処理、及び前記第２の指定用画像に関連付けられた第２の処理を実行するステップ。
　前記重複領域が存在している場合、前記第１の指定用画像の移動に連動して前記第２の指定用画像を移動させるように、前記第１の指定用画像及び前記第２の指定用画像の表示を制御するステップ。

本技術の一実施形態に係る画像処理システムの構成例を示すブロック図である。画像処理システムを利用するユーザにより操作可能なＧＵＩの一例を示す模式図である。パッチを利用した処理例を示すフローチャートである。パッチを利用した処理例を示すフローチャートである。パッチを利用した処理例を示すフローチャートである。パッチの移動について説明するための模式図である。パッチの移動について説明するための模式図である。、パッチに入力される画像データに対して対応可能か否かの通知を示す模式図である。異なるパッチに対してアタッチを行うことを示す模式図である。エイリアスを示す模式図である。画像入力パッチの画像表示の一例を示す模式図である。アタッチとエイリアスとを組み合わせた処理例を示す模式図である。エイリアスに対してアタッチ及びエイリアスを行う処理例を示す模式図である。画像入力パッチに対してアタッチの実行を示す模式図である。レイアウトパッチ及びグリッドパッチを示す模式図である。トラッキングパッチを示す模式図である。設定パッチを示す模式図である。異なる設定パッチに対してアタッチを行うことを示す模式図である。地図を示す画像データに対して検索処理を行うパッチを配置した場合を示す模式図である。

　以下、本技術に係る実施形態を、図面を参照しながら説明する。

　［画像処理システムの構成］
　図１は、本技術の一実施形態に係る画像処理システム１００の構成例を示すブロック図である。図２は、画像処理システム１００を利用するユーザにより操作可能なＧＵＩ（Graphical User Interface）の一例を示す模式図である。

　画像処理システム１００は、画像データ出力装置１８と、ディスプレイ装置１９と、画像処理装置２０とを有する。

　画像データ出力装置１８は、画像データを出力する。例えば特定の風景や人物を映した写真等の画像データが出力される。その他、任意の画像データが出力されてよい。以下、説明を簡素化するために、画像データのことを単に画像と記載する場合がある。例えば「画像データ出力装置１８から出力される画像」といった記載をする場合がある。

　本開示において、画像は、静止画像及び動画像を含む。もちろん動画像に含まれる複数のフレーム画像も、画像に含まれる。画像データ出力装置１８の具体的な構成は限定されず、任意の装置が用いられてよい。また画像データの形式等も限定されず、任意の形式等が採用されてよい。また任意のコーデック技術等が用いられてよい（なお画像の符号化や復号については説明を省略する）。

　ディスプレイ装置１９は、種々の画像や種々のＧＵＩを表示可能である。ディスプレイ装置１９の具体的な構成は限定されず、例えば液晶、ＥＬ（Electro-Luminescence）等を用いた任意の表示デバイスが用いられてよい。

　画像処理装置２０は、画像データ出力装置１８により出力された画像に対して、種々の処理を実行可能である。また画像処理装置２０は、ディスプレイ装置１８による画像表示を制御することが可能である。

　例えば画像処理装置２０は、画像データ出力装置１８から取得した画像をそのままディスプレイ装置１９に表示させることが可能である。また画像処理装置２０は、画像に対して実行した画像処理の結果を、ディスプレイ装置１９に表示させることが可能である。また画像処理装置２０は、画像処理装置２０自身が生成又は保持しているＧＵＩ等を、ディスプレイ装置１９に表示させることが可能である。

　図２に示すように本実施形態では、画像処理装置２０により、種々の画像処理パッチ（以下、単にパッチと記載する）が生成されディスプレイ装置１９に表示される。ユーザは、ディスプレイ装置１９に表示される種々のパッチを用いて、種々の処理を実行することが可能である。本実施形態において、画像処理装置２０は、情報処理装置に相当する。

　パッチは、画像内の領域を指定することが可能である。本実施形態では、矩形状の枠によりパッチが構成されており、枠に囲まれた領域が、パッチにより指定された指定領域となる。ユーザは、パッチの位置、形状（アスペクト比）、サイズを変更することが可能である。従って、ユーザは、パッチを移動等させることで、指定領域の位置、形状（アスペクト比）、サイズを変更させることが可能である。すなわち本画像処理システム１００では、ユーザの指示に基づいて、指定用画像の位置及びサイズを変更することが可能である。もちろんパッチを回転させるといったことも可能である。

　本実施形態において、パッチは、指定用画像として機能する。矩形状の枠に限定されず、対象画像に対して領域を指定可能な任意の画像を、指定用画像として採用することが可能である。またパッチにより領域が指定される対象となる画像が、対象画像となる。後にも説明するが、画像データ出力装置１８から出力される画像のみならず、例えば画像処理装置２０により所定の画像処理が実行された後の画像も、本技術に係る対象画像に含まれ得る。

　また画像処理装置２０は、パッチにより指定された指定領域に対して、パッチに関連付けられた処理を実行することが可能である。図２に示す例では、パッチの一例として、画像入力パッチ３０、ノイズ除去パッチ３１、エッジ強調パッチ３２、低域フィルタパッチ３３、ヒストグラム解析パッチ３４、Ｓ／Ｎ解析パッチ３５、及び統計解析パッチ３６が表示されている。各パッチについては、後に詳しく説明する。

　画像処理装置２０は、例えばＣＰＵ（プロセッサ）、ＲＯＭ、ＲＡＭ、及びＨＤＤ等のハードウェアを有した任意のコンピュータにより実現可能である。例えばＣＰＵがＲＯＭ等に予め記録されている本技術に係るプログラムをＲＡＭにロードして実行することにより、本技術に係る情報処理方法が実行される。

　例えばＰＣ（Personal Computer）等の任意のコンピュータにより、画像処理装置２０を実現することが可能である。もちろん画像処理装置２０を実現するために、ＧＰＵ、ＦＰＧＡ、ＡＳＩＣ等の任意のハードウェアが用いられてもよい。

　プログラムは、例えば種々の記録媒体を介してＰＣやスマートフォン等にインストールされる。あるいは、インターネット等を介してプログラムのインストールが実行されてもよい。

　なおプログラムが記録される記録媒体の種類等は限定されず、コンピュータが読み取り可能な任意の記録媒体が用いられてよい。例えば非一時的にデータを記録する任意の記録媒体が用いられてよい。

　図１に示すように、本実施形態では、画像処理装置２０のＣＰＵ等が所定のプログラムを実行することで、機能ブロックとしての指示受付部１と、設定値保持部２と、処理選択部３と、指定領域判定部４と、画像データ取得部５と、入力データ取得部６と、処理実行部７と、処理結果保持部８と、パッチ画像生成部９と、画像出力部１０とが実現される。各ブロックを実現するために、ＩＣ（集積回路）等の専用のハードウェアが用いられてもよい。

　指示受付部１は、ユーザの指示を受付ける。例えばキーボード、ポインティングデバイス、タッチパネル、その他の任意の操作装置が、画像処理装置２０に接続、あるいは設置される（図示は省略）。ユーザによる操作装置の操作に応じた信号を受信することで、ユーザの指示が受付けられる。

　例えばマウスボタンのクリックやマウスボタンの長押し等の種々の操作を介して、ユーザの指示を受付けることが可能である。もちろん操作装置の操作に限定されず、音声入力やジェスチャ入力により、ユーザの指示が入力可能であってもよい。本実施形態において、指示受付部１は、ユーザの指示を受付ける受付部に相当する。

　設定値保持部２は、受付けられたユーザの指示に基づいて、パッチに関連付けられた処理に関する設定値を制御し、保持する。例えばパッチに関連付けられた処理として、画像入力、ノイズ除去、エッジ強調、低域フィルタ処理、及びヒストグラム解析等を設定することが可能である。設定値保持部２により、これらの各処理に関する設定値が制御され、保持される。

　処理選択部３は、ユーザの指示に基づいて、対象画像に対して実行される処理を選択する。本実施形態では、ユーザによるパッチの選択指示に基づいて、選択されたパッチに関連付けられた処理が選択される。ユーザによりパッチを選択する方法や、パッチの選択に用いられるＧＵＩ等は限定されず、任意に設定されてよい。

　指定領域判定部４は、ユーザによるパッチの位置、形状、サイズの指示に基づいて、パッチにより指定される指定領域を判定する。例えば対象画像の各画素の位置情報や、パッチの枠を構成する各画素の位置情報等に基づいて、指定領域を判定することが可能である。その他、指定領域を判定可能な任意の方法が用いられてよい。

　画像データ取得部５は、画像データ出力部１８により出力された画像データを取得する。例えばユーザにより、処理の実行を所望する画像が指定される。画像データ取得部５は、指定された画像データを、画像データ出力部１８から取得する。もちろんこのような方法に限定される訳ではない。

　入力データ取得部６は、処理選択部３により選択された処理を実行する際の入力データを取得する。本実施形態では、入力データ取得部６は、パッチにより指定された指定領域に関する情報が、入力データとして取得される。図１に示すように、画像データ取得部５により取得された画像データに基づいて、入力データが取得される。

　あるいは、指定領域に対して実行される他の処理の処理結果に基づいて、入力データが取得される場合もあり得る。この場合、本実施形態では、処理結果保持部８から他の処理の処理結果が出力される。

　処理実行部７は、入力データ取得部６により取得された入力データに対して、処理選択部３により選択された処理を実行する。この際には、設定値保持部８により保持された設定値が、処理パラメータとして適宜参照される。

　処理結果保持部８は、処理実行部７により実行された処理の処理結果を保持する。例えばパッチに関連付けられた処理として、画像入力、ノイズ除去、エッジ強調、低域フィルタ処理、及びヒストグラム解析等を設定することが可能である。処理結果保持部８により、これらの各処理の結果が保持される。

　パッチ画像生成部９は、処理結果保持部８により保持された処理結果に基づいて、パッチにより指定された指定領域上に表示される、パッチ画像を生成する。本実施形態において、パッチ画像は、指定用画像に関連付けられた処理に基づいた処理結果画像に相当する。すなわち本画像処理システム１００では、指定用画像に関連付けられた処理に基づいた処理結果画像が、指定領域上に表示される。

　画像出力部１０は、パッチ及びパッチ画像をディスプレイ装置１９に出力して表示させる。

　本実施形態では、パッチ画像生成部９及び画像出力部１０は、対象画像に対して領域を指定可能な指定用画像の表示を制御する表示制御部として機能する。処理実行部７は、指定用画像により指定された指定領域に対して、指定用画像に関連付けられた処理を実行する処理実行部として機能する。

　以下に説明するように本実施形態では、本画像処理システムに関する種々の情報（画像等を含む）の表示が実行される。これらの情報の表示制御は、パッチ画像生成部９及び画像出力部１０を含む表示制御部により実行される。すなわち表示制御部は、図１に例示するパッチ画像生成部９及び画像出力部１０の機能のみを有する場合に限定される訳ではなく、他の表示制御機能をも含み得る。

　［パッチの例］
　図２に例示されている各パッチについて説明する。

　画像入力パッチ３０には、画像入力パッチ３０により指定される指定領域に対応する画像データの入力処理が関連付けられている。本実施形態では画像データの入力は、外部から画像処理システム１００内に画像データを入力することを意味する。画像データの入力のことを、外部から画像データを取得して、画像処理システム１００内の各ブロックに出力する処理とも言える。

　本実施形態では、画像入力パッチ３０は、画像データ出力部１８により出力された画像データに対して適用可能なパッチとして機能する。すなわち画像入力パッチ３０は、画像データ出力部１８により出力された画像を対象画像として機能するパッチとなる。

　例えば、ユーザにより画像入力パッチ３０が選択され、ディスプレイ装置１９上の所望の位置に配置される。処理選択部３により画像入力が選択され、指定領域判定部４により指定領域が判定される。入力データ取得部６により、対象画像の指定領域に対応する画像データが、入力データとして取得される。対象画像の指定領域に対応する画像データは、指定領域の画像データに限定されず、指定領域及びその周辺領域の画像データや、指定領域に関する任意のデータ（後述する検索対象等）も含まれる。

　処理実行部７により、入力データ取得部６により取得された指定領域に対応する画像データが処理結果として出力される。なおこの際には、設定値保持部により保持された設定値に基づいて、画像データに対して処理が実行される。例えば明度等が適宜制御される。

　処理結果保持部８は、処理実行部７により出力された指定領域に対応する画像データを、処理結果として保持する。パッチ画像生成部９は、処理結果保持部９により出力された指定領域に対応する画像を、パッチ画像として生成する。画像出力部１０は、画像入力パッチ３０（矩形状の枠）と、指定領域に対応する画像とを出力し、ディスプレイ装置１９に表示させる。

　本実施形態では、ノイズ除去パッチ３１、エッジ強調パッチ３２、及び低域フィルタパッチ３３は、画像処理パッチとして分類される。

　ノイズ除去パッチ３１には、ノイズ除去パッチ３１により指定される指定領域に対するノイズ除去が関連付けられている。ノイズ除去の具体的なアルゴリズムは限定されず、任意のアルゴリズムが採用されてよい。

　ノイズ除去パッチ３１は、指定領域に対応する画像データに対して適用可能なパッチとして機能する。例えば画像データ出力部１８により出力された画像を対象画像として、ノイズ除去パッチ３１を配置し、指定領域に対してのノイズ除去を実行することが可能である。

　また他の画像処理が実行された後の画像データに対して、ノイズ除去パッチ３１を適用することも可能である。この場合、他の画像処理が実行された後の画像が対象画像となり、ノイズ除去パッチ３１により指定される指定領域に対してノイズ除去が実行される。

　例えば、ユーザによりノイズ除去パッチ３１が選択され、対象画像上の所望の位置に配置される。処理選択部３によりノイズ除去が選択され、指定領域判定部４により指定領域が判定される。入力データ取得部６により、対象画像の指定領域に対応する画像データが、入力データとして取得される。

　例えば画像データ出力部１８により出力された画像を対象画像とする場合には、画像データ出力部１８により出力された画像データから入力データが取得される。他の画像処理が実行された後の画像を対象画像とする場合には、処理結果保持部８から出力される画像データから入力データが取得される。

　処理実行部７により、入力データ取得部６により取得された指定領域に対応する画像データに対して、ノイズ除去が実行される。ノイズ除去が実行された後の画像データが処理結果として出力される。なおこの際には、設定値保持部８により保持された設定値に基づいたノイズ除去が実行される。

　処理結果保持部８は、ノイズ除去が実行された指定領域に対応する画像データを、処理結果として保持する。パッチ画像生成部９は、ノイズ除去が実行された画像データをパッチ画像として生成する。画像出力部１０は、ノイズ除去パッチ３１（矩形状の枠）と、ノイズ除去が実行された後に指定領域の画像とを出力し、ディスプレイ装置１９に表示させる。

　このように本実施形態では、ノイズ除去パッチ３１の内部には、ノイズ除去が実行された後の画像が表示される。ノイズ除去パッチ３１の位置、形状、サイズを適宜変更することで、所望の領域においてノイズ除去を実行可能であり、その処理結果を視認することが可能となる。

　エッジ強調パッチ３２には、ノイズ除去パッチ３１により指定される指定領域に対するエッジ強調が関連付けられている。例えば、指定領域に含まれるオブジェクトのエッジが強調される。エッジ強調の具体的なアルゴリズムは限定されず、任意のアルゴリズムが採用されてよい。

　ノイズ除去パッチ３１と同様に、エッジ強調パッチ３２も、指定領域に対応する画像データ及び、他の画像処理が実行された後の画像データのいずれにも適用可能である。すなわち画像データ出力部１８により出力された画像を対象画像としてエッジ強調パッチ３２を配置することが可能である。また他の画像処理が実行された後の画像を対象画像として、エッジ強調パッチ３２を配置することも可能である。

　ノイズ除去パッチ３１が選択される場合と同様に、エッジ強調パッチ３２により指定された指定領域に対して、エッジ強調が実行される。そしてエッジ強調パッチ３２の内部には、エッジ強調が実行された後の画像が、パッチ画像として表示される。エッジ強調パッチ３２の位置、形状、サイズを適宜変更することで、所望の領域においてエッジ強調を実行可能であり、その処理結果を視認することが可能となる。

　低域フィルタパッチ３３には、低域フィルタパッチ３３により指定される指定領域に対する低域フィルタ処理が関連付けられている。低域フィルタ処理の具体的なアルゴリズムは限定されず、任意のアルゴリズムが採用されてよい。

　低域フィルタパッチ３３も、指定領域に対応する画像データ、及び、他の画像処理が実行された後の画像データのいずれにも適用可能である。すなわち画像データ出力部１８により出力された画像を対象画像とし低域フィルタパッチ３３を配置することが可能である。また他の画像処理が実行された後の画像を対象画像として、低域フィルタパッチ３３を配置することも可能である。

　低域フィルタパッチ３３により指定された指定領域に対して、低域フィルタ処理が実行される。そして低域フィルタパッチ３３の内部には低域フィルタ処理が実行された後の画像が、パッチ画像として表示される。低域フィルタパッチ３３の位置、形状、サイズを適宜変更することで、所望の領域において低域フィルタ処理を実行可能であり、その処理結果を視認することが可能となる。

　本実施形態では、ヒストグラム解析パッチ３４、Ｓ／Ｎ解析パッチ３５、及び統計解析パッチ３６は、画像解析パッチとして分類される。

　ヒストグラム解析パッチ３４には、ヒストグラム解析パッチ３４により指定される指定領域に対するヒストグラム解析が関連付けられている。ヒストグラム解析の具体的なアルゴリズムは限定されず、任意のアルゴリズムが採用されてよい。

　ヒストグラム解析パッチ３４は、指定領域に対応する画像データに対して適用可能なパッチとして機能する。例えば画像データ出力部１８により出力された画像を対象画像として、ヒストグラム解析パッチ３４を配置し、指定領域に対してヒストグラム解析パッチ３４を実行することが可能である。

　また他の画像処理が実行された後の画像データに対して、ヒストグラム解析パッチ３４を適用することも可能である。この場合、他の画像処理が実行された後の画像が対象画像となり、ヒストグラム解析パッチ３４により指定される指定領域に対してヒストグラム解析パッチ３４が実行される。

　例えば、ユーザによりヒストグラム解析パッチ３４が選択され、対象画像上の所望の位置に配置される。処理選択部３によりヒストグラム解析が選択され、指定領域判定部４により指定領域が判定される。入力データ取得部６により、対象画像の指定領域に対応する画像データが、入力データとして取得される。

　処理実行部７により、入力データ取得部６により取得された指定領域に対応する画像データに対して、ヒストグラム解析が実行される。ヒストグラム解析の結果が処理結果として出力される。なおこの際には、設定値保持部２により保持された設定値に基づいたヒストグラム解析が実行される。

　処理結果保持部８は、ヒストグラム解析の結果を、処理結果として保持する。パッチ画像生成部９は、ヒストグラム解析の結果を表す画像をパッチ画像として生成する。図２に示す例では、ヒストグラムのサムネイルがパッチ画像として生成される。画像出力部１０は、ヒストグラム解析パッチ３４（矩形状の枠）と、ヒストグラムのサムネイルとを出力し、ディスプレイ装置１９に表示させる。

　このように本実施形態では、ヒストグラム解析パッチ３４の内部には、ヒストグラム解析結果のサムネイルが表示される。ヒストグラム解析パッチ３４の位置、形状、サイズを適宜変更することで、所望の領域においてヒストグラム解析を実行可能であり、その処理結果を視認することが可能となる。
ユーザビリティ

　Ｓ／Ｎ解析パッチ３５には、Ｓ／Ｎ解析パッチ３５により指定される指定領域に対するＳ／Ｎ解析が関連付けられている。Ｓ／Ｎ解析の具体的なアルゴリズムは限定されず、任意のアルゴリズムが採用されてよい。

　ヒストグラム解析パッチ３４と同様に、Ｓ／Ｎ解析パッチ３５も、指定領域に対応する画像データ及び、他の画像処理が実行された後の画像データのいずれにも適用可能である。すなわち画像データ出力部１８により出力された画像を対象画像としてＳ／Ｎ解析パッチ３５を配置することが可能である。また他の画像処理が実行された後の画像を対象画像として、Ｓ／Ｎ解析パッチ３５を配置することも可能である。

　ヒストグラム解析パッチ３４が選択される場合と同様に、Ｓ／Ｎ解析パッチ３５により指定された指定領域に対して、Ｓ／Ｎ解析パッチ３５が実行される。そしてＳ／Ｎ解析パッチ３５の内部には、Ｓ／Ｎ解析の結果を表す画像をパッチ画像として生成する。図２に示す例では、デシベル値のテキスト画像がパッチ画像として生成される。Ｓ／Ｎ解析パッチ３５の位置、形状、サイズを適宜変更することで、所望の領域においてＳ／Ｎ解析を実行可能であり、その処理結果を視認することが可能となる。

　統計解析パッチ３６には、統計解析パッチ３６により指定される指定領域に対する統計解析が関連付けられている。統計解析の具体的なアルゴリズムは限定されず、任意のアルゴリズムが採用されてよい。

　統計解析パッチ３６も、指定領域に対応する画像データ、及び、他の画像処理が実行された後の画像データのいずれにも適用可能である。すなわち画像データ出力部１８により出力された画像を対象画像とし統計解析パッチ３６を配置することが可能である。また他の画像処理が実行された後の画像を対象画像として、統計解析パッチ３６を配置することも可能である。

　統計解析パッチ３６により指定された指定領域に対して、統計解析が実行される。そして統計解析パッチ３６の内部には、統計解析の結果を表す画像が、パッチ画像として表示される。図２に示す例では、所定のパラメータの平均値のテキスト画像がパッチ画像として表示される。統計解析パッチ３６の位置、形状、サイズを適宜変更することで、所望の領域において統計解析を実行可能であり、その処理結果を視認することが可能となる。

　このように、指定用画像であるパッチに関連付けられた処理として、指定領域の画像データの入力（各ブロックへの出力）、指定領域に対する画像処理、及び指定領域に対する解析処理を設定することが可能である。そして処理結果画像であるパッチ画像として、指定領域の画像、画像処理後の指定領域の画像、解析結果を含む画像を表示することが可能である。

　画像処理パッチに関連付けられる処理の具体的な内容は限定されず、任意の画像処理をパッチに関連付けることが可能である。画像解析パッチも同様に、任意の解析処理をパッチに関連付けることが可能である。

　他の処理の結果を入力とする場合には、他の処理の結果が入力データとして適合しない場合もあり得る。典型的には、画像解析の結果を入力として、画像処理を実行することできない。処理の内容によっては、所定の画像処理の結果は、他の画像処理の入力としては不適合である場合もある。また所定の画像処理の結果が、他の解析処理の入力として不適合である場合もあり得る。

　このように、指定用画像に関連付けられた処理として、指定領域の画像データの出力、指定領域に対する画像処理、又は指定領域に対する解析処理の少なくとも１つを設定することが可能である。また処理結果画像として、指定領域の画像、画像処理後の指定領域の画像、又は前記解析処理の結果を含む画像の少なくとも１つを表示することが可能である。

　［パッチのパイプライン構成］
　パッチは、指定領域同士が重複するように配置することが可能である。パッチにより指定されている指定領域には、パッチに関連付けられた処理に基づいたパッチ画像が表示される。その指定領域内に表示されるパッチ画像上に、他のパッチを重ねて配置することが可能である。

　以下、指定領域同士の重複をパッチ同士の重複と記載する場合がある。また、パッチＡにより指定される指定領域Ａと、パッチＢにより指定される指定領域Ｂとの間で、互いに重複する領域が存在するとする。この場合、パッチＡとパッチＢとの間で重複領域が存在する、といった記載をする場合がある。

　さらに、パッチＡの指定領域Ａ内に、パッチＢの指定領域Ｂの全体が含まれる場合には、パッチＡ上にパッチＢが配置される、といった記載をする場合がある。パッチＡ上にパッチＢが配置される場合は、パッチＢの指定領域の全体が重複領域になる状態とも言える。

　パッチＡとパッチＢとを完全に重複させることも可能である。すなわち指定領域Ａの位置、形状、サイズと、指定領域Ｂの位置、形状、サイズとが、互いに一致するように、パッチＡ及びパッチＢをそれぞれ配置することも可能である。この状態は、指定領域Ａの全体及び指定領域Ｂの全体が重複領域となる状態とも言える。

　図２に示す例では、画像入力パッチ３０上に、他の各パッチが配置される。ノイズ除去パッチ３１上には、エッジ強調パッチ３２が配置される。そしてエッジ強調パッチ３２上には、Ｓ／Ｎ解析パッチ３５が配置される。

　Ｓ／Ｎ解析パッチ３５により指定される指定領域では、画像入力、ノイズ除去、エッジ強調パッチ、及びＳ／Ｎ解析の複数の処理が連続して実行されている。このように、パッチを重複するように配置することで、画像に対する処理のパイプラインを容易に実現することが可能となる。

　本実施形態では、パッチＡ上にパッチＢが配置される場合（指定領域Ｂの全体が指定領域Ａに包含される場合）、パッチＡを親パッチとし、パッチＢを子パッチとして設定される。そして、パッチＡの処理結果を入力として、パッチＢの処理が実行される。親と子の関係は、指定領域Ａ及び指定領域Ｂの各々サイズにより定められるとも言える。

　例えば、Ｓ／Ｎ解析パッチ３５までのパイプラインに着目すると、親と子の関係は以下のようになる。
　（親パッチ）：（子パッチ）
　画像入力パッチ３０：ノイズ除去パッチ３１
　ノイズ除去パッチ３１：エッジ強調パッチ３２
　エッジ強調パッチ３２：Ｓ／Ｎ解析パッチ３５
　このように自身の指定領域を包含するパッチは、親パッチとなる。自身の指定領域内に、制定領域の全体が包含されるパッチは、子パッチとなる。

　なお、ノイズ除去パッチ３１にとっては、画像入力パッチ３０により入力される画像が対象画像となる。エッジ強調パッチ３２にとっては、ノイズ除去パッチ３１のノイズ除去が実行された後に画像が対象画像となる。Ｓ／Ｎ解析パッチ３５にとっては、エッジ強調パッチ３２のエッジ強調が実行された後の画像が、対象画像となる。

　ヒストグラム解析パッチ３４により指定されている領域では、画像入力、及びヒストグラム解析のパイプラインが実現されている。ヒストグラム解析パッチ３４にとって、画像入力パッチ３０は親パッチとなる。画像入力パッチ３０にとって、ヒストグラム解析パッチ３４は子パッチとなる。

　すなわち、各パッチが重複する領域では、親パッチから出力される画像データを入力として、親パッチに重複するパッチの処理が実行され、重複するパッチの処理の結果を入力として重複するパッチ上に配置されるパッチの処理が実行される。なお、本実施形態において、親パッチから出力される画像データは、重複領域に関連するデータに相当する。

　低域フィルタパッチ３３上には、４つの統計解析パッチ３６が配置される。各統計解析パッチ３６の指定領域では、画像入力、低域フィルタ処理、及び統計解析のパイプラインがそれぞれ実現されている。このように、複数の領域に対して、統計解析を実行し、その結果を比較することも可能となる。

　４つの統計解析パッチ３６にとって、低域フィルタパッチ３３は、親パッチとなる。低域フィルタパッチ３３にとって、４つの統計解析パッチ３６は子パッチとなる。

　親パッチ、親パッチの指定領域、及び親パッチに関連付けられた処理は、第１の指定用画像、第１の指定領域、及び第１の処理の一実施形態に相当する。子パッチ、子パッチの指定領域、及び子パッチに関連付けられた処理は、第２の指定用画像、第２の指定領域、及び第２の処理の一実施形態に相当する。もちろんこれに限定される訳ではない。

　図３～図５は、パッチを利用した処理例を示すフローチャートである。画像入力パッチ３０がディスプレイ装置１９の画面上に配置される（ステップ１０１）。画像入力パッチ３０内に、指定領域に対応する画像がパッチ画像として表示される。当該パッチ画像は、画像データ取得部５により取得された画像データに基づいて生成される（ステップ１０２）。

　ここで、指示受付部１により画像入力パッチ３０の設定値が変更される指示が受付けられた場合（ステップ１０３のＹｅｓ）、変更された設定値に基づいてパッチ画像が変換され再表示される。

　画像処理パッチが、画像入力パッチ３０上に配置されたか否か判定される（ステップ１０５）。画像入力パッチ３０上に画像処理パッチが配置されない場合（ステップ１０５のＮｏ）、画像解析パッチが、画像入力パッチ３０上に配置されたか否か判定される（ステップ１０６）。画像入力パッチ３０上に画像処理パッチが配置されない場合（ステップ１０６のＮｏ）、パッチ画像の表示がそのまま継続される（ステップ１０７）。

　画像入力パッチ３０上に画像処理パッチが配置された場合（ステップ１０５のＹｅｓ）、図４に示すフローチャートに進む。すなわち画像入力パッチ３０により入力された画像データに基づいて、画像処理パッチの指定領域に対応する画像データが、入力データとして取得される（ステップ２０１）。そして取得された入力データに対して、画像処理が実行される（ステップ２０２）。

　ここで、指示受付部１により画像処理パッチの設定値が変更される指示が受付けられた場合（ステップ２０３のＹｅｓ）、変更された設置値に基づいて、処理結果に基づいたパッチ画像が変換され再表示される（ステップ２０４）。

　画像解析パッチが、画像処理パッチ上に配置されたか否か判定される（ステップ１０６）。画像処理パッチ上に画像解析パッチが配置されない場合（ステップ１０６のＮｏ）、パッチ画像の表示がそのまま継続される（ステップ１０７）。

　図３のステップ１０６にて画像入力パッチ３０上に画像解析パッチが配置されたと判定された場合、図５に示すフローチャートに進む。また図４に示すステップ１０６にて、画像処理パッチ上に画像解析パッチが配置されたと判定された場合も、図５に示すフローチャートに進む。

　図５に示すように、画像入力パッチ３０により入力された画像データ、又は画像処理パッチの処理結果である画像データに基づいて、画像解析パッチの指定領域に対応する画像データが、入力データとして取得される（ステップ３０１）。そして取得された入力データに対して、画像解析が実行される（ステップ３０２）。

　ここで、指示受付部１により画像解析パッチの設定値が変更される指示が受付けられた場合（ステップ３０３のＹｅｓ）、変更された設置値に基づいて、解析結果に基づいてパッチ画像が変換され再表示される（ステップ３０４）。画像解析パッチの設定値が変更される指示がない場合には、パッチ画像の表示がそのまま継続される（ステップ３０５）。

　図６及び図７は、パッチの移動について説明するための模式図である。上記したように本実施形態では、ユーザにより、パッチを移動させることが可能である。その際に、複数のパイプラインを実現しているパッチについては、複数のパイプラインを実現している構成（以下、パイプライン構成と記載する）を維持した状態で、パッチを移動させることが可能である。

　例えば、親パッチ（第１の指定用画像）及び子パッチ（第２の指定用画像）となる２つのパッチについて、親パッチの移動に連動して子パッチが移動される。すなわち親パッチを移動させると、親パッチ及び子パッチの位置関係を維持したまま、親パッチの移動に連動して子パッチが移動される。

　図６に示す例では、ノイズ除去パッチ３１、エッジ強調パッチ３２、及びＳ／Ｎ解析パッチ３５によりパイプライン構成が実現されている。ここでノイズ除去パッチ３１が移動すると、ノイズ除去パッチ３１から見て子パッチとなるエッジ強調パッチ３２が、ノイズ除去パッチ３１の移動に連動して移動する。エッジ強調パッチ３２は、ノイズ除去パッチ３１に対する位置関係を維持した状態で移動する。

　エッジ強調パッチ３２が移動すると、エッジ強調パッチ３２から見て子パッチとなるＳ／Ｎ解析パッチ３５が、エッジ強調パッチ３２の移動に連動して移動する。Ｓ／Ｎ解析パッチ３５は、エッジ強調パッチ３２に対する位置関係を維持した状態で移動する。

　従って、ノイズ除去パッチ３１を移動させることで、パイプライン構成を維持した状態で、ノイズ除去パッチ３１、エッジ強調パッチ３２、及びＳ／Ｎ解析パッチ３５を移動させることが可能となる。これにより、所望の領域に対して、ノイズ除去パッチ３１、エッジ強調パッチ３２、及びＳ／Ｎ解析パッチ３５のパイプラインを実行することが可能となる。

　このように本実施形態では、パッチを移動させることで、そのパッチを最下段とするパイプライン構成となる複数のパッチを同時に移動させることが可能である。この結果、非常に高いユーザビリティを発揮することが可能となる。

　一方で、子パッチ（第２の指定用画像）を移動させる場合には、親パッチ（第２の指定用画像）に対して独立して移動させる。例えば図６に示すエッジ強調パッチ３２を移動させる場合には、ノイズ除去パッチ３１に対してエッジ強調パッチ３２は独立して移動させる。これによりノイズ除去パッチ３１の指定領域内の所望の位置に、エッジ強調パッチ３２を移動させることが可能となる。なお、Ｓ／Ｎ解析パッチ３５は、エッジ強調パッチ３２の移動に連動して移動する。

　図７に示す例では、低域フィルタパッチ３３と、４つの統計解析パッチ３６とによりパイプライン構成が実現されている。親パッチとなる低域フィルタパッチ３３を移動させると、パイプライン構成を維持した状態で、低域フィルタパッチ３３の移動に連動して、４つの統計解析パッチ３６が移動する。これにより高いユーザビリティを発揮することが可能となる。なお４つの統計解析パッチ３６は、低域フィルタパッチ３３に対して独立して移動させることが可能である。

　このように本実施形態では、親パッチの移動に連動して子パッチが移動される。この例は、「重複領域が存在している場合、第１の指定用画像の移動に連動して第２の指定用画像を移動させる」という技術事項の一実施形態に相当する。また「第２の指定領域の全体が重複領域となる場合に、第１の指定用画像の移動に連動して第２の指定用画像を移動させる」という技術事項の一実施形態に相当する。さらに、「第１の指定用画像及び第２の指定用画像の位置関係を維持したまま、第１の指定用画像の移動に連動して第２の指定用画像を移動させる」という技術事項の一実施形態に相当する。

　なお第１の指定用画像及び第２の指定用画像が、本実施形態にて説明する親パッチ及び子パッチに限定される訳ではない。あくまで親パッチは本技術に係る第１の指定用画像の一実施形態である。また子パッチは、本技術に係る第２の指定用画像の一実施形態である。

　本技術は、２つの指定用画像の各指定領域について重複領域が存在している場合に、少なくとも一方の指定用画像の移動に連動して、他の指定用画像を移動させる任意の構成を含み得る。この場合、少なくとも一方の指定用画像が第１の指定用画像となり、他の指定用画像が第２の指定用画像となる。

　例えば一方の指定用画像の指定領域の全体が、他の指定用画像の指定領域内に含まれる場合に限定されない。互いに指定領域の一部同士が重複する場合に、一方の指定用画像の移動に連動して、他の指定用画像を移動させるといった表示制御が実行されてもよい。

　例えば画像入力パッチ３０の一部の領域に画像処理パッチの一部が重複する場合に、画像入力パッチ３０の移動に連動して、画像処理パッチも移動させるといった処理が実行されてもよい。またパッチ同士の位置関係が維持される場合に限定されなくてもよい。

　図８は、パッチに入力される画像データに対して対応可能か否かの通知を示す模式図である。

　図８に示すように、パッチＡ上にパッチＢが配置される場合（指定領域Ｂの全体が指定領域Ａに包含される場合）、入力された画像データの種類によって、画像処理又は画像解析の実行ができない（未対応）場合もあり得る。その場合、ユーザに処理の実行が不可能である旨の表示が行われる。

　例えば、対応可能な画像を出力するノイズ除去パッチ３１上にＳ／Ｎ解析パッチ３５が入れ子状に配置された場合、ディスプレイ装置１９にＳ／Ｎ解析パッチ３５の枠線が白色で表示される。またＳ／Ｎ解析パッチ３５がノイズ除去パッチ３１から出力される画像データに対して未対応な場合、ディスプレイ装置１９にＳ／Ｎ解析パッチ３５の枠線が赤色で表示される。

　また統計解析パッチ３６が対応可能な画像データを出力するＳ／Ｎ解析パッチ３５上に配置された場合でも、そのＳ／Ｎ解析パッチ３５の親パッチであるノイズ除去パッチ３１が出力する画像に対して統計解析パッチ３６が未対応の場合はディスプレイ装置１９に統計解析パッチ３６の枠線が黄色で表示される。

　またパッチに関連付けられた処理が対応可能な場合（子パッチの枠線が白色の状態）では、親パッチを移動させると子パッチも位置関係を保ったまま移動させられてもよい。逆に、パッチに関連付けられた処理が未対応な場合（子パッチの枠線が赤色又は黄色の状態）に、親パッチの移動に対する子パッチの移動の連動を解除してもよい。

　すなわち本画像処理システム１００では、第１の処理の結果を入力とした第２の処理の実行が不可能な場合に、第２の処理の実行が不可能である旨の情報を表示させることが可能である。また本画像処理システム１００では、第１の処理の結果を入力とした第２の処理の実行が不可能な場合に、第１の指定用画像の移動に対する第２の指定用画像の移動の連動を解除することが可能である。

　なお、ユーザにパッチの処理の実行が不可能である旨の情報は限定されない。例えば、処理の実行が不可能である旨を通知する文章がディスプレイ装置１９に表示されてもよい。

　図９は、異なるパッチに対してアタッチを行うことを示す模式図である。図９では、図６等に示すノイズ除去パッチ３１、エッジ強調パッチ３２、及びＳ／Ｎ解析パッチ３５のパイプライン構成をアタッチする場合を例に挙げる。

　ユーザは、各パッチに対してアタッチを行うことが可能である。図９に示すように、アタッチが実行されたノイズ除去パッチ３１、エッジ強調パッチ３２、及びＳ／Ｎ解析パッチ３５の指定領域の形状及びサイズは、親パッチであるノイズ除去パッチ３１の指定領域の形状及びサイズと同じになる。

　以下、各パッチにアタッチが実行され、見かけ上１つとなった図９のパッチをアタッチパッチ３７と記載する。

　すなわち、受付けられたユーザの指示に基づいて、親パッチの領域の全体及び子パッチの領域の全体が重複されるように親パッチ及び子パッチを合成し、合成された親パッチ及び子パッチを、重複した領域を指定し、かつ親パッチ及び子パッチの処理が関連付けられたアタッチパッチ３７として表示が制御される。

　処理実行部７は、アタッチパッチ３７となったノイズ除去パッチ３１、エッジ強調パッチ３２、及びＳ／Ｎ解析パッチ３５に関連付けられた処理を、ノイズ除去パッチ３１に関連付けられた処理から実行する。すなわち、処理実行部７は、アタッチパッチ３７に合成される前の各パッチの領域の大きい順に処理を実行する。

　またアタッチパッチ３７の領域上に表示される処理結果画像は、Ｓ／Ｎ解析パッチ３５に関連付けられた処理結果画像として０．０５ｄＢが表示される。すなわち、アタッチパッチ３７に合成される前の各パッチの領域の最も小さいパッチの処理結果画像が表示される。

　指定領域判定部４は、アタッチパッチ３７に指定される領域を変更する。また指定領域判定部４は、ユーザの操作によりアタッチパッチ３７を移動させる。本実施形態では、指定領域判定部４は、アタッチが行われたノイズ除去パッチ３１、エッジ強調パッチ３２、及びＳ／Ｎ解析パッチ３５に対して、同時に領域の変更や移動を実行する。

　すなわち、指定領域判定部４は、ノイズ除去パッチ３１の全体、エッジ強調パッチ３２の全体、及びＳ／Ｎ解析パッチ３５の全体の領域が重複領域となる場合に、ノイズ除去パッチ３１、エッジ強調パッチ３２、及びＳ／Ｎ解析パッチ３５を同時に移動させる。

　また指定領域判定部４は、ノイズ除去パッチ３１の全体、エッジ強調パッチ３２の全体、及びＳ／Ｎ解析パッチ３５の全体の領域が重複領域となる場合を除いて、エッジ強調パッチ３２及びＳ／Ｎ解析パッチ３５をノイズ除去パッチ３１に対して独立して移動させる。

　また指定領域判定部４は、ユーザによりアタッチを解除する旨の指示が受付けられた場合、エッジ強調パッチ３２及びＳ／Ｎ解析パッチ３５の領域の面積は、アタッチパッチ３７となる前のエッジ強調パッチ３２及びＳ／Ｎ解析パッチ３５の領域の面積に戻る。

　なお、アタッチパッチ３７に含まれるパッチの数は限定されない。例えば、４つ以上のパッチがアタッチされてもよい。この場合、処理実行部７により行われるアタッチパッチの処理は、パッチの領域の面積が大きい（親パッチ）方から実行される。またアタッチが行われる旨の指示も限定されない。各パッチに対してアタッチが順次行われてもよいし、全てのパッチに対して同時にアタッチが行われるコマンドが用いられてもよい。

　またアタッチが実行される指示は限定されない。例えば、Ｓ／Ｎ解析パッチ３５をエッジ強調パッチ３２に重複するように移動させた際にアタッチが実行されてもよい。また例えば、子パッチの領域が親パッチの領域と同一となるように実行された場合にアタッチが実行されてもよい。

　各処理が実行されるパッチは、種類に寄らずその処理結果がそのパッチの領域内、又は子パッチの領域内に表示される。この場合、各パッチにおいて、処理結果の表示のための変換処理やＧＰＵからＣＰＵのメモリ領域へのコピー等の転送処理が行われている。

　一方、アタッチパッチでは表示を確認できるのは最も領域の面積が小さい子パッチのみであり、それ以外の親パッチは隠れるため目視で確認することができない。これにより、アタッチパッチの最も領域の面積が小さい子パッチ以外の処理結果の表示のための変換処理や転送処理が停止されることで、処理速度の向上が可能となる。

　なお、本実施形態において、アタッチパッチ３７は、第１の処理及び前記第２の処理が関連付けられた合成指定用画像に相当する。

　図１０は、エイリアスを示す模式図である。

　処理選択部３は、画像入力パッチ、画像処理パッチ、及び画像解析パッチに関連する処理の結果を複製して異なる位置に矩形状に表示する。以下、この処理の結果が複製された矩形状の枠をエイリアスと記載する。

　本実施形態では、画像入力パッチ４０上に配置されるエイリアス４２は、ノイズ除去画像処理パッチ４１の処理の結果を４つの異なる位置に同時に配置される。すなわち、エイリアス４２は、ノイズ除去画像処理パッチ４１の処理の結果を出力している。

　また図１０に示すように、処理選択部３は、画像処理Ａパッチ４３、画像処理Ｃパッチ４４、画像処理Ｄパッチ４５、及びＳ／Ｎ解析処理パッチ４６をエイリアス４２上に配置する。

　指定領域判定部４は、エイリアス４２の指定する領域を決定する。本実施形態では、指定領域判定部４は、エイリアス４２の領域を画像処理Ａパッチ４３、画像処理Ｃパッチ４４、及び画像処理Ｄパッチ４５の領域よりも面積が大きくなるように決定する。

　また指定領域判定部４は、Ｓ／Ｎ解析処理パッチ４６の指定する領域を画像処理Ａパッチ４３、画像処理Ｃパッチ４４、及び画像処理Ｄパッチ４５の領域よりも面積が小さくなるように決定する。

　処理実行部７は、エイリアス４２上に配置された画像処理Ａパッチ４３、画像処理Ｃパッチ４４、及び画像処理Ｄパッチ４５に関連付けられた処理を実行する。すなわち、入力データ取得部６は、エイリアス４２から出力された画像データを画像処理Ａパッチ４３、画像処理Ｃパッチ４４、及び画像処理Ｄパッチ４５に入力される画像データとして取得する。

　同様に処理実行部７は、画像処理Ａパッチ４３、画像処理Ｃパッチ４４、及び画像処理Ｄパッチ４５上に配置されたＳ／Ｎ解析処理パッチ４６に関連付けられた処理を実行する。

　すなわち、処理実行部７は、エイリアス４２を画像データとして、画像処理パッチ又は画像解析パッチにより指定された領域に対して、画像処理パッチ又は画像解析パッチに関連付けられた処理を実行する。

　これにより、エイリアス４２が用いられることで、画像処理のパラメータ（設定値）を振った効果の比較や同じ領域に対して異なるアルゴリズムでの性能評価を平行に実行することができ、評価の効率化が可能となる。

　なお、エイリアス４２が配置される場所は限定されず任意に配置されてよい。例えば、画像入力パッチ４０の領域外に配置されてもよい。またパッチのパイプライン構成の任意のパッチに対して複製画像（エイリアス）が生成され表示されてもよい。

　なお、本実施形態において、エイリアス４２は、処理結果画像が複製された画像である複製画像に相当する。

　図１１は、画像入力パッチの画像表示の一例を示す模式図である。

　画像データ取得部５は、外部から入力された画像データ４７を取得する。パッチ画像生成部９は、処理選択部３及び処理実行部７により画像入力パッチ４８の領域内に画像データ４７が表示されるパッチ画像を生成する。画像データ４７は、ディスプレイ５０の画像入力パッチ４８内に表示される。

　図１１に示すように、指定領域判定部４は、ユーザの指示に基づいて、画像入力パッチ４８の領域を変更する。この場合、領域が変更された画像入力パッチ４８の領域内に、画像データ４７の一部である画像データが表示される。すなわち、全体画像である画像データ４７は表示されず、画像入力パッチ４８の領域内のみに画像入力パッチ４８が配置される座標及び領域に応じて、画像データ４７の該当する箇所が切り出されるように表示される。

　ユーザは、画像入力パッチ４８を任意に移動可能である。例えば、ユーザがマウスのカーソルを画像入力パッチ上に置いた状態でマウスのボタンクリックやボタンの長押しを行うことで、画像入力パッチ４８の移動を行うことが可能である。

　この場合、移動した画像入力パッチ４８の領域に対応した画像データ４７の一部が画像入力パッチ４８の領域内に表示される。

　また本実施形態では、ユーザがマウスのボタンを長押しすることで、入力された画像データ４７の画像入力パッチ４８の領域以外の部分が半透明の状態で表示される。すなわち、ユーザにより画像入力パッチ４８が移動した場合、画像入力パッチ４８の移動が可能となると同時に画像データ４７の全体画像が半透明に表示されることで、表示したい画像データを容易に選択することができる。

　画像入力パッチ４８の移動させる旨の指示が停止した場合、画像入力パッチ４８の移動が停止し、半透明に表示されていた画像データ４７は非表示となる。

　なお、画像入力パッチ４８の移動や画像データ４７を半透明に表示する旨の指示は限定されない。例えば、画像入力パッチ４８を移動可能とさせる特定のコマンドやボタンが受付けられてもよい。

　なお、本実施形態において、半透明に表示される画像データ４７の全体画像は、対象画像に対する指定用画像の位置を示す情報に相当する。すなわち、半透明に表示される画像データ４７の全体画像は、指定用画像の位置を基準として表示される対象画像の全体画像に相当する。

　図１２は、アタッチとエイリアスとを組み合わせた処理例を示す模式図である。図１２では、アタッチが行われた際にエイリアスを作成することで、各画像処理の過程を容易に確認するための方法を説明する。

　図１２Ａに示すように、画面上に画像入力パッチ５３、画像処理パッチＡ５４、及び画像処理パッチＢ５５が入れ子上に配置されたとする。具体的には、画像入力パッチ５３の領域の面積が一番大きく、画像処理パッチＢ５５の領域の面積が最も小さくなるように配置される。

　この場合、処理実行部７は、領域の面積が大きい順に、画像入力パッチ５３の処理、画像処理Ａパッチ５４の処理、及び画像処理Ｂパッチ５５の処理の順番で処理を実行する。

　図１２Ｂに示すように、画像入力パッチ５３、画像処理パッチＡ５４、及び画像処理パッチＢ５５に対してアタッチが行われる前に、各パッチのエイリアスを作成する。図１２Ｂでは、画像データに対しての画像処理の流れを見やすくするために、実行される処理の順番にエイリアスが配置される。

　本実施形態では、各画像処理の効果を評価するために、画像入力パッチ５３のエイリアス５６の領域内に、画像解析パッチ５７を配置する。また画像処理パッチＡ５４のエイリアス５８の領域内にエイリアス５６に配置された画像解析パッチ５７と同じ位置（座標）に同じ画像解析パッチ５７を配置する。

　また本実施形態では、画像処理パッチＢ５５のエイリアス５９が配置される。これにより、入力された画像データに対して画像処理パッチＡ５４及び画像処理パッチＢ５５の画像処理が行われたことによる評価を同時に見比べることで、画像処理アルゴリズムの開発、評価、及びデバックを直観的に行うことが可能となる。

　図１３は、エイリアスに対してアタッチ及びエイリアスを行う処理例を示す模式図である。図１３Ａは、画像解析パッチに対してエイリアスを複数行う処理を示す模式図である。図１３Ｂは、エイリアスに対してアタッチを行う処理を示す模式図である。

　図１３Ａに示すように、画像データを表示している画像入力パッチ６０上に画像解析パッチ６１が配置される。処理実行部７は、画像解析パッチ６１が配置された領域に対して所定の画像解析を実行する。パッチ画像生成部９は、画像解析パッチ６１により指定された領域内に画像解析の結果を表示する。

　この時、画像解析パッチ６１に対してエイリアスを２回行ったとする。すなわち、画像解析パッチ６１により出力された解析結果をそのまま表示するエイリアス６２及び画像解析パッチ６１により出力された解析結果の一部を拡大して表示するエイリアス６３が配置される。

　すなわち指定領域判定部４は、エイリアス６２及びエイリアス６３の指定する領域を、複製された画像解析パッチ６１の指定する領域によらず決定することや切り出されたように表示することが可能である。これにより、画像データに対して実行される画像解析結果の詳細を任意のレベルで確認することができる。

　図１３Ｂに示すように、画像データを表示している画像入力パッチ６４上に同じ処理を行う画像解析パッチ６５が２つ配置される。例えば、画像入力パッチ６４上の異なる領域に対して、ヒストグラム解析処理パッチが２つ配置される。以下、区別するために画像解析パッチ６５を画像解析パッチ６５ａ及び画像解析パッチ６５ｂと記載する。

　処理選択部３は、画像解析パッチ６５ａの画像解析処理の結果を複製したエイリアス６６を配置する。また処理選択部３は、画像解析パッチ６５ｂの画像解析処理の結果を複製したエイリアス６７を配置する。

　ユーザによりアタッチを行う旨の指示が行われた場合、エイリアス６６及びエイリアス６７は、アタッチを行うことが可能である。この場合、アタッチされるエイリアス６６及びエイリアス６７の表示される順番は、複製元の画像解析パッチ６５ａ及び画像解析パッチ６５ｂの領域の面積に基づいて決定される。

　例えば、画像解析パッチ６５ａが親パッチだった場合、解析処理の結果として表示されるグラフは、親パッチである画像解析パッチ６５ａのグラフ上に子パッチである画像解析パッチ６５ｂのグラフが表示される。また表示されるグラフの座標軸は、親パッチに設定された設定値が用いられる。

　すなわち、図１３Ｂに示すように、アタッチが実行されることにより、アタッチされたエイリアス６８の領域上にエイリアス６６及びエイリアス６７に表示される画像解析処理の結果が重なって見えるように表示することが可能である。これにより、複数の解析結果のグラフを直観的な操作で容易に比較することが可能となる。

　なお、エイリアスがアタッチされる際の親パッチ及び子パッチの設定は限定されない。例えば、エイリアスの領域の面積が大きい方が親パッチとして機能してもよい。すなわちエイリアス同士の面積比に基づいて、アタッチされる順番や親及び子の設定が実行されてもよい。

　図１４は、画像入力パッチに対してアタッチの実行を示す模式図である。図１４Ａは、各々の画像入力パッチに対して画像解析パッチの実行を示す模式図である。図１４Ｂは、アタッチされた画像入力パッチに対して実行される様々な処理を示す模式図である。

　図１４Ａに示すように、画像入力パッチ６９上に画像解析パッチ７０が配置される。また画像入力パッチ７１上に画像解析パッチ７０が配置される。本実施形態では、画像入力パッチ６９及び画像入力パッチ７１の領域上に表示される画像データは互いに異なる画像データである。また画像入力パッチの同じ座標の領域に対して画像解析パッチ７０が配置される。

　また本実施形態では、ユーザの指示に基づいて、画像解析パッチ７０に対して解析結果が複製されたエイリアス７２及びエイリアス７３が配置される。

　図１４Ｂでは、画像入力パッチ６９及び画像入力パッチ７１にアタッチが実行される。図１４Ｂに示すように、アタッチされたアタッチパッチ７３上に画像解析パッチ７０が配置された場合、画像解析パッチ７０の領域内に画像入力パッチ６９及び画像入力パッチ７１の画像解析結果が重なった状態で表示される。また指示受付部１の受付けた指示に基づいて、画像解析パッチ７０に対して解析結果が複製されたエイリアス７４が配置される。

　これにより、比較したい画像の同じ座標の領域の解析結果を容易に比較することができる。

　また図１４Ｂでは、アタッチパッチ７３上に画像比較パッチ７５が配置される。画像比較パッチ７５は、指定された領域内のアタッチされた画像データを並べて表示することが可能である。本実施形態では、図１４Ｂに示すように、画像入力パッチ６９の表示する画像データ及び画像入力パッチ７１の表示する画像データが並べて表示される。

　すなわち、アタッチパッチ７３から出力される画像データを入力として、画像解析パッチ７０の処理及び画像比較パッチ７５の処理がそれぞれ実行される。

　これにより、画像比較パッチ７５が配置された領域の画像データを、画像比較パッチ７５を移動させながら各所を目視で容易に比較することができる。また画像比較パッチ７５を複数配置することで、比較したい場所を同時に表示することが可能である。例えば、画像比較パッチ７５は、３板カメラ等のＲＧＢの各色が個別に撮影されたＲＡＷ画像がアタッチされた場合に用いられる。

　なお、上記の比較機能はアタッチした場合に限定されない。例えば画像入力パッチ同士を単に重ねた場合に重なり部分について同様の解析が実行出来ても良い。

　なお、比較の対象は画像入力パッチに限定されない。画像入力パッチや画像処理パッチのエイリアス同士、または画像入力パッチと画像入力パッチや画像処理パッチのエイリアスを比較できても良い

　図１５は、レイアウトパッチ７７及びグリッドパッチ７９を示す模式図である。図１５Ａは、レイアウトパッチ７７を示す模式図である。図１５Ｂは、グリッドパッチ７９を示す模式図である。

　図１５に示すように、画像入力パッチ７６上にレイアウトパッチ７７と、レイアウトパッチ７７上に合計６個の画像処理パッチ及び画像解析パッチが配置される。以下、６個の画像処理パッチ及び画像解析パッチを子パッチ７８と記載する。すなわち、レイアウトパッチ７６は、６個の画像処理パッチ及び画像解析パッチの親パッチとなる。

　レイアウトパッチ７７は、画像処理パッチや画像解析パッチとは異なり、親パッチから出力されたデータをレイアウトパッチ７７の子パッチ７８に透過的に伝えることが可能である。例えば、画像処理パッチ、レイアウトパッチ、及び画像解析パッチの順番に入れ子状に配置された場合、画像処理パッチにより出力された結果がレイアウトパッチを介して、画像解析パッチに入力される。

　レイアウトパッチ７７上に配置された画像処理パッチ及び画像解析パッチやエイリアスは、レイアウトパッチ７７が移動した場合、レイアウトパッチ７７の移動に合わせて位置関係を維持したまま移動される。

　処理選択部３は、指示受付部１の受付けた指示に基づいて、レイアウトパッチ７７に対してレイアウトパッチ７７の子パッチ７８の位置や領域の面積を変更させる機能を持たせることが可能である。以下、レイアウトパッチ７７の子パッチ７８の位置や領域の面積を変更させる機能を持ったレイアウトパッチ７７をグリッドパッチ７９と記載する。

　図１５Ｂに示すように、指定領域判定部４によりグリッドパッチ７９の領域が変更された場合、グリッドパッチ７９上に配置された子パッチ７８は、子パッチ７８の個数に基づいてグリッドパッチ７９の領域を任意のパターンで分割され、分割した領域に合わせて子パッチ７８の領域の面積や位置が変更される。

　本実施形態では、グリッドパッチ７９上に配置される子パッチ７８の個数が６個のため、変更されたグリッドパッチ７９の領域がメッシュ状に６等分される。６等分されたグリッドパッチ７９の領域上に面積が合うように変更された子パッチ７８が配置される。

　また子パッチ７８の領域の面積及び位置が変更された後に、再度グリッドパッチの領域の面積を変更した場合、それぞれの子パッチは、位置関係を保ったまま領域の面積が変更される。

　なお、グリッドパッチ７９の分割数や配置される子パッチ７８のパターンは限定されない。例えば、注目したいパッチやエイリアスの領域の面積が大きくなるように変更されてもよい。

　図１６は、トラッキングパッチ８１を示す模式図である。図１６Ａは、検出されるオブジェクトが単数の場合の例を示す模式図である。図１６Ｂは、検出されるオブジェクトが複数の場合の例を示す模式図である。

　図１６Ａに示すように、２人の人物が並んでいる画像データを出力する画像入力パッチ８０と、画像入力パッチ８０上に配置されるトラッキングパッチ８１と、検出枠８２とが配置される。

　トラッキングパッチ８１は、指定された領域内の画像データから任意のオブジェクトを検出する機能を持つ。本実施形態では、トラッキングパッチ８１は、処理選択部３により画像入力パッチ８０の領域内に表示される画像データの人物の顔を検出対象として検出する機能を持つ。

　またトラッキングパッチ８１は、画像データ内の顔が存在する領域を検出して、検出枠８２を該当する領域を囲むように表示する。すなわち、トラッキングパッチ８１は、検出枠８２を検出対象が存在する領域を囲むように追従させる。

　また検出枠８２は、レイアウトパッチとして機能する。すなわち、検出枠８２は、画像処理パッチや画像解析パッチ等をアタッチするためのプレースホルダとして機能する。

　また本実施形態では、検出枠８２上に画像解析パッチ８３が配置される。画像解析パッチ８３は、領域内に人物の顔を囲むように配置され、人物の顔に対して特定の解析が実行される。

　図１６Ｂに示すように、トラッキングパッチ８１の領域内に検出対象が複数存在する場合、トラッキングパッチ８１の領域内の該当する領域を囲むように複数の検出枠が表示される。この際に、片方の検出枠８２に画像処理パッチや画像解析パッチが配置されていた場合、もう一方の検出枠８４の領域内に、同じ画像処理パッチや画像解析パッチ８３が配置される。

　またトラッキングパッチ８１により指定された領域内に検出対象が新たに検出された場合、新たに検出された検出対象を囲むように検出枠が表示される。この際も、既に表示されていた検出枠に画像処理パッチや画像解析パッチが配置されていた場合、新たに検出された検出枠の領域内に、同じ画像処理パッチや画像解析パッチ８３が配置される。

　トラッキングパッチ８１は、画像データが動画の場合に有効的に使用することが可能である。例えば、画像解析パッチを検出枠８２に対してアタッチを行った場合、人物の移動に合わせて検出枠８２が移動を行うため、顔の部分の画像の解析結果を継続的に取得することが可能である。また画像解析パッチのログから画像の解析結果の時間的変化を記録することも可能である。

　図１７は、設定パッチを示す模式図である。図１７Ａは、画像処理パッチに対応した設定パッチの配置を示す模式図である。図１７Ｂは、設定パッチのエイリアスの作成を示す模式図である。図１７Ｃは、レイアウトパッチの領域内に配置された複数の設定パッチを示す模式図である。

　図１７Ａに示すように、画像処理パッチ８５及び設定パッチ８６が配置される。設定パッチ８６は、画像処理パッチ８５の様々な設定値が変更されるように、設定項目が設定パッチ８６の領域内に配置される。

　本実施形態では、画像処理パッチ８５に対応する設定パッチ８６と画像処理パッチ９０とに対応する設定パッチ８７とが配置される。画像処理パッチ９０は、画像処理パッチ８５とはＲＧＢ値が異なり、画像処理パッチ８５にアタッチされている。設定パッチ８６の領域内に設定項目として明度、ゲイン、エッジ強調、及びノイズ除去が表示される。設定パッチ８７の領域内に設定項目として色相及び飽和が表示される。

　すなわち、設定パッチ８６の領域内に配置された設定項目が変更されることで、画像処理パッチ８５の領域内に表示される画像データが変更される。設定パッチ８７の領域内に配置された設定項目が変更されることで、画像処理パッチ９０の領域内に表示される画像データが変更される。設定パッチ８６及び設定パッチ８７の領域内に配置された設定項目の内容は、設定値保持部２により保持される。

　なお、設定パッチに表示される設定項目は限定されない。例えば、ユーザの指示に基づいて、任意の設定項目が設定パッチの領域内に表示されてもよい。

　図１７Ｂに示すように、指定領域判定部４は、設定パッチの指定する領域を決定する。この際、設定パッチ８６及び設定パッチ８７は、画像入力パッチと同様に設定パッチの領域内に表示されていた設定項目の一部のみを表示することが可能である。例えば、設定パッチ８６内の設定項目である明度及びエッジ強調のみが表示されるように設定パッチの領域が決定される。

　本実施形態では、設定パッチ８６のエイリアス８８が複製され、指定領域判定部４によりエイリアス８８の領域が決定される。これにより、ユーザが大量の設定項目から必要な項目のみを抽出して利用することが可能となる。

　図１７Ｃに示すように、レイアウトパッチ８９上に設定パッチ８６、設定パッチ８７、及びエイリアス８８が配置されることにより、任意の設定項目を１つのウィンドウの様に同時に移動することが可能となる。これにより、ユーザが直観的に簡単に設定用のユーザインターフェースをカスタマイズすることができる。

　なお、設定パッチの領域が決定される際の処理は限定されない。設定パッチの領域内に表示されている設定項目が、設定パッチの領域の面積の変更に連動して決定されてもよい。例えば、設定パッチの領域の面積が５０％に変更された場合、設定項目の面積も同時に５０％に決定されてもよい。

　図１８は、異なる設定パッチに対してアタッチを行うことを示す模式図である。図１８Ａは、アタッチを行う前の設定パッチを示す模式図である。図１８Ｂは、アタッチが行われた後の設定パッチを示す模式図である。

　図１８Ａに示すように、画像入力パッチ９１に対応する設定パッチ９２が表示され、画像入力パッチ９３に対応する設定パッチ９４が表示される。本実施形態では、設定パッチ９２及び設定パッチ９４の領域内に表示される設定項目が同一に設定される。具体的には、設定項目は、明度、ゲイン、エッジ強調、ノイズ除去色相、及び飽和が設定される。

　図１８Ｂに示すように、設定パッチ９２及び設定パッチ９４に対してユーザがアタッチを行う旨の指示を行う場合、画像入力パッチ９１及び画像入力パッチ９３に対応した設定パッチ９５が生成される。

　アタッチが実行された設定パッチ９５の設定値は、親パッチの設定値に置き換えられる。設定パッチ９５の設定値が変更された場合、アタッチされた全ての設定パッチに該当する設定値が同時に同じ値に変更される。

　例えば、親パッチである設定パッチ９２のエッジ強調の設定項目がＯＮ、子パッチである設定パッチ９４のエッジ強調の設定項目がＯＦＦの場合に、設定パッチ９２及び設定パッチ９４がアタッチされるとエッジ強調の設定項目はＯＮとなる。

　これにより、異なるパッチの設定値を同じ条件で一括して設定及び変更することが容易に可能となる。

　以上、本実施形態に係る画像処理装置２０では、画像データに対して領域を指定可能なパッチの表示が制御される。パッチにより指定されたパッチの領域に対して、パッチに関連付けられた処理が実行される。親パッチ及び子パッチに指定された各領域が重複する領域に対して、親パッチ及び子パッチに関連付けられた処理が実行される。また重複する領域が存在している場合、親パッチの移動に連動して子パッチが移動させられる。これにより、高いユーザビリティを発揮可能となる。

　画像処理等を行えるツールを使用する場合、最初に任意の範囲を選択し、その後メニュー等で画像処理又は解析処理を指定する。この場合、同時に１か所の処理しか行うことができず、複数の画像処理を実行するには手動で画像処理を選択するか、手順を記述したスクリプトを実行する必要があった。

　そこで、本技術では、予め機能が定義されたパッチを画像に貼り付けることで、任意の画像処理又は画像解析が実現される。またパッチは、画像に対して任意の場所に任意のサイズ（面積）で複数貼り付けられる。

　配置されたパッチが重複される場合、親パッチに出力される画像を入力として画像処理又は画像解析が行われ、処理結果が子パッチの領域内に表示される。このように、パッチが重複されることにより、画像処理がスタックされることで画像処理のパイプラインが形成される。

　また重複するパッチの親パッチを移動させた場合、子パッチの同時に移動するため、画像処理のパイプラインが保持されたまま任意の領域に対して画像処理が実行される。

　これにより、パッチを重複することで、画像処理のパイプラインを直観的に容易に構築できるため設定に必要な時間を短縮することが可能となる。また評価したい領域のみが画像処理されるため処理の高速化が可能となる。

　また重複した親パッチと子パッチをそのまま移動させることにより画像処理のパイプラインを保持したまま直観的に領域を変更できるため評価の効率化が可能となる。さらに画像の異なる部分に異なる画像処理のパイプラインが形成されることにより評価を並列に行うことができるため評価の効率化が可能となる。

　さらにまた解析結果をパッチの領域内に表示することにより、画像上で解析の傾向を直観的に確認することができる。

　＜その他の実施形態＞
　本技術は、以上説明した実施形態に限定されず、他の種々の実施形態を実現することができる。

　上記の実施形態では、画像データに対して特定の画像処理及び画像解析がパッチに指定された領域内で実行された。これに限定されず、画像データに紐づけられた情報がパッチに指定された領域内で検索されてもよい。

　図１９は、地図を示す画像データに対して検索処理を行うパッチを配置した場合を示す模式図である。

　図１９では、地図を示す画像データ９６の座標に対して特定の情報を有するＤＢが紐づけられる。本実施形態では、ＤＢは、画像データ９６の座標に紐づけられた飲食店等の建物に関する情報を有する。例えば、ＤＢは、建物が中華又はイタリアンを扱う飲食店か、喫煙可能か等の情報を有する。なお、ＤＢの有する情報は限定されない。例えば、駅から５分以内か、駐車場が有るか等の情報を有していてもよい。

　また画像データ９６が表示される画像入力パッチ９７上に検索パッチが複数配置される。検索パッチは、指定した領域内の座標に対して、処理選択部３により決定された検索対象を検索するパッチである。本実施形態では、画像入力パッチ９７上に喫煙可能な飲食店を検索する検索パッチ９８ａ及び検索パッチ９８ｂと、中華を扱う飲食店を検索する検索パッチ９９ａ及び検索パッチ９９ｂが配置される。

　図１９に示すように、検索パッチ９８ａ上に検索パッチ９９ａが配置される。また検索パッチ９８ｂ上に検索パッチ９９ｂが配置される。すなわち、処理実行部７は、画像データ９６の座標に紐づけられたＤＢに対して、検索パッチが配置された領域内に喫煙可能かつ中華を扱う飲食店が存在するかの検索を実行する。

　この結果、個々の検索条件を持つパッチを重畳することにより、指定した領域内に条件に合う店舗を検索する事ができる。これにより、パッチにより指定された領域内でのみ検索が実行されるため、サーバとの通信量を削減することで高速なレスポンスが可能となる。また１つの画像データ上に複数の検索結果を表示することで比較が容易に行える。

　なお、検索パッチの持つ検索条件は限定されない。例えば、中華を扱わない飲食店等を検索対象とすることができてもよい。また検索パッチに対してエイリアス及びアタッチの処理も可能である。

　上記の実施形態では、画像データに対して一部のみが画像処理が実行された。これに限定されず、画像データ全体に画像処理が行われてもよい。例えば、写真や動画等の画像処理を実行する際に、一部の領域のみに対して画像処理を行った後に画像データの全体に画像処理が実行されてもよい。

　これにより、ユーザが興味のある対象のみに複数の画像処理を実行することが直観的に可能となる。また画像データの一部に対して画像処理が実行されることで、最終的な仕上がりをイメージすることが可能となり、画像データ全体の画像処理のやり直しを防ぐことができる。さらにまた画像処理を部分的に実行することで画像処理の負荷が減少することで通信量の削減が可能となり、高速なレスポンスが可能となる。

　上記の実施形態では、パッチに指定された領域が重複した場合、両方のパッチの処理が実行された。これに限定されず、重複した領域に対して任意の論理演算が実行されてもよい。例えば、Ａの処理が実行されるパッチＡとＢの処理が実行されるパッチＢとが重複した場合、Ａの処理又はＢの処理が実行されてもよい。すなわち、ＡＮＤ条件以外にもＯＲやＸＯＲ等の種々の論理演算で処理が実行されてもよい。

　上記の実施形態では、処理速度の向上の手段の１つとしてアタッチが実行された。処理速度の向上の手段は限定されない。例えば、画像処理パッチを移動させた場合、移動前の処理結果と移動後の処理結果は、画像処理パッチの移動前と移動後との領域が重複する箇所の処理結果は同じになる。

　例えば、白黒画像を表示する画像入力パッチ上にカラー化画像処理パッチが配置されたとする。この際の移動前と移動後とのカラー化画像処理パッチの領域で重複する箇所は、移動前及び移動後にも関わらずカラー画像が表示される。

　すなわち、画像処理パッチの移動時に、移動前と移動後との領域の差分のみに画像処理を行い、重複する領域の処理結果を移動前の処理結果を複製する。これにより、画像処理の処理量を減らすことで処理速度の向上が可能となる。

　上記の実施形態では、パッチ同士が完全に含まれる状態で画像処理又は画像解析が実行された。これに限定されず、パッチ同士の一部の領域が重複した場合でも画像処理又は画像解析が実行されてもよい。同様に、３つ以上のパッチの一部の領域が重複した場合でもそれぞれのパッチに定義された処理が実行されてもよい。

　また一部の領域が重複しているパッチの重複していない領域は、各パッチに関連付けられた処理が並列に処理されてもよい。例えば、画像入力パッチから出力される画像データを入力としてノイズ除去画像処理及びエッジ強調画像処理が実行されてもよい。

　上記の実施形態では、子パッチの領域の全体が親パッチの領域と重複する場合、親パッチの移動に連動して子パッチが移動させられた。これに限定されず、親パッチの領域の一部に子パッチの領域の一部が重複している場合に、親パッチ及び子パッチの位置関係が維持されたまま、親パッチの移動に連動して子パッチが移動させられてもよい。

　上記の実施形態では、画像処理パッチ及び画像解析パッチのアタッチ及びエイリアスが実行された。これに限定されず、画像入力パッチが複製されたエイリアスが表示されてもよい。また画像入力パッチが複製されたエイリアス同士がアタッチされてもよい。

　上記の実施形態では、パッチ及びエイリアスは矩形状に表示された。これに限定されず、パッチの領域の形状は任意に決定されてもよい。例えば、画像データに表示される特定のオブジェクトの輪郭を沿うような領域を有するパッチが表示されてもよい。

　画像データ出力装置１８、ディスプレイ装置１９、及び画像処理装置２０は、各々が個別に構成されてもよい。あるいは複数の装置が一体的に構成されてもよい。例えば画像データ出力装置１８と画像処理装置２０とが一体的に構成される場合や、ディスプレイ装置１９及び画像処理装置２０とが一体的に構成される場合もあり得る。また画像データ出力装置１８、ディスプレイ装置１９、及び画像処理装置２０が一体的に構成されてもよい。その他、本技術に係る情報処理装置として、任意の装置構成が採用されてよい。

　通信端末に搭載されたコンピュータとネットワーク等を介して通信可能な他のコンピュータとが連動することにより本技術に係る情報処理方法、及びプログラムが実行され、本技術に係る情報処理装置が構築されてもよい。

　すなわち本技術に係る情報処理方法、及びプログラムは、単体のコンピュータにより構成されたコンピュータシステムのみならず、複数のコンピュータが連動して動作するコンピュータシステムにおいても実行可能である。なお、本開示において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれもシステムである。

　コンピュータシステムによる本技術に係る情報処理方法、及びプログラムの実行は、例えば、処理の決定、処理の実行、及びパッチ画像の生成等が、単体のコンピュータにより実行される場合、及び各処理が異なるコンピュータにより実行される場合の両方を含む。また所定のコンピュータによる各処理の実行は、当該処理の一部又は全部を他のコンピュータに実行させその結果を取得することを含む。

　すなわち本技術に係る情報処理方法及びプログラムは、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成にも適用することが可能である。

　各図面を参照して説明した指示受付部、処理選択部、処理実行部、パッチ画像生成部等の各構成、通信システムの制御フロー等はあくまで一実施形態であり、本技術の趣旨を逸脱しない範囲で、任意に変形可能である。すなわち本技術を実施するための他の任意の構成やアルゴリズム等が採用されてよい。

　なお、本開示中に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。上記の複数の効果の記載は、それらの効果が必ずしも同時に発揮されるということを意味しているのではない。条件等により、少なくとも上記した効果のいずれかが得られることを意味しており、もちろん本開示中に記載されていない効果が発揮される可能性もある。

　以上説明した各形態の特徴部分のうち、少なくとも２つの特徴部分を組み合わせることも可能である。すなわち各実施形態で説明した種々の特徴部分は、各実施形態の区別なく、任意に組み合わされてもよい。

　なお、本技術は以下のような構成も採ることができる。
（１）対象画像に対して領域を指定可能な指定用画像の表示を制御する表示制御部と、
　前記指定用画像により指定された指定領域に対して、前記指定用画像に関連付けられた処理を実行する処理実行部と
　を具備し、
　前記処理実行部は、第１の指定用画像により指定された第１の指定領域と、第２の指定用画像により指定された第２の指定領域とが重複する重複領域に対して、前記第１の指定用画像に関連付けられた第１の処理、及び前記第２の指定用画像に関連付けられた第２の処理を実行し、
　前記表示制御部は、前記重複領域が存在している場合、前記第１の指定用画像の移動に連動して前記第２の指定用画像を移動させる
　情報処理装置。
（２）（１）に記載の情報処理装置であって、
　前記表示制御部は、前記第２の指定領域の全体が前記重複領域となる場合に、前記第１の指定用画像の移動に連動して前記第２の指定用画像を移動させる
　情報処理装置。
（３）（１）又は（２）に記載の情報処理装置であって、
　前記表示制御部は、前記第１の指定用画像及び前記第２の指定用画像の位置関係を維持したまま、前記第１の指定用画像の移動に連動して前記第２の指定用画像を移動させる
　情報処理装置。
（４）（１）から（３）のうちいずれか１つに記載の情報処理装置であって、
　前記表示制御部は、前記第１の指定領域の全体及び前記第２の指定領域の全体が前記重複領域となる場合に、前記第１の指定領域画像及び前記第２の指定領域画像を同時に移動させる
　情報処理装置。
（５）（１）から（４）のうちいずれか１つに記載の情報処理装置であって、
　前記表示制御部は、前記第１の指定領域の全体及び前記第２の指定領域の全体が前記重複領域となる場合を除いて、前記第２の指定領域画像を前記第１の指定領域画像に対して独立して移動させる
　情報処理装置。
（６）（１）から（５）のうちいずれか１つに記載の情報処理装置であって、さらに、
　ユーザの指示を受付ける受付部を具備し、
　前記表示制御部は、受付けられた前記ユーザの指示に基づいて、前記第１の指定領域の全体及び前記第２の指定領域の全体が前記重複領域となるように前記第１の指定用画像及び前記第２の指定用画像を合成し、合成された前記第１の指定用画像及び前記第２の指定用画像を、前記重複領域を指定しかつ前記第１の処理及び前記第２の処理が関連付けられた合成指定用画像として表示を制御する
　情報処理装置。
（７）（１）から（６）のうちいずれか１つに記載の情報処理装置であって、さらに、
　ユーザの指示を受付ける受付部を具備し、
　前記表示制御部は、受付けられた前記ユーザの指示に基づいて、前記対象画像に対する前記指定用画像の位置を示す情報を表示させる
　情報処理装置。
（８）（７）に記載の情報処理装置であって、
　前記対象画像に対する前記指定用画像の位置を示す情報は、前記指定用画像の位置を基準として表示される前記対象画像の全体画像である
　情報処理装置。
（９）（１）から（８）のうちいずれか１つに記載の情報処理装置であって、
　前記処理実行部は、前記重複領域に関連するデータを入力として前記第１の処理を実行し、前記第１の処理の結果を入力として前記第２の処理を実行する
　情報処理装置。
（１０）（１）から（９）のうちいずれか１つに記載の情報処理装置であって、
　前記処理実行部は、前記重複領域に関連するデータを入力として、前記第１の処理及び前記第２の処理をそれぞれ実行する
　情報処理装置。
（１１）（１）から（１０）のうちいずれか１つに記載の情報処理装置であって、
　前記表示制御部は、前記第１の処理の結果を入力とした前記第２の処理の実行が不可能な場合に、前記第２の処理の実行が不可能である旨の情報を表示させる
　情報処理装置。
（１２）（１）から（１１）のうちいずれか１つに記載の情報処理装置であって、
　前記表示制御部は、前記第１の処理の結果を入力とした前記第２の処理の実行が不可能な場合に、前記第１の指定用画像の移動に対する前記第２の指定用画像の移動の連動を解除する
　情報処理装置。
（１３）（１）から（１２）のうちいずれか１つに記載の情報処理装置であって、
　前記表示制御部は、前記指定用画像に関連付けられた処理に基づいた処理結果画像を、前記指定領域上に表示させる
　情報処理装置。
（１４）（１３）のうちいずれか１つに記載の情報処理装置であって、
　前記指定用画像に関連付けられた処理は、前記指定領域の画像データの出力、前記指定領域に対する画像処理、又は前記指定領域に対する解析処理の少なくとも１つを含む
　情報処理装置。
（１５）（１４）に記載の情報処理装置であって、
　前記処理結果画像は、前記指定領域の画像、前記画像処理後の前記指定領域の画像、又は前記解析処理の結果を含む画像の少なくとも１つを含む
　情報処理装置。
（１６）（６）に記載の情報処理装置であって、
　前記表示制御部は、前記指定用画像に関連付けられた処理に基づいた処理結果画像を、前記指定領域上に表示させ、
　前記合成指定用画像に対応する前記処理結果画像は、前記合成指定用画像に関連付けられた前記第２の処理に基づいた前記処理結果画像である
　情報処理装置。
（１７）（１３）から（１６）のうちいずれか１つに記載の情報処理装置であって、
　前記表示制御部は、前記処理結果画像が複製された画像である複製画像を表示させる
　情報処理装置。
（１８）（１７）に記載の情報処理装置であって、
　前記処理実行部は、前記複製画像を前記対象画像として、前記指定用画像により指定された前記指定領域に対して、前記指定用画像に関連付けられた処理を実行する
　情報処理装置。
（１９）対象画像に対して領域を指定可能な第１の指定用画像により指定された第１の指定領域と、前記対象画像に対して領域を指定可能な第２の指定用画像により指定された第２の指定領域とが重複する重複領域に対して、前記第１の指定用画像に関連付けられた第１の処理、及び前記第２の指定用画像に関連付けられた第２の処理を実行し、
　前記重複領域が存在している場合、前記第１の指定用画像の移動に連動して前記第２の指定用画像を移動させるように、前記第１の指定用画像及び前記第２の指定用画像の表示を制御する
　ことをコンピュータシステムが実行する情報処理方法。
（２０）対象画像に対して領域を指定可能な第１の指定用画像により指定された第１の指定領域と、前記対象画像に対して領域を指定可能な第２の指定用画像により指定された第２の指定領域とが重複する重複領域に対して、前記第１の指定用画像に関連付けられた第１の処理、及び前記第２の指定用画像に関連付けられた第２の処理を実行するステップと、
　前記重複領域が存在している場合、前記第１の指定用画像の移動に連動して前記第２の指定用画像を移動させるように、前記第１の指定用画像及び前記第２の指定用画像の表示を制御するステップと
　をコンピュータシステムに実行させるプログラム。
（２１）（１）から（１８）のうちいずれか１つに記載の情報処理装置であって、さらに、
　ユーザの指示を受付ける受付部を具備し、
　前記表示制御部は、受付けられた前記ユーザの指示に基づいて、前記指定用画像の位置及びサイズを変更する
　情報処理装置。

　１…指示受付部
　４…指定領域判定部
　７…処理実行部
　９…パッチ画像生成部
　１０…画像出力部
　１８…画像データ出力装置
　１９…ディスプレイ装置
　２０…画像処理装置
　３１…ノイズ除去パッチ
　３２…エッジ強調パッチ
　３３…低域フィルタパッチ
　３４…ヒストグラム解析パッチ
　３５…Ｓ／Ｎ解析パッチ
　３６…統計解析パッチ
　３６…アタッチパッチ
　４１…エイリアス
　１００…画像処理システム

Claims

　対象画像に対して領域を指定可能な指定用画像の表示を制御する表示制御部と、
　前記指定用画像により指定された指定領域に対して、前記指定用画像に関連付けられた処理を実行する処理実行部と
　を具備し、
　前記処理実行部は、第１の指定用画像により指定された第１の指定領域と、第２の指定用画像により指定された第２の指定領域とが重複する重複領域に対して、前記第１の指定用画像に関連付けられた第１の処理、及び前記第２の指定用画像に関連付けられた第２の処理を実行し、
　前記表示制御部は、前記重複領域が存在している場合、前記第１の指定用画像の移動に連動して前記第２の指定用画像を移動させる
　情報処理装置。
　請求項１に記載の情報処理装置であって、
　前記表示制御部は、前記第２の指定領域の全体が前記重複領域となる場合に、前記第１の指定用画像の移動に連動して前記第２の指定用画像を移動させる
　情報処理装置。
　請求項１に記載の情報処理装置であって、
　前記表示制御部は、前記第１の指定用画像及び前記第２の指定用画像の位置関係を維持したまま、前記第１の指定用画像の移動に連動して前記第２の指定用画像を移動させる
　情報処理装置。
　請求項１に記載の情報処理装置であって、
　前記表示制御部は、前記第１の指定領域の全体及び前記第２の指定領域の全体が前記重複領域となる場合に、前記第１の指定領域画像及び前記第２の指定領域画像を同時に移動させる
　情報処理装置。
　請求項１に記載の情報処理装置であって、
　前記表示制御部は、前記第１の指定領域の全体及び前記第２の指定領域の全体が前記重複領域となる場合を除いて、前記第２の指定領域画像を前記第１の指定領域画像に対して独立して移動させる
　情報処理装置。
　請求項１に記載の情報処理装置であって、さらに、
　ユーザの指示を受付ける受付部を具備し、
　前記表示制御部は、受付けられた前記ユーザの指示に基づいて、前記第１の指定領域の全体及び前記第２の指定領域の全体が前記重複領域となるように前記第１の指定用画像及び前記第２の指定用画像を合成し、合成された前記第１の指定用画像及び前記第２の指定用画像を、前記重複領域を指定しかつ前記第１の処理及び前記第２の処理が関連付けられた合成指定用画像として表示を制御する
　情報処理装置。
　請求項１に記載の情報処理装置であって
　前記表示制御部は、受付けられた前記ユーザの指示に基づいて、前記対象画像に対する前記指定用画像の位置を示す情報を表示させる
　情報処理装置。
　請求項７に記載の情報処理装置であって
　前記対象画像に対する前記指定用画像の位置を示す情報は、前記指定用画像の位置を基準として表示される前記対象画像の全体画像である
　情報処理装置。
　請求項１に記載の情報処理装置であって
　前記処理実行部は、前記重複領域に関連するデータを入力として前記第１の処理を実行し、前記第１の処理の結果を入力として前記第２の処理を実行する
　情報処理装置。
　請求項１に記載の情報処理装置であって
　前記処理実行部は、前記重複領域に関連するデータを入力として、前記第１の処理及び前記第２の処理をそれぞれ実行する
　情報処理装置。
　請求項１に記載の情報処理装置であって
　前記表示制御部は、前記第１の処理の結果を入力とした前記第２の処理の実行が不可能な場合に、前記第２の処理の実行が不可能である旨の情報を表示させる
　情報処理装置。
　請求項１に記載の情報処理装置であって
　前記表示制御部は、前記第１の処理の結果を入力とした前記第２の処理の実行が不可能な場合に、前記第１の指定用画像の移動に対する前記第２の指定用画像の移動の連動を解除する
　情報処理装置。
　請求項１に記載の情報処理装置であって、
　前記表示制御部は、前記指定用画像に関連付けられた処理に基づいた処理結果画像を、前記指定領域上に表示させる
　情報処理装置。
　請求項１に記載の情報処理装置であって
　前記指定用画像に関連付けられた処理は、前記指定領域の画像データの出力、前記指定領域に対する画像処理、又は前記指定領域に対する解析処理の少なくとも１つを含む
　情報処理装置。
　請求項１３に記載の情報処理装置であって
　前記処理結果画像は、前記指定領域の画像、前記画像処理後の前記指定領域の画像、又は前記解析処理の結果を含む画像の少なくとも１つを含む
　情報処理装置。
　請求項１３に記載の情報処理装置であって、
　前記合成指定用画像に対応する前記処理結果画像は、前記合成指定用画像に関連付けられた前記第２の処理に基づいた前記処理結果画像である
　情報処理装置。
　請求項１３に記載の情報処理装置であって
　前記表示制御部は、前記処理結果画像が複製された画像である複製画像を表示させる
　情報処理装置。
　請求項１７に記載の情報処理装置であって
　前記処理実行部は、前記複製画像を前記対象画像として、前記指定用画像により指定された前記指定領域に対して、前記指定用画像に関連付けられた処理を実行する
　情報処理装置。
　対象画像に対して領域を指定可能な第１の指定用画像により指定された第１の指定領域と、前記対象画像に対して領域を指定可能な第２の指定用画像により指定された第２の指定領域とが重複する重複領域に対して、前記第１の指定用画像に関連付けられた第１の処理、及び前記第２の指定用画像に関連付けられた第２の処理を実行し、
　前記重複領域が存在している場合、前記第１の指定用画像の移動に連動して前記第２の指定用画像を移動させるように、前記第１の指定用画像及び前記第２の指定用画像の表示を制御する
　ことをコンピュータシステムが実行する情報処理方法。
　対象画像に対して領域を指定可能な第１の指定用画像により指定された第１の指定領域と、前記対象画像に対して領域を指定可能な第２の指定用画像により指定された第２の指定領域とが重複する重複領域に対して、前記第１の指定用画像に関連付けられた第１の処理、及び前記第２の指定用画像に関連付けられた第２の処理を実行するステップと、
　前記重複領域が存在している場合、前記第１の指定用画像の移動に連動して前記第２の指定用画像を移動させるように、前記第１の指定用画像及び前記第２の指定用画像の表示を制御するステップと
　をコンピュータシステムに実行させるプログラム。