JP2024056401A - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】 処理時間のかかる学習拡大処理の効果を事前に容易に確認でき、効率よく画像全体の拡大処理を実施することができる画像処理装置、画像処理方法、及びプログラムを提供する。【解決手段】 拡大する画像の部分領域を、同じ拡大率で学習拡大処理及び従来拡大処理の夫々を適用して拡大した後、ユーザインターフェース画面３００の部分拡大表示領域３０３に並べて表示する。その後、ユーザインターフェース画面３００のチェックボックス３０４をユーザがチェックした場合、拡大する画像の全体の拡大を行う際に適用される拡大処理に学習拡大処理を決定し、学習拡大処理で拡大する画像の拡大画像を生成する。部分拡大表示領域３０３に表示される、学習拡大処理を適用して上記部分領域を拡大した画像と、従来拡大処理を適用して上記部分領域を拡大した画像とは、画素数が同じである。【選択図】図３

Description

本発明は、画像処理装置、画像処理方法、及びプログラムに関し、特に、学習モデルを参照して拡大画像を生成する画像処理装置、画像処理方法及びプログラムに関する。

近年、被写体認識、デモザイク、ノイズ除去、拡大（アップスケール）等の画像処理に学習モデルが広く利用されるようになってきている。

これらの画像処理の一つである拡大（アップスケール）処理は、学習モデルを利用しない従来方法の場合、拡大により不足する情報を補間して拡大画像を生成するため、画像の解像度が低下する問題があった。

一方、学習モデルを利用した拡大処理（以下、学習拡大処理という）は、解像度を低下させることなく画像を拡大することができる一方で、従来の方法を適用した拡大処理と比べ処理に時間がかかるという問題があった。

この問題の解消方法としては、画像の部分領域に対して処理を適用して効果を確認した上で、画像全体に拡大処理を適用するかどうか判断し、効率化を図る方法が考えられる。

このような画像処理を効率よく行う方法として例えば、選択中の複数の画像についての拡大倍率や拡大表示位置の設定を１つの操作で同時に実行し、複数の画像の詳細比較を容易にする方法（例えば特許文献１参照）が挙げられる。また、拡大処理ではなく色補正処理であるが、同一のサムネイルに異なる色補正処理を行い、得られた複数の画像を同時に表示することで、所望の色補正処理を選択する方法（例えば特許文献２参照）によっても、この問題は解消できる。

特開２００６－５６４０号公報 特開２０００－３００３９号公報

しかしながら、上述の特許文献１，２に開示される従来技術はいずれも、１つの画像を学習拡大処理した場合の効果を確認することは困難という課題がある。特許文献１の方法では、同じ位置を拡大表示することで複数の画像の詳細比較をすることができるが、１つの画像に学習拡大処理を行った場合の効果は確認しづらい。また、特許文献２の方法では、サムネイル画像が利用されているため、１つの画像に対し、複数の色補正処理を行った場合の夫々の効果の差異の視認は容易であるが、複数の拡大処理を行った場合の夫々の細かい領域に対する差異の視認は困難である。

そこで、本発明の目的は、処理時間のかかる学習拡大処理の効果を事前に容易に確認でき、効率よく画像全体の拡大処理を実施することができる画像処理装置、画像処理方法、及びプログラムを提供することである。

上記課題を解決するため、本発明の請求項１に係る画像処理装置は、拡大する画像を取得し、学習モデルを参照した第一の拡大処理及び前記学習モデルを参照しない第二の拡大処理の一方を適用して前記拡大する画像を拡大する画像処理装置であって、前記拡大する画像の部分領域を、前記第一の拡大処理を適用して拡大する第一拡大手段と、前記部分領域を、前記第二の拡大処理を適用して前記第一の拡大処理と同じ拡大率で拡大する第二拡大手段と、前記第一拡大手段及び前記第二拡大手段を適用して前記部分領域を拡大した画像を表示する部分拡大表示手段と、ユーザ選択された、前記第一の拡大処理及び前記第二の拡大処理のうちの一方の処理を、前記拡大する画像の全体の拡大を行う際に適用される拡大処理に決定する決定手段と、前記決定された拡大処理を適用して前記拡大する画像の拡大画像を生成する拡大画像生成手段と、を備え、前記部分拡大表示手段により表示される、前記第一拡大手段及び前記第二拡大手段を適用して前記部分領域を拡大した画像は、夫々の画素数が同一であることを特徴とする。

上記課題を解決するため、本発明の請求項２に係る画像処理装置は、第一の画像を取得し、学習モデルを参照した第一の拡大処理及び前記学習モデルを参照しない第二の拡大処理の一方を適用して前記第一の画像を拡大する画像処理装置であって、前記第一の画像の第一の部分領域を、前記第一の拡大処理を適用して拡大する第一拡大手段と、前記第一の部分領域を、前記第二の拡大処理を適用して前記第一の拡大処理と同じ拡大率で拡大する第二拡大手段と、前記第一の画像と異なる画素数の第二の画像の第二の部分領域を拡大する第三拡大手段と、前記第一拡大手段及び前記第二拡大手段を適用して前記第一の部分領域を拡大した画像、および前記第三拡大手段を適用して前記第二の部分領域を拡大した画像を表示する部分拡大表示手段と、ユーザ選択された、前記第一の拡大処理及び前記第二の拡大処理のうちの一方の処理を、前記第一の画像の全体の拡大を行う際に適用される拡大処理に決定する決定手段と、前記決定された拡大処理を適用して前記第一の画像の拡大画像を生成する拡大画像生成手段と、を備え、前記部分拡大表示手段により表示される、前記第一拡大手段を適用して前記第一の部分領域を拡大した画像と、前記第二拡大手段を適用して前記第一の部分領域を拡大した画像と、前記第三拡大手段を適用して前記第二の部分領域を拡大した画像とは、夫々の画素数が同じであることを特徴とする。

本発明によれば、処理時間のかかる学習拡大処理の効果を事前に容易に確認でき、効率よく画像全体の拡大処理を実施することができる。

第一の実施例における画像処理装置としての撮像装置の外観図である。 図１の撮像装置の内部のハードウェア構成を示すブロック図である。 図１の撮像装置の表示部に表示される、第一の実施例に係るユーザインターフェース画面を示す模式図である。 図３のユーザインターフェース画面の変形例を示す模式図である。 第一の実施例に係る画像処理のフローチャートである。 第二の実施例における画像処理装置としてのＰＣのハードウェア構成を示すブロック図である。 図６のＰＣの表示部に表示される、第二の実施例に係るユーザインターフェース画面の例を示す模式図である。 第二の実施例に係る画像処理のフローチャートである。 第二の実施例における部分領域の設定方法及び各画像の部分領域の拡大率を算出する方法について説明する模式図である。

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。

（第一の実施例）
以下、本発明の第一の実施例について説明する。

図１は、本実施例における画像処理装置としての撮像装置１０１の外観図である。図１（ａ）は、撮像装置１０１の正面図であり、図１（ｂ）は、撮像装置１０１の背面図である。

撮像装置１０１は、光学部１０２、撮影ボタン１０３、表示部１０４、操作部１０５からなる。

光学部１０２は、ズームレンズ、フォーカスレンズ、ブレ補正レンズ、絞り、シャッター（いずれも不図示）から構成され、被写体の光情報を集光する。

撮影ボタン１０３は、ユーザが撮影の開始を撮像装置１０１に指示するためのボタンである。表示部１０４は、液晶ディスプレイなどが用いられており、撮像装置１０１にてデータ処理された画像の表示や各種データなどを表示する。操作部１０５は、ユーザが撮影条件のパラメータなどを撮像装置１０１に指示するためのボタンや十字キー等から構成される。

図２は、撮像装置１０１の内部のハードウェア構成を示すブロック図である。尚、図１に示す構成については同一の付番を付し、重複した説明は省略する。

撮像装置１０１は、撮像素子部２０１、ＣＰＵ２０２、ＲＯＭ２０３、ＲＡＭ２０４、撮像系制御部２０５、制御部２０６、ＣＧ部２０７、Ａ／Ｄ変換部２０８、画像処理部２０９、エンコーダ／デコーダ部２１０、及びメディアＩ／Ｆ２１１を備える。これら、撮像素子部２０１以外の各構成は、システムバス２１２を介して互いに接続する。

撮像素子部２０１は、光学部１０２にて集光された光情報を電流値へと変換する撮像素子で、カラーフィルタなどと組み合わせることで色情報を取得する。

ＲＯＭ２０３は、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙであり、ＲＡＭ２０４は、Ｒｏｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙである。これらは、各種命令やプログラムを格納する。

ＣＰＵ２０２は、各構成の処理すべてに関わり、ＲＯＭ２０３やＲＡＭ２０４に格納された命令やプログラムを順次に読み込み、解釈し、その結果に従って処理を実行する。

撮像系制御部２０５は、光学部１０２に対して、フォーカスを合わせる、シャッターを開く、絞りを調整するなどのＣＰＵ２０２から指示された制御を行う。制御部２０６は、撮影ボタン１０３や操作部１０５からのユーザ指示によって、撮影動作の開始及び終了の制御を行う。

ＣＧ部２０７は、文字やグラフィックなどのキャラクターを生成する。Ａ／Ｄ変換部２０８は、撮像素子部２０１にて検知した被写体の光量をデジタル信号値に変換する。画像処理部２０９は上記のデジタル信号値が示す画像に対して、画像処理を行う。画像処理部２０９にて画像処理済みの画像は表示部１０４に表示されたり、ＰＣ／メディア２１３に記録されたりする。

エンコーダ／デコーダ部２１０は、画像処理部２０９にて画像処理済の画像をＪｐｅｇなどのファイルフォーマットに変換処理をしたり、逆にＪｐｅｇなどのファイルフォーマットを表示用の形式に変換して、表示部１０４に表示したりする。

メディアＩ／Ｆ２１１は、外部のＰＣ／メディア２１３（例えば、ハードディスク、メモリーカード、ＣＦカード、ＳＤカードなど）に画像のデータを送受信するためのインターフェースである。システムバス２１２はデータを送受信するためのバスである。

図３は、表示部１０４に表示される、本実施例に係るユーザインターフェース画面３００を示す模式図である。

ユーザは、図３のユーザインターフェース画面３００を参照して、画像の拡大処理の方法を選択する。

ユーザインターフェース画面３００は、全体表示部３０１、部分拡大表示領域３０３、チェックボックス３０４、実行ボタン３０５、及びキャンセルボタン３０６を備える。

全体表示部３０１は、拡大処理の処理対象となる画像（以下、拡大する画像という）全体の表示部であり、その内部には、点線枠からなる部分領域３０２が存在する。ユーザは、全体表示部３０１に表示された拡大する画像を確認しながら部分領域３０２の位置や大きさを、操作部１０５等を操作することにより決定する。

部分拡大表示領域３０３（部分拡大表示手段）は、各種方法で拡大処理を行った後の部分領域３０２の画像を表示する表示領域であり、学習拡大画像表示領域３０３ａ及び従来拡大画像領域３０３ｂが含まれる。

学習拡大画像表示領域３０３ａは、学習モデルを参照した拡大処理（以下、学習拡大処理：第一の拡大処理）を適用して部分領域３０２の画像を所定の拡大率で拡大した画像を表示する領域である。また、従来拡大画像領域３０３ｂは、学習モデルを参照しない拡大処理（以下、従来拡大処理：第二の拡大処理）を適用して部分領域３０２の画像を上記所定の拡大率と同じ拡大率で拡大した画像を表示する領域である。尚、部分領域３０２の画像の学習拡大処理及び従来拡大処理は、拡大後の部分領域３０２の画像の夫々の画素数が同一となるように実行される。

尚、部分拡大表示領域３０３は、部分領域３０２の画像を学習拡大処理及び従来拡大処理の夫々を適用し拡大した画像をユーザが比較しやすい形で表示されていれば他の表示方法であってもよい。例えば、図３のように学習拡大画像表示領域３０３ａ及び従来拡大画像領域３０３ｂを並べて表示しても良い。また、図４のユーザインターフェース画面３００ａのように、学習拡大画像表示領域３０３ａ及び従来拡大画像領域３０３ｂをタブで切り替えて表示するようにしても良い。

また、本実施例においては以下、従来拡大処理としてバイキュービック法を用いた拡大処理（バイキュービック拡大処理）が利用された場合について説明するが、学習モデルを参照しない拡大処理であれば他の処理であってもよい。例えば、従来拡大処理としては、ニアレストネイバー法、バイリニア法、バイキュービック法等を用いた拡大処理が一般的である。

また、図４のユーザインターフェース画面３００ａにおいては、学習拡大処理及びバイキュービック拡大処理の他、他の複数の従来拡大処理を適用し拡大された部分領域３０２の画像についてもタブで切替可能に表示できるようにしても良い。

チェックボックス３０４は、全体表示部３０１に表示された画像全体に学習拡大処理を適用するか否かのユーザ入力を受け付けるチェックボックスである。図３に示すように、チェックボックス３０４へのユーザ入力によりチェックボックス３０４にチェックが入っている場合に全体表示部３０１に表示された画像全体への学習拡大処理が適用される。

実行ボタン３０５は、全体表示部３０１に表示された画像全体の拡大指示のユーザ入力を受け付けるボタンであり、実行ボタン３０５に対するユーザ入力があると、全体表示部３０１に表示された画像全体の拡大処理が開始される。

キャンセルボタン３０６は、実行ボタン３０５に対するユーザ入力により開始した拡大処理のキャンセル指示のユーザ入力を受け付けるボタンである。尚、実行ボタン３０５に対するユーザ入力の前にキャンセルボタン３０６に対するユーザ入力があった場合はユーザインターフェース画面３００の表示部１０４への表示を終了する。

図５は、本実施例に係る画像処理のフローチャートである。

本処理は、図３に示すユーザインターフェース画面３００に対するユーザ操作に応じて、ＣＰＵ２０２がＲＯＭ２０３からプログラムを読み出して実施される処理である。

ステップＳ５０１では、拡大する画像を設定する。具体的にはユーザ選択された画像が拡大する画像として設定される。例えばユーザは、撮像装置１０１で撮影した画像をそのまま選択してもよいし、ＰＣ／メディア２１３等に記録される撮影済みの画像の中から選択してもよい。ここで拡大する画像として設定された画像は全体表示部３０１に表示される。

ステップＳ５０２では、部分領域３０２を設定する。具体的にはユーザが操作部１０５などの操作により全体表示部３０１における部分領域３０２とする点線枠の領域を決定すると、その決定された領域が部分領域３０２として設定される。

ステップＳ５０３では、ステップＳ５０２にて設定された部分領域３０２の画像の拡大処理を行い、生成された画像を部分拡大表示領域３０３に表示する。本実施例では、部分拡大表示領域３０３において、学習拡大処理により拡大された部分領域３０２の画像を学習拡大画像表示領域３０３ａに、バイキュービック法により拡大された部分領域３０２の画像を従来拡大画像領域３０３ｂに並べて表示する。ここで、例えば、ステップＳ５０２で設定された部分領域３０２の画素数が５００×５００で、学習拡大画像の拡大率が２倍の場合、１０００×１０００の画像が表示される。さらに、同じ部分領域３０２に対し、２倍の拡大率でバイキュービック法を用いて拡大した画像も従来拡大画像として表示する。従って、同じ画素数の２つの画像が部分拡大表示領域３０３に表示される。すなわち、学習拡大処理とバイキュービック拡大処理の２つの拡大処理方法を用いて拡大された部分領域３０２が同じサイズで部分拡大表示領域３０３に並列表示されることになる。このため、学習拡大処理とバイキュービック拡大処理にどの程度の差があるかをユーザは容易に比較して確認することができる。

ステップＳ５０４では、拡大する画像に適用する拡大処理が決定されたか否かを判別する。具体的には、実行ボタン３０５のユーザ入力があった場合、適用する拡大処理が決定されたと判断し（ステップＳ５０４でＹＥＳ）、ステップＳ５０５に移行する。一方、ユーザが実行ボタン３０５のユーザ入力を行うことなく。部分領域３０２の位置や大きさを選択しなおした場合、適用する拡大処理が決定されいないと判断し（ステップＳ５０４でＮＯ）、ステップＳ５０２に戻る。

ステップＳ５０５では、チェックボックス３０４がオンであるか否かを判別する。チェックボックス３０４がオンである場合（ステップＳ５０５でＹＥＳ）、学習拡大処理を適用すると判断し、ステップＳ５０６に移行する。一方、チェックボックス３０４がオフである場合（ステップＳ５０５でＮＯ）、学習拡大処理を適用しないと判断し、ステップＳ５０７へ移行する。

ステップＳ５０６では、ステップＳ５０１で設定された拡大する画像全体に対して学習拡大処理を適用して拡大画像を生成した後、ステップＳ５０８に移行する。

ステップＳ５０７では、ステップＳ５０１で設定された拡大する画像全体に対してバイキュービック拡大処理を適用して拡大画像を生成した後、ステップＳ５０８に移行する。

ステップＳ５０８では、ステップＳ５０６或いはステップＳ５０７で生成された拡大画像をＰＣ／メディア２１３に記録し、本処理を終了する。

以上の処理により、全体表示部３０１に表示される拡大する画像の部分領域３０２に対して、同一の拡大率で学習拡大処理とバイキュービック拡大処理（従来拡大処理）を夫々適用した画像を部分拡大表示領域３０３に表示する。これによりユーザは、学習拡大処理と従来拡大処理のどちらの拡大処理を適用するのが好ましいかを、拡大する画像全体にいずれかの拡大処理を適用する前に容易且つ効率よく確認することが可能になる。すなわち、処理時間のかかる学習拡大処理の効果を事前に容易に確認でき、効率よく画像全体の拡大処理を実施することができる。

（第二の実施例）
第一の実施例では、１枚の画像の拡大処理を実施する際、学習拡大処理及び従来拡大処理のいずれを適用するか決定する方法について説明した。一方本実施例では、ＰＣなどのアプリケーションを用いて、複数の外部装置から取得した複数の画像の拡大処理を実施する際に学習拡大処理及び従来拡大処理のいずれを適用するか決定する方法について説明する。

従来、複数の画像の拡大処理を実施する際、画像の管理を容易にするため、同じ拡大率で夫々アップスケールしている。しかし、元の画像の画素数が異なる場合にこのようなアップスケールを行うと、拡大後の画像の表示サイズが異なり差異を比較しづらい。

そこで、本実施例では、画素数の異なる複数の画像の拡大処理を実施する場合に、夫々の画像のアップスケール効果を容易に確認した上で、適用するアップスケール処理を決定できる方法について説明する。尚、本実施例ではＰＣ６００が有する画像処理アプリケーションにより表示されるユーザインターフェース画面を用いて実施する方法について説明する。

図６は、本実施例における画像処理装置としてのＰＣ６００のハードウェア構成を示すブロック図である。

図６において、ＰＣ６００は、ＣＰＵ６０１、ＲＡＭ６０２、ＲＯＭ６０３、汎用インターフェース（Ｉ／Ｆ）６０５、表示部６０８、及びメインバス６０９を備える。

汎用Ｉ／Ｆ６０５は、撮像装置１０１と、操作部６０６と、メモリーカードなどの外部メモリ６０７とをメインバス６０９に接続する。尚、撮像装置１０１は、図１、図２において不図示のＩ／Ｆを介して、ＰＣ６００をシステムバス２１２に接続する。

以下では、ＣＰＵ６０１がＲＯＭ６０３に格納された各種ソフトウェア（コンピュータプログラム）を動作させることで実現する各種処理について述べる。

まず、ＣＰＵ６０１は、ＲＯＭ６０３に格納されているソフトウェアの１つである画像処理アプリケーションを起動し、ＲＡＭ６０２に展開するとともに、表示部６０８にユーザインターフェース（ＵＩ）画面を表示する。続いて、ＲＯＭ６０３や外部メモリ６０７に格納されている各種データ、撮像装置１０１で撮影された画像、操作部６０６からのユーザ指示などがＲＡＭ６０２に転送される。さらに、画像処理アプリケーション内の処理に従って、ＲＡＭ６０２へデータ転送済の画像に対してＣＰＵ６０１からの指令に基づき各種演算が行われる。演算結果は表示部６０８に表示したり、ＲＯＭ６０３、外部メモリ６０７に格納したりする。

以下、ＣＰＵ６０１からの指令に基づき、画像処理アプリケーションに撮像装置１０１で撮影した画像や、ＲＯＭ６０３に記録された画像などのデータを入力して拡大画像を生成する処理の詳細について説明する。

図７は、表示部６０８に表示される、本実施例に係るユーザインターフェース画面７００の例を示す模式図である。

ユーザは、図６の表示部６０８に表示されるユーザインターフェース画面７００を参照して、画像の拡大処理の方法を選択する。

ユーザインターフェース画面７００は、全体表示部７０１，７０３、部分拡大表示領域７０５，７０６、チェックボックス７０７、実行ボタン７０８、及びキャンセルボタン７０９を備える。

全体表示部７０１は、拡大処理の処理対象となる画像Ａ全体の表示部であり、その内部には、点線枠からなる部分領域７０２が存在する。また、全体表示部７０３は、すでに拡大処理済であって、画像Ａの拡大処理の際に参照する画像Ｂ全体の表示部であり、その内部には、点線枠からなる部分領域７０４が存在する。

ユーザは、全体表示部７０１，７０３の夫々に表示された画像Ａ、画像Ｂを確認しながら部分領域７０２，７０４の位置や大きさを操作部６０６を操作することにより決定する。尚、部分領域７０２，７０４として選択される領域は比較を容易にするためアスペクト比は同じであることが好ましい。

部分拡大表示領域７０５は、拡大処理後の部分領域７０２の画像を表示する表示領域であり、学習拡大処理を適用して部分領域７０２の画像を拡大した画像や、従来拡大処理を適用して部分領域７０２の画像を拡大した画像をタブ切替で表示する。部分拡大表示領域７０６は、従来拡大処理を行った後の部分領域７０４の画像を表示する表示領域である。尚、部分拡大表示領域７０５，７０６は、部分領域７０２の画像を学習拡大処理及び従来拡大処理の夫々を適用し拡大した画像をユーザが比較しやすい形で表示されていれば他の表示方法であってもよい。例えば、図３のユーザインターフェース画面３００のように、学習拡大処理を適用して部分領域７０２の画像を拡大した画像と従来拡大処理を適用して部分領域７０２の画像を拡大した画像とを並べて表示しても良い。

また、従来拡大処理が学習モデルを参照しない拡大処理であれば他の処理であってもよいのは第一の実施例と同様である。

チェックボックス７０７は、全体表示部７０１に表示された画像全体に学習拡大処理を適用するか否かのユーザ入力を受け付けるチェックボックスである。図７に示すように、チェックボックス７０７へのユーザ入力によりチェックボックス７０７にチェックが入っている場合に全体表示部７０１に表示された画像全体への学習拡大処理が適用される。

実行ボタン７０８は、全体表示部７０１に表示された画像全体の拡大指示のユーザ入力を受け付けるボタンであり、実行ボタン７０８に対するユーザ入力があると、全体表示部７０１に表示された画像全体の拡大処理が開始される。

キャンセルボタン７０９は、実行ボタン７０８に対するユーザ入力により開始した拡大処理のキャンセルを指示するボタンである。尚、実行ボタン７０８に対するユーザ入力の前にキャンセルボタン７０９に対するユーザ入力があった場合はユーザインターフェース画面７００の表示部６０８への表示を終了する。

図８は、本実施例に係る画像処理のフローチャートである。

本処理は、図７に示すユーザインターフェース画面７００に対するユーザ操作に応じて、ＣＰＵ６０１がＲＯＭ６０２からプログラムを読み出して実施される処理である。

ステップＳ８０１では、拡大する画像Ａと参照する画像Ｂとを設定する。例えばユーザは、撮像装置１０１で撮影した画像をそのまま選択してもよいし、外部メモリ６０７等に記録される撮影済みの画像の中から選択してもよい。ここで画像Ａと画像Ｂは異なる画素数の画像であり、以下では夫々の画素数が６０００×４０００、８１９２×５４６８である場合について説明する。画像Ａ、画像Ｂとして設定された画像は全体表示部７０１，７０３に夫々表示される。

ステップＳ８０２では、部分領域７０２，７０４を設定する。具体的にはユーザが操作部６０６などの操作により全体表示部７０１，７０３における夫々の画像の部分領域７０２，７０４とする点線枠の領域を決定すると、その決定された領域が部分領域３０２として設定される。

ステップＳ８０３では、ステップＳ８０２にて設定された部分領域７０２と、画像Ａの拡大率から画像Ｂの部分領域の拡大率を算出する。

以下、図９を参照して、本実施例における部分領域の設定方法及び各画像の部分領域の拡大率を算出する方法について説明する。図９（ａ）は、所定の拡大率で画像Ａを拡大した場合を示す図であり、図９（ｂ）は、画像Ａの拡大率から算出された拡大率で画像Ｂを拡大した場合を示す図である。尚、画像Ａの拡大率は、ユーザが指定してもよいし、初期値として予め設定されていてもよい。

画像領域９０１は、画像Ａの全体を表示する画像領域であり、画像領域９０２は、画像Ａの部分領域７０４を表示する画像領域である。また、画像領域９０３は、画像Ａの部分領域７０４を従来拡大処理（バイキュービック拡大処理）及び学習拡大処理の夫々を用いて所定の拡大率（本実施例では２倍）で拡大した画像を表示する画像領域である。

また、画像領域９０４は、画像Ｂの全体を表示する画像領域であり、画像領域９０５は、画像Ｂの部分領域７０２を表示する画像領域である。また、画像領域９０６は、画像Ｂの部分領域７０２を従来拡大処理を用いて拡大した画像を表示する画像領域である。

ここで、画像Ａの部分領域７０４の画素数が１０００×１０００であり、画像Ｂの部分領域７０２の画素数が１３６５×１３６５である場合について説明する。

この場合、画像Ａと画像Ｂのデータサイズが異なるため、例えば夫々を２倍に拡大すると夫々の拡大画像の画素数は２０００×２０００、２７３０×２７３０となり、表示サイズが異なり比較が困難になる。そこで、拡大後の画素数が同じになるように画像Ｂの拡大率を変更する。具体的には、画像Ａの拡大率が２倍の場合、画像Ｂの拡大率は次式で得られる。

尚、本実施例のように画像Ａの部分領域７０４と画像Ｂの部分領域７０２のアスペクト比が同じ場合は縦横いずれかの画素数から拡大率は２＊１０００／１３６５倍で得られる。その結果、拡大後の画像サイズはいずれも２０００×２０００と同じ画素数となるため部分拡大表示領域７０５，７０６に表示される各画像の比較がしやすくなる。

図８に戻り、ステップＳ８０４では、所定の拡大率で画像Ａの部分領域７０２に対して学習拡大処理及びバイキュービック拡大処理を適用する。また、ステップＳ８０３で算出された拡大率で画像Ｂの部分領域７０４に対してバイキュービック拡大処理を適用する。その後、部分拡大表示領域７０５，７０６に拡大処理後の部分領域７０２，７０４を表示する。

ステップＳ８０５～ステップＳ８０９の処理を行った後、本処理を終了する。尚、ステップＳ８０５～ステップＳ８０９については、図５のステップＳ５０５～ステップＳ５０８と同様であるため説明は省略する。

以上の処理により、拡大する画像（本実施例では画像Ａ）と参照する画像（本実施例では画像Ｂ）の両画像の画素数が異なる場合、部分領域の画像を同じ表示サイズに拡大して表示する。これによりユーザは、学習拡大処理と従来拡大処理のどちらの拡大処理を拡大する画像に適用するのが好ましいかを、同一表示サイズで部分拡大表示される両画像を比較することで容易且つ効率よく確認することが可能になる。すなわち、処理時間のかかる学習拡大処理の効果を事前に容易に確認でき、効率よく拡大する画像全体の拡大処理を実施することができる。

（その他の実施形態）
尚、本実施形態では、１つ以上の機能を実現するプログラムを、ネットワークまたは記憶媒体を介してシステムまたは装置のコンピュータに供給し、そのシステムまたは装置のシステム制御部がプログラムを読出し実行する処理でも実現可能である。システム制御部は、１つまたは複数のプロセッサーまたは回路を有し、実行可能命令を読み出し実行するために、分離した複数のシステム制御部または分離した複数のプロセッサーまたは回路のネットワークを含みうる。

プロセッサーまたは回路は、中央演算処理装置（ＣＰＵ）、マイクロプロセッシングユニット（ＭＰＵ）、グラフィクスプロセッシングユニット（ＧＰＵ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）を含みうる。また、プロセッサーまたは回路は、デジタルシグナルプロセッサ（ＤＳＰ）、データフロープロセッサ（ＤＦＰ）、またはニューラルプロセッシングユニット（ＮＰＵ）を含みうる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

本実施形態の開示は、以下の構成、方法、並びにプログラムを含む。
（構成１）拡大する画像を取得し、学習モデルを参照した第一の拡大処理及び前記学習モデルを参照しない第二の拡大処理の一方を適用して前記拡大する画像を拡大する画像処理装置であって、前記拡大する画像の部分領域を、前記第一の拡大処理を適用して拡大する第一拡大手段と、前記部分領域を、前記第二の拡大処理を適用して前記第一の拡大処理と同じ拡大率で拡大する第二拡大手段と、前記第一拡大手段及び前記第二拡大手段を適用して前記部分領域を拡大した画像を表示する部分拡大表示手段と、ユーザ選択された、前記第一の拡大処理及び前記第二の拡大処理のうちの一方の処理を、前記拡大する画像の全体の拡大を行う際に適用される拡大処理に決定する決定手段と、前記決定された拡大処理を適用して前記拡大する画像の拡大画像を生成する拡大画像生成手段と、を備え、前記部分拡大表示手段により表示される、前記第一拡大手段及び前記第二拡大手段を適用して前記部分領域を拡大した画像は、夫々の画素数が同一であることを特徴とする画像処理装置。
（構成２）第一の画像を取得し、学習モデルを参照した第一の拡大処理及び前記学習モデルを参照しない第二の拡大処理の一方を適用して前記第一の画像を拡大する画像処理装置であって、前記第一の画像の第一の部分領域を、前記第一の拡大処理を適用して拡大する第一拡大手段と、前記第一の部分領域を、前記第二の拡大処理を適用して前記第一の拡大処理と同じ拡大率で拡大する第二拡大手段と、前記第一の画像と異なる画素数の第二の画像の第二の部分領域を拡大する第三拡大手段と、前記第一拡大手段及び前記第二拡大手段を適用して前記第一の部分領域を拡大した画像、および前記第三拡大手段を適用して前記第二の部分領域を拡大した画像を表示する部分拡大表示手段と、ユーザ選択された、前記第一の拡大処理及び前記第二の拡大処理のうちの一方の処理を、前記第一の画像の全体の拡大を行う際に適用される拡大処理に決定する決定手段と、前記決定された拡大処理を適用して前記第一の画像の拡大画像を生成する拡大画像生成手段と、を備え、前記部分拡大表示手段により表示される、前記第一拡大手段を適用して前記第一の部分領域を拡大した画像と、前記第二拡大手段を適用して前記第一の部分領域を拡大した画像と、前記第三拡大手段を適用して前記第二の部分領域を拡大した画像とは、夫々の画素数が同じであることを特徴とする画像処理装置。
（構成３）前記第一の部分領域と、前記第二の部分領域とは、アスペクト比が同じであることを特徴とする構成２記載の画像処理装置。
（構成４）前記部分拡大表示手段は、前記第一拡大手段で拡大した画像と、前記第二拡大手段で拡大した画像とを並べて表示することを特徴とする構成１乃至３のいずれか１つに記載の画像処理装置。
（構成５）前記部分拡大表示手段は、前記第一拡大手段で拡大した画像と、前記第二拡大手段で拡大した画像とを切り替えて表示することを特徴とする構成１乃至３のいずれか１つに記載の画像処理装置。
（構成６）前記第二の拡大処理は、ニアレストネイバー法、バイリニア法、バイキュービック法のいずれかを用いた拡大処理であることを特徴とする構成１乃至５のいずれか１つに記載の画像処理装置。
（構成７）前記部分拡大表示手段は、チェックボックスを更に表示し、前記チェックボックスがユーザによりチェックされた場合、前記決定手段により決定される拡大処理を前記第一の拡大処理とすることを特徴とする構成１乃至６のいずれか１つに記載の画像処理装置。
（方法１）拡大する画像を取得し、学習モデルを参照した第一の拡大処理及び前記学習モデルを参照しない第二の拡大処理の一方を適用して前記拡大する画像を拡大する画像処理装置の画像処理方法であって、前記拡大する画像の部分領域を、前記第一の拡大処理を適用して拡大する第一拡大ステップと、前記部分領域を、前記第二の拡大処理を適用して前記第一の拡大処理と同じ拡大率で拡大する第二拡大ステップと、前記第一拡大ステップ及び前記第二拡大ステップを適用して前記部分領域を拡大した画像を表示する部分拡大表示ステップと、ユーザ選択された、前記第一の拡大処理及び前記第二の拡大処理のうちの一方の処理を、前記拡大する画像の全体の拡大を行う際に適用される拡大処理に決定する決定ステップと、前記決定された拡大処理を適用して前記拡大する画像の拡大画像を生成する拡大画像生成ステップと、を有し、前記部分拡大表示ステップにおいて表示される、前記第一拡大ステップ及び前記第二拡大ステップを適用して前記部分領域を拡大した画像は、夫々の画素数が同一であることを特徴とする画像処理方法。
（方法２）第一の画像を取得し、学習モデルを参照した第一の拡大処理及び前記学習モデルを参照しない第二の拡大処理の一方を適用して前記第一の画像を拡大する画像処理装置の画像処理方法であって、前記第一の画像の第一の部分領域を、前記第一の拡大処理を適用して拡大する第一拡大ステップと、前記第一の部分領域を、前記第二の拡大処理を適用して前記第一の拡大処理と同じ拡大率で拡大する第二拡大ステップと、前記第一の画像と異なる画素数の第二の画像の第二の部分領域を拡大する第三拡大ステップと、前記第一拡大ステップ及び前記第二拡大ステップを適用して前記第一の部分領域を拡大した画像、および前記第三拡大ステップを適用して前記第二の部分領域を拡大した画像を表示する部分拡大表示ステップと、ユーザ選択された、前記第一の拡大処理及び前記第二の拡大処理のうちの一方の処理を、前記第一の画像の全体の拡大を行う際に適用される拡大処理に決定する決定ステップと、前記決定された拡大処理を適用して前記第一の画像の拡大画像を生成する拡大画像生成ステップと、を有し、前記部分拡大表示ステップにより表示される、前記第一拡大ステップを適用して前記第一の部分領域を拡大した画像と、前記第二拡大ステップを適用して前記第一の部分領域を拡大した画像と、前記第三拡大ステップを適用して前記第二の部分領域を拡大した画像とは、夫々の画素数が同じであることを特徴とする画像処理方法。
（プログラム１）コンピュータを、構成１乃至７のいずれか１つに記載の画像処理装置の各手段として機能させる、コンピュータにより実行可能なプログラム。

３０１，７０１，７０３ 全体表示部
３０２，７０２，７０４ 部分領域
３０３，７０５,７０６ 部分拡大表示領域
３０４，７０７ チェックボックス
３０５，７０８ 実行ボタン
３０６，７０９ キャンセルボタン

Claims (10)

1. 拡大する画像を取得し、学習モデルを参照した第一の拡大処理及び前記学習モデルを参照しない第二の拡大処理の一方を適用して前記拡大する画像を拡大する画像処理装置であって、
   前記拡大する画像の部分領域を、前記第一の拡大処理を適用して拡大する第一拡大手段と、
   前記部分領域を、前記第二の拡大処理を適用して前記第一の拡大処理と同じ拡大率で拡大する第二拡大手段と、
   前記第一拡大手段及び前記第二拡大手段を適用して前記部分領域を拡大した画像を表示する部分拡大表示手段と、
   ユーザ選択された、前記第一の拡大処理及び前記第二の拡大処理のうちの一方の処理を、前記拡大する画像の全体の拡大を行う際に適用される拡大処理に決定する決定手段と、
   前記決定された拡大処理を適用して前記拡大する画像の拡大画像を生成する拡大画像生成手段と、を備え、
   前記部分拡大表示手段により表示される、前記第一拡大手段及び前記第二拡大手段を適用して前記部分領域を拡大した画像は、夫々の画素数が同一であることを特徴とする画像処理装置。
2. 第一の画像を取得し、学習モデルを参照した第一の拡大処理及び前記学習モデルを参照しない第二の拡大処理の一方を適用して前記第一の画像を拡大する画像処理装置であって、
   前記第一の画像の第一の部分領域を、前記第一の拡大処理を適用して拡大する第一拡大手段と、
   前記第一の部分領域を、前記第二の拡大処理を適用して前記第一の拡大処理と同じ拡大率で拡大する第二拡大手段と、
   前記第一の画像と異なる画素数の第二の画像の第二の部分領域を拡大する第三拡大手段と、
   前記第一拡大手段及び前記第二拡大手段を適用して前記第一の部分領域を拡大した画像、および前記第三拡大手段を適用して前記第二の部分領域を拡大した画像を表示する部分拡大表示手段と、
   ユーザ選択された、前記第一の拡大処理及び前記第二の拡大処理のうちの一方の処理を、前記第一の画像の全体の拡大を行う際に適用される拡大処理に決定する決定手段と、
   前記決定された拡大処理を適用して前記第一の画像の拡大画像を生成する拡大画像生成手段と、を備え、
   前記部分拡大表示手段により表示される、前記第一拡大手段を適用して前記第一の部分領域を拡大した画像と、前記第二拡大手段を適用して前記第一の部分領域を拡大した画像と、前記第三拡大手段を適用して前記第二の部分領域を拡大した画像とは、夫々の画素数が同じであることを特徴とする画像処理装置。
3. 前記第一の部分領域と、前記第二の部分領域とは、アスペクト比が同じであることを特徴とする請求項２記載の画像処理装置。
4. 前記部分拡大表示手段は、前記第一拡大手段で拡大した画像と、前記第二拡大手段で拡大した画像とを並べて表示することを特徴とする請求項１又は２記載の画像処理装置。
5. 前記部分拡大表示手段は、前記第一拡大手段で拡大した画像と、前記第二拡大手段で拡大した画像とを切り替えて表示することを特徴とする請求項１又は２記載の画像処理装置。
6. 前記第二の拡大処理は、ニアレストネイバー法、バイリニア法、バイキュービック法のいずれかを用いた拡大処理であることを特徴とする請求項１又は２記載の画像処理装置。
7. 前記部分拡大表示手段は、チェックボックスを更に表示し、
   前記チェックボックスがユーザによりチェックされた場合、前記決定手段により決定される拡大処理を前記第一の拡大処理とすることを特徴とする請求項６記載の画像処理装置。
8. 拡大する画像を取得し、学習モデルを参照した第一の拡大処理及び前記学習モデルを参照しない第二の拡大処理の一方を適用して前記拡大する画像を拡大する画像処理装置の画像処理方法であって、
   前記拡大する画像の部分領域を、前記第一の拡大処理を適用して拡大する第一拡大ステップと、
   前記部分領域を、前記第二の拡大処理を適用して前記第一の拡大処理と同じ拡大率で拡大する第二拡大ステップと、
   前記第一拡大ステップ及び前記第二拡大ステップを適用して前記部分領域を拡大した画像を表示する部分拡大表示ステップと、
   ユーザ選択された、前記第一の拡大処理及び前記第二の拡大処理のうちの一方の処理を、前記拡大する画像の全体の拡大を行う際に適用される拡大処理に決定する決定ステップと、
   前記決定された拡大処理を適用して前記拡大する画像の拡大画像を生成する拡大画像生成ステップと、を有し、
   前記部分拡大表示ステップにおいて表示される、前記第一拡大ステップ及び前記第二拡大ステップを適用して前記部分領域を拡大した画像は、夫々の画素数が同一であることを特徴とする画像処理方法。
9. 第一の画像を取得し、学習モデルを参照した第一の拡大処理及び前記学習モデルを参照しない第二の拡大処理の一方を適用して前記第一の画像を拡大する画像処理装置の画像処理方法であって、
   前記第一の画像の第一の部分領域を、前記第一の拡大処理を適用して拡大する第一拡大ステップと、
   前記第一の部分領域を、前記第二の拡大処理を適用して前記第一の拡大処理と同じ拡大率で拡大する第二拡大ステップと、
   前記第一の画像と異なる画素数の第二の画像の第二の部分領域を拡大する第三拡大ステップと、
   前記第一拡大ステップ及び前記第二拡大ステップを適用して前記第一の部分領域を拡大した画像、および前記第三拡大ステップを適用して前記第二の部分領域を拡大した画像を表示する部分拡大表示ステップと、
   ユーザ選択された、前記第一の拡大処理及び前記第二の拡大処理のうちの一方の処理を、前記第一の画像の全体の拡大を行う際に適用される拡大処理に決定する決定ステップと、
   前記決定された拡大処理を適用して前記第一の画像の拡大画像を生成する拡大画像生成ステップと、を有し、
   前記部分拡大表示ステップにより表示される、前記第一拡大ステップを適用して前記第一の部分領域を拡大した画像と、前記第二拡大ステップを適用して前記第一の部分領域を拡大した画像と、前記第三拡大ステップを適用して前記第二の部分領域を拡大した画像とは、夫々の画素数が同じであることを特徴とする画像処理方法。
10. コンピュータを、請求項１又は２に記載の画像処理装置の各手段として機能させる、コンピュータにより実行可能なプログラム。

Images