JP5875340B2 - 画像検査支援方法及び画像検査支援装置 - Google Patents

Description

本発明は、被写体を撮像して得られた画像を部分的に表示して検査する作業を支援するユーザーインターフェースに関し、特に表示領域の移動制御に関する。

従来、画像を表示する際の表示領域移動を行う際に、ユーザーの表示領域移動指示を制限する表示方法がある（特許文献１）。例えば特許文献１では、複数の画像が存在する場合において、サムネール表示から所定の１枚の表示までを拡大率を変更することで実現可能としている。そして、拡大率が所定以上の場合に、ユーザーが所定の１枚の画像に注目しているとみなして他の画像への安易な表示領域移動が行われないよう制限している。

特開２００８−２６８６８９号公報

特許文献１では、複数の画像が存在している場合に表示領域移動により表示画像の切り替え操作を許可するか否かを制御している。特許文献１のようにすることで、複数枚の画像の一覧性の向上や個々の画像の詳細確認を組み合わせて行う際に利便性を高める効果がある。しかし、特許文献１の方法では、単一の画像を検査する際の表示領域移動に対してユーザーの利便性を向上させるように操作指示を制限することは行っていない。

例えば顕微鏡や各種検査装置から得られた高解像度の画像を表示装置の画面上で検査する際、画像解像度に比べて表示装置の解像度が低かったり描画エリアが狭かったりすると、画像全体を一度に画面表示することができない。画像解像度が低い場合でも、画像を拡大表示する場合には同様の問題が生じる。そこで、画像の一部の領域のみを画面に表示し、その表示領域を画像内で移動させることで画像全体の検査を行う、という方法がとられることが多い。このような検査作業においては、検査の効率を高めるために、最初に画像全体を粗く確認して詳細な検査が必要な領域を特定する「概略確認作業」を行った後、特定した領域およびその周辺を詳細に検査する「詳細確認作業」が行われるのが通常である。いずれの作業もユーザーが表示領域を移動させながらの目視による確認作業となるが、それぞれの作業では要求される操作性に違いがある。すなわち、後者の詳細確認作業においては、ユーザーが見たいと思った領域に自由に移動できることが好まれるのに対し、前者の概略確認作業においては、検査抜けが無いように網羅的に画像全体を確認することが強く望まれる。言い換えると、概略確認作業においてユーザーが表示領域を任意に移動できてしまうと、画像の中で検査されない（画面表示されない）部分が発生する可能性があり、検査の信頼性を損ねる虞がある。

本発明は上記実情に鑑みてなされたものであって、画面上で画像の表示領域を移動させながら検査を行う際に、検査抜けの防止と効率的な検査の両立を可能とし、ユーザーの利便性を向上させることを目的とする。

本発明に係る画像検査支援方法は、検査対象の画像の一部の領域を表示領域として表示装置に表示し、その表示領域を画像内で移動させながら当該画像の検査を行う作業を支援するための画像検査支援方法であって、コンピュータが、表示領域の自由な移動を認める第１の動作モードと、表示領域の移動に制限を付ける第２の動作モードとを含む複数の動作モードの中から、動作モードを決定する動作モード決定工程と、コンピュータが、ユーザーにより入力された表示領域の移動指示を取得する移動指示取得工程と、コンピュータが、現在の動作モードと前記移動指示取得工程で取得した移動指示とに基づいて表示領域を移動させる表示領域決定工程と、コンピュータが、前記移動した表示領域に対応する部分の画像を表示装置に表示させる表示工程と、コンピュータが、ユーザーにより入力された表示倍率の変更指示に基づいて表示装置に表示する画像の倍率を変更する工程と、を含んでおり、前記表示領域決定工程は、現在の動作モードが第２の動作モードである場合に、ユーザーにより入力された前記移動指示が予め設定された非制限範囲内での移動を指示するものか否かを判定する工程と、前記移動指示が前記非制限範囲内での移動を指示するものでない場合に、表示領域の移動を制限する工程と、を含み、前記動作モード決定工程は、前記表示倍率に応じて動作モードを切り替える画像検査支援方法である。

本発明に係る画像検査支援方法は、検査対象の画像の一部の領域を表示領域として表示装置に表示し、その表示領域を画像内で移動させながら当該画像の検査を行う作業を支援するための画像検査支援方法であって、コンピュータが、表示領域の自由な移動を認める第１の動作モードと、表示領域の移動に制限を付ける第２の動作モードとを含む複数の動作モードの中から、動作モードを決定する動作モード決定工程と、コンピュータが、ユーザーにより入力された表示領域の移動指示を取得する移動指示取得工程と、コンピュータが、現在の動作モードと前記移動指示取得工程で取得した移動指示とに基づいて表示領域を移動させる表示領域決定工程と、コンピュータが、前記移動した表示領域に対応する部分の画像を表示装置に表示させる表示工程と、コンピュータが前記表示工程において表示した画像内の領域を表示済み領域として記憶装置に記憶する工程と、を含んでおり、前記表示領域決定工程は、現在の動作モードが第２の動作モードである場合に、ユーザーにより入力された前記移動指示が予め設定された非制限範囲内での移動を指示するものか否かを判定する工程と、前記移動指示が前記非制限範囲内での移動を指示するものでない場合に、表示領域の移動を制限する工程と、を含み、前記動作モード決定工程は、前記移動指示に基づき移動させた場合の表示領域の位置が前記表示済み領域に含まれていない場合に、動作モードを第２の動作モードに設定し、それ以外の場合に、動作モードを第１の動作モードに設定する画像検査支援方法である。

本発明に係る画像検査支援装置は、検査対象の画像の一部の領域を表示領域として表示装置に表示し、その表示領域を画像内で移動させながら当該画像の検査を行う作業を支援するための画像検査支援装置であって、表示領域の自由な移動を認める第１の動作モードと、表示領域の移動に制限を付ける第２の動作モードとを含む複数の動作モードの中から、動作モードを決定する動作モード決定手段と、ユーザーにより入力された表示領域の移動指示を取得する移動指示取得手段と、現在の動作モードと前記移動指示取得手段で取得した移動指示とに基づいて表示領域を移動させる表示領域決定手段と、前記移動した表示領域に対応する部分の画像を表示装置に表示させる表示制御手段と、ユーザーにより入力された表示倍率の変更指示に基づいて表示装置に表示する画像の倍率を変更する手段と、を有しており、前記表示領域決定手段は、現在の動作モードが第２の動作モードである場合に、ユーザーにより入力された前記移動指示が予め設定された非制限範囲内での移動を指示するものか否かを判定し、前記移動指示が前記非制限範囲内での移動を指示するものでない場合に、表示領域の移動を制限し、前記動作モード決定手段は、前記表示倍率に応じて動作モードを切り替える画像検査支援装置である。

本発明に係る画像検査支援装置は、検査対象の画像の一部の領域を表示領域として表示装置に表示し、その表示領域を画像内で移動させながら当該画像の検査を行う作業を支援するための画像検査支援装置であって、表示領域の自由な移動を認める第１の動作モードと、表示領域の移動に制限を付ける第２の動作モードとを含む複数の動作モードの中から、動作モードを決定する動作モード決定手段と、ユーザーにより入力された表示領域の移動指示を取得する移動指示取得手段と、現在の動作モードと前記移動指示取得手段で取得した移動指示とに基づいて表示領域を移動させる表示領域決定手段と、前記移動した表示領域に対応する部分の画像を表示装置に表示させる表示制御手段と、前記表示制御手段で表示した画像内の領域を表示済み領域として記憶する記憶手段と、を有しており、前記表示領域決定手段は、現在の動作モードが第２の動作モードである場合に、ユーザーにより入力された前記移動指示が予め設定された非制限範囲内での移動を指示するものか否かを判定し、前記移動指示が前記非制限範囲内での移動を指示するものでない場合に、表示領域の移動を制限し、前記動作モード決定手段は、前記移動指示に基づき移動させた場合の表示領域の位置が前記表示済み領域に含まれていない場合に、動作モードを第２の動作モードに設定し、それ以外の場合に、動作モードを第１の動作モードに設定する画像検査支援装置である。

本発明に係るプログラムは、上述した本発明に係る画像検査支援方法の各工程をコンピュータに実行させるプログラムである。

本発明によれば、画面上で画像の表示領域を移動させながら検査を行う際に、検査抜けの防止と効率的な検査の両立を可能とし、ユーザーの利便性を向上させることが可能となる。

撮像システムの装置構成図。 画像検査支援方法を実行するコンピュータの構成図。 実施例１における画像検査支援装置の機能ブロック図。 実施例１における画像検査支援方法の流れを示すフローチャート。 図４のステップＳ４０９の処理の詳細を示すフローチャート。 実施例１における制限のある動作モードでの表示領域の移動制御を示す図。 実施例１における制限のない動作モードでの表示領域の移動制御を示す図。 実施例２における画像検査支援装置の機能ブロック図。 実施例２における画像検査支援方法の流れを示すフローチャート。 実施例３における画像検査支援装置の機能ブロック図。 実施例３における画像検査支援方法の流れを示すフローチャート。 実施例３における表示領域の移動制御を示す図。 実施例４における画像検査支援方法の流れを示すフローチャート。 実施例４における表示領域の移動制御を示す図。 表示領域の移動経路の例を示す図。 表示領域の移動経路の例を示す図。 表示領域の動作範囲の例を示す図。 表示領域の動作範囲の例を示す図。 複数の表示領域に対応する画像の表示例を示す図。

以下、図面を用いて本発明に係る画像検査支援方法及び画像検査支援装置の具体的な実施例を説明する。なお、検査対象となる画像を取得する撮像装置の具体的な適用例として、高解像度で静止画の撮像を行う顕微鏡等を想定し、以後の説明を行う。本発明に係る画像検査支援方法は、高解像度で撮像された画像を検査する際に、まず粗く全体を見る概略確認を行って細かく見るべき局所領域を特定した後に、細かく局所領域を見る詳細確認を行う場合に適用可能である。

＜装置構成＞
図１は本発明に係る撮像システムの装置構成の一例を示している。図１中、１００は静止画の撮像が可能な顕微鏡装置を示している。１０１はプレパラートであり、プレパラート１０１は被写体となる試料が載せられたスライドグラスとその試料を密封するためのカバーガラスとを有する。本実施例の説明において試料は透過物体であるものとして説明する。１０２はプレパラート１０１を載せるためのステージであり、撮像時の光軸方向に垂直な平面における位置の移動を行うことが可能である。また、ステージ１０２は撮像時の光軸方向に対しても移動可能であり、被写体の厚さ方向に対する焦点位置を変更することが可能である。１０３は光源、１０４は対物レンズであり、光源１０３はプレパラート１０１を透過して対物レンズ１０４に光を供給する。１０５は撮像部であり、対物レンズ１０４を通して得られた被写体像を撮像する。１０６はコントローラであり、ステージ１０２、光源１０３、撮像部１０５等の動作制御を行う。なお、対物レンズ１０４は複数のレンズを切り替えられるようになっている、或いは、ズーム機構を備えているものであっても良い。この場合、レンズの切り替え、或いはズーム機能の制御はコントローラ１０６が行うようにすると良い。１０７は顕微鏡装置１００に動作指示を送信するとともに、撮像された画像データを受信するための端末である。なお、コントローラ１０６の機能が端末１０７により実現されるような構成でも良い。

１０８は顕微鏡装置１００の動作指示を送るための画面、及び、顕微鏡装置１００から取得された画像データに基づく画像や画像データの解析結果などを表示するディスプレイ
（表示装置）である。１０９は操作者の操作指示を入力するためのキーボードである。１１０は操作者の操作指示を入力するためのマウスである。１１１はネットワークを介して端末１０７と接続されたサーバーであり、顕微鏡装置１００から取得された画像データを記録する。なお、サーバー１１１は顕微鏡装置１００とネットワークを介して直接接続されていて、撮像された画像データが直接サーバー１１１に記録されるようにしても良い。

以下に述べる実施例では、本発明の画像検査支援方法は、顕微鏡装置１００とは別の装置である端末１０７及びディスプレイ１０８により実行される。しかし、顕微鏡装置１００が上述の構成に加えてディスプレイ、及びボタン等の操作指示入力手段を有している構成にし、本発明の画像検査支援方法をコントローラ１０６により実行するようにしても良い。
なお、本実施例においてはプレパラート１０１に載せられた試料は透過物体であるものとしたが、本発明はこれに限るものではない。

図２は、画像検査支援方法を実行するコンピュータである端末１０７の内部構成、及び、外部機器との関係を示している。２００はＣＰＵであり、処理に必要な演算を行う。２０１はプログラムやデータを記憶するＲＯＭであり、ＣＰＵ２００はＲＯＭ２０１に記憶されているプログラムやデータを読み出すことが可能である。２０２はＲＡＭであり、ＣＰＵ２００はＲＡＭ２０２に対してプログラムや処理に必要なデータの書き込み、或いは、読み出しが可能である。２０３はプログラムや画像データなどの書き込み、或いは、読み出しが可能なストレージであり、ＨＤＤやＳＳＤなどから構成される。２０４はグラフィックボードであり、画面表示を行う際の表示データの生成を行う。２０５はインターフェースであり、端末１０７が外部機器である顕微鏡装置１００との通信を行う際にデータの送受信を行う。２０６はＬＡＮインターフェースであり、端末１０７がネットワークと接続するサーバー１１１との通信を行う際にデータの送受信を行う。このような端末１０７は、汎用のコンピュータにより構成することができる。

以下に説明する実施例では、ＣＰＵ２００がＲＯＭ２０１及びストレージ２０３に格納されたプログラムを実行することにより、端末１０７に画像検査支援方法を実行させ、また端末１０７を画像検査支援装置として機能させている。

＜実施例１＞
図３は本発明の実施例１における画像検査支援装置の機能構成を示す機能ブロック図である。３００は表示倍率を入力する入力端子である。入力端子３００には、キーボード１０９或いはマウス１１０を用いてユーザーによって指定された表示倍率が入力される。３０１は動作モード入力端子である。動作モード入力端子３０１には、キーボード１０９或いはマウス１１０を用いてユーザーによって指定された動作モード指示が入力される。３０２は移動指示入力端子である。移動指示入力端子３０２には、後述のように画像中の表示領域を移動させるためにキーボード１０９或いはマウス１１０を用いてユーザーから指示された移動指示が入力される。３０３は画像入力端子である。画像入力端子３０３には、撮像装置１００から取得された画像データが入力される。

３０４は動作モード決定部であり、動作モード入力端子３０１から入力された動作モード指示に応じて動作モードを決定する機能である。本実施例では、表示領域の自由な移動を許可する第１の動作モードと表示領域の移動を制限する第２の動作モードとを少なくとも含む、複数の動作モードが用意されている。第１の動作モードは詳細確認作業に適しており、第２の動作モードは概略確認作業に適した動作モードである。以下の説明では、第１の動作モードを制限のない動作モード、第２の動作モードを制限のある動作モードと呼ぶ。

３０５は移動指示変更部であり、動作モード決定部３０４において決定された動作モードに基づいて移動指示入力端子３０２から入力された移動指示内容を変更する機能である。３０６は画像入力端子３０３より入力された画像データを記憶する画像記憶部である。３０７は表示領域移動部であり、移動指示変更部３０５から出力された移動指示に基づいて表示領域を算出し、算出された表示領域情報に基づいて画像記憶部３０６から画像情報を取得して表示用画像データを生成する。移動指示変更部３０５と表示領域移動部３０７とで表示領域決定手段が構成される。３０８は表示制御部であり、表示領域移動部３０７により生成された表示用画像データをディスプレイ１０８中の描画エリアに対して描画することで画像の表示を行う。

なお、画像記憶部３０６は通常、端末１０７のＲＡＭ２０２、或いはストレージ２０３より構成される。しかし、画像記憶部３０６は端末１０７の外部にあっても良く、その場合、端末１０７は画像記憶部３０６としての機能を有していなくても良い。画像記憶部３０６が無い場合には、表示領域移動部３０７は画像入力端子３０３から直接必要な画像データを取得する。

（表示領域の移動制御）
図４は本実施例における画像検査支援方法の動作フローを示すフローチャートである。処理が開始されるとまず、表示を行うための初期化が行われる。ステップＳ４００では表示ウィンドウ中の表示範囲のサイズの取得が行われる。ステップＳ４０１では動作モードの初期化が行われる。ステップＳ４０２では移動指示内容の初期化が行われ、表示領域の初期位置が決定される。ステップＳ４０３では表示倍率の初期化が行われる。

ステップＳ４０４では、表示領域移動部３０７が、表示ウィンドウ中の表示範囲のサイズ、画像中の表示領域の位置、及び表示倍率に基づいて、画像中の現在の表示領域に対応する画像データを画像記憶部３０６から取得する。ステップＳ４０５では、表示制御部３０８がステップＳ４０４で取得した画像を必要に応じてディスプレイ上の表示サイズに合わせて変倍した後に、表示を行う。

ステップＳ４０６ではユーザーからの操作指示があったか否かが判定される。操作指示がない場合には、操作指示が与えられるまで操作指示を待つ。一方、操作指示があった場合にはステップＳ４０７へ移行する。ステップＳ４０７では操作指示内容が表示領域の移動指示であったか否かの判定を行い、表示領域の移動指示であると判定された場合にはステップＳ４０８へ移行する。

ステップＳ４０８では、移動指示変更部３０５が、現在の動作モードが制限のある動作モード（第２の動作モード）であるか否かの判定を行い、制限のある動作モードであった場合にはステップＳ４０９に移行する。ステップＳ４０９では、移動指示変更部３０５が、表示領域の移動指示の内容が制限された指示に該当するか否か（つまり、ユーザーにより指示された移動方向や移動量が予め定められた条件を満たすか否か）の判定を行う。制限された移動指示であった場合には、移動指示変更部３０５は、ユーザーの移動指示を破棄（無視）して、表示領域の移動は行わずに処理をステップＳ４０６に移行させる。一方、ステップＳ４０８において制限のある移動モードではないと判定されるか、ステップＳ４０９で制限された移動指示ではないと判定された場合には、処理はステップＳ４１０に移行する。ステップＳ４１０では、入力された移動指示のとおりに移動後の表示領域の位置を設定し、処理をステップＳ４０４に移行させる。

ステップＳ４０７において操作指示内容が表示領域の移動指示でなかった場合、処理はステップＳ４１１に移行して、操作指示内容が表示倍率の変更指示であったか否かの判定を行い、表示倍率の変更指示であった場合には、ステップＳ４１２に移行する。ステップ
Ｓ４１２では入力された表示倍率を次回以降の表示倍率として記憶し、処理をステップＳ４０４へ移行させる。

ステップＳ４１１において操作指示内容が表示倍率の変更指示でなかった場合、処理はステップＳ４１３へ移行し、操作指示内容が動作モードの変更指示であったか否かを判定する。操作指示内容が動作モードの変更指示であった場合、ステップＳ４１４において、動作モード決定部３０４は入力された動作モードを次回以降の動作モードとして記憶し、処理をステップＳ４０４へ移行させる。一方、ステップＳ４１３において操作指示が動作モードの変更指示でなかった場合、処理はステップＳ４１５へ移行し、操作指示が終了指示であったか否かの判定が行われる。ステップＳ４１５において、操作指示内容が終了指示でなかった場合には処理をステップＳ４０６に移行させ次の操作指示を待ち、操作指示内容が終了指示であった場合には、表示動作を終了させる。

なお、図４に示すフローにおいては、本実施例の特徴である表示領域の移動制御に必要な処理のみを記載している。そのため、実際には図４に示した操作指示以外の指示が含まれていても良く、必要に応じて処理を追加すると良い。また、ステップＳ４０７、Ｓ４１１、Ｓ４１３の順序は図４に示すものに限定されるものではなく、他の順序であっても構わない。本実施例では、ステップＳ４０７が移動指示取得工程に該当し、ステップＳ４０８〜Ｓ４１０が表示領域決定工程に該当し、ステップＳ４１３〜Ｓ４１４が動作モード決定工程に該当し、ステップＳ４０４〜Ｓ４０５が表示制御工程に該当する。

（制限された移動指示か否かの判定）
上記のように、現在の動作モードが制限のある動作モードである場合、ステップＳ４０９において、ユーザーの移動指示が制限された移動指示に該当するか否かが判定される。この処理は、画像上に非制限範囲（表示領域の移動が制限されない範囲）を設定し、ユーザーの移動指示がこの非制限範囲内での移動を指示するものか否かを判定することで実現できる。画像の検査抜けが発生しないように表示領域の移動を規制することができさえすれば、非制限範囲はどのように設定してもよい。例えば、以下に述べるように本実施例では、表示領域の現在の位置を基準とし且つ所定の移動方向に平行となるように移動可能範囲（非制限範囲に相当）が設定される。この方法の場合、表示領域の現在位置に応じて非制限範囲が動的に変化する。或いは後述するように、検査対象の画像の全体を順に走査するように表示領域の移動経路（非制限範囲に相当）を設定し、この経路に沿った移動しかできないようにしても良い（図１５、図１６参照）。

図５は、本実施例におけるステップＳ４０９の処理の詳細を説明するためのフローチャートである。ステップＳ４０９の動作が開始されると、ステップＳ５００において、移動指示変更部３０５は、移動指示の内容が後述する第一移動方向への移動であるか否かを判定する。そして、第一移動方向への移動であると判定された場合には、移動指示変更部３０５はステップＳ５０１において、この移動が第二移動方向における現在位置において初めての第一移動方向への移動であるか否かを判定する。ステップＳ５０１において初めての第一移動方向への移動であると判定されると、移動指示変更部３０５はステップＳ５０２において、第一移動方向の移動可能範囲を後述の方法により算出して設定する。ステップＳ５０１において初めての移動ではないと判定されるか、ステップＳ５０２の処理が行われると、処理はステップＳ５０３へ移行する。ステップＳ５０３では、移動指示変更部３０５は、移動指示に基づく移動先が第一移動方向の移動可能範囲内であるか否かを判定し、移動可能範囲内であると判定されると、制限された移動指示ではないと判断して処理を終了する。また、ステップＳ５０３において移動可能範囲内ではないと判定されると、制限された移動指示であると判断して処理を終了する。

一方、ステップＳ５００において移動指示の内容が第一移動方向への移動ではないと判
定されると、移動指示変更部３０５はステップＳ５０４において、現在の表示領域の位置が第一移動方向の移動可能範囲の端部であるか否かを判定する。ステップＳ５０４において端部であると判定されると、移動指示変更部３０５はステップＳ５０５において、移動指示の内容が第二移動方向への移動であるか否かを判定する。ステップＳ５０５において第二移動方向への移動であると判定されると、移動指示変更部３０５はステップＳ５０６において、この移動が第一移動方向における現在位置において初めての第二移動方向への移動であるか否かを判定する。ステップＳ５０６において初めての第二移動方向への移動であると判定されると、移動指示変更部３０５はステップＳ５０７において、第二移動方向の移動可能範囲を後述の方法により算出して設定する。ステップＳ５０６において初めての移動ではないと判定されるか、ステップＳ５０７の処理が行われると、処理はステップＳ５０８へ移行する。ステップＳ５０８では、移動指示変更部３０５は、移動指示に基づく移動先が第二移動方向の移動可能範囲内であるか否かを判定し、移動可能範囲内であると判定されると、制限された移動指示ではないと判断して処理を終了する。また、ステップＳ５０８において移動可能範囲内ではないと判定されると、制限された移動指示であると判断して処理を終了する。また、ステップＳ５０４において端部ではないと判定された場合、或いは、ステップＳ５０５において第二移動方向への移動ではないと判定された場合には、制限された移動指示であると判断して処理を終了する。

本実施例では制限された移動指示であると判断された場合に、その移動指示を破棄（無視）しているが、その代わりに、移動後の表示領域の位置が移動可能範囲内に収まるように移動指示の内容（移動方向、移動量など）を自動的に修正しても良い。例えば、移動指示で指定された移動方向が第一移動方向でも第二移動方向でもない場合に、移動指示の内容を第一移動方向の成分と第二移動方向の成分に分解し、２つの成分のうち移動可能範囲内の移動となる方のみを移動指示として採用しても良い。或いは、移動指示で指定された移動量又は移動先が移動可能範囲から外れていた場合に、移動量を小さくしたり、移動先を変更したりすることで、移動後の表示領域が移動可能範囲に収まるようにしても良い。このように移動指示の内容を自動的に修正するようにすることで、ユーザーの操作性を一層向上することができる。

（制限のある動作モード）
図６（ａ）及び図６（ｂ）は、撮像された画像データ、表示領域、及び、表示領域の移動に関して、本実施例の特徴である、制限のある動作モードにおける動作の様子を示している。図６（ａ）は図５のステップＳ５０２において設定される第一移動方向の移動可能範囲（非制限範囲）を説明する図である。図６（ａ）において、６００は画像データの全体を示している。６０１〜６０４は表示領域の例を示しており、画像データ６００に対する横方向（水平方向）の位置が少なくとも異なっている。６０５〜６０８は、横方向位置が異なる表示領域６０１〜６０４にそれぞれ対応した、移動可能な方向及び範囲を示している。６０５〜６０８で示される移動可能な方向は、予め決定された第一移動方向に平行であり、図６（ａ）の例では画像データに対して縦向きの方向（垂直方向）である。また、第一移動方向に関する移動可能範囲は画像データの上下端の間である。

図６（ａ）の例では、いずれの表示領域６０１〜６０４も、移動可能方向における上下端以外の位置にある。ユーザーから表示領域の移動指示を受けた場合、移動指示変更部３０５は、移動方向が６０５〜６０８に示すように第一移動方向に平行であり、且つ、移動後の表示領域が画像の上下端までの範囲に含まれるという条件を満たせば、指示通りに表示領域を変更する。一方、移動指示変更部３０５は、表示領域の移動指示が第一移動方向に平行ではない方向に対して行われた場合には、表示領域の移動を行わない。また、移動指示変更部３０５は、指示された移動方向が第一移動方向に平行であったとしても、移動後の位置が移動可能範囲から外れる場合には、表示領域の移動を行わない。なお、範囲外への移動制限に関しては、表示領域が完全に画像内に収まる範囲まで移動可能にしても良
いし、或いは、表示領域に画像の少なくとも一部が含まれる範囲まで移動可能にしても良い。

一方、図６（ｂ）は図５のステップＳ５０７において設定される第二移動方向の移動可能範囲（非制限範囲）を説明する図である。なお、本実施例では第二移動方向は第一移動方向に直交する方向である。図６（ｂ）においては、表示領域６０９、６１０、６１２、６１３は画像データ６００の上端又は下端に位置している。また、６０９と６０１、６１０と６１２と６０２、６１３と６０３は、それぞれ第二移動方向に関して同位置とする。図６（ｂ）の場合には、表示領域６０９、６１０、６１２、６１３は、第一移動方向（６０５〜６０７）のみならず、第一移動方向と直交する第二移動方向（６１１、６１４）にも移動が可能である。なお、第二移動方向に関する移動可能範囲は、６１１、６１４に示されるように、表示領域の第二移動方向の長さ以下とする。すなわち、第二移動方向に対しては、現在の表示領域と移動後の表示領域の間に隙間ができない範囲でのみ移動可能にする。そのため、例えば現在の表示領域が６０９であった場合には、ユーザーからの表示領域移動指示が、６０５、或いは、６１１に示される方向及び範囲に該当する内容であった場合には指示に従って表示領域を移動させる。一方、ユーザーからの表示領域移動指示が、６０５、６１１に示される方向及び範囲のいずれにも該当しない場合には、表示領域移動は行わないか、または移動可能範囲の限界位置までの移動のみ行うようにする。

なお、ユーザーが画像検査時に画像の連続性を確認したい場合には、表示範囲に重複領域を持たせながら表示することが望ましい。このような場合には第二移動方向に平行な６１１、６１４の移動可能範囲は、表示領域の第二移動方向の長さより小さくすると良い。

また、図６（ｂ）においては表示領域６１０の第二移動方向は左側の表示領域６０９の方向のみ図示してあるが、表示領域６１０を横方向位置が表示領域６１３と同様の方向（右方向）に対して移動させることも可能である。ただし、画像データの左上端部にある表示領域６０９においては表示領域６１０と反対方向（左方向）に移動させてしまうと、表示領域が画像データから外れてしまうことになる。そのため第二移動方向に対する画像データ端部においては、画像データからはみ出してしまう方向への移動指示は実行しないようにする、或いは、画像データの一部が表示される範囲まで移動させるようにすると良い。

図６（ａ）及び図６（ｂ）の例では第一移動方向を画像データに対する縦方向、第二移動方向を画像データに対する横方向としたが、本発明はこれに限るものではない。例えば画像データに対して横方向を第一移動方向としても良い。或いは、第一移動方向は予め定められているのではなく、ユーザーによる指定を可能にしても良い。

更に、第二移動方向への移動可能位置は第一移動方向の端部のみとしたが、第一移動方向に対しても同様にして、第一移動方向への移行可能位置は第二移動方向の端部のみとしても良い。つまり図６（ｂ）を例にとると、６０５〜６０８、６１１、及び、６１４の端部位置でのみ移動方向の切り替えが可能であり、中間位置での切り替えができないようにするのでも良い。

（制限のない動作モード）
図７は、撮像された画像データ、表示領域、及び、表示領域の移動に関して、本実施例の特徴である、制限のない動作モードにおける動作の様子を示している。

６００は図６（ａ）と同様に画像データ全体を示している。７００は現在の表示範囲を示している。７０１〜７１０は画像データ全体６００の範囲内の任意の位置に置かれた表示範囲を示している。制限のない動作モード時においては、ユーザーからの表示領域の移
動指示に対しては制限を加えない。つまり、ユーザーは、表示領域を任意の方向に任意の移動量だけ移動させることができる。なお、図４、及び、図７においては説明を省略したが、制限のない動作モードにおいても、画像データの範囲外への移動に対しては図６（ａ）、図６（ｂ）で行った上述の説明と同様の制限を行うようにしても良い。

本発明の実施例１によると、画像検査時の表示領域の移動を行う際の移動の制限の有無を指示する動作モードを指定することにより、抜けが無いように行う概略確認作業と、自由な表示領域の移動を行う詳細確認作業の切り替えを行うことが可能となる。本実施例において説明した方法は例えば、まず画像中の全体像から概略確認作業を行った後に、詳しい確認が必要な領域に対してのみ詳細確認を行うような場合に有効である。具体的には、概略確認時には制限のある動作モードの選択を、一方、詳細確認時には制限のない動作モードの選択をユーザーに行ってもらう等がある。このように選択することにより、細かい調整を行いながら操作することなく概略確認時において抜けのないように確認することが可能となる。また、詳細確認時には詳細に確認したい個所の自由な移動を妨げることなく効率的に表示領域の移動を行うことが可能となる。

＜実施例２＞
実施例１においては、画像検査時の表示領域の移動を行う場合に、移動の制限の有無を指示する動作モードをユーザーが指定することにより、表示領域の移動制限の切り替えを行う例について説明した。本実施例では、端末１０７（動作モード決定部）が表示倍率に応じて自動的に動作モードを切り替えることにより、画像検査作業の効率化を図る例について説明する。

図８は本発明の実施例２における画像検査支援装置の機能構成を示す機能ブロック図である。実施例１におけるブロック図である図３と同様の項目には同じ符号を付し、説明は省略する。図８において、８００は動作モード決定部であり、表示倍率入力端子３００から入力された表示倍率に基づいて動作モードを決定する機能を有する。

図９は本実施例における画像検査支援方法の動作フローを示すフローチャートである。実施例１におけるフローチャートである図４と同様の項目には同じ符号を付し、説明は省略する。本実施例においては、動作モードを表示倍率に応じて切り替える例を説明するため、図４におけるステップＳ４１３、Ｓ４１４は削除されている。更に、ステップＳ４１１において操作指示が表示倍率変更指示であった場合の処理であるステップＳ４１２以降の処理内容が図４とは異なる。

ステップＳ４１２において入力された表示倍率の設定が行われると、処理はステップＳ９００に移行する。ステップＳ９００では、動作モード決定部８００が、現在の表示倍率が予め定められた閾値以下であるか否かを判定する。そして、閾値以下であると判定された場合には、動作モード決定部８００はステップＳ９０１において、制限のある動作モードを次回以降の動作モードとして設定する。一方、ステップＳ９００において現在の表示倍率が予め定められた閾値以下ではないと判定された場合、動作モード決定部８００はステップＳ９０２において、制限のない動作モードを次回以降の動作モードとして設定する。

本実施例によると、例えば画像検査時に比較的低い表示倍率において概略確認作業を行い、詳しい確認が必要な領域に対してのみ比較的高い表示倍率で詳細確認を行うような場合に効率的な確認作業が可能となる。詳しくは、詳細確認が必要な領域を見つけるための概略確認作業時には、抜けが無いように画像データ内を確認する必要がある。また、概略確認作業の結果決定された詳細確認が必要な領域が複数あり、画像データ内の離れた位置に分散していたとしても、各々の詳細確認が必要な領域を効率的に確認するために自由な
表示領域の移動が必要となる。そのため、比較的低い倍率において制限のある動作モードを適用し、その他の場合には制限のない動作モードを適用することにより、ユーザーが動作モードを指示する必要なく、確認作業に適した表示領域の位置変更が可能となる。なお、動作モードを切り替える表示倍率の閾値は、予め定められた値を使用すると良い。更に、ユーザーが前記表示倍率の閾値を切り替えられるようにしておくことで、被写体に応じて概略確認と詳細確認を行う際の表示倍率が異なる場合であっても被写体に応じた前記表示倍率の閾値を設定することが可能となる。その結果、画像検査作業を効率的に行うことが可能となる。

なお、上述の例では、比較的低い表示倍率の場合に制限のある動作モードを適用する方法を示したが、本発明はこれに限るものではない。例えば、ある程度高い倍率でなければ概略確認ができないような試料の場合、概略確認に使用する倍率において制限のある動作モードを適用すると良い。この場合、概略確認に使用する倍率より低い倍率においては、制限なく表示領域を変更できる方が、操作効率が良くなる。そこで、比較的高い表示倍率において制限のある動作モードを適用し、比較的低い表示倍率において制限のない動作モードを適用するようにする。更に、概略確認に使用する倍率より高い倍率では、上述の例と同様に詳細確認が行われることを考慮すると、所定の第一閾値より高い表示倍率であり、且つ所定の第二閾値より低い表示倍率時には制限のある動作モードを適用するようにすると良い。なお、前記第一閾値、及び、第二閾値は、予め定められた値を使用しても良いし、ユーザーにより変更可能とするようにしても良い。

＜実施例３＞
上述の実施例２では、表示倍率に応じて動作モードを自動的に切り替える例について説明した。実施例３では、操作指示に基づく変更後の表示領域が既に表示済みであるか否かに基づいて、動作モードの切り替えを行う例を示す。本実施例の方法は、初めて表示する領域については漏れのない確認作業が行われるべきであること、そして詳細確認を行う領域は概略確認作業において一度表示された中から選ばれること、を考慮したものである。

図１０は実施例３における画像検査支援装置の機能構成を示す機能ブロック図である。実施例１、及び、実施例２におけるブロック図である図３、及び、図８と同様の項目には同じ符号を付し、説明は省略する。

図１０において１０００は表示領域記憶部であり、表示領域移動部３０７において算出された表示済み領域情報を記憶する。１００１は動作モード決定部であり、移動指示入力端子３０２から入力された移動指示、及び、表示領域記憶部１０００から得られる表示済み領域情報に基づいて、動作モードを決定する。

図１１は本実施例における画像検査支援方法の動作フローを示すフローチャートである。実施例１、及び、実施例２におけるフローチャートである図４、及び、図９と同様の項目には同じ符号を付し、説明は省略する。本実施例においては、ユーザー指示、或いは、表示倍率に応じた動作モードの変更は行わない例を説明するため、図４におけるステップＳ４１３、Ｓ４１４、或いは、図９におけるステップＳ９００〜Ｓ９０２は削除されている。更に、ステップＳ４０７において操作指示が表示領域の移動指示であった場合の処理内容が図４、及び、図９とは異なる。

ステップＳ４０７において操作指示が表示領域の移動指示であった場合、動作モード決定部１００１はステップＳ１１００において、移動指示内容をそのまま実行した場合の表示領域が既に表示済みの領域であるか否かを判定する。表示済み領域の情報は表示領域記憶部１０００から取得される。表示済み領域であると判定された場合、動作モード決定部１００１はステップＳ１１０１において、制限のない動作モードに設定する。一方、表示
済み領域ではないと判定された場合、動作モード決定部１００１はステップＳ１１０２において、制限のある動作モードに設定する。なお、ステップＳ１１００において動作モード決定部１００１は、移動後の表示領域の全体が表示済みの場合にのみ、表示済みと判断すると良い。或いは、動作モード決定部１００１は、移動後の表示領域に表示済みの領域が少しでも含まれていれば表示済みと判断しても良い。

ステップＳ１１０１、或いはステップＳ１１０２において動作モードの設定が行われると処理はステップＳ４０８に移行し、上述したとおりにステップＳ４１０まで処理が行われる。ステップＳ４１０において入力された移動指示が設定されると、処理はステップＳ１１０３に移行して、表示領域移動部３０７が表示済み領域の情報を表示領域記憶部１０００に格納する。ステップＳ１１０３の処理が終了すると、処理はステップＳ４０４に移行する。

なお、移動指示内容をそのまま実行した場合に表示済み領域を部分的に通過した後に、未表示領域を移動する場合がある。このような場合には、ステップＳ１１００の表示済みか否かの判断は、指示の開始時点で１回行うのではなく、所定時間間隔毎、或いは、所定移動量毎に行うようにしても良い。また、移動指示を表示済み領域内と未表示領域内で分けて判断するようにしても良い。例えば、表示済み領域を部分的に通過した後に未表示領域を移動する場合には、ユーザーの移動指示を、現在の表示領域から表示済み領域と未表示領域の境界までの移動指示と、該境界から指示された位置までの移動指示の２つの移動指示に分割する。そして、最初は表示済みの判断により動作モードを決定し、次に未表示領域に移行した際には未表示の判断により動作モードを決定する。

逆に、移動指示内容をそのまま実行した場合に未表示領域を部分的に通過した後に、表示済み領域を移動する場合には、最初は未表示の判断により動作モードを決定し、次に表示済み領域に移行した際には表示済の判断により動作モードを決定すると良い。

図１２（ａ）及び図１２（ｂ）は、撮像された画像データ、表示領域、及び、表示領域の移動に関して、本実施例の特徴である表示済み領域と動作モードの様子を示している。図１２（ａ）及び図１２（ｂ）において、６００は画像データの全体を示している。図１２（ａ）は画像データ全体６００における表示済み領域と未表示領域の様子を示している。図１２（ａ）において、１２００で示される斜線の範囲は表示済み領域を示している。１２０１〜１２０４は表示領域の移動の様子を示しており、１２０１、１２０２、１２０３、１２０４の順に移動し、現在の表示領域が１２０４であるものとして説明する。表示領域が１２０１から１２０４まで移動すると、移動の間に表示が行われた領域が１２００で示す範囲となる。１２０５は未表示領域を示しており、画像データ６００の全体のうち表示済み領域１２００以外の領域である。

図１２（ｂ）は、表示済み領域１２００、未表示領域１２０５と、表示領域の移動の様子を示している。１２０６は表示済み領域１２００中に全てが含まれる１２０４と同じ大きさの領域であり、１２０４から１２０６への表示領域の移動指示が行われる場合には、表示済み領域内での移動となる。このような場合には、制限のない動作モードを適用し、ユーザーに自由な操作性を提供する。一方、１２０７は未表示領域１２０５中に全てが含まれる１２０４と同じ大きさの領域であり、１２０４から１２０７への移動指示が行われる場合には表示済み領域外への移動となる。このような場合には、制限のある動作モードを適用し、１２０７への移動を行わないようにする。なお、現在の表示領域１２０４から未表示領域１２０５への移動に対しては、例えば図６で説明したように端部における特定方向への特定範囲内の移動を可能とし、図１２（ｂ）においては１２０８への移動は可能とする。１２０９は表示済み領域１２００、及び、未表示領域１２０５の双方にまたがっている、１２０４と同じ大きさの領域である。１２０４から１２０９への移動指示が行わ
れる場合、１２０９は未表示領域１２０５を含むため、１２０７への移動と同様に制限のある動作モードを適用すると良い。

なお、図１２（ａ）及び図１２（ｂ）の説明では簡略化のため表示済み領域１２００を矩形で示した。しかし、実際に記憶される表示済み領域の形状は様々な場合が考えられ、例えば１２０３から１２０４に移動する途中の状態においては、表示済み領域は右上が欠けたＬ字形の領域として記憶される。更に、表示倍率が変化すると画像データ上の表示される面積が変化するため、記憶される表示済み領域は、更に複雑になる。

本実施例では動作モードの変更を行うにあたり、移動後の表示領域が表示済み領域であるか否かの判断に基づく例を挙げて説明したが、本発明はこれに限るものではない。例えば、表示倍率を低下させ画像データに対する表示範囲を広くした場合、広がった表示領域が未表示領域を含むようになる可能性がある。このような場合には、表示領域の移動の代わりに表示倍率の変更に基づいて動作モードを切り替えるようにし、現在の動作モードを制限のある動作モードに変更するようにしても良い。逆に、表示倍率を高めて画像データに対する表示領域を狭くした場合、狭くなった表示領域が表示済み領域中に収まることになる。このような場合にも同様に、表示倍率の変更に基づいて現在の動作モードを制限のない動作モードに変更するようにしても良い。このようにすることで、制限のない動作モードにおいて表示済み領域端部で詳細確認を行っている最中に、近傍の未表示領域を追加で確認したくなった場合に、作業に応じた適切な動作モードに切り替えることが可能となる。つまり、表示倍率を下げて表示範囲を広くし、未確認領域を新たに表示させる場合に、自動的に制限のない動作モードから制限のある動作モードに切り替えることが可能となる。また、制限のある動作モードにおいて未表示領域中を新規に表示してゆく概略確認作業中に、一時的に表示倍率を高くして詳細確認を行う場合にも、作業に応じた適切な動作モードに切り替えることが可能となる。つまり、表示倍率を上げて表示範囲を狭くし、表示領域が表示済み領域中に収まるようになる場合に、自動的に制限のある動作モードから制限のない動作モードに切り替えることが可能となる。

本実施例においては表示履歴に基づいて動作モードを変更する例を示したが、本発明はこれに限るものではなく、実施例１、或いは、実施例２で説明したような他の方法による動作モード切り替え方法との組み合わせても良い。例えば、まず実施例１、或いは、実施例２等の方法で動作モードの切り替えを行う。そして、制限のある動作モードであった場合にのみ、更に表示履歴に基づく判定を行い、既に表示済みである領域への表示領域の移動であった場合には、動作モードを再度切り換えて制限のない動作モードにするなどが挙げられる。このようにすることで、最初に制限のない動作モードが設定された場合には、表示履歴に依存せず自由な表示領域の移動が可能となり、所望の位置への表示領域の移動を効率的に行うことが可能となる。更に、最初に制限のある動作モードが設定された場合には、表示履歴に基づいて制限のある動作モードと制限のない動作モードを設定することが可能となり、表示状況に応じて抜けが無く、効率的な表示領域の移動が可能となる。

逆に、まず実施例１、或いは、実施例２等の方法で制限のない動作モードが指定されていた場合にのみ、更に表示履歴に基づく判定を行い、未表示領域への表示領域移動であった場合には、動作モードを再度切り換えて制限のある動作モードにしても良い。このようにすることで、最初に制限のある動作モードが設定された場合には、表示履歴に依存せず抜けの無い表示領域の移動が可能となり、抜けの無い概略確認を確実に行うことが可能となる。更に、最初に制限のない動作モードが設定された場合には、表示履歴に基づいて制限のある動作モードと制限のない動作モードを設定することが可能となり、表示状況に応じて抜けが無く、効率的な表示領域の移動が可能となる。

本実施例によると、操作指示に基づく変更後の表示内容が既に表示済みであるか否かに
基づいて、動作モードの切り替えを行う。その結果、既に確認したかどうかが不明な領域に対しては、抜けが発生し得るような表示領域の移動が禁止され、検査抜けを未然に防止できる。更に、既に確認済みの領域に対しては、表示領域を自由に移動できるため、効率的な確認作業が可能になる。

＜実施例４＞
実施例１〜３においては、表示領域の移動に関して制限のある動作モードを適用し、移動方向や移動量を制限する例を示した。本実施例においては、制限のある動作モードの適用時に、表示領域の移動速度を変更する例を示す。

本実施例における機能ブロック図は、実施例１の機能ブロックを説明した図３と同様であり、図３中の移動指示変更部３０５が変更する移動指示内容が、移動方向と移動量ではなく、移動速度であることが実施例１と異なる。

図１３は本実施例における画像検査支援方法の動作フローを示すフローチャートである。実施例１におけるフローチャートである図４と同様の項目には同じ符号を付し、説明は省略する。図１３は、ステップＳ４０８で制限のある移動モードであると判断された後に行われる処理内容が図４とは異なる。ステップＳ４０８において現在の動作モードが制限のある動作モードであると判定され、ステップＳ４０９において制限された移動指示であると判断されると、移動指示変更部３０５はステップＳ１３００において表示領域の移動速度を低速な移動速度に設定する。一方、ステップＳ４０９において制限された移動指示ではないと判断された場合は、移動指示変更部３０５はステップＳ１３０１において表示領域の移動速度を標準の移動速度に設定する。なお、上記低速な移動速度、及び、標準の移動速度は予め定められた値を用いても良いし、ユーザーが事前に指定するようにしても良い。

図１４は、撮像された画像データ、表示領域、及び、表示領域の移動に関して、本実施例の特徴である制限のある動作モード時の移動方向と移動速度の様子を示している。１４００は現在の表示領域を示している。１４０１、及び、１４０２は制限のある動作モードにおいて標準の速度で移動可能な範囲の表示領域の例を示しており、上述の図６（ａ）及び図６（ｂ）において説明した制限のある動作モード時の移動可能な方向、及び範囲と同様である。１４０３は制限のある移動モードにおいて標準の速度で移動可能な範囲ではない領域に含まれる表示領域である。１４００から１４０１、及び、１４０２へ表示領域が移動する場合には、標準の移動速度で表示領域を移動させることが可能である。一方、１４００から１４０３へ表示領域を移動させる場合には、標準の移動速度より低速な移動速度で表示領域の移動が行われる。

なお、本実施例における上述の説明は、実施例１において説明した制限のある動作モードにおいて、表示領域の移動速度を切り替える例を説明した。しかし、本実施例はこれに限るものではなく、例えば、実施例２、或いは、実施例３で説明した方法による動作モードに、本実施例で示した表示領域の移動速度の切り替えを適用しても良い。なお、実施例３の表示履歴に基づいて動作モードを切り替える方法を適用する場合には、表示領域を常に記憶しておく方法以外に、移動速度が標準である場合にのみ表示領域を記憶するようにしても良い。このようにすることで低速な移動中の表示領域が記憶されなくなり、標準の移動速度で移動しながら表示された領域以外の表示においては移動速度が低速なままになる。その結果、繰り返し同じ領域を表示させた場合でも、抜けが発生しないような表示領域移動から外れた操作を行っていることがユーザーに分かりやすくなるという効果がある。

本実施例によると、概略確認時のように抜けが発生しないように表示領域を移動させる
場合に、抜けが発生しないような移動とは区別しながら、抜けが発生する可能性があるような例外的な表示領域移動を行うことが可能となる。しかも、そのような例外的な操作に対しては表示領域の移動速度を低くすることにより、ユーザーに例外的な操作であることを認識させることができると共に、抜けの発生をできるだけ抑えることが可能となる。

＜その他の実施例＞
本発明は上述の実施例１〜４に限定されるものではなく、他の様々な実施形態がある。

上述の実施例において、図６（ｂ）を用いた説明では第一移動方向における移動可能範囲の端部において、第二移動方向に移動可能な例を示した。しかし、第二移動方向への移動が可能となる位置を移動可能範囲の端部に限定しない方法も挙げられる。例えば、第一移動方向に平行な移動可能範囲に関する表示状況に基づいて、第二移動方向への移動を許可するか否かを決定しても良い。具体的には、例えば図６（ｂ）において移動可能範囲６０５における全ての位置において表示が行われていた場合には、第二移動方向への移動である移動可能範囲６０６への移動を任意の位置で可能にする。一方、移動可能範囲６０５において表示されていない箇所が存在する場合には、第二移動方向への移動は許可しない。なお、第二移動方向への移動可能量は上述の実施例において移動可能範囲６１１で説明したものと同様に、抜けが発生しない範囲にするとよい。このようにすることで、端部以外の位置でも第二移動方向への移動が可能となり、注目すべき画像成分が第一移動方向の端部ではない位置に存在した場合であっても、特に第二移動方向に関して連続性を失わずに検査を行うことが可能となる。
また、上述の実施例において、移動指示変更部３０５が変更する移動指示内容として、移動方向、移動量、移動速度を示した。しかし、例えば、移動指示変更部３０５が変更する移動指示内容は移動加速度であっても良い。また、移動指示変更部３０５が変更する移動指示内容は表示位置の移動の連続性であっても良く、制限のない場合には連続的に表示位置を変更し、制限のある場合には所定間隔毎に不連続に表示位置を変更しても良い。要するに、画面表示が行われない部分が発生する可能性のある操作指示を行ってしまったことがユーザーに分かるのであれば、移動指示変更部３０５が変更する移動指示内容は何でも良い。

他の実施例としては例えば、表示領域の移動に制限がある動作モードの場合に、予め定められた移動経路上のみを移動可能にしても良い。移動経路は、検査対象の画像の全体を順に走査するように設定される。移動経路の例としては例えば、図１５、或いは、図１６に示すようなものがある。図１５の例では、１５００、１５０１、１５０２、１５０３、１５０４、…のように画像データ全体６００中をジグザグに走査する。図１６の例では、１６００、１６０１、１６０２、１６０３、１６０４、１６０５、１６０６、…のように、画像データ全体６００中の外周から走査を行い、順次内側に走査してゆく例である。なお、移動経路は図１５、或いは、図１６の例に限定されるものではなく、画像全体を漏れなく走査可能であればどのような経路であっても構わない。更に、移動経路は予め定められたものではなく、実行前にユーザーが指定可能にしても良い。なお、この場合、実施例３で説明した方法に基づいた動作モード切り替えと組み合わせても良く、表示済み領域に対しては自由に移動可能にしても良い。更には、実施例４と組み合わせることにより、移動経路を外れた移動が行われた場合には、移動速度を低下させるようにしても良い。移動経路を画像検査前に予め決定しておくことにより、異なる画像に対しても同じ表示領域の移動経路をたどりながら検査を行う可能となる。

また、上述の説明のように移動経路が画像検査前に決定されている場合には、ユーザーによる操作指示を更に簡略化することも可能である。具体的にはユーザーにマウスやキーボードなどを使用して移動方向を指示させるのではなく、特定のボタンの押下に応じて、所定経路を自動的に移動するようにする等が挙げられる。なお、特定のボタンはマウスや
キーボードのいずれかのボタンであっても良く、例えば、詳細確認時の移動方向を指示するボタンのいずれかのボタンの押下に対して移動が実行されるなどが挙げられる。もちろん、詳細確認時の移動方向を指示するボタン以外のボタンを適用しても良い。この場合、ボタンの押下中のみ移動するようにしても良く、或いは、最初の押下で移動が開始した後はボタンを離しても移動を続け、再度ボタンが押下されると移動が停止するようにしても良い。なお、特定のボタンの押下による移動方法は概略確認作業と詳細確認作業が組み合わせて行われる場合のみならず、概略確認作業のみが行われる画像検査に適用してもよい。この場合には動作モード切り替えは省略し、予め決定された経路上を移動する動作のみが行われる。このように、予め移動経路を決定させ、かつ特定のボタンの押下のみで表示領域を移動させることにより、ユーザーが行う操作指示を簡略化させることが可能になる。

更に、他の実施例として例えば、図６（ａ）及び図６（ｂ）で説明した制限のある動作モード時に検査範囲（表示領域が移動する動作範囲）を限定しても良い。図１７は動作範囲を限定する一例を示す図であり、１７００はプレパラート１０１に載せられた試料を示している。１７０１は試料１７００が完全に含まれる範囲を示している。前述の実施例においては、図６（ａ）及び図６（ｂ）で説明したように表示領域の移動は画像データ全体６００に対して行うようにしたが、１７０１の範囲に限定しても良い。動作範囲１７０１は、画像データを解析し、例えば色、輝度、エッジなどに基づいて画像データ全体６００から試料１７００を検出し、この試料１７００を含む最小矩形を計算することで決定すると良い。なお、試料の検出に際して誤差が発生する場合には最小矩形ではなく、試料が確実に含まれるように十分に余裕をもった範囲を設定するようにしても良い。つまり、動作範囲１７０１が元の画像データ６００のサイズよりも小さくなるようにすれば良い。また、ユーザーが動作範囲１７０１を指定可能なようにしても良い。ユーザーが指定することを可能にした場合、試料１７００が含まれる領域全体だけでなく、試料中の一部の領域のみに注目して指定することも可能となる。或いは、試料１７００の存在範囲（つまり、検査すべき範囲）が予めわかっている場合には、（画像データ解析やユーザー指定を行わずに）自動的に動作範囲を設定するようにしても良い。

更に限定する範囲は矩形に限らず、例えば、平行四辺形、任意の多角形、円形など他の形状でも構わない。また、その場合、前述の実施例では第二移動方向は第一移動方向に直交するとしたが、直交していなくても良い。

以上述べたように、動作範囲を限定可能にすることにより、画像データ全体６００中の必要な領域にのみ注目して画像検査を行うことが可能となり、作業の無駄を省くことが可能となる。

更に、他の実施例として例えば、回転を考慮しても良い。具体的には、入力された画像データ中の試料の向きが所望の向きではない場合がある。或いは、無駄な領域を省くため上述のように範囲を限定する場合に、回転を考慮して範囲を限定することにより、試料の存在しない無駄な領域を減らすことが可能になる場合がある。このような場合、回転を考慮することにより無駄な領域が減少して作業効率を向上させることが可能となる。図１８（ａ）〜図１８（ｃ）は回転を考慮する方法の一例を示す図である。図１８（ａ）において１８０１は試料を示している。図１８（ｂ）は図１８（ａ）の画像データを回転させる例を示しており、上述の動作に先んじて行われる。１８０２は回転前の試料を、１８０３は回転後の試料を示している。制限のある動作モード時の表示領域移動方向が画像データ全体６００に対して垂直、及び、水平方向であった場合、１８０２を含む矩形範囲１８０４に比べて１８０３を含む矩形範囲１８０５の方が小さい。その結果、制限のある動作モード時の検査範囲を狭くすることが可能となる。

また、図１８（ｃ）は前述の第一移動方向、及び第二移動方向をユーザーが設定可能とする例である。すなわち画像情報ではなく、移動可能方向を回転させることを可能とする例である。１８０６は第一移動方向、１８０７は第二移動方向を示しており、いずれも画像データ全体６００の垂直、水平方向に限定されない方向になっている。図１８（ｃ）に示すように移動方向を自由に設定可能にすることにより、動作範囲中の試料の無い領域を減らすことが可能となる。なお、第二移動方向は第一移動方向に直交するようにし、第一移動方向のみを指定すれば良い。或いは、第一、及び、第二移動方向の双方を設定するようにするのでも良く、その場合、第二移動方向は第一移動方向に直交していなくても良い。

更に、他の実施例として例えば、制限のある動作モード時の表示領域の移動制限時、或いは、移動履歴に基づく表示領域の移動制限時において表示されたと判断する領域を実際に表示された領域より狭める方法がある。現在表示されている領域中における十分に狭い範囲を注目領域として観察する場合に、該注目領域の周辺領域との比較を行いながら観察することが必要となる場合がある。このような場合、該注目領域が画面の端に表示されていると比較対象となる周囲の画像が画面外になり表示されない可能性があるため、該注目領域を画面の中央付近に移動させて確認することが必要となる。この場合に、もし表示画面中に表示された領域を全て表示済み領域と判断してしまうと、確認に適さない端部の位置に表示された領域までも表示済み領域と判断されてしまい、適切な確認が行えない可能性がある。そこで、画面上に表示された範囲の中で予め定められた中央付近の所定範囲の領域のみを表示済み判定対象とする。そして、中央付近の所定範囲の領域に関して、抜けが無いような表示領域の移動制限を適用することで、実際に確認することが可能な領域を抜けが無いように確実に表示させることが可能となる。

更に、他の実施例として例えば、ディスプレイ１０８上に表示されたアプリケーションウィンドウ内の異なる位置に複数の画像を表示するための描画エリアがあり、同一、或いは、異なる画像の表示を並列に実行する際の適用方法がある。図１９に示すようにウィンドウ１９００中に第一の描画エリア１９０１、及び、第二の描画エリア１９０２があり、各描画エリアに対して上述の表示領域の画像が描画される。そして、それぞれの描画エリアに対しては、単一の画像に対して位置や表示倍率を変更した結果を並べて表示する、或いは、異なる画像を並べて表示することを可能にする形態とする。更に、第一の描画エリア１９０１、及び、第二の描画エリア１９０２の表示領域の移動、或いは、表示倍率の変更は各々独立して実行可能である。そして、第一の描画エリア１９０１、及び、第二の描画エリア１９０２に表示された画像中の特徴となる部分を比較しながら画像を確認できるようにする。このような場合、各々の描画エリアに対して個別に動作モードが設定可能であると良い。そして、描画エリア毎に動作モードが決定され、描画エリア内に描画される画像の表示領域移動制限を独立して行うことができるようにする。このようにすることにより、抜けの無い表示領域移動と自由な表示領域移動が、他方の描画エリア中に描画された画像の確認時に設定された動作モードの影響を受けることがなくなる。なお、図１９の説明では一つのウィンドウ内に複数の描画領域が存在する例を示したが、本発明はこれに限るものではなく、例えば複数のウィンドウにそれぞれ描画領域が存在する構成であっても良い。

なお、上述の実施例はＣＰＵ２００によって実行されるプログラムにより実現されるものとして説明したが、本発明はこれに限るものではない。例えば、上述の一部、或いは全部をハードウェアにより構成するようにしても良い。

上述の実施例においては、撮像を行う装置として顕微鏡を例に挙げたが本発明はこれに限るものではなく、他の様々な装置を用いて取得された画像に対して適用可能である。そして、本発明は、抜けが無いように画像を概略確認する作業と、特定の領域の詳細確認を
行うために効率的に表示位領域を移動させる作業を、組み合わせて行うような様々な用途で使用可能である。

１０７：端末、１０８：ディスプレイ
３０１：動作モード入力端子、３０２：移動指示入力端子
３０４：動作モード決定部、３０５：移動指示変更部、３０７：表示領域移動部、３０８：表示制御部

Claims (12)

1. 検査対象の画像の一部の領域を表示領域として表示装置に表示し、その表示領域を画像内で移動させながら当該画像の検査を行う作業を支援するための画像検査支援方法であって、
   コンピュータが、表示領域の自由な移動を認める第１の動作モードと、表示領域の移動に制限を付ける第２の動作モードとを含む複数の動作モードの中から、動作モードを決定する動作モード決定工程と、
   コンピュータが、ユーザーにより入力された表示領域の移動指示を取得する移動指示取得工程と、
   コンピュータが、現在の動作モードと前記移動指示取得工程で取得した移動指示とに基づいて表示領域を移動させる表示領域決定工程と、
   コンピュータが、前記移動した表示領域に対応する部分の画像を表示装置に表示させる表示工程と、
   コンピュータが、ユーザーにより入力された表示倍率の変更指示に基づいて表示装置に表示する画像の倍率を変更する工程と、を含んでおり、
   前記表示領域決定工程は、
   現在の動作モードが第２の動作モードである場合に、ユーザーにより入力された前記移動指示が予め設定された非制限範囲内での移動を指示するものか否かを判定する工程と、
   前記移動指示が前記非制限範囲内での移動を指示するものでない場合に、表示領域の移動を制限する工程と、を含み、
   前記動作モード決定工程は、前記表示倍率に応じて動作モードを切り替える
   ことを特徴とする画像検査支援方法。
2. 前記表示領域決定工程において、前記移動指示が前記非制限範囲内での移動を指示するものでない場合に、表示領域の移動において、移動方向、移動量、及び移動速度のうち少なくともいずれかを制限する
   ことを特徴とする請求項１に記載の画像検査支援方法。
3. 前記表示領域決定工程において、前記移動指示が前記非制限範囲内での移動を指示する
   ものである場合に、前記移動指示のとおりに移動後の表示領域の位置を設定し、それ以外の場合に、表示領域を移動させないか、又は、前記非制限範囲内に移動後の表示領域の位置を設定する
   ことを特徴とする請求項１又は請求項２に記載の画像検査支援方法。
4. 前記表示領域決定工程において、
   前記移動指示が前記非制限範囲内での移動を指示するものである場合に、表示領域の移動速度を標準の移動速度に設定し、
   前記移動指示が前記非制限範囲内での移動を指示するものでない場合に、表示領域の移動速度を前記標準の移動速度よりも低い移動速度に設定する
   ことを特徴とする請求項１又は請求項２に記載の画像検査支援方法。
5. 前記動作モード決定工程は、ユーザーにより入力された動作モードの変更指示にしたがって動作モードを決定する
   ことを特徴とする請求項１乃至請求項４のうちいずれか１項に記載の画像検査支援方法。
6. 前記動作モード決定工程は、前記表示倍率が所定の閾値以下であった場合に、動作モードを第２の動作モードに設定し、それ以外の場合に、動作モードを第１の動作モードに設定する
   ことを特徴とする請求項１に記載の画像検査支援方法。
7. 検査対象の画像の一部の領域を表示領域として表示装置に表示し、その表示領域を画像内で移動させながら当該画像の検査を行う作業を支援するための画像検査支援方法であって、
   コンピュータが、表示領域の自由な移動を認める第１の動作モードと、表示領域の移動に制限を付ける第２の動作モードとを含む複数の動作モードの中から、動作モードを決定する動作モード決定工程と、
   コンピュータが、ユーザーにより入力された表示領域の移動指示を取得する移動指示取得工程と、
   コンピュータが、現在の動作モードと前記移動指示取得工程で取得した移動指示とに基づいて表示領域を移動させる表示領域決定工程と、
   コンピュータが、前記移動した表示領域に対応する部分の画像を表示装置に表示させる表示工程と、
   コンピュータが前記表示工程において表示した画像内の領域を表示済み領域として記憶装置に記憶する工程と、を含んでおり、
   前記表示領域決定工程は、
   現在の動作モードが第２の動作モードである場合に、ユーザーにより入力された前記移動指示が予め設定された非制限範囲内での移動を指示するものか否かを判定する工程と、
   前記移動指示が前記非制限範囲内での移動を指示するものでない場合に、表示領域の移動を制限する工程と、を含み、
   前記動作モード決定工程は、前記移動指示に基づき移動させた場合の表示領域の位置が前記表示済み領域に含まれていない場合に、動作モードを第２の動作モードに設定し、それ以外の場合に、動作モードを第１の動作モードに設定する
   ことを特徴とする画像検査支援方法。
8. コンピュータが、検査対象の画像に対し、その画像よりも小さいサイズの動作範囲を設定する工程を更に含み、
   現在の動作モードが第２の動作モードである場合に、前記表示領域決定工程は、表示領域が移動する範囲を前記動作範囲の中に限定する
   ことを特徴とする請求項１乃至請求項７のうちいずれか１項に記載の画像検査支援方法。
9. 前記非制限範囲は、検査対象の画像の全体を順に走査するように設定された、表示領域の移動経路である
   ことを特徴とする請求項１乃至請求項８のうちいずれか１項に記載の画像検査支援方法。
10. 検査対象の画像の一部の領域を表示領域として表示装置に表示し、その表示領域を画像内で移動させながら当該画像の検査を行う作業を支援するための画像検査支援装置であって、
    表示領域の自由な移動を認める第１の動作モードと、表示領域の移動に制限を付ける第２の動作モードとを含む複数の動作モードの中から、動作モードを決定する動作モード決定手段と、
    ユーザーにより入力された表示領域の移動指示を取得する移動指示取得手段と、
    現在の動作モードと前記移動指示取得手段で取得した移動指示とに基づいて表示領域を移動させる表示領域決定手段と、
    前記移動した表示領域に対応する部分の画像を表示装置に表示させる表示制御手段と、
    ユーザーにより入力された表示倍率の変更指示に基づいて表示装置に表示する画像の倍率を変更する手段と、を有しており、
    前記表示領域決定手段は、
    現在の動作モードが第２の動作モードである場合に、ユーザーにより入力された前記移動指示が予め設定された非制限範囲内での移動を指示するものか否かを判定し、
    前記移動指示が前記非制限範囲内での移動を指示するものでない場合に、表示領域の移動を制限し、
    前記動作モード決定手段は、前記表示倍率に応じて動作モードを切り替える
    ことを特徴とする画像検査支援装置。
11. 検査対象の画像の一部の領域を表示領域として表示装置に表示し、その表示領域を画像内で移動させながら当該画像の検査を行う作業を支援するための画像検査支援装置であって、
    表示領域の自由な移動を認める第１の動作モードと、表示領域の移動に制限を付ける第２の動作モードとを含む複数の動作モードの中から、動作モードを決定する動作モード決定手段と、
    ユーザーにより入力された表示領域の移動指示を取得する移動指示取得手段と、
    現在の動作モードと前記移動指示取得手段で取得した移動指示とに基づいて表示領域を移動させる表示領域決定手段と、
    前記移動した表示領域に対応する部分の画像を表示装置に表示させる表示制御手段と、
    前記表示制御手段で表示した画像内の領域を表示済み領域として記憶する記憶手段と、を有しており、
    前記表示領域決定手段は、
    現在の動作モードが第２の動作モードである場合に、ユーザーにより入力された前記移動指示が予め設定された非制限範囲内での移動を指示するものか否かを判定し、
    前記移動指示が前記非制限範囲内での移動を指示するものでない場合に、表示領域の移動を制限し、
    前記動作モード決定手段は、前記移動指示に基づき移動させた場合の表示領域の位置が前記表示済み領域に含まれていない場合に、動作モードを第２の動作モードに設定し、それ以外の場合に、動作モードを第１の動作モードに設定する
    ことを特徴とする画像検査支援装置。
12. 請求項１乃至請求項９のうちいずれか１項に記載の画像検査支援方法の各工程をコンピュータに実行させることを特徴とするプログラム。

Images