WO2018154981A1 - 画像処理装置、プログラム及び画像処理方法 - Google Patents

画像処理装置、プログラム及び画像処理方法 Download PDF

Info

Publication number
WO2018154981A1
WO2018154981A1 PCT/JP2018/000228 JP2018000228W WO2018154981A1 WO 2018154981 A1 WO2018154981 A1 WO 2018154981A1 JP 2018000228 W JP2018000228 W JP 2018000228W WO 2018154981 A1 WO2018154981 A1 WO 2018154981A1
Authority
WO
WIPO (PCT)
Prior art keywords
region
image processing
unit
position information
interest
Prior art date
Application number
PCT/JP2018/000228
Other languages
English (en)
French (fr)
Inventor
祐二 春木
郁美 荒井
直顕 平田
陽一 上田
智春 谷内上
Original Assignee
Eizo株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Eizo株式会社 filed Critical Eizo株式会社
Priority to US16/486,996 priority Critical patent/US11437001B2/en
Publication of WO2018154981A1 publication Critical patent/WO2018154981A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/08Cursor circuits
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37Details of the operation on graphic patterns
    • G09G5/373Details of the operation on graphic patterns for modifying the size of the graphic pattern
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387Composing, repositioning or otherwise geometrically modifying originals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user
    • G06T2207/20104Interactive definition of region of interest [ROI]
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/045Zooming at least part of an image, i.e. enlarging it or shrinking it
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0464Positioning
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00Specific applications
    • G09G2380/08Biomedical applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Optics & Photonics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Biophysics (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Facsimiles In General (AREA)

Abstract

【課題】他のプログラムの機能と干渉することを回避可能な画像処理装置、プログラム及び画像処理方法を提供する。 【解決手段】本発明によれば、表示部における位置を表す位置情報を検出する位置情報検出部と、前記位置情報に基づいて、前記表示部における関心領域の位置を決定する領域位置決定部と、前記関心領域内又は前記関心領域外の少なくとも一方の画像に対して画像処理を行う画像処理部と、を備え、前記領域位置決定部は、前記画像処理に伴い前記位置情報が変更された場合、前記変更される直前における前記位置情報に基づいて、前記関心領域の位置を決定するように構成される、画像処理装置が提供される。

Description

画像処理装置、プログラム及び画像処理方法
 本発明は、画像処理装置、プログラム及び画像処理方法に関する。
 モニターに表示する画像の一部を関心領域とし、関心領域内又は関心領域外の画像に対して画像処理を行う画像処理装置が実用化されている。
 特許文献1には、画像の一部をハイライト表示することが可能な画像処理装置が開示されている。
WO2012/085163号公報
 ところで、画像処理装置には、種々のプログラムが格納される場合がある。例えば、所定のドキュメントを表示するビューアー等が格納される場合がある。ここで、関心領域内外に画像処理を行うときに、ビューアーの仕様によっては、画像処理とビューアーの機能が干渉し、モニターに表示される画像が好ましくない態様になる場合がある。
 本発明はこのような事情に鑑みてなされたものであり、他のプログラムの機能と干渉することを回避可能な画像処理装置、プログラム及び画像処理方法を提供するものである。
 本発明によれば、表示部における位置を表す位置情報を検出する位置情報検出部と、前記位置情報に基づいて、前記表示部における関心領域の位置を決定する領域位置決定部と、前記関心領域内又は前記関心領域外の少なくとも一方の画像に対して画像処理を行う画像処理部と、を備え、前記領域位置決定部は、前記画像処理に伴い前記位置情報が変更された場合、前記変更される直前における前記位置情報に基づいて、前記関心領域の位置を決定するように構成される、画像処理装置が提供される。
 本発明によれば、領域位置決定部が、画像処理に伴い前記位置情報が変更された場合、変更される直前における位置情報に基づいて、関心領域の位置を決定するように構成される。これにより、位置情報が変更される直前の表示状態を維持することが可能になる。
 以下、本発明の種々の実施形態を例示する。以下に示す実施形態は互いに組み合わせ可能である。
 好ましくは、前記位置情報は、前記表示部に表示されるポインタのポインタ位置により特定される情報であり、前記領域位置決定部は、前記ポインタ位置に関連付けられた位置を前記関心領域の位置として決定する。
 好ましくは、前記画像処理が実行された場合に前記位置情報を予め定められた位置に変更する位置情報変更部を備え、前記領域位置決定部は、前記位置情報が変更された場合でも、前記位置情報が変更された後における前記関心領域の位置を前記位置情報が変更される直前の前記位置情報に決定する。
 好ましくは、前記画像処理部は、前記画像処理の実行時に前記関心領域を拡大するように構成される。
 好ましくは、前記画像処理部は、前記画像処理の実行時に前記関心領域を移動するように構成される。
 好ましくは、前記画像処理部は、前記表示部に表示される画像全体における前記関心領域の相対位置を維持した状態で、前記拡大又は前記移動を行うように構成される。
 好ましくは、前記画像処理部は、前記関心領域内又は前記関心領域外の少なくとも一方の画像の画質を維持するように画像処理を実行する。
 好ましくは、前記画像処理部は、前記画像処理の実行時に、前記関心領域を非表示とするように構成される。
 好ましくは、前記画像処理装置は、本体ユニットと、表示ユニットを備え、前記本体ユニットと前記表示ユニットは、通信可能に構成されており、前記本体ユニットは、前記位置情報検出部及び前記領域位置決定部を備え、前記表示ユニットは、前記表示部及び前記画像処理部を備える。
 好ましくは、コンピュータを、表示部における位置表す位置情報を検出する位置情報検出部、前記位置情報に基づいて、前記表示部における関心領域の位置を決定する領域位置決定部、前記関心領域内又は前記関心領域外の少なくとも一方の画像に対して画像処理を行う画像処理部、として機能させ、前記領域位置決定部は、前記画像処理に伴い前記位置情報が変更された場合、前記変更される直前における前記位置情報に基づいて、前記関心領域の位置を決定するように構成される、プログラムが提供される。
 好ましくは、位置情報検出部により、表示部における位置表す位置情報を検出する位置情報検出ステップ、領域位置決定部により、前記位置情報に基づいて、前記表示部における関心領域の位置を決定する領域位置決定ステップ、画像処理部により、前記関心領域内又は前記関心領域外の少なくとも一方の画像に対して画像処理を行う画像処理ステップ、を備え、前記領域位置決定部は、前記画像処理に伴い前記位置情報が変更された場合、前記変更される直前における前記位置情報に基づいて、前記関心領域の位置を決定するように構成される、画像処理方法が提供される。
本発明の一実施形態に係る画像処理装置1の例示的な構成図である。 画像処理装置1の機能ブロック図である。 図3A~図3Dは、関心領域ROIの種々の態様を表す概念的である。 図4A及び図4Bは、画像に関心領域ROIを設定した様子を表す図である。ここで、図4Aは図3Bに、図4Bは図3Dに対応する。 図5A~図5Cは比較例における処理を表す図である。 図6A~図6Cは本発明の一実施形態に係る画像処理装置1における処理を表す図である。 図7A~図7Cは、画像の拡大に伴って関心領域ROIを拡大させた様子を表す図である。 図8A~図8Cは、画像の拡大に伴って関心領域ROIを移動させた様子を表す図である。 図9A~図9Cは、画像の拡大に伴って関心領域ROIを拡大且つ移動させた様子を表す図である。 図10A~図10Cは、関心領域ROIが複数設定された場合における挙動を説明するための図である。 図11A及び図11Cは、PbyP機能により2画面表示させた場合においてスクリーン全体で関心領域ROIを表示させた状態を表す図である。図11B及び図11Dは、2画面毎に関心領域ROIを表示させた状態を表す図である。 本体ユニット1A及び表示ユニット1Bにより構成される画像処理装置1の機能ブロック図である。
 以下、図面を用いて本発明の実施形態について説明する。以下に示す実施形態中で示した各種特徴事項は、互いに組み合わせ可能である。
1.第1実施形態
 図1~図2に示すように、本発明の第1実施形態に係る画像処理装置1は、例えば単一の情報処理装置により構成され、制御部10、記憶部20、操作部30、及び表示部40を有する。制御部10は、記憶部20に記憶されたプログラムを読み出して種々の演算処理を実行するものであり、例えば、CPU等により構成される。記憶部20は、種々のデータやプログラムを記憶するものであり、例えば、メモリ、HDD又はSSD等により構成される。ここで、プログラムは、画像処理装置1の出荷時点においてプリインストールされていてもよく、Web上のサイトからアプリケーションとしてダウンロードしてもよく、有線又は無線通信により他の情報処理装置又は記録媒体から転送されてもよい。操作部30は、画像処理装置1を操作するものであり、例えば、マウス、キーボード、タッチパネル、タッチパッド、カメラ等を利用した動き認識装置、又は音声入力部等により構成される。表示部40は、種々の画像(静止画及び動画を含む)を表示するものであり、例えば、液晶ディスプレイ、有機ELディスプレイ、タッチパネルディスプレイ、電子ペーパーその他のディスプレイで構成される。バス70はシリアルバス、パラレルバス等で構成され、各部を電気的に接続し、種々のデータの送受信を可能にするものである
<画像処理装置1>
 図2に示されるように、画像処理装置1の制御部10は、位置情報検出部11、領域位置決定部12、位置情報変更部13、領域モード切替部14、関心領域変更部15及び画像処理部16を有する。記憶部20は、関心領域設定プログラム21、画像表示プログラム22及び位置情報記憶部23を有する。
 位置情報検出部11は、表示部40における位置を表す位置情報を検出するものである。本実施形態では、位置情報は、表示部40に表示されるポインタのポインタ位置PPにより特定される情報である。ここで、ポインタは、ユーザーが操作部30を操作することにより、任意の位置に移動させることができる。本実施形態では、ポインタの先端に対応する位置により、位置情報である座標が特定される。
 領域位置決定部12は、画像処理部16による画像処理に伴い位置情報が変更された場合、変更される直前における位置情報に基づいて、表示部40における関心領域ROIの位置を決定するものである。ここで、関心領域ROIとは、表示部40に表示される画像のうち、強調されて表示される領域であり、操作部30を操作することにより設定される。
 位置情報変更部13は、画像処理が実行された場合に、位置情報を予め定められた位置に変更するものである。そして、画像処理の実行中、つまり、位置情報が変更された場合でも、関心領域ROIの位置を位置情報が変更される直前における位置に決定する処理を行う。これは、画像表示プログラム22の仕様であり、他の処理との関係を考慮してなされるものである。
 領域モード切替部14は、関心領域ROIの表示態様を切り替えるものである。関心領域ROIの表示態様については、図3及び図4を用いて後述する。
 画像処理部16は、関心領域ROI内又は関心領域ROI外の少なくとも一方の画像に対して画像処理を行うものである。例えば、関心領域ROI内の画像の階調を高める処理や、グレースケールに適した画像処理を実行し、関心領域ROIの視認性を向上させる。また、これとは逆に、関心領域ROI外の画像の階調を低くする処理や、グレースケールに適していない画像処理を実行し、相対的に関心領域ROIの視認性を向上させてもよい。また、画像処理部16は、関心領域ROI内及び関心領域ROI外の画像に対して画像処理を行うこともできる。さらに、画像処理部16は、関心領域ROI内の画像を拡大し、関心領域ROI外の画像にオーバーラップして表示させてもよい。
 関心領域設定プログラム21は、画像処理装置1に関心領域ROIを設定するための機能を実現させるプログラムである。関心領域設定プログラム21と、位置情報検出部11、領域位置決定部12、領域モード切替部14、関心領域変更部15及び画像処理部16が協働することにより、関心領域ROIの制御が実現される。
 画像表示プログラム22は、画像処理装置1を制御し、表示部40に所定の画像を表示するための機能を実現させるプログラムである。本実施形態では、画像表示プログラム22は、所定のドキュメントを表示するビューアーである。また、画像表示プログラム22は、ポインタが非表示になった場合にポインタ位置を予め定められた位置に変更するプログラムに相当する。画像表示プログラム22と、位置情報変更部13及び画像処理部16が協働することにより、画像処理部16による画像処理と画像表示プログラム22による表示機能が干渉し得る。かかる干渉については、図5Aを用いて後述する。
 位置情報記憶部23は、位置情報を記憶するものである。本実施形態では、操作部30により操作されるポインタ位置PPを記憶する。かかる記憶は、所定時間毎に行われてもよく、ポインタの所定の移動量毎に行われてもよい。
<関心領域ROI>
 次に、図3及び図4を用いて、関心領域ROIについて説明する。ここで、図面中の矢印はポインタを表すものとし、以降の図でも同様とする。関心領域ROIは、位置情報に基づいて、位置が決定される。図3Aは、関心領域ROIを表示部40の横幅全体に渡って帯状に表示させる態様である。ユーザーは操作部30によりポインタを移動させ、ポインタ位置PPに関連付けられた位置を関心領域ROIとして決定する。図3Aの例では、ポインタ位置PPに対応する座標から表示部40の横幅全体に渡って帯状に関心領域ROIを設定することができる。図3Bは、関心領域ROIを矩形に表示させる態様である。ユーザーは操作部30によりポインタを移動させ、ポインタ位置PPに対応する座標から予め定められた大きさの矩形を生成し、関心領域ROIを設定することができる。図3Cは関心領域ROIを表示部40の中心に対して左右対称となる位置に矩形に表示させる態様である。例えば、X線画像等において、人間の肺等の略左右対称の画像を確認する際に用いられる。図3Cの例では、いずれか一方の関心領域ROIを特定すると、そのポインタ位置PPと左右対称な位置を算出し、他方の関心領域ROIを設定する。図3Dは複数の関心領域ROIを設定する態様を表す。ユーザーが操作部30によりポインタを移動させ、関心領域ROIを固定したい場所で「固定」指示を実行することにより、関心領域ROIを固定することができる。また、関心領域ROIが固定された後は、新たに生成された関心領域ROIをポインタの移動に追従させることができる。ここで、関心領域ROIの形状は任意であり、任意の大きさ及び形状の矩形、多角形、円形、楕円形、星型等とすることができる。また、ポインタ位置PPに関連付けられた位置は、ポインタの先端に限定されず、ポインタの先端から予め定められた範囲内の任意の箇所としてもよい。
 これらの表示態様は、領域モード切替部14により切り替えることができる。ここで、図3Aにおける帯の高さ、図3B~図3Dにおける矩形の大きさは、操作部30により任意の大きさに変更することができる。
 図4Aは実際の画像に関心領域ROIを設定した様子を表す図であり、図3Bの矩形表示に対応する。また、図4Bは図3Dの複数表示に対応する。このように、関心領域ROIを強調表示することにより、関心領域ROI内の画像の視認性が向上する。
<関心領域ROIの制御>
 次に、図5~図10を用いて、関心領域ROIの制御について説明する。図5A~図5Cは、本発明の比較例であり、領域位置決定部12は、現在の位置情報(すなわち、ポインタ位置PP)に基づいて、関心領域ROIを決定するように構成されている。図6A~図6Cは、本発明の一実施形態であり、画像処理に伴い位置情報が変更された場合、位置情報が変更される直前における位置情報に基づいて、関心領域ROIの位置を決定するように構成されている。ここで、本実施形態では、画像表示プログラム22の仕様により、画像処理の実行中にポインタが非表示となり、ポインタ位置PPが変更されるものである。換言すると、本実施形態では、ポインタが非表示になる直前における位置情報に基づいて、ポインタが非表示のときにおける関心領域ROIの位置を決定するように構成されている。図中におけるtは時刻を表し、矢印の方向に向けて時間が経過することを意味する。つまり、図5A~図5Cの順に時間が経過することを表す。また、図中におけるハイライト箇所が関心領域ROIを表す。以降の図においても同様である。
<比較例1>
 図5Aに示されるように、領域位置決定部12は、現在のポインタ位置PPに基づいて関心領域ROIの位置を決定し、その領域をハイライトする。
 この状態で、図5Aに示されている画像全体の階調を高めたいとする。一例では、画像表示プログラム22の仕様により、操作部30であるキーボードにより「shift+control+上向き矢印」が押下されている間に画像全体の階調を高めるようになっている。また、図5Bに示されるように、画像表示プログラム22の仕様により、かかるコマンドの押下中はポインタが非表示となる。そして、ポインタが非表示となるとき、画像表示プログラム22の仕様により、位置情報変更部13によってポインタ位置PPが予め定められた位置に変更される。図5Bの例では、表示部40の右下が予め定められた位置に相当する。そして、ポインタ位置PPの移動にともない、関心領域ROIの位置が変更される。すなわち、領域位置決定部12は、現在のポインタ位置PPに基づいて関心領域ROIの位置を決定するように構成されているので、図5Bに示されるように、位置情報変更部13によって変更された右下の位置に、関心領域ROIが設定されてしまう。ユーザーは、図5Aで示した位置を関心領域ROIとしたいにも関わらず、画像表示プログラム22の仕様によって、階調変化中における関心領域ROIの位置が勝手に変更されてしまうという不具合が生じてしまう。
 その後、キーボードによる「shift+control+上向き矢印」の押下が終了すると、図5Cに示されるように、ポインタが再表示される。このとき、画像表示プログラム22の仕様により、ポインタが再び表示されると、ポインタが非表示になる直前における位置にポインタ位置PPが戻される。これにより、関心領域ROIが図5Aの状態に戻ることになる。
 一方、本発明の一実施形態に係る画像処理装置1では、かかる問題が解決される。図6A~図6Cの例では、領域位置決定部12は、ポインタが非表示になる直前における位置情報(ポインタ位置PP)に基づいて、ポインタが非表示のときにおける関心領域ROIの位置を決定するように構成される。以下、詳細に説明する。
 図6Aに示されるように、領域位置決定部12は、現在のポインタ位置PPに基づいて関心領域ROIの位置を決定し、その領域をハイライトする。この点は、比較例1と同じである。
 この状態で、図6Aに示されている画像全体の階調を高める操作を行ったとする。このとき、位置情報変更部13によってポインタ位置PPが予め定められた位置に変更される。本実施形態では、ポインタが非表示になった場合、制御部10は、ポインタが非表示になる直前の位置情報(ポインタ位置PP)を位置情報記憶部23に記憶する。この点が本実施形態の特徴である。
 そして、ポインタが非表示になった場合、領域位置決定部12は、ポインタが非表示のときにおける関心領域ROIの位置情報をポインタが非表示になる直前のポインタ位置PPに決定するように構成される。この点が本実施形態の特徴である。このため、領域位置決定部12は、ポインタ位置PPが変更された場合でも、ポインタが非表示のときにおける関心領域ROIの位置をポインタが非表示になる直前のポインタ位置PPに決定することができる。
 その後、階調を変化させる操作が終了すると、図6Cに示されるように、ポインタが再表示される。このとき、画像表示プログラム22の仕様により、位置情報変更部13によりポインタが非表示になる直前における位置にポインタ位置PPが戻される。この点は、比較例1と同じである。
 以上のように、本実施形態では、ポインタが非表示のときには、ポインタの現在の位置情報に基づいて関心領域ROIが決定されるのではなく、非表示になる直前の位置情報に基づいて関心領域ROIが決定される。このため、ポインタが非表示になった場合に、別の位置に関心領域ROIが移動してしまうという仕様になっている画像表示プログラム22を用いる場合でも、関心領域ROIが意図せずして変更されることが抑制される。
 次に、図7~図10を用いて、関心領域ROI内の画像に対する他の画像処理について説明する。図7Aに示されている画像全体を拡大する拡大操作を開始したとする。一例では、画像表示プログラム22の仕様により、操作部30であるキーボードにより「control」が押下されているときにマウスを移動させる間に、画像が連続的又は段階的に拡大されるようになっている。図7Bに示されるように、制御部10は、拡大操作が開始されてポインタが非表示になる直前の位置情報(ポインタ位置PP)を位置情報記憶部23に記憶する。
 ポインタが非表示になった場合、領域位置決定部12は、ポインタが非表示のときにおける関心領域ROIの位置情報をポインタが非表示になる直前のポインタ位置PPに決定する。また、ポインタが非表示になった場合における関心領域ROIを拡大するように構成される。ここで、本実施形態では、拡大率は2倍であるとする。そして、画像の拡大倍率(2倍)に合わせ、関心領域ROIの大きさを2倍に拡大するように構成される。かかる拡大は、関心領域変更部15によりなされる。これにより、拡大前に関心領域ROIに含まれていた画像の全部又は大部分が、拡大後の関心領域ROIに含まれることになる。また、拡大前の関心領域ROI内に含まれる画像が、なるべく表示部40の真ん中にくるように拡大が制御される。かかる制御は、公知のパターンマッチング又は特徴ベクトルを用いることにより実現される。したがって、ユーザーが操作部30を操作し、関心領域ROIの大きさを変更する手間を省くことが可能になる。
 その後、キーボードによる「controlの押下+マウス操作」が終了すると、図7Cに示されるように、ポインタが再表示される。このとき、画像表示プログラム22の仕様により、ポインタが再表示されるときに、ポインタが非表示になる直前における位置にポインタ位置PPが戻される。
 一方、図8の例では、ポインタが非表示になった場合における関心領域ROIを移動するように構成される。つまり、拡大操作中における関心領域ROIの位置を、拡大前のポインタ位置PP及び画像処理に基づいて矢印の向きに移動させる。かかる移動は、関心領域変更部15によりなされる。例えば、拡大前の関心領域ROI内の画像と、拡大後の画像をパターンマッチング又は特徴ベクトルを用いた公知の画像追跡処理を用いて比較し、拡大前の関心領域ROI内の画像に対応する箇所に向けて関心領域ROIを移動させる。このとき、画像の拡大倍率を考慮してパターンマッチング又は特徴ベクトルを用いて画像追跡処理が実行される。
 図7及び図8の例では、拡大の前後において、表示部40に表示される画像全体における関心領域ROIの相対位置が維持されることが好ましい。
 これらの処理は互いに組み合わせることが可能である。例えば、図9に示されるように、ポインタが非表示のときに、2倍に拡大された関心領域ROIを拡大前の関心領域ROI内の画像に対応する箇所に向けて関心領域ROIを移動させてもよい。
 次に、関心領域ROIを複数設定した場合における処理について説明する。図10に示されるように、関心領域ROIが2つ存在する場合、ポインタが非表示になったときに、ポインタが非表示になる直前の2つの位置情報(ポインタ位置PP)を位置情報記憶部23に記憶する。あわせて、2つの関心領域ROIの中心(図中の黒点)を結ぶ線分の中点MPの座標を位置情報記憶部23に記憶する。そして、中点MPが拡大後の画像の中心となるように、画像の拡大を制御する。このとき、中点MPとの相対位置を維持した状態でポインタ位置PPを矢印の向きに移動させる。あわせて、かかるポインタ位置PPで指定される位置に関心領域ROIを表示する。なお、図10の例でも、関心領域ROIの拡大を実行してもよい。
 以上説明した種々の処理により、画像表示プログラム22の機能と関心領域設定プログラム21の機能が干渉することを回避し、画像処理部16による画像処理の前後において、関心領域ROIの位置を固定又は好ましい位置に移動させ、必要に応じて関心領域ROIを拡大することが可能となる。
<PbyP機能実行時における関心領域ROI>
 次に、図11A~図11Dを用いて、PbyP機能実行時における関心領域ROIについて説明する。図11Aは図3Aに対応し、図11Cは図3Cに対応する。図11A及び図11Cに示されるように、PbyP機能により2画面表示させた場合においてスクリーン全体で関心領域ROIを表示させることができる。また、図11B及び図11Dに示されるように、2画面毎に関心領域ROIを表示させてもよい。これらは領域モード切替部14により切り替えることができる。
2.第2実施形態
 図12を用いて、本発明の第2実施形態に係る画像処理装置1について説明する。本実施形態の画像処理装置1は、互いに通信可能な本体ユニット1A及び表示ユニット1Bを備えており、この点が第1実施形態との主な相違点である。換言すると、第2実施形態における画像処理装置1は、本体ユニット1A及び表示ユニット1Bにより構成されるシステムと捉えることもできる。以下、第1実施形態との相違点を中心に説明を進める。
 本体ユニット1Aは、第1実施形態に加え、通信部50を備える。通信部50は、表示ユニット1B又は他の情報処理装置と種々のデータを送受信するものであり、任意のI/Oにより構成される。表示ユニット1Bは、例えばモニターにより構成され、表示部40、制御部100、通信部500及び画像処理部16を有する。制御部100は制御部10に対応し、通信部500は通信部50に対応する。また、画像処理部16は、本体ユニット1A又は表示ユニット1Bの少なくとも一方に設けられる。本実施形態では、画像処理部16が表示ユニット1Bに設けられる。
 第2実施形態では、本体ユニット1Aの通信部50と、表示ユニット1Bの通信部500が互いに情報を通信可能に構成される。また、通信部50から通信部500へ画像データが送信される。
 通信部50は、関心領域ROIの位置情報(ポインタ位置PP)を通信部500に送信する。そして、画像処理部16は、かかる位置情報(ポインタ位置PP)に基づいて、関心領域ROI内の画像に対してハイライト処理を実行する。
 なお、画像処理部16が本体ユニット1Aに設けられる場合には、通信部50は、関心領域ROIの位置情報(ポインタ位置PP)に加え、ハイライト処理後の画像データを表示ユニット1Bの通信部500に送信する。
<その他>
 以上、種々の実施形態について説明したが、本発明に係る画像処理装置1はこれらに限定されない。
 上述の説明では、画像処理の実行中にポインタが非表示となる態様について説明したが、これに限定されない。例えば、ポインタが表示されないタッチパネルを表示部40として利用した場合、ユーザーによるタッチ操作により関心領域ROIの位置が決定される。そして、その状態で例えばスワイプ操作等により関心領域ROI内又は関心領域ROI外の少なくとも一方の画像に対して画像処理を行った場合には、画像処理に伴い位置情報が変更された場合、変更される直前における位置情報に基づいて、関心領域ROIの位置を決定するように構成されてもよい。また、別の例では、タッチ操作により関心領域ROIの位置が決定された後、ユーザーの指がタッチパネルから離れたとする。この場合、位置情報検出部11による位置情報の検出はなされないが、表示装置1は直前に検出された位置情報を記憶してもよい。そして、この状態で画像処理が行われると、画像処理に伴い直前に記憶した位置情報が変更されることになる。このとき、変更される直前における位置情報に基づいて、関心領域ROIの位置を決定するように構成してもよい。
 また、医療画像分野において制定された規格である「DICOM」又は「CAL1」に準拠した画質の画像を表示させる表示モードを切替可能に構成されてもよい。この場合、ポインタが非表示となった後に再表示されたとき、関心領域ROIの画質を維持することにしてもよい。すなわち、画像処理部16による画像処理の前後において、関心領域ROI内の画質の表示モードを維持するものである。
 また、画像処理部16は、ポインタが非表示になった場合、関心領域ROIを非表示とする構成とすることができる。このとき、必要に応じて、ポインタが再表示されたときに関心領域ROIを表示し、あわせて関心領域ROIを拡大又は移動させてもよい。
 また、画像処理に伴い位置情報が変更された場合における位置情報を、変更される直前における位置情報に決定することに代えて、直前のポインタ位置PPから予め定められた範囲内としてもよい。また、直前のポインタ位置PPに代えて、非表示となる所定時間前(直前に記憶部20に記憶した位置情報、2回前に記憶した位置情報、3回前に記憶した位置情報等)におけるポインタ位置PPを用いてもよい。また、非表示となる前の所定時間内におけるポインタ位置PPのうち、最も長い間滞在していたポインタ位置PPを用いてもよい。
 また、画像の拡大操作について、単に表示部40に表示される画像の中心を基準に拡大させる構成としてもよい。
 また、画像処理装置1の機能を実装したコンピュータ読み取り可能な非一時的な記録媒体として提供することもできる。また、これらの機能を実現するプログラムを、インターネット等を介して配信することもできる。また、画像処理装置1、本体ユニット1A及び表示ユニット1Bを構成する各部は、同じ筐体に含まれてもよく、複数の筐体に分散配置されてもよい。
 また、位置情報検出部により、表示部における位置表す位置情報を検出する位置情報検出ステップ、領域位置決定部により、前記位置情報に基づいて、前記表示部における関心領域の位置を決定する領域位置決定ステップ、画像処理部により、前記関心領域内又は前記関心領域外の少なくとも一方の画像に対して画像処理を行う画像処理ステップ、を備え、前記領域位置決定部は、前記画像処理に伴い前記位置情報が変更された場合、前記変更される直前における前記位置情報に基づいて、前記関心領域の位置を決定するように構成される、画像処理方法として提供することもできる。
 また、関心領域ROIの表示/非表示を切り替えるショートカットを割り当ててもよい。この場合、画像表示プログラム22で利用されるショートカットと被っていないかについて、制御部10が判断してもよい。
 1:画像処理装置
 1A:本体ユニット
 1B:表示ユニット
 10,100:制御部
 11:位置情報検出部
 12:領域位置決定部
 13:位置情報変更部
 14:領域モード切替部
 15:関心領域変更部
 16:画像処理部
 20:記憶部
 21:関心領域設定プログラム
 22:画像表示プログラム
 23:位置情報記憶部
 30:操作部
 40:表示部
 50,500:通信部

Claims (11)

  1.  表示部における位置を表す位置情報を検出する位置情報検出部と、
     前記位置情報に基づいて、前記表示部における関心領域の位置を決定する領域位置決定部と、
     前記関心領域内又は前記関心領域外の少なくとも一方の画像に対して画像処理を行う画像処理部と、
     を備え、
     前記領域位置決定部は、前記画像処理に伴い前記位置情報が変更された場合、前記変更される直前における前記位置情報に基づいて、前記関心領域の位置を決定するように構成される、
     画像処理装置。
  2.  前記位置情報は、前記表示部に表示されるポインタのポインタ位置により特定される情報であり、
     前記領域位置決定部は、前記ポインタ位置に関連付けられた位置を前記関心領域の位置として決定する、
     請求項1に記載の画像処理装置。
  3.  前記画像処理が実行された場合に前記位置情報を予め定められた位置に変更する位置情報変更部を備え、
     前記領域位置決定部は、前記位置情報が変更された場合でも、前記位置情報が変更された後における前記関心領域の位置を前記位置情報が変更される直前の前記位置情報に決定する、
     請求項1又は請求項2に記載の画像処理装置。
  4.  前記画像処理部は、前記画像処理の実行時に前記関心領域を拡大するように構成される、
     請求項1~請求項3の何れか1つに記載の画像処理装置。
  5.  前記画像処理部は、前記画像処理の実行時に前記関心領域を移動するように構成される、
     請求項1~請求項4の何れか1つに記載の画像処理装置。
  6.  前記画像処理部は、前記表示部に表示される画像全体における前記関心領域の相対位置を維持した状態で、前記拡大又は前記移動を行うように構成される、
     請求項4又は請求項5に記載の画像処理装置。
  7.  前記画像処理部は、前記関心領域内又は前記関心領域外の少なくとも一方の画像の画質を維持するように画像処理を実行する、
     請求項1~請求項6の何れか1つに記載の画像処理装置。
  8.  前記画像処理部は、前記画像処理の実行時に、前記関心領域を非表示とするように構成される、
     請求項1~請求項7のいずれか1項に記載の画像処理装置。
  9.  前記画像処理装置は、本体ユニットと、表示ユニットを備え、
     前記本体ユニットと前記表示ユニットは、通信可能に構成されており、
     前記本体ユニットは、前記位置情報検出部及び前記領域位置決定部を備え、
     前記表示ユニットは、前記表示部及び前記画像処理部を備える、
     請求項1~請求項8のいずれか1項に記載の画像処理装置。
  10.  コンピュータを、
     表示部における位置表す位置情報を検出する位置情報検出部、
     前記位置情報に基づいて、前記表示部における関心領域の位置を決定する領域位置決定部、
     前記関心領域内又は前記関心領域外の少なくとも一方の画像に対して画像処理を行う画像処理部、
     として機能させ、
     前記領域位置決定部は、前記画像処理に伴い前記位置情報が変更された場合、前記変更される直前における前記位置情報に基づいて、前記関心領域の位置を決定するように構成される、
     プログラム。
  11.  位置情報検出部により、表示部における位置表す位置情報を検出する位置情報検出ステップ、
     領域位置決定部により、前記位置情報に基づいて、前記表示部における関心領域の位置を決定する領域位置決定ステップ、
     画像処理部により、前記関心領域内又は前記関心領域外の少なくとも一方の画像に対して画像処理を行う画像処理ステップ、
     を備え、
     前記領域位置決定部は、前記画像処理に伴い前記位置情報が変更された場合、前記変更される直前における前記位置情報に基づいて、前記関心領域の位置を決定するように構成される、
     画像処理方法。
PCT/JP2018/000228 2017-02-21 2018-01-10 画像処理装置、プログラム及び画像処理方法 WO2018154981A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/486,996 US11437001B2 (en) 2017-02-21 2018-01-10 Image processing apparatus, program and image processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-029877 2017-02-21
JP2017029877A JP2018137571A (ja) 2017-02-21 2017-02-21 画像処理装置、プログラム及び画像処理方法

Publications (1)

Publication Number Publication Date
WO2018154981A1 true WO2018154981A1 (ja) 2018-08-30

Family

ID=63253706

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/000228 WO2018154981A1 (ja) 2017-02-21 2018-01-10 画像処理装置、プログラム及び画像処理方法

Country Status (3)

Country Link
US (1) US11437001B2 (ja)
JP (1) JP2018137571A (ja)
WO (1) WO2018154981A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019220916A1 (ja) * 2018-05-14 2019-11-21 富士フイルム株式会社 医療画像処理装置、医療画像処理方法及び内視鏡システム
WO2020054541A1 (ja) * 2018-09-11 2020-03-19 富士フイルム株式会社 医療画像処理装置、医療画像処理方法及びプログラム、内視鏡システム
US10939047B2 (en) 2019-07-22 2021-03-02 Himax Technologies Limited Method and apparatus for auto-exposure control in a depth sensing system
TWI722542B (zh) * 2019-08-22 2021-03-21 奇景光電股份有限公司 於包含投影器之深度感測系統中執行自動曝光控制的方法與裝置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015198783A (ja) * 2014-04-08 2015-11-12 株式会社東芝 X線診断装置
JP2016168293A (ja) * 2015-03-16 2016-09-23 株式会社日立製作所 X線画像診断装置及び画像転送方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9336576B2 (en) 2010-12-21 2016-05-10 Barco N.V. Method and system for improving the visibility of features of an image
US20180300035A1 (en) * 2014-07-29 2018-10-18 Viktor Kaptelinin Visual cues for scrolling

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015198783A (ja) * 2014-04-08 2015-11-12 株式会社東芝 X線診断装置
JP2016168293A (ja) * 2015-03-16 2016-09-23 株式会社日立製作所 X線画像診断装置及び画像転送方法

Also Published As

Publication number Publication date
JP2018137571A (ja) 2018-08-30
US11437001B2 (en) 2022-09-06
US20200020306A1 (en) 2020-01-16

Similar Documents

Publication Publication Date Title
WO2018154981A1 (ja) 画像処理装置、プログラム及び画像処理方法
AU2017232150B2 (en) Calculating device, graph display method of calculating device, and storage medium retaining graph display program
EP2866123A2 (en) Screen operation apparatus and screen operation method
JP5056875B2 (ja) 印刷制御装置,プログラム,および印刷設定画面の表示方法
WO2008125897A2 (en) Aspect ratio hinting for resizable video windows
US20130187856A1 (en) Input information processing system, input information processing method, program and computer-readable recording medium
US9280235B2 (en) Portable electronic device
JP2009169493A (ja) タッチパネル表示制御システム、タッチパネル表示制御方法、タッチパネル表示制御プログラム
JP6088787B2 (ja) プログラム、情報処理装置、情報処理方法および情報処理システム
JP2007122287A (ja) 情報処理装置、階層情報出力方法及びプログラム
CN104285204A (zh) 显示设备、显示控制方法和非临时性计算机可读介质
JP4761603B2 (ja) 表示制御装置
JP2010128567A (ja) カーソル移動制御方法及び装置、プログラム
JP2004206541A (ja) グラフ表示制御装置及びプログラム
JP2017188140A (ja) プログラム、コンピュータ装置、プログラム実行方法、及び、システム
JP6716519B2 (ja) 表示装置及び表示方法
JP2010198509A (ja) 表示制御装置、入力操作装置、及び管制システム
JP2015201038A (ja) 情報処理装置及び情報処理プログラム
JP2004152034A (ja) ウィンドウ表示制御装置及びプログラム
US10788925B2 (en) Touch panel sharing support apparatus, touch panel sharing method, and computer program
JP4691136B2 (ja) モバイルデバイスとスクリーンとの間でインタラクションを行う方法及び装置
US20220137721A1 (en) Pointer locating applets
KR101998470B1 (ko) 디스플레이 장치에 표시된 내용의 확대, 축소, 이동을 위한 명령 입력 방법
US20140104239A1 (en) Methods and products for influencing the representation of pictorial information by a display device of an information technology apparatus
JP2022165237A (ja) 端末装置、端末装置の制御方法および端末装置の制御プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18758019

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18758019

Country of ref document: EP

Kind code of ref document: A1