JP6220268B2 - 表示画像のズーム方法 - Google Patents

表示画像のズーム方法 Download PDF

Info

Publication number
JP6220268B2
JP6220268B2 JP2013517628A JP2013517628A JP6220268B2 JP 6220268 B2 JP6220268 B2 JP 6220268B2 JP 2013517628 A JP2013517628 A JP 2013517628A JP 2013517628 A JP2013517628 A JP 2013517628A JP 6220268 B2 JP6220268 B2 JP 6220268B2
Authority
JP
Japan
Prior art keywords
image
display area
zoom
fixed point
size
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013517628A
Other languages
English (en)
Other versions
JP2013536455A5 (ja
JP2013536455A (ja
Inventor
アレクサンドル クリステスク,ソリン
アレクサンドル クリステスク,ソリン
デュリスコヴィッチ,ティボル
シフベルテュス マリー ヘルアートス,ヤコビュス
シフベルテュス マリー ヘルアートス,ヤコビュス
ヨーハネス アントニユス ペーテルス,ハロルド
ヨーハネス アントニユス ペーテルス,ハロルド
ポスト,ウェイナント
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of JP2013536455A publication Critical patent/JP2013536455A/ja
Publication of JP2013536455A5 publication Critical patent/JP2013536455A5/ja
Application granted granted Critical
Publication of JP6220268B2 publication Critical patent/JP6220268B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Processing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本発明は、画像を表示する方法に関する。本発明は、さらに、表示された画像のズーム方法に関する。本発明は、さらに、表示された画像のズームアウト方法に関する。
診断画像の部分を拡大することは、医用画像の解釈にとって重要である。というのも、診断目的に関連する解剖学的構造のより良好な観察を可能にするからである。従来のX線フィルムの場合は、こうしたことは、拡大鏡を用いて実現され、その拡大鏡は、ライトボックス上でフィルムの前で保持され周囲に動かされた。デジタル時代には、多数の画像観察アプリケーションがパンとズームの機能を提供し、選択された拡大又はズームレベルで観察するため、ユーザが画像の一部を選択することを可能にする。医用画像アプリケーションは、パンとズームの機能を提供してもよく、ユーザが、画像と、その画像の如何なる病変もより詳細に分析することを可能にする。ズーム機能は、また、他の種類の画像、例えば、ナビゲーションシステムの地理的な地図に用いられる。典型的なイメージング・アプリケーションは、ズームとパンの機能を使用し、そうして、ユーザが、画像の関心場所を浮き彫りにし、その場所の詳細を示すことを可能にする。ズーム(拡大)及びパン(平行移動)は、イメージング・アプリケーションには基本的な操作と考えられ、それ故、画像解釈セッション中は、頻繁に使用される。
現在の画像観察アプリケーションでは、ズーム操作は典型的には表示域(ビューポート)の中央に方向付けられる:ズームインやズームアウトの操作中は、表示域の中央は、静止して維持される。即ち、表示域の中央で表示される像点は、中央に留まるが、残りの像点は、その中央から逸れるか、又は、その中央へ収束する。代替的には、画像中の或る点がマウスポインターを用いて選択され、この点はズーム操作中固定維持される。残りの点はこの点から逸れるか、又は、この点へ収束する。これは、或る指示された画素が固定されたままであることを意味し、一方、他の画素がその画素から離れる(ズームインのため)か、又は、その画素へ向かう(ズームアウトのため)ことを意味する。
しかし、ズームアウト操作中は、画像は部分的又は完全に視野の外へ動くことがある。こうして、表示領域は充分には使用されない。さらには、追加的なパンが画像の大部分を観察するのに必要なことがある。幾つかの現在の画像観察アプリケーションでは、表示域が充分に使用されないことを回避するよう試みている;しかし、これらの画像観察アプリケーションは、画像境界が表示域に現れるとすぐ、ズーム操作中に画素の移動方向が変化する。これはユーザにとって混乱を生ずる。
表示域内に画像を表示する改善された方法を有することは有利だろう。
この問題点に良く取り組むため、本発明の第1側面は、システムを供給し、そのシステムは、或るスケールファクタに向かって画像を徐々にズームすることができるズームサブシステムを含み、そのスケールファクタで画像は表示域の範囲内にジャストフィットし、そのズームサブシステムは、表示域の範囲内に固定点を固定維持するよう構成され、その固定点は、ズーム開始時点でのパンパラメータとズームパラメータとに依存し、その固定点は、画像の点であり、その点は、ズーム開始時点で表示域内に表示されており、そして、その画像は、或るズームレベルまでズームすることができ、そのズームレベルで画像は表示域の範囲内にジャストフィットし、一方で、その固定点は表示域に関して固定維持される。
この特定の点を表示域の中に固定することにより、適切なズームレベルが達成されると、その画像が表示域の範囲内にジャストフィットするように、その画像がズームされる。従って、画像を観察する追加的なパンは必要ない。その画像は、徐々にズームされ、そして、その固定点はズーム操作中一定に維持されるので、ズーム操作は、満足がいくように認識される。その画像の残りの点は、固定点に向かって収束する(又はその固定点から逸れる)。その結果、画像の画素が移動する方向は、ズーム操作中は変化しない。そのズームサブシステムは、その画像をズームアウトするよう構成されてもよい。しかし、これは制限的ではない。ズームイン操作は、同じ固定点に基づいて実行されてもよく、特に、画像が、或るズームレベルで表示されるときであって、そのズームレベルで、その画像は表示域のサイズよりも小さく、そうして、その画像は拡大され、より大きなスケールで画像全体を見ることができる。“ジャストフィット”の表現は、最大拡大率について言及し、その拡大率で、画像は表示域内に適切に表示されることができる(必要ならパンした後に)。そのズームサブシステムは、画像の周りのマージンを考慮して構成されてもよい。本発明のこの側面は、以下の洞察に基づく、即ち、表示域点で既に表示されている画像点は、不要なパンを避けるためズーム操作を通してずっとそこに維持されてもよく、そこでは、画像が表示されるとき、その画像は表示域の範囲内に完全にジャストフィットするよう表示されるだろう。
本システムは、固定点を判別する固定点判別器を含んでもよく、表示域のサイズに関して正規化される固定点の表示域座標は、画像のサイズに関して正規化される固定点の画像座標と対応する。その固定点は、正規化された座標が同じであるか、又は、互いに大変近い点が見つかるまで、幾つかの点の表示域座標と画像座標とを比較することにより見つけることができる。
その画像が表示域の範囲内にジャストフィットするとき、その画像で覆われた表示域の一部は、目標領域として言及されてもよい。固定点判別器は、固定点を判別するよう構成されてもよく、そうして、目標領域に関する座標において表現され、目標領域のサイズに関して正規化された固定点の位置は、画像サイズに関して正規化された固定点の画像座標に対応する。このことは、ズームサブシステムが画像と表示域とのアスペクト比の相違を考慮することを可能にする。
ズームサブシステムは、画像をズームするように構成されてもよく、画像の外側境界が、その画像の少なくとも2つの対向する側で、表示域にタッチするまで、固定点を固定維持する。このことは、さらに、‘ジャストフィット’の概念を定義する。しかし、‘タッチする’の表現は、表示域の外側境界と画像の外側境界との間の任意的な所定のマージンを許容するよう理解されるべきである。
本システムは、目標領域を判別する目標領域判別器を含んでもよく、その目標領域は、画像の外側領域と同様の形状の外側領域を有し、表示域にジャストフィットする最大サイズを有する。これは、ズーム操作を実行することをより容易にする。例えば、目標領域が判別された後、その目標領域の座標に基づいて、計算が実行され得る。
本システムは、ズームアウトの命令を受信するユーザ入力ユニットを含んでもよく、本ズームサブシステムは、そのユーザ入力に応じて、画像を徐々にズームアウトするよう動作可能である。これは、ユーザがズームアウト操作をコントロールすることを可能にする。同様に、ズームインの命令が受信され、その命令に応じて、ズームサブシステムが、説明される方法で、その画像を徐々にズームインするよう動作可能である。
本システムは、ユーザ入力に応じて、画像をパンするパンサブシステムを含んでもよく、そのパンサブシステムは、パンが表示域内に画像の境界を発生するときは、パンを拒否するよう構成される。これは、表示域の一部が未使用になるのを防ぐ別の手段である。
固定点判別器は、
Figure 0006220268
を満足する固定点を判別するよう構成されてもよく、(I.x, I.y)は、画像に関する固定点の座標を表し;(V.x, V.y)は、表示域又は目標領域に関する固定点の座標を表し;size_x(I)とsize_y(I)とは、x方向とy方向の画像のサイズをそれぞれ表し;そして、size_x(V)とsize_y(V)とは、x方向とy方向の、表示域又は目標領域のサイズをそれぞれ表す。こうして、画像のサイズに関してスケールされた画像座標は、表示域又は目標領域のサイズに関してスケールされた表示域又は目標領域の座標に対応する。この式を満たす点は、画像が表示域又は目標領域を正確にカバーするとき、同じ位置にある。従って、それは、例えばズームアウト操作の間は固定され、幾つかのズームレベルで、表示域又は目標領域はその画像領域に一致することを確保する。
固定点判別器は、
Figure 0006220268
を満足する固定点を判別するよう構成されてもよく、(I.x, I.y)は、その画像に関する固定点の座標を表し;(V.x, V.y)は、表示域又は目標領域に関する固定点の座標を表し;sxとsyとは、画像のx方向とy方向のスケーリングファクタをそれぞれ表し;そして、txとtyとは、x方向とy方向の画像の平行移動をそれぞれ表す。この式は、表示域又は目標領域座標と画像座標との間の座標変換を表す。
固定点判別器は、固定点座標(V.x, V.y)として判別するよう構成されてもよい:
Figure 0006220268
(V.x, V.y)は、表示域又は目標領域に関する固定点の座標を表し;sxとsyとは、x方向とy方向の画像のスケーリングファクタをそれぞれ表し;そして、txとtyとは、x方向とy方向の画像の平行移動をそれぞれ表す。これは、上記の2つの式の解答を表す。
ズームサブシステムは、表示域又は目標領域を連続的に拡大する、又は、縮小する画像の部分で覆うことにより、ズーム操作を実行するよう構成されてもよく、その連続的に拡大する又は縮小する部分は、選択され、そうして、その連続的に拡大する又は縮小する部分のコーナー点は、画像の対応するコーナー点に段階的に近づき、その段階幅は、その連続的に拡大する又は縮小する部分のコーナー点と、その画像の対応するコーナー点との間のそれぞれの距離に比例する。これは、ズーム操作が実施されてもよい他の方法を定義する。その固定点は、そのズーム操作がこれらの距離に基づいて実行されるとき、固定維持される。
他の側面では、本発明は、説明されるシステムを含むワークステーションを供給する。
他の側面では、本発明は、説明されるシステムを含む画像取得装置を供給する。
さらに他の側面では、本発明は、表示域内に画像を表示する方法を提供し、その方法は:
− 画像が表示域内にジャストフィットするスケールファクタに向かって、画像を徐々にズームするステップと;一方で、
− 表示域の範囲内に固定点を固定維持するステップであり、その固定点は、ズーム開始時点での画像のパンパラメータとズームパラメータとに依存し、その固定点は、ズーム開始時点で表示域内に表示されている画像点であり、そして、その画像は、その画像が表示域の範囲内にジャストフィットするズームレベルまでズーム可能であり、一方、その固定点は固定維持される。
他の側面では、本発明は、命令を含むコンピュータプログラムプロダクトを供給し、プロセッサシステムに説明される方法を実行させる。
当業者には、上述した2つ以上の、本発明の実施形態、具体化、及び/又は、側面が、有益と思われる如何なる方法で組み合わされてもよいことは理解されるだろう。
本システムの説明した変形例と変更例に対応する、画像取得装置、ワークステーション、方法、及び/又は、コンピュータプログラムプロダクトの変形例や変更例は、本説明を基礎にして、当業者によって実行可能である。
当業者は、以下のことを理解するだろう。即ち、本方法は、複数次元の画像データに適用されてもよく、例えば、2次元(2D)、3次元(3D)、又は、4次元(4D)の画像に対して適用されてもよく、そうした画像データは、各種の画像取得モダリティによって取得され、例えば、標準的なX線イメージング、コンピュータ断層(CT)、磁気共鳴イメージング(MRI)、超音波(US)、ポジトロン放出断層撮影(PET)、単一光子放出コンピュータトモグラフィ(SPECT)、及び、核医学(NM)であるが、これらに限定されない。
本発明のこれらの、そして他の側面は、以下に述べる実施形態から明りょうであり、これらの実施形態を参照して解明されるだろう。図面では、
図1は、画像を表示するシステムのブロック図である; 図2は、画像を表示する方法のフローチャートである; 図3は、表示域を備えるディスプレイの図である; 図4Aは、画像の一部を示す画像の図である;そして、 図4Bは、画像の他の2つの部分を示す画像の図である。
デジタル画像では、画像が多数の異なるスケールで表示されてもよい。そうしたスケールは、拡大率、又は、ズームレベルとして言及されてもよい。“ズーム”の用語は、スクリーン上の画像の一部を拡大することを言及してもよく、例えば、画像データの画素補間に基づいてもよい。また、3次元画像について考えると、2次元表現、例えば射影が、ディスプレイの表示域に視覚化されてもよいことが留意されてもよい。そうした2次元表現は、再び、ズームインとズームアウトされてもよい画像である。画像のパンは、表示域に関する画像の平行移動について言及し、即ち、パンをした後、画像の他の部分は表示域の中に、原則として同じズームレベルで表示される。
図1は、画像を表示するシステムを図示する。そのシステムは、画像を表示するディスプレイ4と、ユーザがそのシステムをコントロールすることを可能にするマウス及び/又はキーボードのようなユーザ入力デバイスと、ピクチャアーカイブや通信システムのような画像ソースへシステムを接続する通信ポートとを含んでもよい。さらに、そのシステムは、1つ又は複数の画像を記憶するローカル記憶手段、及び/又は、プロセッサによって実行されるべきコンピュータプログラムを含んでもよい。本システムの、これらの可能な要素は、図面には示されない。
ユーザ入力デバイスに動作可能に接続されるユーザ入力サブシステム1は、表示域が画像の一部で満たされた後、ズームが望ましいかどうかを表示することにより、ズーム操作をユーザがコントロールできるように構成される。ズーム操作は、リアルタイムでコントロール可能であってもよく、ユーザコマンドを用いて画像のスケールをコントロールすることを可能にし、そのユーザコマンドは、画像が表示されるべきスケールファクタの増加又は減少を示してもよい。スケールファクタの増加(即ち、ズームレベルの減少)を表すコマンドを受信したことに応じて、ズームサブシステムは、表示域を画像5の大部分で満たす。代替的には、画像の連続的に増大する部分が、所定の時間インターバルで示されてもよく、そして、ユーザは、ズームプロセスをスタート/ストップするため、及び/又は、ズーム操作のスピードをコントロールするために使用されてもよい。
図3は、表示デバイスの表示エリア301を図示する。その表示デバイスは、例えば、コンピュータモニタ、テレビジョン、又は、携帯電話やPDA携帯端末のような携帯型デバイスであってもよい。その表示エリア301は、1つ又は複数のアプリケーションから、例えばウインドウシステムを用いて、情報を示してもよい。しかし、ウインドウシステムの使用に限定されるものではない。表示エリア301は、表示域302を含んでもよい。一般的に、表示域は、表示エリア301の少なくとも一部に対応するよう理解されるべきである。その表示域は、表示エリア301のサブエリアであってもよく、画像の少なくとも一部の表示に適してもよい。その表示域は、また、全体の表示エリア301に対応してもよい。表示域の概念は、如何なる特別な種類のウインドウシステム・ウィジェットに限定されるべきものではなく、というのも、表示域は当業者に知られた数多くの方法で実現可能だからである。
図4Aは画像401を図示する。その画像401は、画像点の少なくとも2次元アレイを表し、その2次元アレイはピクチャとして表示されてもよい。典型的には、画像401は、画素の画素値に関する情報を含む。これらの画素は図面には示されてない。その図面は、画像401の一部402を示す。その部分402は、表示エリア301の表示域302の中に表示されることができる。その画像の異なる部分が、画像のパン及び/又はズームによって示されてもよい。
図4Bは同じ画像401を図示する。これらの図面全体を通じて、同様のアイテムは同じ参照数字でラベル付けされる。図4Bは、画像401の他の2つの部分410と411とを示す。
画像401の点は座標系を用いて識別されてもよい。座標系は、座標を表すために使用される原点とスケールについて異なってもよい。画像座標系は、画像に関して固定される原点を有してもよい。例えば、その原点は、画像のコーナー点405として選択されてもよい。原点の他の選択も可能である。表示域座標は、表示域302に関して固定される原点を有してもよい。目標領域座標系は、目標領域303に関して固定される原点を有してもよい。また、原点は、表示域のコーナー点、又は、目標領域の中間点としてそれぞれ選択されてもよい。画像点は、表示域の範囲内の位置の座標、又は、その画像点が表示される目標領域の座標を有する。従って、後者の2つの座標系に対して、画像点の座標は、画像を表示するために使用されるパン/ズームパラメーラに依存する。
以下では、図1に示されるシステムの側面が、図3、4A及び4Bを参照して説明されるだろう。
本システムは、ズームサブシステム6を含んでもよく、画像401を、その画像が表示域302の範囲内にジャストフィットするスケールファクタに向けて、徐々にズームする。そのズーム方法は、段階的に実行されてもよい。ズームアウトの場合は、画像の増大する部分が表示域内に表示され、各部分はその前の部分を含む。ズームインの場合は、その部分は、サイズが減少し、各部分は次の部分のサブ部分である。その部分は、表示域に合致するようスケール化されてもよい。ズームサブシステム6は、ズーム操作を通して、表示域302の範囲内で固定位置で、固定点403を表示するように構成されてもよい。固定点403は、ズーム操作のスタート時点で、画像401のパン/ズームパラメータ7に依存してもよい。固定点403は、画像401の或る点であってもよく、その点は、ズームがスタートした時点で、表示域302内に表示されている。これは、ズーム操作は、表示域に関して、画像を予期せずシフトしないことを確実にする。固定点は、画像401が、その画像が表示域302の範囲内にジャストフィットするズームレベルにズームされることが可能な特性を満たすが、固定点403は表示域302に関して固定維持される。この固定点の効果は、幾つかの異なる種類の計算を用いて得られ、以下で説明されるだろう。
上述したような固定点を用いたズーム操作は、ズームインとズームアウトの操作に適用されてもよい。ズームアウト操作にとっては、表示域又は目標領域が可能な限り多く使用されるという利点を有し、即ち、可能な限り少ないスペースが未使用のままであるが、画像点は、画像が完全に表されるまで単一の安定した固定点に収束する。ズームイン操作にとっては、特に、画像が小さいスケールファクタで表され、そのスケールファクタで、表示域や目標領域が完全には使用されないとき、上述の固定点は、ズームイン操作中、画像が可能な限り長い間、表示域の範囲内に完全に表されることを確実にするのに役立つ。
幾つかのシステムでは、本明細書で説明したズーム方法は、ズームアウトだけに適用されてもよいことが理解されるだろう。そうしたシステムでは、ズームイン機能性は、異なって提供されてもよい。例えば、ズームインは、表示域の中央で、又は、ユーザの選択した点で固定点を使用してもよい。また、そのズームインは、ズームイン操作中、ユーザが選択した点、又は、関心領域を表示域の中央に向けてシフトするよう構成してもよく、そうして、その選択された点、又は、その関心領域の周囲の領域が、ズームイン操作中、視野の範囲内に維持されることが確保される。
本システムは、固定点判別器8を含んでもよく、その固定点判別器は固定点403をはっきりと判別する。固定点403は、その座標によって判別されてもよい。固定点403の表示域座標は、それが固定点403の画像座標に対応するように選択される。その座標は、正規化されてもよく、特に、表示域座標は表示域302に関して正規化されてもよく、その座標は画像401のサイズに関して正規化されてもよい。これは、画像が表示域に完全に表示されるとき、その画像は、歪みなく表示域を完全に満たし、正規化された表示域座標はその正規化された画像座標と等しいことを意味するだろう。従って、表示域内のこの点に既に表示されている画像点は、ズーム操作中、そこに固定維持されてもよく、というのも、いずれにせよズーム操作の終わりに終了するからである。これは、双方の座標系の原点が一貫して、例えば常に左上コーナーが選択されることを想定する。
表示域の形状が画像の形状と、例えば、異なるアスペクト比のため異なる場合は、その歪んでいない画像が表示域の範囲内で完全に表示されるとき、表示域の一部は未使用のままであるだろう。画像401で覆われる表示域302の一部は、その画像401が表示域302の範囲内にちょうど合致するとき、以後、目標領域303として言及される。固定点判別器8は、目標領域を考慮して、固定点403を判別するよう構成されてもよい。目標領域303に関する座標で表現され、目標領域303のサイズに関して正規化された固定点403の位置は、選択され、そうして、その座標は、画像401のサイズに関して正規化された固定点403の画像座標と等しくなる。
ズームサブシステム6は画像401をズームするよう構成されてもよく、画像401の外側境界が、画像の少なくとも2つの反対側304で表示域302の外側境界にタッチするまで、固定点403は表示域302に関して固定維持される。画像401が表示域302の範囲内に‘ジャストフィット’するとき、画像と表示域の寸法に応じて(任意的なマージンを考慮して)、最大スケールで示されるが、画像のどの部分が、ズーム操作が始まる前に表示域に示されるかには依存しない。
多くの場合、これは、画像境界が、反対側で表示域302の境界にタッチする状況につながり、表示域エリアのストリップは画像303のいずれかの側で未使用のまま残される。
本システムは、目標領域判別器9を含んでもよく、その目標領域判別器は、画像401の外側境界に類似する形状の外側境界と、表示域302内にジャストフィットする最大サイズとを有する目標領域303を判別する。この目標領域303の座標、及び/又は、寸法をはっきりと有することは、ズーム操作にとって適切な計算を実行するのをより容易にする。
本システムは、ズームアウトする命令を受信するよう構成されるユーザ入力ユニット1を含み、ズームサブシステム6は、その命令に応じて、画像401を徐々にズームアウトするよう動作する。同様に、ズームインの命令がサポートされてもよい。ユーザ入力ユニットは、ユーザがリアルタイムでズーム操作をコントロールすることを可能にしてもよい。例えば、ズーム操作は、ボタンが押されている間、続いてもよい。代替的には、ズーム操作の期間とスピードは、ユーザによって実行されるマウスドラッグ操作の時間とスピードに依存してもよい。
本システムは、ユーザ入力に応じて、画像401をパンするパンサブシステム10を含んでもよい。パンサブシステム10は、パンすることが画像401の境界が表示域302内に生じさせるとき、パンすることを拒絶するよう構成されてもよい。こうして、表示域は画像情報で完全に覆われる。代替的に、画像の境界が目標領域303に現れるとき、パンすることを拒絶する。このことは、適切な固定点が目標領域303の範囲内に見つかることを確保するのに役立つ。
固定点判別器8は、以下の式を満足する固定点を判別するよう構成されてもよい:
Figure 0006220268
Figure 0006220268
I.x, I.y は、画像401に関する固定点403の座標を表す;
V.x, V.y は、表示域302、又は、目標領域303に関する固定点403の座標を表す;
size_xI とsize_yIとは、x方向とy方向の画像401のサイズをそれぞれ表す;そして、
size_xVとsize_yVとは、x方向とy方向の表示域302、又は、目標領域303のサイズをそれぞれ表す。
これらの式は、上述したように、正規化座標系の対応する点の具体例を表すことに留意されたい。
固定点判別器8は、以下の行列乗算式を満足する固定点403を判別するよう構成されてもよい:
Figure 0006220268
I.x, I.y は、画像401に関する固定点403の座標を表す;
V.x, V.y は、表示域302、又は、目標領域303に関する固定点403の座標を表す;
sxとsyとは、x方向とy方向の画像401のスケーリングファクタをそれぞれ表す;そして、
txとtyとは、x方向とy方向の画像401の平行移動をそれぞれ表す。
上記の行列乗算式は、表示域302/目標領域座標と画像座標との間の座標変換を示す。その行列乗算式は、どの画像点がどの表示域点で表示されるかを定義する。スケーリングファクタsxとsyとは、ズームパラメータとして言及されてもよく、一方、平行移動txとtyとはパンパラメータとして言及されてもよい。これらのパン/ズームパラメータは、図1のブロック7で表される。
式1,2及び3のシステムを解決することにより、固定点が計算されてもよい。例示的な解決策は固定点座標V.x,V.yとして使用することにより与えられる:
Figure 0006220268
V.x, V.yは、表示域302、又は、目標領域303に関して、固定点403の座標を表している;
sxとsyとは、x方向とy方向の画像401のスケーリングファクタをそれぞれ表している;そして、
txとtyとは、x方向とy方向の画像401の平行移動をそれぞれ表している。
その対応する画像点は式3を用いて計算されてもよい。固定点判別器8は、式4と5を直接計算するよう構成されてもよい。
ズームシステム6は、また、異なる種類の計算で実現されてもよい。例えば、ズームシステム6は、表示域302の目標領域303を、画像5の連続的に拡大する部分410、411で満たすことにより、ズームアウト操作を実行するよう構成されてもよく、その連続的に拡大する部分410,411は選択されて、その連続的に拡大する部分410、411のコーナー点404、413は画像401の対応するコーナー点405に次第に近づくようになり、そのステップサイズは、連続的に拡大する部分410、411のコーナー点412、413と、画像401の対応するコーナー点405との間の個々の距離に比例する。ズームイン操作の場合、連続的な部分は、サイズが増加するのではなく、減少する。このように計算される部分を使用することにより、固定点403はズーム操作中、表示域内に固定維持され、そして、画像401は、適切なズームファクタが達成されると、その画像が表示域にジャストフィットするように表示される。
この説明を通して、表示域の目標領域が画像の特定部分で満たされるとき、表示域の残りの部分は、その目標領域において表示される画像の部分の周囲の如何なる画像部分をも表示するよう使用されてもよいことが理解されるだろう。
上述のシステムの各種の具体化は、適切にプログラムされたプロセッサを含むワークステーションにおいて実現されてもよい。マウスのようなユーザ入力デバイスは、ズーム操作のスタート、ストップ、及び/又は、スピードをコントロールするよう使用されてもよく、そのスピードは毎秒のズームファクタの変化について言及する。このインタラクションは、それが行われるとき、即ちリアルタイムで、ズーム操作をコントロールすることが可能になってもよい。このユーザ・インタラクションは、ワークステーションに限定されず、他の実施形態でも提供されてもよい。本システムは画像取得装置に組み込まれてもよく、例えば、x線や超音波検査装置、又は、磁気共鳴やコンピュータ断層撮影装置に組み込まれてもよく、そうした装置で取得された画像をユーザフレンドリーに観察することを可能にする。
図2は、表示域内の画像を表示する方法を図示する。その方法は、画像が表示域の範囲内にジャストフィットするスケールファクタへ向けて徐々にその画像をズームするステップ201を含む。このズームステップの間、ステップ202は表示域の範囲内に固定された固定点を維持し、その固定点は、ズームアウトが開始した時点で、画像のパンパラメータとズームパラメータに依存し、その固定点は、ズームアウトが開始した時点で表示域内に表示されている画像の点であり、そして、その画像は、その画像が表示域の範囲内にジャストフィットするズームレベルまでズームアウトすることが可能であり、一方で、その固定点は固定維持される。
本システムは、適切にプログラムされたコンピュータワークステーションとして実現することができる。本システムは、また、画像取得装置の画像観察部分の中に組み込まれることもできる。そうした画像取得装置はコンピュータ断層撮影装置、x線撮影装置、超音波撮影装置、写真カメラ、又は、他の如何なる画像スキャナであってもよい。本システムは、少なくとも部分的にウェブサービスとして実現することができ、そのズーム機能性はウェブアプリケーションによって提供されてもよい。本システムは、また、携帯電話やPDAのような携帯デバイスの中に組み込まれることができる。
画像が表示域にフィットすると、表示域の内部により多くの非画像情報をもたらすことになるので、ズームアウトはもはや可能でなくなる。即ち、その同じ画像情報がより大きなスケールで表示できるようになるので、表示域エリアは、効率的には使用されないだろう。しかし、これは制限的ではない。画像が表示域にジャストフィットするズームレベルが完全に達成されると、ズームサブシステム6、及び/又は、固定点判別器8は、固定点を表示域302(又は目標領域303)の中央に再配置するよう構成されてもよく、というのも、それは如何なる他のズームを実行する最も自然な方法であってもよいからである。
また、パンは制限されてもよく、そうして、その画像の外部境界が表示域を横切ることを許容されなくなる。こうして、その画像は、‘視界が遮られて’パンされることができない。特に、パンは制限されてもよく、そうして、既に存在するよりも多くの非画像情報を表示域内にもたらさないようにする。本明細書では、非画像情報は、未使用の表示域の一部について言及し、というのも、画像は、現在のパン/ズーム設定を考慮して、表示域のその部分の情報を含まないからである。その画像とその表示域とのアスペクト比が同じ場合、本システムは、これが表示域内部に非画像情報を導入しないときは、パンやズームアウトを拒否することにより、表示域が常に画像情報で完全に満たされるように作ることができる。しかし、これは制限的ではない。
この説明で述べる“固定点”は、画像の或る点について言及し、その点は、ズームイン又はズームアウト操作中に、表示域の特定の点で固定維持される。連続したズームイン又はズームアウト操作は、特に、画像がズーム操作中にパンされた場合は、異なる固定点を使用することが理解されるだろう。
以下の制約は、画像観察者に対してユーザフレンドリーなズームとパンを提供するために考慮される。しかし、これらの制約は任意的であり、本発明の適用範囲を制限することを意図しない。
a 画像の外側境界を越えて画像をパンすることを許容しない、即ち、表示域の部分を未使用にする場合である。表示域の一部が既に未使用である場合、その表示域の未使用部分を増加するパンを許容しない。
b ズームアウトに対して:その画像が表示域範囲内に完全に表示されるとき、更なるズームアウトは無効になる。このことは、表示域の一部が不必要に未使用になることを再び回避する。もちろん、その画像とその表示域とのアスペクト比が同じでない場合は、その画像が表示域範囲内に完全に表示されるとき、表示域の一部は、未使用になるだろう;しかし、これは不利な点とはみなされないだろう。
c ズームアウトに対して:ズームの間に画素が移動する方向での変化を回避する(即ち、ジグザグ効果を回避する)。
d ズームインに対して:ズームインのとき、表示域の内部に関心領域(例えばユーザ定義の)を保持する。例えば、ズームイン操作が始まる前の、最初のマウスポインター位置のようなユーザが指示した位置の周りに集まる領域は、ズームインを適切に方向付けることにより、表示域内部に保持されてもよい。例えば、関心領域や指示された位置は、ズームインの間、表示域の中央に向かって移動してもよい。
画像表示サブシステムは、表示域内の画像の少なくとも一部を表示するよう構成されてもよく、その表示域は、外部境界を有する目標領域を含み、その外部境界の形状は、その画像の外部境界の形状に対応する。ズームアウトサブシステムは、画像をズームアウトするよう構成されてもよく、それによって、表示域内の画像の大部分を表示し、一方、画像点を、目標領域の固定点に固定維持し、そして、その画像が充分にズームアウトしたとき、その画像の外部境界は、その目標領域の外部境界と実質的に一致し、その画像点は固定点に固定されたままである。
本発明は、コンピュータプログラムに適用され、特には、キャリア上の又はキャリア内のコンピュータプログラムに適用され、本発明を実現するよう適応されることが理解されるだろう。本プログラムは、ソースコード、オブジェクトコード、コード仲介ソース、及び、例えば部分的にコンパイルされた形式でのオブジェクトコード、又は、本発明の方法を実施するのに使用される如何なる適切な他の形態であってもよい。そうしたプログラムは、多数の異なるアーキテクチャ設計を有してもよいことが理解されるだろう。例えば、本発明の方法やシステムの機能性を実現するプログラムコードは、1つ又は複数のサブルーチンに再分割されてもよい。これらのサブルーチンの中の機能性を分配する多数の様々な方法は、当業者には明らかだろう。そのサブルーチンは、一つの実行ファイル内に一緒に保存されて自己完結型プログラムを形成してもよい。そうした実行ファイルは、コンピュータ実行可能な命令、例えば、プロセッサ命令、及び/又は、インタープリター命令(例えば、Java(登録商標)インタープリター命令)を含んでもよい。代替的に、1つ又は複数の或いは全てのサブルーチンが、少なくとも1つの外部ライブラリファイル内に保存されてもよく、例えば実行時に、静的又は動的にメインプログラムとリンクしてもよい。メインプログラムは、少なくとも1つのサブルーチンに対する、少なくとも1つのコールを含む。そのサブルーチンは、相互へのファンクションコールを含んでもよい。コンピュータプログラムプロダクトに関する一実施形態は、コンピュータ実行可能な命令を含み、その命令は、本明細書で述べる少なくとも1つの方法の各処理ステップに対応する。これらの命令は、サブルーチンに再分割されてもよく、及び/又は、静的又は動的にリンクされてもよい1つ又は複数のファイルに保存されてもよい。コンピュータプログラムプロダクトに関する他の実施形態は、コンピュータ実行可能な命令を含み、その命令は、本明細書で説明する少なくとも1つのシステム及び/又はプロダクトの各手段に対応する。これらの命令は、サブルーチンに再分割されてもよく、及び/又は、静的に又は動的にリンクされてもよい1つ又は複数のファイルに保存されてもよい。
コンピュータプログラムのキャリアは、そのプログラムを搬送できる如何なる要素又はデバイスであってもよい。例えば、そのキャリアは、ROMのような記憶媒体を含んでもよく、例えば、CD ROM、半導体ROM、磁気記憶媒体、例えば、フロッピー(登録商標)ディスクやハードディスクである。さらに、そのキャリアは、電気的又は光学的信号のような伝播性キャリアであってもよく、電気的又は光学的ケーブルを介して、又は、無線又は他の手段によって伝達されてもよい。そのプログラムがそうした信号で実施されるとき、そのキャリアは、そうしたケーブル又は他のデバイスや手段によって構成されてもよい。代替的に、そのキャリアは、そのプログラムが埋め込まれる集積回路であってもよく、その集積回路は、関連の方法を実行するように適応され、又は、その方法の実行において使用されるよう適応される。
上述の実施形態は、本発明を制限するものではなく、本発明を例示するものであり、そして、当業者は、付属の請求項の適用範囲から逸脱することなく、多数の代替的実施形態を設計することが可能であることに留意すべきである。請求項では、カッコ内に置かれる如何なる参照符号もその請求項を制限するものとして解釈してはならない。動詞“を含む(comprise)”とその活用形は、請求項中に示されるもの以外の要素やステップの存在を除外しない。要素の前にある冠詞“a”や“an”は、そうした要素の複数の存在を除外しない。本発明は、幾つかの相異なる要素を含むハードウェアによって実現されてもよく、及び、適切にプログラムされたコンピュータによって実現されてもよい。幾つかの手段を列挙するデバイスクレームでは、これらの手段のうち幾つかは、1つの同じハードウェアアイテムによって実施されてもよい。或る手段が相互に異なる従属請求項に記載されているという単なる事実は、こうした手段の組合せが有利には使用されないということを示すものではない。

Claims (12)

  1. 表示域に画像を表示するシステムであって、
    該システムは、前記画像が前記表示域内にジャストフィットするズームレベルに向けて、前記画像を徐々にズームするズームサブシステムを含み、
    前記ズームサブシステムは、前記画像を徐々にズームする間、固定点を前記表示域内に固定するよう構成され、
    前記システムは、ズーム開始時に表示域に表示される前記画像の一点であって、前記画像の一点が前記表示域に対して固定されることにより、前記画像が前記表示域内にジャストフィットする前記ズームレベルに前記画像をズームすることを可能にする前記画像の一点を、前記固定点として求めるため、ズーム開始時に画像の平行移動のパラメータ及びスケーリングファクタに基づいて前記固定点を決定する固定点判別器を有し、
    前記固定点判別器は、以下の固定点座標(V.x,V.y)を判別するよう構成され:
    V.x=tx*size_x(V)/(size_x(V)-sx*size_x(I))
    及び
    V.y=ty*size_y(V)/(size_y(V)-sy*size_y(I))、
    (V.x,V.y)は、前記表示域における前記固定点を表し;
    sxとsyとは、x方向とy方向の前記画像のスケーリングファクタをそれぞれ表し;
    txとtyとは、x方向とy方向の前記画像の平行移動をそれぞれ表し、
    前記平行移動のパラメータは表示域における前記画像の位置に応じて決まるパラメータである、
    システム。
  2. 表示域のサイズに関して規格化された前記固定点の表示域における座標は、前記画像のサイズに関して規格化された画像における座標に対応する、請求項1記載のシステム。
  3. 前記画像で覆われた前記表示域の一部は、前記画像が前記表示域の範囲内にジャストフィットするとき、目標領域として言及され、前記固定点判別器は、前記固定点を判別するよう構成され、前記目標領域に関する座標で表現され、前記目標領域のサイズに関して規格化される前記固定点の一部は、前記画像のサイズに関して規格化される前記固定点の画像座標と対応する、請求項2記載のシステム。
  4. 前記ズームサブシステムは、前記画像をズームするよう構成され、前記画像の外側境界が、前記画像の少なくとも2つの側で前記表示域にタッチするまで、前記表示域に関して前記固定点を固定維持する、請求項1記載のシステム。
  5. 目標領域を判別する目標領域判別器をさらに含み、前記目標領域は、前記画像の外側境界に類似する形状の外側境界を有し、及び、前記表示域にジャストフィットする最大サイズを有する、請求項1記載のシステム。
  6. ズームアウトする命令を受信するユーザ入力インプットを含み、前記ズームサブシステムは、前記命令に応じて、前記画像を徐々にズームアウトするよう動作可能である、請求項1記載のシステム。
  7. ユーザ入力に応じて、前記画像を平行移動するサブシステムを更に含み、前記サブシステムは、平行移動することが前記表示域内に前記画像の境界を発生させるときには、平行移動を拒絶するよう構成される、請求項1記載のシステム。
  8. 前記ズームサブシステムは、前記表示域の目標領域を、前記画像の連続的に増大又は減少する部分で満たすことにより、ズーム操作を実行するよう構成され、前記連続的に増大又は減少する部分は、前記連続的に増大又は減少する部分のコーナー点が、前記画像の対応するコーナー点に段階的に近づくように選択され、その段階幅は、前記連続的に増大又は減少する部分のコーナー点と、前記画像の対応するコーナー点との間の距離に比例する、請求項1記載のシステム。
  9. 請求項1記載のシステムを含む、ワークステーション。
  10. 請求項1記載のシステムを含む、画像取得装置。
  11. 表示域に画像を表示する方法であって:
    ― 前記画像が前記表示域内にジャストフィットするズームレベルに向けて、前記画像を徐々にズームするステップと、
    ― 前記画像を徐々にズームするステップの間、固定点を前記表示域内に固定するステップであって、ズーム開始時に表示域に表示される前記画像の一点であって、前記画像の一点が前記表示域に対して固定されることにより、前記画像が前記表示域内にジャストフィットする前記ズームレベルに前記画像をズームすることを可能にする前記画像の一点を、前記固定点として求めるため、ズーム開始時に画像の平行移動のパラメータ及びスケーリングファクタに基づいて前記固定点を決定するステップとを含み、
    前記固定点は、以下の固定点座標(V.x,V.y)を有し:
    V.x=tx*size_x(V)/(size_x(V)-sx*size_x(I))
    及び
    V.y=ty*size_y(V)/(size_y(V)-sy*size_y(I))、
    (V.x,V.y)は、前記表示域における前記固定点を表し;
    sxとsyとは、x方向とy方向の前記画像のスケーリングファクタをそれぞれ表し;
    txとtyとは、x方向とy方向の前記画像の平行移動をそれぞれ表し、
    前記平行移動のパラメータは表示域における前記画像の位置に応じて決まるパラメータである、
    方法。
  12. プロセッサシステムに請求項11記載の方法を実行させる命令を含む、コンピュータプログラム。
JP2013517628A 2010-06-30 2011-06-28 表示画像のズーム方法 Active JP6220268B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US35986110P 2010-06-30 2010-06-30
US61/359,861 2010-06-30
PCT/IB2011/052836 WO2012001625A1 (en) 2010-06-30 2011-06-28 Zooming a displayed image

Publications (3)

Publication Number Publication Date
JP2013536455A JP2013536455A (ja) 2013-09-19
JP2013536455A5 JP2013536455A5 (ja) 2015-10-15
JP6220268B2 true JP6220268B2 (ja) 2017-10-25

Family

ID=44629370

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013517628A Active JP6220268B2 (ja) 2010-06-30 2011-06-28 表示画像のズーム方法

Country Status (7)

Country Link
US (1) US9342862B2 (ja)
EP (1) EP2589016A1 (ja)
JP (1) JP6220268B2 (ja)
CN (1) CN102985944B (ja)
BR (1) BR112012033178A2 (ja)
RU (1) RU2603533C2 (ja)
WO (1) WO2012001625A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9721324B2 (en) * 2011-09-10 2017-08-01 Microsoft Technology Licensing, Llc Thumbnail zoom
US9588679B2 (en) * 2011-09-12 2017-03-07 Microsoft Technology Licensing, Llc Virtual viewport and fixed positioning with optical zoom
US9773341B2 (en) * 2013-03-14 2017-09-26 Nvidia Corporation Rendering cover geometry without internal edges
CN103365622B (zh) * 2013-06-28 2019-08-06 新奥特(北京)视频技术有限公司 一种三维粒子画面的调整方法和装置
EP3054834B1 (en) 2013-10-07 2019-12-25 Acist Medical Systems, Inc. Systems and methods for controlled single touch zoom
US9508172B1 (en) 2013-12-05 2016-11-29 Google Inc. Methods and devices for outputting a zoom sequence
KR102273831B1 (ko) * 2014-01-07 2021-07-07 삼성메디슨 주식회사 의료 영상을 디스플레이 하는 방법 및 그 의료 영상 장치
WO2016063234A1 (en) * 2014-10-22 2016-04-28 Koninklijke Philips N.V. Sub-viewport location, size, shape and/or orientation
EP3107071B1 (en) * 2015-06-16 2018-02-28 BRANDAD Systems AG Laying out an electronic document
CN109145064B (zh) * 2017-06-19 2021-02-05 北京嘀嘀无限科技发展有限公司 一种对地图进行缩放的方法、系统、终端及计算机设备
RU2761915C1 (ru) * 2020-12-29 2021-12-14 Федеральное государственное казенное военное образовательное учреждение высшего образования "Военный учебно-научный центр Военно-воздушных сил "Военно-воздушная академия имени профессора Н.Е. Жуковского и Ю.А. Гагарина" (г. Воронеж) Министерства обороны Российской Федерации Пассивная головка самонаведения
CN117991962B (zh) * 2024-04-03 2024-06-18 山东捷瑞数字科技股份有限公司 一种基于云平台的限制图像缩放和拖拽方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5187776A (en) * 1989-06-16 1993-02-16 International Business Machines Corp. Image editor zoom function
US5276785A (en) 1990-08-02 1994-01-04 Xerox Corporation Moving viewpoint with respect to a target in a three-dimensional workspace
JPH04188031A (ja) 1990-11-22 1992-07-06 Nec San-Ei Instr Co Ltd サーモグラフィ装置
EP0693852A3 (en) 1994-07-22 1997-05-28 Eastman Kodak Co Method and apparatus for applying a function to a localized domain of a digital image using a window
US6421063B1 (en) * 1999-04-09 2002-07-16 Hewlett-Packard Company Pixel zoom system and method for a computer graphics system
FI117488B (fi) * 2001-05-16 2006-10-31 Myorigo Sarl Informaation selaus näytöllä
WO2004066137A2 (en) * 2002-11-29 2004-08-05 Bracco Imaging, S.P.A. System and method for managing a plurality of locations of interest in 3d data displays
US7405739B2 (en) * 2003-08-22 2008-07-29 Honeywell International Inc. System and method for changing the relative size of a displayed image
US6989848B2 (en) * 2003-09-29 2006-01-24 Beon Media Inc. Method and system for specifying zoom speed
US7366995B2 (en) * 2004-02-03 2008-04-29 Roland Wescott Montague Combination tool that zooms in, zooms out, pans, rotates, draws, or manipulates during a drag
JP4680071B2 (ja) * 2005-08-09 2011-05-11 三菱電機株式会社 画像処理装置
US7912829B1 (en) * 2006-10-04 2011-03-22 Google Inc. Content reference page
JP5326802B2 (ja) * 2009-05-19 2013-10-30 ソニー株式会社 情報処理装置、画像拡大縮小方法及びそのプログラム

Also Published As

Publication number Publication date
BR112012033178A2 (pt) 2016-09-13
WO2012001625A1 (en) 2012-01-05
US9342862B2 (en) 2016-05-17
CN102985944B (zh) 2016-08-03
RU2013103786A (ru) 2014-08-10
RU2603533C2 (ru) 2016-11-27
US20130088519A1 (en) 2013-04-11
JP2013536455A (ja) 2013-09-19
EP2589016A1 (en) 2013-05-08
CN102985944A (zh) 2013-03-20

Similar Documents

Publication Publication Date Title
JP6220268B2 (ja) 表示画像のズーム方法
JP5842000B2 (ja) 表示画像のズームイン
US11734876B2 (en) Synthesizing an image from a virtual perspective using pixels from a physical imager array weighted based on depth error sensitivity
US10629002B2 (en) Measurements and calibration utilizing colorimetric sensors
US10540745B2 (en) Zooming of medical images
JP5871705B2 (ja) 画像表示装置、方法及びプログラム
US9514575B2 (en) Image and annotation display
CN109727662B (zh) 医学影像检测的显示方法及装置、设备和非暂态存储介质
US20080018669A1 (en) method and system for integrated image zoom and montage

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140627

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150520

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150602

A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A524

Effective date: 20150828

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160311

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20160816

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161214

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20161221

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20170217

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170929

R150 Certificate of patent or registration of utility model

Ref document number: 6220268

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250