JP6214887B2 - レポート作成支援装置及びレポート閲覧装置 - Google Patents

レポート作成支援装置及びレポート閲覧装置 Download PDF

Info

Publication number
JP6214887B2
JP6214887B2 JP2013049569A JP2013049569A JP6214887B2 JP 6214887 B2 JP6214887 B2 JP 6214887B2 JP 2013049569 A JP2013049569 A JP 2013049569A JP 2013049569 A JP2013049569 A JP 2013049569A JP 6214887 B2 JP6214887 B2 JP 6214887B2
Authority
JP
Japan
Prior art keywords
medical image
unit
image
display
report
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013049569A
Other languages
English (en)
Other versions
JP2013215563A (ja
Inventor
大静 森島
大静 森島
麻希 水口
麻希 水口
茂史 吉田
茂史 吉田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Medical Systems Corp
Original Assignee
Toshiba Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Medical Systems Corp filed Critical Toshiba Medical Systems Corp
Priority to JP2013049569A priority Critical patent/JP6214887B2/ja
Publication of JP2013215563A publication Critical patent/JP2013215563A/ja
Application granted granted Critical
Publication of JP6214887B2 publication Critical patent/JP6214887B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/05Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/742Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/743Displaying an image simultaneously with additional graphical information, e.g. symbols, charts, function plots
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/02Devices for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computerised tomographs
    • A61B6/032Transmission computed tomography [CT]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/46Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment with special arrangements for interfacing with the operator or the patient
    • A61B6/461Displaying means of special interest
    • A61B6/463Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Description

本発明の実施形態は、レポート作成支援装置及びレポート閲覧装置に関する。
医療分野においては、専門分野が細分化されている。従って、医用画像撮影装置(X線CT装置、MRI装置等)により取得された医用画像の読影を専門医(読影医)に依頼することが広く行われている。
読影医は、読影対象の医用画像を確認しながら、その所見を読影レポートとしてまとめる作業を行う。
読影レポートの作成には、レポート作成装置が用いられる。一般に、読影医はレポート作成装置の表示部に表示された医用画像を確認し、所見を見出すことにより読影レポートを作成する。そして、読影医は、その所見を表示部に表示された所見入力欄に入力する。
この際、読影医は、所見の根拠となった部分(;以下、「注目部位」という場合がある)を明確にするために、所見の判断に用いられた医用画像(以下、「キー画像」という場合がある)を読影レポートに関連付ける。なお所見の根拠となった部分とは、たとえば、血栓や腫瘍等の病変部である。
また、読影医はキー画像中における注目部位を明確にするため、そのキー画像にアノテーションと呼ばれる円や多角形等の図形を付与する操作を行う。
特開2010−167144号公報
一般に、医用画像には、注目部位を含む広い範囲が示されている。従って読影レポートに、アノテーションが付されたキー画像がそのまま関連付けられると、その読影レポートを確認する医師等にとって、医用画像に示された各部が分かり難くなる場合がある。
そのため、読影医は、医用画像取得装置で取得された医用画像と別に、注目部位を示す注目画像を追加で作成する。さらに読影医は、キー画像と併せてその注目画像を読影レポートに関連付ける。このように、読影の都度、注目画像を作成し、読影レポートに関連付ける作業は、読影医にとって煩雑である。さらにこの作業によって読影効率の低下を招くという問題があった。
実施形態は、前述の問題点を解決するためになされたもので、読影レポートの作成作業を容易にすることが可能なレポート作成支援装置及びレポート閲覧装置を提供することを目的とする。
上記課題を解決するために、実施形態に記載のレポート作成支援装置は、表示部と、入力部と、特定部と、生成部と、表示制御部とを含んで構成されている。表示部は、読影レポート及び第1の医用画像を表示する。特定部は、予め付与された所定の情報に基づいて表示部に表示された第1の医用画像における所定領域又は所定位置を特定する。生成部は、特定部により特定された所定領域もしくは位置、並びに第1の医用画像に基づいて、第2の医用画像を生成する。生成部は、抽出部を備える。抽出部は、特定部により特定された所定領域又は所定位置を含む所定範囲のみを第1の医用画像から抽出する。生成部は、当該抽出部によって抽出された所定範囲の画像を拡大した画像を第2の医用画像として生成する。表示制御部は、第1の医用画像と第2の医用画像とを読影レポートの画像表示領域に同時に表示するよう表示部を制御する。
第1実施形態に係る医用情報システムを示す全体図である。 第1実施形態に係るレポート作成装置を示す図である。 第1実施形態に係る医用画像の一例を示す図である。 第1実施形態に係る医用画像の一例を示す図である。 第1実施形態に係る医用画像の一例を示す図である。 第1実施形態に係る医用画像の一例を示す図である。 第1実施形態に係る医用画像の一例を示す図である。 拡大画像を読影レポートに関連付ける操作を概念的に示す概略図である。 拡大画像を読影レポートに関連付ける処理を概念的に示す概略図である。 拡大画像を読影レポートに関連付ける処理を概念的に示す概略図である。 第1実施形態に係る医用画像の別例を示す図である。 第1実施形態に係る医用画像の別例を示す図である。 第1実施形態に係る医用画像の別例を示す図である。 第1実施形態に係る医用画像の別例を示す図である。 第1実施形態に係る医用画像の別例を示す図である。 読影レポートとともに表示される医用画像及び拡大画像の概要を示す概略図である。 読影レポートとともに表示される医用画像及び拡大画像の概要を示す概略図である。 読影レポートとともに表示される医用画像及び拡大画像の概要を示す概略図である。 読影レポートとともに表示される医用画像及び拡大画像の概要を示す概略図である。 読影レポートとともに表示される医用画像及び拡大画像の概要を示す概略図である。 読影レポートとともに表示される医用画像及び拡大画像の概要を示す概略図である。 読影レポートとともに表示される医用画像及び拡大画像の概要を示す概略図である。 第1実施形態に係るレポート作成装置の動作を示すフローチャートである。 変形例に係る医用画像の一例を示す図である。 第2実施形態に係る医用情報システムを示す全体図である。 第2実施形態に係るレポート閲覧装置を示す図である。 第2実施形態に係るレポート閲覧装置の動作を示すフローチャートである。
<第1実施形態>
図1から図5を参照して、本実施形態に係るレポート作成装置4の構成について説明する。
[医用情報システム1の全体構成]
図1に示すように、医用情報システム1は、医用画像撮影装置2、医用画像保管装置3、レポート作成装置4及びレポート保管装置5を含んで構成されている。これらの装置間はLAN(Local Area Network)等のネットワークNを介して通信可能に接続されている。装置間の通信は、医用画像の標準規格であるDICOM(Digital Imaging and Communications in Medicine)に準拠してもよい。ただし、装置間の通信として、他の標準規格を適用してもよい。情報通信は、たとえばTCP/IP(Transmission Control Protocol/Internet Protocol)による。また装置間において、データはネットワークNを介してパケット(転送する情報の基本単位)でやり取りされる。
医用画像撮影装置2は、たとえば、X線撮影装置、X線CT(Computed Tomography)装置及びMRI(Magnetic Resonance Imaging)装置等である。医用画像撮影装置2により被検体の撮影がなされ、その結果、医用画像を取得することができる。取得された医用画像は、たとえばDICOMに準拠したファイル形式で医用画像保管装置3に送信される。送信される医用画像には、その医用画像を取得した日付、撮影条件等その医用画像に付随する画像関連情報が含まれている。なお、「画像」と「画像データ」は一対一に対応するので、本実施形態においては、これらを同一視する場合がある。
医用画像保管装置3は、医用画像撮影装置2から送信された医用画像等を保管する装置である。医用画像保管装置3は、所謂コンピュータであり、内部にCPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)及び大容量の記憶装置等を含んで構成されている。なお、これらCPU、ROM、RAM及び当該記憶装置の図示は省略する。
レポート作成装置4は、読影医等からの指示に基づき、表示部43(後述)に表示された医用画像に関する所見を記録する。またレポート作成装置4は、読影レポートを作成する。レポート作成装置4の詳細については後述する。
レポート保管装置5は、レポート作成装置4で作成された読影レポートや、その読影レポートを作成する際に参照した医用画像(キー画像)を保管する。レポート保管装置5は、所謂コンピュータであり、内部にCPU、ROM、RAM及び大容量の記憶装置等を含んで構成されている。なお、これらCPU、ROM、RAM及び当該記憶装置の図示は省略する。また、医用画像保管装置3及びレポート保管装置5は、一つの装置として構成されていてもよい。或いは、レポート作成装置4及びレポート保管装置5を一つの装置として構成することも可能である。
[レポート作成装置の構成]
図2は、本実施形態に係るレポート作成装置4の詳細を示すブロック図である。レポート作成装置4は、入力部41と、CPU42と、表示部43とを含んで構成されている。
(入力部)
入力部41は、レポート作成装置4において各種の指示に用いられる。入力部41は、たとえば、キーボード、マウス、トラックボール、ジョイスティック等である。また、入力部41として、表示部43に表示されたGUI(Graphical User Interface)を用いることも可能である。また、入力部41としては、少なくとも医用画像における各位置を指定することが可能なポインティングデバイスが含まれる。
(CPU)
本実施形態において、CPU42は、取得部421、レポート作成部422、処理部423、関連付け部424、及び表示制御部425として機能する。
取得部421は、入力部41等からの指示に基づいて、医用画像を医用画像保管装置3から取得する。医用画像は、読影医等が読影レポートを作成する際に参照される。具体例として、入力部41で検査IDが入力された場合、取得部421は、その検査IDに対応する医用画像を医用画像保管装置3から読み出す。
レポート作成部422は、入力部41等からの指示に基づいて、表示部43に表示された所見入力欄に所見の内容を表示させる。具体例として、入力部41がキーボードからなる場合、レポート作成部422は、読影医により押下された文字キーに対応付けられた文字を所見入力欄に電子データとして記録する。さらにレポート作成部422は、記録した文字のデータを当該所見入力欄に反映させる。
処理部423は、取得部421により取得された医用画像に対して各種の処理を行う。本実施形態における処理部423は、アノテーション部423aと、特定部423bと、抽出部423cと、拡大部423dとを含んで構成されている。なお、拡大部423dは、「生成部」の一例に該当する。
アノテーション部423aは、入力部41等からの指示に基づいて、表示部43に表示された医用画像にアノテーションを付加する。アノテーションは、たとえば、注目部位(病変部等)を指す矢印や、注目部位を囲む円、楕円、多角形、或いは、注目部位を囲むようにフリーハンドで描かれた線等、医用画像上に描出される図形である。具体例として、読影医は、円形状のアノテーションを選択し、マウス等の入力部41により医用画像中の注目部位を囲むように指示を行う。この入力に応じてアノテーション部423aは、医用画像の該当部分に円形状のアノテーションAを表示させる(図3A参照)。アノテーションは、1枚の医用画像に複数箇所、付加されてもよい。
特定部423bは、表示部43に表示された医用画像におけるいずれかの画像領域を特定する。画像領域の特定には、公知の手法を用いることが可能である。具体例として、図3Aを参照して説明する。特定部423bは、アノテーションAが付加された医用画像に対して、エッジ検出等の処理を行いアノテーションAの周(外縁部)を検出する。また特定部423bは、その周及び周に囲われた部分(面)を画像領域として特定する。1枚の医用画像に複数箇所のアノテーションが付加されている場合や、複数枚の医用画像それぞれにアノテーションが付加されている場合、特定部423bは、上記処理を各医用画像のアノテーション毎に行う。特定部423bによる処理は、入力部41等による指示(手動)により開始してもよい。或いは、当該処理を医用画像にアノテーションが付加されたことを特定部423bが検知することに応じて、自動で開始してもよい。
画像領域は、具体例に示したような面に限られない。たとえば、画像領域は、点、線、及び立体のいずれであってもよい。すなわち、画像領域は、0次元(点)〜3次元(立体)のいずれであってもよい。別の具体例として、図4Aに示す矢印のアノテーションA´が付加された医用画像に対して、特定部423bは、その矢印の先端を示す部分(点P;図4B参照)を画像領域として特定することもできる。
また、特定部423bにより特定される画像領域は、アノテーションの全てを含んでいる必要はない。たとえば、読影医等により入力部41を介してアノテーションの一部が指定された場合には、特定部423bがその範囲を画像領域として特定することも可能である。なお、以上説明した画像領域は、「所定領域」又は「所定位置」の一例に該当する。
抽出部423cは、特定部423bにより特定された画像領域を含む所定範囲の画像を抽出する。具体例として、円形状のアノテーションAが付加された医用画像(図3A参照)に対して、その周及び周に囲まれた部分が画像領域として特定された場合について説明する。まず、抽出部423cは、特定された画像領域に外接する矩形R(ここでは四角形)を求める(図3B参照)。次に、抽出部423cは、矩形Rの各頂点から所定の長さだけ均等に拡大した範囲を所定範囲PRとして求める(図3C参照)。最後に、抽出部423cは、所定範囲PRの画像をトリミングにより抽出する(図3D参照)。所定範囲PRまたは矩形Rから拡大する範囲は、予め所定の値が設定されていてもよい。或いはこれらの範囲について、特定部423bで特定される画像領域に応じて都度、任意に設定することも可能である。また、矩形Rから拡大する範囲は、矩形Rの各頂点から均等でなくともよい。複数の画像領域が特定されている場合、抽出部423cは、上記処理を特定された画像領域毎に行う。
さらに抽出部423cは、所定範囲PRを表示部43に表示させてもよい。この処理により、レポート作成装置4は、読影医等に抽出する範囲を呈示することが可能である。その結果、読影医等は、抽出される範囲を把握することが可能である。また、この所定範囲PRの表示画面は、読影医等が入力部41等を介して所定範囲PRの編集操作をすることを可能に構成されていてもよい。その操作があると、抽出部423cは表示部43に表示させた所定範囲PRを変更する。この場合、抽出部423cは変更後の所定範囲PRにおいて抽出処理を行う。
なお、アノテーションとして多角形やフリーハンドの図形が付加された場合であっても同様の処理が可能である。すなわち、抽出部423cは、特定部423bで特定された多角形やフリーハンドの図形に外接する矩形を求める。次に、抽出部423cは、その矩形の各頂点から均等に拡大した範囲を所定範囲として求める。最後に、抽出部423cは、その所定範囲の画像をトリミングにより抽出する。
別の具体例として、入力部41により、注目部位を指す矢印のアノテーションA´が付加された医用画像(図4A参照)に対し、その矢印の先端部分(点P)が画像領域として特定された場合(図4B参照)について説明する。抽出部423cは、特定された点P(画像領域)を含み、当該点Pから所定方向に均等に拡大した範囲を所定範囲PR´として求める(図4C参照)。そして、抽出部423cは、所定範囲PR´の画像をトリミングにより抽出する(図4D参照)。
拡大部423dは、抽出部423cにより抽出された画像に対応する拡大画像を生成する。生成された拡大画像は、表示部43に表示される。拡大画像は、アノテーションの付加に用いた医用画像に基づいて生成されてもよいし、抽出された画像に基づいて生成されてもよい。たとえば、医用画像に基づいて拡大画像を生成する場合、拡大部423dは、医用画像において所定範囲PRに対応する領域を拡大する処理を行う。医用画像から拡大画像を生成することにより、拡大画像における画質の劣化を抑えることが可能となる。また、抽出部423cによって抽出された画像(図3D参照)を拡大する場合、拡大部423dは、画像を構成する画素間に推定した画素を与える補間法等を用いてから、当該画像を所定の倍率で拡大する(図3E参照)。なお、図3Eでは元の医用画像(図3A)と同じサイズに拡大している。拡大倍率は予め所定の倍率を設定してもよいし、操作者により都度、設定される構成とすることも可能である。複数箇所の画像が抽出されている場合、拡大部423dは、上記処理を画像毎に行う(図4E参照)。
関連付け部424は、入力部41を介した指示を受け、拡大部423dで生成された拡大画像を読影レポートに関連付ける。この関連付け処理の具体例として、図3F及び図3Gを参照して説明する。図3Fは、拡大画像MIを読影レポートRAに関連付ける操作を概念的に示す概略図である。図3Gは、拡大画像MIを読影レポートRAに関連付ける処理を概念的に示す概略図である。
図3Fに示すように、操作者がマウス等の入力部41を用いることにより、表示部43に表示された拡大画像MIをドラッグする操作を行った後、読影レポートRAにおけるいずれかの領域にドロップする操作を行うと、関連付け部424は、当該操作に応じた指示を受ける。また図3Gに示すように関連付け部424は、その指示に基づいて読影レポートRAの任意の部分に拡大画像MIを関連付ける。なお、拡大画像は「第2の画像」の一例に該当する。また拡大画像の元の医用画像は、「第1の医用画像」の一例に該当する。
《関連付け例1》
上記における「画像を読影レポートに関連付ける」処理の一例としては、画像データを読影レポートのデータに貼り付ける処理として説明することができる。たとえば、関連付け部424はDICOM画像を、JPEG等の汎用のファイルフォーマットに変換する。さらに関連付け部424は、読影レポートのデータに埋め込む処理を行う。この読影レポートを、検査依頼医が汎用のPC等で閲覧する場合、読影レポートが読み出されるとともに、埋め込まれた拡大画像の画像データが読み出される。その結果、読影レポートとともに拡大画像が当該PCの表示部等に表示される。
《関連付け例2》
また関連付け部424における関連付け処理には、たとえば、関連付け部424が拡大画像と読影レポートとを対応付けて記憶装置等に記憶させることが含まれる。たとえば、医用情報システム1において、拡大画像が元の医用画像と関連付けられて、医用画像保管装置3に記憶される構成とすることができる。この構成において、関連付け部424は、拡大画像の画像データを、元の医用画像の画像データの画像IDもしくは記憶場所の情報、又は読影レポートを識別するID(レポートID、患者ID等)と関連付けて医用画像保管装置3に記憶させる。さらに関連付け部424は、拡大画像の画像データのリンク情報を、読影レポートのデータに埋め込む処理を行う。この読影レポートを、検査依頼医が閲覧する場合、検査依頼医のPCにより読影レポートが読み出されるとともに、埋め込まれた拡大画像の画像データのリンク情報が読み出される。このリンク情報に従って、画像データが読み出される。このような処理を経て、読影レポートとともに拡大画像が当該PCの表示部等に表示される。なお、上記拡大画像の画像データは、DICOM画像であっても、JPEG等の汎用の画像データであってもよい。
《関連付け例3》
また関連付け部424における関連付け処理には、たとえば、関連付け部424が拡大画像を生成したときの画像処理条件と、読影レポートとを対応付けて記憶装置等に記憶させることが含まれる。たとえば、医用情報システム1において、拡大画像の画像処理条件が元の医用画像と関連付けられて、医用画像保管装置3に記憶される構成とすることができる。この構成において、関連付け部424は、拡大画像の画像処理条件を、拡大部423d等から取得する。画像処理条件としては、元の医用画像における位置情報(座標情報)、解像度、拡大率及び上記補間法における条件等である。
さらに関連付け部424は、当該画像処理条件を、元の医用画像の画像データの画像IDもしくは記憶場所の情報、又は読影レポートを識別するID(レポートID、患者ID等)と関連付けて医用画像保管装置3に記憶させる。さらに関連付け部424は、画像処理条件のリンク情報を、読影レポートのデータに埋め込む処理を行う。この読影レポートを、検査依頼医が閲覧する場合、検査依頼医のPCにより読影レポートが読み出されるとともに、読影レポートに関連付けられた元の医用画像の画像データと、埋め込まれた拡大画像の画像処理条件のリンク情報が読み出される。このリンク情報に従って、画像処理条件が読み出される。さらに検査依頼医のPCは、元の医用画像の画像データに対し、読み出した画像処理条件に基づいて画像処理を行う。その結果、当該PCは拡大画像の画像データを生成する。このような処理を経て、読影レポートとともに拡大画像が当該PCの表示部等に表示される。なお、上記拡大画像の画像データは、DICOM画像等である。
さらに関連付け部424は、読影レポート内における拡大画像の位置(表示位置)の情報、拡大画像のサイズの情報、並びに拡大画像又は医用画像の表示態様を読影レポートに関連付ける処理等を行なってもよい。
また図3Hに示すように、関連付け部42は、拡大画像MIと併せて、拡大画像MIの元となった医用画像Iを読影レポートRAに関連付けることも可能である。また関連付け部424は、表示部43に表示されている他の医用画像等を読影レポートに関連付けることも可能である。或いは、表示部43に複数の拡大画像が表示されている場合、関連付け部424は、操作に応じてそれぞれの拡大画像を一つの読影レポートに関連付けることも可能である。なお、検査依頼医のPC等により読み出された後の表示態様については後述する。
表示制御部425は、表示部43に対する表示制御を行う。たとえば、表示制御部425は、取得部421で取得された医用画像や読影レポート等を表示部43に表示させるための制御を行う(図4E参照)。
(表示部)
表示部43は、読影レポート及び医用画像を表示するディスプレイである。本実施形態では、2つの表示部43を有するデュアルディスプレイが用いられている。一方の表示部43には、読影レポートが表示され、他方の表示部43には、医用画像が表示される。取得部421により取得された医用画像が複数枚ある場合、表示部43には、全ての医用画像を表示させてもよい。
本実施形態において、上記構成のうち、特定部423b、関連付け部424及び表示部43は、「レポート作成支援装置」の一例に該当する。また「レポート作成支援装置」の一例として、入力部41、抽出部423c及び拡大部423dを含む場合がある。
[動作]
次に、図5を参照して、本実施形態に係るレポート作成装置4の動作について説明する。
まず、操作者によりレポート作成装置4が起動される。レポート作成装置4が起動された後、表示制御部425により、表示部43に所見入力欄を含む読影レポート作成画面が表示される(S10)。
次に、操作者により入力部41を介して検査IDが入力されることに応じて、取得部421はその検査IDに関連する医用画像を医用画像保管装置3から取得する。表示制御部425は、取得された医用画像を表示部43に表示させる(S11)。
読影医は、表示部43に表示された医用画像を観察し、所見を見出す。そして、読影医は、その所見を入力部41を介して表示部43に表示された読影レポート作成画面に入力する操作を行う。この際、読影医は、読影レポートを作成する際に参照した医用画像のいずれかの部分に、入力部41を用いてアノテーションを付加する操作を行うことがある。この操作に基づき、アノテーション部423aは、医用画像に対してアノテーションを付加する(S12)。以下、S12において、読影医により円形状のアノテーションAが付加される操作が実行された場合について説明を行う(図3A参照)。
アノテーションAが付加されると、特定部423bは、エッジ検出により円形状のアノテーションAの周を検出する。さらに特定部423bは、その周及び周に囲われた部分を画像領域として特定する(S13)。
抽出部423cは、特定された画像領域に外接する矩形R(四角形)を求める(図3B参照)。次に、抽出部423cは、矩形Rの各頂点から所定の長さだけ均等に拡大した所定範囲PRを求める(図3C参照)。さらに、抽出部423cは、所定範囲PRの画像をトリミングにより抽出する(S14;図3D参照)。
拡大部423dは、S14で抽出された画像に対応する拡大画像を生成する(S15。図3E参照)。なお、複数のアノテーションが付加されている場合がある。たとえば、1枚の医用画像に複数のアノテーションが付加されている場合、または複数枚の医用画像それぞれにアノテーションが付加されている場合等である。この場合、レポート作成装置4は、それぞれのアノテーションに対してS13からS15の処理を行う。
表示制御部425は、S15で生成された拡大画像を表示部43に表示させる(S16)。
読影医は、入力部41により、S16で表示された拡大画像を読影レポートに関連付ける指示を行う(図3F参照)。当該指示に基づき、関連付け部424は、S15で生成された拡大画像を読影レポートに関連付ける(S17)(図3G参照)。このような処理に基づいて、医用画像が関連付けられた読影レポートが生成される(S18)。
[拡大画像の取得処理]
拡大画像が関連付けられた読影レポートは、たとえば、読影レポートを記憶する記憶部にレポートID等とともに記憶されている。そのレポートの記憶部に接続された端末からレポートの読出し要求を行うと、要求に応じた読影レポートが当該端末に送信される。図1に示す例では、医用情報システム1におけるレポート保管装置5に当該読影レポートが記憶されている。以下、図1に示す医用情報システム1に基づき、読影レポートの表示態様について説明する。
検査依頼医等はたとえば、医用情報システム1に接続されたPC端末等により、任意のレポートID等を入力し、かつ読影レポートの取得要求を行う。レポート保管装置5は、当該取得要求及びレポートIDを受け、当該レポートIDに対応する読影レポートを当該PC端末に送信する。要求にかかるPC端末では、読影レポートのデータを受ける。ここで、PC端末は、読影レポートに埋め込まれた情報に基づいて、その読影レポートに関連付けられた拡大画像とともに読影レポートを表示部(不図示)に表示させる。
第1の例として拡大画像の画像データが埋め込まれている場合、PC端末は、埋め込まれた画像データに基づいて拡大画像を表示させる。第2の例として拡大画像のリンク情報が埋め込まれている場合、PC端末は、埋め込まれた画像のリンク情報に基づいて医用画像保管装置3からリンク情報に対応する画像データを取得する。さらにPC端末は、画像データに対応する拡大画像を読影レポートとともに表示させる。
第3の例として拡大画像の元となる医用画像のリンク情報と拡大画像の画像処理条件とが埋め込まれている場合、PC端末は、埋め込まれた画像のリンク情報に基づいて医用画像保管装置3からリンク情報に対応する画像データを取得する。さらにPC端末は、画像データに対応する医用画像に対し、埋め込まれていた画像処理条件を施し、拡大画像を生成する。さらにPC端末は、読影レポートとともに生成した拡大画像を表示させる。
第4の例として拡大画像の元となる医用画像のリンク情報及び拡大画像の画像処理条件のリンク情報が埋め込まれている場合、PC端末は、埋め込まれた画像のリンク情報に基づいて医用画像保管装置3からリンク情報に対応する画像データを取得する。なおかつPC端末は、医用情報システム1におけるいずれかの記憶装置から、拡大画像の画像処理条件のリンク情報に基づいて画像処理条件を取得する。さらにPC端末は、画像データに対応する医用画像に対し、取得した画像処理条件を施し、拡大画像を生成する。さらにPC端末は、読影レポートとともに生成した拡大画像を表示させる。なお、この例において医用画像の画像データが読影レポートに埋め込まれていてもよい。
なお、以上説明した第1の例〜第4の例において、PC端末に拡大画像の元の医用画像を取得させてもよい。また、PC端末が拡大画像を取得する実施例としては、上記説明した例に限られない。また、読影レポートに関連付けられた拡大画像には、読影レポートの画像表示欄における配置位置に関する情報及び元の医用画像の表示態様に関する情報が対応付けられている場合がある。
[表示態様]
次に、読影レポートと、上記実施形態により生成され、当該読影レポートに関連付けられた拡大画像が表示されるときの表示態様について、図4E〜図4Lを参照して説明する。図4F〜図4Iは、読影レポートとともに表示される医用画像及び拡大画像の概要を示す概略図である。図4F〜図4Lは、それぞれ拡大画像または医用画像の表示態様が異なるように示されている。これらの各表示態様は、読影レポートに関連付けられた画像の表示に関する情報に従う。
上記したように読影レポートには、読影レポートの画像表示欄における、拡大画像の配置位置及び表示態様と、元の医用画像の配置位置及び表示態様とに関する情報が関連付けられる場合がある。PC端末は、その関連付けられた情報に基づいて、たとえば、以下に示すような表示態様で拡大画像、及び元の医用画像を表示部等に表示させる。
<第1の例>
表示態様の第1の例について図4Fを参照して説明する。図4Fに示すように、PC端末の表示制御部(不図示)は、読影レポートに関連付けられた情報に基づき、読影レポートの画像表示領域に、拡大画像及び元の医用画像を並べて表示させる。なお、図4Fの例に限らず、拡大画像と元の医用画像の表示サイズを異ならせてもよい。また、関連付け部424が、読影レポートを、拡大画像と元の医用画像の表示サイズを可変とするように構成している場合は、これらのサイズを操作部等により変更することが可能である。また、拡大画像と元の医用画像との並びは、読影レポートのレイアウトに従えばよく、図4Fの例に限られない。
<第2の例>
表示態様の第2の例について図4G及び図4Hを参照して説明する。図4Gに示すように、PC端末は、読影レポートに関連付けられた情報に基づき、読影レポートの画像表示領域に、拡大画像及び元の医用画像を並べて表示させる。さらに、第2の例においては、表示する元の医用画像の中に、拡大画像の位置を示す位置情報を表示する。
たとえば、PC端末の表示制御部は、拡大画像の付帯情報等を参照し、当該付帯情報から元の医用画像における拡大画像に相当する位置情報(座標情報等)を抽出する。さらに表示制御部は、抽出した位置情報に基づいて、元の医用画像における拡大画像に相当する領域を特定する。なお、表示制御部は特定した拡大画像に相当する領域の外縁部の位置情報のみを特定してもよい。さらに表示制御部は、当該特定した拡大画像の位置情報に基づき、元の医用画像において、拡大画像に相当する領域の表示態様を、その周囲の表示態様と異ならせる。
たとえば、図4Gに示すように元の医用画像の画像データに対し、表示制御部は、拡大画像に相当する領域の外縁を破線で描画する処理を行う。なお、他の例として表示制御部は拡大画像に相当する領域を他の部分の表示色と異ならせて、当該領域を識別可能とする処理を行う。また他の例として、表示制御部は、拡大画像に相当する領域の階調表示を、他の部分の階調表示に対し、反転させる処理を行う。また他の例として、表示制御部は拡大画像に相当する領域の透明度を他の部分の透明度と識別可能に異ならせる処理を行う。
また、他の例として図4Hを参照して説明する。元の医用画像の画像データに対し、表示制御部は、拡大画像に相当する領域の外縁を実線、破線等で描画する。さらに表示制御部は、拡大画像に相当する領域の外縁部と、拡大画像の外縁部との間を結ぶ線を描画する処理(吹き出し表示処理)を行う。
<第3の例>
表示態様の第3の例について図4I及び図4Jを参照して説明する。図4I及び図4Jに示すように、PC端末は、読影レポートに関連付けられた情報に基づき、読影レポートの画像表示領域に、拡大画像及び元の医用画像のいずれかを選択的に表示させる。たとえば、表示制御部は、図4I及び図4Jに示すような切り替えボタンを読影レポートに表示させる。さらに表示制御部は、PC端末の操作部等により、切り替えボタンの操作がなされると、元の医用画像から拡大画像に表示を切り替える処理を行う(図4I→図4J)。同様に、表示制御部は、PC端末の操作部等により、切り替えボタンの操作がなされると、拡大画像から元の医用画像に表示を切り替える処理を行う(図4J→図4I)。
なお、読影レポートに関連付けられた拡大画像が複数ある場合、表示制御部は拡大画像のファイル名等及び元の医用画像のファイル名を、上記切り替えボタンに替えて表示する。さらに表示制御部は、PC端末の操作部等により、ファイル名の1つが選択される操作がなされると、操作に対応するファイル名を有する画像を表示する処理を行う。
またこの例と第1の例を組み合わせること可能である。たとえば、表示制御部は、読影レポートに関連付けられた情報に基づき、複数の拡大画像のうち、1以上の画像を元の医用画像と並べて表示させる。さらに表示制御部は読影レポートの画像表示領域に、拡大画像のファイル名を選択可能に表示させる。また、表示制御部はPC端末の操作部等により、ファイル名の1つが選択される操作がなされると、操作に対応するファイル名を有する拡大画像を、元の医用画像と並べて表示する処理を行う。
またこの例と第2の例を組み合わせることも可能である。たとえば、表示制御部は、読影レポートに関連付けられた情報に基づき、複数の拡大画像のうち、1以上の画像を元の医用画像と並べて表示させるとともに、元の医用画像において各拡大画像(下記第4の例参照)位置を周囲の表示態様と異なる表示態様にする処理を行う。さらに、表示制御部はPC端末の操作部等により、元の医用画像における各拡大画像のいずれかが選択される操作がなされると、操作に対応する位置に該当する拡大画像を、元の医用画像と並べて表示する処理を行う。
<第4の例>
表示態様の第4の例について図4Kを参照して説明する。図4Kに示すように、PC端末は、読影レポートに関連付けられた情報に基づき、読影レポートの画像表示領域に、複数の拡大画像と元の医用画像とを並べて表示させる。なお、表示制御部は、複数の拡大画像の全てを元の医用画像と並べて表示させる必要はなく、設定に応じた数の拡大画像を元の医用画像と並べて表示させる処理を行う。
<第5の例>
表示態様の第5の例について説明する。PC端末は、読影レポートに関連付けられた情報に基づき、読影レポートの画像表示領域に、複数の拡大画像と元の医用画像とを並べて表示させる。さらに、表示制御部は、読影レポートのいずれかの領域に、拡大画像を非表示にする操作を行うためのボタンを表示させる。さらに表示制御部はPC端末の操作部等により、当該ボタンを選択する操作がなされると、画像表示領域に元の医用画像のみを表示させ、拡大画像を非表示にする処理を行う。なお、拡大画像を非表示とする場合、元の医用画像の表示領域を拡張させてもよい。
<第6の例>
表示態様の第6の例について図4Lを参照して説明する。図4Lに示すように、PC端末は、読影レポートに関連付けられた情報に基づき、読影レポートの画像表示領域において、元の医用画像の上に拡大画像を重畳して表示させる。なお、この第6の例と上記第3の例とを組み合わせることも可能である。図4Lに示すように、表示制御部は、読影レポートに関連付けられた情報に基づき、読影レポートの画像表示領域に切り替えボタンを表示させる。さらに表示制御部はPC端末の操作部等により、当該切り替えボタンを選択する操作がなされると、画像表示領域に元の医用画像のみを表示させ、拡大画像を非表示にする処理を行う。
なお、読影レポートに関連付けられた拡大画像が複数ある場合、表示制御部は拡大画像のファイル名等及び元の医用画像のファイル名を、上記切り替えボタンに替えて表示する。さらに表示制御部は、PC端末の操作部等により、ファイル名の1つが選択される操作がなされると、操作に対応するファイル名を有する画像を表示する処理を行う。
また、表示制御部は、上記他の例のように、元の医用画像に各拡大画像に相当する位置を表示させ(図4K参照)、当該位置いずれかが選択される操作に応じて、選択された拡大画像のみを元の医用画像と重畳表示させ、他の拡大画像を非表示にする処理を行ってもよい。
以上、読影レポートと拡大画像と元の医用画像の表示態様を用いることで、検査依頼医等のPC端末の表示部において表示領域が限られている場合であっても、表示領域を確保することが可能である。また、元の医用画像と拡大画像との位置関係を明確にすることが可能である。
[作用・効果]
第1実施形態に係るレポート作成装置4の作用及び効果について説明する。
レポート作成装置4は、表示部43に表示された医用画像における所定領域を特定する。またレポート作成装置4は、当該領域を含む所定範囲の画像を生成する。たとえば、当該所定範囲に対応する拡大画像を生成する。
所定領域は、たとえば特定部423bにより、医用画像に描出された図形に基づき特定される。この図形としては、医用画像における注目部位を指す矢印、或いは、医用画像における注目部位を囲む図形を挙げることができる。なお、この図形には、円、楕円、多角形、フリーハンドで描画された図形等の少なくともいずれかが含まれる。また、拡大画像を生成するために、医用画像における所定の位置を含む所定範囲が抽出される場合がある。たとえば図形が矢印の場合、抽出部423cは、その矢印の先端の点を含む所定範囲の画像を抽出する。また、図形が、注目部位を囲む図形の場合、抽出部423cは、その図形を画像領域として所定範囲の画像を抽出する。抽出処理の一例としては、次の通りである。特定部423bは医用画像に付加されたアノテーションの周を検出する。さらに特定部423bは、その周及び周に囲われた部分を画像領域として特定する。抽出部423cは、特定された画像領域に外接する図形を求める。さらに抽出部423cは、その図形を所定範囲として特定し、医用画像から特定した範囲を抽出する。
このように、レポート作成装置4は、医用画像からで特定された画像領域を含む所定範囲の画像を自動的に抽出、拡大する。このような構成によれば、読影医は、読影レポートを作成するとき、都度、拡大画像を作成する必要がない。従って、読影医は、拡大画像から任意の画像を選択して所見入力欄に関連付ける操作を行うだけで読影レポートを作成することができる。すなわち、本実施形態に係るレポート作成装置4によれば、読影レポートの作成作業を容易にすることが可能となる。
また、本実施形態において、関連付け部424は、拡大画像と併せて、拡大画像の元となる医用画像を読影レポートに関連付けることができる。
たとえば、拡大画像と併せて、当該医用画像を読影レポートに関連付ければ、後にその読影レポートを確認する医師等は、拡大画像が医用画像のどの部分に対応しているのかを容易に知ることが可能となる。
<変形例>
画像領域を特定する方法は、第1実施形態で説明した方法に限られない。すなわち、アノテーションを元に画像領域を特定する構成に限られない。
《変形例1》
たとえば、特定部423bは、操作者による、マウス等の入力部41を用いたドラッグ操作に基づいて、画像領域を特定することが可能である。つまり、アノテーション等の注目部位を特定する図形表示等を付加する操作を経ることなく、読影医等が入力部41等により注目部位をマウスポインタ等により指定しつつドラッグ操作をすることにより、特定部423bは、そのドラッグ操作にかかる指定点を含む画像領域として特定する。この処理の具体例について図6を参照して説明する。図6は、変形例に係る医用画像の一例を示す図である。図6においては、操作者によりドラッグ操作されるときに指定された点を見やすくするため、部分的な拡大図も示している。
読影医は、マウスを介して医用画像に表示されたポインタBを操作し、注目部位を指定するか、もしくは注目部位を含むようにドラッグ操作する。特定部423bは、その指定された点Eを画像領域として特定する。あるいは特定部423bは、ドラッグ操作により指定された面を画像領域として特定する。その後、抽出部423c等により、当該画像領域に基づいて、所定範囲の抽出、拡大画像の生成等、上記実施形態と同様の処理を行う。これらの処理により、表示部43に指定された点E又は面を含む拡大画像を表示することができる。
この変形例1では、読影医等が元の医用画像に対しアノテーションの付与をする操作を行うことなく、注目部位を特定し、拡大画像を生成することが可能である。
《変形例2》
或いは、特定部423bは、医用画像において指定された注目部位を画像領域として特定することが可能である。
具体例としては、表示部43に表示された医用画像に対し、図示されない解析部が画像解析を行う。解析部は、画像解析により病変部等の注目部位の位置情報を取得する。解析部はこの処理により、注目部位を指定する。特定部423bは、指定された注目部位の位置情報に基づき、注目部位の領域を求める。そして、特定部423bは、求めた領域を画像領域として特定する。その後、抽出部423c等により、当該画像領域に基づいて、所定範囲の抽出、拡大画像の生成等、上記実施形態と同様の処理を行う。これらの処理により指定された注目部位を含む拡大画像を表示することができる。
上記変形例1及び変形例2であっても、その画像領域を含む所定範囲の画像を自動的に抽出、拡大することが可能である。このような構成によれば読影医が都度、拡大画像を作成する必要がない。従って、読影医は、拡大画像から任意の画像を選択して所見入力欄に関連付けるだけで読影レポートを作成することができる。すなわち、読影レポートの作成作業を容易にすることができる。
<第2実施形態>
次に、図7から図9を参照して、第2実施形態に係るレポート閲覧装置6の構成について説明する。なお、第1実施形態と同様の構成については、詳細な説明を省略する場合がある。
[医用情報システム1の全体構成]
図7に示すように、医用情報システム1は、医用画像撮影装置2、医用画像保管装置3、レポート作成装置4、レポート保管装置5及びレポート閲覧装置6を含んで構成されている。
レポート閲覧装置6は、レポート作成装置4で作成された読影レポートを閲覧するための装置である。以下、レポート閲覧装置6の詳細について述べる。
[レポート閲覧装置の構成]
図8は、本実施形態に係るレポート閲覧装置6の詳細を示すブロック図である。レポート閲覧装置6は、入力部61と、CPU62と、表示部63とを含んで構成されている。
(入力部)
入力部61は、レポート閲覧装置6において各種の指示に用いられる。入力部61は、たとえば、キーボード、マウス、トラックボール、ジョイスティック等である。また、入力部61として、表示部63に表示されたGUIを用いることも可能である。
(CPU)
本実施形態において、CPU62は、レポート取得部621、処理部622、及び表示制御部623として機能する。
レポート取得部621は、入力部61等からの指示に基づいて、読影レポートをレポート保管装置5から取得する。読影レポートは、医師等により参照される。具体例として、入力部61で患者IDが入力された場合、レポート取得部621は、その患者IDに対応する読影レポートをレポート保管装置5から読み出す。
処理部622は、レポート取得部621により取得された読影レポート及び読影レポートに関連付けられた医用画像の一方又は双方に対して各種の処理を行う。本実施形態における処理部622は、判断部622aと、抽出部622bと、拡大部622cとを含んで構成されている。
判断部622aは、読影レポートに関連付けられた医用画像に注目部位を示す図形があるか否かを判断する。具体例として、判断部622aは、医用画像に対して、エッジ検出等の処理を行い図形(アノテーション等)が付加されているか否かを判断する。読影レポートに複数枚の医用画像が関連付けられている場合、判断部622aは、各医用画像に対して上記処理を行う。判断部622aは、入力部41等による指示(手動)により処理を開始してもよい。或いは、判断部622aは、レポート取得部621により読影レポートが取得されたことに応じて、判断部622aが自動で処理を開始してもよい。
判断部622aにより医用画像中に注目部位を示す図形があると判断された場合、抽出部622bは、その図形の少なくとも一部を含む所定範囲の画像を抽出する。具体例として、読影レポートに関連付けられた医用画像において円形状のアノテーションが付加されている場合について説明する。まず、抽出部622bは、円形状のアノテーションに外接する矩形を求める。次に、抽出部622bは、矩形の各頂点から所定の長さだけ均等に拡大した範囲を所定範囲とする画像を指定する。最後に、抽出部622bは、所定範囲の画像をトリミングにより抽出する。読影レポートに関連付けられた医用画像に、複数の図形が含まれていると判断されている場合、抽出部622bは、それぞれの図形に対して上記処理を行う。また、入力部61等による指示により、アノテーションの一部を含む矩形が指定された場合、抽出部622bは、その矩形に対して上記処理を行うことでアノテーションの一部を含む所定範囲の画像を抽出することも可能である。
拡大部622cは、抽出部622bにより抽出された画像に対応する拡大画像を生成する。生成された拡大画像は、表示部63に表示される。拡大部622cによる処理の具体例は、第1実施形態における拡大部423dの処理と同様である。
表示制御部623は、表示部63に対する表示制御を行う。たとえば、表示制御部623は、拡大部622cで拡大された拡大画像を表示部63に表示させるための制御を行う。
(表示部)
表示部63は、読影レポートを表示するディスプレイである。
なお、本実施形態におけるレポート閲覧装置としては、上記構成のうち、少なくとも判断部622a、抽出部622b、拡大部622c、表示制御部623及び表示部63を含んでいればよい。
[動作]
次に、図9を参照して、本実施形態に係るレポート閲覧装置6の動作について説明する。
まず、操作者によりレポート閲覧装置6が起動される。さらに医師等が入力部61を介して患者IDの入力を行う。患者IDが入力されると、レポート取得部621は、その患者IDに関連する読影レポートをレポート保管装置5から取得する。表示制御部623は、取得された読影レポートを表示部63に表示させる(S20)。
判断部622aは、S20で表示された読影レポートに関連付けられた医用画像に注目部位を示す図形があるか否かを判断する(S21)。
図形があると判断された場合(S21;Y)、抽出部622bは、その図形に外接する矩形を生成する。次に、抽出部622bは、矩形の各頂点から所定の長さだけ均等に拡大した範囲を所定範囲として指定する。さらに、抽出部622bは、所定範囲の画像をトリミングにより抽出する(S22)。なお、図形が無いと判断された場合(S21;N)、S22以降の処理は実行されない。
拡大部622cは、S22で抽出された画像に対応する拡大画像を生成する(S23)。なお、医用画像に複数の注目部位を示す図形が付加されている場合には、それぞれの図形に対してS22及びS23の処理を行う。
表示制御部623は、S23で生成された拡大画像を表示部63に表示させる(S24)。
[作用・効果]
第2実施形態に係るレポート閲覧装置の作用及び効果について説明する。
本実施形態に係るレポート閲覧装置は、表示部63と、判断部622aと、抽出部622bと、拡大部622cと、表示制御部623とを含んで構成されている。表示部63は、医用画像が関連付けられた読影レポートを表示する。判断部622aは、関連付けられた医用画像に注目部位を示す図形があるか否かを判断する。注目部位を示す図形があると判断された場合、抽出部622bは、その図形の少なくとも一部を含む所定範囲の画像を抽出する。拡大部622cは、抽出された画像に対応する拡大画像を生成する。表示制御部623は、拡大画像を表示部に表示させる。
このように、レポート閲覧装置は、読影レポートに関連付けられた医用画像の注目部位を含む所定範囲の画像を自動的に抽出、拡大する。このような構成によれば医師等は読影レポートの読影を容易に行うことができる。また、読影医は、読影レポートを作成する都度、拡大画像を作成する必要がない。従って、読影医は、所見の元となった医用画像を所見入力欄に関連付けるだけで読影レポートを作成することができる。すなわち、本実施形態に係るレポート閲覧装置によれば、読影レポートの作成作業も容易にすることが可能となる。
<第3実施形態>
次に、第3実施形態に係るレポート作成装置4の構成について説明する。なお、第1実施形態と同様の構成については、詳細な説明を省略する。
第3実施形態において、第1実施形態における図3A〜図3Dまでの処理、すなわち、図5のフローチャートにおけるS10〜S14までの処理は第1実施形態と同様である。なお、S10は読影レポートの作成画面の表示処理であり、S14は、元の医用画像から所定範囲を抽出する処理である。
第3実施形態に係るレポート作成装置4は切り出し画像生成部(不図示)を備えており、切り出し画像生成部は、抽出された画像の表示倍率を変更しない切り出し画像を生成する。表示制御部425は、生成された切り出し画像を表示部43に表示させる。読影医は、入力部41により、表示された切り出し画像を読影レポートに関連付ける指示を行う(図3Fと同様)。当該指示に基づき、関連付け部424は、生成された切り出し画像を読影レポートに関連付ける(図3Gと同様)。このような処理に基づいて、切り出し画像が関連付けられた読影レポートが生成される。
読影レポートには、読影レポートの画像表示欄における、拡大画像及び元の医用画像の配置位置及び表示態様に関する情報が関連付けられる場合がある。検査依頼医等が使用するPC端末においては、その関連付けられた情報に基づいて、たとえば、第1実施形態の各表示態様の例と同様に切り出し画像、及び元の医用画像を読影レポートとともに表示させる。
[作用・効果]
第3実施形態に係るレポート作成装置4の作用及び効果について説明する。
レポート作成装置4は、表示部43に表示された医用画像における所定領域を特定する。またレポート作成装置4は、当該領域を含む所定範囲の切り出し画像を生成する。
所定領域は、たとえば特定部423bにより、医用画像に描出された図形に基づき特定される。また、拡大画像を生成するために、医用画像における所定の位置を含む所定範囲が抽出される場合がある。また、図形が、注目部位を囲む図形の場合、抽出部423cは、その図形を画像領域として所定範囲の画像を抽出する。
このように、レポート作成装置4は、医用画像からで特定された画像領域を含む所定範囲の画像を自動的に抽出し、抽出した領域の切り出し画像を生成する。このような構成によれば、読影医は、読影レポートを作成するとき、都度、切り出し画像を作成する必要がない。従って、読影医は、切り出し画像から任意の画像を選択して所見入力欄に関連付ける操作を行うだけで読影レポートを作成することができる。すなわち、本実施形態に係るレポート作成装置4によれば、読影レポートの作成作業を容易にすることが可能となる。
また、本実施形態において、関連付け部424は、切り出し画像と併せて、切り出し画像の元となる医用画像を読影レポートに関連付けることができる。
たとえば、切り出し画像と併せて、当該医用画像を読影レポートに関連付ければ、後にその読影レポートを確認する医師等は、切り出し画像が医用画像のどの部分に対応しているのかを容易に知ることが可能となる。
<実施形態に共通の効果>
以上述べた少なくともひとつの実施形態の構成によれば、医用画像の所定範囲の画像を自動的に抽出することができる。このような構成によれば、読影医が読影レポートにかかる医用画像の拡大画像又は切り出し画像を作成する必要がない。すなわち、読影レポートの作成作業を容易にすることが可能となる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
1 医用情報システム
2 医用画像撮影装置
3 医用画像保管装置
4 レポート作成装置
5 レポート保管装置
41 入力部
42 CPU
43 表示部
421 取得部
422 レポート作成部
423 処理部
423a アノテーション部
423b 特定部
423c 抽出部
423d 拡大部
424 関連付け部
425 表示制御部

Claims (25)

  1. 読影レポート及び第1の医用画像を表示する表示部と、
    前記表示部を制御する表示制御部と、
    予め付与された所定の情報に基づいて前記表示部に表示された第1の医用画像における所定領域又は所定位置を特定する特定部と、
    前記特定部により特定された前記所定領域もしくは前記所定位置、並びに前記第1の医用画像に基づいて、第2の医用画像を生成する生成部と、を備え、
    前記生成部は、前記特定部により特定された前記所定領域又は前記所定位置を含む所定範囲のみを前記第1の医用画像から抽出する抽出部を備え、当該抽出部によって抽出された前記所定範囲の画像を拡大した画像を前記第2の医用画像として生成し、
    前記表示制御部は、前記第1の医用画像と前記第2の医用画像とを前記読影レポートの画像表示領域に同時に表示するよう前記表示部を制御する、
    ことを特徴とするレポート作成支援装置。
  2. 前記第2の医用画像を前記読影レポートに関連付ける関連付け部を備える、
    ことを特徴とする請求項1に記載のレポート作成支援装置。
  3. 前記関連付け部は、前記読影レポートに前記第1の医用画像および前記第2の医用画像を関連付ける、
    ことを特徴とする請求項2に記載のレポート作成支援装置。
  4. 前記第2の医用画像の画像処理条件を前記読影レポートに関連付ける関連付け部を備える、
    ことを特徴とする請求項1に記載のレポート作成支援装置。
  5. 前記関連付け部は、リンク情報を前記読影レポートに埋め込むことにより関連付けを行う、
    ことを特徴とする請求項2〜4のいずれかに記載のレポート作成支援装置。
  6. 前記生成部は、前記特定部により特定された前記所定領域又は前記所定位置および前記第1の医用画像に基づいて、第1の医用画像の拡大画像を前記第2の医用画像として生成する、
    ことを特徴とする請求項1に記載のレポート作成支援装置。
  7. 前記生成部は、前記特定部により特定された前記所定領域又は前記所定位置および前記第1の医用画像に基づいて、第1の医用画像の一部である切り出し画像を前記第2の医用画像として生成する、
    ことを特徴とする請求項1に記載のレポート作成支援装置。
  8. 前記予め付与された所定の情報は、前記第1の医用画像中に描出された図形である、
    ことを特徴とする請求項1に記載のレポート作成支援装置。
  9. 前記図形は、前記第1の医用画像における注目部位を囲む図形であり、
    前記抽出部は、前記図形を前記所定領域として前記所定範囲を抽出する、
    ことを特徴とする請求項8に記載のレポート作成支援装置。
  10. 前記第1の医用画像に対する操作を行うための入力部を備え、
    前記特定部は、前記入力部を用いたドラッグ操作に基づき、前記所定領域を特定する、
    ことを特徴とする請求項1に記載のレポート作成支援装置。
  11. 前記予め付与された所定の情報は、前記第1の医用画像において指定された注目部位である、
    ことを特徴とする請求項1に記載のレポート作成支援装置。
  12. 前記表示制御部は、前記第1の医用画像と前記第2の医用画像とを前記表示部に並べて表示させる、
    ことを特徴とする請求項1に記載のレポート作成支援装置。
  13. 前記表示制御部は、前記表示部において、前記第1の医用画像の上に前記第2の医用画像を重ねて表示させる、
    ことを特徴とする請求項1に記載のレポート作成支援装置。
  14. 前記表示部の表示に関する操作を行うための入力部を備え、
    前記表示制御部は、前記入力部の操作に応じて、前記表示部において、前記第2の医用画像を非表示とする制御を行う、
    ことを特徴とする請求項13に記載のレポート作成支援装置。
  15. 前記表示部の表示に関する操作を行うための入力部を備え、
    前記表示制御部は、前記入力部の操作に応じ、前記表示部において、前記第1の医用画像および前記第2の医用画像を切り替えていずれか一方を表示させる、
    ことを特徴とする請求項1に記載のレポート作成支援装置。
  16. 前記表示制御部は、前記第1の医用画像および前記第2の医用画像の位置関係を示す位置関係情報を前記表示部に表示させる制御を行う、
    ことを特徴とする請求項12に記載のレポート作成支援装置。
  17. 前記表示制御部は、
    前記第1の医用画像において前記第2の医用画像に相当する位置情報を特定し、
    さらに前記第1の医用画像において、前記位置情報に基づく前記第2の医用画像の位置を、少なくとも該位置の周囲と異なる態様で表示させることにより、前記位置関係情報を表示させる、
    ことを特徴とする請求項16に記載のレポート作成支援装置。
  18. 前記表示制御部は、前記第2の医用画像が複数ある場合、少なくとも1つの第2の医用画像を、前記第1の医用画像と並べて表示する、
    ことを特徴とする請求項12に記載のレポート作成支援装置。
  19. 前記表示部の表示に関する操作を行うための入力部を備え、
    前記第2の医用画像が複数ある場合、前記表示制御部は前記入力部の操作に応じて、少なくとも1つの第2の医用画像を前記第1の医用画像と並べて表示させる制御を行う
    ことを特徴とする請求項18に記載のレポート作成支援装置。
  20. 前記表示制御部は、前記第2の医用画像が複数ある場合、
    前記第1の医用画像において、前記第2の医用画像それぞれに相当する各位置を、少なくともこれら各位置の周囲と異なる態様で表示させ、
    さらに、前記入力部を介して前記各位置のいずれかを選択する操作に応じて、少なくとも1つの前記第2の医用画像を前記第1の医用画像と並べて表示させる制御を行う、
    ことを特徴とする請求項19に記載のレポート作成支援装置。
  21. 前記表示部の表示に関する操作を行うための入力部を備え、
    前記第2の医用画像が複数ある場合、前記表示制御部は前記入力部の操作に応じて、少なくとも1つの第2の医用画像を前記第1の医用画像と重ねて表示させる制御を行う、
    ことを特徴とする請求項13に記載のレポート作成支援装置。
  22. 前記表示部の表示に関する操作を行うための入力部を備え、
    前記第2の医用画像は、前記第1の医用画像の所定範囲を拡大した拡大画像であり、
    前記表示制御部は、前記第2の医用画像が複数ある場合、
    前記第1の医用画像において、前記第2の医用画像それぞれに相当する各位置を、少なくともこれら各位置の周囲と異なる態様で表示させ、
    さらに、前記入力部を介して前記各位置のいずれかを選択する操作に応じて、少なくとも1つの前記拡大画像を前記第1の医用画像と重ねて表示させる制御を行う、
    ことを特徴とする請求項21に記載のレポート作成支援装置。
  23. 第1の医用画像が関連付けられた読影レポートを表示する表示部と、
    関連付けられた前記第1の医用画像において、予め付与された所定の情報に基づいて注目部位を示す図形の有無を判断する判断部と、
    前記注目部位を示す図形があると判断されたときに、前記第1の医用画像に基づいて、
    その図形の少なくとも一部を含む第2の医用画像を生成する生成部と、
    前記第2の医用画像を前記表示部に表示させる表示制御部と、
    を有し、
    前記生成部は、
    前記注目部位を示す図形があると判断されたときに、前記第1の医用画像から、その図形の少なくとも一部を含む所定範囲のみを抽出する抽出部を備え、
    当該抽出部によって抽出された前記所定範囲の画像を拡大した像を前記第2の医用画像として生成し、
    前記表示制御部は、前記第1の医用画像と前記第2の医用画像とを前記読影レポートの画像表示領域に同時に表示するよう前記表示部を制御する、
    ことを特徴とするレポート閲覧装置。
  24. 読影レポート及び第1の医用画像を表示する表示部と、
    前記表示部を制御する表示制御部と、
    予め付与された所定の情報に基づいて前記表示部に表示された第1の医用画像における所定領域又は所定位置を特定する特定部と、
    前記特定部により特定された前記所定領域もしくは前記所定位置、並びに前記第1の医用画像に基づいて、第2の医用画像を生成する生成部と、を備え、
    前記予め付与された所定の情報は、前記第1の医用画像中に描出された、前記第1の医用画像における注目部位を指す矢印であり、
    前記生成部は、前記特定部により特定された前記所定領域又は前記所定位置を含み、前記矢印の先端の領域を含む所定範囲のみ前記第1の医用画像から抽出する抽出部を備え、前記第1の医用画像の前記所定範囲のみに基づき前記第2の医用画像を生成し、
    前記表示制御部は、前記第1の医用画像と前記第2の医用画像とを前記表示部に同時に表示させる
    ことを特徴とするレポート作成支援装置。
  25. 読影レポート及び第1の医用画像を表示する表示部と、
    前記表示部を制御する表示制御部と、
    予め付与された所定の情報に基づいて前記表示部に表示された第1の医用画像における所定領域又は所定位置を特定する特定部と、
    前記特定部により特定された前記所定領域もしくは前記所定位置、並びに前記第1の医用画像に基づいて、第2の医用画像を生成する生成部と、を備え、
    前記生成部は、前記特定部により特定された前記所定領域又は前記所定位置を含む所定範囲のみを前記第1の医用画像から抽出する抽出部を備え、前記第1の医用画像の前記所定範囲のみに基づき前記第2の医用画像を生成し、
    前記表示制御部は、前記第1の医用画像と前記第2の医用画像とを前記表示部に同時に並べて表示させ、前記第1の医用画像および前記第2の医用画像の位置関係を示す位置関係情報を前記表示部に表示させる制御を行い、
    前記位置関係情報は、
    前記第1の医用画像における前記第2の医用画像に相当する位置と、該第1の医用画像と並んで表示された前記第2の医用画像との間を結びつける線を表示するための線情報を含み、
    前記表示制御部は、
    前記第1の医用画像において前記所定範囲を特定し、
    さらに前記線情報に基づいて、前記第1の医用画像における前記第2の医用画像に相当する位置と、前記第2の医用画像との間を結びつける線を、前記表示部に表示させる制御を行う、
    ことを特徴とするレポート作成支援装置。
JP2013049569A 2012-03-12 2013-03-12 レポート作成支援装置及びレポート閲覧装置 Active JP6214887B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013049569A JP6214887B2 (ja) 2012-03-12 2013-03-12 レポート作成支援装置及びレポート閲覧装置

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012054131 2012-03-12
JP2012054131 2012-03-12
JP2013049569A JP6214887B2 (ja) 2012-03-12 2013-03-12 レポート作成支援装置及びレポート閲覧装置

Publications (2)

Publication Number Publication Date
JP2013215563A JP2013215563A (ja) 2013-10-24
JP6214887B2 true JP6214887B2 (ja) 2017-10-18

Family

ID=49161186

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013049569A Active JP6214887B2 (ja) 2012-03-12 2013-03-12 レポート作成支援装置及びレポート閲覧装置

Country Status (4)

Country Link
US (1) US10930385B2 (ja)
JP (1) JP6214887B2 (ja)
CN (1) CN104025148B (ja)
WO (1) WO2013137280A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015215740A (ja) * 2014-05-09 2015-12-03 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP6074455B2 (ja) * 2015-05-14 2017-02-01 キヤノン株式会社 診断支援装置、診断支援装置の制御方法、プログラム、及び診断支援システム
JP6556503B2 (ja) * 2015-06-02 2019-08-07 キヤノンメディカルシステムズ株式会社 読影レポートシステム
WO2017068905A1 (ja) * 2015-10-19 2017-04-27 オリンパス株式会社 医療情報記録装置
JP2017099616A (ja) * 2015-12-01 2017-06-08 ソニー株式会社 手術用制御装置、手術用制御方法、およびプログラム、並びに手術システム
US10679343B2 (en) 2016-03-03 2020-06-09 Nidek Co., Ltd. Ophthalmic image processing apparatus and ophthalmic image processing program
JP6702024B2 (ja) * 2016-06-27 2020-05-27 株式会社ニデック 眼科画像処理装置、眼科画像処理プログラム
FR3050857B1 (fr) * 2016-05-02 2018-06-15 Keen Eye Technologies Procede et systeme electronique de traitement d'un ensemble d'images d'echantillons, procede et systeme electronique associes de controle d'un rapport genere, programmes d'ordinateur associes
KR102192164B1 (ko) * 2018-08-08 2020-12-16 주식회사 딥바이오 생체 이미지 진단 시스템, 생체 이미지 진단 방법, 및 이를 수행하기 위한 단말
CN113223691A (zh) * 2020-01-21 2021-08-06 佳能医疗系统株式会社 医用报告辅助装置及医用报告辅助方法
CN112057094A (zh) * 2020-09-24 2020-12-11 上海联影医疗科技股份有限公司 一种图像显示方法、装置、血管造影设备及存储介质

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0838433A (ja) * 1994-07-31 1996-02-13 Shimadzu Corp 医用画像診断装置
JPH09198453A (ja) 1996-01-23 1997-07-31 Hitachi Ltd 読影レポート作成支援方法
JP2002028154A (ja) * 2000-07-18 2002-01-29 Fuji Photo Film Co Ltd 画像表示方法、画像表示システムおよび異常陰影候補検出システム
US20040085443A1 (en) * 2000-12-13 2004-05-06 Kallioniemi Olli P Method and system for processing regions of interest for objects comprising biological material
JP4662517B2 (ja) * 2001-01-09 2011-03-30 株式会社日立メディコ 診断支援システム
JP2004187980A (ja) * 2002-12-12 2004-07-08 Fuji Photo Film Co Ltd 医用画像処理装置及び医用画像処理方法
US20040151358A1 (en) 2003-01-31 2004-08-05 Akiko Yanagita Medical image processing system and method for processing medical image
JP4356327B2 (ja) * 2003-01-31 2009-11-04 コニカミノルタホールディングス株式会社 医用画像処理装置及び医用画像処理方法
US7764817B2 (en) * 2005-08-15 2010-07-27 Siemens Medical Solutions Usa, Inc. Method for database guided simultaneous multi slice object detection in three dimensional volumetric data
US20070211930A1 (en) * 2006-03-09 2007-09-13 Terry Dolwick Attribute based image enhancement and display for medical imaging applications
DE602007008390D1 (de) * 2006-03-24 2010-09-23 Exini Diagnostics Ab Automatische interpretation von medizinischen 3d-bildern des hirns und verfahren zum produzieren von zwischenergebnissen
US7945083B2 (en) * 2006-05-25 2011-05-17 Carestream Health, Inc. Method for supporting diagnostic workflow from a medical imaging apparatus
JP2008006169A (ja) 2006-06-30 2008-01-17 Konica Minolta Medical & Graphic Inc 小規模施設用医用画像表示システム
JP2009070201A (ja) * 2007-09-14 2009-04-02 Fujifilm Corp 読影レポート作成システム及び読影レポート作成装置並びに読影レポート作成方法
JP2009086765A (ja) 2007-09-27 2009-04-23 Fujifilm Corp 医用レポートシステム、医用レポート作成装置、及び医用レポート作成方法
JP2009082227A (ja) * 2007-09-27 2009-04-23 Fujifilm Corp 医用レポートシステム、医用レポート作成装置、及び医用レポート作成方法
JP4528322B2 (ja) * 2007-09-28 2010-08-18 富士フイルム株式会社 画像表示装置、画像表示方法、および画像表示プログラム
JP2009189541A (ja) 2008-02-14 2009-08-27 Fujifilm Corp 読影支援装置及び方法、並びに医用ネットワークシステム
JP5248157B2 (ja) * 2008-03-25 2013-07-31 株式会社東芝 レポート作成支援システム及びレポート作成装置
JP5426105B2 (ja) 2008-03-27 2014-02-26 富士フイルム株式会社 医用レポートシステム、医用レポート閲覧装置、医用レポートプログラム、及び医用レポートシステムの作動方法
JP5226370B2 (ja) 2008-04-18 2013-07-03 株式会社東芝 読影レポート作成支援システム
JP5317558B2 (ja) * 2008-07-07 2013-10-16 株式会社東芝 医用情報作成装置
JP2010057902A (ja) * 2008-08-06 2010-03-18 Toshiba Corp レポート作成支援装置、レポート作成支援システム、及び医用画像参照装置
JP2010167144A (ja) 2009-01-23 2010-08-05 Toshiba Corp 医用画像診断支援システム
JP5094775B2 (ja) * 2009-03-31 2012-12-12 富士フイルム株式会社 症例画像検索装置、方法およびプログラム
JP5308973B2 (ja) * 2009-09-16 2013-10-09 富士フイルム株式会社 医用画像情報表示装置および方法並びにプログラム
JP5523891B2 (ja) 2009-09-30 2014-06-18 富士フイルム株式会社 病変領域抽出装置、その作動方法およびプログラム
JP5421756B2 (ja) * 2009-12-11 2014-02-19 富士フイルム株式会社 画像表示装置および方法並びにプログラム
JP2011182808A (ja) * 2010-03-04 2011-09-22 Fujifilm Corp 医用画像生成装置、医用画像表示装置、医用画像生成方法及びプログラム

Also Published As

Publication number Publication date
WO2013137280A1 (ja) 2013-09-19
US10930385B2 (en) 2021-02-23
CN104025148A (zh) 2014-09-03
CN104025148B (zh) 2019-01-04
JP2013215563A (ja) 2013-10-24
US20140379382A1 (en) 2014-12-25

Similar Documents

Publication Publication Date Title
JP6214887B2 (ja) レポート作成支援装置及びレポート閲覧装置
US10222954B2 (en) Image display apparatus, display control apparatus and display control method using thumbnail images
JP5416845B2 (ja) 医用画像表示装置、医用情報管理サーバ
JP2010057902A (ja) レポート作成支援装置、レポート作成支援システム、及び医用画像参照装置
KR101474768B1 (ko) 의료기기 및 이를 이용한 영상표시방법
JP2017051591A (ja) 情報処理装置及びその方法、情報処理システム、コンピュータプログラム
JP2012510672A (ja) 画像表示にアクセスし、それを操作するためのアクティブ・オーバーレイ・システムおよび方法
US10181187B2 (en) Information processing apparatus, method thereof, information processing system, and computer-readable storage medium that display a medical image with comment information
JP2015016067A (ja) 画像表示方法および装置並びにプログラム
JP2008188177A (ja) 画像処理装置
CN106445435B (zh) 医用图像显示装置、系统和方法
JP6004875B2 (ja) 医用画像表示装置、医用画像表示方法及びプログラム
JP5036368B2 (ja) 医用画像表示装置及び方法
JP6076762B2 (ja) レポート作成支援システム及びレポート作成支援プログラム
JP5176916B2 (ja) 医用画像表示装置及びプログラム
JP6440386B2 (ja) 情報処理装置及びプログラム
JP6327966B2 (ja) 医用画像表示装置、表示制御装置および表示制御方法、プログラム
JP2009075846A (ja) 輪郭抽出装置及びプログラム
JP2008253681A (ja) 医用支援システム、及び医用支援プログラム
JP2006075416A (ja) 医用画像システム
JP5262649B2 (ja) 医用画像表示装置及びプログラム
JP6797858B2 (ja) 医用画像表示装置、表示制御装置および表示制御方法、プログラム
JP6146249B2 (ja) 画像表示装置及び画像表示方法
JP2010131238A (ja) 医用画像表示装置及びプログラム
JP2006055402A (ja) 画像処理装置、画像処理方法及び画像処理プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160208

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20160527

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161026

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161101

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170530

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170731

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170822

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170920

R150 Certificate of patent or registration of utility model

Ref document number: 6214887

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350