JPWO2016147545A1 - 画像表示装置、画像表示システム、画像表示方法、およびプログラム - Google Patents

画像表示装置、画像表示システム、画像表示方法、およびプログラム Download PDF

Info

Publication number
JPWO2016147545A1
JPWO2016147545A1 JP2017506046A JP2017506046A JPWO2016147545A1 JP WO2016147545 A1 JPWO2016147545 A1 JP WO2016147545A1 JP 2017506046 A JP2017506046 A JP 2017506046A JP 2017506046 A JP2017506046 A JP 2017506046A JP WO2016147545 A1 JPWO2016147545 A1 JP WO2016147545A1
Authority
JP
Japan
Prior art keywords
image
current image
organ
coincidence
candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017506046A
Other languages
English (en)
Other versions
JP6578519B2 (ja
Inventor
津田　賢治郎
賢治郎 津田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of JPWO2016147545A1 publication Critical patent/JPWO2016147545A1/ja
Application granted granted Critical
Publication of JP6578519B2 publication Critical patent/JP6578519B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/7425—Displaying combinations of multiple images regardless of image source, e.g. displaying a reference anatomical image with a live image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/0037—Performing a preliminary scan, e.g. a prescan for identifying a region of interest
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/40—Software arrangements specially adapted for pattern recognition, e.g. user interfaces or toolboxes therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G06V10/7515—Shifting the patterns to accommodate for positional errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/945—User interactive design; Environments; Toolboxes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2560/00—Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
    • A61B2560/04—Constructional details of apparatus
    • A61B2560/0475—Special features of memory means, e.g. removable memory cards
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7246—Details of waveform analysis using correlation, e.g. template matching or determination of similarity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/08—Biomedical applications
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Processing Or Creating Images (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

画像表示装置（２００）は、画像出力部（２１０）と、部位移動部（２５０）と、一致度スコア算出部（２４０）と、を備える。画像出力部（２１０）は、人体の複数の部位での多層解剖で得た複数の画像のうち１つの部位での１つの層の画像を現在画像として出力する。部位移動部（２５０）は、現在画像が出力された後、部位移動指示を取得する。一致度スコア算出部（２４０）は、移動先部位での複数の候補画像の各々について、現在画像に含まれている器官を表すラベル情報と、候補画像に含まれている器官を表すラベル情報との比較により、現在画像と候補画像とでの含まれている器官の一致度を示す一致度スコアを算出する。画像出力部（２１０）は、最大の一致度スコアが算出された候補画像を、新たな現在画像として出力する。

Description

本発明は、画像表示装置、画像表示システム、画像表示方法、およびプログラムに関し、特には、人体の解剖画像を表示する技術に関する。
昨今、医療や医学の現場において多くの医用情報が蓄積されるにしたがい、膨大な医用情報のなかから所望の医用情報を容易に閲覧するためのユーザーインターフェースに対する要求が高まっている。
例えば、特許文献１は、ユーザー（例えば、医師）が人体の外観画像上で患者の診察部位を指示するに応じて、患者の指示された診察部位の検査情報をユーザーに提示する医用情報表示装置を開示している。
特許文献１は、人体の１つの部位（例えば、胸部）に複数の臓器（例えば、肺および心臓）が重なって存在していると、ユーザーは、外観画像上で所望の１つの臓器を区別して指示できない場合がある問題を指摘する。
この問題に対し、特許文献１の医用情報表示装置は、人体を解剖していくときに順次現れる臓器や組織を模式的に表した複数の解剖画像を使って、ユーザーが、複数の解剖画像のうちの１つ画像において所望の臓器を指示することを可能にしている。
特開２０１２−２４７８８０号公報
本発明者らは、医用の画像表示システムを検討している。画像表示システムは、人体の複数の部位の各々で局所かつ多層解剖を実施することによって得られた複数の画像を蓄積し、ユーザー（例えば、医師や医学生）による閲覧のために提示する。
画像表示システムでは、画像を閲覧しているユーザーが人体の深さ方向に着目点を移動したいと考えることがある。その場合、現在参照している多層解剖の別の層の画像に表示を切り換えることにより、ユーザーは、人体の深さ方向にスムーズに着目点を移動することができる。体表からの深さが異なる複数の画像を順次提示する考え方は、特許文献１の考え方とも共通する。
ところが、ユーザーは人体の別の部位に着目点を移動したいと考えることもある。移動先部位での多層解剖によって多数の画像が記録されている場合、どの画像がユーザーに提示すべき適切な画像かは必ずしも自明ではない。所望の画像に到達するために、ユーザー自身が移動先部位での複数の画像を順次参照する必要があるとすれば、画像表示システムの利便性は大きく損なわれる。
そこで、本開示では、人体の複数の部位において多層解剖を行い器官を撮影して得た複数の画像のなかから、ユーザーからの部位移動指示に応じて適切な画像を表示することができる画像表示装置を提供する。
開示される一態様に係る画像表示装置は、画像出力部と、部位移動部と、一致度スコア算出部と、を備える。画像出力部は、人体の複数の部位において多層解剖を行い器官を撮影して得た複数の画像のうち、１つの部位での多層解剖における１つの層の画像を現在画像として出力する。部位移動部は、現在画像が出力された後、現在画像の部位とは異なる部位を示す部位移動指示を取得する。一致度スコア算出部は、複数の画像において部位移動指示で示される部位に該当する層ごとの画像である複数の候補画像の各々について、現在画像に含まれている器官を表すラベル情報と、候補画像に含まれている器官を表すラベル情報とを比較することにより、候補画像に含まれている器官と現在画像に含まれている器官との一致度を示す一致度スコアを算出する。画像出力部は、最大の一致度スコアが算出された候補画像を、新たな現在画像として出力する。
これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
図１は、第１の実施の形態に係る画像表示システムの機能的な構成の一例を示すブロック図である。 図２は、第１の実施の形態に係る画像情報の一例を示す図である。 図３は、第１の実施の形態に係るラベル情報の一例を示す図である。 図４は、第１の実施の形態に係る部位配置情報の一例を示す図である。 図５は、第１の実施の形態に係る画像情報、ラベル情報および部位配置情報の具体例を図式化して表す説明図である。 図６は、第１の実施の形態に係る部位一覧画面の一例を示す図である。 図７は、第１の実施の形態に係る現在画像表示画面の一例を示す図である。 図８は、第１の実施の形態に係る部位移動処理の一例を示すフローチャートである。 図９は、第１の実施の形態に係る一致度スコア算出処理の一例を示すフローチャートである。 図１０は、第１の実施の形態に係る一致度スコアの算出結果の一例を示す図である。 図１１は、第１の実施の形態に係る一致度スコア算出処理の他の一例を示すフローチャートである。 図１２は、第１の実施の形態に係る一致度スコア算出処理のさらに他の一例を示すフローチャートである。 図１３は、第２の実施の形態に係るラベル情報の一例を示す図である。 図１４は、変形例に係る部位配置情報の一例を示す図である。 図１５は、変形例に係る部位配置情報の具体例を図式化して表す説明図である。 図１６は、画像表示システムの全体的なハードウェア構成の一例を示す図である。
以下、本発明の一態様に係る画像表示システムについて、図面を参照しながら具体的に説明する。
なお、以下で説明する実施の形態は、いずれも本発明の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
（第１の実施の形態）
第１の実施の形態に係る画像表示システムは、人体の複数の部位において多層解剖を行い器官を撮影して得た複数の画像のなかから、ユーザーからの部位移動指示に応じて適切な画像を表示する画像表示システムである。
図１は、第１の実施の形態に係る画像表示システムの機能的な構成の一例を示すブロック図である。
図１に示されるように、画像表示システム１は、記憶装置１００、画像表示装置２００、および入出力装置３００を備える。
記憶装置１００は、人体の複数の部位の各々で実施される多層解剖に関する画像を含む各種のデータを記憶している装置であり、当該データには、画像情報１１０、ラベル情報１２０、および部位配置情報１３０が含まれる。
画像情報１１０は、多層解剖で撮影された画像を、当該画像が撮影された部位および層に対応付けて表す情報である。
ラベル情報１２０は、画像に含まれている１以上の器官を表すラベルを、当該画像に対応付けて表す情報である。
部位配置情報１３０は、多層解剖を実施した部位の配置を表す情報である。
これらの情報については、後ほど具体例を挙げて詳細に説明する。
記憶装置１００は、例えば、ハードディスク装置や半導体メモリ装置で構成されてもよい。
画像表示装置２００は、記憶装置１００に記憶されているデータを、ユーザーの指示に応じて、出力する装置であり、画像出力部２１０、部位選択部２２０、層移動部２３０、一致度スコア算出部２４０、および部位移動部２５０を有する。
画像出力部２１０は、１つの部位での多層解剖における１つの層の画像を現在画像として、出力する。ここで、現在画像とは、ユーザーが現在着目している部位および層の画像を意味しており、画像表示システム１では、画像出力部２１０から出力され、表示部３１０にて最近に表示された画像を、現在画像と定義する。
部位選択部２２０は、多層解剖が実施された部位の一覧をユーザーに提示する。そして、当該一覧のなかから１つの部位を選択する部位選択指示を受け取ると、選択された部位での多層解剖における体表層の画像を現在画像として、画像出力部２１０を用いて出力する。
層移動部２３０は、現在画像が出力された後、現在画像と同じ部位での異なる層を移動先層として指定した層移動指示を受け取ると、移動先層の画像を新たな現在画像として、画像出力部２１０を用いて出力する。
一致度スコア算出部２４０は、２つの画像のそれぞれに関するラベル情報を比較することにより、２つの画像に含まれている器官の一致度を示す一致度スコアを算出する。
部位移動部２５０は、現在画像が出力された後、現在画像と異なる部位を移動先部位として指定した部位移動指示を受け取ると、移動先部位の各層の画像である候補画像について、一致度スコア算出部２４０を用いて一致度スコアを算出する。そして、最大の一致度スコアが算出された候補画像を新たな現在画像として、画像出力部２１０を用いて出力する。
画像表示装置２００は、例えば、図示していないマイクロプロセッサやメモリを有するコンピュータにより構成されてもよい。画像表示装置２００の構成要素の一部又は全部の機能は、マイクロプロセッサがメモリにあらかじめ保持されているプログラムを実行することによって達成されてもよい。また、画像表示装置２００の構成要素の一部又は全部の機能は、専用のハードウェア回路によって達成されてもよい。
入出力装置３００は、ユーザーとの対話を行うための装置であり、表示部３１０および操作部３２０を有する。
表示部３１０は、画像表示装置２００から受信された画像を含む各種のデータをユーザーに提示する。
操作部３２０は、ユーザーから各種の指示を表す操作を受け付け、受け付けた操作で表される指示を画像表示装置２００に送信する。
入出力装置３００は、例えば、タッチパネルで構成されてもよく、また、ディスプレイ、キーボード、およびマウスの組み合わせで構成されてもよい。
次に、上述のように構成される画像表示システム１の動作について説明する。
まず、記憶装置１００に記憶されているデータの具体例を示し、その後、画像表示システム１の動作を、データの具体例に基づいて説明する。
図２は、画像情報の一例を示す図である。
図２に示される画像情報１１０は、多層解剖で得た画像を、多層解剖を実施した部位名および層番号に対応付けて表す。層番号は、多層解剖の進行の段階を表し、例えば、番号が大きいほど体表から深い層を表す。その場合、第１層は体表層を表す。
簡明のため、１つの部位名に１つの多層解剖を対応させる。同一の部位で複数の多層解剖が実施されている場合、例えば、部位名に連番を付すことにより、個々の多層解剖を区別する。また、１つの層番号に１枚の画像を対応させる。同一の層で複数の画像が撮影されている場合、例えば、層番号に枝番を付すことにより、個々の画像を区別する。これにより、１つの画像は、部位名と層番号との組で識別される。
図２では、一例として、右胸部で実施された４層の多層解剖の画像１〜画像４、および右上肢で実施された３層の多層解剖の画像５〜画像７が示されている。各画像は、通常の平面画像であってもよく、また視差立体画像であってもよい。
図３は、ラベル情報の一例を示す図である。
図３に示されるラベル情報１２０は、画像に含まれている１以上の器官を表すラベル名および当該器官が含まれている画像内位置であるラベル位置を、多層解剖の部位名および層番号に対応付けて表す。部位名と層番号との組は１つの画像を識別するので、ラベル名および画像内位置は画像に対応付けられているとも言える。ラベル位置は、画像が通常の平面画像であれば２次元座標で表され、画像が視差立体画像であれば３次元座標で表される。
図３では、一例として、右胸部第２層の画像の位置Ｐ１に血管１が含まれており、右胸部第３層の画像の位置Ｐ２、Ｐ３にそれぞれ血管１、神経１が含まれており、右胸部第４層の画像の位置Ｐ４、Ｐ５、Ｐ６、Ｐ７にそれぞれ血管１、神経１、神経２、筋肉２が含まれていることが示されている。また、右上肢第２層の画像の位置Ｐ８に血管１が含まれており、右上肢第３層の画像の位置Ｐ９、Ｐ１０、Ｐ１１にそれぞれ血管１、神経１、筋肉１が含まれていることが示されている。
図４は、部位配置情報の一例を示す図である。
図４に示される部位配置情報１３０は、基準となる部位に隣接する部位と隣接方向とを、当該基準となる部位名に対応付けて表す。
図４では、一例として、右胸部の右側に右上肢が隣接し、右上肢の左側に右胸部が隣接することが示されている。なお、部位配置情報１３０で表される隣接方向は人体における方向であり、表示される画像における方向とは左右が逆になる。
図５は、画像情報１１０、ラベル情報１２０および部位配置情報１３０の具体例を図式化して表す説明図である。
図５では、図２の画像情報１１０にしたがって、右胸部の第１層〜第４層の画像１〜画像４の一例を示し、右上肢の第１層〜第３層の画像５〜画像７の一例を示している。また、図３のラベル情報にしたがって、画像２〜４、６、７にラベル位置とラベル名とを示している。そして、図４の部位配置情報１３０にしたがって、右胸部と右上肢とを互いに隣接して示している。
このような画像情報１１０、ラベル情報１２０および部位配置情報１３０は、例えば、多層解剖で撮影された画像を基に、医師やスタッフによる画像補正、ラベル付け、隣接部位の特定などの作業を経て、記憶装置１００に蓄積される。
さて、画像表示装置２００が起動すると、部位選択部２２０は、画像情報１１０から、異なる部位の一覧を取得する。そして、取得された部位の一覧を表す部位一覧画面を作成し、当該部位一覧画面を、表示部３１０にて表示する。
図６は、部位一覧画面の一例を示す図である。
図６に示されるように、部位一覧画面には、画像情報１１０に含まれる各部位の第１層（体表層）の画像のサムネイル画像３３１と部位名３３２との一覧が表される。部位一覧画面には、サムネイル画像３３１は必須ではなく、部位名３３２だけを表示してもよい。また、図示はしていないが、記憶装置１００に、各部位での多層解剖の簡単な説明文を記録しておき、当該説明文を部位一覧画面に表示してもよい。ユーザーは、部位一覧画面で、サムネイル画像３３１や部位名３３２をタップして、閲覧する部位を選択することができる。
部位選択部２２０は、操作部３２０を介して、ユーザーによる部位選択指示を受け取ると、指示された部位および第１層（体表層）の画像を現在画像として出力するよう、画像出力部２１０に通知する。
画像出力部２１０は、通知された部位および層の画像を現在画像として含む現在画像表示画面を作成し、当該現在画像表示画面を、表示部３１０にて表示する。
図７は、現在画像表示画面の一例を示す図である。
図７には、右胸部第３層の画像を現在画像として含む現在画像表示画面の一例が示されている。図７の現在画像表示画面には、例えば、図６の部位一覧画面で右胸部を選択して右胸部第１層（体表層）の画像を表示させた後、層を移動することで到達できる。
現在画像表示画面において、中央部には現在画像３４０がラベルとともに表示され、周縁部には層移動バー３４１および部位移動ボタン３４２が表示される。部位移動ボタン３４２は、部位配置情報１３０にしたがって、隣接部位が存在する方向のみで表示されてもよい。ユーザーは、層移動バー３４１をドラッグして、現在の部位での異なる層への移動を指示することができ、また、部位移動ボタン３４２をタップして、隣接部位への移動を指示することができる。
層移動部２３０は、操作部３２０を介して、ユーザーによる層移動指示を受け取ると、現在画像と同じ部位での指示された層の画像を新たな現在画像として出力するよう、画像出力部２１０に通知する。画像出力部２１０は、通知された部位および層の画像を新たな現在画像として含む現在画像表示画面を作成して、表示部３１０にて表示する。
その結果、表示部３１０での表示が、現在画像から、ユーザーによって指示された層の画像に切り換えられるので、ユーザーは、人体の深さ方向にスムーズに着目点を移動することができる。
これに対し、ユーザーが隣接部位への移動を指示したときには、先述のとおり、移動先部位の複数の層の画像のうち、ユーザーがスムーズに着目点を移動できる適切な層の画像に表示を切り換える必要がある。そこで、画像表示システム１では、一致度スコア算出部２４０および部位移動部２５０によってそのような切り換えを実現する。
以下では、一致度スコア算出部２４０および部位移動部２５０の動作について詳細に説明する。
図８は、部位移動処理の一例を示すフローチャートである。部位移動処理は、ユーザーが現在画像とは異なる部位（隣接部位を含む）への移動を指示したときに実行される。
具体的に、部位移動部２５０は、操作部３２０を介して、ユーザーによる部位移動指示を受け取ると、指示された移動先部位の各層の画像である候補画像について、当該候補画像と現在画像との一致度スコアを算出する（Ｓ１００〜Ｓ３００）。一致度スコアとは、２つの画像（ここでは、候補画像と現在画像と）に含まれている器官の一致度を示すスコアであり、ラベル情報１２０に基づいて一致度スコア算出部２４０で算出される。部位移動部２５０は、最大の一致度スコアが算出された候補画像を新たな現在画像として、画像出力部２１０を用いて出力する（Ｓ４００）。
図９は、図８のステップＳ２００で実行される一致度スコア算出処理の詳細な一例を示すフローチャートである。図９の例では、現在画像に含まれていてかつ候補画像にも含まれている共通の器官について、一致度スコアが加点される。
具体的に、一致度スコア算出部２４０は、部位移動部２５０から、一致度スコアを算出すべき現在画像と候補画像とを通知されると、一致度スコアを、０などの所定の値に初期化する（Ｓ２０１）。そして、ラベル情報１２０を参照して、現在画像に含まれているラベルごとに、共通の器官を表す対応ラベルが候補画像にもあるか否かを判定し、対応ラベルがあれば一致度スコアに所定の点数（例えば１点）を加点する（Ｓ２１１〜Ｓ２１６）。共通の器官ごとの加点量を１点とすれば、一致度スコアには、共通の器官の個数が算出される。
対応ラベルは、例えば、ラベル名の一致により判定される。ただし、血管や神経が分岐しながら呼び名を変えるように、つながった同じ器官でも部位が違うと異なるラベル名で表されることもある。その場合は、ラベル名の一致により対応ラベルを判定することができないので、例えば、ラベル名とは別に同じ器官を表す互換情報を用いて、対応ラベルを判定してもよい。互換情報は、例えば、ラベル名の別名表や、同じ器官を識別する識別番号であってもよい。
図１０は、一致度スコアの算出結果の一例を示す図である。
図１０では、現在画像である右胸部第３層の画像から、隣接部位である右上肢への移動を指示された場合に、図３のラベル情報および図９の算出方法にしたがって、右上肢の各層の画像について算出される一致度スコアを示している。
図１０に示されるように、一致度スコアには、候補画像にある対応ラベルの個数、つまり、候補画像および現在画像の両方に含まれている共通の器官の個数が算出される。このような算出結果は、例えば、部位移動処理で確保されるローカルメモリに一時的に記憶され、部位移動部２５０によって参照される。
以上説明したように、画像表示システム１によれば、ユーザーによる部位移動指示に応じて、表示部３１０での表示が、現在画像から、移動先部位における複数の画像のうち現在画像との器官の一致度が最大の画像に切り換えられる。その結果、ユーザーは、例えば、血管や神経の走行を追跡して参照する場合などにおいて器官を見失いにくくなり、移動先部位にスムーズに着目点を移動することが可能になる。
なお、一致度スコア算出処理は、図９の例には限られない。以下では、一致度スコア算出処理のいくつかの変形例について説明する。
図１１は、一致度スコア算出処理の他の一例を示すフローチャートである。図１１の一致度スコア算出処理では、図９の一致度スコア算出処理の中に、現在画像に含まれていてかつ候補画像に含まれていない不足の器官について一致度スコアを減点するステップが追加される。
具体的に、一致度スコア算出部２４０は、候補画像に対応ラベルがなかった場合（Ｓ２１３でＮＯ）、一致度スコアから所定の点数（例えば１点）を減点する（Ｓ２１５）。不足の器官ごとの減点量を１点とすれば、一致度スコアから、不足の器官の個数が減算される。
このように算出される一致度スコアにしたがって、不足の器官がより少ない候補画像を新たな現在画像として表示することができる。
図１１に示される不足の器官による減点は、例えば、図９の一致度スコア算出処理によって、複数の候補画像について同一かつ最大の一致度スコアが算出された場合に、当該複数の候補画像のなかから候補画像を絞り込むために行ってもよい。
図１２は、一致度スコア算出処理のさらに他の一例を示すフローチャートである。
図１２の一致度スコア算出処理では、図１１の一致度スコア算出処理の後に、候補画像に含まれていてかつ現在画像に含まれていない余分の器官について一致度スコアを減点するステップが追加される。
具体的に、一致度スコア算出部２４０は、ラベル情報１２０を参照して、候補画像に含まれているラベルごとに、現在画像に対応ラベルがあるか否かを判定し、対応ラベルがなければ一致度スコアから所定の点数（例えば１点）を減点する（Ｓ２２１〜Ｓ２２５）。余分の器官ごとの減点量を１点とすれば、一致度スコアから、余分の器官の個数が減算される。
このように算出される一致度スコアにしたがって、余分の器官がより少ない候補画像を新たな現在画像として表示することができる。
図１２に示される余分の器官による減点は、例えば、図９や図１１の一致度スコア算出処理によって、複数の候補画像について同一かつ最大の一致度スコアが算出された場合に、当該複数の候補画像のなかから候補画像を絞り込むために行ってもよい。
これらの変形例に係る一致度スコア算出処理によれば、不足の器官や余分の器官がより少ない候補画像を新たな現在画像として表示することができる。その結果、ユーザーは、不足の器官や余分の器官のために注意力を削がれることが減り、移動先部位にスムーズに着目点を移動することが可能になる。
（第２の実施の形態）
第１の実施の形態では、一致度スコアの加点量および減点量をいずれも１点とすることで、共通の器官、不足の器官及び余分の器官のそれぞれの個数を反映した一致度スコアを算出する例を説明したが、一致度スコアの加点量および減点量は、この例には限定されない。
例えば、一致度スコアの加点量および減点量の少なくとも一方を、器官ごとに、当該器官の重要度に応じて異なる量に設定してもよい。つまり、一致度スコアを器官の重要度で重み付けしてもよい。各器官の重要度は、例えば、ラベル情報で表される。
図１３は、第２の実施の形態に係るラベル情報の一例を示す図である。
図１３に示されるラベル情報１２０ａは、図３のラベル情報１２０に、重要度を追加して構成される。重要度は、器官の閲覧における重要度を、画像とラベル名とに対応付けて表す。重要度の具体的な表記や意味は特には限定されないが、一例として、重要度を、高、中、低の３段階とし、複数の診療科で参照される器官を高で表し、多層解剖を実施した担当診療科のみで参照される器官を中で表し、当該多層解剖のみで着目された器官を低で表してもよい。
このようなラベル情報１２０ａは、例えば、多層解剖で撮影された画像を基に、医師やスタッフによる重要度の特定作業を経て、記憶装置１００に蓄積される。
重要度を持つラベル情報１２０ａに対応して、図９、図１１、図１２に示される一致度スコア算出処理は、次のように変更される。
ステップＳ２１４において、現在画像の器官の重要度に応じて異なる点数を一致度スコアに加点する。加点量は、現在画像での器官の重要度が高、中、低である場合に、それぞれ３点、２点、１点であってもよい。
また、ステップＳ２１５において、現在画像の器官の重要度に応じて異なる点数を一致度スコアから減点する。減点量は、現在画像での器官の重要度が高、中、低である場合に、それぞれ３点、２点、１点であってもよい。
また、ステップＳ２２４において、候補画像の器官の重要度に応じて異なる点数を一致度スコアから減点する。減点量は、候補画像での器官の重要度が高、中、低である場合に、それぞれ３点、２点、１点であってもよい。
このようにして、器官の重要度で重み付けされた重み付き一致度スコアが算出される。重み付き一致度スコアにより、現在画像と候補画像とでの器官の一致度を、器官の閲覧における重要度を加味した度合いで表すことができる。
重み付き一致度スコアを用いることによって、ユーザーによる部位移動指示に応じて、ユーザーの閲覧目的により適した候補画像を、新たな現在画像として表示することが可能になる。
（その他の変形例）
以上、本発明の実施の形態に係る画像表示システムについて説明したが、本発明はこれら実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の一つまたは複数の態様の範囲内に含まれてもよい。
例えば、実施の形態では、隣接部位へ移動するときに、現在画像を、当該隣接部位における複数の画像のうち現在画像との器官の一致度が最大の画像に切り換える例を説明した。このような現在画像の切り換えは、隣接部位に移動するときに限らず、任意の部位へ移動するときに行うことができる。
実施の形態では、画像表示装置２００が起動すると、まず、図６の部位一覧画面が表示され、当該部位一覧画面で選択された部位の最表層の画像を現在画像として、図７の現在画像表示画面が表示されると説明した。
これに対し、現在画像表示画面から、図示していない特定の操作によって部位一覧画面に戻り、そこから任意に選択された部位へ移動する場合を考える。この場合、ユーザーは、それまで表示されていた現在画像からの部位移動を意図しているので、上述の処理に倣って移動先部位での最表層の画像を新たな現在画像として表示したのでは、移動先部位にスムーズに着目点を移動できない可能性が高い。
そこで、現在画像表示画面から部位一覧画面を経由して任意の部位へ移動するとき、移動先部位での複数の画像のうち、最近に表示されていた現在画像との器官の一致度が最大の画像を、新たな現在画像として表示する。これにより、ユーザーは、現在画像表示画面から任意の部位へ移動するときにも、移動先部位にスムーズに着目点を移動することが可能になる。
また、例えば、部位配置情報は、部位の隣接関係を表す代わりに、人体の全体図の中での各部位の位置を表してもよい。
図１４は、変形例に係る部位配置情報の一例を示す図である。
図１４に示される部位配置情報１３０ａは、人体の全体図の中での部位の代表点の位置である部位位置を、部位名に対応付けて表す。部位位置は、当該部位での画像の略中心を表してもよい。部位位置は、人体の全体図が通常の平面画像であれば２次元座標で表され、人体の全体図が視差立体画像であれば３次元座標で表される。
図１４では、一例として、右胸部および右上肢が、それぞれ人体の全体図における位置Ｑ１、Ｑ２にあることが示されている。
図１５は、部位配置情報１３０ａの具体例を図式化して表す説明図である。
図１５では、図１４の部位配置情報１３０ａにしたがって、人体の全体図における右胸部および右上肢のそれぞれの位置Ｑ１、Ｑ２を示している。位置Ｑ１、Ｑ２を囲む矩形枠により、画像の大まかな大きさが示されてもよい。
このような部位配置情報１３０ａによれば、２つの部位の部位位置から、座標計算によって、当該２つの部位間の距離と方向が算出される。そして、所定のしきい値以下の距離にある２つの部位を隣接部位として、実施の形態で説明した処理と同等の処理を行うことができる。さらには、部位一覧画面に、図１５に示されるような態様で、人体の全体図における部位位置の一覧を表示することもできる。
また、同じ部位で、複数の多層解剖画像がある場合、例えば、脳外科向けの脳外科用画像と、耳鼻科向けの耳鼻科用画像がある場合において部位移動を行うとき、上述したように一致度が高い画像を選んでもよいし、事前に脳外科向けと設定して脳外科用画像を優先的に表示する、つまり、脳外科用画像のうち一致度が高い画像を表示するようにしてもよい。
最後に、画像表示システム１の全体的なハードウェア構成について説明する。
図１６は、画像表示システム１の全体的なハードウェア構成の一例を示す図である。
基本的には、画像表示システム１ａとして示されるように、記憶装置１００をサーバーで構成し、画像表示装置２００をパーソナルコンピュータで構成し、入出力装置３００をタブレット端末で構成してもよい。この構成では、パーソナルコンピュータのディスプレイ、キーボード、およびマウスは、入出力装置３００としては用いられない。
記憶装置１００と画像表示装置２００との間および画像表示装置２００と入出力装置３００との間は、有線または無線による通信路４００で接続される。通信路４００には、インターネットもしくは院内または学内のローカルエリアネットワークが用いられ得る。
また、タブレット端末に十分な演算能力がある場合は、画像表示システム１ｂとして示されるように、画像表示装置２００と入出力装置３００とをタブレット端末で構成してもよい。
また、デスクトップでの利用が想定される場合は、画像表示システム１ｃとして示されるように、画像表示装置２００と入出力装置３００とをパーソナルコンピュータで構成してもよい。この構成では、パーソナルコンピュータのディスプレイ、キーボード、およびマウスが、入出力装置３００として用いられる。
また、ローカルでの運用が想定される場合は、画像表示システム１ｄとして示されるように、記憶装置１００と画像表示装置２００とをパーソナルコンピュータで構成してもよい。
さらには、スタンドアローンでの運用が想定される場合は、図示はしていないが、記憶装置１００、画像表示装置２００および入出力装置３００の全てを、パーソナルコンピュータのみ、またはタブレット端末のみで構成してもよい。
このように、画像表示システム１は、限定されない様々なハードウェア構成によって実現することができる。
以上に説明したように、本発明者らは、背景技術の欄において記載した画像表示に関し、以下の問題が生じることを見出した。
前述したように、本発明者らが検討している画像表示システムでは、人体の複数の部位の各々で多層解剖を実施することによって得られた複数の画像を、ユーザーに提示する。
多層解剖は、人体の１つの部位で局所かつ多層的に実施され、各層で、当該多層解剖の目的（例えば、担当診療科の意図）に応じた器官が剖出される。多層解剖を実施した部位の違いや、同じ部位での多層解剖であっても目的の違いのために、異なる多層解剖における層には関連はない。そのため、次のような問題が起こり得る。
例えば、ユーザーが、１つの多層解剖の１つの層の画像を閲覧しているときに、隣接する部位への移動を指示したとする。このとき、画像表示システムは、隣接する部位での別の多層解剖で得られた複数の画像のうちの何れか１つの画像に、表示を切り換えることになる。
ところが、異なる多層解剖における層には関連がないことから、隣接する部位のどの層の画像が表示を切り換えるために適切な画像かは自明ではない。画像表示システムは、例えば、既定の層（例えば体表層）の画像や任意の層の画像に表示を切り換えることはできるが、そのような切り換えを行っても、ユーザーはスムーズに着目点を移動できるとは限らない。
そこで、本開示は、ユーザーからの部位移動指示に応じて適切な画像を表示することができる画像表示装置を提供する。
本開示の１つの態様に係る画像表示装置は、画像出力部と、部位移動部と、一致度スコア算出部と、を備える。画像出力部は、人体の複数の部位において多層解剖を行い器官を撮影して得た複数の画像のうち、１つの部位での多層解剖における１つの層の画像を現在画像として出力する。部位移動部は、現在画像が出力された後、現在画像の部位とは異なる部位を示す部位移動指示を取得する。一致度スコア算出部は、複数の画像に置いて部位移動指示で示される部位に該当する層ごとの画像である複数の候補画像の各々について、現在画像に含まれている器官を表すラベル情報と、候補画像に含まれている器官を表すラベル情報とを比較することにより、候補画像に含まれている器官と現在画像に含まれている器官との一致度を示す一致度スコアを算出する。画像出力部は、最大の一致度スコアが算出された候補画像を、新たな現在画像として出力する。
このような構成によれば、ユーザーによる部位移動指示に応じて、現在画像から、移動先部位における複数の候補画像のうち現在画像との器官の一致度が最大の候補画像に、表示を切り換えることができる。その結果、ユーザーは、現在画像に引き続いて、一致度が最大の候補画像を閲覧することができるので、移動先部位にスムーズに着目点を移動することが可能になる。
また、一致度スコア算出部は、現在画像に含まれていてかつ候補画像にも含まれている器官について、一致度スコアを加点してもよい。
このような構成によれば、現在画像と共通の器官をより多く含む候補画像が、新たな現在画像として表示される。その結果、ユーザーは、例えば、画像上で血管や神経の走行を追跡する場合などにおいて器官を見失いにくくなり、移動先部位にスムーズに着目点を移動することが可能になる。
また、一致度スコア算出部は、現在画像に含まれていてかつ候補画像には含まれていない器官について、一致度スコアを減点してもよい。
このような構成によれば、現在画像に対して不足の器官がより少ない候補画像が、新たな現在画像として表示される。その結果、ユーザーは、移動先部位の画像での不足の器官のために注意力を削がれることが減り、移動先部位にスムーズに着目点を移動することが可能になる。
また、一致度スコア算出部は、候補画像に含まれていてかつ現在画像には含まれていない器官について、一致度スコアを減点してもよい。
このような構成によれば、現在画像に対して余分の器官がより少ない候補画像が、新たな現在画像として表示される。その結果、ユーザーは、移動先部位の画像での余分の器官のために注意力を削がれることが減り、移動先部位にスムーズに着目点を移動することが可能になる。
また、一致度スコア算出部は、現在画像に含まれている器官の重要度を示す重要度情報および候補画像に含まれている器官の重要度を示す重要度情報にしたがって、一致度スコアの加点量および減点量の少なくとも一方を設定してもよい。
このような構成によれば、器官の重要度で重み付けされた重み付き一致度スコアが算出される。重み付き一致度スコアにより、現在画像と候補画像とでの器官の一致度を、器官の閲覧における重要度を加味した度合いで表すことができる。重み付き一致度スコアを用いることによって、ユーザーによる部位移動指示に応じて、ユーザーの閲覧目的により適した候補画像を、新たな現在画像として表示することが可能になる。
また、本開示の１つの態様に係る画像表示システムは、画像表示装置と、記憶装置と、入出力装置と、を備える。記憶装置は、複数の画像、ラベル情報、および重要度情報のうち少なくとも１つを保持している。入出力装置は、画像出力部から出力された現在画像および新たな現在画像をユーザーに提示する表示部、およびユーザーから部位移動指示を受け付ける操作部を有する。
このような構成によれば、上述の効果を発揮する画像処理システムが得られる。
また、本開示の１つの態様に係る画像表示方法は、人体の複数の部位において多層解剖を行い器官を撮影して得た複数の画像のうち、１つの部位での多層解剖における１つの層の画像を現在画像として出力する。また、現在画像が出力された後、現在画像の部位とは異なる部位を示す部位移動指示を取得する。また、複数の画像において部位移動指示で示される部位に該当する層ごとの画像である複数の候補画像の各々について、現在画像に含まれている器官を表すラベル情報と、候補画像に含まれている器官を表すラベル情報とを比較することにより、候補画像に含まれている器官と現在画像に含まれている器官とでの一致度を示す一致度スコアを算出する。さらに、最大の一致度スコアが算出された候補画像を、新たな現在画像として出力する。
このような手順によれば、上述の効果を発揮する画像処理方法が得られる。
また、本開示の１つの態様に係るプログラムは、画像表示方法をコンピュータに実行させるためのプログラムであってもよい。
このような構成によれば、上述の効果をコンピュータに発揮させることができる。
なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。
本発明は、医用の画像表示装置として有用である。
１，１ａ，１ｂ，１ｃ，１ｄ 画像表示システム
１００ 記憶装置
１１０ 画像情報
１２０，１２０ａ ラベル情報
１３０，１３０ａ 部位配置情報
２００ 画像表示装置
２１０ 画像出力部
２２０ 部位選択部
２３０ 層移動部
２４０ 一致度スコア算出部
２５０ 部位移動部
３００ 入出力装置
３１０ 表示部
３２０ 操作部
３３１ サムネイル画像
３３２ 部位名
３４０ 現在画像
３４１ 層移動バー
３４２ 部位移動ボタン
４００ 通信路

Claims (8)

  1. 人体の複数の部位において多層解剖を行い器官を撮影して得た複数の画像のうち、１つの部位での多層解剖における１つの層の画像を現在画像として出力する画像出力部と、
    前記現在画像が出力された後、前記現在画像の部位とは異なる部位を示す部位移動指示を取得する部位移動部と、
    前記複数の画像において前記部位移動指示で示される部位に該当する層ごとの画像である複数の候補画像の各々について、前記現在画像に含まれている器官を表すラベル情報と、前記候補画像に含まれている器官を表すラベル情報とを比較することにより、前記候補画像に含まれている前記器官と前記現在画像に含まれている前記器官との一致度を示す一致度スコアを算出する一致度スコア算出部と、を備え、
    前記画像出力部は、最大の一致度スコアが算出された候補画像を、新たな現在画像として出力する、
    画像表示装置。
  2. 前記一致度スコア算出部は、前記現在画像に含まれていてかつ前記候補画像にも含まれている器官について、前記一致度スコアを加点する、
    請求項１に記載の画像表示装置。
  3. 前記一致度スコア算出部は、前記現在画像に含まれていてかつ前記候補画像には含まれていない器官について、前記一致度スコアを減点する、
    請求項１または２に記載の画像表示装置。
  4. 前記一致度スコア算出部は、前記候補画像に含まれていてかつ前記現在画像には含まれていない器官について、前記一致度スコアを減点する、
    請求項１から３の何れか１項に記載の画像表示装置。
  5. 前記一致度スコア算出部は、前記現在画像に含まれている前記器官の重要度を示す重要度情報および前記候補画像に含まれている前記器官の重要度を示す重要度情報にしたがって、前記一致度スコアの加点量および減点量の少なくとも一方を設定する、
    請求項１から４の何れか１項に記載の画像表示装置。
  6. 請求項１から５の何れか１項に記載の画像表示装置と、
    前記複数の画像、および前記ラベル情報のうち少なくとも１つを保持している記憶装置と、
    前記画像出力部から出力された前記現在画像および前記新たな現在画像をユーザーに提示する表示部、および前記ユーザーから前記部位移動指示を受け付ける操作部を有する入出力装置と、
    を備える画像表示システム。
  7. 人体の複数の部位において多層解剖を行い器官を撮影して得た複数の画像のうち、１つの部位での多層解剖における１つの層の画像を現在画像として出力し、
    前記現在画像が出力された後、前記現在画像の部位とは異なる部位を示す部位移動指示を取得し、
    前記複数の画像において前記部位移動指示で示される部位に該当する層ごとの画像である複数の候補画像の各々について、前記現在画像に含まれている器官を表すラベル情報と、前記候補画像に含まれている器官を表すラベル情報とを比較することにより、前記候補画像に含まれている前記器官と前記現在画像に含まれている前記器官との一致度を示す一致度スコアを算出し、
    最大の一致度スコアが算出された候補画像を、新たな現在画像として出力する、
    画像表示方法。
  8. 請求項７に記載の画像表示方法をコンピュータに実行させるためのプログラム。
JP2017506046A 2015-03-19 2016-02-10 画像表示装置、画像表示システム、画像表示方法、およびプログラム Expired - Fee Related JP6578519B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015056363 2015-03-19
JP2015056363 2015-03-19
PCT/JP2016/000686 WO2016147545A1 (ja) 2015-03-19 2016-02-10 画像表示装置、画像表示システム、画像表示方法、およびプログラム

Publications (2)

Publication Number Publication Date
JPWO2016147545A1 true JPWO2016147545A1 (ja) 2018-03-08
JP6578519B2 JP6578519B2 (ja) 2019-09-25

Family

ID=56918589

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017506046A Expired - Fee Related JP6578519B2 (ja) 2015-03-19 2016-02-10 画像表示装置、画像表示システム、画像表示方法、およびプログラム

Country Status (4)

Country Link
US (1) US10531840B2 (ja)
JP (1) JP6578519B2 (ja)
CN (1) CN107405082B (ja)
WO (1) WO2016147545A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107405082B (zh) * 2015-03-19 2020-02-28 松下知识产权经营株式会社 图像显示装置、图像显示系统、图像显示方法以及程序
JP6886260B2 (ja) * 2016-09-07 2021-06-16 キヤノン株式会社 画像処理装置、その制御方法、およびプログラム
CN112102235B (zh) * 2020-08-07 2023-10-27 上海联影智能医疗科技有限公司 人体部位识别方法、计算机设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009232981A (ja) * 2008-03-26 2009-10-15 Fujifilm Corp 画像表示装置およびそのプログラム
JP2009251964A (ja) * 2008-04-07 2009-10-29 Fujifilm Corp 画像処理システム、画像処理方法、およびプログラム
JP2012247880A (ja) * 2011-05-26 2012-12-13 Fujifilm Corp 医用情報表示装置およびその動作方法、並びに医用情報表示プログラム
US20180055458A1 (en) * 2015-03-19 2018-03-01 Panasonic Intellectual Property Management Co., Ltd. Image display device, image display system, image display method, and program

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7035445B2 (en) * 2000-03-06 2006-04-25 Fuji Photo Film Co., Ltd. Image position matching method, apparatus and storage medium
US20080013814A1 (en) * 2004-05-06 2008-01-17 Koninklijke Philips Electronics, N.V. Pharmacokinetic Image Registration
WO2007099495A1 (en) * 2006-03-03 2007-09-07 Koninklijke Philips Electronics N.V. Identifying set of image characteristics for assessing similarity of images
US8295568B2 (en) 2006-06-30 2012-10-23 Fujifilm Corporation Medical image display processing apparatus and medical image display processing program
JP4800129B2 (ja) 2006-06-30 2011-10-26 富士フイルム株式会社 医用画像表示処理装置、及び、医用画像表示処理プログラム
JP4818846B2 (ja) 2006-08-16 2011-11-16 富士フイルム株式会社 医用画像処理装置及び医用画像処理プログラム
US8090166B2 (en) * 2006-09-21 2012-01-03 Surgix Ltd. Medical image analysis
JP2010026984A (ja) * 2008-07-24 2010-02-04 Toshiba Corp 検像装置
US7941462B2 (en) * 2008-09-24 2011-05-10 Toshiba Medical Visualization Systems Europe, Limited Method and apparatus for classification of coronary artery image data
US8280138B2 (en) * 2009-09-10 2012-10-02 General Electric Company System and method for performing bone densitometer measurements
JP5773781B2 (ja) * 2011-06-30 2015-09-02 株式会社東芝 超音波診断装置、画像処理装置及びプログラム
JP5813031B2 (ja) 2013-03-25 2015-11-17 富士フイルム株式会社 携帯端末

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009232981A (ja) * 2008-03-26 2009-10-15 Fujifilm Corp 画像表示装置およびそのプログラム
JP2009251964A (ja) * 2008-04-07 2009-10-29 Fujifilm Corp 画像処理システム、画像処理方法、およびプログラム
JP2012247880A (ja) * 2011-05-26 2012-12-13 Fujifilm Corp 医用情報表示装置およびその動作方法、並びに医用情報表示プログラム
US20180055458A1 (en) * 2015-03-19 2018-03-01 Panasonic Intellectual Property Management Co., Ltd. Image display device, image display system, image display method, and program

Also Published As

Publication number Publication date
US10531840B2 (en) 2020-01-14
US20180055458A1 (en) 2018-03-01
JP6578519B2 (ja) 2019-09-25
CN107405082B (zh) 2020-02-28
WO2016147545A1 (ja) 2016-09-22
CN107405082A (zh) 2017-11-28

Similar Documents

Publication Publication Date Title
US11750788B1 (en) Augmented reality guidance for spinal surgery with stereoscopic display of images and tracked instruments
JP2022017422A (ja) 拡張現実感手術ナビゲーション
Galati et al. Experimental setup employed in the operating room based on virtual and mixed reality: analysis of pros and cons in open abdomen surgery
JP6578519B2 (ja) 画像表示装置、画像表示システム、画像表示方法、およびプログラム
Umeda et al. A medical training system using augmented reality
US20230290085A1 (en) Systems and Methods for Displaying Layered Augmented Anatomical Features
Mast et al. Exploring the Benefits of Holographic Mixed Reality for Preoperative Planning with 3D Medical Images
Prieto Gomà Improvement and development of SurgicAR: an intraoperatory Augmented Reality application for Hospital del Mar

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181218

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20190123

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190716

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190729

R151 Written notification of patent or utility model registration

Ref document number: 6578519

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees