WO2018154877A1 - 付加情報表示装置、方法およびプログラム - Google Patents

付加情報表示装置、方法およびプログラム Download PDF

Info

Publication number
WO2018154877A1
WO2018154877A1 PCT/JP2017/041143 JP2017041143W WO2018154877A1 WO 2018154877 A1 WO2018154877 A1 WO 2018154877A1 JP 2017041143 W JP2017041143 W JP 2017041143W WO 2018154877 A1 WO2018154877 A1 WO 2018154877A1
Authority
WO
WIPO (PCT)
Prior art keywords
display
additional information
image
detected
display means
Prior art date
Application number
PCT/JP2017/041143
Other languages
English (en)
French (fr)
Inventor
太 櫻木
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2019501050A priority Critical patent/JP6801073B2/ja
Publication of WO2018154877A1 publication Critical patent/WO2018154877A1/ja
Priority to US16/442,680 priority patent/US20190304107A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Definitions

  • the technology of the present disclosure relates to an additional information display device, method, and program for displaying additional information related to an image displayed on a display device such as a display.
  • HMD head-mounted display
  • a display that displays an image is captured by an HMD camera, and the display is detected from the captured image based on the shape of the display and displayed on the display.
  • a method has been proposed in which a detected mark is detected and a screen is projected at a position defined based on the detected mark in the HMD.
  • a method of projecting an image so as to be positioned around the display has been proposed.
  • the technology of the present disclosure has been made in view of the above circumstances, and can display additional information together with the displayed image without improving the device that acquires an image for superimposing the additional information. With the goal.
  • the additional information display device includes an image acquisition unit that acquires a captured image acquired by capturing the first display unit on which an image is displayed; Detecting means for detecting the first display means from the captured image; Additional information determining means for determining additional information related to the display image included in the detected first display means; Alignment means for aligning the detected first display means and additional information; And display control means for displaying the aligned additional information on the second display means.
  • “Additional information” means information including an arbitrary image related to the display image displayed on the first display means.
  • the image displayed on the first display means is an endoscopic image.
  • a virtual endoscopic image at a position corresponding to the endoscopic image generated from the three-dimensional image can be used as additional information.
  • the image displayed on the first display means is a blood vessel contrast image acquired by the angio device
  • a pseudo two-dimensional image (latham image) of the corresponding part generated from the three-dimensional image is added information.
  • the vital information of the patient who acquired the image and the text information such as the diagnosis result displayed on the first display means can be used as additional information.
  • “Aligning the detected first display means with the additional information” means not only the detected first display means itself but also the additional information including the display image included in the detected first display means. It means to align. Therefore, “aligning the detected first display means and the additional information” means aligning the casing such as the frame of the detected first display means with the additional information, and detecting the detected first information. Positioning the display image included in the display means and the additional information.
  • the additional information determination unit may determine the additional information based on the detected type of the first display unit.
  • the additional information determination unit may determine the additional information based on the display image displayed on the detected first display unit.
  • the detection means may detect the first display means from the photographed image using the shape of the first display means.
  • the alignment unit corrects the display image based on the detected distortion of the shape of the first display unit, and aligns the corrected display image with the additional information. It may be a thing.
  • the alignment unit corrects the additional information based on the detected distortion of the shape of the first display unit, and aligns the display image with the corrected additional information. It may be a thing.
  • the alignment unit corrects the display image based on the detected distortion of the shape of the first display unit, and aligns the corrected display image with the additional information.
  • the additional information determination unit may determine information other than information included in the display image as additional information.
  • the second display means is a see-through type head mounted display, and an imaging means for acquiring a captured image is attached to the head mounted display. May be.
  • the additional information display method acquires a captured image acquired by capturing the first display unit on which an image is displayed, Detecting the first display means from the captured image; Determining additional information related to the display image included in the detected first display means; Align the detected first display means with the additional information, The aligned additional information is displayed on the second display means.
  • a memory for storing instructions to be executed by a computer
  • a processor configured to execute stored instructions, the processor comprising: An image acquisition process for acquiring a captured image acquired by capturing the first display means on which the image is displayed; Detection processing for detecting the first display means from the captured image; Additional information determination processing for determining additional information related to the display image included in the detected first display means; An alignment process for aligning the detected first display means and the additional information; A display control process for displaying the aligned additional information on the second display means is performed.
  • the first display unit is detected from the captured image acquired by capturing the first display unit on which the image is displayed, and is related to the display image included in the first display unit.
  • the additional information is determined, the detected first display means and the additional information are aligned, and the aligned additional information is displayed on the second display means. Therefore, additional information can be displayed together with the display image of the first display means on the second display means without any improvement to the first display means.
  • the figure which shows the additional information displayed on HMD in the state which is looking at the display where the surgery image of the liver is displayed Diagram for explaining alignment of additional information Diagram for explaining alignment of additional information Diagram for explaining alignment of additional information Diagram for explaining alignment of additional information
  • FIG. 1 is a diagram showing an outline of a diagnosis support system to which an additional information display device according to an embodiment of the present invention is applied.
  • the diagnosis support system includes an image display system 1 and an additional information display device 2 according to the present embodiment.
  • the image display system 1 is a system that displays an angiographic image that is an angiographic image acquired by an angio device, and includes an angio device 3 and a display 4.
  • angiographic imaging of the subject 5 is performed by the angio device 3, and an angio image acquired thereby is displayed on the display 4.
  • the display 4 corresponds to the first display means.
  • the additional information display device 2 includes a computer 6 and a head-mounted display (hereinafter referred to as “HMD”) 7.
  • the HMD 7 corresponds to the second display unit.
  • the HMD 7 is a transmissive HMD, and an operator (for example, a doctor) of the diagnosis support system wearing the HMD 7 can see the surroundings through the HMD 7 while viewing the image displayed on the HMD 7. it can.
  • the HMD 7 is attached with a camera 9 that performs shooting in the line of sight of the operator of the HMD 7.
  • the computer 6 is connected to an image server 8 that stores images of the subject 5 and the like via a network.
  • the image server 8 for example, a three-dimensional image acquired by a CT apparatus, an MRI apparatus, an ultrasonic apparatus, or the like is stored.
  • the computer 6 has the additional information display program of this embodiment installed.
  • the computer 6 may be a workstation or personal computer directly operated by a doctor who performs diagnosis, or may be a server computer connected to them via a network.
  • the additional information display program is recorded and distributed on a recording medium such as a DVD (Digital Versatile Disc) or a CD-ROM (Compact Disk Read Only Memory), and is installed on the computer from the recording medium.
  • a recording medium such as a DVD (Digital Versatile Disc) or a CD-ROM (Compact Disk Read Only Memory)
  • it is stored in a storage device of a server computer connected to a network or a network storage in a state where it can be accessed from the outside, and is downloaded and installed on a computer used by a doctor upon request.
  • FIG. 2 is a diagram showing a schematic configuration of an additional information display apparatus realized by installing an additional information display program in a computer.
  • the additional information display device 2 includes a CPU (Central Processing Unit) 11, a memory 12, and a storage 13 as a standard workstation configuration.
  • the additional information display device 2 is connected to the above-described HMD 7 and an input unit 14 such as a mouse.
  • the storage 13 stores various information including a three-dimensional image V0 acquired from the image server 8 via the network and information necessary for processing in the additional information display device 2 as will be described later.
  • the memory 12 stores an additional information display program.
  • the memory 12 also serves as a work area when the additional information display program performs processing.
  • the additional information display program as a process to be executed by the CPU 11, is an image acquisition process for acquiring a captured image acquired by the camera 9 capturing the display 4 on which an image is displayed, and a detection process for detecting the display 4 from the captured image.
  • Additional information determination processing for determining additional information related to the display image included in the detected display 4, alignment processing for aligning the detected display 4 and additional information, and display of the aligned additional information on the HMD 7 Specifies display control processing to be performed.
  • the computer 6 functions as the image acquisition unit 21, the detection unit 22, the additional information determination unit 23, the alignment unit 24, and the display control unit 25.
  • the additional information display device 2 may include a plurality of processors that respectively perform image acquisition processing, detection processing, additional information determination processing, alignment processing, and display control processing.
  • the image acquisition unit 21 acquires a captured image captured by the camera 9 attached to the HMD 7.
  • FIG. 3 is a diagram illustrating an example of a captured image.
  • the captured image G2 includes a display 4 on which a display image G1 is displayed.
  • the display image G1 is an angio image, and includes, for example, blood vessels contrasted with a contrast agent in the heart.
  • the detection unit 22 detects the display 4 from the captured image G2.
  • the display 4 may be detected by detecting a rectangular area from the captured image G2. Moreover, you may carry out by detecting the outline of a rectangle. As will be described later, depending on the angle at which the display 4 is viewed, the shape of the display 4 included in the captured image G2 is distorted. For this reason, the detection unit 22 may detect the area surrounded by the four line segments as the display 4.
  • the additional information determination unit 23 determines additional information related to the display image G1. In the present embodiment, based on the display image G1 included in the display 4 detected by the detection unit 22, information different from the information included in the display image G1 is determined as additional information. For example, the display image G1 is analyzed to determine the type of the display image G1, and the additional information A1 is determined from the determination result. In the present embodiment, the display image G1 is an angio image, and blood vessels are contrasted. The additional information determination unit 23 determines that the display image G1 is an angio image by analyzing the display image G1.
  • the additional information determination unit 23 determines a pseudo two-dimensional image (latham image) of a blood vessel of the heart as additional information A1.
  • the additional information determination unit 23 acquires the three-dimensional image V0 of the subject 5 from the image server 8, and generates a laysum image from the three-dimensional image V0.
  • the additional information A1 is a rectangular image having pixel values only in the blood vessel portion and transparent in the other regions.
  • the alignment unit 24 aligns the display 4 detected from the captured image G2 and the additional information A1. In the present embodiment, alignment is performed so that the additional information A1 that is a laysum image is superimposed on the corresponding blood vessel of the display image G1 included in the display 4.
  • the shooting direction of the camera 9 and the line of sight of the operator wearing the HMD 7 are shifted.
  • the display of the additional information A1 is displayed on the HMD 7 so that the display 4 visible through the HMD 7 and the additional information A1 are properly aligned.
  • Calibration for matching the shooting direction with the operator's line-of-sight direction is performed. Calibration is performed as follows. First, a known checkerboard is photographed by the camera 9 with the HMD 7 mounted, and an image of the checkerboard is displayed on the HMD 7.
  • the operator points the checkerboard grid point, and enlarges / reduces, translates, and translates the checkerboard image displayed on the HMD 7 so that the pointed position matches the actual checkerboard grid point position.
  • Rotate Thereby, conversion parameters for enlarging / reducing, translating and rotating the image are acquired.
  • the alignment unit 24 stores this conversion parameter in the storage 13 as the first parameter.
  • the alignment unit 24 first corrects the distortion of the shape of the display 4 included in the captured image G2 when aligning the display 4 included in the captured image G2 and the additional information A1. Depending on the angle at which the operator views the display 4, as shown in FIG. 4, the shape of the display 4 included in the captured image G2 is distorted. For this reason, the alignment unit 24 converts the captured image G2 by affine transformation or the like so that the shape of the display 4 included in the captured image G2 is rectangular, and acquires the converted captured image G21. The conversion parameter at this time is stored in the storage 13 as the second parameter.
  • the alignment unit 24 aligns the display 4 and the additional information A1 included in the converted captured image G21.
  • the display image G1 included in the display 4 and the additional information A1 are aligned. Specifically, matching is performed between the additional information A1 that is a laysum image and the display image G1 included in the converted captured image G21, and as shown in FIG. 5, blood vessels on the captured image G21 corresponding to the additional information A1. Alignment is performed so that the additional information A1 is superimposed on the position.
  • position coordinates for superimposing the additional information A1 on the converted captured image G21 are determined.
  • the position coordinates of the additional information A1 are, for example, the coordinates of the four corners of the additional information A1 on the captured image G21.
  • the display control unit 25 displays the aligned additional information A1 on the HMD 7.
  • the position at which the additional information A1 is displayed on the HMD 7 is converted so that the additional information A1 is aligned with the display image G1 included in the display 4 viewed through the HMD 7 by the operator wearing the HMD 7.
  • the display control unit 25 converts the additional information A1 with the second parameter described above, and further converts the additional information A1 with the first first parameter acquired at the time of calibration, and displays it on the HMD 7.
  • the converted additional information A1 is superimposed and displayed on the display image G1 of the display 4 that the operator is looking through the HMD 7.
  • FIG. 6 is a view showing an image seen by the operator wearing the HMD. As shown in FIG. 6, the operator wearing the HMD 7 can see the display 4 on which the display image G1 is displayed through the HMD 7, but can also see the additional information A1 aligned with the display image G1.
  • FIG. 7 is a flowchart showing processing performed in the present embodiment. It is assumed that calibration is performed and the first parameter is stored in the storage 13.
  • the camera 9 captures an image in the line of sight of the operator, and the image acquisition unit 21 acquires the captured image G2 (step ST1).
  • the detection unit 22 detects the display 4 from the captured image G2 (step ST2), and the additional information determination unit 23 determines additional information A1 related to the display image G1 included in the detected display 4 (step ST2). ST3).
  • step ST4 aligns the detected display 4 and the additional information A1 (step ST4), and the display control unit 25 displays the aligned additional information A1 on the HMD 7 (step ST5).
  • step ST5 the process of determining the additional information A1 by the additional information determining unit 23 is omitted.
  • the display 4 is detected from the captured image G2 acquired by capturing the display 4, and the additional information A1 related to the display image G1 included in the detected display 4 is determined.
  • the detected display 4 and the additional information A1 are aligned, and the aligned additional information A1 is displayed on the HMD 7. Therefore, the additional information A1 can be displayed together with the display image G1 displayed on the display 4 in the HMD 7 without any improvement to the display 4.
  • the type of the display 4 is often different depending on the type of device to which the display 4 is connected.
  • the display 4 is connected to the angio device 3, but different types of displays are connected to the endoscope device.
  • an image may be displayed on the tablet terminal.
  • the additional information determination unit 23 determines the additional information A1 based on the display image G1, but determines the type of the display 4, for example, the size of the display 4 and the shape of the frame, and the determination result.
  • the additional information A1 may be determined by determining what kind of image is displayed on the display 4.
  • FIG. 8 is a diagram illustrating additional information displayed on the HMD 7 while viewing the display 4 on which an endoscopic image is displayed.
  • additional information A1 that is a virtual endoscopic image that is aligned is displayed along the outer frame of the display 4 on which the display image G1 that is an endoscopic image is displayed.
  • FIG. 9 is a diagram showing additional information A1 displayed on the HMD 7 while viewing the display 4 on which an image during liver surgery is displayed.
  • additional information A ⁇ b> 1 that is a model image of the liver including liver blood vessels and tumors is superimposed on the liver included in the display image G ⁇ b> 1 displayed on the display 4.
  • the alignment unit 24 converts the captured image G2 so that the display 4 has a rectangular shape.
  • the shape of the additional information A1 may be converted to match the captured image G2.
  • the alignment unit 24 aligns the converted additional information A1 on the display 4 detected from the captured image G2. That is, the converted additional information A1 is matched with the detected display image G1 included in the display 4, and the converted additional information A1 is superimposed on the blood vessel position on the captured image G2, as shown in FIG. As described above, the additional information A1 converted into the captured image G2 is aligned. By the alignment, the position where the converted additional information A1 is superimposed on the captured image G2 is determined.
  • the display control unit 25 converts the aligned additional information A1 using the first parameter acquired at the time of calibration, and displays the converted information on the HMD 7. Thereby, the additional information A1 is superimposed and displayed on the display image G1 of the display 4 that the operator is looking through the HMD 7.
  • the alignment unit 24 receives an instruction by an input from the input unit 14 and converts the captured image G2 so that the shape of the display 4 is rectangular, or matches the shape of the additional information A1 with the captured image G2. It is sufficient to select whether or not.
  • the additional information A1 is not limited to an image.
  • vital information such as blood pressure of a patient as a subject can be used as the additional information A1.
  • the additional information A1 is aligned with reference to the frame of the display 4 in the captured image G2.
  • the additional information A1 may be aligned along the outer frame of the display 4.
  • the additional information A1 may be aligned so that the center of gravity of the additional information A1 matches the one vertex of the display 4 and the center of gravity of the display area of the additional information A1.
  • text information such as a diagnosis result, a graph indicating a change in vital information, or the like can be used as the additional information A1.
  • the HMD 7 is a see-through HMD, but an immersive HMD may be used.
  • an image photographed by the camera 9 is displayed on the HMD.
  • calibration of the captured image G2 and the additional information A1 is not necessary, and the additional information A1 can be displayed at a higher speed.
  • a tablet terminal may be used instead of the HMD.
  • the tablet terminal is the additional information display device according to the present embodiment. Then, an image photographed by the camera of the tablet terminal is displayed on the display of the tablet terminal, and the additional information A1 is determined, aligned with the image displayed on the display, and the additional information A1 is displayed. .
  • the additional information suitable for the image displayed on the first display means can be displayed on the second display means.
  • the additional information suitable for the display image can be displayed on the second display means.
  • the display image is corrected based on the detected distortion of the shape of the first display means, and the corrected display image is aligned with the additional information, so that the first display means is inclined in the captured image. Even when the image is distorted, the additional information can be displayed by accurately aligning the display image and the additional information.
  • the additional information is corrected based on the detected distortion of the shape of the first display means, and the first display means is inclined in the captured image by aligning the display image with the corrected additional information. Even when the image is distorted, additional information in a distorted state can be displayed together with the display image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Computer Hardware Design (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • General Health & Medical Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Endoscopes (AREA)
  • Closed-Circuit Television Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

画像取得部２１が画像が表示されたディスプレイを撮影して撮影画像を取得し、検出部２２が撮影画像からディスプレイを検出する。付加情報決定部２３が、表示画像Ｇ１に関連する付加情報Ａ１を決定し、位置合わせ部２４が、表示画像Ｇ１と付加情報Ａ１とを位置合わせする。表示制御部２５が、位置合わせされた付加情報Ａ１をＨＭＤ７に表示する。

Description

付加情報表示装置、方法およびプログラム
　本開示の技術は、ディスプレイ等の表示装置に表示されている画像に関連する付加情報を表示するための付加情報表示装置、方法およびプログラムに関するものである。
　近年、内視鏡装置、アンギオ装置および超音波装置等により取得された画像に対して、内視鏡の現在位置、および取得された画像に現れてない臓器または血管の位置を把握できるように、ＣＴ（Computed Tomography）画像あるいはＭＲＩ（Magnetic Resonance Imaging）画像等から生成された３次元画像等の付加情報を、取得された画像に重畳表示することが行われている。
　取得された画像に付加情報を重畳表示するためには、内視鏡装置等に付加情報を取り込むか、付加情報を生成する装置に内視鏡装置等により取得した画像を取り込む必要がある。内視鏡装置等に付加情報を取り込む場合、取得した画像に付加情報を重畳表示できるようにするために、内視鏡装置等の改良が必要となる。また、付加情報を生成する装置に内視鏡装置等から画像を取り込む場合でも、内視鏡装置等と接続するための機材が必要となる。また、医療機器は、臨床現場で使用するためには接続試験等を行って役所の認可を受ける必要がある。このため、内視鏡装置等と付加情報を生成する装置とを接続して実際の診断に使用することは、容易ではない。
　一方、近年、ヘッドマウントディスプレイ（Head Mount Display、以下ＨＭＤとする）に各種情報を表示することが行われている。例えば、特開２０１４－２１１６４３号公報および特開２０１２－２３３９６３号公報には、ＨＭＤのカメラで画像を表示するディスプレイを撮影し、ディスプレイの形状に基づいて撮影画像からディスプレイを検出し、ディスプレイに表示されたマークを検出し、ＨＭＤにおける検出したマークに基づいて規定される位置に、画面を投影する手法が提案されている。とくに、特開２０１２－２３３９６３号公報に記載された手法は、ディスプレイの周囲に位置するように画像を投影する手法が提案されている。
　しかしながら、特開２０１４－２１１６４３号公報および特開２０１２－２３３９６３号公報に記載された手法は、投影する画像の位置を定めるために、ディスプレイにマーカを表示する必要がある。このため、ディスプレイまたはディスプレイに表示される画像に改良を加える必要がある。このような改良を加えることは、とくに医療機器の場合、さらなる役所の認可のための試験等が必要となるため、容易ではない。
　本開示の技術は上記事情に鑑みなされたものであり、付加情報を重畳するための画像を取得する装置に改良を加えることなく、表示された画像に付加情報を併せて表示できるようにすることを目的とする。
　本開示による付加情報表示装置は、画像が表示された第１の表示手段を撮影することにより取得された撮影画像を取得する画像取得手段と、
　撮影画像から第１の表示手段を検出する検出手段と、
　検出した第１の表示手段に含まれる表示画像に関連する付加情報を決定する付加情報決定手段と、
　検出した第１の表示手段と付加情報とを位置合わせする位置合わせ手段と、
　位置合わせされた付加情報を第２の表示手段に表示する表示制御手段とを備えたことを特徴とするものである。
　「付加情報」とは、第１の表示手段に表示された表示画像に関連する任意の画像を含む情報を意味し、例えば、第１の表示手段に表示された画像が内視鏡画像である場合には、３次元画像から生成された、内視鏡画像に対応する位置の仮想内視鏡画像を付加情報として用いることができる。また、第１の表示手段に表示された画像がアンギオ装置により取得された血管の造影画像である場合には、３次元画像から生成した対応する部位の擬似２次元画像（レイサム画像）を付加情報として用いることができる。また、第１の表示手段に表示されている、画像を取得した患者のバイタル情報および診断結果等のテキスト情報等も付加情報として用いることができる。
　「検出した第１の表示手段と付加情報とを位置合わせする」とは、検出した第１の表示手段自体のみならず、検出した第１の表示手段に含まれる表示画像も含めて付加情報と位置合わせをすることを意味する。したがって、「検出した第１の表示手段と付加情報とを位置合わせする」とは、検出した第１の表示手段の枠等の筐体と付加情報とを位置合わせすること、および検出した第１の表示手段に含まれる表示画像と付加情報とを位置合わせすることを含む。
　なお、本開示による付加情報表示装置においては、付加情報決定手段は、検出した第１の表示手段の種類に基づいて、付加情報を決定するものであってもよい。
　また、本開示による付加情報表示装置においては、付加情報決定手段は、検出した第１の表示手段に表示された表示画像に基づいて、付加情報を決定するものであってもよい。
　また、本開示による付加情報表示装置においては、検出手段は、第１の表示手段の形状を用いて撮影画像から第１の表示手段を検出するものであってもよい。
　また、本開示による付加情報表示装置においては、位置合わせ手段は、検出した第１の表示手段の形状の歪みに基づいて表示画像を補正し、補正された表示画像と付加情報とを位置合わせするものであってもよい。
　また、本開示による付加情報表示装置においては、位置合わせ手段は、検出した第１の表示手段の形状の歪みに基づいて付加情報を補正し、表示画像と補正された付加情報とを位置合わせするものであってもよい。
　また、本開示による付加情報表示装置においては、位置合わせ手段は、検出した第１の表示手段の形状の歪みに基づいて表示画像を補正し、補正された表示画像と付加情報とを位置合わせするか、検出した第１の表示手段の形状の歪みに基づいて付加情報を補正し、表示画像と補正された付加情報とを位置合わせするかを選択可能であってもよい。
　また、本開示による付加情報表示装置においては、付加情報決定手段は、表示画像に含まれる情報以外の情報を付加情報に決定するものであってもよい。
　また、本開示による付加情報表示装置においては、第２の表示手段は、シースルー型のヘッドマウントディスプレイであり、撮影画像を取得するための撮影手段が、ヘッドマウントディスプレイに取り付けられてなるものであってもよい。
　本開示による付加情報表示方法は、画像が表示された第１の表示手段を撮影することにより取得された撮影画像を取得し、
　撮影画像から第１の表示手段を検出し、
　検出した第１の表示手段に含まれる表示画像に関連する付加情報を決定し、
　検出した第１の表示手段と付加情報とを位置合わせし、
　位置合わせされた付加情報を第２の表示手段に表示することを特徴とするものである。
　なお、本開示による付加情報表示方法をコンピュータに実行させるためのプログラムとして提供してもよい。
　本開示による他の付加情報表示装置は、
　コンピュータに実行させるための命令を記憶するメモリと、
　記憶された命令を実行するよう構成されたプロセッサとを備え、プロセッサは、
　画像が表示された第１の表示手段を撮影することにより取得された撮影画像を取得する画像取得処理と、
　撮影画像から第１の表示手段を検出する検出処理と、
　検出した第１の表示手段に含まれる表示画像に関連する付加情報を決定する付加情報決定処理と、
　検出した第１の表示手段と付加情報とを位置合わせする位置合わせ処理と、
　位置合わせされた付加情報を第２の表示手段に表示する表示制御処理とを実行することを特徴とするものである。
　本開示によれば、画像が表示された第１の表示手段が撮影されることにより取得された撮影画像から第１の表示手段が検出され、第１の表示手段に含まれる表示画像に関連する付加情報が決定され、検出された第１の表示手段と付加情報とが位置合わせされ、位置合わせされた付加情報が第２の表示手段に表示される。このため、第１の表示手段に対して何ら改良を加えなくても、第２の表示手段において、第１の表示手段の表示画像に付加情報を併せて表示することができる。
本発明の実施形態による付加情報表示装置を適用した診断支援システムの概要を示す図 コンピュータに付加情報表示プログラムをインストールすることにより実現される付加情報表示装置の概略構成を示す図 撮影画像を示す図 撮影画像の他の例を示す図 付加情報の位置合わせを説明するための図 ＨＭＤを装着した操作者に見える画像を示す図 本実施形態において行われる処理を示すフローチャート 内視鏡画像が表示されているディスプレイを見ている状態でＨＭＤに表示される付加情報を示す図 肝臓の手術画像が表示されているディスプレイを見ている状態でＨＭＤに表示される付加情報を示す図 付加情報の位置合わせを説明するための図 付加情報の位置合わせを説明するための図 付加情報の位置合わせを説明するための図
　以下、図面を参照して本発明の実施形態について説明する。図１は、本発明の実施形態による付加情報表示装置を適用した診断支援システムの概要を示す図である。図１に示すように、診断支援システムは、画像表示システム１および本実施形態による付加情報表示装置２からなる。
　画像表示システム１は、アンギオ装置により取得された血管造影画像であるアンギオ画像を表示するシステムであり、アンギオ装置３、およびディスプレイ４を備える。画像表示システム１においては、アンギオ装置３により被写体５の血管造影撮影が行われ、これにより取得されたアンギオ画像がディスプレイ４に表示される。なお、ディスプレイ４が第１の表示手段に対応する。
　付加情報表示装置２は、コンピュータ６およびヘッドマウントディスプレイ（Head Mount Display、以下ＨＭＤとする）７を備える。なお、ＨＭＤ７が第２の表示手段に対応する。本実施形態においては、ＨＭＤ７は透過型のＨＭＤであり、ＨＭＤ７を装着した診断支援システムの操作者（例えば医師）は、ＨＭＤ７に表示される画像を見つつ、ＨＭＤ７を介して周囲を見ることができる。なお、ＨＭＤ７には、ＨＭＤ７の操作者の視線方向の撮影を行うカメラ９が取り付けられている。また、コンピュータ６は、被写体５の画像等を保管する画像サーバ８とネットワークを介して接続されている。画像サーバ８には、例えばＣＴ装置、ＭＲＩ装置、および超音波装置等により取得された３次元画像等が保存される。
　本実施形態においては、ＨＭＤ７を装着した操作者がディスプレイ４に表示された画像を観察すると、後述するようにディスプレイ４に表示された画像に関連する付加情報がＨＭＤ７に表示される。
　コンピュータ６は、本実施形態の付加情報表示プログラムをインストールしたものである。コンピュータ６は、診断を行う医師が直接操作するワークステーションまたはパーソナルコンピュータでもよいし、それらとネットワークを介して接続されたサーバコンピュータでもよい。付加情報表示プログラムは、ＤＶＤ（Digital Versatile Disc）あるいはＣＤ－ＲＯＭ（Compact Disk Read Only Memory）等の記録媒体に記録されて配布され、その記録媒体からコンピュータにインストールされる。または、ネットワークに接続されたサーバコンピュータの記憶装置、もしくはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じて医師が使用するコンピュータにダウンロードされ、インストールされる。
　図２は、コンピュータに付加情報表示プログラムをインストールすることにより実現される付加情報表示装置の概略構成を示す図である。図２に示すように、付加情報表示装置２は、標準的なワークステーションの構成として、プロセッサであるＣＰＵ（Central Processing Unit）１１、メモリ１２およびストレージ１３を備えている。また、付加情報表示装置２には、上述したＨＭＤ７と、マウス等の入力部１４とが接続されている。
　ストレージ１３には、ネットワークを経由して画像サーバ８から取得した３次元画像Ｖ０、および後述するように付加情報表示装置２での処理に必要な情報を含む各種情報が記憶されている。
　また、メモリ１２には、付加情報表示プログラムが記憶されている。また、メモリ１２は、付加情報表示プログラムが処理を行う際の作業領域にもなる。付加情報表示プログラムは、ＣＰＵ１１に実行させる処理として、画像が表示されたディスプレイ４をカメラ９が撮影することにより取得された撮影画像を取得する画像取得処理、撮影画像からディスプレイ４を検出する検出処理、検出したディスプレイ４に含まれる表示画像に関連する付加情報を決定する付加情報決定処理、検出したディスプレイ４と付加情報とを位置合わせする位置合わせ処理、および位置合わせされた付加情報をＨＭＤ７に表示する表示制御処理を規定する。
　そして、ＣＰＵ１１がプログラムに従いこれらの処理を実行することで、コンピュータ６は、画像取得部２１、検出部２２、付加情報決定部２３、位置合わせ部２４および表示制御部２５として機能する。また、付加情報表示装置２は、画像取得処理、検出処理、付加情報決定処理、位置合わせ処理および表示制御処理をそれぞれ行う複数のプロセッサを備えるものであってもよい。
　画像取得部２１は、ＨＭＤ７に取り付けられたカメラ９が撮影した撮影画像を取得する。図３は撮影画像の例を示す図である。図３に示すように、撮影画像Ｇ２には、表示画像Ｇ１が表示されたディスプレイ４が含まれる。なお、表示画像Ｇ１はアンギオ画像であり、例えば心臓において造影剤により造影された血管が含まれている。
　検出部２２は、撮影画像Ｇ２からディスプレイ４を検出する。ディスプレイ４の検出は、撮影画像Ｇ２から矩形の領域を検出することにより行えばよい。また、矩形の輪郭を検出することにより行ってもよい。なお、後述するようにディスプレイ４を見る角度によっては、撮影画像Ｇ２に含まれるディスプレイ４の形状が歪む。このため、検出部２２は、４つの線分により囲まれる領域をディスプレイ４として検出するようにしてもよい。
　付加情報決定部２３は、表示画像Ｇ１に関連する付加情報を決定する。本実施形態においては、検出部２２が検出したディスプレイ４に含まれる表示画像Ｇ１に基づいて、表示画像Ｇ１に含まれる情報とは異なる情報を付加情報に決定する。例えば、表示画像Ｇ１を解析して表示画像Ｇ１の種類を判定し、その判定結果から付加情報Ａ１を決定する。本実施形態においては、表示画像Ｇ１はアンギオ画像であり、血管が造影されている。付加情報決定部２３は、表示画像Ｇ１を解析することにより、表示画像Ｇ１がアンギオ画像であることを判定する。表示画像Ｇ１がアンギオ画像であることが判定されると、付加情報決定部２３は、心臓の血管の擬似２次元画像（レイサム画像）を付加情報Ａ１に決定する。付加情報決定部２３は、被写体５の３次元画像Ｖ０を画像サーバ８から取得し、３次元画像Ｖ０からレイサム画像を生成する。なお、付加情報Ａ１は、血管の部分のみ画素値を有し、他の領域は透明である矩形の画像である。
　位置合わせ部２４は、撮影画像Ｇ２から検出したディスプレイ４と付加情報Ａ１との位置合わせを行う。本実施形態においては、レイサム画像である付加情報Ａ１が、ディスプレイ４に含まれる表示画像Ｇ１の対応する血管に重畳されるように位置合わせを行う。
　なお、ＨＭＤ７においては、カメラ９の撮影方向とＨＭＤ７を装着した操作者の視線方向とがずれている。このため、付加情報Ａ１がＨＭＤ７に表示された際に、ＨＭＤ７を通じて見えるディスプレイ４と付加情報Ａ１とが適切に位置合わせされるように、本実施形態による診断支援システムを使用するに先立ち、カメラ９の撮影方向を操作者の視線方向と一致させるためのキャリブレーションが行われる。キャリブレーションは、以下のようにして行われる。まず、ＨＭＤ７を装着した状態において周知のチェッカーボードをカメラ９により撮影し、チェッカーボードの画像をＨＭＤ７に表示する。そして、操作者にチェッカーボードの格子点を指し示してもらい、指し示した位置と実際のチェッカーボードの格子点の位置とが一致するように、ＨＭＤ７に表示するチェッカーボードの画像を拡大縮小、平行移動および回転する。これにより、画像を拡大縮小、平行移動および回転させるための変換パラメータが取得される。位置合わせ部２４は、この変換パラメータを第１のパラメータとしてストレージ１３に保存する。このような第１のパラメータによりカメラ９が取得した画像を変換してＨＭＤ７に表示することにより、ＨＭＤ７を通じて見える物体と、ＨＭＤ７に表示されるその物体の画像の位置とを一致させることができる。
　位置合わせ部２４は、撮影画像Ｇ２に含まれるディスプレイ４と付加情報Ａ１との位置合わせに際し、まず撮影画像Ｇ２に含まれるディスプレイ４の形状の歪みを補正する。操作者がディスプレイ４を見る角度によっては、図４に示すように、撮影画像Ｇ２に含まれるディスプレイ４の形状が歪んでいる。このため、位置合わせ部２４は、撮影画像Ｇ２に含まれるディスプレイ４の形状が矩形となるように撮影画像Ｇ２をアフィン変換等により変換して、変換された撮影画像Ｇ２１を取得する。なお、この際の変換パラメータは第２のパラメータとしてストレージ１３に保存される。
　そして、位置合わせ部２４は、変換された撮影画像Ｇ２１に含まれるディスプレイ４と付加情報Ａ１とを位置合わせする。本実施形態においては、ディスプレイ４に含まれる表示画像Ｇ１と付加情報Ａ１との位置合わせを行う。具体的には、レイサム画像である付加情報Ａ１と変換された撮影画像Ｇ２１に含まれる表示画像Ｇ１とのマッチングを行い、図５に示すように、付加情報Ａ１に対応する撮影画像Ｇ２１上の血管の位置に付加情報Ａ１が重畳されるように、位置合わせを行う。位置合わせにより、変換された撮影画像Ｇ２１上における付加情報Ａ１を重畳する位置座標が決定される。なお、付加情報Ａ１の位置座標は、例えば、撮影画像Ｇ２１上における付加情報Ａ１の四隅の座標である。
　表示制御部２５は、位置合わせされた付加情報Ａ１をＨＭＤ７に表示する。この際、ＨＭＤ７を装着している操作者がＨＭＤ７を通して見ているディスプレイ４に含まれる表示画像Ｇ１に付加情報Ａ１が位置合わせされるように、ＨＭＤ７における付加情報Ａ１を表示する位置を変換する。すなわち、表示制御部２５は、上述した第２のパラメータにより付加情報Ａ１を変換し、さらにキャリブレーション時に取得した第１の第１のパラメータにより付加情報Ａ１を変換して、ＨＭＤ７に表示する。これにより、操作者がＨＭＤ７を通して見ているディスプレイ４の表示画像Ｇ１に、変換された付加情報Ａ１が重畳されて表示される。図６はＨＭＤを装着した操作者に見える画像を示す図である。図６に示すように、ＨＭＤ７を装着した操作者には、表示画像Ｇ１が表示されたディスプレイ４がＨＭＤ７を通じて見えるが、さらに表示画像Ｇ１に位置合わせされた付加情報Ａ１が見えることとなる。
　次いで、本実施形態において行われる処理について説明する。図７は本実施形態において行われる処理を示すフローチャートである。なお、キャリブレーションは行われて、第１のパラメータがストレージ１３に保存されているものとする。ＨＭＤ７を装着した操作者が画像が表示されたディスプレイ４を見ることにより、カメラ９が操作者の視線方向の撮影を行い、画像取得部２１が撮影画像Ｇ２を取得する（ステップＳＴ１）。次いで、検出部２２が、撮影画像Ｇ２からディスプレイ４を検出し（ステップＳＴ２）、付加情報決定部２３が、検出されたディスプレイ４に含まれる表示画像Ｇ１に関連する付加情報Ａ１を決定する（ステップＳＴ３）。そして、位置合わせ部２４が、検出されたディスプレイ４と付加情報Ａ１とを位置合わせし（ステップＳＴ４）、表示制御部２５が、位置合わせされた付加情報Ａ１をＨＭＤ７に表示し（ステップＳＴ５）、ステップＳＴ１に戻る。なお、２回目以降の処理においては、付加情報決定部２３による付加情報Ａ１の決定の処理は省略される。
　このように、本実施形態においては、ディスプレイ４を撮影することにより取得した撮影画像Ｇ２からディスプレイ４を検出し、検出されたディスプレイ４に含まれる表示画像Ｇ１に関連する付加情報Ａ１を決定し、検出されたディスプレイ４と付加情報Ａ１とを位置合わせし、位置合わせされた付加情報Ａ１をＨＭＤ７に表示するようにしたものである。このため、ディスプレイ４に対して何ら改良を加えなくても、ＨＭＤ７において、ディスプレイ４に表示された表示画像Ｇ１に付加情報Ａ１を併せて表示することができる。
　ところで、ディスプレイ４の種類は、ディスプレイ４が接続されている装置の種類に応じて異なることが多い。例えば、上記実施形態ではアンギオ装置３にディスプレイ４が接続されているが、内視鏡装置では異なる種類のディスプレイが接続される。また、タブレット端末に画像を表示する場合もある。上記実施形態においては、付加情報決定部２３は、表示画像Ｇ１に基づいて付加情報Ａ１を決定しているが、ディスプレイ４の種類、例えばディスプレイ４のサイズおよび枠の形状を判定し、その判定結果からディスプレイ４にどのような画像が表示されているかを判定して、付加情報Ａ１を決定するようにしてもよい。
　ここで、ディスプレイ４が内視鏡画像を表示する種類のものである場合、または表示画像Ｇ１が内視鏡画像である場合、付加情報決定部２３は、被写体５の３次元画像Ｖ０から生成した仮想内視鏡画像を付加情報Ａ１に決定することができる。図８は、内視鏡画像が表示されているディスプレイ４を見ている状態でＨＭＤ７に表示される付加情報を示す図である。図８においては、内視鏡画像である表示画像Ｇ１が表示されているディスプレイ４の外枠に沿うように、位置合わせされた仮想内視鏡画像である付加情報Ａ１が表示されている。
　一方、ディスプレイ４に表示される画像が、例えば肝臓の手術中の画像である場合、被写体の３次元画像から生成した肝臓のモデル画像を付加情報Ａ１として用いることができる。図９は肝臓の手術中の画像が表示されたディスプレイ４を見ている状態でＨＭＤ７に表示される付加情報Ａ１を示す図である。図９においては、ディスプレイ４に表示されている表示画像Ｇ１に含まれる肝臓に、肝臓の血管および腫瘍を含む肝臓のモデル画像である付加情報Ａ１が重畳されて表示されている。
　また、上記実施形態においては、位置合わせ部２４が、ディスプレイ４の形状が矩形となるように撮影画像Ｇ２を変換している。しかしながら、付加情報Ａ１の形状を撮影画像Ｇ２に合わせるように変換してもよい。この場合、位置合わせ部２４は、撮影画像Ｇ２から検出したディスプレイ４に、変換された付加情報Ａ１を位置合わせする。すなわち、変換された付加情報Ａ１と検出したディスプレイ４に含まれる表示画像Ｇ１とのマッチングを行い、図１０に示すように、撮影画像Ｇ２上の血管の位置に変換された付加情報Ａ１が重畳されるように、撮影画像Ｇ２に変換された付加情報Ａ１を位置合わせする。位置合わせにより、撮影画像Ｇ２上における変換された付加情報Ａ１を重畳する位置が決定される。また、この場合、表示制御部２５は、位置合わせされた付加情報Ａ１をキャリブレーション時に取得した第１のパラメータにより変換してＨＭＤ７に表示する。これにより、操作者がＨＭＤ７を通じて見ているディスプレイ４の表示画像Ｇ１に、付加情報Ａ１が重畳して表示される。
　また、ディスプレイ４の形状が矩形となるように撮影画像Ｇ２を変換するか、付加情報Ａ１の形状を撮影画像Ｇ２に合わせるようにするかを選択可能なものとしてもよい。この場合、入力部１４からの入力により位置合わせ部２４が指示を受け付けて、ディスプレイ４の形状が矩形となるように撮影画像Ｇ２を変換するか、付加情報Ａ１の形状を撮影画像Ｇ２に合わせるようにするかを選択するようにすればよい。
　また、上記実施形態においては、付加情報Ａ１としてレイサム画像等を用いているが、付加情報Ａ１は画像に限定されるものではない。例えば、被写体である患者の血圧等のバイタル情報を付加情報Ａ１として用いることもできる。この場合、付加情報Ａ１は、撮影画像Ｇ２におけるディスプレイ４の枠を基準として位置合わせがなされる。例えば、図１１に示すように、ディスプレイ４の外枠に沿うように付加情報Ａ１を位置合わせすればよい。また、図１２に示すように、付加情報Ａ１の重心がディスプレイ４の１つの頂点と付加情報Ａ１の表示領域の重心とが一致するように、付加情報Ａ１を位置合わせしてもよい。また、バイタル情報に代えて、診断結果等のテキスト情報、バイタル情報の変化を示すグラフ等を付加情報Ａ１として用いることも可能である。
　また、上記実施形態においては、ＨＭＤ７をシースルー型のＨＭＤとしているが、没入型のＨＭＤを用いてもよい。この場合、カメラ９により撮影された画像がＨＭＤに表示されることとなる。このため、撮影画像Ｇ２と付加情報Ａ１とのキャリブレーションが不要となるため、より高速に付加情報Ａ１を表示することができる。
　また、ＨＭＤに代えて、タブレット端末を用いてもよい。この場合、タブレット端末が本実施形態による付加情報表示装置となる。そして、タブレット端末のカメラにより撮影した画像がタブレット端末のディスプレイに表示され、さらに付加情報Ａ１が決定されて、ディスプレイに表示された画像に位置合わせされて、付加情報Ａ１が表示されることとなる。
　以下、本発明の実施形態の効果について説明する。
　検出した第１の表示手段の種類に基づいて付加情報を決定することにより、第１の表示手段に表示された画像に適した付加情報を第２の表示手段に表示することができる。
　検出した第１の表示手段に表示された表示画像に基づいて付加情報を決定することにより、表示画像に適した付加情報を第２の表示手段に表示することができる。
　検出した第１の表示手段の形状の歪みに基づいて表示画像を補正し、補正された表示画像と付加情報とを位置合わせすることにより、撮影画像において第１の表示手段が傾いている等して歪んでいる場合であっても、表示画像と付加情報とを精度よく位置合わせして、付加情報を表示することができる。
　検出した第１の表示手段の形状の歪みに基づいて付加情報を補正し、表示画像と補正された付加情報とを位置合わせすることにより、撮影画像において第１の表示手段が傾いている等して歪んでいる場合であっても、表示画像に併せて歪んだ状態の付加情報を表示することができる。
　　　１　　画像表示システム
　　　２　　付加情報表示装置
　　　３　　アンギオ装置
　　　４　　ディスプレイ
　　　５　　被写体
　　　６　　コンピュータ
　　　７　　ヘッドマウントディスプレイ（ＨＭＤ）
　　　８　　画像サーバ
　　　９　　カメラ
　　　１１　　ＣＰＵ
　　　１２　　メモリ
　　　１３　　ストレージ
　　　２１　　画像取得部
　　　２２　　検出部
　　　２３　　付加情報決定部
　　　２４　　位置合わせ部
　　　２５　　表示制御部
　　　Ｇ１　　表示画像
　　　Ｇ２　　撮影画像
　　　Ａ１　　付加情報

Claims (11)

  1. 　画像が表示された第１の表示手段を撮影することにより取得された撮影画像を取得する画像取得手段と、
    　前記撮影画像から前記第１の表示手段を検出する検出手段と、
    　前記検出した第１の表示手段に含まれる表示画像に関連する付加情報を決定する付加情報決定手段と、
    　前記検出した第１の表示手段と前記付加情報とを位置合わせする位置合わせ手段と、
    　前記位置合わせされた前記付加情報を第２の表示手段に表示する表示制御手段とを備えた付加情報表示装置。
  2. 　前記付加情報決定手段は、前記検出した前記第１の表示手段の種類に基づいて、前記付加情報を決定する請求項１記載の付加情報表示装置。
  3. 　前記付加情報決定手段は、前記検出した前記第１の表示手段に表示された表示画像に基づいて、前記付加情報を決定する請求項１記載の付加情報表示装置。
  4. 　前記検出手段は、前記第１の表示手段の形状を用いて前記撮影画像から前記第１の表示手段を検出する請求項１から３のいずれか１項記載の付加情報表示装置。
  5. 　前記位置合わせ手段は、前記検出した第１の表示手段の形状の歪みに基づいて前記表示画像を補正し、該補正された表示画像と前記付加情報とを位置合わせする請求項１から４のいずれか１項記載の付加情報表示装置。
  6. 　前記位置合わせ手段は、前記検出した第１の表示手段の形状の歪みに基づいて前記付加情報を補正し、前記表示画像と前記補正された付加情報とを位置合わせする請求項１から４のいずれか１項記載の付加情報表示装置。
  7. 　前記位置合わせ手段は、前記検出した第１の表示手段の形状の歪みに基づいて前記表示画像を補正し、該補正された表示画像と前記付加情報とを位置合わせするか、前記検出した第１の表示手段の形状の歪みに基づいて前記付加情報を補正し、前記表示画像と前記補正された付加情報とを位置合わせするかを選択可能である請求項１から４のいずれか１項記載の付加情報表示装置。
  8. 　前記付加情報決定手段は、前記表示画像に含まれる情報以外の情報を前記付加情報に決定する請求項１から７のいずれか１項記載の付加情報表示装置。
  9. 　前記第２の表示手段は、シースルー型のヘッドマウントディスプレイであり、前記撮影画像を取得するための撮影手段が、該ヘッドマウントディスプレイに取り付けられてなる請求項１から８のいずれか１項記載の付加情報表示装置。
  10. 　画像が表示された第１の表示手段を撮影することにより取得された撮影画像を取得し、
    　前記撮影画像から前記第１の表示手段を検出し、
    　前記検出した第１の表示手段に含まれる表示画像に関連する付加情報を決定し、
    　前記検出した第１の表示手段と前記付加情報とを位置合わせし、
    　前記位置合わせされた前記付加情報を第２の表示手段に表示する付加情報表示方法。
  11. 　画像が表示された第１の表示手段を撮影することにより取得された撮影画像を取得する手順と、
    　前記撮影画像から前記第１の表示手段を検出する手順と、
    　前記検出した第１の表示手段に含まれる表示画像に関連する付加情報を決定する手順と、
    　前記検出した第１の表示手段と前記付加情報とを位置合わせする手順と、
    　前記位置合わせされた前記付加情報を第２の表示手段に表示する手順とをコンピュータに実行させる付加情報表示プログラム。
PCT/JP2017/041143 2017-02-24 2017-11-15 付加情報表示装置、方法およびプログラム WO2018154877A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019501050A JP6801073B2 (ja) 2017-02-24 2017-11-15 付加情報表示装置、方法およびプログラム
US16/442,680 US20190304107A1 (en) 2017-02-24 2019-06-17 Additional information display device, additional information display method, and additional information display program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017033132 2017-02-24
JP2017-033132 2017-02-24

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/442,680 Continuation US20190304107A1 (en) 2017-02-24 2019-06-17 Additional information display device, additional information display method, and additional information display program

Publications (1)

Publication Number Publication Date
WO2018154877A1 true WO2018154877A1 (ja) 2018-08-30

Family

ID=63254259

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/041143 WO2018154877A1 (ja) 2017-02-24 2017-11-15 付加情報表示装置、方法およびプログラム

Country Status (3)

Country Link
US (1) US20190304107A1 (ja)
JP (1) JP6801073B2 (ja)
WO (1) WO2018154877A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6988001B2 (ja) * 2018-08-30 2022-01-05 オリンパス株式会社 記録装置、画像観察装置、観察システム、観察システムの制御方法、及び観察システムの作動プログラム
US11200656B2 (en) * 2019-01-11 2021-12-14 Universal City Studios Llc Drop detection systems and methods

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005250950A (ja) * 2004-03-05 2005-09-15 Nippon Telegr & Teleph Corp <Ntt> マーカ提示用携帯端末および拡張現実感システムならびにその動作方法
JP2013110514A (ja) * 2011-11-18 2013-06-06 Konica Minolta Business Technologies Inc 操作入力システム
JP2015184762A (ja) * 2014-03-20 2015-10-22 沖電気工業株式会社 取引システム及び取引装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005250950A (ja) * 2004-03-05 2005-09-15 Nippon Telegr & Teleph Corp <Ntt> マーカ提示用携帯端末および拡張現実感システムならびにその動作方法
JP2013110514A (ja) * 2011-11-18 2013-06-06 Konica Minolta Business Technologies Inc 操作入力システム
JP2015184762A (ja) * 2014-03-20 2015-10-22 沖電気工業株式会社 取引システム及び取引装置

Also Published As

Publication number Publication date
JP6801073B2 (ja) 2020-12-16
US20190304107A1 (en) 2019-10-03
JPWO2018154877A1 (ja) 2019-11-21

Similar Documents

Publication Publication Date Title
US11596480B2 (en) Navigation, tracking and guiding system for the positioning of operatory instruments within the body of a patient
US11980429B2 (en) Tracking methods for image-guided surgery
EP2883353B1 (en) System and method of overlaying images of different modalities
TWI727725B (zh) 手術導航系統及其成像方法
JPWO2017179350A1 (ja) 画像表示制御装置および方法並びにプログラム
US10417808B2 (en) Image processing system, image processing apparatus, and image processing method
US20170161892A1 (en) A method for acquiring and processing images of an ocular fundus by means of a portable electronic device
JP2016043211A (ja) 画像位置合せ装置、方法およびプログラム
US10799100B2 (en) Image processing device, method, and program
US20120050277A1 (en) Stereoscopic image displaying method and device
WO2012046867A1 (ja) 画像処理装置及び画像処理方法
JP6801073B2 (ja) 付加情報表示装置、方法およびプログラム
JP5661244B2 (ja) 医療用画像診断支援システム及び画像処理方法
JP6397277B2 (ja) 読影レポート作成のための支援装置およびその制御方法
US10631948B2 (en) Image alignment device, method, and program
JP6461024B2 (ja) 画像位置合せ装置、方法およびプログラム
JP6643433B2 (ja) 読影レポート作成のための支援装置およびその制御方法
US10049480B2 (en) Image alignment device, method, and program
JP2012244420A (ja) 画像処理システム、装置及び方法
JP2018153345A (ja) 内視鏡位置特定装置、方法およびプログラム
JP2006020746A (ja) 画像表示装置
WO2022219072A1 (en) Combining angiographic information with fluoroscopic images
JP2014104140A (ja) Ｘ線診断装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17898266

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019501050

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17898266

Country of ref document: EP

Kind code of ref document: A1