WO2014203454A1 - 表示制御装置、表示制御方法、およびプログラム - Google Patents

表示制御装置、表示制御方法、およびプログラム Download PDF

Info

Publication number
WO2014203454A1
WO2014203454A1 PCT/JP2014/002693 JP2014002693W WO2014203454A1 WO 2014203454 A1 WO2014203454 A1 WO 2014203454A1 JP 2014002693 W JP2014002693 W JP 2014002693W WO 2014203454 A1 WO2014203454 A1 WO 2014203454A1
Authority
WO
WIPO (PCT)
Prior art keywords
scroll
display control
input image
line
speed
Prior art date
Application number
PCT/JP2014/002693
Other languages
English (en)
French (fr)
Inventor
武史 大橋
重篤 吉岡
徹 見留
拓也 成平
Original Assignee
ソニー株式会社
公益財団法人がん研究会
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社, 公益財団法人がん研究会 filed Critical ソニー株式会社
Priority to US14/899,118 priority Critical patent/US10416867B2/en
Priority to JP2015522500A priority patent/JP6317343B2/ja
Priority to CN201480033483.3A priority patent/CN105324746B/zh
Priority to EP14813400.0A priority patent/EP3012727B1/en
Publication of WO2014203454A1 publication Critical patent/WO2014203454A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485Scrolling or panning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/34Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators for rolling or scrolling
    • G09G5/346Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators for rolling or scrolling for systems having a bit-mapped display memory
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/42Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of patterns using a display memory without fixed position correspondence between the display memory contents and the display position on the screen
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04806Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/045Zooming at least part of an image, i.e. enlarging it or shrinking it
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0464Positioning
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/02Networking aspects
    • G09G2370/022Centralised management of display operation, e.g. in a server instead of locally
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00Specific applications
    • G09G2380/08Biomedical applications

Definitions

  • the present disclosure relates to a display control device, a display control method, and a program, and more particularly, to a display control device, a display control method, and a program that are suitable for use in, for example, observing a cell tissue that is a target of pathological diagnosis.
  • a part of the cellular tissue is collected from a patient, cut into thin pieces, and a section (hereinafter referred to as a biopsy) is placed on a slide glass.
  • a method of preparing a preparation by dyeing and observing and diagnosing with a microscope.
  • FIG. 1 shows an outline of a conventional method for observing and diagnosing a preparation image.
  • the scroll line 12 is determined in accordance with the shape of the biopsy 11 in the preparation image 10. Then, one end (start point) to the other end (end point) of the scroll line 12 are sequentially set as the scroll center 13, and a predetermined area centered on the scroll center 13 is enlarged and displayed. For example, when the start point of the scroll line 12 is the scroll center 13, the enlarged screen 14 is displayed. When the scroll center 12 is located near the middle of the scroll line 12, an enlarged screen 15 is displayed.
  • the viewer may be uncomfortable if the scroll speed is high or the display magnification ratio is small at a portion where the curvature of the scroll line 12 is high, the viewer may be uncomfortable.
  • This disclosure has been made in view of such a situation, and is intended to prevent an observer from feeling uncomfortable when an image is enlarged and scrolled.
  • a display control device includes an acquisition unit that acquires an input image, and a display control unit that scrolls the input image along a predetermined scroll line and displays the input image on a screen.
  • the control unit scrolls and displays the input image along different scroll lines in accordance with a scroll speed that is a speed at which the scroll is performed.
  • the display control unit can scroll and display the input image along the scroll lines having different curvatures according to the scroll speed.
  • the display control unit can scroll and display the input image along the scroll line having a lower curvature as the scroll speed is higher.
  • the display control unit can scroll and display the input image along different scroll lines according to the display magnification of the input image.
  • the display control unit can scroll and display the input image along a scroll line having a lower curvature as the display magnification is lower.
  • the display control unit selects one of the plurality of scroll lines generated by the scroll line generation unit according to the scroll speed, and moves the selected scroll line at the scroll speed.
  • the scroll reference point can be determined.
  • the input image may include a predetermined observation target, and the display control unit may set the scroll line based on the observation target.
  • the display control unit When changing the scroll line being selected, the display control unit sets a transition line for transitioning from the scroll line before the change to the scroll line after the change, and the scroll speed is set on the set transition line.
  • the moving point can be determined as the scroll reference point.
  • the display control unit scrolls and displays the input image on the basis of the determined scroll reference point, and when the region to be observed that is not displayed on the screen is generated, The scroll speed can be reduced so that a scroll line having a high curvature is selected.
  • the display control device may further include a maximum scroll speed setting unit that sets a maximum scroll speed according to a curvature for each predetermined section of the generated scroll line.
  • the control unit can determine, as a scroll reference point, a point that moves on the selected scroll line at the scroll speed with the set maximum scroll speed as an upper limit.
  • the display control unit can scroll and display the input image so that the scroll reference point is positioned at the approximate center of the display area on the screen where the input image is displayed.
  • the display control device may further include a notification unit that notifies scroll direction information indicating a future movement direction of the scroll reference point.
  • a display control method is the display control method of a display control device, wherein the display control device acquires an input image and scrolls the input image along a predetermined scroll line.
  • a display control step for displaying the input image on the screen, and the display control step scrolls and displays the input image along the different scroll lines in accordance with a scroll speed that is a speed at which the scroll is performed.
  • a program causes a computer to function as an acquisition unit that acquires an input image, and a display control unit that scrolls the input image along a predetermined scroll line and displays the input image on a screen.
  • the display control unit scrolls and displays the input image along different scroll lines according to a scroll speed that is a speed at which the scroll is performed.
  • an input image is acquired, and the input image is scrolled along a predetermined scroll line and displayed on the screen. Note that the input image is scrolled along different scroll lines according to the scroll speed, which is the speed at which scrolling is performed.
  • the computer includes an acquisition unit that acquires, as an input image, a map including a route serving as a movement route, and display control that causes the input image to be scrolled and displayed on a screen along a predetermined scroll line.
  • a map display function block including a section and a content playback block for playing back the content, and the display control section performs the input along the different scroll lines according to a scroll speed that is a scroll speed. Scroll the image to display.
  • a map including a route serving as a movement route is acquired as an input image, and the input image is scrolled and displayed on a screen along a predetermined scroll line. Note that the input image is scrolled along different scroll lines according to the scroll speed, which is the speed at which scrolling is performed.
  • FIG. 2 illustrates a configuration example of the display control apparatus according to the first embodiment of the present disclosure.
  • the display control apparatus 30 enlarges and scrolls a preparation image obtained by scanning a preparation on which a biopsy such as a cell tissue is placed, and displays the preparation image on the display.
  • the display control device 30 includes an operation input unit 31, an image input unit 32, a scroll control unit 33, and a display control unit 34.
  • the operation input unit 31 receives various setting operations (display mode selection, scroll speed setting, display magnification setting, scroll line setting, etc.) input from the user, and notifies the scroll control unit 33 of the setting information.
  • the user interface of the operation input unit 31 is arbitrary, for example, a keyboard, a joystick, a tablet, a mouse, or the like can be used.
  • the display mode selection means that the user selects either the first display mode for changing the scroll line according to the scroll speed or the second display mode for setting an upper limit on the scroll speed according to the curvature of the scroll line. It is.
  • Scroll speed setting means that the user designates the speed (unit is, for example, Pixel / sec) when the scroll center (scroll reference point) moves on the scroll line, and can be changed at any time.
  • the display enlargement ratio setting is to designate an area to be enlarged and displayed around the scroll center, and can be changed by the user at any time.
  • the scroll line setting is that the user arbitrarily sets a base scroll line on the input image.
  • the image input unit 32 acquires an input image such as a preparation image that is to be observed by the user (observer), and supplies the input image to the scroll control unit 33 and the display control unit 34.
  • the input image is not limited to a prepared image.
  • medical images such as CT images, MRI images, and X-ray images that are used in the medical field in the same manner as preparation images
  • any image that is not limited to the medical field may be used as the input image. it can.
  • the scroll control unit 33 determines a scroll center and an enlargement rate when the input image from the image input unit 31 is enlarged and scroll-displayed and notifies the display control unit 34 of the scroll center. To do. Further, the scroll control unit 33 notifies the display control unit 34 of the direction (scroll direction) in which the current scroll center moves thereafter.
  • the display control unit 34 extracts the area according to the scroll center and the display magnification ratio notified from the scroll control unit 33 from the input image supplied from the image input unit 32 in the same vertical and horizontal directions as the input image, and enlarges them. Output to the subsequent display. Further, the display control unit 34 superimposes the input image to be enlarged based on the scroll direction notified from the scroll control unit 33 and displays the subsequent scroll direction (described later with reference to FIG. 9).
  • FIG. 3 shows a detailed configuration example of the scroll control unit 33.
  • the scroll control unit 33 includes a scroll line calculation unit 41, a scroll line selection unit 42, a maximum scroll speed calculation unit 43, a scroll speed determination unit 44, a scroll instruction unit 45, and a scroll direction notification unit 46.
  • the scroll line calculation unit 41 calculates a plurality of scroll lines that become the trajectory of the scroll center when the input image is scroll-displayed. This will be specifically described with reference to FIG.
  • FIG. 4 shows the calculation procedure of the scroll line.
  • the cellular tissue (biopsy) region is detected from an input image (preparation image) as shown in FIG.
  • a horizontal midpoint may be a substantially midpoint
  • the curvature K is calculated.
  • the curvature K can be calculated by the formula shown in the following equation (1), where v is the horizontal coordinate value, k is the vertical coordinate value, and v (k) is the base scroll line.
  • the base scroll line in addition to the method described above, thinning processing is performed on the observation target region of the input image, or feature points detected from the input image (for example, detected as cancer cells). May be connected). Further, the base scroll line may be arbitrarily set by the user.
  • a low pass filter by applying a low pass filter to the base scroll line, one or more sub-scroll lines with a gentler curve (decreasing curvature) are calculated.
  • the low-pass filter a simple moving average having a predetermined width in the vertical direction can be used, or a convolution operation using a Gaussian filter can be used.
  • the following equation (2) shows an example in which the sub scroll line w (k) is calculated by a convolution operation using a Gaussian filter.
  • v (k) represents a base scroll line
  • u (k) represents a Gaussian filter.
  • the sub-scroll line may be obtained by applying only the portion where the curvature of the base scroll line exceeds a predetermined threshold, instead of performing the convolution operation on the entire base scroll line.
  • a filter other than the convolution calculation using a simple moving average or a Gaussian filter may be applied as a low-pass filter.
  • scroll lines are superimposed on the input image. However, the scroll lines themselves are not displayed unless a scroll direction to be described later is presented to the user.
  • the scroll line selection unit 42 selects a scroll line on which the scroll center moves based on the current scroll speed from among the plurality of calculated scroll lines (base scroll line and sub scroll line). This will be specifically described with reference to FIG.
  • FIG. 5 shows an outline of scroll line selection.
  • FIG. 7A is a diagram in which a base scroll line is superimposed on the input image
  • FIG. 9B is a diagram in which a sub-scroll line having a curvature smaller than that of the base scroll line is superimposed on the input image. A sub-scroll line having a smaller curvature is superimposed on the input image.
  • the number of scroll lines is three, but more scroll lines may be prepared.
  • the range of scroll speed is divided according to the number of prepared scroll lines.
  • the scroll speed range is divided into a low speed range (0 to 75), a medium speed range, and a high speed range.
  • the base scroll line in FIG. A is selected.
  • the sub scroll line in FIG. B is selected and the scroll speed is in the high speed range.
  • the sub scroll line in FIG. That is, when the scroll speed is increased, a scroll line having a smaller curvature is selected, so that scroll sickness can be reduced or suppressed for the observer.
  • the scroll line selection unit 42 selects a scroll line
  • the display enlargement ratio can also be used. Specifically, an apparent scroll speed expressed by the following equation (3) is introduced, and a scroll line is selected based on a comparison between the apparent scroll speed and the first and second threshold values.
  • Apparent scroll speed scroll speed ⁇ 10 / display enlargement ratio (3)
  • the display magnification is 2.5 times, 5 times, 10 times, 40 times, or the like. Since the apparent scroll speed increases as the display magnification decreases, the scroll line is selected with a small curvature that is less likely to cause scroll sickness.
  • the selection and change of the scroll line is performed at any time according to the change of the scroll speed and the display magnification. That is, when the scroll speed is changed during the scroll display of the input image, the scroll line may be changed. In this case, if the scroll center suddenly shifts, the observer feels uncomfortable, and the scroll line selection unit 42 makes a transition so that the scroll center smoothly moves from the original scroll line to the scroll line to be changed. Set the line. The setting of the transition line will be described with reference to FIG.
  • FIG. 6 shows an outline of transition line settings.
  • the length from the current scroll center to the foot of the perpendicular line down to the changed scroll line is a
  • the linear distance from the foot of the perpendicular line to the intersection of the changed scroll line and the transition line is b
  • the scroll lines are calculated dynamically corresponding to changes in the scroll speed and the display magnification rate. It may be.
  • the maximum scroll speed calculation unit 43 divides the scroll line into predetermined sections, and calculates the maximum scroll speed according to the curvature of each section. The calculation of the maximum scroll speed will be described with reference to FIG.
  • FIG. 7 shows an example of the correspondence between the crawl line curvature and the maximum scroll speed.
  • the scroll line is divided into sections of a predetermined length, the maximum curvature of each section is obtained, and the maximum scroll side is calculated according to the following equation (4).
  • Maximum scrolling speed 1 / maximum curvature (4)
  • the scroll line is divided into three sections, and the maximum curvatures are 0.005 [/ pixel], 0.020 [/ pixel], and 0.010 [/ pixel] in order, so the maximum scroll speed in each section is It is calculated as 200 [pixel / sec], 50 [pixel / sec], and 100 [pixel / sec] in order.
  • the scroll speed determination unit 44 determines the scroll speed at the current scroll center in real time according to the setting information regarding the scroll speed from the operation input unit 31 with the calculated maximum scroll speed as an upper limit.
  • the scroll instructing unit 45 sequentially determines the scroll center at the point of moving on the scroll line or transition line selected by the scroll line selecting unit 42 at the scroll speed determined by the scroll speed determining unit 44. Further, the scroll instruction unit 45 determines the display magnification based on the setting information from the operation input unit 31 and the input image. The scroll instruction unit 45 notifies the display control unit 34 of the determined scroll center (coordinates) and the display magnification.
  • Fig. 8 shows an overview of two types of measures to eliminate areas that cannot be observed. For example, as shown in FIG. A, when the determined scroll speed is high, the curvature of the scroll line selected correspondingly is low, and the display magnification is large, an area that cannot be observed by the observer may be generated.
  • the display magnification rate is lowered until the area is not generated.
  • both the first countermeasure and the second countermeasure may be executed.
  • the scroll direction notifying unit 46 notifies the display control unit 34 of scroll direction information indicating the future moving direction (scroll direction) of the scroll center.
  • FIG. 9 shows three types of display examples in which the display control unit 34 presents the scroll direction to the observer based on the scroll direction information.
  • FIG. 5A shows a first display example in which scroll lines are thinly superimposed on an input screen displayed in an enlarged scroll.
  • FIG. 5B shows a second display example in which an image of an arrow indicating the scroll direction is superimposed on an input screen displayed in an enlarged scroll.
  • Fig. C is a third display example in which an image of an arrow indicating the scroll direction is superimposed on an area other than the observation target (biopsy on the slide image) on the input screen displayed in enlarged scroll.
  • FIG. 10 is a flowchart for explaining the first scroll display process when the first display mode is selected.
  • step S1 the image input unit 32 acquires an input image such as a preparation image to be observed by the user and supplies it to the scroll control unit 33 and the display control unit 34.
  • the scroll line calculation unit 41 calculates one or more sub-scroll lines having different curvatures to correspond to the sucrose speed different from that of the base scroll line.
  • step S3 the operation input unit 31 starts accepting an operation from the user who sets and changes the scroll speed and the display magnification. Based on this operation input, the scroll speed determination unit 44 determines the scroll speed.
  • step S4 the scroll line selection unit 42 selects a scroll line on which the scroll center moves from a plurality of calculated scroll lines (base scroll line and sub scroll line) based on the current scroll speed.
  • the scroll line may be selected based on the apparent scroll speed based on the display enlargement ratio.
  • step S5 the scroll instructing unit 45 sequentially determines the scroll center at the point of moving at the scroll speed on the selected scroll line. Further, the scroll instruction unit 45 determines the display magnification based on the setting information from the operation input unit 31 and the input image. The scroll instruction unit 45 notifies the display control unit 34 of the determined scroll center (coordinates) and the display magnification. At the same time, the scroll direction notifying unit 46 notifies the display control unit 34 of scroll direction information indicating the direction (scroll direction) in which the scroll center moves thereafter.
  • the display control unit 34 starts an enlarged scroll display of the input image.
  • step S6 the scroll line selection unit 42 determines whether or not at least one of the scroll speed and the display magnification is changed. If it is determined that at least one has been changed, the process proceeds to step S7.
  • step S7 the scroll line selection unit 42 changes the scroll line based on at least one of the changed scroll speed or display magnification.
  • step S6 If it is determined in step S6 that the scroll speed and the display magnification ratio have not been changed, step S7 is skipped and the process proceeds to step S8.
  • step S8 the scroll instruction unit 45 determines whether or not the scroll center has moved to the end of the scroll line. If it is determined that the scroll center has not moved to the end of the scroll line, the process returns to step S6 and the subsequent steps are repeated. When it is determined that the scroll center has moved to the end of the scroll line, the first scroll display process is terminated.
  • the scroll line is changed to one having a smaller curvature. It is possible to prevent the (observer) from feeling uncomfortable such as scroll sickness.
  • FIG. 11 is a flowchart for explaining the second scroll display process when the second display mode is selected.
  • step S11 the image input unit 32 acquires an input image such as a preparation image to be observed by the user and supplies it to the scroll control unit 33 and the display control unit 34.
  • step S12 the scroll line calculation unit 41 calculates a base scroll line.
  • the scroll line calculation unit 41 divides the set base scroll line into predetermined sections and calculates the curvature of each section.
  • step S13 the maximum scroll speed calculation unit 43 divides the scroll line into predetermined sections, and calculates the maximum scroll speed according to the curvature of each section.
  • step S14 the operation input unit 31 starts accepting an operation from the user who sets and changes the scroll speed and the display magnification.
  • step S15 the scroll speed determination unit 44 determines the scroll speed based on the operation input from the user, with the maximum scroll speed in the section where the current scroll center is located as the upper limit.
  • the scroll instruction unit 45 sequentially determines the scroll center based on the base scroll line and the scroll speed. Further, the scroll instruction unit 45 determines the display magnification based on the setting information from the operation input unit 31 and the input image.
  • the scroll instruction unit 45 notifies the display control unit 34 of the determined scroll center and display magnification.
  • the scroll direction notifying unit 46 notifies the display control unit 34 of scroll direction information indicating the direction (scroll direction) in which the scroll center moves thereafter.
  • the display control unit 34 starts an enlarged scroll display of the input image.
  • step S16 the scroll instruction unit 45 determines whether or not the scroll center has moved to the end of the base scroll line. If it is determined that the scroll center has not moved to the end of the base scroll line, the scroll instruction unit 45 continues to notify the display control unit 34 of the scroll center and the display magnification ratio. When it is determined that the scroll center has moved to the end of the base scroll line, the second scroll display process is terminated.
  • the maximum scroll speed is set according to the curvature of each section of the base scroll line, so that, for example, the scroll speed is increased and the display enlargement ratio is decreased.
  • the scroll line is changed to one having a smaller curvature, it is possible to prevent the user (observer) from feeling uncomfortable such as scroll sickness.
  • the scroll center is moved along the base scroll line, but the scroll center may be moved using the sub-scroll line selected by the user as a path, for example.
  • the maximum scroll speed calculation unit 43 divides the sub scroll line into predetermined sections, and calculates the maximum scroll speed according to the curvature of each section.
  • the display control device 30 operates in the first display mode or the second display mode selected by the user.
  • the display control device 30 may be configured to operate only in one display mode. Good.
  • FIG. 12 shows a modification of the enlarged scroll display.
  • the area to be enlarged may be extracted in a direction that does not necessarily coincide with the vertical and horizontal directions of the input image, and enlarged scroll display may be performed. Even in this case, it is desirable to set an upper limit on the scroll speed in accordance with the curvature of the scroll line and the inclination at the scroll center.
  • FIG. 13 shows another example of the base scroll line setting method.
  • the base scroll line has been a line connecting the midpoints of the region to be observed (biopsy).
  • a medical image is used as an input image
  • the site is detected by image recognition processing for detecting a site with high suspicion such as cancer or infection in the medical image, and a line connecting them is used as a base scroll line. It may be set.
  • the base scroll line may be set so as to go around the cell tissue region by, for example, image processing that extracts the boundary between the cell tissue region and the background.
  • FIG. 14 shows a display example when the present disclosure is applied when the map is browsed by scrolling according to the terrain.
  • the map is used as the input image, and the base scroll line can be generated by automatically connecting points such as the prefectural office location and the center of the municipality according to the size of the map to be viewed. Or just set it.
  • FIG. 15 shows a display example when the present disclosure is applied when, for example, in a navigation application, a map is scrolled and browsed along a route when moving from one point to another point.
  • the map is the input image
  • the route set by the navigation application is the base scroll line.
  • FIG. 16 illustrates a configuration example of the information processing device 50 and the information processing server 80 according to the second embodiment of the present disclosure.
  • the scroll control unit 33 in the display control apparatus 30 according to the first embodiment shown in FIG. 2 is provided in the information processing server 80 connected via the Internet 70. .
  • the description is abbreviate
  • the communication unit 51 of the information processing apparatus 50 is connected to the information processing server 80 via the Internet 70, supplies the input image from the image input unit 32 to the scroll control unit 33, and scrolls the setting information from the operation input unit 31. Notify the controller 33. Further, the communication unit 51 receives from the scroll control unit 33 a scroll center and an enlargement ratio when the input image is enlarged and scroll-displayed, and a direction (scroll direction) in which the current scroll center moves thereafter. The display control unit 34 is notified.
  • the first scroll display process or the second scroll display process described above can be controlled using so-called cloud computing.
  • FIG. 17 illustrates a configuration example of the mobile terminal 90 according to the third embodiment of the present disclosure.
  • the description is abbreviate
  • the mobile terminal 90 is specifically assumed to be a portable computer such as a smartphone, a mobile phone, or a tablet PC.
  • the mobile terminal 90 includes a CPU 91, a memory 92, an operation input unit 94, a communication unit 95, and a display 96, which are connected via a bus 97.
  • the CPU 91 can execute various operations by reading and starting the mobile application 93 held in the memory 92.
  • FIG. 18 shows an example of functional blocks that can be realized when the CPU 91 activates the mobile application 93.
  • the map display unit 121 and the content reproduction unit 122 are realized at the same time.
  • the map display unit 121 is a functional block that realizes a so-called navigation function, and uses the scroll control unit 33 when scrolling the map along a route when moving from one point to another point. Can do. Note that the map display unit 121 may include the function of the scroll control unit 33.
  • the content playback unit 122 is a functional block that plays back content such as music and moving images.
  • navigation is executed in parallel with the reproduction of content, and the above-described first scroll display processing or second scroll display processing is performed in the so-called cloud. It can be controlled using computing.
  • the series of processes described above can be executed by hardware or can be executed by software.
  • a program constituting the software is installed in the computer.
  • the computer includes, for example, a general-purpose personal computer capable of executing various functions by installing a computer incorporated in dedicated hardware and various programs.
  • FIG. 19 is a block diagram showing an example of a hardware configuration of a computer that executes the above-described series of processing by a program.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • An input / output interface 205 is further connected to the bus 204.
  • An input unit 206, an output unit 207, a storage unit 208, a communication unit 209, and a drive 210 are connected to the input / output interface 205.
  • the input unit 206 includes a keyboard, a mouse, a microphone, and the like.
  • the output unit 207 includes a display, a speaker, and the like.
  • the storage unit 208 includes a hard disk, a nonvolatile memory, and the like.
  • the communication unit 209 includes a network interface and the like.
  • the drive 210 drives a removable medium 211 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 201 loads the program stored in the storage unit 208 to the RAM 203 via the input / output interface 205 and the bus 204 and executes the program. A series of processing is performed.
  • the program executed by the computer may be a program that is processed in time series in the order described in this specification, or in parallel or at a necessary timing such as when a call is made. It may be a program for processing.
  • this indication can also take the following structures.
  • An acquisition unit for acquiring an input image A display control unit that scrolls the input image along a predetermined scroll line and displays the input image on a screen; The display control unit displays the input image by scrolling along the different scroll lines in accordance with a scroll speed that is a speed at which the scroll is performed.
  • the display control device (2) The display control device according to (1), wherein the display control unit scrolls and displays the input image along the scroll lines having different curvatures according to the scroll speed.
  • the input image includes a predetermined observation target
  • the display control device according to any one of (1) to (6), wherein the display control unit sets the scroll line based on the observation target.
  • the display control unit sets a transition line for transitioning from the scroll line before the change to the scroll line after the change, and the scroll speed is set on the set transition line.
  • the display control apparatus according to any one of (1) to (7), wherein a moving point is determined as a scroll reference point.
  • the display control unit scrolls and displays the input image on the basis of the determined scroll reference point, and when the region to be observed that is not displayed on the screen is generated,
  • the display control device according to any one of (1) to (8), wherein at least one of reducing the scroll speed is performed so that a scroll line having a high curvature is selected.
  • a maximum scroll speed setting unit that sets a maximum scroll speed according to the curvature for each predetermined section of the generated scroll line;
  • the display control unit determines, as a scroll reference point, a point that moves on the selected scroll line at the scroll speed with the set maximum scroll speed as an upper limit. Any one of (1) to (9) A display control device according to claim 1.
  • the display control unit scrolls and displays the input image so that the scroll reference point is positioned at a substantially center of a display area on the screen where the input image is displayed.
  • the display control apparatus in any one of.
  • the display control device according to any one of (1) to (11), further including a notification unit that notifies scroll direction information indicating a future moving direction of the scroll reference point.

Abstract

 画像を拡大スクロール表示するに際して、観察者に不快感を与えないため、本開示の第1の側面である表示制御装置は、入力画像を取得する取得部と、所定のスクロールラインに沿って前記入力画像をスクロールさせてスクリーンに表示させる表示制御部とを備え、前記表示制御部は、前記スクロールさせるときのスクロール速度に応じて、異なる前記スクロールラインに沿って前記入力画像をスクロールさせて表示させる。 本開示は、例えば、医療画像を診断する場合に適用できる。

Description

表示制御装置、表示制御方法、およびプログラム
 本開示は、表示制御装置、表示制御方法、およびプログラムに関し、特に、例えば、病理診断の対象とする細胞組織を観察する場合に用いて好適な表示制御装置、表示制御方法、およびプログラムに関する。
 従来、医療の場において、腫瘍などの細胞組織を診断する方法として、患者から細胞組織の一部を採取して薄く切り、その切片(以下、生検と称する)をスライドガラス上に載置して染色することによりプレパラートを作成し、顕微鏡などで観察、診断する方法がある。
 さらに、該プレパラートをスキャニングして得られるプレパラート画像をディスプレイに表示して観察、診断することも提案されている(例えば、特許文献1参照)。
 図1は、プレパラート画像を観察、診断する従来方法の概要を示している。従来の方法では、プレパラート画像10における生検11の形状に合わせてスクロールライン12が決定される。そして、スクロールライン12の一端(始点)から他端(終点)までが順にスクロールセンタ13とされて、該スクロールセンタ13を中心とする所定の領域が拡大表示される。例えば、スクロールライン12の始点がスクロールセンタ13とされたときには、拡大画面14が表示される。また、スクロールライン12の中間付近がスクロールセンタ13とされたときには、拡大画面15が表示される。
特開2012-252559号公報
 ところで、上述したように、プレパラート画像10をスクロールライン12に沿って順次拡大表示させた場合、これを見る観察者に対して、いわゆるスクロール酔いなどの不快感を与えてしまうことがある。
 具体的には、スクロールライン12の曲率が高い部位においてスクロール速度が速かったり、表示拡大率が小さかったりすると観察者に不快感を与えてしまうことがある。
 本開示はこのような状況に鑑みてなされたものであり、画像を拡大スクロール表示するに際して、観察者に不快感を与えないようにするものである。
 本開示の第1の側面である表示制御装置は、入力画像を取得する取得部と、所定のスクロールラインに沿って前記入力画像をスクロールさせてスクリーンに表示させる表示制御部とを備え、前記表示制御部は、前記スクロールさせるときの速度であるスクロール速度に応じて、異なる前記スクロールラインに沿って前記入力画像をスクロールさせて表示させる。
 前記表示制御部は、前記スクロール速度に応じて、曲率の異なる前記スクロールラインに沿って前記入力画像をスクロールさせて表示させることができる。
 前記表示制御部は、前記スクロール速度が速いほど、より曲率が低い前記スクロールラインに沿って前記入力画像をスクロールさせて表示させることができる。
 前記表示制御部は、前記入力画像の表示拡大率に応じて、異なる前記スクロールラインに沿って前記入力画像をスクロールさせて表示させることができる。
 前記表示制御部は、前記表示拡大率が低いほど、より曲率が低いスクロールラインに沿って前記入力画像をスクロールさせて表示させることができる。
 前記表示制御部は、前記スクロール速度に応じて、スクロールライン生成部で生成された複数の前記スクロールラインのうちのいずれかを選択し、選択した前記スクロールライン上を前記スクロール速度で移動する点をスクロール基準点に決定することができる。
 前記入力画像は、所定の観察対象を含むことができ、前記表示制御部は、前記観察対象に基づき前記スクロールラインを設定することができる。
 前記表示制御部は、選択中の前記スクロールラインを変更する場合、変更前のスクロールラインから変更後のスクロールラインに遷移するための遷移ラインを設定し、設定した前記遷移ライン上を前記スクロール速度で移動する点をスクロール基準点として決定することができる。
 前記表示制御部は、決定される前記スクロール基準点を基準として前記入力画像をスクロールさせて表示させ、前記スクリーンに表示されない前記観察対象の領域が生じる場合、前記表示拡大率を下げるか、またはより曲率が高いスクロールラインが選択されるように前記スクロール速度を下げるかの少なくとも一方を行うことができる。
 本開示の第1の側面である表示制御装置は、生成された前記スクロールラインの所定の区間毎に曲率に応じた最大スクロール速度を設定する最大スクロール速度設定部をさらに備えることができ、前記表示制御部は、選択された前記スクロールライン上を、設定された前記最大スクロール速度を上限とする前記スクロール速度で移動する点をスクロール基準点に決定することができる。
 前記表示制御部は、前記スクロール基準点が、前記スクリーン上の前記入力画像を表示する表示領域の略中心に位置するように、前記入力画像をスクロールさせて表示させることができる。
 本開示の第1の側面である表示制御装置は、前記スクロール基準点の今後の移動方向を表すスクロール方向情報を通知する通知部をさらに備えることができる。
 本開示の第1の側面である表示制御方法は、表示制御装置の表示制御方法において、前記表示制御装置による、入力画像を取得する取得ステップと、所定のスクロールラインに沿って前記入力画像をスクロールさせてスクリーンに表示させる表示制御ステップとを含み、前記表示制御ステップは、前記スクロールさせるときの速度であるスクロール速度に応じて、異なる前記スクロールラインに沿って前記入力画像をスクロールさせて表示させる。
 本開示の第1の側面であるプログラムは、コンピュータを、入力画像を取得する取得部と、所定のスクロールラインに沿って前記入力画像をスクロールさせてスクリーンに表示させる表示制御部として機能させ、前記表示制御部は、前記スクロールさせるときの速度であるスクロール速度に応じて、異なる前記スクロールラインに沿って前記入力画像をスクロールさせて表示させる。
 本開示の第1の側面においては、入力画像が取得され、所定のスクロールラインに沿って前記入力画像がスクロールされてスクリーンに表示される。なお、スクロールさせるときの速度であるスクロール速度に応じて、異なるスクロールラインに沿って入力画像がスクロールされる。
 本開示の第2の側面であるコンピュータを、移動経路となるルートを含む地図を入力画像として取得する取得部と、所定のスクロールラインに沿って前記入力画像をスクロールさせてスクリーンに表示させる表示制御部とを含む地図表示機能ブロックと、コンテンツを再生するコンテンツ再生ブロックとして機能させ、前記表示制御部は、前記スクロールさせるときの速度であるスクロール速度に応じて、異なる前記スクロールラインに沿って前記入力画像をスクロールさせて表示させる。
 本開示の第2の側面においては、移動経路となるルートを含む地図が入力画像として取得され、所定のスクロールラインに沿って前記入力画像がスクロールされてスクリーンに表示される。なお、スクロールさせるときの速度であるスクロール速度に応じて、異なるスクロールラインに沿って入力画像がスクロールされる。
 本開示の第1の側面によれば、入力画像を拡大スクロール表示するに際して、観察者に不快感を与えてしまうことを抑止できる。
 本開示の第2の側面によれば、地図を拡大スクロール表示するに際して、観察者に不快感を与えてしまうことを抑止できる。
プレパラート画像を観察、診断する従来方法の概要を示す図である。 第1の実施の形態である表示制御装置の構成例を示すブロック図である。 図2のスクロール制御部の構成例を示すブロック図である。 スクロールラインの算出手順を示す図である。 スクロールラインの選択の概要を示す図である。 遷移ラインの設定の概要を示す図である。 曲率に対応する最大スクロール速度の一例を示す図である。 表示されない観察領域をなくす対策を説明する図である。 スクロール方向の表示例を示す図である。 第1のスクロール表示処理を説明するフローチャートである。 第2のスクロール表示処理を説明するフローチャートである。 拡大スクロール表示の変形例を示す図である。 スクロールラインの設定方法の他の例を示す図である。 地図を閲覧する場合に本開示を適用したときの表示例を示す図である。 ルートに沿って地図をスクロールさせる場合に本開示を適用したときの表示例を示す図である。 第2の実施の形態である情報処理装置および情報処理サーバの構成例を示すブロック図である。 第3の実施の形態であるモバイル端末の構成例を示すブロック図である。 モバイルアプリケーションにより実現される機能ブロックを示す図である。 コンピュータの構成例を示すブロック図である。
 以下、本開示を実施するための最良の形態(以下、実施の形態と称する)について、図面を参照しながら詳細に説明する。なお、説明は、以下の順序で行なう。
 1.第1の実施の形態
 2.第2の実施の形態
 3.第3の実施の形態
 <1.第1の実施の形態>
[表示制御装置の構成例]
 図2は、本開示の第1の実施の形態である表示制御装置の構成例を示している。該表示制御装置30は、例えば、細胞組織などの生検が載置されたプレパラートをスキャニングして得られるプレパラート画像などを、拡大、スクロールさせてディスプレイに表示させるものである。
 表示制御装置30は、操作入力部31、画像入力部32、スクロール制御部33、および表示制御部34から構成される。
 操作入力部31は、ユーザから入力される各種の設定操作(表示モード選択、スクロール速度設定、表示拡大率設定、スクロールライン設定など)を受け付けて、その設定情報をスクロール制御部33に通知する。操作入力部31のユーザインタフェースは任意であるが、例えば、キーボード、ジョイスティック、タブレット、マウスなどを用いることができる。
 表示モード選択とは、スクロール速度に応じてスクロールラインを変更する第1の表示モード、またはスクロールラインの曲率に応じてスクロール速度に上限を設ける第2の表示モードにいずれかをユーザが選択することである。
 スクロール速度設定とは、スクロールライン上をスクロールセンタ(スクロール基準点)が移動する時の速度(単位は、例えばPixel/sec)をユーザが指定することであり、随時変更可能である。表示拡大率設定とは、スクロールセンタを中心として拡大表示する領域を指定することであり、ユーザが随時変更可能である。スクロールライン設定は、ユーザが入力画像上にベーススクロールラインを任意に設定することである。
 画像入力部32は、ユーザ(観察者)が観察対象とするプレパラート画像などの入力画像を取得して、スクロール制御部33および表示制御部34に供給する。
 なお、入力画像は、プレパラート画像に限るものではない。プレパラート画像と同様に医療現場で用いられるCT画像、MRI画像、X線画像などの医療画像の他、医療分野に限定されない任意の画像(例えば、各種地図の画像など)を入力画像とすることができる。
 スクロール制御部33は、操作入力部31から通知される設定情報に基づき、画像入力部31からの入力画像を拡大、スクロール表示するときのスクロールセンタおよび拡大率を決定して表示制御部34に通知する。また、スクロール制御部33は、表示制御部34に対して、現在のスクロールセンタがそれ以降に移動する方向(スクロール方向)を通知する。
 表示制御部34は、画像入力部32から供給される入力画像から、スクロール制御部33から通知されるスクロールセンタおよび表示拡大率に応じた領域を入力画像と同じ縦横方向で抽出し、拡大して後段のディスプレイに出力する。また、表示制御部34は、スクロール制御部33から通知されるスクロール方向に基づき、拡大表示する入力画像に重畳して、以降のスクロール方向も表示する(図9を参照して後述する)。
 図3は、スクロール制御部33の詳細な構成例を示している。該スクロール制御部33は、スクロールライン算出部41、スクロールライン選択部42、最大スクロール速度算出部43、スクロール速度決定部44、スクロール指示部45、およびスクロール方向通知部46を有する。
 スクロールライン算出部41は、入力画像をスクロール表示するときのスクロールセンタの軌道となる複数のスクロールラインを算出する。図4を参照して具体的に説明する。
 図4は、スクロールラインの算出手順を示している。はじめに、同図Aに示されるような入力画像(プレパラート画像)から、同図Bに示されるように、その細胞組織(生検)領域を検出する。次に、同図Cに示されるように、検出した細胞組織領域の水平方向の中点(略中点でも良い)を検出し、検出した中点を結ぶことによりベーススクロールラインを決定し、その曲率Kを算出する。曲率Kは、水平方向座標値をv、垂直方向座標値をk、ベーススクロールラインをv(k)とすれば、次式(1)に示す公式により算出できる。
Figure JPOXMLDOC01-appb-M000001
 なお、ベーススクロールラインを得るためには、上述した方法の他、入力画像の観察対象の領域に対して細線化処理を行ったり、入力画像上から検出される特徴点(例えば、癌細胞として検出された点)を繋ぎ合わせたりしてもよい。また、ベーススクロールラインをユーザが任意に設定できるようにしてもよい。
 さらに、同図Dに示されるように、ベーススクロールラインにローパスフィルタを適用することにより、カーブをより緩やかにした(曲率を小さくした)サブスクロールラインを1本以上算出する。ローパスフィルタとしては、垂直方向所定幅の単純移動平均を用いたり、ガウシアンフィルタによる畳み込み演算を利用したりすることができる。次式(2)は、ガウシアンフィルタによる畳み込み演算によりサブスクロールラインw(k)を算出する例を示している。ここで、v(k)はベーススクロールライン、u(k)はガウシアンフィルタを表す。
Figure JPOXMLDOC01-appb-M000002
 なお、畳み込み演算をベーススクロールライン全体にかけるのではなく、ベーススクロールラインの曲率が所定の閾値を超える部分に対してだけかけるようにしてサブスクロールラインを得るようにしてもよい。また、ローパスフィルタとして、単純移動平均やガウシアンフィルタによる畳み込み演算以外のフィルタを適用するようにしてもよい。
 また、以降に図面において、説明の便宜上、入力画像上にスクロールラインを重畳表示しているが、後述するスクロール方向をユーザに提示する場合を除き、スクロールライン自体は表示されないものとする。
 図3に戻る。スクロールライン選択部42は、算出された複数のスクロールライン(ベーススクロールラインおよびサブスクロールライン)の中から、現在のスクロール速度に基づいてスクロールセンタが移動するスクロールラインを選択する。図5を参照して具体的に説明する。
 図5は、スクロールラインの選択の概要を示している。なお、同図Aは入力画像上にベーススクロールラインを重畳したものであり、同図Bは入力画像上にベーススクロールラインよりも曲率が小さいサブスクロールラインを重畳したものであり、同図Cは入力画像上にさらに曲率が小さいサブスクロールラインを重畳したものである。同図の例では、スクロールラインの数を3本としたが、より多くのスクロールラインを用意するようにしてもよい。
 スクロールラインの選択では、用意しているスクロールラインの数に対応してスクロール速度の範囲を区分する。図5の例では、スクロール速度の範囲を低速域(0~75)、中速域、高速域の3つに区切る。そして、スクロール速度が低速域の場合、同図Aのベーススクロールラインを選択し、スクロール速度が中速域になった場合、同図Bのサブスクロールラインを選択し、スクロール速度が高速域になった場合、同図Cのサブスクロールラインを選択するようにする。つまり、スクロール速度が増すと、より曲率の小さいスクロールラインを選択するので、観察者に対してスクロール酔いを軽減させたり、抑止したりすることができる。
 なお、スクロールライン選択部42にてスクロールラインを選択するに際して、表示拡大率も利用することができる。具体的には、次式(3)によって表記される見かけのスクロール速度を導入し、見かけのスクロール速度と第1および第2の閾値との比較に基づいてスクロールラインを選択する。
 見かけのスクロール速度=スクロール速度×10/表示拡大率    ・・・(3)
 ここで、表示拡大率としては2.5倍、5倍、10倍、40倍などが想定される。見かけのスクロール速度は、表示倍率が低いほど速くなるので、スクロール酔いしにくい曲率が小さくてスクロールラインが選択される。
 なお、スクロールラインの選択、変更は、スクロール速度や表示拡大率の変更に合わせて随時行なわれる。すなわち、入力画像をスクロール表示している途中でスクロール速度が変更された場合、スクロールラインが変更されることも起こり得る。この場合、スクロールセンタが突然ずれてしまうと観察者に違和感を与えてしまうので、スクロールライン選択部42は、元のスクロールラインから変更されるスクロールラインへと滑らかにスクロールセンタが移動するように遷移ラインを設定する。遷移ラインの設定について図6を参照して説明する。
 図6は、遷移ラインの設定の概要を示している。現在のスクロールセンタから、変更されるスクロールラインに下ろした垂線の足までの長さをa、該垂線の足から、変更されるスクロールラインと遷移ラインの交点までの直線距離をb、定数であるパラメータをPとした場合、b=P×aを満たすように該交点を決定する。そして、現在のスクロールセンタを始点、該交点を終点とするスプライン曲線を遷移ラインに設定する。パラメータPの値を大きくすれば、緩やかに曲がる遷移ラインを得ることができる。
 なお、上述したように、先に複数本のスクロールラインを用意し、スクロール速度に応じて選択するのではなく、スクロール速度と表示拡大率の変化に動的に対応してスクロールラインを算出するようにしてもよい。
 図3に戻る。最大スクロール速度算出部43は、スクロールラインを所定の区間に区切り、各区間の曲率に応じた最大スクロール速度を算出する。最大スクロール速度を算出について図7を参照して説明する。
 図7は、クロールラインの曲率と最大スクロール速度の対応の一例を示している。最大スクロール速度を算出するに際しては、はじめにスクロールラインを所定の長さの区間毎に区切り、各区間の最大曲率を求め、次式(4)に従って最大スクロール側を算出する。
 最大スクロール速度=1/最大曲率                ・・・(4)
 図7の例では、スクロールラインが3区間に分けられており、その最大曲率が順に0.005[/pixel],0.020[/pixel],0.010[/pixel]であるので、各区間の最大スクロール速度は順に200[pixel/sec],50[pixel/sec],100[pixel/sec]と算出される。
 図3に戻る。スクロール速度決定部44は、算出された最大スクロール速度を上限として、操作入力部31からのスクロール速度に関する設定情報に応じて、現在のスクロールセンタにおけるスクロール速度をリアルタイムに決定する。
 スクロール指示部45は、スクロールライン選択部42により選択されたスクロールラインまたは遷移ライン上を、スクロール速度決定部44により決定されたスクロール速度で移動する点を、順次、スクロールセンタを決定する。また、スクロール指示部45は、操作入力部31からの設定情報と入力画像とに基づいて表示拡大率を決定する。スクロール指示部45は、決定したスクロールセンタ(の座標)と表示拡大率を表示制御部34に通知する。
 ただし、上述したようにスクロール速度と表示拡大率を決定したとしても、入力画像における観察対象(プレパラート画像における生検)を表示しきれない、すなわち、観察者が観察できない領域が発生し得る。この対策について図8を参照して説明する。
 図8は、観察できない領域をなくする2種類の対策の概要を示している。例えば同図Aに示されるように、決定したスクロール速度が速く、それに対応して選択されたスクロールラインの曲率が低くて、表示拡大率が大きい場合、観察者が観察できない領域が発生し得る。
 第1の対策としては、同図Bに示されるように、観察者の観察できない領域が生じたことを検知した場合、該領域が生じなくなるまで表示拡大率を下げる方法である。
 第2の対策としては、同図Cに示されるように、観察者の観察できない領域が生じたことを検知した場合、スクロール速度を下げて、より曲率が高いスクロールラインが選択されるようにすることにより、観察者の観察できない領域が生じないようにする方法である。
 なお、第1の対策と第2の対策の両方を実行するようにしてもよい。
 図3に戻る。スクロール方向通知部46は、スクロールセンタの今後の移動方向(スクロール方向)を表すスクロール方向情報を表示制御部34に通知する。
 図9は、表示制御部34がスクロール方向情報に基づいて、観察者にスクロール方向を提示する3種類の表示例を示している。
 同図Aは、拡大スクロール表示される入力画面に対し、スクロールラインを薄く重畳表示する第1の表示例である。
 同図Bは、拡大スクロール表示される入力画面上に、スクロール方向を示す矢印の画像を重畳表示する第2の表示例である。
 同図C、拡大スクロール表示される入力画面上の観察対象(プレパラート画像上の生検)以外の領域に、スクロール方向を示す矢印の画像を重畳表示する第3の表示例である。
 上述した第1乃至第3の表示例のいずれかによってスクロール方向を提示することにより、観察者に対してスクロール方向の変化に対する心構えを促すことができ、スクロール酔いを軽減または抑止することができる。
[動作説明]
 次に、表示制御装置30の動作について説明する。
 図10は、第1の表示モードが選択されている場合の第1のスクロール表示処理を説明するフローチャートである。
 前提として、既にユーザ(観察者)により、第1の表示モードが選択されているものとする。
 ステップS1において、画像入力部32は、ユーザが観察対象とするプレパラート画像などの入力画像を取得して、スクロール制御部33および表示制御部34に供給する。
 スクロール制御部33では、ステップS2において、スクロールライン算出部41が、ベーススクロールラインと、異なるスクロース速度に対応するための、曲率が異なる1本以上のサブスクロールラインを算出する。
 ステップS3において、操作入力部31はスクロール速度および表示拡大率を設定、変更するユーザからの操作の受付けを開始する。この操作入力に基づき、スクロール速度決定部44は、スクロール速度を決定する。
 ステップS4において、スクロールライン選択部42は、現在のスクロール速度に基づき、算出された複数のスクロールライン(ベーススクロールラインおよびサブスクロールライン)の中から、スクロールセンタが移動するスクロールラインを選択する。このとき、表示拡大率に基づく見かけのスクロール速度のに基づいてスクロールラインを選択するようにしてもよい。
 ステップS5において、スクロール指示部45は、選択されたスクロールライン上をスクロール速度で移動する点を、順次、スクロールセンタを決定する。また、スクロール指示部45は、操作入力部31からの設定情報と入力画像とに基づいて表示拡大率を決定する。スクロール指示部45は、決定したスクロールセンタ(の座標)と表示拡大率を表示制御部34に通知する。これと同時に、スクロール方向通知部46は、スクロールセンタが以降に移動する方向(スクロール方向)を表すスクロール方向情報を表示制御部34に通知する。
 これらの通知に基づき、表示制御部34は、入力画像の拡大スクロール表示を開始する。
 ステップS6において、スクロールライン選択部42は、スクロール速度または表示拡大率の少なくとも一方が変更されたか否かを判定する。ここで、少なくとも一方が変更されたと判定された場合、処理はステップS7に進められる。ステップS7において、スクロールライン選択部42は、変更されたスクロール速度または表示拡大率の少なくとも一方に基づいて、スクロールラインを変更する。
 なお、ステップS6において、スクロール速度および表示拡大率が変更されていないと判定された場合、ステップS7はスキップされて処理はステップS8に進められる。
 ステップS8において、スクロール指示部45は、スクロールセンタがスクロールラインの終端まで移動したか否かを判定する。ここで、スクロールセンタがスクロールラインの終端まで移動していないと判定された場合、処理はステップS6に戻されて、それ以降が繰り返される。スクロールセンタがスクロールラインの終端まで移動したと判定された場合、該第1のスクロール表示処理は終了される。
 以上に説明した第1のスクロール表示処理によれば、例えば、スクロール速度が速くなったり、表示拡大率が小さくなったりした場合、スクロールラインをより曲率が小さいものに変更するようにしたので、ユーザ(観察者)にスクロール酔いなどの不快感を与えてしまうことを抑止できる。
 次に、図11は、第2の表示モードが選択されている場合の第2のスクロール表示処理を説明するフローチャートである。
 前提として、既にユーザ(観察者)により、第2の表示モードが選択されているものとする。
 ステップS11において、画像入力部32は、ユーザが観察対象とするプレパラート画像などの入力画像を取得して、スクロール制御部33および表示制御部34に供給する。
 スクロール制御部33では、ステップS12において、スクロールライン算出部41が、ベーススクロールラインを算出する。なお、ユーザが任意にスクロールラインを設定した場合、スクロールライン算出部41は設定されたベーススクロールラインを所定の区間に区切り、各区間の曲率を算出する。
 ステップS13において、最大スクロール速度算出部43は、スクロールラインを所定の区間に区切り、各区間の曲率に応じた最大スクロール速度を算出する。
 ステップS14において、操作入力部31はスクロール速度および表示拡大率を設定、変更するユーザからの操作の受付けを開始する。
 ステップS15において、スクロール速度決定部44は、ユーザからの操作入力に基づき、現在のスクロールセンタが位置する区間の最大スクロール速度を上限として、スクロール速度を決定する。スクロール指示部45は、ベーススクロールラインとスクロール速度に基づいて、順次、スクロールセンタを決定する。また、スクロール指示部45は、操作入力部31からの設定情報と入力画像とに基づいて表示拡大率を決定する。スクロール指示部45は、決定したスクロールセンタと表示拡大率を表示制御部34に通知する。これと同時に、スクロール方向通知部46は、スクロールセンタが以降に移動する方向(スクロール方向)を表すスクロール方向情報を表示制御部34に通知する。
 これらの通知に基づき、表示制御部34は、入力画像の拡大スクロール表示を開始する。
 ステップS16において、スクロール指示部45は、スクロールセンタがベーススクロールラインの終端まで移動したか否かを判定する。ここで、スクロールセンタがベーススクロールラインの終端まで移動していないと判定された場合、スクロール指示部45は、表示制御部34に対するスクロールセンタと表示拡大率の通知を継続する。スクロールセンタがベーススクロールラインの終端まで移動したと判定された場合、該第2のスクロール表示処理は終了される。
 以上に説明した第2のスクロール表示処理によれば、ベーススクロールラインの各区間の曲率に応じて最大スクロール速度を設けるようにしたので、例えば、スクロール速度が速くなったり、表示拡大率が小さくなったりした場合、スクロールラインをより曲率が小さいものに変更するようにしたので、ユーザ(観察者)にスクロール酔いなどの不快感を与えてしまうことを抑止できる。
 上述した第2のスクロール表示処理の説明においては、スクロールセンタはベーススクロールラインを軌道に移動するようにしたが、例えばユーザが選択したサブスクロールラインを軌道としてスクロールセンタを移動させてもよい。その場合、最大スクロール速度算出部43にて、サブスクロールラインを所定の区間に区切り、各区間の曲率に応じた最大スクロール速度を算出しておくようにする。
 なお、以上の説明においては、表示制御装置30がユーザによって選択された第1の表示モードまたは第2の表示モードで動作するとしたが、一方の表示モードのみが動作可能なように構成してもよい。
 [変形例]
 図12は、拡大スクロール表示の変形例を示している。同図に示されるように、スクロールラインのスクロールセンタにおける傾きに合わせて、拡大表示する領域を、入力画像の縦横方向とは必ずしも一致しない向きで抽出し、拡大スクロール表示するようにしてもよい。この場合においても、スクロールラインの曲率やスクロールセンタにおける傾きに応じて、スクロール速度に上限を設けるようにすることが望ましい。
 図13は、ベーススクロールラインの設定方法の他の例を示している。ここまでの説明では、ベーススクロールラインは、観察対象(生検)の領域の中点を結ぶ線としていた。同図に示されるように、医療画像を入力画像とし、医療画像における癌や感染症などの疑いが高い部位を検出する画像認識処理によって該部位を検出し、それらを結ぶ線をベーススクロールラインに設定してもよい。
 また、図示は省略するが、例えば細胞組織領域と背景の境目を抽出するような画像処理によって、細胞組織領域の周囲を巡るようにベーススクロールラインを設定するようにしてもよい。
 図14は、地図をその地形に合わせてスクロールさせて閲覧する場合に本開示を適用したときの表示例を示している。この場合、地図が入力画像とされ、ベーススクロールラインは、例えば、視聴する地図のサイズに応じて県庁所在地、市町村の中心部などの点を自動的に結んで生成するようにしたり、ユーザが任意に設定したりするようにすればよい。
 図15は、例えば、ナビゲーション用アプリケーションにおいて、ある地点から別の地点に移動する時のルートに沿って地図をスクロールさせて閲覧する場合に本開示を適用したときの表示例を示している。この場合、地図が入力画像とされ、ナビゲーション用アプリケーションによって設定されるルートがベーススクロールラインとなる。
 <2.第2の実施の形態>
[情報処理装置の構成例]
 図16は、本開示の第2の実施の形態である情報処理装置50および情報処理サーバ80の構成例を示している。
 第2の実施の形態は、図2に示された第1の実施の形態である表示制御装置30におけるスクロール制御部33を、インターネット70を介して接続する情報処理サーバ80に設けたものである。なお、第2の実施の形態と第1の実施の形態との間で共通する構成要素については、同一の番号を付しているので、その説明は省略する。
 情報処理装置50の通信部51は、インターネット70を介して情報処理サーバ80に接続し、画像入力部32からの入力画像をスクロール制御部33に供給し、操作入力部31からの設定情報をスクロール制御部33に通知する。また、通信部51は、スクロール制御部33からの、入力画像を拡大、スクロール表示するときのスクロールセンタおよび拡大率、並びに現在のスクロールセンタがそれ以降に移動する方向(スクロール方向)を受信して、表示制御部34に通知する。
 図16に示された第2の実施の形態によれば、上述した第1のスクロール表示処理または第2のスクロール表示処理を、いわゆるクラウドコンピューティングを用いて制御することができる。
 <3.第3の実施の形態>
[モバイル端末の構成例]
 図17は、本開示の第3の実施の形態であるモバイル端末90の構成例を示している。なお、第3の実施の形態と第1の実施の形態との間で共通する構成要素については、同一の番号を付しているので、その説明は省略する。
 該モバイル端末90は、具体的にはスマートフォン、携帯電話機、タブレット型PCなどの可搬式コンピュータを想定したものである。
 モバイル端末90は、CPU91、メモリ92、操作入力部94、通信部95、ディスプレイ96を有し、これらがバス97を介して接続されて構成される。モバイル端末90においては、CPU91がメモリ92に保持されているモバイルアプリ93を読み出して起動することにより、各種の動作を実行することができる。例えば、モバイル通信網100を介して情報処理サーバ80に接続し、情報処理サーバ80に設けられたスクロール制御部33を利用することができる。
 図18は、CPU91がモバイルアプリ93を起動することによって実現できる機能ブロックの一例を示している。同図の場合、地図表示部121とコンテンツ再生部122が同時に実現されている。地図表示部121は、いわゆるナビゲーション機能を実現する機能ブロックであり、且つ、ある地点から別の地点に移動する時のルートに沿って地図をスクロール表示する場合に、スクロール制御部33を利用することができる。なお、地図表示部121にスクロール制御部33の機能を包含させるようにしてもよい。
 コンテンツ再生部122は、音楽、動画などのコンテンツを再生する機能ブロックである。
 図17に示された第3の実施の形態によれば、コンテンツの再生と並行して、ナビゲーションを実行し、それに際して上述した第1のスクロール表示処理または第2のスクロール表示処理を、いわゆるクラウドコンピューティングを用いて制御することができる。
 また、上述した第1乃至第3の実施の形態では、入力画像の一部を抽出、拡大したものを、ディスプレイの全体に表示する場合について説明したが、ディスプレイ上に設けた子画面(いわゆる、フローティングウィンドウ)上に表示する場合にも、本開示は適用できる。
 ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
 図19は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
 該コンピュータ200において、CPU(Central Processing Unit)201,ROM(ReadOnly Memory)202,RAM(Random Access Memory)203は、バス204により相互に接続されている。
 バス204には、さらに、入出力インタフェース205が接続されている。入出力インタフェース205には、入力部206、出力部207、記憶部208、通信部209、およびドライブ210が接続されている。
 入力部206は、キーボード、マウス、マイクロフォンなどよりなる。出力部207は、ディスプレイ、スピーカなどよりなる。記憶部208は、ハードディスクや不揮発性のメモリなどよりなる。通信部209は、ネットワークインタフェースなどよりなる。ドライブ210は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア211を駆動する。
 以上のように構成されるコンピュータ200では、CPU201が、例えば、記憶部208に記憶されているプログラムを、入出力インタフェース205およびバス204を介して、RAM203にロードして実行することにより、上述した一連の処理が行われる。
 なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであってもよいし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであってもよい。
 本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
 なお、本開示は以下のような構成も取ることができる。
(1)
 入力画像を取得する取得部と、
 所定のスクロールラインに沿って前記入力画像をスクロールさせてスクリーンに表示させる表示制御部とを備え、
 前記表示制御部は、前記スクロールさせるときの速度であるスクロール速度に応じて、異なる前記スクロールラインに沿って前記入力画像をスクロールさせて表示させる
 表示制御装置。
(2)
 前記表示制御部は、前記スクロール速度に応じて、曲率の異なる前記スクロールラインに沿って前記入力画像をスクロールさせて表示させる
 前記(1)に記載の表示制御装置。
(3)
 前記表示制御部は、前記スクロール速度が速いほど、より曲率が低い前記スクロールラインに沿って前記入力画像をスクロールさせて表示させる
 前記(2)に記載の表示制御装置。
(4)
 前記表示制御部は、前記入力画像の表示拡大率に応じて、異なる前記スクロールラインに沿って前記入力画像をスクロールさせて表示させる
 前記(1)乃至(3)のいずれかに記載の表示制御装置。
(5)
 前記表示制御部は、前記表示拡大率が低いほど、より曲率が低いスクロールラインに沿って前記入力画像をスクロールさせて表示させる
 前記(4)に記載の表示制御装置。
(6)
 前記表示制御部は、前記スクロール速度に応じて、スクロールライン生成部で生成された複数の前記スクロールラインのうちのいずれかを選択し、選択した前記スクロールライン上を前記スクロール速度で移動する点をスクロール基準点に決定する
 前記(1)乃至(5)のいずれかに記載の表示制御装置。
(7)
 前記入力画像は、所定の観察対象を含み、
 前記表示制御部は、前記観察対象に基づき前記スクロールラインを設定する
 前記(1)乃至(6)のいずれかに記載の表示制御装置。
(8)
 前記表示制御部は、選択中の前記スクロールラインを変更する場合、変更前のスクロールラインから変更後のスクロールラインに遷移するための遷移ラインを設定し、設定した前記遷移ライン上を前記スクロール速度で移動する点をスクロール基準点として決定する
 前記(1)乃至(7)のいずれかに記載の表示制御装置。
(9)
 前記表示制御部は、決定される前記スクロール基準点を基準として前記入力画像をスクロールさせて表示させ、前記スクリーンに表示されない前記観察対象の領域が生じる場合、前記表示拡大率を下げるか、またはより曲率が高いスクロールラインが選択されるように前記スクロール速度を下げるかの少なくとも一方を行う
 前記(1)乃至(8)のいずれかに記載の表示制御装置。
(10)
 生成された前記スクロールラインの所定の区間毎に曲率に応じた最大スクロール速度を設定する最大スクロール速度設定部をさらに備え、
 前記表示制御部は、選択された前記スクロールライン上を、設定された前記最大スクロール速度を上限とする前記スクロール速度で移動する点をスクロール基準点に決定する
 前記(1)乃至(9)のいずれかに記載の表示制御装置。
(11)
 前記表示制御部は、前記スクロール基準点が、前記スクリーン上の前記入力画像を表示する表示領域の略中心に位置するように、前記入力画像をスクロールさせて表示させる
 前記(1)乃至(10)のいずれかに記載の表示制御装置。
(12)
 前記スクロール基準点の今後の移動方向を表すスクロール方向情報を通知する通知部を
 さらに備える前記(1)乃至(11)のいずれかに記載の表示制御装置。
 30 表示制御装置, 31 操作入力部, 32 画像入力部, 33 スクロール制御部, 34 表示制御部, 41 スクロールライン算出部, 42 スクロールライン選択部, 43 最大スクロール速度算出部, 44 スクロール速度決定部, 45 スクロール指示部, 46 スクロール方向通知部, 50 情報処理装置, 80 情報処理サーバ,90 モバイル端末, 93 モバイルアプリケーション,200 コンピュータ, 201 CPU

Claims (15)

  1.  入力画像を取得する取得部と、
     所定のスクロールラインに沿って前記入力画像をスクロールさせてスクリーンに表示させる表示制御部とを備え、
     前記表示制御部は、前記スクロールさせるときの速度であるスクロール速度に応じて、異なる前記スクロールラインに沿って前記入力画像をスクロールさせて表示させる
     表示制御装置。
  2.  前記表示制御部は、前記スクロール速度に応じて、曲率の異なる前記スクロールラインに沿って前記入力画像をスクロールさせて表示させる
     請求項1に記載の表示制御装置。
  3.  前記表示制御部は、前記スクロール速度が速いほど、より曲率が低い前記スクロールラインに沿って前記入力画像をスクロールさせて表示させる
     請求項2に記載の表示制御装置。
  4.  前記表示制御部は、前記入力画像の表示拡大率に応じて、異なる前記スクロールラインに沿って前記入力画像をスクロールさせて表示させる
     請求項3に記載の表示制御装置。
  5.  前記表示制御部は、前記表示拡大率が低いほど、より曲率が低いスクロールラインに沿って前記入力画像をスクロールさせて表示させる
     請求項4に記載の表示制御装置。
  6.  前記表示制御部は、前記スクロール速度に応じて、スクロールライン生成部で生成された複数の前記スクロールラインのうちのいずれかを選択し、選択した前記スクロールライン上を前記スクロール速度で移動する点をスクロール基準点に決定する
     請求項1に記載の表示制御装置。
  7.  前記入力画像は、所定の観察対象を含み、
     前記表示制御部は、前記観察対象に基づき前記スクロールラインを設定する
     請求項6に記載の表示制御装置。
  8.  前記表示制御部は、選択中の前記スクロールラインを変更する場合、変更前のスクロールラインから変更後のスクロールラインに遷移するための遷移ラインを設定し、設定した前記遷移ライン上を前記スクロール速度で移動する点をスクロール基準点として決定する
     請求項6に記載の表示制御装置。
  9.  前記表示制御部は、決定される前記スクロール基準点を基準として前記入力画像をスクロールさせて表示させ、前記スクリーンに表示されない前記観察対象の領域が生じる場合、前記表示拡大率を下げるか、またはより曲率が高いスクロールラインが選択されるように前記スクロール速度を下げるかの少なくとも一方を行う
     請求項8に記載の表示制御装置。
  10.  生成された前記スクロールラインの所定の区間毎に曲率に応じた最大スクロール速度を設定する最大スクロール速度設定部をさらに備え、
     前記表示制御部は、選択された前記スクロールライン上を、設定された前記最大スクロール速度を上限とする前記スクロール速度で移動する点をスクロール基準点に決定する
     請求項8に記載の表示制御装置。
  11.  前記表示制御部は、前記スクロール基準点が、前記スクリーン上の前記入力画像を表示する表示領域の略中心に位置するように、前記入力画像をスクロールさせて表示させる
     請求項6に記載の表示制御装置。
  12.  前記スクロール基準点の今後の移動方向を表すスクロール方向情報を通知する通知部を
     さらに備える請求項6に記載の表示制御装置。
  13.  表示制御装置の表示制御方法において、
     前記表示制御装置による、
      入力画像を取得する取得ステップと、
      所定のスクロールラインに沿って前記入力画像をスクロールさせてスクリーンに表示させる表示制御ステップとを含み、
     前記表示制御ステップは、前記スクロールさせるときの速度であるスクロール速度に応じて、異なる前記スクロールラインに沿って前記入力画像をスクロールさせて表示させる
     表示制御方法。
  14.  コンピュータを、
     入力画像を取得する取得部と、
     所定のスクロールラインに沿って前記入力画像をスクロールさせてスクリーンに表示させる表示制御部として機能させ、
     前記表示制御部は、前記スクロールさせるときの速度であるスクロール速度に応じて、異なる前記スクロールラインに沿って前記入力画像をスクロールさせて表示させる
     プログラム。
  15.  コンピュータを、
      移動経路となるルートを含む地図を入力画像として取得する取得部と、
      所定のスクロールラインに沿って前記入力画像をスクロールさせてスクリーンに表示させる表示制御部と
     を含む地図表示機能ブロックと、
     コンテンツを再生するコンテンツ再生ブロックと
     して機能させ、
     前記表示制御部は、前記スクロールさせるときの速度であるスクロール速度に応じて、異なる前記スクロールラインに沿って前記入力画像をスクロールさせて表示させる
     プログラム。
PCT/JP2014/002693 2013-06-19 2014-05-22 表示制御装置、表示制御方法、およびプログラム WO2014203454A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US14/899,118 US10416867B2 (en) 2013-06-19 2014-05-22 Display control apparatus and display control method
JP2015522500A JP6317343B2 (ja) 2013-06-19 2014-05-22 表示制御装置、表示制御方法、およびプログラム
CN201480033483.3A CN105324746B (zh) 2013-06-19 2014-05-22 显示控制设备、显示控制方法和程序
EP14813400.0A EP3012727B1 (en) 2013-06-19 2014-05-22 Display control device, display control method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013-128084 2013-06-19
JP2013128084 2013-06-19

Publications (1)

Publication Number Publication Date
WO2014203454A1 true WO2014203454A1 (ja) 2014-12-24

Family

ID=52104208

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/002693 WO2014203454A1 (ja) 2013-06-19 2014-05-22 表示制御装置、表示制御方法、およびプログラム

Country Status (5)

Country Link
US (1) US10416867B2 (ja)
EP (1) EP3012727B1 (ja)
JP (3) JP6317343B2 (ja)
CN (1) CN105324746B (ja)
WO (1) WO2014203454A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021140507A (ja) * 2020-03-05 2021-09-16 富士フイルムビジネスイノベーション株式会社 情報処理装置およびプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002022470A (ja) * 2000-07-07 2002-01-23 Alpine Electronics Inc ナビゲーション装置
JP2005148661A (ja) * 2003-11-19 2005-06-09 Sony Corp 情報処理装置、および情報処理方法
JP2006228185A (ja) * 2005-01-18 2006-08-31 Gunma Univ 顕微鏡観察再現方法、顕微鏡観察再現装置、顕微鏡観察再現プログラムおよびその記録媒体
JP4899068B2 (ja) * 2006-05-02 2012-03-21 国立大学法人名古屋大学 医療画像観察支援装置
JP2012252559A (ja) 2011-06-03 2012-12-20 Sony Corp 画像処理装置および方法、記録媒体並びにプログラム

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5411272A (en) * 1992-11-20 1995-05-02 Sega Of America, Inc. Video game with spiral loop graphics
JPH07219508A (ja) * 1993-12-07 1995-08-18 Hitachi Ltd 表示制御装置
JP2003161621A (ja) * 2001-11-26 2003-06-06 Nissan Motor Co Ltd 推奨経路表示装置及び方法
US20050177305A1 (en) * 2004-02-06 2005-08-11 Han Maung W. Display method and apparatus for navigation system
WO2006077668A1 (ja) * 2005-01-18 2006-07-27 National University Corporation Gunma University 顕微鏡観察再現方法、顕微鏡観察再現装置、顕微鏡観察再現プログラムおよびその記録媒体
US7711163B2 (en) * 2005-05-26 2010-05-04 Siemens Medical Solutions Usa, Inc. Method and system for guided two dimensional colon screening
JP5129478B2 (ja) * 2006-03-24 2013-01-30 株式会社デンソーアイティーラボラトリ 画面表示装置
TW200805131A (en) * 2006-05-24 2008-01-16 Lg Electronics Inc Touch screen device and method of selecting files thereon
KR20080051459A (ko) * 2006-12-05 2008-06-11 삼성전자주식회사 스크롤 처리 방법 및 장치
WO2008088741A2 (en) * 2007-01-12 2008-07-24 Ictv, Inc. Interactive encoded content system including object models for viewing on a remote device
SI2132230T1 (sl) * 2007-03-22 2014-07-31 Genentech, Inc. Apoptotska protitelesa, ki veĹľejo membransko-vezan IgE
WO2008144729A2 (en) * 2007-05-21 2008-11-27 World Golf Tour, Inc. Electronic game utilizing photographs
JP4678534B2 (ja) * 2007-06-07 2011-04-27 ソニー株式会社 ナビゲーション装置及び地図スクロール処理方法
US8203578B2 (en) * 2007-10-30 2012-06-19 Alpine Electronics, Inc. Map scroll method and apparatus for conducting smooth map scroll operation for navigation system
JP5083150B2 (ja) * 2008-09-30 2012-11-28 カシオ計算機株式会社 画像処理装置、及びその処理順設定方法、処理順設定プログラム
JP5413111B2 (ja) * 2009-10-02 2014-02-12 ソニー株式会社 表示制御装置、表示制御方法及び表示制御プログラム
JP5706204B2 (ja) * 2010-03-29 2015-04-22 株式会社デンソーアイティーラボラトリ 表示制御装置及び表示制御方法
JP2012033240A (ja) * 2010-07-30 2012-02-16 Fujitsu Ltd 電子機器及びその製造方法
JP5511573B2 (ja) * 2010-08-04 2014-06-04 キヤノン株式会社 表示制御装置及びその制御方法、並びにプログラム及び記憶媒体
JP2012100707A (ja) * 2010-11-05 2012-05-31 Universal Entertainment Corp ゲーミングマシン
US9652132B2 (en) * 2012-01-27 2017-05-16 Google Inc. Handling touch inputs based on user intention inference
KR20130115061A (ko) * 2012-04-10 2013-10-21 안재석 모바일 단말에서 디지털 컨텐트를 스크롤하는 방법 및 이를 위한 모바일 단말 장치
WO2014006727A1 (ja) * 2012-07-05 2014-01-09 富士通株式会社 画像表示装置、画像拡大方法、及び画像拡大プログラム
JP2014068821A (ja) * 2012-09-28 2014-04-21 Universal Entertainment Corp ゲーミングマシン
KR20140122292A (ko) * 2013-03-28 2014-10-20 삼성전자주식회사 디스플레이 장치의 디스플레이 방법 및 디스플레이 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002022470A (ja) * 2000-07-07 2002-01-23 Alpine Electronics Inc ナビゲーション装置
JP2005148661A (ja) * 2003-11-19 2005-06-09 Sony Corp 情報処理装置、および情報処理方法
JP2006228185A (ja) * 2005-01-18 2006-08-31 Gunma Univ 顕微鏡観察再現方法、顕微鏡観察再現装置、顕微鏡観察再現プログラムおよびその記録媒体
JP4899068B2 (ja) * 2006-05-02 2012-03-21 国立大学法人名古屋大学 医療画像観察支援装置
JP2012252559A (ja) 2011-06-03 2012-12-20 Sony Corp 画像処理装置および方法、記録媒体並びにプログラム

Also Published As

Publication number Publication date
JP2019139779A (ja) 2019-08-22
JP6801029B2 (ja) 2020-12-16
JP6317343B2 (ja) 2018-04-25
US20160139758A1 (en) 2016-05-19
CN105324746A (zh) 2016-02-10
EP3012727B1 (en) 2019-07-03
EP3012727A4 (en) 2017-02-08
US10416867B2 (en) 2019-09-17
JP6495508B2 (ja) 2019-04-03
JPWO2014203454A1 (ja) 2017-02-23
CN105324746B (zh) 2019-08-13
JP2018142331A (ja) 2018-09-13
EP3012727A1 (en) 2016-04-27

Similar Documents

Publication Publication Date Title
JP5652227B2 (ja) 画像処理装置および方法、並びにプログラム
US8107701B2 (en) Medical image display system and medical image display program
JP2016510669A5 (ja)
EP2736016A2 (en) Contour segmentation apparatus and method based on user interaction
US9824189B2 (en) Image processing apparatus, image processing method, image display system, and storage medium
JP2008542827A (ja) 非透視画法による可変縮尺の地図表示
JP2012050502A (ja) 画像表示装置
JP2006012154A (ja) 画像処理
US20140306961A1 (en) Medical image processing system, recording medium having recorded thereon a medical image processing program and medical image processing method
JP7322409B2 (ja) 医療システム、医療装置および医療方法
JP6495508B2 (ja) 表示制御装置、表示制御方法、およびプログラム
JP2013200639A (ja) 描画データ生成装置、描画データ生成方法、プログラム、および描画データ生成システム
CN108648145A (zh) 图像拼接方法及装置
JP2017162034A (ja) 画像処理装置、画像処理方法、画像処理システムおよびプログラム
JP5701208B2 (ja) 医用画像表示装置及び医用画像表示方法
JP2020131019A (ja) 画像処理装置、画像処理方法、およびプログラム
JP7102121B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2000010693A (ja) 3次元画像表示システム及び方法
JP3149584U (ja) 乳房画像処理装置
JP2012185583A (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
CN110517263B (zh) 确定内中膜厚度的方法、装置及存储介质
JP2020089498A (ja) 画像処理装置
JP2024001618A (ja) 情報処理装置、情報処理方法及びプログラム
JP5950986B2 (ja) 画像表示装置
CN116958108A (zh) 图像显示方法、装置、设备及存储介质

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201480033483.3

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14813400

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2015522500

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2014813400

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 14899118

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE