WO2020049993A1 - 画像処理装置、画像処理方法及びプログラム - Google Patents

画像処理装置、画像処理方法及びプログラム Download PDF

Info

Publication number
WO2020049993A1
WO2020049993A1 PCT/JP2019/032332 JP2019032332W WO2020049993A1 WO 2020049993 A1 WO2020049993 A1 WO 2020049993A1 JP 2019032332 W JP2019032332 W JP 2019032332W WO 2020049993 A1 WO2020049993 A1 WO 2020049993A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
user
image processing
control unit
positional relationship
Prior art date
Application number
PCT/JP2019/032332
Other languages
English (en)
French (fr)
Inventor
安田　亮平
野田　卓郎
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Publication of WO2020049993A1 publication Critical patent/WO2020049993A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present disclosure relates to an image processing device, an image processing method, and a program.
  • a technique is known in which a correction process is performed on an image captured by a camera or the like and the corrected image is displayed.
  • Patent Literature 1 discloses a technique for adjusting the position of an image cutout area based on the amount of movement of an objective lens of a head of an endoscope.
  • Patent Document 2 discloses a technique of detecting a posture position of an endoscope, generating a virtual endoscope image so that the position of a target structure is included in a virtual visual field, and displaying the image on a display. Have been.
  • the above-described conventional technology discloses a technology of correcting an image in an environment where a user works while watching a video, for example, when a position of a user or a camera changes, so as to maintain hand-eye coordination. Not. Therefore, when the position of the user or the camera changes, the user has to manually adjust the attitude of the display on which the image is displayed.
  • the present disclosure proposes an image processing device, an image processing method, and a program that can correct an image so as to maintain hand-eye coordination.
  • an image processing apparatus includes a positional relationship detection unit configured to detect a positional relationship of a user with respect to an object, and an imaging device controlled independently of the user. And a video control unit that corrects the obtained video based on a positional relationship of the user with respect to the target object and outputs the corrected video to a display device.
  • FIG. 1 is a diagram illustrating an example of a configuration of an image processing system according to a first embodiment of the present disclosure.
  • FIG. 1 is a diagram illustrating an example of a configuration to which an image processing system according to a first embodiment of the present disclosure is applied.
  • FIG. 4 is a diagram for describing an outline of a process of the image processing device according to the present disclosure. It is a schematic diagram which shows an example of the state of the operating room where laparoscopic surgery is performed. It is a figure which shows the outline
  • FIG. 9 is a diagram for describing processing for correcting an image so as to maintain hand-eye coordination. 9 is a flowchart illustrating an example of a process flow for setting a reference vector.
  • FIG. 9 is a flowchart illustrating an example of a flow of processing for detecting an angle of a reference vector.
  • 11 is a flowchart illustrating an example of the flow of a process for correcting an image.
  • FIG. 6 is a diagram illustrating a configuration of an image processing system according to a second embodiment of the present disclosure.
  • FIG. 11 is a diagram for describing an example of an image processing device according to a second embodiment of the present disclosure.
  • FIG. 11 is a diagram for describing an example of an image processing device according to a second embodiment of the present disclosure.
  • 1 is a diagram illustrating an application example of an image processing device according to each embodiment of the present disclosure.
  • 1 is a diagram illustrating an application example of an image processing device according to each embodiment of the present disclosure.
  • FIG. 2 is a hardware configuration diagram illustrating an example of a computer that realizes functions of an image processing device according to the present disclosure.
  • First embodiment 1-1 Configuration of image processing system according to first embodiment 1-2. Setting of initial reference vector 1-3. Image correction method 2.
  • Second embodiment 2-1. Configuration of image processing system according to second embodiment Other embodiments Hardware configuration
  • FIG. 1 is a diagram illustrating an example of a configuration of an image processing system according to the first embodiment of the present disclosure.
  • the image processing system 1 includes an object imaging device 10, a user imaging device 20, a display device 30, and an image processing device 100.
  • the image processing system 1 of the present disclosure can be applied to, for example, a system that performs hand-eye coordination in a medical device, a drone, or the like.
  • the target object imaging device 10 is, for example, a camera that images a target object of a user.
  • the object imaging device 10 is, for example, an endoscope inserted into a body or a camera mounted on industrial equipment.
  • the object imaging device 10 is an endoscope, an image of the inside of the body is captured.
  • the object imaging device 10 outputs the captured image of the object to the image processing device 100.
  • FIG. 2 is a diagram illustrating an example of a configuration when the object imaging device 10 is an endoscope.
  • the object imaging apparatus 10 includes, for example, a straight rod-shaped lens barrel 11 and a head 14.
  • the lens barrel 11 is also called an optical viewing tube or a rigid tube. The length is about several tens of centimeters.
  • the lens barrel 11 has an objective lens 12 at one end on the side to be inserted into the body, and a head 14 connected to the other end.
  • An optical lens unit 13 of a relay optical system is provided inside the lens barrel unit 11.
  • the shape of the lens barrel 11 is not limited to a straight rod.
  • one end of the lens barrel 11 where the objective lens 12 is provided may have a curved shape.
  • a position and orientation detection sensor for detecting the position and orientation of the objective lens 12 is provided.
  • the position and orientation detection sensor detects, for example, the position and rotation orientation of the objective lens 12.
  • a position detection sensor can be realized by, for example, a gyro sensor.
  • the imaging device 15 is built in the head unit 14.
  • the imaging device 15 includes an imaging element such as a CMOS (Complementary Metal Oxide Semiconductor).
  • the imaging device 15 converts an optical image of the affected part input from the lens barrel 11 into an image signal at a predetermined frame rate.
  • the optical image of the affected part condensed by the objective lens 12 enters the imaging device 15 built in the head unit 14 via the optical lens unit 13. Then, the imaging device 15 converts the received optical image into an image signal of a predetermined frame rate and outputs the image signal to the image processing device 100.
  • the object imaging device 10 will be described as an endoscope, but this is merely an example and does not limit the present disclosure.
  • the user imaging device 20 is, for example, a camera that images the surrounding space including the user.
  • the user imaging device 20 images a surrounding space including the doctor and the patient.
  • the user imaging device 20 captures an image, for example, so as to be able to determine the positional relationship and posture of the doctor with respect to the patient.
  • the user imaging device 20 images, for example, the position of the doctor's body with respect to the patient.
  • the user imaging device 20 includes, for example, a doctor's hand, arms, shoulders, body posture and positional relationship such as a face with respect to a patient, a marker attached to the doctor, an instrument held by the doctor, and an instrument.
  • An image is captured so that the contact point between the object and the patient's body can be determined. What the user imaging device 20 captures is not limited to these.
  • the user imaging device 20 outputs the captured video data to the image processing device 100.
  • the display device 30 displays, for example, a video image captured by the object imaging device 10 or a video image that has been corrected by the image processing device 100.
  • the display device 30 is, for example, a display including a liquid crystal display (LCD: Liquid Crystal Display) or an organic EL (Organic Electro-Luminescence) display.
  • LCD Liquid Crystal Display
  • organic EL Organic Electro-Luminescence
  • the image processing device 100 receives the images captured by the object imaging device 10 and the user imaging device 20. Specifically, the image processing device 100 performs a correction process on the received image and outputs the image to the display device 30.
  • FIG. 3 is a diagram illustrating an outline of a general correction process of the image processing apparatus 100.
  • the image processing apparatus 100 cuts out a cut-out area smaller in size than the effective pixel area from the entire area (effective pixel area) of the image signal input at a predetermined frame rate from the imaging device 15 of the object imaging apparatus 10.
  • the image processing device 100 outputs the image signal obtained by the clipping to the display device 30.
  • the image processing apparatus 100 can correct the camera shake by moving the position of the cutout area by a shift amount corresponding to the camera shake.
  • the shutter mechanism of the imaging device 15 of the object imaging device 10 is a rolling shutter
  • the image processing device 100 can remove rolling shutter distortion caused by the rolling shutter.
  • the image processing apparatus 100 includes a control unit 110 and a storage unit 120.
  • the control unit 110 controls each unit constituting the image processing system 1. Specifically, the control unit 110 controls each unit configuring the image processing system 1 by expanding and executing a program stored in the storage unit 120.
  • the control unit 110 can be realized by, for example, an electronic circuit including a CPU (Central Processing Unit).
  • the control unit 110 includes an acquisition unit 111, a positional relationship detection unit 112, a position and orientation detection unit 113, and a video control unit 114.
  • the acquisition unit 111 acquires various data via, for example, a wired or wireless network (not shown). Specifically, the acquisition unit 111 acquires, for example, video data of video captured by the object imaging device 10 and the user imaging device 20. The acquisition unit 111 outputs the acquired video data to the positional relationship detection unit 112. The acquisition unit 111 acquires, for example, various types of information including information on a position from a sensor provided on an appliance used by a user for an object. In this case, the acquisition unit 111 outputs, for example, position information acquired from a sensor provided on the appliance to the positional relationship detection unit 112.
  • the instrument is, for example, a medical instrument (surgical instrument) used by a doctor on a patient.
  • the acquiring unit 111 acquires, for example, position and orientation data relating to the position and rotation orientation of the objective lens 12 with respect to the diseased part from a position and orientation sensor provided at one end of the lens barrel unit 11 as shown in FIG.
  • the acquisition unit 111 outputs the acquired position and orientation data to the position and orientation detection unit 113.
  • the positional relationship detection unit 112 detects, for example, at least the positional relationship between the user and the target based on video data captured by the user imaging device 20. Specifically, for example, when the user is a doctor and the target is a patient, the positional relationship detection unit 112 detects the positional relationship and posture of the doctor with respect to the patient. In this case, the positional relationship detector 112 detects, for example, the position of the doctor's body with respect to the patient. More specifically, the positional relationship detection unit 112 detects, for example, the posture and the positional relationship of the body such as the hand, arm, and shoulder of the doctor with respect to the patient.
  • the positional relationship detection unit 112 has, for example, a marker for specifying the position on each of the doctor's hand, arm, shoulder, and the like, and detects the position based on the marker.
  • the positional relationship detection unit 112 detects, for example, a positional relationship between an appliance used by the user for the object and the object.
  • the positional relationship detection unit 112 detects, for example, an appliance used by the user with respect to the target and a contact position between the target and the appliance. More specifically, for example, when the user is a doctor, the positional relationship detection unit 112 detects a contact position between a medical instrument held by the doctor and the patient.
  • the positional relationship detector 112 may detect other positional relationships between the user and the target.
  • the positional relationship detector 112 outputs the detection result to the video controller 114.
  • the position and orientation detection unit 113 detects the position and the rotation orientation of the object imaging device 10 based on the position and orientation data acquired by the acquisition unit 111, for example. Specifically, the position and orientation detection unit 113 detects, for example, the position and the rotation orientation of the objective lens 12 with respect to the affected part based on the position and orientation data acquired by the acquisition unit 111, as shown in FIG. The position and orientation detection unit 113 outputs a detection result to the video control unit 114.
  • the video control unit 114 corrects, for example, the video captured by the target imaging device 10 and outputs the corrected video to the display device 30.
  • the image control unit 114 corrects, for example, by rotating the image captured by the object imaging device 10. Specifically, the video control unit 114 corrects the video captured by the target imaging device 10 based on the detection result of the positional relationship detection unit 112, and outputs the video to the display device 30, for example.
  • the image control unit 114 corrects the image captured by the object imaging device 10 based on the detection result of the position and orientation detection unit 113, and outputs the corrected image to the display device 30, for example.
  • the image captured by the object imaging device 10 is corrected and output to the display device 30.
  • the video controller 114 corrects the image so as to maintain the doctor's hand eye coordination.
  • the storage unit 120 stores a program for the control unit 110 to control each unit of the image processing system 1.
  • the storage unit 120 stores, for example, an initial reference vector for each user.
  • the storage unit 120 is, for example, a rectangular coordinate system (hereinafter, referred to as a camera coordinate system) represented by xyz axes in a video imaged by the object imaging device 10 so that the user can appropriately perform hand-eye coordination.
  • the x-axis direction and the angle ⁇ of the initial reference vector are stored.
  • the image control unit 114 corrects the image displayed on the display device 30 based on the angle ⁇ .
  • the storage unit 120 is, for example, a semiconductor memory device such as a RAM (Random Access Memory), a ROM (Read Only Memory), a flash memory (Flash Memory), an HDD (Hard Disk Drive), an SSD (Solid State Drive), and an optical disk. Storage device.
  • RAM Random Access Memory
  • ROM Read Only Memory
  • flash memory Flash Memory
  • HDD Hard Disk Drive
  • SSD Solid State Drive
  • FIG. 4 and FIG. 5 are diagrams for explaining the operation of the positional relationship detection unit 112 and the video control unit 114.
  • FIG. 4 is a schematic view showing an example of a state of an operating room where a laparoscopic operation is performed.
  • the user U1 and the user U2 are doctors, and the user U1 is a surgeon.
  • User U3 is a patient.
  • the user U1 has inserted the first device 40 and the second device 50 into the body of the user U3.
  • the display device 30 displays an image captured by an endoscope (not shown) inserted into the body of the user U3 and corrected by the image processing device 100.
  • the user U1 operates the first instrument 40 and the second instrument 50 while checking the image displayed on the display device 30, and performs laparoscopic surgery on the user U3.
  • the user imaging device 20 images the operating room so as to include at least the user U1, the user U3, the first instrument 40, and the second instrument 50.
  • the user U2 has inserted the first device 40A and the second device 50A into the body of the user U3.
  • the endoscope is inserted into the body of the user U3 by a doctor other than the user U1 and the user U2. That is, the image processing apparatus 100 corrects a video captured by a user other than the user U1.
  • the image processing system 1 may include a display device for displaying a video captured by the endoscope as it is, for a doctor who inserts the endoscope into the body of the user U3.
  • FIG. 5 schematically shows instruments used for laparoscopic surgery.
  • the object imaging device 10 is an endoscope whose distal end portion is bendable. Endoscopes are used by different physicians than physicians performing laparoscopic surgery. That is, the object imaging device 10 is controlled independently of a doctor performing laparoscopic surgery.
  • the display device 30 displays an optical image of the affected part focused by the objective lens 12.
  • the first device 40 and the second device 50 are forceps. The first device 40 and the second device 50 grasp or exfoliate the tissue in the body of the patient with the distal end portion 41 and the distal end portion 51, for example.
  • an ultrasonic scalpel 60 is used for laparoscopic surgery. The ultrasonic scalpel 60 cuts tissue or stops bleeding by ultrasonic vibration, for example.
  • a trocar 80 is inserted into the abdomen 90.
  • the trocar 80 secures a small hole in the abdomen 90.
  • the object imaging device 10, the first device 40, the second device 50, and the ultrasonic scalpel 60 are inserted into the body of a patient by being inserted into the trocar 80.
  • the positional relationship detection unit 112 detects a positional relationship between the user U1 and the user U3 during laparoscopic surgery, for example, based on video data captured by the user imaging device 20.
  • the positional relationship detection unit 112 detects, for example, the positional relationship of the user U1 with respect to the user U3, such as the shoulders and the head, during laparoscopic surgery.
  • the positional relationship detection unit 112 detects, for example, information on appliances used by the user U1 with respect to the user U3, based on video data captured by the user imaging device 20. Specifically, the positional relationship detection unit 112 detects, for example, an insertion point A1 of the first appliance 40 into the body of the user U3 and an insertion point B1 of the second appliance 50 into the body of the user U3. .
  • the image control unit 114 determines, for example, at least one of the positional relationship between the user U1 and the user U3 and the position or the rotation posture of the objective lens 12 of the object imaging device 10 with respect to the affected part when performing laparoscopic surgery. Based on this, the image displayed on the display device 30 is corrected. Specifically, an image displayed on the display device 30 based on the insertion point A1 of the first device 40 into the body of the user U3 and the insertion point B1 of the second device 50 into the body of the user U3. Is corrected.
  • the image control unit 114 corrects the image displayed on the display device 30 based on a vector connecting any two points in the space including the user U1 and the user U3, based on the reference vector. Specifically, the image control unit 114 adjusts the insertion point A1 of the first device 40 into the body of the user U3 and the user U3 of the second device 50 to correct the image displayed on the display device 30.
  • a reference vector V1 connecting the insertion point B1 into the body is calculated.
  • a description will be given assuming that a vector connecting the insertion point A1 and the insertion point B1 is a reference vector, but this is an example and does not limit the present disclosure.
  • the video control unit 114 may calculate, for example, a vector connecting the positions of both shoulders of the user U1 and a vector connecting one shoulder and the head as the reference vector. That is, in the case of the example shown in FIG. 4, the reference vector is not particularly limited as long as it is a vector connecting two points that maintain a specific relationship during laparoscopic surgery.
  • the video control unit 114 reflects the generated reference vector on the video captured by the target imaging device 10, for example. Specifically, the video control unit 114 reflects the reference vector V1 on the video displayed on the display device 30 as a virtual reference vector V2 connecting the points A2 and B2, for example.
  • the video control unit 114 calculates, for example, an angle ⁇ 1 between the reference vector and the x-axis of the camera coordinate system. For example, when the calculated angle ⁇ 1 is deviated from the angle ⁇ of the initial reference vector stored in the storage unit 120, the image control unit 114 displays an image displayed on the display device 30 so as to maintain the angle ⁇ . Rotate. Thereby, as shown in FIG.
  • the direction of the reference vector V1 and the direction of the virtual reference vector V2 on the display device 30 can always be matched even when the reference vector V1 changes.
  • the display device 30 always displays an image in which the top and bottom are fixed.
  • the reference vector V ⁇ b> 1 can always match the horizontal reference vector V ⁇ b> 2 on the display device 30.
  • hand eye coordination can be maintained in an optimal state.
  • FIG. 6 is a schematic diagram for explaining a method of setting an initial reference vector.
  • the video control unit 114 generates a reference vector V1 connecting the insertion point A1 and the insertion point B1 based on the detection result of the positional relationship detection unit 112 (step S1).
  • the video control unit 114 reflects the reference vector V1 on the xy plane of the camera coordinate system of the video data picked up by the target object imaging device 10, and the virtual reference vector V2 connecting A2 and B2. Is generated (step S2).
  • the position and orientation of the target object imaging device 10 are manually adjusted so that the user U1 can perform hand-eye coordination optimally.
  • the video controller 114 calculates an angle ⁇ between the virtual reference vector V2 and the adjusted x-axis of the camera coordinate system (step S3).
  • the process shown in FIG. 6 is performed for each user. The value of the angle ⁇ differs depending on the user.
  • FIG. 7 is a flowchart illustrating an example of a flow of an initialization process from when the control unit 110 calculates the angle of the initial reference vector to when the angle is stored in the storage unit.
  • control unit 110 calculates an angle ⁇ between the initial reference vector and the x-axis in the camera coordinate system by using the method shown in FIG. 6 (step S101). Then, control unit 110 proceeds to step S102.
  • control unit 110 stores the angle ⁇ calculated in step S101 in the storage unit 120 (step S102). Then, control unit 110 ends the process in FIG.
  • the image processing apparatus 100 is displayed on the display device 30 based on the angle between the initial reference vector and the x-axis in the camera coordinate system so that the user U1 can perform the hand-eye coordination optimally. Video can be corrected.
  • FIG. 8 is a flowchart illustrating the flow of the process of the control unit 110.
  • control unit 110 detects the insertion point of the instrument inserted into the patient, and the position and rotation posture of the object imaging device 10 (step S201).
  • the insertion points of the device detected in step S201 are, for example, the insertion point A1 of the first device 40 and the insertion point B1 of the second device 50 illustrated in FIG. Then, control unit 110 proceeds to step S202.
  • control unit 110 calculates a reference vector (step S202). Specifically, the control unit 110 calculates the reference vector based on, for example, the insertion point A1 of the first device 40 and the insertion point B1 of the second device 50 illustrated in FIG. Then, the control unit 110 proceeds to step S203.
  • control unit 110 calculates a reference vector in the video displayed on the display device 30 (step S203). Specifically, the control unit 110 calculates the reference vector in the image displayed on the display device 30 by projecting the reference vector on the camera coordinate system of the image displayed on the display device 30. Then, control unit 110 proceeds to step S204.
  • control unit 110 calculates an angle ⁇ 1 between the x-axis of the camera coordinate system in the video displayed on the display device 30 and the reflected reference vector (step S204). Then, control unit 110 ends the process in FIG.
  • FIG. 9 is a flowchart illustrating an example of the flow of a process in which the control unit 110 corrects an image displayed on the display device 30.
  • control unit 110 reads out the initial reference vector set for the user U1 from the storage unit 120 and performs initial settings (step S301). Specifically, control unit 110 sets an angle ⁇ between the initial reference vector and the x-axis of the camera coordinate system. Then, control unit 110 proceeds to step S302.
  • control unit 110 calculates the angle ⁇ 1 of the reference vector according to the processing shown in FIG. 8 (step S302). Then, control unit 110 proceeds to step S303.
  • control unit 110 compares the calculated angle ⁇ 1 of the reference vector with the angle ⁇ of the initial reference vector (step S303). Specifically, the control unit 110 calculates a difference ⁇ between the angle ⁇ between the initial reference vector and the x-axis of the camera coordinate system and the angle ⁇ 1 between the reference vector calculated in step S302. Then, control unit 110 proceeds to step S304.
  • the control unit 110 rotates the image displayed on the display device 30 by ⁇ (step S304). That is, the control unit 110 rotates the image displayed on the display device 30 so that the user U1 can perform the hand-eye coordination optimally. Thus, the control unit 110 can maintain the reference vector and the angle ⁇ between the x-axis of the camera coordinate system. Then, control unit 110 ends the process in FIG.
  • the image processing apparatus 100 can rotate the image displayed on the display device 30 by an amount corresponding to the deviation from the initial reference vector, and correct the reference vector so as to match the initial reference vector. That is, the image processing device 100 can correct the image displayed on the display device 30 so that the user U1 can perform the hand-eye coordination optimally.
  • FIG. 10 is a block diagram illustrating a configuration of an image processing system according to the second embodiment.
  • the image processing system 1A includes an object imaging device 10, a display device 30-1, and a display device 30-2.
  • the second embodiment is different from the first embodiment in that two display devices are provided and that the user imaging device 20 is not provided.
  • the image processing system 1A is applied to a drone 200, for example, as shown in FIG.
  • the drone 200 is provided with the target object imaging device 10.
  • the object imaging device 10 aerially captures a landscape or the like.
  • the drone 200 is equipped with, for example, a gyro sensor that detects a rotation posture and the like, an operation device 220 that executes a specific operation, and the like.
  • the image processing system 1A can be suitably used, for example, when performing aerial photography using the drone 200 and performing specific work using the operation device 220.
  • the image processing device 100 corrects the video imaged by the object imaging device 10 and outputs the corrected image to the display device 30-1.
  • the image processing device 100 outputs the image captured by the object imaging device 10 to the display device 30-2 without correction.
  • video data may be directly input from the target object imaging device 10 to the display device 30-2.
  • the display device 30-1 displays the image corrected by the image processing device 100.
  • the display device 30-2 displays the video imaged by the object imaging device 10 as it is. In such a case, the display device 30-1 and the display device 30-2 are used by different users.
  • the display device 30-1 is, for example, a display device used by a user who operates a specific operation device 220 mounted on the drone 200.
  • the display device 30-2 is, for example, a display device used by a user who operates the drone 200. That is, the user executes hand-eye coordination using the operation device 220 while checking the display device 30-1.
  • FIG. 12 is a diagram illustrating an example of a controller of the operation device 220.
  • the controller 210 of the operating device 220 mounted on the drone 200 has, for example, a display device 30-1 provided integrally.
  • the horizontal direction or the vertical direction of the controller 210 may be obtained as the reference vector.
  • the direction of the controller 210 may be obtained, for example, by the acquisition unit 111 of the image processing apparatus 100 from a gyro sensor or the like provided inside the controller 210 to specify the direction.
  • the acquisition unit 111 acquires rotation attitude data of the drone 200 by wireless communication from a gyro sensor or the like mounted on the drone 200, for example.
  • the position / posture detection unit 113 detects the rotation posture of the drone 200 based on the rotation posture data detected by the acquisition unit 111, for example.
  • the position and orientation detection unit 113 outputs, for example, a detection result of the rotational orientation of the drone 200 to the video control unit 114.
  • the video control unit 114 projects the virtual reference vector V4 on the video of the display device 30-1.
  • the video control unit 114 projects the virtual reference vector V5 on the video of the display device 30-1. That is, the video control unit 114 initializes one of the initial reference vector V3 and the initial reference vector V5 as an initial reference vector. Accordingly, the image control unit 114 can correct the image on the display device 30-1 so as to maintain the hand-eye coordination even when the rotational attitude of the drone 200 changes.
  • the image control unit 114 controls the image of the display device 30-1 based on the rotation posture data acquired by the acquisition unit 111 such that the direction of the virtual reference vector V4 or the virtual reference vector V6 is fixed. To rotate. As a result, an image in which the top and bottom are fixed is displayed on the display device 30-1 regardless of the rotational attitude of the drone 200.
  • the user can suitably use the operation device 220, for example, by visually recognizing the display device 30-1 that displays the video with the fixed top and bottom.
  • the operation device 220 is not particularly limited, but is, for example, a manipulator that can grasp an object. In this case, by visually recognizing the display device 30-1, the user can easily operate the manipulator regardless of the attitude of the drone 200.
  • the user can use the image processing system 1A to remove unnecessary objects such as rubble and carry goods by using the operation device 220 mounted on the drone 200, for example, at the time of disaster. .
  • the first embodiment is applied to image processing in laparoscopic surgery
  • the second embodiment is applied to image processing when operating an operating device mounted on a drone. It is not limited to.
  • FIG. 13 shows a snake-type robot 300 to which each embodiment is applied.
  • An object imaging device 10 is provided at one end of the snake robot 300.
  • the snake-type robot 300 can move back and forth between underwater and the ground, for example. Therefore, the snake-type robot 300 can move in a space where no human can enter, and can image the surroundings. Specifically, the snake-type robot 300 moves in, for example, rubble, small gaps, and pipes for inspection during a disaster or the like, and images the surroundings with the object imaging device 10.
  • Such a snake-type robot 300 is remotely controlled by a controller 210 as shown in FIG. 12, for example. That is, by setting the horizontal reference vector V3 or the vertical reference vector V5 of the controller 210 as the initial reference vector, the image on the display device 30-1 can be corrected so as to maintain the hand-eye coordination. . Accordingly, the display device 30-1 displays an image in which the top and bottom are fixed irrespective of the rotational posture of the snake-type robot 300.
  • FIG. 14 shows a piping inspection device 400 to which each embodiment is applied.
  • the piping inspection device 400 includes, for example, an inspection wiring 410 and a controller 420.
  • An imaging device (not shown) is provided at one end of the inspection wiring 410.
  • the inspection wiring 410 is inserted into the pipe P, and the imaging device images the inside of the pipe P.
  • the image captured by the imaging device is displayed on the display device 30 provided integrally with the controller 420.
  • the user U operates the controller 420 while visually checking the image displayed on the display device 30 to operate the pipe inspection device 400.
  • the display device 30 displays an image in which the top and bottom are fixed irrespective of the rotation posture of the imaging device provided at one end of the inspection wiring 410.
  • FIG. 13 and FIG. 14 As described above, an example in which the image processing system according to each embodiment of the present disclosure is applied to FIG. 13 and FIG. 14 has been described, but this is merely an example and does not limit the present disclosure. Each embodiment of the present disclosure may be applied to other devices.
  • FIG. 15 is a hardware configuration diagram illustrating an example of a computer 1000 that implements the functions of the image processing apparatus 100.
  • the computer 1000 has a CPU 1100, a RAM 1200, a ROM 1300, an HDD 1400, a communication interface 1500, and an input / output interface 1600.
  • Each unit of the computer 1000 is connected by a bus 1050.
  • the CPU 1100 operates based on a program stored in the ROM 1300 or the HDD 1400, and controls each unit. For example, the CPU 1100 loads a program stored in the ROM 1300 or the HDD 1400 into the RAM 1200, and executes processing corresponding to various programs.
  • the ROM 1300 stores a boot program such as a BIOS (Basic Input Output System) executed by the CPU 1100 when the computer 1000 starts up, a program that depends on the hardware of the computer 1000, and the like.
  • BIOS Basic Input Output System
  • the HDD 1400 is a computer-readable recording medium for non-temporarily recording a program executed by the CPU 1100 and data used by the program.
  • HDD 1400 is a recording medium for recording a program according to the present disclosure, which is an example of program data 1450.
  • the communication interface 1500 is an interface for connecting the computer 1000 to an external network 1550 (for example, the Internet).
  • the CPU 1100 receives data from another device via the communication interface 1500 or transmits data generated by the CPU 1100 to another device.
  • the input / output interface 1600 is an interface for connecting the input / output device 1650 and the computer 1000.
  • the CPU 1100 receives data from an input device such as a keyboard and a mouse via the input / output interface 1600.
  • the CPU 1100 transmits data to an output device such as a display, a speaker, or a printer via the input / output interface 1600.
  • the input / output interface 1600 may function as a media interface that reads a program or the like recorded on a predetermined recording medium (media).
  • the medium is, for example, an optical recording medium such as a DVD (Digital Versatile Disc), a PD (Phase Changeable Rewritable Disk), a magneto-optical recording medium such as an MO (Magneto-Optical disk), a tape medium, a magnetic recording medium, or a semiconductor memory. It is.
  • an optical recording medium such as a DVD (Digital Versatile Disc), a PD (Phase Changeable Rewritable Disk), a magneto-optical recording medium such as an MO (Magneto-Optical disk), a tape medium, a magnetic recording medium, or a semiconductor memory. It is.
  • the CPU 1100 of the computer 1000 implements the functions of the acquisition unit 111 and the like by executing the program loaded on the RAM 1200.
  • the HDD 1400 stores the program according to the present disclosure and data in the storage unit 120.
  • the CPU 1100 reads and executes the program data 1450 from the HDD 1400.
  • the CPU 1100 may acquire these programs from another device via the external network 1550.
  • a positional relationship detection unit that detects a positional relationship of the user with respect to the target object
  • An image control unit that corrects an image captured by an imaging device controlled independently of the user based on a positional relationship of the user with respect to the target object and outputs the corrected image to a display device
  • An image processing apparatus comprising: (2) The image control unit corrects the image to reflect the positional relationship of the user with respect to the target object in a coordinate system of the image, The image processing device according to (1).
  • the video control unit rotates the video captured by the imaging device according to the positional relationship of the user with respect to the target object, The image processing device according to (1) or (2).
  • the imaging device is operated by another user different from the user, The image control unit corrects an image captured by the imaging device operated by the other user, The image processing device according to any one of (1) to (3).
  • the positional relationship detection unit Detecting the position of the user's body with respect to the object, The image control unit corrects the image based on a position of the body of the user with respect to the target object, The image processing apparatus according to any one of (1) to (4).
  • the user is a doctor
  • the object is a patient
  • the positional relationship detection unit detects a position of a marker attached to the doctor during an operation on the patient
  • the image control unit corrects the image based on the position of the marker attached to the doctor,
  • the image processing apparatus according to any one of (1) to (6).
  • the positional relationship detection unit detects a position of a surgical instrument inserted into the patient
  • the image control unit corrects the image based on a position of a surgical instrument inserted into the patient,
  • the image processing apparatus according to any one of (1) to (7).
  • a storage unit that stores a vector connecting any two points in a space including the object and the user as a reference vector, The image control unit corrects the image based on the reference vector, The image processing device according to any one of (1) to (8).
  • the image control unit reflects the reference vector in the image, and corrects the image so that an angle of the reference vector and a predetermined direction in the image is maintained.
  • the user is a doctor
  • the object is a patient
  • the reference vector is a vector connecting between any two points where a surgical instrument used by the doctor with respect to the patient contacts.
  • the imaging device is an endoscope inserted into a body cavity of the object, The image control unit corrects an image captured by the endoscope based on a positional relationship of the user with respect to the object.
  • the image processing apparatus according to any one of (1) to (11).
  • the imaging device is an imaging device installed on a drone equipped with a specific operation device, The positional relationship detection unit detects a positional relationship of the operating device with respect to a controller, The image control unit corrects an image captured by the imaging device installed in the drone based on a positional relationship of the user with respect to the controller.
  • the image processing apparatus according to any one of (1) to (12).
  • the video control unit outputs a video captured by the imaging device installed in the drone to another display device different from the display device,
  • the other display device is a display device used when operating the drone by the user,
  • the display device is a display device used when operating the operation device by another user different from the user,
  • the operating device is a manipulator,
  • (16) Detects the user's position with respect to the object, An image captured by an imaging device controlled independently of the user is output to a display device with correction based on a positional relationship of the user with respect to the target object. Image processing method.
  • a computer provided in the image processing apparatus, A positional relationship detection unit that detects a positional relationship of the user with respect to the target object, A video control unit that corrects a video captured by an imaging device controlled independently of the user based on a positional relationship of the user with respect to the target object and outputs the corrected video to a display device; Program to function as

Landscapes

  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • General Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Astronomy & Astrophysics (AREA)
  • Theoretical Computer Science (AREA)
  • Endoscopes (AREA)

Abstract

画像処理装置（１００）は、対象物に対するユーザの位置関係を検出する位置関係検出部（１１２）と、ユーザとは独立に制御される撮像装置（１５）が撮像した映像を、対象物に対するユーザの位置関係に基づいて補正して表示装置（３０）に出力する映像制御部（１１４）と、を備える。

Description

画像処理装置、画像処理方法及びプログラム
　本開示は、画像処理装置、画像処理方法及びプログラムに関する。
　カメラなどによって撮像された画像に対して補正処理を施し、補正処理を施した画像を表示する技術が知られている。
　例えば、特許文献１には、内視鏡の先端ヘッドの対物レンズの移動量から画像切り出しエリアの位置を調整する技術が開示されている。また、例えば、特許文献２には、内視鏡の姿勢位置を検出し、注目構造物の位置が仮想視野内に含まれるように仮想内視鏡画像を生成し、ディスプレイに表示させる技術が開示されている。
特開２０１５－１３９６４６号公報 特開２０１１－２１２２４４号公報
　しかしながら、上記の従来技術では、ユーザが映像を見ながら作業をする環境において、例えば、ユーザ又はカメラの位置が変化した場合に、ハンドアイコーディネーションを維持するように、画像を補正する技術について開示されていない。そのため、ユーザは、ユーザ又はカメラの位置が変化した場合には、映像が表示されているディスプレイの姿勢を手動で調整する必要があった。
　そこで、本開示では、ハンドアイコーディネーションを維持するように画像を補正することのできる画像処理装置、画像処理方法及びプログラムを提案する。
　上記の課題を解決するために、本開示に係る一形態の画像処理装置は、対象物に対するユーザの位置関係を検出する位置関係検出部と、前記ユーザとは独立に制御される撮像装置が撮像した映像を、前記対象物に対する前記ユーザの位置関係に基づいて補正して表示装置に出力する映像制御部と、を備える。
本開示の第１の実施形態に係る画像処理システムの構成の一例を示す図である。 本開示の第１の実施形態に係る画像処理システムを適用した構成の一例を示す図である。 本開示の画像処理装置の処理の概要を説明するための図である。 腹腔鏡手術が行われている手術室の様子の一例を示す模式図である。 腹腔鏡下手術の概要を示す図である。 ハンドアイコーディネーションを維持するように画像を補正する処理を説明するための図である。 基準ベクトルを設定する処理の流れの一例を示すフローチャートである。 基準ベクトルの角度を検出する処理の流れの一例を示すフローチャートである。 画像を補正する処理の流れの一例を示すフローチャートである。 本開示の第２の実施形態に係る画像処理システムの構成を示す図である。 本開示の第２の実施形態に係る画像処理装置の一例を説明するための図である。 本開示の第２の実施形態に係る画像処理装置の一例を説明するための図である。 本開示の各実施形態に係る画像処理装置の適用例を示す図である。 本開示の各実施形態に係る画像処理装置の適用例を示す図である。 本開示の画像処理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。
　以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
　また、以下に示す項目順序に従って本開示を説明する。
　　１．第１の実施形態
　　　１－１．第１の実施形態に係る画像処理システムの構成
　　　１－２．初期基準ベクトルの設定
　　　１－３．画像補正方法
　　２．第２の実施形態
　　　２－１．第２の実施形態に係る画像処理システムの構成
　　３．その他の実施形態
　　４．ハードウェア構成
（１．第１の実施形態）
[１－１．第１の実施形態に係る画像処理システムの構成]
　図１を用いて、本開示の第１実施形態に係る画像処理システムの構成について説明する。図１は、本開示の第１実施形態に係る画像処理システムの構成の一例を示す図である。
　図１に示すように、画像処理システム１は、対象物撮像装置１０と、ユーザ撮像装置２０と、表示装置３０と、画像処理装置１００とを備える。本開示の画像処理システム１は、例えば、医療機器、ドローンなどにおいて、ハンドアイコーディネーションを実施するシステムに適用することができる。
　対象物撮像装置１０は、例えば、ユーザの対象物を撮像するカメラである。具体的には、対象物撮像装置１０は、例えば、体内に挿入される内視鏡や、産業用機器に搭載されるカメラである。対象物撮像装置１０が内視鏡である場合、体内の様子を撮像する。対象物撮像装置１０は、撮像した対象物の映像を画像処理装置１００に出力する。
　図２を用いて、対象物撮像装置１０が内視鏡である場合の構成について説明する。図２は、対象物撮像装置１０が内視鏡である場合の構成の一例を示す図である。
　図２に示すように、対象物撮像装置１０は、例えば、直線棒状の鏡筒部１１と、ヘッド部１４から構成される、鏡筒部１１は、光学視管又は硬性管とも呼ばれ、その長さが数１０センチ程度である。鏡筒部１１は、体内に挿入される側の一端には対物レンズ１２が設けられ、他端にはヘッド部１４が接続されている。鏡筒部１１の内部にはリレー光学系の光学レンズ部１３が設けられている。なお、鏡筒部１１の形状は、直線棒状に限定されるものではない。例えば、鏡筒部１１の対物レンズ１２が設けられている一端は、湾曲した形状であってもよい。また、鏡筒部１１の対物レンズ１２が設けられている一端には、例えば、対物レンズ１２の位置や姿勢を検出する図示しない位置姿勢検出センサが設けられている。位置姿勢検出センサは、例えば、対物レンズ１２の位置や回転姿勢を検出する。このような位置検出センサは、例えば、ジャイロセンサで実現することができる。
　ヘッド部１４には、撮像装置１５が内蔵されている。撮像装置１５は、ＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）などの撮像素子から構成される。撮像装置１５は、鏡筒部１１から入力される患部の光学像を所定のフレームレートで画像信号に変換する。
　対象物撮像装置１０においては、対物レンズ１２によって集光される患部の光学像が、光学レンズ部１３を介してヘッド部１４に内蔵された撮像装置１５に入射する。そして、撮像装置１５は、受けた光学像を所定のフレームレートの画像信号に変換して、画像処理装置１００に出力する。以下、本実施形態では、対象物撮像装置１０は、内視鏡であるものとして説明するが、これは例示であり本開示を限定するものではない。
　再び図１を参照する。ユーザ撮像装置２０は、例えば、ユーザを含む、周囲の空間を撮像するカメラである。ユーザ撮像装置２０は、例えば、ユーザが医師である場合、医師と患者とを含む周囲の空間を撮像する。具体的には、ユーザ撮像装置２０は、例えば、患者に対する医師の位置関係や、姿勢を判別可能に撮像する。ユーザ撮像装置２０は、例えば、患者に対する医師の身体の位置を撮像する。より具体的には、ユーザ撮像装置２０は、例えば、患者に対する医師の手、腕、肩、顔などの身体の姿勢や位置関係、医師に付されたマーカ、医師が持っている器具、及び器具と患者の身体との接触箇所を判別可能に撮像する。なお、ユーザ撮像装置２０が撮像するものは、これらに限定されない。ユーザ撮像装置２０は、撮像した映像データを、画像処理装置１００に出力する。
　表示装置３０は、例えば、対象物撮像装置１０が撮像した映像や、画像処理装置１００によって補正処理が施された映像を表示する。表示装置３０は、例えば、液晶ディスプレイ（ＬＣＤ：Liquid　Crystal　Display）又は有機ＥＬ（Organic　Electro-Luminescence）ディスプレイなどを含むディスプレイである。
　画像処理装置１００は、対象物撮像装置１０及びユーザ撮像装置２０が撮像した映像を受ける。具体的には、画像処理装置１００は、受けた画像に補正処理を施して、表示装置３０に出力する。
　図３を用いて、画像処理装置１００の一般的な補正処理について説明する。図３は、画像処理装置１００の一般的な補正処理の概要を示す図である。
　画像処理装置１００は、対象物撮像装置１０の撮像装置１５から所定のフレームレートで入力される画像信号の全領域(有効画素エリア)から、有効画素エリアよりも小さなサイズの切り出しエリアを切り出す。画像処理装置１００は、切り出して得られた画像信号を表示装置３０に出力する。この時、画像処理装置１００は、切り出しエリアの位置を手振れに応じたシフト量だけ移動させることによって手振れを補正することができる。また、画像処理装置１００は、対象物撮像装置１０の撮像装置１５のシャッタ機構がローリングシャッタである場合、それに起因したローリングシャッタ歪を除去することができる。
　再び図１を参照して、画像処理装置１００の構成について説明する。画像処理装置１００は、制御部１１０と、記憶部１２０を備えている。
　制御部１１０は、画像処理システム１を構成する各部を制御する。具体的には、制御部１１０は、記憶部１２０に記憶されているプログラムを展開して実行することによって画像処理システム１を構成する各部を制御する。制御部１１０は、例えば、ＣＰＵ（Central　Processing　Unit）を含む電子的な回路などで実現することができる。制御部１１０は、取得部１１１と、位置関係検出部１１２と、位置姿勢検出部１１３と、映像制御部１１４とを備える。
　取得部１１１は、例えば、図示しない有線又は無線のネットワークを介して各種のデータを取得する。具体的には、取得部１１１は、例えば、対象物撮像装置１０及びユーザ撮像装置２０が撮像した映像の映像データを取得する。取得部１１１は、取得した映像データを位置関係検出部１１２に出力する。取得部１１１は、例えば、ユーザが対象物に対して使用する器具に設けられたセンサから位置に関する情報を含む各種の情報を取得する。この場合、取得部１１１は、例えば、器具に設けられたセンサから取得した位置情報を位置関係検出部１１２に出力する。ここで、器具は、例えば、医師が患者に対して使用する医療器具（手術器具）である。また、取得部１１１は、例えば、図２に示すような、鏡筒部１１の一端に設けられている位置姿勢センサから、患部に対する対物レンズ１２の位置や回転姿勢に関する位置姿勢データを取得する。取得部１１１は、取得した位置姿勢データを位置姿勢検出部１１３に出力する。
　位置関係検出部１１２は、例えば、ユーザ撮像装置２０が撮像した映像データに基づいて、少なくともユーザと対象物との位置関係を検出する。具体的には、位置関係検出部１１２は、例えば、ユーザが医師であり、対象物が患者である場合、患者に対する医師の位置関係や、姿勢を検出する。この場合、位置関係検出部１１２は、例えば、患者に対する医師の身体の位置を検出する。より具体的には、位置関係検出部１１２は、例えば、患者に対する医師の手、腕、肩など身体の姿勢や位置関係を検出する。位置関係検出部１１２は、例えば、医師の手、腕、肩などには、それぞれ、位置を特定するためのマーカが付されており、そのマーカに基づいて、位置を検出する。位置関係検出部１１２は、例えば、ユーザが対象物に対して使用する器具と、対象物との位置関係を検出する。具体的には、位置関係検出部１１２は、例えば、ユーザが対象物に対して使用する器具と、対象物との接触位置を検出する。より具体的には、位置関係検出部１１２は、例えば、ユーザが医師である場合には、医師が持っている医療器具と、患者との接触位置を検出する。なお、ここで挙げた位置関係検出部１１２が検出する各位置関係は例示であり、本開示を限定するものではない。位置関係検出部１１２は、ユーザと、対象物とのその他の位置関係を検出してもよい。位置関係検出部１１２は、検出結果を、映像制御部１１４に出力する。
　位置姿勢検出部１１３は、例えば、取得部１１１が取得した位置姿勢データに基づいて、対象物撮像装置１０の位置と回転姿勢とを検出する。具体的には、位置姿勢検出部１１３は、例えば、図２に示すような、対物レンズ１２の患部に対する位置と回転姿勢とを、取得部１１１が取得した位置姿勢データに基づいて検出する。位置姿勢検出部１１３は、検出結果を、映像制御部１１４に出力する。
　映像制御部１１４は、例えば、対象物撮像装置１０が撮像した映像を補正して、表示装置３０に出力する。映像制御部１１４は、例えば、対象物撮像装置１０が撮像した映像を回転させて補正する。具体的には、映像制御部１１４は、例えば、位置関係検出部１１２の検出結果に基づいて、対象物撮像装置１０が撮像した映像を補正して、表示装置３０に出力する。映像制御部１１４は、例えば、位置姿勢検出部１１３の検出結果に基づいて、対象物撮像装置１０が撮像した映像を補正して、表示装置３０に出力する。すなわち、位置関係検出部１１２の検出結果及び位置姿勢検出部１１３の検出結果の少なくとも一方に基づいて、対象物撮像装置１０が撮像した映像を補正して、表示装置３０に出力する。具体的には後述するが、これにより、映像制御部１１４は、医師のハンドアイコーディネーションを維持するように画像を補正する。
　記憶部１２０は、制御部１１０が画像処理システム１の各部を制御するためのプログラムを記憶している。記憶部１２０は、例えば、ユーザごとの初期基準ベクトルを記憶している。記憶部１２０は、例えば、ユーザが適切にハンドアイコーディネーションを行えるような、対象物撮像装置１０が撮像した映像におけるｘ－ｙ－ｚ軸で表現される直交座標系（以下、カメラ座標系）のｘ軸方向と初期基準ベクトルの角度θとを記憶している。具体的には後述するが、映像制御部１１４は、角度θに基づいて、表示装置３０に表示される映像を補正する。記憶部１２０は、例えば、ＲＡＭ（Random　Access　Memory）、ＲＯＭ（Read　Only　Memory）、フラッシュメモリ（Flash　Memory）などの半導体メモリ素子、又は、ＨＤＤ（Hard　Disk　Drive）、ＳＳＤ（Solid　State　Drive）、光ディスクなどの記憶装置である。
　図４と、図５とを用いて、位置関係検出部１１２と、映像制御部１１４との動作について具体的に説明する。図４と、図５とは、位置関係検出部１１２と、映像制御部１１４との動作を説明するための図である。
　図４は、腹腔鏡手術が行われている手術室の様子の一例を示す模式図である。図４において、ユーザＵ１と、ユーザＵ２とは、医師であり、ユーザＵ１が執刀医である。ユーザＵ３は、患者である。
　図４に示す例では、ユーザＵ１は、第１の器具４０と、第２の器具５０とを、ユーザＵ３の体内に挿入している。表示装置３０には、ユーザＵ３の体内に挿入された内視鏡（図示しない）によって撮像され、画像処理装置１００によって補正された映像が表示される。この場合、ユーザＵ１は、表示装置３０に表示される映像を確認しながら、第１の器具４０と、第２の器具５０とを操作し、ユーザＵ３に対して腹腔鏡手術を行う。この場合、ユーザ撮像装置２０は、ユーザＵ１と、ユーザＵ３と、第１の器具４０と、第２の器具５０とを少なくとも含むように手術室を撮像する。また、ユーザＵ２は、第１の器具４０Ａと、第２の器具５０ＡとをユーザＵ３の体内に挿入している。なお、内視鏡は、ユーザＵ１及びユーザＵ２以外の医師によってユーザＵ３の体内に挿入される。すなわち、画像処理装置１００は、ユーザＵ１以外のユーザによって撮像された映像を補正する。この場合、画像処理システム１は、内視鏡をユーザＵ３の体内に挿入する医師用に、内視鏡が撮像した映像をそのまま表示する表示装置を備えていてもよい。
　図５は、腹腔鏡手術に用いられる器具を模式的に示している。図５に示すように、対象物撮像装置１０は、先端部分が湾曲可能な内視鏡である。内視鏡は、腹腔鏡手術を行う医師とは異なる医師によって使用される。すなわち、対象物撮像装置１０は、腹腔鏡手術を行う医師とは独立に制御される。表示装置３０には、対物レンズ１２によって集光される患部の光学像が表示される。第１の器具４０及び第２の器具５０は、鉗子である。第１の器具４０及び第２の器具５０は、例えば、患者の体内の組織を先端部４１及び先端部５１によって掴んだり、剥離したりする。また、例えば、腹腔鏡手術には、超音波メス６０が使用される。超音波メス６０は、例えば、超音波振動によって組織を切開したり、止血したりする。腹部９０にはトロッカ８０が挿入されている。トロッカ８０は、腹部９０に小さな穴を確保する。対象物撮像装置１０と、第１の器具４０と、第２の器具５０と、超音波メス６０とは、トロッカ８０に挿入することによって、患者の体内に挿入される。
　再び図４を参照する。位置関係検出部１１２は、例えば、ユーザ撮像装置２０が撮像した映像データに基づいて、腹腔鏡手術が行われている際の、ユーザＵ１と、ユーザＵ３との位置関係を検出する。位置関係検出部１１２は、例えば、腹腔鏡手術が行われている際の、ユーザＵ３に対する、ユーザＵ１の肩や頭などの身体の位置関係を検出する。
　位置関係検出部１１２は、例えば、ユーザ撮像装置２０が撮像した映像データに基づいて、ユーザＵ１がユーザＵ３に対して使用する器具に関する情報を検出する。具体的には、位置関係検出部１１２は、例えば、第１の器具４０のユーザＵ３の体内への挿入点Ａ１と、第２の器具５０のユーザＵ３の体内への挿入点Ｂ１とを検出する。
　映像制御部１１４は、例えば、腹腔鏡手術が行われている際の、ユーザＵ１と、ユーザＵ３との位置関係及び対象物撮像装置１０の対物レンズ１２の患部に対する位置や回転姿勢の少なくとも一方に基づいて、表示装置３０に表示される映像を補正する。具体的には、第１の器具４０のユーザＵ３の体内への挿入点Ａ１と、第２の器具５０のユーザＵ３の体内への挿入点Ｂ１とに基づいて、表示装置３０に表示される映像を補正する。
　映像制御部１１４は、ユーザＵ１と、ユーザＵ３とを含む空間の任意の２点間を結ぶベクトルを基準ベクトルに基づいて、表示装置３０に表示される映像を補正する。具体的には、映像制御部１１４は、表示装置３０に表示される映像を補正するために、第１の器具４０のユーザＵ３の体内への挿入点Ａ１と、第２の器具５０のユーザＵ３の体内への挿入点Ｂ１とを結ぶ基準ベクトルＶ１を算出する。以下では、挿入点Ａ１と、挿入点Ｂ１とを結ぶベクトルを基準ベクトルであるものとして説明するが、これは例示であり、本開示を限定するものではない。映像制御部１１４は、例えば、ユーザＵ１の両肩の位置を結ぶベクトルや、片方の肩と頭とを結ぶベクトルを基準ベクトルとして算出してもよい。すなわち、図４に示す例の場合、基準ベクトルは、腹腔鏡手術を行っている際に特定の関係が維持される２点間を結ぶベクトルであれば、特に制限はない。
　映像制御部１１４は、例えば、対象物撮像装置１０が撮像した映像に、生成した基準ベクトルを反映させる。具体的には、映像制御部１１４は、例えば、基準ベクトルＶ１を、点Ａ２と、点Ｂ２とを結ぶ仮想的な基準ベクトルＶ２として、表示装置３０に表示されている映像に反映させる。映像制御部１１４は、例えば、基準ベクトルと、カメラ座標系のｘ軸とのなす角度θ１を算出する。映像制御部１１４は、例えば、算出された角度θ１が記憶部１２０に記憶されている初期基準ベクトルの角度θとずれていた場合、角度θを維持するように表示装置３０に表示される画像を回転させる。これにより、図４に示すように、基準ベクトルＶ１と、表示装置３０における仮想的な基準ベクトルＶ２の方向とを、基準ベクトルＶ１が変化した場合であっても、常に一致させることができる。言い換えれば、表示装置３０には、常に天地が固定された映像が表示される。図４に示す例の場合、例えば、基準ベクトルＶ１が、常に表示装置３０における水平方向の基準ベクトルＶ２と、常に一致させることができる。その結果、ハンドアイコーディネーションを最適な状態に維持することができる。
［１－２．初期基準ベクトルの設定］
　図６を用いて、初期基準ベクトルを設定する方法について説明する。図６は、初期基準ベクトルを設定する方法を説明するための模式図である。
　まず、映像制御部１１４は、位置関係検出部１１２の検出結果に基づいて、挿入点Ａ１と、挿入点Ｂ１とを結ぶ基準ベクトルＶ１を生成する(ステップＳ１)。次いで、映像制御部１１４は、基準ベクトルＶ１を、対象物撮像装置１０の撮像した映像データのカメラ座標系のｘ－ｙ平面に反映させて、Ａ２と、Ｂ２とを結ぶ仮想的な基準ベクトルＶ２を生成する(ステップＳ２)。ここで、対象物撮像装置１０の位置と向きとを、ユーザＵ１がハンドアイコーディネーションを最適に行うことができるように手動で調整する。そして、映像制御部１１４は、仮想的な基準ベクトルＶ２と、調整されたカメラ座標系のｘ軸とのなす角度θを算出する(ステップＳ３)。図６に示す処理は、ユーザごとに行われる。ユーザによって、角度θの値は異なってくる。
［１－３．画像補正方法］
　図７を用いて、制御部１１０が初期基準ベクトルの角度を記憶部に格納するまでの処理について説明する。図７は、制御部１１０が初期基準ベクトルの角度を算出してから記憶部に格納するまでの初期設定の処理の流れの一例を示すフローチャートである。
　まず、制御部１１０は、図６で示した方法を用いて、初期基準ベクトルと、カメラ座標系におけるｘ軸とのなす角度θを算出する(ステップＳ１０１)。そして、制御部１１０は、ステップＳ１０２に進む。
　制御部１１０は、ステップＳ１０１で算出した角度θを記憶部１２０に格納する(ステップＳ１０２)。そして、制御部１１０は、図７の処理を終了する。
　これにより、画像処理装置１００は、初期基準ベクトルと、カメラ座標系におけるｘ軸とのなす角度に基づいて、ユーザＵ１がハンドアイコーディネーションを最適に行うことができるように、表示装置３０に表示される映像を補正することができる。
　図８を用いて、制御部１１０が基準ベクトルを算出する処理について説明する。図８は、制御部１１０の処理の流れを示すフローチャートである。
　まず、制御部１１０は患者に挿入された器具の挿入点と、対象物撮像装置１０の位置と回転姿勢とを検出する(ステップＳ２０１)。ステップＳ２０１で検出される器具の挿入点は、例えば、図４で図示した第１の器具４０の挿入点Ａ１と、第２の器具５０の挿入点Ｂ１である。そして、制御部１１０は、ステップＳ２０２に進む。
　次いで、制御部１１０は、基準ベクトルを算出する(ステップＳ２０２)。具体的には、制御部１１０は、例えば、図４で図示した第１の器具４０の挿入点Ａ１と、第２の器具５０の挿入点Ｂ１とに基づいて、基準ベクトルを算出する。そして、制御部１１０は、ステップＳ２０３に進む。
　次いで、制御部１１０は、表示装置３０に表示される映像における基準ベクトルを算出する(ステップＳ２０３)。具体的には、制御部１１０は、表示装置３０に表示される映像のカメラ座標系に基準ベクトルを投影させることによって、表示装置３０に表示される映像における基準ベクトルを算出する。そして、制御部１１０は、ステップＳ２０４に進む。
　制御部１１０は、表示装置３０に表示される映像におけるカメラ座標系のｘ軸と、反映させた基準ベクトルとのなす角度θ１を算出する(ステップＳ２０４)。そして、制御部１１０は、図８の処理を終了する。
　図９を用いて、制御部１１０が表示装置３０に表示される映像を補正する処理について説明する。図９は、制御部１１０が表示装置３０に表示される映像を補正する処理の流れの一例を示すフローチャートである。
　まず、制御部１１０は、ユーザＵ１に設定されている初期基準ベクトルを記憶部１２０から読み出して初期設定を行う（ステップＳ３０１）。具体的には、制御部１１０は、初期基準ベクトルとカメラ座標系のｘ軸とのなす角度θを設定する。そして、制御部１１０は、ステップＳ３０２に進む。
　次いで、制御部１１０は、図８に示した処理に従って、基準ベクトルの角度θ１を算出する(ステップＳ３０２)。そして、制御部１１０は、ステップＳ３０３に進む。
　次いで、制御部１１０は、算出された基準ベクトルの角度θ１と、初期基準ベクトルの角度θとを比較する(ステップＳ３０３)。具体的には、制御部１１０は、初期基準ベクトルとカメラ座標系のｘ軸の角度θと、ステップＳ３０２で算出された基準ベクトルとの角度θ１の差分Δθを算出する。そして、制御部１１０は、ステップＳ３０４に進む。
　制御部１１０は、表示装置３０に表示されている映像をΔθ回転させる(ステップＳ３０４)。すなわち、制御部１１０は、表示装置３０に表示されている映像を、ユーザＵ１がハンドアイコーディネーションを最適に行えるように、表示装置３０に表示されている映像を回転させる。これにより、制御部１１０は、基準ベクトルと、カメラ座標系のｘ軸の角度θを維持することができる。そして、制御部１１０は、図９の処理を終了する。
　上述のとおり、画像処理装置１００は、初期基準ベクトルからずれの分だけ表示装置３０に表示される映像を回転して、基準ベクトルを初期基準ベクトルと一致するように補正することができる。すなわち、画像処理装置１００は、ユーザＵ１がハンドアイコーディネーションを最適に行えるように、表示装置３０に表示される映像を補正することができる。
（２．第２の実施形態）
[２－１．第２の実施形態に係る画像処理システムの構成]
　図１０を用いて、第２の実施形態に係る画像処理システムの構成について説明する。図１０は、第２の実施形態に係る画像処理システムの構成を示すブロック図である。
　図１０に示すように、画像処理システム１Ａは、対象物撮像装置１０と、表示装置３０－１と、表示装置３０－２とを備える。第２の実施形態は、２つの表示装置を備えている点と、ユーザ撮像装置２０を備えていない点で第１実施形態と異なっている。
　画像処理システム１Ａは、例えば、図１１に示すようにドローン２００に適用される。この場合、ドローン２００には、対象物撮像装置１０が設けられる。対象物撮像装置１０は、風景などを空撮する。ドローン２００には、例えば、回転姿勢などを検出するジャイロセンサや、特定の操作を実行する操作装置２２０などが搭載される。具体的には後述するが、画像処理システム１Ａは、例えば、ドローン２００を用いて空撮を行うとともに、操作装置２２０を用いて特定の作業を行う場合において好適に使用することができる。
　再び図１０を参照する。画像処理装置１００は、対象物撮像装置１０によって撮像された映像を補正して、表示装置３０－１に出力する。画像処理装置１００は、対象物撮像装置１０によって撮像された映像を補正しないで表示装置３０－２に出力する。この場合、表示装置３０－２には、対象物撮像装置１０から映像データが直接入力されてもよい。
　表示装置３０－１は、画像処理装置１００によって補正された映像を表示する。表示装置３０－２は、対象物撮像装置１０によって撮像された映像をそのまま表示する。このような場合、表示装置３０－１と、表示装置３０－２とは、異なるユーザによって使用される。表示装置３０－１は、例えば、ドローン２００に搭載された特定の操作装置２２０を操作するユーザによって使用される表示装置である。表示装置３０－２は、例えば、ドローン２００を操縦するユーザによって使用される表示装置である。すなわち、ユーザは、表示装置３０－１を確認しながら、操作装置２２０を用いた、ハンドアイコーディネーションを実行する。
　図１２を用いて、ドローン２００に搭載される操作装置２２０のハンドアイコーディネーションを維持させる方法について説明する。図１２は、操作装置２２０のコントローラの一例を示す図である。
　図１２に示すように、ドローン２００に搭載される操作装置２２０のコントローラ２１０は、例えば、表示装置３０－１が一体に設けられている。この場合、コントローラ２１０の横方向又は縦方向を基準ベクトルとして取得すればよい。コントローラ２１０の方向は、例えば、画像処理装置１００の取得部１１１が、コントローラ２１０の内部に設けられた方向を特定するジャイロセンサなどから取得すればよい。取得部１１１は、例えば、ドローン２００に搭載されたジャイロセンサなどから、無線通信によって、ドローン２００の回転姿勢データを取得する。
　位置姿勢検出部１１３は、例えば、取得部１１１が検出した回転姿勢データに基づいて、ドローン２００の回転姿勢を検出する。位置姿勢検出部１１３は、例えば、ドローン２００の回転姿勢の検出結果を、映像制御部１１４に出力する。
　映像制御部１１４は、コントローラ２１０の横方向が初期基準ベクトルＶ３として設定されている場合には、表示装置３０－１の映像に仮想的な基準ベクトルＶ４を投影する。映像制御部１１４は、コントローラ２１０の縦方向が初期基準ベクトルＶ５として設定されている場合には、表示装置３０－１の映像に仮想的な基準ベクトルＶ５を投影する。すなわち、映像制御部１１４は、初期基準ベクトルＶ３と、初期基準ベクトルＶ５とのいずれか一方を初期基準ベクトルとして初期設定する。これにより、映像制御部１１４は、ドローン２００の回転姿勢が変化した場合であっても、ハンドアイコーディネーションを維持するように、表示装置３０－１の映像を補正することができる。
　映像制御部１１４は、例えば、取得部１１１が取得した回転姿勢データに基づいて、仮想的な基準ベクトルＶ４又は仮想的な基準ベクトルＶ６の方向が固定されるように、表示装置３０－１の映像を回転させる。これにより、表示装置３０－１には、ドローン２００の回転姿勢によらず、天地が固定された映像が表示される。
　ユーザは、天地が固定された映像を表示する表示装置３０－１を視認することで、例えば、操作装置２２０を好適に使用することができる。ここで、操作装置２２０は、特に限定されないが、例えば、物体を掴むことのできるマニュピレータである。この場合、ユーザは、表示装置３０－１を視認することで、ドローン２００の姿勢によらず、マニュピレータを容易に操作することができる。
　その結果、ユーザは、画像処理システム１Ａを用いて、例えば、災害時などにおいて、ドローン２００に搭載された操作装置２２０によって、瓦礫などの不要物を除去したり、物資を運んだりすることができる。
（３．その他の実施形態）
　上述のとおり、第１の実施形態は腹腔鏡手術における画像処理に適用され、第２の実施形態はドローンに搭載された操作装置を操作する際の画像処理に適用されたが、本開示はこれらに限定されない。
　図１３は、各実施形態が適用されるヘビ型ロボット３００を示している。ヘビ型ロボット３００の一端には、対象物撮像装置１０が設けられている。ヘビ型ロボット３００は、例えば、水中と、地上とを行き来することが可能である。そのため、ヘビ型ロボット３００は、人間の入ることのできない空間を移動し、周囲を撮像することができる。具体的には、ヘビ型ロボット３００は、例えば、災害時などにおける瓦礫の中、小さな隙間、及び検査のために配管の中を移動し、対象物撮像装置１０によって周囲を撮像する。
　このようなヘビ型ロボット３００は、例えば、図１２に示したようなコントローラ２１０で遠隔操作される。すなわち、コントローラ２１０の横方向の基準ベクトルＶ３又は縦方向の基準ベクトルＶ５を初期基準ベクトルとして設定することで、ハンドアイコーディネーションを維持するように、表示装置３０－１の映像を補正することができる。これにより、表示装置３０－１は、ヘビ型ロボット３００の回転姿勢によらず、天地が固定された映像が表示される。
　図１４は、各実施形態が適用される配管検査装置４００を示している。配管検査装置４００は、例えば、検査用配線４１０と、コントローラ４２０とを備えている。検査用配線４１０の一端には、図示しない撮像装置が設けられている。検査用配線４１０は、配管Ｐに挿入され、撮像装置は配管Ｐの内部を撮像する。撮像装置が撮像した映像は、コントローラ４２０に一体に設けられている表示装置３０に表示される。ユーザＵは、表示装置３０に表示される映像を視認しながらコントローラ４２０を操作して、配管検査装置４００を操作する。
　図１４に示す例の場合、コントローラ４２０の横方向の基準ベクトルＶ７又は縦方向の基準ベクトルＶ８を初期基準ベクトルとして設定することで、ハンドアイコーディネーションを維持するように、表示装置３０の映像を補正することができる。これにより、表示装置３０は、検査用配線４１０の一端に設けられた撮像装置の回転姿勢によらず、天地が固定された映像が表示される。
　上述のとおり、図１３と、図１４とに、本開示の各実施形態に係る画像処理システムが適用される一例について説明したが、これは例示であり、本開示を限定するものではない。本開示の各実施形態は、その他の装置に適用されてもよい。
（４．ハードウェア構成）
　上述してきた各実施形態に係る画像処理装置は、例えば、図１５に示すような構成のコンピュータ１０００によって実現される。以下、第１の実施形態に係る画像処理装置１００を例に挙げて説明する。図１５は、画像処理装置１００の機能を実現するコンピュータ１０００の一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ１３００、ＨＤＤ１４００、通信インターフェイス１５００、及び入出力インターフェイス１６００を有する。コンピュータ１０００の各部は、バス１０５０によって接続される。
　ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。例えば、ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムをＲＡＭ１２００に展開し、各種プログラムに対応した処理を実行する。
　ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるＢＩＯＳ（Basic　Input　Output　System）等のブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。
　ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を非一時的に記録する、コンピュータが読み取り可能な記録媒体である。具体的には、ＨＤＤ１４００は、プログラムデータ１４５０の一例である本開示に係るプログラムを記録する記録媒体である。
　通信インターフェイス１５００は、コンピュータ１０００が外部ネットワーク１５５０（例えばインターネット）と接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、通信インターフェイス１５００を介して、他の機器からデータを受信したり、ＣＰＵ１１００が生成したデータを他の機器へ送信したりする。
　入出力インターフェイス１６００は、入出力デバイス１６５０とコンピュータ１０００とを接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、キーボードやマウス等の入力デバイスからデータを受信する。また、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやスピーカーやプリンタ等の出力デバイスにデータを送信する。また、入出力インターフェイス１６００は、所定の記録媒体（メディア）に記録されたプログラム等を読み取るメディアインターフェイスとして機能してもよい。メディアとは、例えばＤＶＤ（Digital　Versatile　Disc）、ＰＤ（Phase　change　rewritable　Disk）等の光学記録媒体、ＭＯ（Magneto-Optical　disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、又は半導体メモリ等である。
　例えば、コンピュータ１０００が第１の実施形態に係る画像処理装置１００として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされたプログラムを実行することにより、取得部１１１等の機能を実現する。また、ＨＤＤ１４００には、本開示に係るプログラムや、記憶部１２０内のデータが格納される。なお、ＣＰＵ１１００は、プログラムデータ１４５０をＨＤＤ１４００から読み取って実行するが、他の例として、外部ネットワーク１５５０を介して、他の装置からこれらのプログラムを取得してもよい。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
　なお、本技術は以下のような構成も取ることができる。
（１）
　対象物に対するユーザの位置関係を検出する位置関係検出部と、
　前記ユーザとは独立に制御される撮像装置が撮像した映像を、前記対象物に対する前記ユーザの位置関係に基づいて補正して表示装置に出力する映像制御部と、
　を備える画像処理装置。
（２）
　前記映像制御部は、前記対象物に対する前記ユーザの位置関係を前記映像の座標系に反映させるように前記映像を補正する、
　前記（１）に記載の画像処理装置。
（３）
　前記映像制御部は、前記撮像装置が撮像した映像を、前記対象物に対する前記ユーザの位置関係に応じて回転させる、
　前記（１）又は（２）に記載の画像処理装置。
（４）
　前記撮像装置は、前記ユーザとは異なる他のユーザによって操作され、
　前記映像制御部は、前記他のユーザによって操作された前記撮像装置が撮像した映像を補正する、
　前記（１）～（３）のいずれか１つに記載の画像処理装置。
（５）
　前記位置関係検出部は、
　前記対象物に対する前記ユーザの身体の位置を検出し、
　前記映像制御部は、前記対象物に対する前記ユーザの身体の位置に基づいて前記映像を補正する、
　前記（１）～（４）のいずれか１つに記載の画像処理装置。
（６）
　前記撮像装置の位置と姿勢とを検出する位置姿勢検出部をさらに備え、
　前記映像制御部は、前記位置姿勢検出部の検出結果に基づいて、前記映像を補正する、
　前記（１）～（５）のいずれか１つに記載の画像処理装置。
（７）
　前記ユーザは医師であり、前記対象物は患者であり、
　前記位置関係検出部は、前記患者に対する手術中に前記医師に付されたマーカの位置を検出し、
　前記映像制御部は、前記医師に付された前記マーカの位置に基づいて、前記映像を補正する、
　前記（１）～（６）のいずれか１つに記載の画像処理装置。
（８）
　前記位置関係検出部は、前記患者に対して挿入される手術器具の位置を検出し、
　前記映像制御部は、前記患者に対して挿入される手術器具の位置に基づいて、前記映像を補正する、
　前記（１）～（７）のいずれか１つに記載の画像処理装置。
（９）
　前記対象物と前記ユーザとを含む空間の任意の２点間を結ぶベクトルを基準ベクトルとして記憶する記憶部をさらに備え、
　前記映像制御部は、前記基準ベクトルに基づいて、前記映像を補正する、
　前記（１）～（８）のいずれか１つに記載の画像処理装置。
（１０）
　前記映像制御部は、前記基準ベクトルを前記映像に反映させ、かつ前記基準ベクトルと前記映像内における所定方向の角度が維持するように前記映像を補正する、
　前記（９）に記載の画像処理装置。
（１１）
　前記ユーザは医師であり、前記対象物は患者であり、
　前記基準ベクトルは、前記医師が前記患者に対して使用する手術器具が接触する任意の２点間を結ぶベクトルである、
　前記（９）に記載の画像処理装置。
（１２）
　前記撮像装置は、前記対象物の体腔に挿入される内視鏡であり、
　前記映像制御部は、前記内視鏡によって撮像された映像を、前記対象物に対する前記ユーザの位置関係に基づいて補正する、
　前記（１）～（１１）のいずれか１つに記載の画像処理装置。
（１３）
　前記撮像装置は、特定の操作装置が搭載されたドローンに設置された撮像装置であり、
　前記位置関係検出部は、前記操作装置のコントローラに対する位置関係を検出し、
　前記映像制御部は、前記ドローンに設置された前記撮像装置によって撮像された映像を前記コントローラに対する前記ユーザの位置関係に基づいて補正する、
　前記（１）～（１２）のいずれか１つに記載の画像処理装置。
（１４）
　前記映像制御部は、前記ドローンに設置された前記撮像装置によって撮像された映像を前記表示装置とは異なる他の表示装置に出力し、
　前記他の表示装置は、前記ユーザによって前記ドローンを操縦する際に使用される表示装置であって、
　前記表示装置は、前記ユーザとは異なる他のユーザによって、前記操作装置を操作する際に使用される表示装置である、
　前記（１３）に記載の画像処理装置。
（１５）
　前記操作装置は、マニュピレータである、
　前記（１４）に記載の画像処理装置。
（１６）
　対象物に対するユーザの位置関係を検出し、
　前記ユーザとは独立に制御される撮像装置が撮像した映像を、前記対象物に対する前記ユーザの位置関係に基づいて補正して表示装置に出力する、
　画像処理方法。
（１７）
　画像処理装置が備えるコンピュータを、
　対象物に対するユーザの位置関係を検出する位置関係検出部、
　前記ユーザとは独立に制御される撮像装置が撮像した映像を、前記対象物に対する前記ユーザの位置関係に基づいて補正して表示装置に出力する映像制御部、
　として機能させるためのプログラム。
　１　画像処理システム
　１０　対象物撮像装置
　１１　鏡筒部
　１２　対物レンズ
　１３　光学レンズ部
　１４　ヘッド部
　１５　撮像装置
　２０　ユーザ撮像装置
　３０，３０－１，３０－２　表示装置
　１００　画像処理装置
　１１０　制御部
　１１１　取得部
　１１２　位置関係検出部
　１１３　位置姿勢検出部
　１１４　映像制御部
　１２０　記憶部

Claims (17)

  1. 　対象物に対するユーザの位置関係を検出する位置関係検出部と、
    　前記ユーザとは独立に制御される撮像装置が撮像した映像を、前記対象物に対する前記ユーザの位置関係に基づいて補正して表示装置に出力する映像制御部と、
    　を備える画像処理装置。
  2. 　前記映像制御部は、前記対象物に対する前記ユーザの位置関係を前記映像の座標系に反映させるように前記映像を補正する、
    　請求項１に記載の画像処理装置。
  3. 　前記映像制御部は、前記撮像装置が撮像した前記映像を、前記対象物に対する前記ユーザの位置関係に応じて回転させる、
    　請求項２に記載の画像処理装置。
  4. 　前記撮像装置は、前記ユーザとは異なる他のユーザによって操作され、
    　前記映像制御部は、前記他のユーザによって操作された前記撮像装置が撮像した映像を補正する、
    　請求項１に記載の画像処理装置。
  5. 　前記位置関係検出部は、
    　前記対象物に対する前記ユーザの身体の位置を検出し、
    　前記映像制御部は、前記対象物に対する前記ユーザの身体の位置に基づいて前記映像を補正する、
    　請求項１に記載の画像処理装置。
  6. 　前記撮像装置の位置と姿勢とを検出する位置姿勢検出部をさらに備え、
    　前記映像制御部は、前記位置姿勢検出部の検出結果に基づいて、前記映像を補正する、
    　請求項１に記載の画像処理装置。
  7. 　前記ユーザは医師であり、前記対象物は患者であり、
    　前記位置関係検出部は、前記患者に対する手術中に前記医師に付されたマーカの位置を検出し、
    　前記映像制御部は、前記医師に付された前記マーカの位置に基づいて、前記映像を補正する、
    　請求項１に記載の画像処理装置。
  8. 　前記位置関係検出部は、前記患者に対して挿入される手術器具の位置を検出し、
    　前記映像制御部は、前記患者に対して挿入される手術器具の位置に基づいて、前記映像を補正する、
    　請求項７に記載の画像処理装置。
  9. 　前記対象物と前記ユーザとを含む空間の任意の２点間を結ぶベクトルを基準ベクトルとして記憶する記憶部をさらに備え、
    　前記映像制御部は、前記基準ベクトルに基づいて、前記映像を補正する、
    　請求項１に記載の画像処理装置。
  10. 　前記映像制御部は、前記基準ベクトルを前記映像に反映させ、かつ前記基準ベクトルと前記映像内における所定方向の角度が維持するように前記映像を補正する、
    　請求項９に記載の画像処理装置。
  11. 　前記ユーザは医師であり、前記対象物は患者であり、
    　前記基準ベクトルは、前記医師が前記患者に対して使用する手術器具が接触する任意の２点間を結ぶベクトルである、
    　請求項９に記載の画像処理装置。
  12. 　前記撮像装置は、前記対象物の体腔に挿入される内視鏡であり、
    　前記映像制御部は、前記内視鏡によって撮像された映像を、前記対象物に対する前記ユーザの位置関係に基づいて補正する、
    　請求項１に記載の画像処理装置。
  13. 　前記撮像装置は、特定の操作装置が搭載されたドローンに設置された撮像装置であり、
    　前記位置関係検出部は、前記操作装置のコントローラに対する位置関係を検出し、
    　前記映像制御部は、前記ドローンに設置された前記撮像装置によって撮像された映像を前記コントローラに対する前記ユーザの位置関係に基づいて補正する、
    　請求項１に記載の画像処理装置。
  14. 　前記映像制御部は、前記ドローンに設置された前記撮像装置によって撮像された映像を前記表示装置とは異なる他の表示装置に出力し、
    　前記他の表示装置は、前記ユーザによって前記ドローンを操縦する際に使用される表示装置であって、
    　前記表示装置は、前記ユーザとは異なる他のユーザによって、前記操作装置を操作する際に使用される表示装置である、
    　請求項１３に記載の画像処理装置。
  15. 　前記操作装置は、マニュピレータである、
    　請求項１４に記載の画像処理装置。
  16. 　対象物に対するユーザの位置関係を検出し、
    　前記ユーザとは独立に制御される撮像装置が撮像した映像を、前記対象物に対する前記ユーザの位置関係に基づいて補正して表示装置に出力する、
    　画像処理方法。
  17. 　画像処理装置が備えるコンピュータを、
    　対象物に対するユーザの位置関係を検出する位置関係検出部、
    　前記ユーザとは独立に制御される撮像装置が撮像した映像を、前記対象物に対する前記ユーザの位置関係に基づいて補正して表示装置に出力する映像制御部、
    　として機能させるためのプログラム。
PCT/JP2019/032332 2018-09-05 2019-08-19 画像処理装置、画像処理方法及びプログラム WO2020049993A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-166049 2018-09-05
JP2018166049 2018-09-05

Publications (1)

Publication Number Publication Date
WO2020049993A1 true WO2020049993A1 (ja) 2020-03-12

Family

ID=69722515

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/032332 WO2020049993A1 (ja) 2018-09-05 2019-08-19 画像処理装置、画像処理方法及びプログラム

Country Status (1)

Country Link
WO (1) WO2020049993A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06285021A (ja) * 1993-04-07 1994-10-11 Olympus Optical Co Ltd 内視鏡下外科手術装置
JP2003283889A (ja) * 2002-03-25 2003-10-03 Olympus Optical Co Ltd 映像撮影観察装置及び映像観察システム
JP2017163265A (ja) * 2016-03-08 2017-09-14 株式会社リコー 操縦支援システム、情報処理装置およびプログラム
WO2018025483A1 (ja) * 2016-08-03 2018-02-08 シャープ株式会社 映像出力システム、映像出力方法および制御装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06285021A (ja) * 1993-04-07 1994-10-11 Olympus Optical Co Ltd 内視鏡下外科手術装置
JP2003283889A (ja) * 2002-03-25 2003-10-03 Olympus Optical Co Ltd 映像撮影観察装置及び映像観察システム
JP2017163265A (ja) * 2016-03-08 2017-09-14 株式会社リコー 操縦支援システム、情報処理装置およびプログラム
WO2018025483A1 (ja) * 2016-08-03 2018-02-08 シャープ株式会社 映像出力システム、映像出力方法および制御装置

Similar Documents

Publication Publication Date Title
US9615890B2 (en) Surgical robot system and method of controlling the same
Qian et al. ARssist: augmented reality on a head‐mounted display for the first assistant in robotic surgery
JP5737796B2 (ja) 内視鏡操作システムおよび内視鏡操作プログラム
EP3104804B1 (en) Robotic control of surgical instrument visibility
EP3135444B1 (en) Robot arm apparatus, robot arm control method, and program
JP6150130B2 (ja) 内視鏡システム、内視鏡画像処理装置、画像処理方法、およびプログラム
WO2019181632A1 (en) Surgical assistance apparatus, surgical method, non-transitory computer readable medium and surgical assistance system
US10848667B2 (en) Reducing smoke occlusion in images from surgical systems
US20210290317A1 (en) Systems and methods for tracking a position of a robotically-manipulated surgical instrument
US11344180B2 (en) System, apparatus, and method for calibrating oblique-viewing rigid endoscope
JP6332524B2 (ja) 内視鏡システム、内視鏡画像処理装置、および画像処理方法
US20240268899A1 (en) System and method of displaying images from imaging devices
WO2016147778A1 (ja) 画像処理装置、方法、及びプログラム
CN114730454A (zh) 场景感知系统和方法
CN114126527A (zh) 复合医学成像系统和方法
US11992284B2 (en) Image based motion control correction
WO2020049993A1 (ja) 画像処理装置、画像処理方法及びプログラム
JP7480783B2 (ja) 内視鏡システム、制御装置、および制御方法
CN107920863B (zh) 用于控制包括成像模态的系统的设备和方法
US20220142721A1 (en) System and method for view restoration
WO2015110929A1 (en) Robotic control of an endoscope orientation
JP2021142175A (ja) 術野監視システム
CN116509540A (zh) 内窥镜运动控制方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19857535

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19857535

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP