JP7403895B1

JP7403895B1 - Treatment video tagging device

Info

Publication number: JP7403895B1
Application number: JP2023078206A
Authority: JP
Inventors: 隼一大谷
Original assignee: 株式会社クオトミー
Priority date: 2023-05-10
Filing date: 2023-05-10
Publication date: 2023-12-25
Anticipated expiration: 2043-05-10

Abstract

【課題】施術画像に、タグを自動的に設けることができる装置を提供する。【解決手段】施術動画が入力される施術動画入力部と、施術動画に含まれる医療機器である使用医療機器を分析し、使用医療機器に基づいて施術動画に使用医療機器に関するタグを設けるタグ設置部と、を有し、タグを設けられた施術動画であるタグ付き施術動画は、タグが設けられた部分から頭出しできるようになる、施術動画のタグ付け装置。【選択図】図１An object of the present invention is to provide a device that can automatically add a tag to a treatment image. [Solution] A treatment video input section into which the treatment video is input, and a tag installation that analyzes the medical equipment used, which is the medical equipment included in the treatment video, and adds a tag related to the medical device used to the treatment video based on the medical device used. A tagging device for a treatment video, which has a section and allows a tagged treatment video, which is a treatment video provided with a tag, to be cued from the portion where the tag is provided. [Selection diagram] Figure 1

Description

この発明は、施術動画のタグ付け装置などに関する。 The present invention relates to a treatment video tagging device and the like.

特開２００６－４３２０９号公報には、外科手術の動画記録装置が記載されている。この装置は、外科手術の施術行為または器具の名称データを格納し、インデックスタイトル格納部に存在する特定の施術行為または器具を選択指定し、操作タイミングに対応するインデックス画像を記録する。この装置は、外科手術の記録動画を速やかに検索可能な状態で保存可能とする。このため、この装置は、施術動画を検索可能とし、さらにインデックス画像を表示できるので有益である。しかしながら、この装置は、動画をひとつひとつ人が検索可能な状態とする必要がある。このため、この装置は、大量の施術動画を処理できない。 Japanese Unexamined Patent Publication No. 2006-43209 describes a video recording device for surgical operations. This device stores name data of surgical procedures or instruments, selects and designates a specific surgical procedure or instrument present in the index title storage section, and records an index image corresponding to the operation timing. This device allows video recordings of surgical procedures to be stored in a state where they can be quickly searched. Therefore, this device is useful because it allows searching for treatment videos and can display index images. However, this device needs to make each video searchable by a person. Therefore, this device cannot process a large amount of treatment videos.

特許第５０４４０６９号公報には、医用画像診断装置が記載されている。この装置は、時間スケール上の任意のタイミングで種類の栞データが関連付けられた施術動画を得ることができる。この栞は、動画にアクセスするためのマーカーである。この装置は、人が各動画について栞データを手入力する必要がある。このため、この装置は、大量の施術動画を処理できない。 Japanese Patent No. 5044069 describes a medical image diagnostic apparatus. This device can obtain a treatment video associated with different kinds of bookmark data at any timing on a time scale. This bookmark is a marker for accessing the video. This device requires a person to manually input bookmark data for each video. Therefore, this device cannot process a large amount of treatment videos.

特開２００６－４３２０９号公報Japanese Patent Application Publication No. 2006-43209 特許第５０４４０６９号公報Patent No. 5044069

この発明は、施術動画に自動的にタグを設けることができる装置を提供することを目的とする。
この発明は、施術動画の個人を特定する画像部位を視認できないようにできる装置を提供することを上記とは別の目的とする。 An object of the present invention is to provide a device that can automatically add tags to treatment videos.
Another object of the present invention is to provide a device that can make an image part that identifies an individual in a treatment video invisible.

この発明は、基本的には、施術動画に含まれる医療機器を画像解析することで、医療機器に基づいて、自動的に施術動画にタグを設けることができるという知見に基づく。また、この発明は、基本的には、個人を特定する画像部位を、視認できないようにすれば、施術動画をより容易にデータベース化できるため好ましいという知見に基づく。 This invention is basically based on the knowledge that a tag can be automatically provided to a treatment video based on the medical device by analyzing the image of the medical device included in the treatment video. Furthermore, the present invention is basically based on the knowledge that it is preferable to make the image part that identifies an individual invisible because it allows treatment videos to be more easily compiled into a database.

施術動画のタグ付け装置１は、施術動画入力部３と、タグ設置部５とを有する。施術動画入力部３は、施術動画が装置１に入力されるための要素である。タグ設置部５は、施術動画に含まれる医療機器（「使用医療機器」とよぶ）を分析し、使用医療機器に基づいて施術動画に使用医療機器に関するタグを設けるための要素である。タグを設けられた施術動画（「タグ付き施術動画」ともよぶ）は、タグが設けられた部分から頭出しできるようになる。 The treatment video tagging device 1 includes a treatment video input section 3 and a tag installation section 5. The treatment video input unit 3 is an element for inputting a treatment video into the device 1. The tag installation unit 5 is an element for analyzing the medical equipment (referred to as "used medical equipment") included in the treatment video and providing a tag related to the used medical equipment in the treatment video based on the used medical equipment. Treatment videos with tags (also referred to as ``tagged treatment videos'') can be cued from the part where the tags are provided.

タグ設置部７の好ましい例は、施術動画に基づいて、施術動画の施術工程である実施施術工程を分析し、施術動画に実施施術工程に関するタグをさらに設けることができるものである。すると、タグを設けた施術動画は、実施施術工程に関する施術工程名を用いて、施術動画を実施施術工程に関するタグが設けられた部分から頭出しできる。 A preferred example of the tag installation unit 7 is one that can analyze the actual treatment process, which is the treatment process of the treatment video, based on the treatment video, and further provide a tag related to the actual treatment process to the treatment video. Then, the treatment video provided with the tag can be cued from the portion where the tag related to the actual treatment step is provided using the treatment step name related to the actual treatment step.

タグ設置部７の好ましい例は、施術動画に基づいて、施術動画の施術術式である実施施術術式を分析し、施術動画に実施施術の術式に関する識別情報を施術動画に付加することができるものである。すると、実施施術の術式に関する識別情報を付加した施術動画は、実施施術術式に関する施術術式名を用いて、施術動画を検索できるようなる。 A preferable example of the tag installation unit 7 is to analyze the actual treatment method, which is the treatment method of the treatment video, based on the treatment video, and add identification information regarding the surgical method of the performed treatment to the treatment video. It is possible. Then, the treatment video to which identification information regarding the surgical technique of the performed treatment is added can be searched using the treatment name related to the performed treatment method.

タグ設置部７の好ましい例は、施術動画における使用医療機器部分に、当該使用医療機器に関する情報を表示するためのリンク情報をさらに付加することができるものである。 A preferred example of the tag installation unit 7 is one that can further add link information for displaying information regarding the medical device used in the medical device used in the treatment video.

施術動画のタグ付け装置１の好ましい例は、人特定部位除去部７をさらに有する。人特定部位７は、施術動画に含まれる患者又は医療従事者を特定する画像部位である人特定部位を分析し、施術動画に人特定部位が含まれている場合、人特定部位を視認できないように施術動画を加工するための要素である。 A preferred example of the treatment video tagging device 1 further includes a person specific part removal section 7. The person-specific part 7 analyzes the person-specific part, which is an image part that identifies the patient or medical worker included in the treatment video, and prevents the person-specific part from being visible if the treatment video includes the person-specific part. This is an element for processing treatment videos.

この明細書に記載される別の発明は、コンピュータを上記の施術動画のタグ付け装置として機能させるためのプログラムや、そのようなプログラムを記憶したコンピュータが読み取り可能な非一時的記録媒体に関する。 Another invention described in this specification relates to a program for causing a computer to function as the above-mentioned treatment video tagging device, and a computer-readable non-temporary recording medium storing such a program.

この発明によれば、施術動画に含まれる医療機器を画像解析することで、医療機器に基づいて、自動的に施術動画にタグを設けることができる。また、この発明の好ましい態様は、個人を特定する画像部位を、視認できないようにできるので、施術動画をより容易にデータベース化できる。 According to this invention, by performing image analysis of the medical equipment included in the treatment video, it is possible to automatically provide a tag to the treatment video based on the medical device. Furthermore, in a preferred embodiment of the present invention, image parts that identify an individual can be made invisible, so that treatment videos can be more easily compiled into a database.

図１は、施術動画のタグ付け装置を説明するためのブロック図である。FIG. 1 is a block diagram for explaining a treatment video tagging device. 図２は、施術動画に対してタグ付けを行う際の例を示すフローチャートである。FIG. 2 is a flowchart showing an example of tagging a treatment video. 図３は、タグが付与された施術動画の例を示す概念図である。FIG. 3 is a conceptual diagram showing an example of a treatment video to which tags have been added. 図４は、施術動画における医療機器部分に医療機器に関する情報へアクセスするための情報が付与された例を示す概念図である。FIG. 4 is a conceptual diagram showing an example in which information for accessing information regarding the medical device is added to the medical device portion of the treatment video.

以下，図面を用いて本発明を実施するための形態について説明する。本発明は，以下に説明する形態に限定されるものではなく，以下の形態から当業者が自明な範囲で適宜修正したものも含む。 EMBODIMENT OF THE INVENTION Hereinafter, the form for implementing this invention is demonstrated using drawing. The present invention is not limited to the embodiments described below, but also includes modifications made from the following embodiments as appropriate within the range obvious to those skilled in the art.

図１は、施術動画のタグ付け装置を説明するためのブロック図である。図１に示されるように、この施術動画のタグ付け装置１は、施術動画入力部３と、タグ設置部５とを有する。この装置１は、人特定部位除去部７をさらに有してもよい。この装置１は、医療機器記憶部１１、手情報記憶部１３、施術工程記憶部１５、施術対象部位記憶部１７、施術術式記憶部１９、及び人特定部位記憶部２１のうちいずれか又は２つ以上をさらに有してもよい。施術動画のタグ付け装置１は、コンピュータにより実装される。つまり、施術動画のタグ付け装置１を構成する各要素は、コンピュータにより実装されればよい。 FIG. 1 is a block diagram for explaining a treatment video tagging device. As shown in FIG. 1, this treatment video tagging device 1 includes a treatment video input section 3 and a tag installation section 5. This device 1 may further include a person specific part removing section 7. This device 1 includes any one or two of a medical device storage section 11, a hand information storage section 13, a treatment process storage section 15, a treatment target region storage section 17, a treatment method storage section 19, and a person specific region storage section 21. There may be more than one. The treatment video tagging device 1 is implemented by a computer. That is, each element constituting the treatment video tagging device 1 may be implemented by a computer.

コンピュータは，入力部，出力部，制御部，演算部及び記憶部を有しており，各要素は，バスなどによって接続され，情報の授受を行うことができるようにされている。例えば，記憶部には，制御プログラムが記憶されていてもよいし，各種情報が記憶されていてもよい。入力部から所定の情報が入力された場合，制御部は，記憶部に記憶される制御プログラムを読み出す。そして，制御部は，適宜記憶部に記憶された情報を読み出し，演算部へ伝える。また，制御部は，適宜入力された情報を演算部へ伝える。演算部は，受け取った各種情報を用いて演算処理を行い，記憶部に記憶する。制御部は，記憶部に記憶された演算結果を読み出して，出力部から出力する。このようにして，各種処理や各工程が実行される。この各種処理を実行するものが，各部や各手段である。コンピュータは，プロセッサを有し，プロセッサが各種機能や各種工程を実現するものであってもよい。コンピュータは，スタンドアロンであってもよい。コンピュータは，機能の一部がサーバと端末に分散されていてもよい。その場合サーバと端末とは，インターネットやイントラネットなどのネットワークにより，情報の授受を行うことができるようにされていることが好ましい。コンピュータは、プロセッサと、プロセッサに連結されたメモリと、を備えていてもよい。そして、メモリが、命令を格納しており、命令は、プロセッサによって実行されると、コンピュータに、各種工程を行わせたり、コンピュータを各種要素として機能させるものであってもよい。コンピュータは、各種教師データを与えて学習モデルを構築し、機械学習により各種演算を実現するようにしてもよい。この場合、コンピュータは、ＡＩ（人工知能）の機械学習・深層学習により作成された学習モデルを用いて各種解析や分析を実行してもよい。 A computer has an input section, an output section, a control section, a calculation section, and a storage section, and each element is connected by a bus or the like so that information can be exchanged. For example, the storage unit may store a control program or various information. When predetermined information is input from the input section, the control section reads out a control program stored in the storage section. Then, the control section reads out the information stored in the storage section as appropriate and transmits it to the calculation section. Further, the control section transmits appropriately input information to the calculation section. The arithmetic unit performs arithmetic processing using the received various information and stores it in the storage unit. The control section reads out the calculation result stored in the storage section and outputs it from the output section. In this way, various processes and steps are executed. Each unit or means executes these various processes. A computer may include a processor, and the processor may implement various functions and processes. A computer may be standalone. A part of a computer's functions may be distributed between a server and a terminal. In this case, it is preferable that the server and the terminal be able to exchange information over a network such as the Internet or an intranet. A computer may include a processor and memory coupled to the processor. The memory stores instructions, and the instructions, when executed by the processor, may cause the computer to perform various steps or function as various elements. The computer may be provided with various training data to construct a learning model and implement various calculations through machine learning. In this case, the computer may perform various analyzes using a learning model created by machine learning/deep learning of AI (artificial intelligence).

コンピュータの記憶部には、例えば、動画を解析する際に利用する解析用モデル（学習済モデル）が記憶されていてもよい。解析用モデルは、手術に使用される医療機器（機器の位置変化を含んでよい）と、医療機器が使用される術式、及び施術工程とを学習したモデルであることが好ましい。なお、解析用モデルは、更に、施術動画に含まれる手又は腕の位置（手又は腕の位置変化を含んでよい）と、手又は腕の位置に対応する術式、及び施術工程とを学習したモデルであってもよい。コンピュータは、手術を撮影した施術動画を解析し、施術動画データに含まれる手術の術式の同定及び施術工程の分類の少なくとも一方を行うことが好ましい。コンピュータは、施術動画から、手術で使用される医療機器と、医療器の位置（位置変化を含んでよい）から工程を分類するようにしてよい。また、コンピュータは、手術で使用される医療機器に加えて、医療機器を扱う手又は腕の位置変化から施術工程を分類するようにしてよい。また、順序を含む施術工程の組み合わせから術式を同定することが可能であるため、コンピュータはは、分類した順序を含む工程の組み合わせに基づいて手術の術式を同定してもよい。この際、順序を含む工程の組み合わせと術式とを対応付けた情報を参照して手術の術式を同定してもよい。このようにコンピュータは、機械学習により各種学習モデルを学習させ、学習させたモデルを用いて、各種処理を行うようにしてもよい。 The storage unit of the computer may store, for example, an analysis model (a learned model) used when analyzing a video. The analytical model is preferably a model that has learned the medical equipment used in the surgery (which may include changes in the position of the equipment), the surgical procedure in which the medical equipment is used, and the surgical process. The analysis model further learns the position of the hand or arm included in the treatment video (which may include changes in the position of the hand or arm), the surgical technique corresponding to the position of the hand or arm, and the treatment process. It may be a model with Preferably, the computer analyzes a surgical procedure video taken of a surgery, and performs at least one of identifying the surgical technique and classifying the surgical steps included in the surgical procedure video data. The computer may classify the process based on the medical equipment used in the surgery and the position (which may include a change in position) of the medical equipment from the surgical video. In addition to the medical equipment used in the surgery, the computer may classify the surgical process based on changes in the position of the hand or arm handling the medical equipment. Furthermore, since it is possible to identify a surgical technique from a combination of surgical steps including the order, the computer may identify the surgical technique based on a combination of steps including the classified order. At this time, the surgical technique may be identified by referring to information that associates the combination of steps including the order with the surgical technique. In this way, the computer may learn various learning models through machine learning, and perform various processes using the learned models.

施術動画のタグ付け装置１は、施術動画の所定カ所から施術動画を視聴できるように頭出しするためのタグを施術動画に付与するための装置である。
施術動画は、手術や施術に関する動画であればよい。手術の例は、外科手術である。施術の例は、エステやマッサージである。
タグは、インデックスや栞などともよばれ、タグが付加された部分から動画を視聴できるようにするために動画に付された情報である。なお、この装置１は、施術動画を、タグを利用して検索できるようにすることが好ましい。例えば、ある施術のある工程で、ある医療機器が用いられる際から動画を視聴できるようになる。タグは、例えば、施術動画においてある医療機器が用いられた際の医療機器名と関連して記憶部に記憶されることが好ましい。そして、施術動画の表示には、タグ部分と合わせて、そのタグと関連して記憶された医療機器の名称が表示されるようにしてもよい。タグを設けた施術動画は、使用医療機器に関する医療機器名を用いて、施術動画を使用医療機器に関するタグが設けられた部分から頭出しできるようになる。 The treatment video tagging device 1 is a device for adding a tag to a treatment video for locating the beginning of the treatment video so that the treatment video can be viewed from a predetermined location in the treatment video.
The procedure video may be any video related to surgery or treatment. An example of surgery is surgery. Examples of treatments are esthetics and massage.
A tag is also called an index or a bookmark, and is information added to a video so that the video can be viewed from the part to which the tag is added. Note that it is preferable that this device 1 allows the treatment videos to be searched using tags. For example, it will be possible to watch a video from when a certain medical device is used in a certain process of a certain treatment. It is preferable that the tag is stored in the storage unit in association with, for example, the name of a medical device when a certain medical device is used in a treatment video. Then, in the display of the treatment video, the name of the medical device stored in association with the tag may be displayed together with the tag part. For treatment videos with tags, using the medical device name related to the medical device used, it is possible to cue up the treatment video from the portion where the tag related to the medical device used is provided.

施術動画入力部３は、施術動画が入力される要素である。施術動画のタグ付け装置１は、動画を撮影する撮影部（例えば、カメラやビデオカメラ）と接続されており、施術動画が撮影されると、施術動画のタグ付け装置１に、施術動画が入力されてもよい。また、施術動画のタグ付け装置１に、施術動画に関する動画ファイルが、ドラックアンドドロップにぃより、入力されてもよい。さらに、施術動画のタグ付け装置１がインターネット上の施術動画を検索し、ヒットした施術動画を自動的に入力するようにしてもよい。このようにして、施術動画のタグ付け装置１に、施術動画が入力される。 The treatment video input unit 3 is an element into which a treatment video is input. The treatment video tagging device 1 is connected to a shooting unit (for example, a camera or a video camera) that shoots a video, and when a treatment video is shot, the treatment video is input to the treatment video tagging device 1. may be done. Further, a video file related to a treatment video may be input to the treatment video tagging device 1 by drag-and-drop. Furthermore, the treatment video tagging device 1 may search for treatment videos on the Internet and automatically input the hit treatment videos. In this way, the treatment video is input to the treatment video tagging device 1.

タグ設置部５は、施術動画に含まれる医療機器である使用医療機器を分析し、使用医療機器に基づいて施術動画に使用医療機器に関するタグを設けるための要素である。この装置１は、医療機器記憶部１１をさらに有する。医療機器記憶部１１は、医療機器の名称、及び医療機器の画像データを関連付けて記憶する。医療機器記憶部１１は、さらに医療機器のＩＤを記憶してもよい。タグ設置部５は、例えば、各種医療機器に関する画像データを機械学習し、医療機器に関する学習モデルを作成して、記憶部に記憶しておいてもよい。そして、タグ設置部５は、医療機器に関する学習モデルを用いて、施術動画に含まれる医療機器を解析してもよい。タグ設置部５は、例えば、各種施術工程や各種施術に関する動画データを機械学習し、各種施術工程や各種施術に関する学習モデルを作成し、記憶部に記憶しておいてもよい。そして、タグ設置部５は、各種施術工程や各種施術に関する学習モデルを用いて、施術動画における各施術工程や、施術動画に関する実施施術を分析してもよい。 The tag installation unit 5 is an element for analyzing the medical device used, which is a medical device included in the treatment video, and providing a tag related to the medical device used in the treatment video based on the medical device used. This device 1 further includes a medical device storage section 11. The medical device storage unit 11 stores the name of the medical device and the image data of the medical device in association with each other. The medical device storage unit 11 may further store the ID of the medical device. The tag installation unit 5 may, for example, perform machine learning on image data related to various medical devices, create a learning model related to the medical device, and store it in the storage unit. Then, the tag installation unit 5 may analyze the medical device included in the treatment video using the learning model related to medical devices. The tag installation unit 5 may, for example, perform machine learning on video data regarding various treatment processes and various treatments, create learning models regarding various treatment processes and various treatments, and store the learning models in the storage unit. Then, the tag installation unit 5 may analyze each treatment step in the treatment video and the performed treatment related to the treatment video using various treatment steps and learning models related to various treatments.

タグ設置部５は、例えば、記憶部から施術動画に含まれる画像（施術画像）を読み出すとともに、医療機器記憶部１１から医療機器の画像データを読み出す。そして、タグ設置部５は、施術画像と、第１の医療機器の画像データとを照合する。タグ設置部５は、施術画像に第１の医療機器の画像データが含まれると判断した場合は、第１の医療機器を使用医療機器と判断する。タグ設置部５による施術画像と第１の医療機器の画像データとを用いた照合処理の結果、タグ設置部５が施術画像に第１の医療機器が含まれないと判断した場合、タグ設置部５は、医療機器記憶部１１から次の医療機器である第２の医療機器の画像データを読み出す。そして、タグ設置部５は、この施術画像と医療機器の画像データとの照合処理を、繰り返す。このようにすることで、タグ設置部５は、施術動画に含まれる画像における医療機器を特定できる。つまり、タグ設置部５は、施術動画における、あるタイミングで使用された医療機器を特定できる。 For example, the tag installation unit 5 reads out an image (treatment image) included in the treatment video from the storage unit, and reads image data of a medical device from the medical device storage unit 11, for example. Then, the tag installation unit 5 compares the treatment image with the image data of the first medical device. When determining that the treatment image includes image data of the first medical device, the tag installation unit 5 determines that the first medical device is the used medical device. As a result of the matching process performed by the tag installation unit 5 using the treatment image and the image data of the first medical device, if the tag installation unit 5 determines that the treatment image does not include the first medical device, the tag installation unit 5 5 reads image data of a second medical device, which is the next medical device, from the medical device storage unit 11. Then, the tag installation unit 5 repeats the process of comparing this treatment image with the image data of the medical device. By doing so, the tag installation unit 5 can identify the medical device in the image included in the treatment video. That is, the tag installation unit 5 can identify the medical equipment used at a certain timing in the treatment video.

タグ設置部５の好ましい例は、施術動画（施術画像）に含まれる施術者の手を画像解析するとともに、施術者の手で把持されている医療機器を、使用医療機器とするものである。例えば、施術動画には、施術に使用されていない医療機器が含まれている場合がある。この例では、そのような場合であっても、施術に実際に使用されている医療機器に関してタグを設けることができる。この例では、施術動画のタグ付け装置１が、手情報記憶部１３を有していてもよい。すると、タグ設置部５は、例えば、記憶部から施術動画に含まれる画像（施術画像）を読み出すとともに、手情報記憶部１３から手の画像データを読み出す。そして、タグ設置部５は、施術画像と、手の画像データとを照合する。このようにすれば、施術動画に含まれる画像（施術画像）における施術者の手を把握できる。そして、施術動画（施術画像）に複数の医療機器が含まれている場合、タグ設置部５は、施術動画（施術画像）のうち施術者の手に近い医療機器を使用医療機器としてもよい。また、手情報記憶部１３が、医療機器を把持している状態の手の画像データを記憶する場合、その状態の手に把持されていると分析される医療機器を使用医療機器としてもよい。 A preferred example of the tag installation unit 5 is one that performs an image analysis of the practitioner's hand included in the treatment video (treatment image) and uses the medical device held by the practitioner's hand as the medical device to be used. For example, a treatment video may include medical equipment that is not used in the treatment. In this example, even in such a case, tags can be provided for medical equipment actually used in the treatment. In this example, the treatment video tagging device 1 may include the hand information storage section 13. Then, the tag installation unit 5 reads, for example, an image (treatment image) included in the treatment video from the storage unit, and also reads hand image data from the hand information storage unit 13. Then, the tag installation unit 5 compares the treatment image with the hand image data. In this way, it is possible to understand the hands of the practitioner in the images (treatment images) included in the treatment video. When a plurality of medical devices are included in the treatment video (treatment image), the tag installation unit 5 may select the medical device closest to the practitioner's hand in the treatment video (treatment image) as the medical device to be used. Furthermore, when the hand information storage unit 13 stores image data of a hand in a state where a medical device is being held, a medical device that is analyzed as being held in the hand in that state may be used as the medical device to be used.

タグ設置部５の好ましい例は、施術動画（施術画像）に含まれる施術者の手と助手の手を画像解析するとともに、施術者の手で把持されている医療機器を、使用医療機器とするものである。タグ設置部５は、例えば、記憶部から施術動画に含まれる画像（施術画像）を読み出すとともに、手情報記憶部１３から手の画像データを読み出す。そして、タグ設置部５は、施術画像と、手の画像データとを照合する。タグ設置部５は、施術画像に複数の手が含まれる場合、施術画像における手の位置や、施術画像における手の近くの医療機器に関する情報を用いて、いずれの手が施術者の手であるか分析してもよい。例えば、手情報記憶部１３には、右手の画像データと、左手の画像データとが記憶されている。そして、タグ設置部５は、右手の画像データと、左手の画像データとを用いて、施術画像に含まれる手が右手のものか左手のものか分析する。そのうえで、例えば、タグ設置部５は、複数の手の組のうち、画像の中央からの距離が小さい組を、施術者の手（の組）と判断すればよい。また、画面の中央からの距離が大きい組を助手の手（の組）と判断すればよい。そして、タグ設置部５は、施術画像に含まれる施術者の手に近いか、又は施術者の手に把持されていると画像解析される医療機器を、施術者が使用する医療機器と分析し、記憶部に記憶してもよい。また、タグ設置部５は、施術画像に含まれる助手の手に近いか、又は助手の手に把持されていると画像解析される医療機器を、助手が使用する医療機器と分析し、記憶部に記憶してもよい。 A preferred example of the tag installation unit 5 is to analyze the images of the hands of the practitioner and the hands of the assistant included in the treatment video (treatment image), and to select the medical device held by the hands of the practitioner as the medical device to be used. It is something. For example, the tag installation unit 5 reads out images (treatment images) included in the treatment video from the storage unit, and reads hand image data from the hand information storage unit 13. Then, the tag installation unit 5 compares the treatment image with the hand image data. When a treatment image includes a plurality of hands, the tag installation unit 5 identifies which hand is the practitioner's hand using information regarding the position of the hand in the treatment image and medical equipment near the hand in the treatment image. You can also analyze it. For example, the hand information storage unit 13 stores right hand image data and left hand image data. Then, the tag installation unit 5 uses the right hand image data and the left hand image data to analyze whether the hand included in the treatment image is the right hand or the left hand. Then, for example, the tag installation unit 5 may determine, among the plurality of hands, a set having a short distance from the center of the image as the (set of) hands of the practitioner. Further, the set having a large distance from the center of the screen may be determined to be (the set of) the assistant's hands. Then, the tag installation unit 5 analyzes a medical device included in the treatment image that is image-analyzed as being close to the practitioner's hand or being held in the practitioner's hand as a medical device used by the practitioner. , may be stored in the storage unit. In addition, the tag installation unit 5 analyzes a medical device included in the treatment image that is image-analyzed as being close to the assistant's hand or being held in the assistant's hand as a medical device used by the assistant, and stores it in the storage unit. It may be stored in

施術工程は、施術における各工程を意味する。施術工程の例は、展開（例：腰椎展開）、固定、スクリュー挿入、除圧、椎間板操作、及び閉創である。施術工程は、これらの例に限られず、各種手術や処置における様々な工程であって良い。 The treatment process means each step in the treatment. Examples of procedure steps are deployment (eg, lumbar deployment), fixation, screw insertion, decompression, disc manipulation, and wound closure. The treatment process is not limited to these examples, and may be various processes in various surgeries and treatments.

タグ設置部５は、例えば、施術動画（施術画像）に含まれる医療機器の種類に基づいて、施術工程を分析してもよい。タグ設置部５は、例えば、施術動画（施術画像）に含まれる医療機器の動きに基づいて、施術工程を分析してもよい。タグ設置部５は、例えば、施術動画（施術画像）に含まれる医療機器と施術対象部位の種類に基づいて、施術工程を分析してもよい。タグ設置部５は、例えば、施術動画（施術画像）に含まれる医療機器のうち、施術者が使用する医療機器と、助手が使用する医療機器に関する情報から、施術工程を分析してもよい。 The tag installation unit 5 may analyze the treatment process based on the type of medical equipment included in the treatment video (treatment image), for example. The tag installation unit 5 may, for example, analyze the treatment process based on the movement of the medical equipment included in the treatment video (treatment image). The tag installation unit 5 may analyze the treatment process, for example, based on the type of medical equipment and treatment target site included in the treatment video (treatment image). The tag installation unit 5 may, for example, analyze the treatment process based on information regarding the medical devices used by the practitioner and the medical devices used by the assistant among the medical devices included in the treatment video (treatment image).

施術工程記憶部１５は、施術工程と、医療機器とを関連付けて記憶する。タグ設置部５は、記憶部から使用医療機器に関する情報を読み出し、施術工程記憶部１５から使用医療機器と関連付けて記憶されている施術工程を読み出せばよい。このように、タグ設置部５は、施術工程を分析するために必要な情報を記憶した施術工程記憶部１５から、施術工程を分析するために必要な情報を用いて、施術工程を読み出せばよい。例えば、施術工程記憶部１５が、施術者が使用する医療機器と、助手が使用する医療機器と関連して、施術工程を記憶しているとする。この場合、タグ設置部５は、記憶部から施術者が使用する医療機器と、助手が使用する医療機器とを読み出して、施術工程記憶部１５が、これらの情報と関連して記憶する施術工程を読み出す。読み出した施術工程は、適宜記憶部に記憶されてもよい。 The treatment process storage unit 15 stores treatment processes and medical equipment in association with each other. The tag installation unit 5 may read information regarding the medical equipment used from the storage unit, and may read out the treatment process stored in association with the medical equipment used from the treatment process storage unit 15. In this way, the tag installation unit 5 reads out the treatment process using the information necessary to analyze the treatment process from the treatment process storage unit 15 that stores the information necessary to analyze the treatment process. good. For example, assume that the treatment process storage unit 15 stores treatment processes in association with medical equipment used by a practitioner and medical equipment used by an assistant. In this case, the tag installation unit 5 reads out the medical equipment used by the practitioner and the medical equipment used by the assistant from the storage unit, and the treatment process storage unit 15 stores the treatment process stored in association with these pieces of information. Read out. The read treatment process may be stored in the storage unit as appropriate.

表１は、施術工程記憶部を説明するための概念図である。表１に示されるように、施術工程記憶部１５は、施術工程と、医療機器と関連付けて記憶する。また、表１に示されるように、施術工程記憶部１５は、施術工程と、医療機器及び対象部位とを関連付けて記憶してもよい。このようにすることで、装置１は、医療機器に関する情報を用いて、施術工程記憶部１５から、実施施術工程を読み出すことができる。例えば、表１の例では、使用医療機器がＡ１、Ａ２、Ａ３及びＡ４の場合、実施施術工程として、Ａが読み出されてもよい。また、表１の例では、使用医療機器がＡ１、Ａ２、Ａ３及びＡ４であり、対象部位がＡ５の場合、実施施術工程として、Ａが読み出されてもよい。 Table 1 is a conceptual diagram for explaining the treatment process storage section. As shown in Table 1, the treatment process storage unit 15 stores treatment processes in association with medical equipment. Further, as shown in Table 1, the treatment process storage unit 15 may store the treatment process, medical equipment, and target site in association with each other. By doing so, the apparatus 1 can read the performed treatment process from the treatment process storage unit 15 using information regarding the medical device. For example, in the example of Table 1, when the medical devices used are A1, A2, A3, and A4, A may be read as the performed treatment step. Further, in the example of Table 1, if the medical devices used are A1, A2, A3, and A4, and the target region is A5, A may be read as the performed treatment step.

施術対象部位記憶部１７は、例えば、施術の際の対象部位と、その対象部位の画像とを関連付けて記憶したものである。タグ設置部５は、例えば、施術動画（施術画像）に含まれる画像と、施術対象部位記憶部１７に記憶された対象部位の画像とを照合することで、施術動画（施術画像）に含まれる施術対象部位を特定すればよい。施術対象部位の例は、大腿骨、鎖骨、頭蓋骨、大腸、小腸、及び目である。このような照合作業は、機械学習を用いることで、タグ設置部５が行うことができる。 The treatment target site storage unit 17 stores, for example, a target site for treatment and an image of the target site in association with each other. For example, the tag installation unit 5 compares the images included in the treatment video (treatment image) with the images of the target area stored in the treatment target area storage unit 17, thereby identifying the images included in the treatment video (treatment image). All you have to do is specify the area to be treated. Examples of treatment target sites include the femur, collarbone, skull, large intestine, small intestine, and eyes. Such verification work can be performed by the tag installation unit 5 using machine learning.

タグ設置部７の好ましい例は、施術動画に基づいて、施術動画の施術術式である実施施術術式を分析し、施術動画に実施術式に関するタグをさらに設けることができるものである。すると、タグを設けた施術動画は、実施施術工程に関する施術術式名を用いて、施術動画を検索できるようにできる。施術術式記憶部１９は、複数の施術工程と関連して施術術式を記憶してもよい。また、施術術式記憶部１９は、複数の施術工程及び複数の医療機器と関連して、施術術式を記憶してもよい。タグ設置部７は、施術術式記憶部１９から施術動画に関する施術工程及び複数の医療機器に関する情報を読み出して、施術術式記憶部１９と照合し、これらの施術工程や医療機器と関連して記憶されている施術術式を読み出せばよい。読み出した施術術式は、施術動画と関連して、記憶部に記憶されればよい。 A preferable example of the tag installation unit 7 is one that can analyze the actual treatment technique, which is the treatment technique of the treatment video, based on the treatment video, and further provide a tag related to the actual treatment technique to the treatment video. Then, the treatment videos provided with the tags can be searched using the treatment ceremony name related to the actual treatment process. The treatment formula storage unit 19 may store treatment formulas in association with a plurality of treatment steps. Further, the treatment formula storage unit 19 may store treatment formulas in association with a plurality of treatment steps and a plurality of medical devices. The tag installation unit 7 reads information regarding the treatment process related to the treatment video and a plurality of medical devices from the treatment type storage unit 19, collates the information with the treatment type storage unit 19, and stores information related to these treatment processes and medical devices. All you have to do is read out the stored treatment formula. The read treatment formula may be stored in the storage unit in association with the treatment video.

表２は、施術術式記憶部を説明するための概念図である。表２に示されるように、施術術式記憶部１９は、施術術式と、施術工程及び医療機器とを関連付けて記憶する。また、表２に示されるように、施術術式記憶部１９は、施術術式と、施術工程、医療機器及び対象部位とを関連付けて記憶してもよい。このようにすることで、装置１は、必要な情報を用いて、施術術式記憶部１９から、実施施術術式を読み出すことができる。例えば、表２の例では、施術工程がＢ１、Ｂ２、Ｂ３及びＢ４であり、使用医療機器がＢ５、Ｂ６、Ｂ７及びＢ８の場合、実施施術術式として、Ｂが読み出されてもよい。また、表２の例では、施術工程がＢ１、Ｂ２、Ｂ３及びＢ４であり、使用医療機器がＢ５、Ｂ６、Ｂ７及びＢ８であり、対象部位がＢ９の場合、実施施術術式として、Ｂが読み出されてもよい。 Table 2 is a conceptual diagram for explaining the treatment formula storage section. As shown in Table 2, the treatment formula storage unit 19 stores treatment formulas, treatment steps, and medical equipment in association with each other. Further, as shown in Table 2, the treatment formula storage unit 19 may store the treatment formula, treatment process, medical device, and target site in association with each other. By doing so, the apparatus 1 can read the performed treatment formula from the treatment formula storage unit 19 using the necessary information. For example, in the example of Table 2, if the treatment steps are B1, B2, B3, and B4, and the medical devices used are B5, B6, B7, and B8, B may be read as the performed treatment formula. In addition, in the example of Table 2, if the treatment steps are B1, B2, B3, and B4, the medical devices used are B5, B6, B7, and B8, and the target area is B9, B is the treatment method to be performed. May be read.

タグ設置部７の好ましい例は、施術動画における使用医療機器部分に、当該使用医療機器に関する情報を表示するためのリンク情報をさらに付加することができるものである。施術動画のタグ付け装置１は、例えば、記憶部に、医療機器と関連して、医療機器に関する説明文、説明画像、説明資料、ウェブサイトへのアクセス情報（ＵＲＬ）、購入情報を記憶する。そして、施術動画のタグ付け装置１は、施術動画の施術画像において、医療機器部分を把握する。タッチパネルや、マウスによる指示により、医療機器部分が支持された場合、施術動画のタグ付け装置１に、使用医療機器を指示する入力がなされる。すると、施術動画のタグ付け装置１は、記憶部から記憶された使用医療機器に関するリンク情報を読み出し、リンク情報と関連するデータを読み出したり、リンク情報と関連したウェブサイトへアクセスできるようにされる。すると、ユーザの表示部に、使用医療機器に関する情報が表示されることとなる。このようにすれば、例えば、施術動画を視認したユーザが、実際に使用された医療機器の情報を受け取ったり、すぐにその医療機器を購入したりできることとなる。 A preferred example of the tag installation unit 7 is one that can further add link information for displaying information regarding the medical device used in the medical device used in the treatment video. The treatment video tagging device 1 stores, for example, explanatory text, explanatory images, explanatory materials, website access information (URL), and purchase information related to the medical device in the storage unit. Then, the treatment video tagging device 1 identifies the medical device portion in the treatment image of the treatment video. When a medical device part is supported by an instruction using a touch panel or a mouse, an input indicating the medical device to be used is made to the treatment video tagging device 1. Then, the treatment video tagging device 1 reads the stored link information regarding the medical equipment used from the storage unit, reads out data related to the link information, and allows access to a website related to the link information. . Then, information regarding the medical device used will be displayed on the user's display unit. In this way, for example, a user who views a medical treatment video can receive information about the medical device that was actually used and can immediately purchase the medical device.

施術動画のタグ付け装置１の好ましい例は、人特定部位除去部７をさらに有する。人特定部位７は、施術動画に含まれる患者又は医療従事者を特定する画像部位である人特定部位を分析し、施術動画に人特定部位が含まれている場合、人特定部位を視認できないように施術動画を加工するための要素である。人特定部位除去部７をさらに有するため、施術動画（施術画像）に、患者の顔、入れ墨、医療従事者の顔、ネームプレート、病院名、などが含まれている場合に、これをマスクしたり、モザイクをかけたりして、匿名性を担保することができる。このようにすれば、大量の動画を、匿名性を高めたうえで、データベース化できることとなる。人特定部位の例は、患者の顔、入れ墨、医療従事者の顔、ネームプレート、及び病院名である。 A preferred example of the treatment video tagging device 1 further includes a person specific part removal section 7. The person-specific part 7 analyzes the person-specific part, which is an image part that identifies the patient or medical worker included in the treatment video, and prevents the person-specific part from being visible if the treatment video includes the person-specific part. This is an element for processing treatment videos. Since it further includes a person specific part removal section 7, if the treatment video (treatment image) includes the patient's face, tattoo, medical worker's face, name plate, hospital name, etc., this can be masked. Anonymity can be ensured by using a mosaic or a mosaic. In this way, a large amount of videos can be compiled into a database with enhanced anonymity. Examples of person-specific parts are a patient's face, a tattoo, a medical worker's face, a name plate, and a hospital name.

例えば、人特定部位除去部７は、過去の施術動画と、施術動画の人特定部位を特定した例、施術動画における人特定部位を視認できないように加工した例を教師データとして、学習モデルを構築し、機械学習する。そして、人特定部位除去部７は、機械学習により得られた学習モデルを用いて、入力された施術動画について、施術動画の人特定部位を特定し、施術動画における人特定部位を視認できないように加工すればよい。施術動画のタグ付け装置１は、加工後の施術動画を適宜記憶部に記憶すればよい。 For example, the person-specific part removal unit 7 constructs a learning model using past treatment videos, examples of identifying person-specific parts of the treatment videos, and examples of processing the person-specific parts of the treatment videos so that they are not visible as training data. and machine learning. Then, using the learning model obtained by machine learning, the person-specific part removal unit 7 identifies the person-specific parts of the input treatment video in the treatment video, and makes the person-specific parts in the treatment video invisible. Just process it. The treatment video tagging device 1 may appropriately store the processed treatment video in the storage unit.

人特定部位記憶部２１は、上記した施術動画の人特定部位を特定するための学習モデルを記憶してもよい。また、人特定部位記憶部２１は、人特定部位に関する画像データを記憶してもよい。この場合、人特定部位除去部７は、入力された施術動画（施術画像）について、人特定部位記憶部２１に記憶された人特定部位に関する画像データと照合し、入力された施術動画（施術画像）に人特定部位に関する画像部分が含まれている場合、その部分を人特定部位として特定してもよい。そして、人特定部位除去部７は、施術動画（施術画像）に含まれる人特定部位に関する画像部分を、他社が視認できないように画像処理をすればよい。画像処理の例は、モザイクをかける、ブルワー（ぼやかし）処理をする、マスク画像を画像部分に上書きするというものである。 The person specific part storage unit 21 may store a learning model for identifying the person specific part of the treatment video described above. Further, the human specific part storage section 21 may store image data regarding the human specific part. In this case, the person-specific part removal unit 7 compares the input treatment video (treatment image) with the image data related to the person-specific part stored in the person-specific part storage unit 21, and compares the input treatment video (treatment image) ) includes an image part related to a person-specific part, that part may be specified as a person-specific part. Then, the human specific part removal unit 7 may perform image processing so that the image portion related to the human specific part included in the treatment video (treatment image) cannot be visually recognized by other companies. Examples of image processing include mosaicing, blurring, and overwriting an image portion with a mask image.

施術動画のタグ付け装置１は、タグ付けした施術動画について、実施施術術式、実施施術工程、使用医療機器、といった情報を含むデータベースを作成し、これらの情報により施術動画を検索可能にしてもよい。このようにすれば、使用医療機器などをインデックス化でき、容易に必要な施術動画を視聴できるようになる。 The treatment video tagging device 1 creates a database containing information such as the performed treatment type, performed treatment process, and medical equipment used for the tagged treatment videos, and makes the treatment videos searchable using this information. good. In this way, the medical equipment used can be indexed, and the necessary treatment videos can be easily viewed.

この明細書に記載される別の発明は、コンピュータを上記の施術動画のタグ付け装置として機能させるためのプログラムや、そのようなプログラムを記憶したコンピュータが読み取り可能な非一時的記録媒体に関する。記録媒体の例は、ハードディスク、ＣＤ、ＣＤ－ＲＯＭ、フロッピーディスク、ブルーレイディスク、ＵＳＢメモリ及びＳＤカードである。 Another invention described in this specification relates to a program for causing a computer to function as the above-mentioned treatment video tagging device, and a computer-readable non-temporary recording medium storing such a program. Examples of recording media are hard disks, CDs, CD-ROMs, floppy disks, Blu-ray disks, USB memories, and SD cards.

コンピュータは、プロセッサと、プロセッサに連結されたメモリと、を備えていてもよい。そして、メモリが、命令（プログラム）を格納しており、命令は、プロセッサによって実行されると、コンピュータに、施術動画が入力され、施術動画に含まれる医療機器である使用医療機器を分析させ、使用医療機器に基づいて施術動画に使用医療機器に関するタグを設けさせる。また、プログラムは、コンピュータに、施術動画に基づいて、施術動画の施術工程である実施施術工程を分析しさせ、施術動画に実施施術工程に関するタグをさらに設けさせてもよい。さらに、プログラムは、コンピュータに、施術動画の施術術式である実施施術術式を分析させ、施術動画に実施術式に関する識別情報をさらに付加させてもよい。さらに、プログラムは、コンピュータに、施術動画に含まれる患者又は医療従事者を特定する画像部位である人特定部位を分析させ、施術動画に人特定部位が含まれている場合、人特定部位を視認できないように施術動画を加工させてもよい。 A computer may include a processor and memory coupled to the processor. The memory stores instructions (programs), and when the instructions are executed by the processor, the treatment video is input to the computer, and the computer is caused to analyze the medical equipment used, which is the medical equipment included in the treatment video. A tag related to the medical device used is added to the treatment video based on the medical device used. The program may also cause the computer to analyze the actual treatment process, which is the treatment process in the treatment video, based on the treatment video, and further provide the treatment video with a tag related to the actual treatment process. Furthermore, the program may cause the computer to analyze the actual treatment technique that is the treatment technique in the treatment video, and further add identification information regarding the actual treatment technique to the treatment video. Furthermore, the program causes the computer to analyze a person-specific part, which is an image part that identifies the patient or medical worker included in the treatment video, and visually identifies the person-specific part if the treatment video includes a person-specific part. You may have the treatment video edited to prevent this.

図２は、施術動画に対してタグ付けを行う際の例を示すフローチャートである。図中Ｓは、ステップ（工程）を意味する。 FIG. 2 is a flowchart showing an example of tagging a treatment video. In the figure, S means a step.

動画入力工程（Ｓ１０１）
施術動画入力部３から施術動画のタグ付け装置１に施術動画が入力される。 Video input process (S101)
A treatment video is input from a treatment video input unit 3 to a treatment video tagging device 1.

使用医療機器分析工程（Ｓ１０２）
タグ設置部７は、施術動画に含まれる各施術画像について、医療機器に関する画像部分が含まれるか解析する。この際に、タグ設置部７は、医療機器に関して機械学習した学習モデルを参照してもよい。また、タグ設置部７は、医療機器に関する画像データを用いて、施術画像に医療機器に関する画像データが含まれるか否か解析することで、施術動画に含まれる医療機器の有無を分析してもよい。施術画像に、医療機器が含まれていないと解析した場合は、医療機器が存在しないという情報を施術画像とともに記憶部に記憶してもよい。また、タグ設置部７が、施術画像に、医療機器が含まれていると解析した場合は、施術画像（及び施術画像の施術動画における時間）とともに、使用医療機器の名称など、使用医療機器に関する情報を記憶部に記憶してもよい。 Used medical device analysis process (S102)
The tag installation unit 7 analyzes whether each treatment image included in the treatment video includes an image portion related to a medical device. At this time, the tag installation unit 7 may refer to a learning model that has been machine learned regarding medical equipment. In addition, the tag installation unit 7 can analyze the presence or absence of a medical device included in a treatment video by analyzing whether or not the treatment image includes image data related to the medical device using image data related to the medical device. good. If it is analyzed that the treatment image does not include a medical device, information indicating that no medical device is present may be stored in the storage unit together with the treatment image. In addition, when the tag installation unit 7 analyzes that a medical device is included in the treatment image, it also displays information related to the medical device used, such as the name of the medical device used, as well as the treatment image (and the time of the treatment image in the treatment video). The information may be stored in the storage unit.

使用医療機器に関するタグ付与工程（Ｓ１０３）
タグ設置部７が、施術動画に、あらたな医療機器が含まれたと判断した場合（施術画像に初めてある医療機器が含まれた場合）、その施術画像の放映時間などその施術画像の識別情報とともに、タグを設ければよい。具体的には、タグ設置部７が、その施術画像の識別情報とともにタグ関連させて、記憶部に記憶する。タグには、その使用医療機器に関する情報が関連して記憶されてもよい。このようにして、タグ設置部７が、タグを設けられた施術動画（「タグ付き施術動画」とよぶ）を得ることができる。 Tagging process for medical equipment used (S103)
If the tag installation unit 7 determines that a new medical device is included in the treatment video (if a medical device is included in the treatment image for the first time), the tag installation unit 7 will send the tag along with the identification information of the treatment image, such as the broadcast time of the treatment image. , just set a tag. Specifically, the tag installation unit 7 stores the treatment image in the storage unit in association with the tag together with the identification information of the treatment image. Information regarding the medical device used may be stored in association with the tag. In this way, the tag installation unit 7 can obtain a treatment video provided with a tag (referred to as a "tagged treatment video").

実施施術工程分析工程（Ｓ１０４）
タグ設置部７は、施術動画に基づいて、施術動画の施術工程である実施施術工程を分析し、施術動画に実施施術工程に関するタグをさらに設ける。この際に、タグ設置部７は、施術工程に関して機械学習した学習モデルを参照してもよい。また、タグ設置部７は、施術動画（施術画像）に含まれる医療機器又は対象部位に関する情報を用いて、施術工程記憶部１５や施術対象部位記憶部１７に記憶された情報を参照して、施術工程を分析してもよい。 Implementation treatment process analysis step (S104)
The tag installation unit 7 analyzes the actual treatment process, which is the treatment process in the treatment video, based on the treatment video, and further adds a tag related to the actual treatment process to the treatment video. At this time, the tag installation unit 7 may refer to a learning model that has been machine learned regarding the treatment process. In addition, the tag installation unit 7 uses information regarding the medical device or target area included in the treatment video (treatment image) to refer to information stored in the treatment process storage unit 15 and the treatment target area storage unit 17, and The treatment process may also be analyzed.

実施施術工程に関するタグ付与工程（Ｓ１０５）
タグ設置部７が、施術動画に、あらたな実施施術工程が含まれたと判断した場合（施術画像に初めてある実施施術工程が含まれた場合）、その施術画像の放映時間などその施術画像の識別情報とともに、タグを設ければよい。そのタグには、実施施術工程に関する情報が関連して記憶されてもよい。このようにして、タグ設置部７が、実施施術工程に関するタグを設けられた施術動画を得ることができる。 Tagging process related to the actual treatment process (S105)
When the tag installation unit 7 determines that a new treatment process is included in the treatment video (when a treatment image includes a certain treatment process for the first time), it identifies the treatment image, such as the broadcast time of the treatment image. A tag may be provided along with the information. Information regarding the performed treatment process may be stored in association with the tag. In this way, the tag installation unit 7 can obtain a treatment video provided with tags related to the actual treatment process.

実施施術術式分析工程（Ｓ１０６）
タグ設置部７が、施術動画に基づいて、施術動画の施術術式である実施施術術式を分析し、施術動画に実施施術の術式に関する識別情報を施術動画に付加する。この際に、タグ設置部７は、施術術式に関して機械学習した学習モデルを参照してもよい。また、タグ設置部７は、実施施術工程に関する情報を用いて、実施施術術式記憶部１９に実施施術工程と関連して記憶されている実施施術術式を読み出してもよい。 Implemented treatment formula analysis step (S106)
The tag installation unit 7 analyzes the actual treatment technique, which is the treatment technique of the treatment video, based on the treatment video, and adds identification information regarding the technique of the actual treatment to the treatment video. At this time, the tag installation unit 7 may refer to a learning model that is machine-learned regarding the treatment method. Furthermore, the tag installation unit 7 may read out the actual treatment formula stored in the actual treatment formula storage unit 19 in association with the actual treatment process using the information regarding the actual treatment process.

実施施術術式情報付与工程（Ｓ１０７）
装置１（タグ設置部７）は、施術動画に関連して、実施施術の術式に関する識別情報を施術動画に付加し、記憶部に記憶してもよい。この実施施術の術式に関する識別情報も、検索可能な情報であるので、タグの一種として扱ってもよい。 Implemented treatment type information provision step (S107)
The device 1 (tag installation unit 7) may add identification information regarding the surgical technique of the performed treatment to the treatment video and store it in the storage unit. Since the identification information regarding the surgical technique of the performed treatment is also searchable information, it may be treated as a type of tag.

人特定部位判断工程（Ｓ１０８）
人特定部位除去部７は、機械学習により得られた学習モデルを用いて、入力された施術動画（施術画像）について、施術動画の人特定部位を特定する。人特定部位除去部７が、施術画像に人特定部位が含まれないと判断した場合、人特定部位除去を行わない。一方、人特定部位除去部７が、施術画像に人特定部位が含まれると判断した場合、人特定部位除去を行う。 Person specific part determination step (S108)
The person-specific part removal unit 7 uses a learning model obtained by machine learning to identify the person-specific part of the input treatment video (treatment image) in the treatment video. When the person-specific part removal unit 7 determines that the treatment image does not include a person-specific part, the person-specific part removal unit 7 does not perform the person-specific part removal. On the other hand, when the person-specific part removal unit 7 determines that the treatment image includes a person-specific part, it performs the person-specific part removal.

人特定部位除去工程（Ｓ１０９）
人特定部位除去部７が、施術画像に人特定部位が含まれると判断した場合、施術画像における人特定部位を視認できないように施術画像を加工する。例えば、人特定部位除去部７が、人特定部位をマスク画像にする処理を行えばよい。このようにすれば、施術動画から人特定部位が視認できないように処理されることとなる。 Person specific part removal process (S109)
When the person-specific part removing unit 7 determines that the treatment image includes a person-specific part, the treatment image is processed so that the person-specific part in the treatment image cannot be visually recognized. For example, the human specific part removal section 7 may perform processing to make the human specific part a mask image. In this way, processing is performed so that the specific part of the person cannot be visually recognized from the treatment video.

図３は、タグが付与された施術動画の例を示す概念図である。この例では、施術動画の所定のタイミングにおいてタグが表示されている。そして、そのタグをクリック等することで、タグが付された位置から施術動画を閲覧できるようにされている。タグと関連して、使用医療機器が表示されるようにしてもよい。図３の例では、施術工程ごとに代表となる施術画像がサルネイム表示（動画の下部に小さく表示）されている。 FIG. 3 is a conceptual diagram showing an example of a treatment video to which tags have been added. In this example, the tag is displayed at a predetermined timing in the treatment video. By clicking on the tag, the user can view the treatment video from the tagged position. The medical device used may be displayed in association with the tag. In the example of FIG. 3, a representative treatment image for each treatment step is displayed with a monkey name (displayed in a small size at the bottom of the video).

図４は、施術動画における医療機器部分に、医療機器に関する情報へアクセスするための情報が付与された例を示す概念図である。 FIG. 4 is a conceptual diagram showing an example in which information for accessing information regarding the medical device is added to the medical device portion of the treatment video.

この発明は、医療情報を提供する分野において利用されうる。 This invention can be used in the field of providing medical information.

１施術動画のタグ付け装置
３施術動画入力部
５タグ設置部
７人特定部位除去部
１１医療機器記憶部
１３手情報記憶部
１５施術工程記憶部
１７施術対象部位記憶部
１９実施施術術式記憶部
２１人特定部位記憶部

1 Treatment video tagging device 3 Treatment video input section 5 Tag installation section 7 Person specific part removal section 11 Medical device storage section 13 Hand information storage section 15 Treatment process storage section 17 Treatment target region storage section 19 Implemented treatment formula storage section 21 Person specific part storage unit

Claims

a treatment video input section into which a treatment video is input;
a tag installation unit that analyzes a used medical device, which is a medical device included in the treatment video, and adds a tag related to the used medical device to the treatment video based on the used medical device;
has
The tagged treatment video, which is a treatment video provided with the tag, can be cued from the part where the tag is provided,
The tag installation unit may further add link information for displaying information regarding the medical device used to the medical device portion in the treatment video.
Tagging device for treatment videos.

2. The device according to claim 1,
A person-specific part, which is an image part that identifies a patient or a medical worker included in the treatment video, is analyzed, and if the treatment video includes a person-specific part, the treatment is performed so that the person-specific part is not visible. A device that processes a video and further includes a human specific part removal unit.

2. The device according to claim 1,
The tag installation unit may analyze an actual treatment step, which is a treatment step of the treatment video, based on the treatment video, and further provide a tag related to the actual treatment step in the treatment video.
Device.

2. The device according to claim 1,
The tag installation unit may analyze a practiced treatment formula, which is a treatment formula of the treatment video, based on the treatment video, and further add identification information regarding the practiced treatment formula to the treatment video.
Device.

computer,
a treatment video input section into which a treatment video is input;
a tag installation unit that analyzes a used medical device, which is a medical device included in the treatment video, and adds a tag related to the used medical device to the treatment video based on the used medical device;
has
The tagged treatment video, which is a treatment video provided with the tag, can be cued from the part where the tag is provided,
The tag installation unit may further add link information for displaying information regarding the medical device used to the medical device portion in the treatment video.
A program to function as a tagging device for treatment videos.

A computer readable non-transitory recording medium storing the program according to claim 5.