WO2019230724A1 - Image processing system, imaging device, image processing device, electronic device, control method thereof, and storage medium storing control method thereof - Google Patents

Image processing system, imaging device, image processing device, electronic device, control method thereof, and storage medium storing control method thereof Download PDF

Info

Publication number
WO2019230724A1
WO2019230724A1 PCT/JP2019/021094 JP2019021094W WO2019230724A1 WO 2019230724 A1 WO2019230724 A1 WO 2019230724A1 JP 2019021094 W JP2019021094 W JP 2019021094W WO 2019230724 A1 WO2019230724 A1 WO 2019230724A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
imaging
subject
predetermined area
image processing
Prior art date
Application number
PCT/JP2019/021094
Other languages
French (fr)
Japanese (ja)
Inventor
敦司 後藤
喬 杉本
良和 川合
與佐人 日高
友樹 黒田
Original Assignee
キヤノン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2018-104922 priority Critical
Priority to JP2018104922 priority
Priority to JP2019-018653 priority
Priority to JP2019018653 priority
Priority to JP2019-095938 priority
Priority to JP2019095938A priority patent/JP2020123304A/en
Application filed by キヤノン株式会社 filed Critical キヤノン株式会社
Priority claimed from GB2017734.1A external-priority patent/GB2588306A/en
Publication of WO2019230724A1 publication Critical patent/WO2019230724A1/en

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/521Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume

Abstract

Provided is an image processing system that improves usability when evaluating an affected region. The image processing device comprises: an imaging device for receiving light from an object to generate image data and outputting the generated image data to a communication network; and an image processing device for acquiring the image data through the communication network, extracting a predetermined region of the object from the acquired image data, and outputting information indicating the result of extraction of the predetermined region to the communication network. The imaging device has a display means that shows a display based on the information indicating the result of extraction of the predetermined region acquired through the communication network.

Description

画像処理システム、撮像装置、画像処理装置、電子機器、これらの制御方法、および、これらの制御方法を記憶した記憶媒体Image processing system, imaging apparatus, image processing apparatus, electronic device, control method thereof, and storage medium storing these control methods
 本発明は、画像から被写体の所定の領域の評価を行う技術に関するものである。 The present invention relates to a technique for evaluating a predetermined area of a subject from an image.
 人や動物が横になっている状態では、体重により、体の下にある床、マットレス、あるいは、敷布団と体の接触部位が圧迫される。 When the person or animal is lying down, the weight, the floor under the body, the mattress, or the mattress, and the contact area between the body and the body are pressed.
 同じ姿勢が継続すると、床と体の接触部位が血行不全となり周辺組織が壊死を起こす。この組織が壊死した状態を、褥瘡または床ずれと呼んでいる。この褥瘡を発症した患者には、体圧分散ケアやスキンケアなどの褥瘡ケアを施し、定期的に褥瘡を評価および管理していく必要がある。 If the same posture continues, the contact area between the floor and the body becomes inadequate, causing necrosis of surrounding tissues. This necrotic condition is called pressure ulcers or bedsores. Patients who develop this pressure ulcer need to be treated for pressure ulcers such as body pressure dispersion care and skin care, and the pressure ulcer must be regularly evaluated and managed.
 褥瘡を評価するための方法の1つとして、褥瘡の大きさを測定することが知られている。 As one of the methods for evaluating pressure ulcers, it is known to measure the size of pressure ulcers.
 例えば、褥瘡の大きさを評価として用いる例としては、非特許文献1に記載があるように、日本褥瘡学会学術教育委員会が開発した褥瘡の評価指標である、DESIGN-R(登録商標)が知られている。 For example, as an example of using the size of pressure ulcer as an evaluation, as described in Non-Patent Document 1, DESIGN-R (registered trademark), which is an evaluation index of pressure ulcer developed by the Japanese Academy of Pressure Ulcers, is described. Are known.
 このDESIGN-R(登録商標)は、褥瘡をはじめとする傷の治癒過程を評価するためのツールである。このツールの命名は、深さ(Depth)、滲出液(Exudate)、大きさ(Size)、炎症・感染(Inflammation/Infection)、肉芽組織(Granulation)、壊死組織(Necrotic tissue)の各評価項目の頭文字をとっている。また、頭文字の対象とはなっていないが、評価項目には、上記以外にポケット(Pocket)が含まれている。 This DESIGN-R (registered trademark) is a tool for evaluating the healing process of wounds including pressure ulcers. The name of this tool is as follows: depth, depth, size, size, inflammation / infection, granulation tissue, necrotic tissue The initial letter is taken. In addition, although not an initial target, the evaluation items include a pocket in addition to the above.
 DESIGN-R(登録商標)は、日常の簡便な評価のための重症度分類用、および詳細に治癒過程の流れが示される経過評価用の2つがある。重症度分類用のDESIGN-R(登録商標)は、6つの評価項目を軽度と重度の2つに区分して、軽度はアルファベットの小文字を用いて表し、重度は大文字を用いて表す。 DESIGN-R (registered trademark) has two types, one for severity classification for daily simple evaluation and one for progress evaluation in which the flow of the healing process is shown in detail. DESIGN-R (registered trademark) for classification of severity classifies six evaluation items into two, mild and severe, with mildness expressed using lowercase letters and severeness expressed using uppercase letters.
 初療時に重症度分類用を用いて評価することで、褥瘡の大まかな状態を把握することができる。どの項目が問題であるかがわかるため、治療方針を容易に決定できる。 時 に By using the severity classification for initial treatment, it is possible to grasp the general state of pressure ulcers. Knowing which item is a problem makes it easy to decide on a treatment strategy.
 一方、経過評価用として、経過評価に加え患者間の重症度比較もできるDESIGN-R(登録商標)も定められている。Rはrating(評価・評点)を表す。各項目に異なる重み付けをしており、深さ以外の6項目の合計点(0~66点)がその褥瘡の重症度を表す。治療開始後に治療経過を詳細かつ客観的に評価でき、個人の経過評価だけでなく、患者間の重症度比較もできる。 On the other hand, DESIGN-R (registered trademark), which can compare the severity of patients in addition to the progress evaluation, is also established for the progress evaluation. R represents rating (evaluation / score). Each item is weighted differently, and the total score (0 to 66 points) of the six items other than the depth represents the severity of the pressure ulcer. The progress of treatment can be evaluated in detail and objectively after the start of treatment, and not only individual progress assessment but also severity comparison between patients can be performed.
 ここで、DESIGN-R(登録商標)の大きさの評価は、皮膚損傷範囲の長径と短径(長径と直交する最大径)を測定し(cm)、各々を掛け合わせた数値である大きさを7段階に分類するものである。この7段階とは、s0:皮膚損傷なし、s3:4未満、s6:4以上16未満、s8:16以上36未満、s9:36以上64未満、s12:64以上100未満、S15:100以上、である。 Here, the size of DESIGN-R (registered trademark) is evaluated by measuring the major axis and minor axis (maximum diameter perpendicular to the major axis) of the skin damage range (cm) and multiplying each value. Are classified into 7 levels. The seven stages are s0: no skin damage, s3: less than 4, s6: 4 or more, but less than 16, s8: 16 or more, but less than 36, s9: 36 or more, but less than 64, s12: 64 or more, but less than 100, S15: 100 or more, It is.
 現状では、褥瘡の大きさの評価は、患部にメジャーをあてて手作業で計測された値に基づいて決定されることが多い。具体的にはまず、皮膚の損傷範囲のうち一番長い直線距離の2点を測定し、それを長径とする。さらに長径と直行する長さを短径とし、長径と短径を掛けた値を褥瘡の大きさとしている。 At present, the evaluation of the size of pressure ulcer is often determined based on the value measured manually by applying a measure to the affected area. Specifically, first, two points of the longest linear distance in the damaged area of the skin are measured and set as the major axis. Furthermore, the length perpendicular to the major axis is the minor axis, and the value obtained by multiplying the major axis and the minor axis is the size of the pressure ulcer.
 しかしながら、手作業による褥瘡の大きさの評価は、褥瘡の形が複雑である場合が多く、メジャーをどのように当てるかを調整する必要がある。この作業を長径と短径を測定するために最低2回行う必要があり、時間が掛かってしまうため、作業負荷が大きい。さらに褥瘡を評価される患者にとっても、作業中は同じ姿勢を保持しなければならないため、負担が大きいと考えられる。 However, manual pressure ulcer size assessment often involves complex pressure ulcer shapes, and it is necessary to adjust how the measure is applied. This work needs to be performed at least twice in order to measure the long diameter and the short diameter, and it takes time, so the work load is large. Furthermore, for patients who are evaluated for pressure ulcers, the burden is considered to be heavy because the same posture must be maintained during the work.
 DESIGN-R(登録商標)は、1週間から2週間に1回採点することが推奨されており、繰り返し計測する必要がある。加えて、手作業による計測では、個人によって褥瘡の長径と判断する位置が異なる可能性が高く、測定の精度を担保することが難しい。 DESIGN-R (registered trademark) is recommended to score once every two to two weeks, and it is necessary to repeatedly measure. In addition, in manual measurement, there is a high possibility that the position where the major axis of the pressure ulcer is determined differs depending on the individual, and it is difficult to ensure the accuracy of the measurement.
 なお、ここではDESIGN-R(登録商標)に基づいて褥瘡の評価を行うことを例にあげて説明を行ったが、DESIGN-R(登録商標)のケースに限られるものではなく、褥瘡の大きさを測定しようとすれば、同様の課題は生じる。褥瘡の面積を求めようとするのであれば、複数の箇所について手作業による測定が必要となり、作業負荷が生じることになる。 In this example, the evaluation of pressure ulcer based on DESIGN-R (registered trademark) has been described as an example, but it is not limited to the case of DESIGN-R (registered trademark). If we try to measure the same, the same problem arises. If the pressure ulcer area is to be obtained, manual measurement is required at a plurality of locations, and a work load is generated.
 また、別の課題として、褥瘡の評価項目としては、大きさのように測定するもの以外にも、目視によって判断したほうが望ましいものもある。目視によって判断すべき評価項目については、評価者が、撮影された画像データを見ながら、電子カルテや紙媒体に後ほど入力することになる。この場合、大きさを示す情報とそのほかの情報とで入力デバイスが異なるため、入力作業が煩雑になり、記入漏れも生じやすくなってしまう。 Also, as another problem, there are some evaluation items for pressure ulcers that should be judged visually, in addition to those that are measured like size. The evaluation items to be judged visually are input to the electronic medical record or paper medium later by the evaluator while viewing the captured image data. In this case, since the input device is different between the information indicating the size and the other information, the input work becomes complicated and entry omission is likely to occur.
 そして、これらの課題は褥瘡に限った話ではなく、火傷や裂傷などの体表における患部領域においても、同様の課題が生じる。 And these issues are not limited to pressure ulcers, and similar issues arise in the affected area of the body surface such as burns and lacerations.
 本発明の一つの側面は、撮像装置と画像処理装置からなる画像処理システムであって、前記撮像装置は、被写体からの光を受光して画像データを生成する撮像手段と、前記画像データを通信ネットワークに出力する第1の通信手段と、前記撮像手段で生成された画像データに基づく画像を表示する表示手段を有し、前記画像処理装置は、前記通信ネットワークを介して、前記画像データを取得する第2の通信手段と、前記画像データから前記被写体の所定の領域を抽出する演算手段を有し、前記第2の通信手段は、前記演算手段で抽出した前記所定の領域の抽出結果を示す情報を、前記通信ネットワークに出力し、前記第1の通信手段は、前記通信ネットワークを介して、前記所定の領域の抽出結果を示す情報を取得し、前記表示手段は、前記所定の領域の抽出結果を示す情報に基づく表示を行うことを特徴とするものである。 One aspect of the present invention is an image processing system including an imaging device and an image processing device, and the imaging device communicates the image data with imaging means that receives light from a subject and generates image data. A first communication unit configured to output to the network; and a display unit configured to display an image based on the image data generated by the imaging unit. The image processing apparatus acquires the image data via the communication network. Second communication means, and calculation means for extracting a predetermined area of the subject from the image data, wherein the second communication means indicates an extraction result of the predetermined area extracted by the calculation means. Information is output to the communication network, the first communication means acquires information indicating an extraction result of the predetermined region via the communication network, and the display means includes: It is characterized in that performing a display based on information indicating the extraction result of the serial predetermined area.
 本発明の別の一つの側面は、撮像装置であって、被写体からの光を受光して画像データを生成する撮像手段と、前記画像データを、通信ネットワークを介して、外部装置に出力する通信手段と、前記撮像手段で生成された画像データに基づく画像を表示する表示手段を有し、前記通信手段は、前記外部装置から、前記通信ネットワークを介して、前記画像データにおける前記被写体の所定の領域の抽出結果を示す情報を取得し、前記表示手段は、前記所定の領域の抽出結果を示す情報に基づく表示を行うことを特徴とするものである。 Another aspect of the present invention is an image pickup apparatus that receives light from a subject and generates image data, and communication that outputs the image data to an external device via a communication network. And a display means for displaying an image based on the image data generated by the imaging means, and the communication means receives a predetermined object of the image data from the external device via the communication network. Information indicating the extraction result of the region is acquired, and the display means performs display based on the information indicating the extraction result of the predetermined region.
 本発明のさらに別の一つの側面は、画像処理装置であって、撮像装置から、通信ネットワークを介して、画像データと、前記画像データに含まれる被写体に対応する距離情報を取得する通信手段と、前記画像データから前記被写体の所定の領域を抽出し、前記距離情報に基づいて、前記所定の領域の大きさを求める演算手段を有し、前記通信手段は、前記演算手段で抽出した前記所定の領域の抽出結果を示す情報と、前記大きさを示す情報を、前記通信ネットワークを介して、前記撮像装置に出力することを特徴とするものである。 Still another aspect of the present invention is an image processing apparatus, and communication means for acquiring image data and distance information corresponding to a subject included in the image data from an imaging apparatus via a communication network. Extracting a predetermined region of the subject from the image data and calculating a size of the predetermined region based on the distance information, and the communication unit is configured to extract the predetermined region extracted by the calculating unit. The information indicating the extraction result of the region and the information indicating the size are output to the imaging device via the communication network.
 本発明のさらに別の一つの側面は、撮像装置であって、撮像装置被写体からの光を受光して画像データを生成する撮像手段と、前記画像データにおける、前記被写体の所定の領域の抽出結果を取得する制御手段と、前記被写体の所定の領域における、予め定められた複数の評価項目の評価値を、ユーザに入力させるインターフェース手段と、を有し、前記制御手段は、前記入力された複数の評価項目の評価値と、前記画像データを関連付けることを特徴とするものである。 Still another aspect of the present invention is an imaging apparatus, an imaging unit that receives light from an imaging apparatus subject to generate image data, and a result of extracting a predetermined region of the subject in the image data Control means for acquiring the image, and interface means for allowing a user to input evaluation values of a plurality of predetermined evaluation items in a predetermined region of the subject, wherein the control means The evaluation value of the evaluation item is associated with the image data.
 本発明のさらに別の一つの側面は、電子機器であって、通信ネットワークを介して、撮像装置にて生成された画像データ、および、前記撮像装置において、ユーザによって入力された、前記画像データにおける被写体の患部領域に対する複数の評価項目の評価値を示す情報を取得する通信手段と、表示手段に、前記画像データに基づく画像と前記複数の評価項目の評価値を表示させる制御手段と、を有することを特徴とする。 Still another aspect of the present invention is an electronic device that includes image data generated by an imaging device via a communication network, and the image data input by a user in the imaging device. Communication means for acquiring information indicating evaluation values of a plurality of evaluation items for the affected area of the subject, and control means for causing the display means to display an image based on the image data and the evaluation values of the plurality of evaluation items. It is characterized by that.
図1は、第1の実施形態に係る画像処理システムの概要を示す図である。FIG. 1 is a diagram illustrating an overview of an image processing system according to the first embodiment. 図2は、画像処理システムに含まれる撮像装置のハードウェア構成の一例を示す図である。FIG. 2 is a diagram illustrating an example of a hardware configuration of an imaging apparatus included in the image processing system. 図3は、画像処理システムに含まれる画像処理装置のハードウェア構成の一例を示す図である。FIG. 3 is a diagram illustrating an example of a hardware configuration of an image processing apparatus included in the image processing system. 図4は、第1実施形態に係る画像処理システムの動作を示すワークフロー図である。FIG. 4 is a workflow diagram illustrating the operation of the image processing system according to the first embodiment. 図5は、領域の面積の計算方法を説明するための図である。FIG. 5 is a diagram for explaining a method of calculating the area of a region. 図6Aは、患部領域を含む画像データを説明するための図である。FIG. 6A is a diagram for explaining image data including an affected area. 図6Bは、患部領域の抽出結果を示す情報、および、患部領域の大きさを示す情報を画像データに重畳する方法を説明するための図である。FIG. 6B is a diagram for explaining a method of superimposing information indicating the extraction result of the affected area and information indicating the size of the affected area on the image data. 図7Aは、患部領域の抽出結果を示す情報、および、患部領域の長径と短径を含む患部領域の大きさを示す情報を画像データに重畳する方法を説明するための図である。FIG. 7A is a diagram for describing a method of superimposing information indicating the extraction result of the affected area and information indicating the size of the affected area including the major axis and the minor axis of the affected area on the image data. 図7Bは、患部領域の抽出結果を示す情報、および、患部領域の長径と短径を含む患部領域の大きさを示す情報を画像データに重畳する別の方法を説明するための図である。FIG. 7B is a diagram for describing another method for superimposing information indicating the extraction result of the affected area and information indicating the size of the affected area including the major axis and the minor axis of the affected area on the image data. 図7Cは、患部領域の抽出結果を示す情報、および、患部領域の長径と短径を含む患部領域の大きさを示す情報を画像データに重畳するさらに別の方法を説明するための図である。FIG. 7C is a diagram for explaining another method for superimposing information indicating the extraction result of the affected area and information indicating the size of the affected area including the major axis and the minor axis of the affected area on the image data. . 図8Aは、患部領域の部位の情報をユーザに入力させる方法を説明するための図である。FIG. 8A is a diagram for explaining a method for causing a user to input information on a site of an affected area. 図8Bは、患部領域の部位の情報をユーザに入力させる方法を説明するための図である。FIG. 8B is a diagram for explaining a method of causing the user to input information on a site of an affected area. 図8Cは、患部領域の評価値の情報をユーザに入力させる方法を説明するための図である。FIG. 8C is a diagram for explaining a method of allowing the user to input information on evaluation values of the affected area. 図8Dは、患部領域の評価値の情報をユーザに入力させる方法を説明するための図である。FIG. 8D is a diagram for explaining a method of allowing the user to input information on evaluation values of the affected area. 図8Eは、患部領域の評価値の情報をユーザに入力させる方法を説明するための図である。FIG. 8E is a diagram for explaining a method of allowing the user to input information on evaluation values of the affected area. 図8Fは、患部領域の部位の情報をユーザに入力させる別の方法を説明するための図である。FIG. 8F is a diagram for describing another method for allowing the user to input information on the site of the affected area. 図8Gは、患部領域の部位の情報をユーザに入力させる別の方法を説明するための図である。FIG. 8G is a diagram for explaining another method for allowing the user to input information on the site of the affected area. 図9は、第2の実施形態に係る画像処理システムの動作を示すワークフロー図である。FIG. 9 is a workflow diagram illustrating the operation of the image processing system according to the second embodiment. 図10は、第3の実施形態に係る画像処理システムの概要を示す図である。FIG. 10 is a diagram illustrating an overview of an image processing system according to the third embodiment. 図11は、第3の実施形態に係る画像処理システムの動作を示すワークフロー図である。FIG. 11 is a workflow diagram illustrating the operation of the image processing system according to the third embodiment. 図12Aは、過去に評価値を取得した患部領域の部位の情報を表示する方法を説明するための図である。FIG. 12A is a diagram for describing a method of displaying information on a part of an affected area where an evaluation value has been acquired in the past. 図12Bは、過去に取得した患部領域の評価値の情報を表示する方法を説明するための図である。FIG. 12B is a diagram for describing a method for displaying information on evaluation values of an affected area acquired in the past. 図13は、端末装置のブラウザに表示されるデータ選択画面の一例を説明するための図である。FIG. 13 is a diagram for explaining an example of a data selection screen displayed on the browser of the terminal device. 図14は、端末装置のブラウザに表示されるデータ一覧画面の一例を説明するための図である。FIG. 14 is a diagram for explaining an example of a data list screen displayed on the browser of the terminal device. 図15は、第3の実施形態に係る画像処理システムの動作の変形例を示すワークフロー図である。FIG. 15 is a workflow diagram illustrating a modified example of the operation of the image processing system according to the third embodiment.
 本実施形態の目的の一つは、被写体の所定の領域を評価する際の利便性を向上させることである。 One of the objects of the present embodiment is to improve convenience when evaluating a predetermined area of a subject.
 以下、本発明を実施するための例示的な実施形態を、図面を参照して詳細に説明する。 Hereinafter, exemplary embodiments for carrying out the present invention will be described in detail with reference to the drawings.
 (第1の実施形態)
 以下、図1乃至図3を参照して、本発明の実施形態に係る画像処理システムについて説明する。図1は、第1の実施形態に係る画像処理システム1の概要を示す図である。撮像システム1は、手持ち可能なポータブルデバイスの撮像装置200と、画像処理装置300から構成される。本実施形態では、被写体101の患部領域102の病態の一例を、臀部に生じた褥瘡として説明している。
(First embodiment)
Hereinafter, an image processing system according to an embodiment of the present invention will be described with reference to FIGS. 1 to 3. FIG. 1 is a diagram showing an overview of an image processing system 1 according to the first embodiment. The imaging system 1 includes an imaging apparatus 200 that is a portable device that can be held and an image processing apparatus 300. In the present embodiment, an example of the pathological condition of the affected area 102 of the subject 101 is described as a pressure ulcer generated in the buttocks.
 本発明の実施形態に係る画像処理システム1では、撮像装置200が被写体101の患部領域102を撮影するとともに、被写体距離を取得し、それらのデータを画像処理装置300に送信する。画像処理装置300は、受信した画像データから患部領域を抽出し、被写体距離などの情報に基づいて画像データの1ピクセルあたりの面積を計測し、患部領域102の抽出結果と1ピクセルあたりの面積から、患部領域102の面積を計測する。なお、本実施形態では、患部領域102が褥瘡である場合を例に挙げて説明を行うが、これに限定されるものではなく、患部領域102は火傷や裂傷であってもよい。 In the image processing system 1 according to the embodiment of the present invention, the imaging device 200 captures the affected area 102 of the subject 101, acquires the subject distance, and transmits the data to the image processing device 300. The image processing apparatus 300 extracts the affected area from the received image data, measures the area per pixel of the image data based on information such as the subject distance, and based on the extraction result of the affected area 102 and the area per pixel. The area of the affected area 102 is measured. In the present embodiment, the case where the affected area 102 is a pressure ulcer will be described as an example. However, the present invention is not limited to this, and the affected area 102 may be a burn or a laceration.
 図2は、画像処理システム1に含まれる撮像装置200のハードウェア構成の一例を示す図である。撮像装置200は、一般的な一眼カメラ、コンパクトデジタルカメラ、あるいは、オートフォーカス機能付きのカメラを備えたスマートフォンやタブレット端末などを利用することも可能である。 FIG. 2 is a diagram illustrating an example of a hardware configuration of the imaging apparatus 200 included in the image processing system 1. The imaging apparatus 200 can use a general single-lens camera, a compact digital camera, or a smartphone or a tablet terminal that includes a camera with an autofocus function.
 撮像ユニット211は、レンズ群212、シャッタ213、イメージセンサ214を有する。レンズ群212に含まれる複数のレンズの位置を変更することで、フォーカス位置とズーム倍率を変更することができる。レンズ群212は、露出量を調節するための絞りも備える。 The imaging unit 211 includes a lens group 212, a shutter 213, and an image sensor 214. By changing the positions of a plurality of lenses included in the lens group 212, the focus position and the zoom magnification can be changed. The lens group 212 also includes a diaphragm for adjusting the exposure amount.
 イメージセンサ214は、光学像を画像データに変換するCCDやCMOSセンサ等の電荷蓄積型の固体イメージセンサで構成される。レンズ群212およびシャッタ213を通過した被写体からの反射光はイメージセンサ214に結像され、イメージセンサ214は被写体像に応じた電気信号を生成し、この電気信号に基づく画像データを出力する。 The image sensor 214 includes a charge storage type solid-state image sensor such as a CCD or CMOS sensor that converts an optical image into image data. The reflected light from the subject that has passed through the lens group 212 and the shutter 213 forms an image on the image sensor 214. The image sensor 214 generates an electrical signal corresponding to the subject image, and outputs image data based on the electrical signal.
 シャッタ213は、シャッタ羽根部材の開閉動作を行うことによって、イメージセンサ214への露出や遮光を行い、イメージセンサ214の露光時間を制御する。なお、シャッタ213の代わりに、イメージセンサ214の駆動によって露光時間を制御する電子シャッタを用いてもよい。CMOSセンサで電子シャッタを行う場合には、画素ごと、或いは、複数画素からなる領域ごと(例えばラインごと)に、画素の蓄積電荷量をゼロにするリセット走査を行う。その後、リセット走査を行った画素あるいは領域ごとに、それぞれ所定の時間を経過してから電荷の蓄積量に応じた信号を読み出す走査を行う。 The shutter 213 controls the exposure time of the image sensor 214 by performing exposure and shading to the image sensor 214 by opening and closing the shutter blade member. Instead of the shutter 213, an electronic shutter that controls the exposure time by driving the image sensor 214 may be used. In the case of performing an electronic shutter with a CMOS sensor, reset scanning is performed to reduce the accumulated charge amount of the pixel to each pixel or each region (for example, each line) composed of a plurality of pixels. Thereafter, for each pixel or region that has undergone reset scanning, scanning for reading out a signal corresponding to the amount of accumulated charge is performed after a predetermined time has elapsed.
 ズーム制御回路215は、レンズ群212に含まれるズームレンズを駆動するための不図示のモータを制御し、レンズ群212の光学倍率を制御する。なお、レンズ群212はズーム機能のない単焦点のレンズ群であってもよく、その場合は、ズーム制御回路215は不要である。 The zoom control circuit 215 controls a motor (not shown) for driving the zoom lens included in the lens group 212, and controls the optical magnification of the lens group 212. The lens group 212 may be a single-focus lens group without a zoom function. In this case, the zoom control circuit 215 is unnecessary.
 測距システム216は、被写体までの距離情報を算出する。測距システム216として、一眼レフカメラに搭載された一般的な位相差方式の測距センサを用いても良いし、TOF(Time Of Flight)センサを用いたシステムを用いてもよい。TOFセンサは、照射波の送信タイミングと、当該照射波が物体で反射された波である反射波の受信タイミングとの時間差(または位相差)に基づいて、当該物体までの距離を測定するセンサである。さらに、測距システムには受光素子にPSD(Position Sensitive Device)を用いたPSD方式などを用いてもよい。 The ranging system 216 calculates distance information to the subject. As the ranging system 216, a general phase difference type ranging sensor mounted on a single-lens reflex camera may be used, or a system using a TOF (Time Of Flight) sensor may be used. The TOF sensor is a sensor that measures the distance to an object based on the time difference (or phase difference) between the transmission timing of the irradiation wave and the reception timing of the reflected wave that is the wave reflected by the object. is there. Further, a PSD system using PSD (Position Sensitive Device) as a light receiving element may be used in the distance measuring system.
 あるいは、イメージセンサ214を、画素ごとに複数の光電変換領域を有し、共通の画素内に含まれる複数の光電変換領域に対応する瞳位置を異ならせる構成とする。このような構成とすることで、測距システム216は、イメージセンサ214から出力された、それぞれの瞳領域に対応する光電変換領域から得られた画像間の位相差から、画素あるいは領域の位置ごとに距離情報を求めることができる。 Alternatively, the image sensor 214 has a plurality of photoelectric conversion regions for each pixel and has a configuration in which pupil positions corresponding to the plurality of photoelectric conversion regions included in the common pixel are different. With such a configuration, the distance measuring system 216 outputs, based on the phase difference between images obtained from the photoelectric conversion areas corresponding to the respective pupil areas, output from the image sensor 214, for each pixel or area position. Distance information can be obtained.
 測距システム216は、画像内の予め定められた所定の1つ、あるいは、複数の測距エリアにおける距離情報を求める構成としてもよいし、画像内の多数の画素あるいは領域の距離情報の分布を示す距離マップを求める構成としてもよい。 The distance measuring system 216 may be configured to obtain distance information in a predetermined one or a plurality of distance measuring areas in the image, or a distribution of distance information of a large number of pixels or areas in the image. It is good also as a structure which calculates | requires the distance map to show.
 あるいは、測距システム216は、画像データの高周波成分を抽出して積分し、積分値が最大となるフォーカスレンズの位置を決定するTV-AFまたはコントラストAFを行い、このフォーカスレンズの位置から距離情報を得るようにしてもよい。 Alternatively, the ranging system 216 extracts and integrates the high-frequency component of the image data, performs TV-AF or contrast AF that determines the position of the focus lens that maximizes the integrated value, and distance information is obtained from the position of the focus lens. May be obtained.
 画像処理回路217は、イメージセンサ214から出力された画像データに対して、所定の画像処理を施す。画像処理回路217は、撮像ユニット211から出力された画像データ、あるいは内部メモリ221に記録されている画像データに対して、ホワイトバランス調整、ガンマ補正、色補間またはデモザイキング、フィルタリング、など、様々な画像処理を行う。また、画像処理を行った画像データに対して、JPEGなどの規格で、圧縮処理を行う。 The image processing circuit 217 performs predetermined image processing on the image data output from the image sensor 214. The image processing circuit 217 performs various operations such as white balance adjustment, gamma correction, color interpolation or demosaicing, filtering on the image data output from the imaging unit 211 or the image data recorded in the internal memory 221. Perform image processing. In addition, compression processing is performed on image data that has undergone image processing in accordance with a standard such as JPEG.
 AF制御回路218は、測距システム216で得られた距離情報に基づいて、レンズ群202に含まれるフォーカスレンズの位置を決定し、フォーカスレンズを駆動するモータを制御する。 The AF control circuit 218 determines the position of the focus lens included in the lens group 202 based on the distance information obtained by the distance measuring system 216, and controls a motor that drives the focus lens.
 通信装置219は、撮像装置200が無線の通信ネットワーク(不図示)を介して、画像処理装置300などの外部機器と通信を行うための無線通信モジュールである。ネットワークの具体的な一例としては、Wi-Fi規格に基づくネットワークが挙げられる。なお、Wi-Fiを用いた通信はルーターを介して実現されてもよい。また、通信装置219はUSBやLANなど有線の通信インターフェースにより実現されてもよい。 The communication device 219 is a wireless communication module for the imaging device 200 to communicate with an external device such as the image processing device 300 via a wireless communication network (not shown). A specific example of the network is a network based on the Wi-Fi standard. Note that communication using Wi-Fi may be realized via a router. Further, the communication device 219 may be realized by a wired communication interface such as USB or LAN.
 システム制御回路220は、CPU(Central Processing Unit)を有し、内部メモリ221に記憶されたプログラムに従って、撮像装置200の各部を制御することにより全体制御を行う。また、システム制御回路220は、撮像ユニット211、ズーム制御回路215、測距システム216、画像処理回路217、および、AF制御回路218などの全体の制御を行う。なお、システム制御回路220は、CPUの代わりに、FPGA(field-programmable gate array)やASIC(application specific integrated circuit)などを用いてもよい。 The system control circuit 220 has a CPU (Central Processing Unit), and performs overall control by controlling each part of the imaging apparatus 200 according to a program stored in the internal memory 221. Further, the system control circuit 220 performs overall control of the imaging unit 211, the zoom control circuit 215, the distance measuring system 216, the image processing circuit 217, the AF control circuit 218, and the like. Note that the system control circuit 220 may use a field-programmable gate array (FPGA), an application specific integrated circuit (ASIC), or the like instead of the CPU.
 なお、内部メモリ221は、フラッシュメモリやSDRAM等の書き換え可能なメモリで構成される。内部メモリ221は、撮像装置200の動作に必要な撮像時のピント位置の情報やズーム倍率などの各種の設定情報や、撮像ユニット211が撮像した画像データや画像処理回路217による画像処理が行われた画像データを一時的に記憶する。また、通信装置219が画像処理装置300と通信して受信した、画像データや被写体の大きさを示す情報などの解析データなどを一時的に記録してもよい。 The internal memory 221 is composed of a rewritable memory such as a flash memory or SDRAM. The internal memory 221 performs various kinds of setting information such as focus position information and zoom magnification necessary for the operation of the imaging apparatus 200, image data captured by the imaging unit 211, and image processing by the image processing circuit 217. The stored image data is temporarily stored. In addition, analysis data such as image data and information indicating the size of the subject received by the communication device 219 communicating with the image processing device 300 may be temporarily recorded.
 外部メモリI/F(Interface)222は、撮像装置200に装填可能なSDカードやCFカード等の不揮発性の記憶媒体とのインターフェースである。外部メモリI/F222は、画像処理回路217で処理された画像データや、通信装置219が画像処理装置300と通信して受信した画像データや解析データなどを装填可能な記憶媒体に記録する。また、外部メモリI/F222は、再生時には、装填可能な記憶媒体に記録された画像データを読み出し、撮像装置の外部に出力することも可能である。 The external memory I / F (Interface) 222 is an interface with a nonvolatile storage medium such as an SD card or a CF card that can be loaded into the imaging apparatus 200. The external memory I / F 222 records image data processed by the image processing circuit 217, image data received by the communication device 219 communicating with the image processing device 300, analysis data, and the like in a loadable storage medium. In addition, the external memory I / F 222 can read out image data recorded in a loadable storage medium and output it to the outside of the imaging apparatus during reproduction.
 表示装置223は、TFT(Thin Film Transistor)液晶や有機ELディスプレイや、EVF(電子ビューファインダ)などで構成されたディスプレイ装置である。表示装置223は、内部メモリ221に一時的に保存されている画像データに基づく画像、装填可能な記憶媒体に保存されている画像データに基づく画像、および、撮像装置10の設定画面などを表示する。 The display device 223 is a display device configured with a TFT (Thin Film Transistor) liquid crystal, an organic EL display, an EVF (Electronic Viewfinder), or the like. The display device 223 displays an image based on image data temporarily stored in the internal memory 221, an image based on image data stored in a loadable storage medium, a setting screen of the imaging device 10, and the like. .
 操作部材224は、たとえば、撮像装置200に設けられたボタン、スイッチ、キー、モードダイアル、あるいは、表示装置223と兼用されるタッチパネルなどで構成されている。ユーザによるモード設定や撮影指示などの指令は、操作部材224を経由して、システム制御回路220に到達する。 The operation member 224 includes, for example, a button, a switch, a key, a mode dial provided on the imaging device 200, or a touch panel that is also used as the display device 223. Commands such as mode setting and shooting instructions by the user reach the system control circuit 220 via the operation member 224.
 共通バス225は、撮像ユニット211、ズーム制御回路215、測距システム216、画像処理回路217、AF制御回路218、通信装置219、システム制御回路220、内部メモリ221、外部メモリI/F222、表示装置223、および、操作部材224が接続されている。共通バス225は、各ブロック間で信号の送受信を行うための信号線である。 The common bus 225 includes an imaging unit 211, a zoom control circuit 215, a distance measuring system 216, an image processing circuit 217, an AF control circuit 218, a communication device 219, a system control circuit 220, an internal memory 221, an external memory I / F 222, and a display device. 223 and the operation member 224 are connected. The common bus 225 is a signal line for transmitting and receiving signals between the blocks.
 図3は、画像処理システム1に含まれる画像処理装置300のハードウェア構成の一例を示す図である。画像処理装置300は、CPUで構成された演算装置311、記憶装置312、通信装置313、出力装置314、および、補助演算装置317を備える。記憶装置312は主記憶装置315(ROMやRAM等)と補助記憶装置316(磁気ディスク装置やSSD(Solid State Drive)等)から構成される。 FIG. 3 is a diagram illustrating an example of a hardware configuration of the image processing apparatus 300 included in the image processing system 1. The image processing apparatus 300 includes an arithmetic device 311, a storage device 312, a communication device 313, an output device 314, and an auxiliary arithmetic device 317 configured by a CPU. The storage device 312 includes a main storage device 315 (ROM, RAM, etc.) and an auxiliary storage device 316 (magnetic disk device, SSD (Solid State Drive), etc.).
 通信装置313は、通信ネットワークを介して外部機器と通信を行うための無線通信モジュールとして構成される。出力装置314は、画像処理装置300に接続されたディスプレイ、プリンタ、あるいは外部ネットワークに、演算装置311にて加工されたデータや、記憶装置312に記憶されたデータを出力する。 The communication device 313 is configured as a wireless communication module for communicating with an external device via a communication network. The output device 314 outputs the data processed by the arithmetic device 311 and the data stored in the storage device 312 to a display, printer, or external network connected to the image processing device 300.
 補助演算装置317は演算装置311の制御の下で用いられる補助演算用ICであり、補助演算装置の一例としてGPU(Graphic Processing Unit)を用いることができる。GPUは、元々は画像処理用のプロセッサであるが、複数の積和演算器を有し、行列計算を得意としているため、信号学習用の処理を行うプロセッサとしても用いられることが多い。そして、深層学習を行う処理においても、GPUが用いられることが一般的である。例えば、補助演算装置317として、NVIDIA社のJetson TX2 moduleを用いることができる。なお、補助演算装置317として、FPGAやASICなどを用いてもよい。補助演算装置317は、画像データから被写体101の患部領域102の抽出処理を行う。 The auxiliary arithmetic device 317 is an auxiliary arithmetic IC used under the control of the arithmetic device 311, and a GPU (Graphic Processing Unit) can be used as an example of the auxiliary arithmetic device. The GPU is originally a processor for image processing, but has a plurality of product-sum operation units and is good at matrix calculation, so it is often used as a processor for performing signal learning processing. In general, GPU is also used in the process of performing deep learning. For example, as the auxiliary arithmetic unit 317, a Jetson TX2 module manufactured by NVIDIA can be used. Note that an FPGA, an ASIC, or the like may be used as the auxiliary arithmetic device 317. The auxiliary arithmetic unit 317 performs processing for extracting the affected area 102 of the subject 101 from the image data.
 演算装置311は、記憶装置312に記憶されたプログラムを実行することで、補助演算装置317によって抽出された患部領域102の大きさや長さを求めるための演算処理を含む、各種機能を実現することができる。さらに、演算装置311は各機能を実行する順番を制御する。 The arithmetic device 311 realizes various functions including arithmetic processing for obtaining the size and length of the affected area 102 extracted by the auxiliary arithmetic device 317 by executing a program stored in the storage device 312. Can do. Furthermore, the arithmetic device 311 controls the order in which each function is executed.
 なお、画像処理装置300が備える演算装置311および記憶装置312は1つであっても複数であってもよい。すなわち、少なくとも1以上の処理装置(CPU)と少なくとも1つの記憶装置とが接続されており、少なくとも1以上の処理装置が少なくとも1以上の記憶装置に記憶されたプログラムを実行した場合に、画像処理装置300は後述する各機能を実行する。なお、演算装置311はCPUの代わりに、FPGAやASICなどを用いてもよい。 Note that the image processing apparatus 300 may include one or more arithmetic devices 311 and storage devices 312. That is, when at least one processing device (CPU) and at least one storage device are connected and at least one processing device executes a program stored in at least one storage device, image processing is performed. The apparatus 300 performs each function described later. Note that the arithmetic device 311 may use an FPGA, an ASIC, or the like instead of the CPU.
 図4は、第1実施形態に係る画像処理システム1の動作を示すワークフロー図である。図4において、ステップをSと示す。すなわち、ステップ401をS401と示す。後述する図9、図11および図15も同様である。 FIG. 4 is a workflow diagram showing the operation of the image processing system 1 according to the first embodiment. In FIG. 4, the step is denoted as S. That is, step 401 is indicated as S401. The same applies to FIGS. 9, 11 and 15 described later.
 図4において、ステップ401乃至ステップ420が撮像装置200による処理であり、ステップ431、ステップ441乃至ステップ445、およびステップ451乃至ステップ456が画像処理装置300による処理である。 In FIG. 4, steps 401 to 420 are processes by the imaging apparatus 200, and steps 431, 441 to 445, and steps 451 to 456 are processes by the image processing apparatus 300.
 初めに、撮像装置200と画像処理装置300が、無線LAN規格であるWi-Fi規格のネットワーク(不図示)にそれぞれ接続する。画像処理装置300は、ステップ431において、接続する撮像装置200の探索処理を行い、撮像装置200は、ステップ401において、これに対する応答処理を行う。ネットワークを介して機器を探索する技術としては、例えば、UPnP(Universal Plug and Play)が用いられる。ここでUPnPにおいて個々の装置の識別はUUID(Universally Unique IDentifier)によって行われる。 First, the imaging apparatus 200 and the image processing apparatus 300 are connected to a Wi-Fi standard network (not shown), which is a wireless LAN standard. In step 431, the image processing apparatus 300 performs a search process for the imaging apparatus 200 to be connected, and in step 401, the imaging apparatus 200 performs a response process in response thereto. For example, UPnP (Universal Plug and Play) is used as a technique for searching for devices via a network. Here, in UPnP, each device is identified by a UUID (Universally Unique IDentifier).
 撮像装置200は、画像処理装置300との接続がなされると、ステップ402においてライブビュー処理を開始する。撮像ユニット211が画像データを生成し、この画像データに画像処理回路217がライブビュー表示用の画像データを生成するために必要な現像処理を適用する。これらの処理を繰り返し行うことで、所定のフレームレートのライブビュー映像が表示装置223に表示される。 When the image capturing apparatus 200 is connected to the image processing apparatus 300, the image capturing apparatus 200 starts live view processing in step 402. The imaging unit 211 generates image data, and the image processing circuit 217 applies development processing necessary for generating image data for live view display to the image data. By repeatedly performing these processes, a live view video having a predetermined frame rate is displayed on the display device 223.
 ステップ403において、測距システム216が上述したいずれかの方法によって被写体の距離情報を求め、AF制御回路218が被写体にピントが合うようにレンズ群212の駆動制御を行うAF処理を開始する。TV-AFまたはコントラストAFでピント位置の調整を行った場合には、ピントを合わせた状態のフォーカスレンズの位置から、ピントを合わせた対象の被写体101までの距離情報を求める。ピントを合わせる位置は、画像データの中央に位置する被写体でもよいし、撮像装置200に対して最も至近側の位置に存在する被写体でもよい。被写体の距離マップが得られている場合には、距離マップから注目すべき領域を推定し、その位置に対してピントを合わせるようにしてもよい。あるいは、すでに画像処理装置300によってライブビュー画像における褥瘡102の位置が特定されているならば、その位置に対してピントを合わせるようにしてもよい。撮像装置200は、後述するステップ410でレリーズボタンが押されたことを検知するまで、ライブビュー映像の表示とともにAF処理を繰り返し行う。 In step 403, the distance measuring system 216 obtains subject distance information by any of the methods described above, and the AF control circuit 218 starts AF processing for controlling the driving of the lens group 212 so that the subject is in focus. When the focus position is adjusted by TV-AF or contrast AF, distance information from the focus lens position in the focused state to the subject 101 to be focused is obtained. The focus position may be a subject located at the center of the image data, or a subject present at a position closest to the imaging apparatus 200. When the distance map of the subject is obtained, an area to be noted may be estimated from the distance map and the position may be focused. Alternatively, if the position of the pressure ulcer 102 in the live view image has already been specified by the image processing apparatus 300, the position may be focused. The imaging apparatus 200 repeatedly performs the AF process together with the display of the live view video until it is detected that the release button is pressed in step 410 described later.
 ステップ404において、画像処理回路217は、ライブビューのために撮像された画像データのいずれかの画像データに対して、画像データの現像および圧縮処理を行い、例えばJPEG規格の画像データを生成する。そして、圧縮処理された画像データに対してリサイズ処理を行い、画像データのサイズを小さくする。 In step 404, the image processing circuit 217 performs image data development and compression processing on any of the image data captured for live view, and generates, for example, JPEG standard image data. Then, resize processing is performed on the compressed image data to reduce the size of the image data.
 ステップ405において、通信装置219が、ステップ404で生成されたリサイズ処理がなされた画像データと、ステップ403で求めた距離情報を取得する。さらに、ズーム倍率の情報と、リサイズ処理された画像データのサイズ(ピクセル数)の情報も取得する。撮像ユニット211が単焦点でズーム機能が無いのであれば、ズーム倍率の情報は不要である。 In step 405, the communication device 219 acquires the resized image data generated in step 404 and the distance information obtained in step 403. Furthermore, information on the zoom magnification and information on the size (number of pixels) of the resized image data are also acquired. If the imaging unit 211 is a single focal point and does not have a zoom function, information on the zoom magnification is not necessary.
 ステップ406において、通信装置219がステップ405で取得した画像データと、距離情報を含む1以上の情報を、無線通信により画像処理装置300に送信する。 In step 406, the communication device 219 transmits the image data acquired in step 405 and one or more pieces of information including distance information to the image processing device 300 by wireless communication.
 ここで、送信する画像データのサイズが大きいほど無線通信に時間がかかるため、ステップ405におけるリサイズ後の画像データのサイズは、許容される通信時間を考慮して決定される。ただし、画像データを小さくし過ぎると、画像処理装置300が後述するステップ433において行う患部領域の抽出処理の精度に影響が出るため、通信時間に加えて、患部領域の抽出処理の精度も考慮する必要がある。 Here, the larger the size of the image data to be transmitted, the longer the wireless communication takes. Therefore, the size of the image data after resizing in step 405 is determined in consideration of the allowable communication time. However, if the image data is made too small, the accuracy of the affected area extraction process performed by the image processing apparatus 300 in step 433, which will be described later, is affected. There is a need.
 なお、ステップ404乃至ステップ406の処理は、フレームごとに行ってもよいし、数フレームに1回の割合で行うようにしてもよい。 Note that the processing from step 404 to step 406 may be performed for each frame or may be performed once every several frames.
 ここで、画像処理装置300による処理の説明に移る。 Here, the description shifts to processing by the image processing apparatus 300.
 ステップ441において、画像処理装置300の通信装置313が、撮像装置200の通信装置219から出力された画像データ、および、距離情報を含む1以上の情報を受信する。 In step 441, the communication device 313 of the image processing device 300 receives the image data output from the communication device 219 of the imaging device 200 and one or more pieces of information including distance information.
 ステップ442において、画像処理装置300の演算装置311および補助演算装置317が、ステップ441で受信した画像データから被写体101の患部領域102を抽出する。患部領域102を抽出する手法として、深層学習による意味的領域分割を行う。すなわち、あらかじめ不図示の学習用の高性能コンピュータに、複数の実際の褥瘡の画像を教師データとして用いてニューラルネットワークのモデルを学習させて、学習済モデルを生成する。補助演算装置317は、高性能コンピュータから生成された学習済モデルを受け取り、この学習済モデルに基づいて画像データから、患部領域102である褥瘡のエリアを推定する。ニューラルネットワークのモデルの一例として、深層学習を用いたセグメンテーション・モデルである完全畳み込みネットワーク(FCN(Fully Convolutional Network))を適用した。ここで、深層学習の推論は積和演算の並列実行を得意とする補助演算装置317により処理される。なお、推論処理はFPGAやASICなどにより実行されてもよい。なお、他の深層学習のモデルを用いて領域分割を実現してもよい。また、セグメンテーション手法は深層学習に限らず、例えば、グラフカットや領域成長、エッジ検出、統治分割法等を用いてもよい。さらに、補助演算装置317の内部で、褥瘡の画像を教師データとしたニューラルネットワークのモデルの学習を行ってもよい。 In step 442, the arithmetic device 311 and the auxiliary arithmetic device 317 of the image processing apparatus 300 extract the affected area 102 of the subject 101 from the image data received in step 441. As a method for extracting the affected area 102, semantic area division by deep learning is performed. That is, a learning model is generated by causing a learning high-performance computer (not shown) to learn a neural network model using a plurality of actual pressure ulcer images as teacher data. The auxiliary arithmetic unit 317 receives the learned model generated from the high performance computer, and estimates the area of the pressure ulcer that is the affected area 102 from the image data based on the learned model. As an example of a neural network model, a full convolutional network (FCN (Fully Convolutional Network)), which is a segmentation model using deep learning, was applied. Here, the deep learning inference is processed by the auxiliary arithmetic unit 317, which excels in parallel execution of product-sum operations. The inference process may be executed by an FPGA, an ASIC, or the like. It should be noted that region division may be realized using other deep learning models. The segmentation method is not limited to deep learning, and for example, graph cut, region growth, edge detection, governance division method, or the like may be used. Further, a neural network model using pressure ulcer images as teacher data may be learned in the auxiliary arithmetic unit 317.
 ステップ443において、演算装置311が、補助演算装置317によって抽出された患部領域102の大きさを示す情報として、患部領域102の面積を計算する。 In Step 443, the arithmetic device 311 calculates the area of the affected area 102 as information indicating the size of the affected area 102 extracted by the auxiliary arithmetic device 317.
 図5は、患部領域102の面積の計算方法を説明するための図である。一般的なカメラである撮像装置200は、図5のようなピンホールモデルとして扱うことができる。入射光501はレンズ212aの主点を通り、イメージセンサ214の撮像面で受光する。ここで、レンズ群212を厚みのない単一のレンズ212aに近似して考えた場合には、前側主点と後側主点の2つの主点は一致するとみなせる。イメージセンサ214の平面に像が結像するようにレンズ212のピント位置を調整することで、撮像装置は被写体504に焦点を合わせることができる。撮像面からレンズ主点までの距離である焦点距離502を変更することで、画角θ503が変更され、ズーム倍率が変わる。このとき、撮像装置の画角θ503と被写体距離505の関係から、幾何学的に合焦面における被写体の幅506が決定される。この被写体の幅506は、三角関数を用いて計算される。すなわち、被写体の幅506は、焦点距離502に応じて変化する画角θ503と、被写体距離505との関係によって決定する。そして、被写体の幅506の値を画像データのライン上のピクセル数で除算することにより、画像データ上の1ピクセルに対応する合焦面上の長さが得られる。 FIG. 5 is a diagram for explaining a method of calculating the area of the affected area 102. The imaging device 200 which is a general camera can be handled as a pinhole model as shown in FIG. Incident light 501 passes through the principal point of the lens 212 a and is received by the imaging surface of the image sensor 214. Here, when the lens group 212 is approximated to a single lens 212a having no thickness, it can be considered that the two principal points of the front principal point and the rear principal point coincide. The imaging apparatus can focus on the subject 504 by adjusting the focus position of the lens 212 so that an image is formed on the plane of the image sensor 214. By changing the focal length 502 that is the distance from the imaging surface to the lens principal point, the angle of view θ503 is changed and the zoom magnification is changed. At this time, the width 506 of the subject on the in-focus plane is geometrically determined from the relationship between the angle of view θ503 of the imaging device and the subject distance 505. The subject width 506 is calculated using a trigonometric function. That is, the subject width 506 is determined by the relationship between the field angle θ 503 that changes in accordance with the focal length 502 and the subject distance 505. Then, by dividing the value of the subject width 506 by the number of pixels on the line of the image data, the length on the in-focus plane corresponding to one pixel on the image data can be obtained.
 よって、演算装置311は、ステップ442の患部領域の抽出結果から得られる抽出領域のピクセル数と、画像上の1ピクセルに対応する合焦面上の長さから得られる1ピクセルの面積の積として、患部領域102の面積を計算する。なお、焦点距離502と被写体距離505の組合せに応じた画像上の1ピクセルに対応する合焦面上の長さを予め求めておいて、テーブルデータとして予め用意しておいてもよい。画像処理装置300が、撮像装置200に応じたテーブルデータを予め記憶しておくことも可能である。 Therefore, the arithmetic device 311 calculates the product of the number of pixels in the extraction area obtained from the extraction result of the affected area in step 442 and the area of one pixel obtained from the length on the focal plane corresponding to one pixel on the image. The area of the affected area 102 is calculated. Note that the length on the in-focus plane corresponding to one pixel on the image corresponding to the combination of the focal distance 502 and the subject distance 505 may be obtained in advance and prepared in advance as table data. It is also possible for the image processing device 300 to store table data corresponding to the imaging device 200 in advance.
 なお、上記の方法で正しく患部領域102の面積を求めるためには、被写体504が平面であり、かつ、この平面が光軸に対して垂直であることが前提となる。ステップ441で取得した距離情報が、画像データ内の複数の位置における距離情報や、距離マップであれば、被写体の奥行き方向の傾きや変化を検出し、検出した傾きや変化に基づいて面積を算出するようにしてもよい。 In order to correctly obtain the area of the affected area 102 by the above method, it is assumed that the subject 504 is a plane and that this plane is perpendicular to the optical axis. If the distance information acquired in step 441 is distance information at a plurality of positions in the image data or a distance map, the inclination or change in the depth direction of the subject is detected, and the area is calculated based on the detected inclination or change. You may make it do.
 ステップ444において、演算装置311が、患部領域102の抽出に用いた画像データに対して、患部領域102の抽出結果を示す情報と、患部領域102の大きさを示す情報を重畳した画像データを生成する。 In step 444, the arithmetic device 311 generates image data in which information indicating the extraction result of the affected area 102 and information indicating the size of the affected area 102 are superimposed on the image data used for extracting the affected area 102. To do.
 図6Aおよび図6Bは、患部領域102の抽出結果を示す情報、および、患部領域102の大きさを示す情報を画像データに重畳する方法を説明するための図である。図6Aの画像601は、重畳処理前の画像データを用いて表示された画像であって、被写体101及び患部領域102を含む。図6Bの重畳画像602は、重畳処理後の画像データに基づく画像である。図6Aおよび図6Bは、患部領域102が臀部の近傍にあることを示す。 6A and 6B are diagrams for explaining a method of superimposing information indicating the extraction result of the affected area 102 and information indicating the size of the affected area 102 on the image data. An image 601 in FIG. 6A is an image displayed using image data before superimposition processing, and includes a subject 101 and an affected area 102. The superimposed image 602 in FIG. 6B is an image based on the image data after the superimposition processing. 6A and 6B show that the affected area 102 is in the vicinity of the buttocks.
 演算装置311は、重畳画像602の左上隅に、患部領域102の大きさを示す情報として、黒地の背景に白色の文字で、患部領域102の面積値を表す文字列612を表示したラベル611を重畳する。 The arithmetic device 311 displays, in the upper left corner of the superimposed image 602, a label 611 that displays a character string 612 that represents the area value of the affected area 102 as white information on the black background as information indicating the size of the affected area 102. Superimpose.
 なお、ラベル611の背景色と文字列の色は見やすいものであれば黒、白に限らなくてもよい。また、透過量を設定してαブレンドすることで、ラベルが重なった部分の画像が確認できるようにしてもよい。 Note that the background color of the label 611 and the color of the character string are not limited to black and white as long as they are easy to see. Moreover, the image of the part where the label overlaps may be confirmed by setting the transmission amount and α-blending.
 さらに、重畳画像602には、ステップ442において抽出された、患部領域102の推定エリアを示す指標613が重畳表示されている。推定エリアが存在する位置において、推定エリアを示す指標613と、画像601の元となる画像データをαブレンドして重畳表示することで、患部領域の面積の元となる推定エリアが妥当かどうかをユーザが確認することができる。推定エリアを示す指標613の色は、被写体の色と重ならないようにすることが望ましい。αブレンドの透過率は推定エリアが認識できて、元の患部領域102も確認できる範囲がよい。なお、患部領域102の推定エリアを示す指標613が重畳表示されていれば、ラベル611の表示はなくとも、ユーザは推定エリアが妥当かどうかを確認することはできるため、ステップ443は省略しても構わない。 Furthermore, an index 613 indicating the estimated area of the affected area 102 extracted in step 442 is superimposed on the superimposed image 602. In the position where the estimated area exists, the index 613 indicating the estimated area and the image data that is the basis of the image 601 are α-blended and superimposed to display whether the estimated area that is the basis of the area of the affected area is appropriate. The user can confirm. It is desirable that the color of the index 613 indicating the estimated area does not overlap with the color of the subject. The transmittance of the α blend should be within a range where the estimated area can be recognized and the original affected area 102 can be confirmed. Note that if the index 613 indicating the estimated area of the affected area 102 is displayed in a superimposed manner, the user can confirm whether the estimated area is valid without displaying the label 611, so step 443 is omitted. It doesn't matter.
 ステップ445において、画像処理装置300の通信装置313が、抽出した患部領域102の抽出結果を示す情報と、患部領域102の大きさを示す情報を撮像装置200に送信する。本実施形態では、通信装置313は、ステップステップ444で生成した、患部領域102の大きさを示す情報を含む画像データを、撮像装置200に無線通信により送信する。 In step 445, the communication device 313 of the image processing apparatus 300 transmits information indicating the extracted extraction result of the affected area 102 and information indicating the size of the affected area 102 to the imaging apparatus 200. In the present embodiment, the communication device 313 transmits the image data including the information indicating the size of the affected area 102 generated in Step 444 to the imaging device 200 by wireless communication.
 ここで、撮像装置200による処理の説明に戻る。 Here, the description returns to the processing by the imaging apparatus 200.
 ステップ407で、撮像装置200の通信装置219は、画像処理装置300にて患部領域102の大きさを示す情報を含む画像データが新たに生成されていれば、これを受信する。 In step 407, the communication device 219 of the imaging device 200 receives image data including information indicating the size of the affected area 102 if it has been newly generated by the image processing device 300.
 ステップ408で、システム制御回路220は、ステップ407で患部領域102の大きさを示す情報を含む画像データを受信できていればステップ409に進み、受信できていなければステップ410に進む。 In step 408, the system control circuit 220 proceeds to step 409 if image data including information indicating the size of the affected area 102 can be received in step 407, and proceeds to step 410 if not received.
 ステップ409において、表示装置223がステップ407で受信した患部領域102の大きさを示す情報を含む画像データを所定時間表示する。ここでは、表示装置223は図6Bに示す重畳画像602を表示する。このように、ライブビュー画像に対して、患部領域102の抽出結果を示す情報を重畳表示することで、ユーザは患部領域の面積および推定エリアが妥当であるかを確認したうえで、本撮影に臨むことができる。なお、本実施形態では、患部領域102の推定エリアを示す指標613と、患部領域102の大きさの情報の両方を表示する例をあげて説明を行ったが、いずれか一方だけでもよい。 In step 409, the display device 223 displays image data including information indicating the size of the affected area 102 received in step 407 for a predetermined time. Here, the display device 223 displays the superimposed image 602 shown in FIG. 6B. As described above, the information indicating the extraction result of the affected area 102 is superimposed on the live view image, so that the user confirms whether the area of the affected area and the estimated area are appropriate, and then performs the main shooting. You can face it. In the present embodiment, an example has been described in which both the index 613 indicating the estimated area of the affected area 102 and the size information of the affected area 102 are displayed, but only one of them may be displayed.
 ステップ410において、システム制御回路220は操作部材224に含まれるレリーズボタンが押されたかどうかを検知する。レリーズボタンが押されていなければ、撮像装置200はステップ404の処理に戻り、レリーズボタンが押されていれば、撮像装置はステップ411の処理に進む。 In step 410, the system control circuit 220 detects whether or not the release button included in the operation member 224 has been pressed. If the release button has not been pressed, the imaging apparatus 200 returns to the process of step 404, and if the release button has been pressed, the imaging apparatus proceeds to the process of step 411.
 ステップ411において、ステップ403と同様の方法によって、測距システム216が被写体の距離情報を求め、AF制御回路218が被写体にピントが合うようにレンズ群212の駆動制御を行うAF処理を行う。ライブビュー画像から患部領域102を抽出することができているならば、患部領域102が存在する位置における被写体の距離情報を求めればよい。 In step 411, the distance measuring system 216 obtains subject distance information by the same method as in step 403, and the AF control circuit 218 performs AF processing for controlling the driving of the lens group 212 so that the subject is in focus. If the affected area 102 can be extracted from the live view image, the distance information of the subject at the position where the affected area 102 exists may be obtained.
 ステップ412において、撮像装置200は静止画の撮影を行う。 In step 412, the imaging apparatus 200 captures a still image.
 ステップ413において、画像処理回路217がステップ412で生成された画像データに対して現像および圧縮処理を行い、例えばJPEG規格の画像データを生成する。そして、圧縮処理された画像データに対してリサイズ処理を行い、画像データのサイズを小さくする。ステップ413にてリサイズ処理が行われた画像データのサイズは、ステップ404にてリサイズ処理が行われた画像データと同じ大きさか、あるいは、それよりも大きい。これは、患部領域102を計測する際の精度を優先するためである。ここでは、1440ピクセル×1080ピクセルで4ビットRGBカラーとして、画像データのサイズがおよそ4.45メガバイトとなるようにリサイズした。なお、リサイズの大きさはこれに限られるものではない。あるいは、リサイズ処理をせずに、生成したJPEG規格の画像データを用いて次のステップに進んでもよい。 In step 413, the image processing circuit 217 performs development and compression processing on the image data generated in step 412 to generate, for example, JPEG standard image data. Then, resize processing is performed on the compressed image data to reduce the size of the image data. The size of the image data subjected to the resizing process in step 413 is the same as or larger than the image data subjected to the resizing process in step 404. This is because priority is given to the accuracy when measuring the affected area 102. Here, the image data is resized so as to have a size of about 4.45 megabytes as 1440 pixels × 1080 pixels and 4-bit RGB color. Note that the size of the resizing is not limited to this. Alternatively, the next step may be performed using the generated JPEG standard image data without performing the resizing process.
 ステップ414において、通信装置219が、ステップ413で生成されたリサイズ処理がなされた(あるいは、リサイズ処理がなされていない)画像データと、ステップ411で求めた距離情報を取得する。さらに、ズーム倍率の情報や、リサイズ処理された画像データのサイズ(ピクセル数)の情報も取得する。なお、撮像ユニット211が単焦点でズーム機能が無いのであれば、ズーム倍率の情報は不要であり、画像処理装置300が予め画像データのサイズの情報を有しているのであれば、画像データの情報は不要である。 In step 414, the communication device 219 acquires the image data that has been resized (or not resized) generated in step 413 and the distance information obtained in step 411. Further, information on the zoom magnification and information on the size (number of pixels) of the resized image data are also acquired. Note that if the imaging unit 211 is a single focus and does not have a zoom function, information on the zoom magnification is unnecessary, and if the image processing apparatus 300 has information on the size of the image data in advance, the image data Information is not required.
 ステップ415では、通信装置219がステップ414で取得した画像データと、距離情報を含む1以上の情報を、無線通信により画像処理装置300に送信する。 In step 415, the communication device 219 transmits the image data acquired in step 414 and one or more pieces of information including distance information to the image processing device 300 by wireless communication.
 ここで、再び画像処理装置300による処理の説明に移る。 Here, the description of the processing by the image processing apparatus 300 will be resumed.
 ステップ451において、画像処理装置300の通信装置313が、撮像装置200の通信装置219から出力された画像データと、距離情報を含む1以上の情報を受信する。 In step 451, the communication device 313 of the image processing device 300 receives the image data output from the communication device 219 of the imaging device 200 and one or more pieces of information including distance information.
 ステップ452において、画像処理装置300の演算装置311および補助演算装置317が、ステップステップ441で受信した画像データから被写体101の患部領域102を抽出する。処理の詳細はステップ442と同じであるため、説明を省略する。 In step 452, the arithmetic device 311 and the auxiliary arithmetic device 317 of the image processing apparatus 300 extract the affected area 102 of the subject 101 from the image data received in step 441. The details of the processing are the same as in step 442, and thus description thereof is omitted.
 ステップ453において、演算装置311が、補助演算装置317によって抽出された患部領域102の大きさを示す情報の一例として、患部領域102の面積を計算する。処理の詳細はステップ443と同じであるため、説明を省略する。 In step 453, the arithmetic device 311 calculates the area of the affected area 102 as an example of information indicating the size of the affected area 102 extracted by the auxiliary arithmetic device 317. The details of the processing are the same as in step 443, and thus description thereof is omitted.
 ステップ454において、演算装置311は、ステップ453で求めた画像上の1ピクセルに対応する合焦面上の長さに基づいて、抽出した患部領域の長径と短径の長さ、および患部領域に外接する矩形の面積を算出する画像解析を行う。褥瘡の評価指標のDESIGN-R(登録商標)の中で、褥瘡の大きさは長径と短径の積の値を計測することが定められている。本発明の画像処理システムでは長径と短径の解析を行うことで、今までDESIGN-R(登録商標)で計測されたデータとの互換性を確保することができる。DESIGN-R(登録商標)は厳密な定義がないため、数学的には複数の長径、短径の算出方法が考えられる。 In step 454, the arithmetic unit 311 calculates the length of the major and minor axes of the extracted affected area and the length of the affected area based on the length on the focal plane corresponding to one pixel on the image obtained in step 453. Image analysis to calculate the area of the circumscribed rectangle is performed. In the DESIGN-R (registered trademark), which is an evaluation index for pressure ulcers, the size of pressure ulcers is determined to be the product of the major axis and the minor axis. In the image processing system of the present invention, compatibility with data measured by DESIGN-R (registered trademark) can be ensured by analyzing the major axis and the minor axis. Since DESIGN-R (registered trademark) does not have a strict definition, a mathematical calculation method of a plurality of major axes and minor axes is conceivable.
 長径、短径の算出方法の1例としては、まず、演算装置311が、患部領域102に外接する矩形のうち、面積が最小となる矩形(Minimum bounding rectangle)を算出する。そして、この矩形の長辺と短辺の長さを算出し、長辺の長さを長径とし、短辺の長さを短径として算出する。そして、ステップ453で求めた画像上の1ピクセルに対応する合焦面上の長さに基づいて、この矩形の面積を算出する。 As an example of a method of calculating the major axis and the minor axis, first, the arithmetic device 311 calculates a rectangle (Minimum bounding rectangle) having a minimum area among rectangles circumscribing the affected area 102. Then, the lengths of the long side and the short side of the rectangle are calculated, the length of the long side is set as the major axis, and the length of the short side is calculated as the minor axis. Then, based on the length on the in-focus plane corresponding to one pixel on the image obtained in step 453, the area of this rectangle is calculated.
 また、長径と短径の算出方法の別の1例としては、長径として最大のキャリパー長である最大フェレ径を、短径として最小フェレ径を選択してもよい。あるいは、長径として最大のキャリパー長である最大フェレ径を、短径として、最大フェレ径の軸に直交する方向で計測した長さを選択してもよい。長径と短径の計算方法は、従来の計測結果との互換性に基づいて任意の方法を選択することができる。 Further, as another example of the calculation method of the long diameter and the short diameter, the maximum ferret diameter which is the maximum caliper length as the long diameter may be selected, and the minimum ferret diameter may be selected as the short diameter. Or you may select the length measured in the direction orthogonal to the axis | shaft of the maximum ferret diameter by making the maximum ferret diameter which is the largest caliper length as a long diameter into a short diameter. As the calculation method of the long diameter and the short diameter, any method can be selected based on compatibility with the conventional measurement result.
 なお、この患部領域102の長径および短径の長さと矩形面積の算出は、ステップ441で受け取った画像データに対しては実行しない処理である。ライブビュー中は、患部領域102の抽出結果をユーザが確認できるようにすることを目的としているため、ステップ454の画像解析のステップを省くことで、処理時間を削減している。 It should be noted that the calculation of the major axis and minor axis length and rectangular area of the affected area 102 is a process that is not performed on the image data received in step 441. During the live view, the purpose is to allow the user to check the extraction result of the affected area 102, so that the processing time is reduced by omitting the image analysis step of step 454.
 また、DESIGN-R(登録商標)に基づく大きさの評価を行わずに、褥瘡の実際の面積の情報を得ることが目的である場合には、ステップ454の処理を省略することができる。その場合、以降の処理において、DESIGN-R(登録商標)における評価項目としての大きさの情報が無いものと処理することになる。 In addition, when the purpose is to obtain information on the actual area of the pressure ulcer without performing the size evaluation based on DESIGN-R (registered trademark), the processing in step 454 can be omitted. In that case, in subsequent processing, it is processed that there is no size information as an evaluation item in DESIGN-R (registered trademark).
 ステップ455において、演算装置311が、患部領域102の抽出の対象とした画像データに対して、患部領域102の抽出結果を示す情報と、患部領域102の大きさを示す情報を重畳した画像データを生成する。 In step 455, the arithmetic device 311 obtains image data in which information indicating the extraction result of the affected area 102 and information indicating the size of the affected area 102 are superimposed on the image data targeted for extraction of the affected area 102. Generate.
 図7A乃至図7Cは、患部領域102の抽出結果を示す情報、および、患部領域102の長径と短径を含む患部領域の大きさを示す情報を画像データに重畳する方法を説明するための図である。患部領域102の大きさを示す情報が複数考えられるため、図7Aの重畳画像701、図7Bの重畳画像702、および、図7Cの重畳画像703に分けて説明する。 7A to 7C are diagrams for explaining a method of superimposing information indicating the extraction result of the affected area 102 and information indicating the size of the affected area including the major axis and the minor axis of the affected area 102 on the image data. It is. Since a plurality of pieces of information indicating the size of the affected area 102 are conceivable, the description will be divided into a superimposed image 701 in FIG. 7A, a superimposed image 702 in FIG. 7B, and a superimposed image 703 in FIG. 7C.
 図7Aの重畳画像701は、長径、短径の算出方法としてMinimum bounding rectangleを用いたものである。重畳画像701の左上隅に、患部領域102の大きさを示す情報として、図6Bと同様に、黒地の背景に白色の文字で患部領域102の面積値の文字列612を表示したラベル611を重畳する。さらに、重畳画像701の右上隅に、患部領域102の大きさを示す情報として、Minimum bounding rectangleに基づいて算出した長径および短径を表示したラベル712を重畳する。文字列713は長径の長さ(単位はcm)を表し、文字列714は短径の長さ(単位はcm)を表す。それから、重畳画像701には、患部領域102に、Minimum bounding rectangleを表す矩形の枠715を表示する。矩形の枠715を長径および短径の長さと一緒に重畳することで、ユーザは画像中のどの箇所の長さが計測されているのかを確認することができる。 The superimposed image 701 in FIG. 7A is obtained by using Minimum bounding rectangle as a method of calculating the major axis and the minor axis. As information indicating the size of the affected area 102, a label 611 that displays a character string 612 of the area value of the affected area 102 in white characters is superimposed on the black background as information indicating the size of the affected area 102 in the upper left corner of the superimposed image 701. To do. Further, a label 712 displaying a major axis and a minor axis calculated based on the minimum bounding rectangle is superimposed on the upper right corner of the superimposed image 701 as information indicating the size of the affected area 102. The character string 713 represents the length of the major axis (unit: cm), and the character string 714 represents the length of the minor axis (unit: cm). Then, in the superimposed image 701, a rectangular frame 715 representing the minimum bounding rectangle is displayed in the affected area 102. By superimposing the rectangular frame 715 together with the lengths of the major axis and the minor axis, the user can check which part of the image is being measured.
 また、重畳画像701の右下隅にはスケールバー716が重畳されている。スケールバー716は患部領域102の大きさを測定するためのものであり、距離情報に応じて、画像データに対する前記スケールバーのサイズが変更される。具体的には、スケールバー716は、ステップステップ453で得られた画像上の1ピクセルに対応する合焦面上の長さに基づいて、1cm単位で5cmまでの目盛りを刻んだバーであり、撮像装置の合焦面上すなわち被写体上のサイズに対応したものである。ユーザはスケールバーを参照することにより、被写体もしくは患部領域の大きさをおよそ把握することができる。 Also, a scale bar 716 is superimposed on the lower right corner of the superimposed image 701. The scale bar 716 is for measuring the size of the affected area 102, and the size of the scale bar for the image data is changed according to the distance information. Specifically, the scale bar 716 is a bar in which a scale of up to 5 cm is engraved in units of 1 cm based on the length on the focal plane corresponding to one pixel on the image obtained in step 453. This corresponds to the size on the in-focus plane of the image pickup apparatus, that is, on the subject. The user can roughly grasp the size of the subject or the affected area by referring to the scale bar.
 さらに、前述したDESIGN-R(登録商標)のSizeの評価値を重畳画像701の左下隅に重畳する。DESIGN-R(登録商標)のSizeの評価値では、皮膚損傷範囲の、長径と短径(長径と直交する最大径)を測定し(単位はcm)、各々を掛け合わせた数値から上述した7段階に分類されている。本実施形態では長径と短径をそれぞれの算出方法によって出力された値に置き換えて得られる評価値を重畳する。 Further, the above-described evaluation value of Size of DESIGN-R (registered trademark) is superimposed on the lower left corner of the superimposed image 701. In the evaluation value of Size of DESIGN-R (registered trademark), the major axis and minor axis (maximum diameter orthogonal to the major axis) of the skin damage range were measured (unit: cm), and the above-mentioned 7 Classified into stages. In the present embodiment, evaluation values obtained by replacing the major axis and the minor axis with values output by the respective calculation methods are superimposed.
 図7Bの重畳画像702は、長径として最大フェレ径521を、短径として最小フェレ径522を用いたものである。重畳画像702の右上隅に長径の文字列723および短径の文字列724を表示したラベル722を重畳する。さらに、重畳画像702には、患部領域102に、最大フェレ径521の計測位置に相当する補助線725と、最小フェレ径522に相当する補助線726を表示する。補助線を長径および短径の長さと一緒に重畳することで、ユーザは画像中のどの箇所の長さが計測されているのかを確認することができる。 7B uses the maximum ferret diameter 521 as the major axis and the minimum ferret diameter 522 as the minor axis. A label 722 displaying a character string 723 having a long diameter and a character string 724 having a short diameter is superimposed on the upper right corner of the superimposed image 702. Further, in the superimposed image 702, an auxiliary line 725 corresponding to the measurement position of the maximum ferret diameter 521 and an auxiliary line 726 corresponding to the minimum ferret diameter 522 are displayed in the affected area 102. By superimposing the auxiliary lines together with the lengths of the major axis and the minor axis, the user can confirm which part of the image is being measured.
 図7Cの重畳画像703は、長径は重畳画像702と同じであるが、短径を最小フェレ径ではなく最大フェレ径の軸に直交する方向で計測した長さとして計測したものである。重畳画像702の右上隅に長径の文字列723および短径の文字列734を表示したラベル732を重畳する。さらに、重畳画像702には、患部領域102に、最大フェレ径521の計測位置に相当する補助線725と、最大フェレ径の軸に直交する方向で計測した長さに相当する補助線736を表示する。 7C, the major axis is the same as the superimposed image 702, but the minor axis is measured not as the minimum ferret diameter but as a length measured in a direction orthogonal to the axis of the maximum ferret diameter. A label 732 displaying a character string 723 having a long diameter and a character string 734 having a short diameter is superimposed on the upper right corner of the superimposed image 702. Further, the superimposed image 702 displays an auxiliary line 725 corresponding to the measurement position of the maximum ferret diameter 521 and an auxiliary line 736 corresponding to the length measured in the direction orthogonal to the axis of the maximum ferret diameter in the affected area 102. To do.
 なお、図7A乃至図7Cのそれぞれに示した、画像データに重畳する各種情報は、いずれか1つ、または、複数の組合せとしてもよく、ユーザが表示する情報を選択できるようにしてもよい。また、図6Bおよび図7A乃至図7Cに示した重畳画像は1つの例であって、患部領域102および患部領域102の大きさを示す情報の表示形態、表示位置、フォントの種類、フォントサイズ、フォントの色、あるいは、位置関係などは様々な条件に応じて変更できる。 Note that the various types of information superimposed on the image data shown in each of FIGS. 7A to 7C may be any one or a plurality of combinations, and the information displayed by the user may be selected. The superimposed images shown in FIG. 6B and FIGS. 7A to 7C are one example. The affected area 102 and the information indicating the size of the affected area 102, the display position, the font type, the font size, The font color or positional relationship can be changed according to various conditions.
 ステップ456において、画像処理装置300の通信装置313が、抽出した患部領域102の抽出結果を示す情報と、患部領域102の大きさを示す情報を撮像装置200に出力する。本実施形態では、通信装置313は、ステップ455で生成した、患部領域102の大きさを示す情報を含む画像データを、撮像装置200に無線通信により出力する。 In step 456, the communication device 313 of the image processing apparatus 300 outputs information indicating the extracted extraction result of the affected area 102 and information indicating the size of the affected area 102 to the imaging apparatus 200. In the present embodiment, the communication device 313 outputs image data including information indicating the size of the affected area 102 generated in step 455 to the imaging device 200 by wireless communication.
 ここで、再び撮像装置200による処理の説明に戻る。 Here, the description returns to the processing by the imaging apparatus 200 again.
 ステップ416で、撮像装置200の通信装置219は、画像処理装置300にて生成された患部領域102の大きさを示す情報を含む画像データを受信する。 In step 416, the communication device 219 of the imaging device 200 receives image data including information indicating the size of the affected area 102 generated by the image processing device 300.
 ステップ417において、表示装置223がステップ416で受信した患部領域102の大きさを示す情報を含む画像データを所定時間表示する。ここでは、表示装置223は図7A乃至図7Cに示す重畳画像701乃至703のいずれかを表示し、所定時間経後にステップ418の処理に移行する。 In step 417, the display device 223 displays image data including information indicating the size of the affected area 102 received in step 416 for a predetermined time. Here, the display device 223 displays one of the superimposed images 701 to 703 shown in FIGS. 7A to 7C, and proceeds to the processing of step 418 after a predetermined time.
 ステップ418において、値が入力されていない患部領域情報の有無を判定する。ここで患部領域情報とは、患部の部位を示す情報、および、前述したDESIGN-R(登録商標)の各評価項目の評価値を指す。Sizeに関する評価項目の評価値については、ステップ416で受信した大きさを示す情報に基づいて、自動的に入力される。 In step 418, it is determined whether or not there is affected area information for which no value is input. Here, the affected area information refers to information indicating the site of the affected area and the evaluation value of each evaluation item of DESIGN-R (registered trademark) described above. The evaluation value of the evaluation item related to Size is automatically input based on the information indicating the size received in Step 416.
 ステップ418において値が入力されていない患部領域情報がある場合はステップ419に移行し、全ての患部領域情報が入力されていれば、ステップ402に戻りライブビューを再開する。 If there is affected area information for which no value is input in step 418, the process proceeds to step 419. If all the affected area information has been input, the process returns to step 402 and the live view is resumed.
 ステップ419において、システム制御回路220は、表示装置223に患部領域情報の入力を促すユーザインターフェースを表示する。 In step 419, the system control circuit 220 displays a user interface that prompts input of affected area information on the display device 223.
 ステップ420において、ユーザによって患部領域情報が入力されると、ステップ418に戻る。 If the affected area information is input by the user in step 420, the process returns to step 418.
 図8A乃至図8Gはステップ419およびステップ420において、患部領域情報をユーザに入力させる方法を説明するための図である。 8A to 8G are diagrams for explaining a method of causing the user to input affected area information in Step 419 and Step 420. FIG.
 図8Aは患部領域情報のうち、患部領域の部位の入力を促す表示である。 FIG. 8A is a display prompting input of a part of the affected area in the affected area information.
 表示装置223に患部領域の部位、Head(頭)、Shoulder(肩)、Arm(腕)、Back(背)、Waist(腰)、Hip(尻)、Leg(脚)を指定するための部位選択項目801が表示される。なお、この部位選択項目801の一番下には、患部領域情報の入力を完了するための項目があり、これを選択することで、患部領域情報の一部が未入力であっても、患部領域情報の入力作業を終了することができる。 Site selection for designating the affected area, Head (shoulder), Arm (arm), Back (back), Waist (hip), Hip (butt), Leg (leg) on the display device 223 An item 801 is displayed. It should be noted that there is an item for completing the input of the affected area information at the bottom of the region selection item 801. By selecting this item, even if a part of the affected area information is not input, the affected area The area information input operation can be completed.
 ユーザは操作部材224を操作することで、撮影した患部領域が存在する部位を指定することができる。ユーザによって選択された項目は枠線802で囲まれて表示される。図8AではHip(尻)が選択された様子を示している。部位選択項目801が示す1つの部位に、2つ以上の患部領域が存在することもあるため、さらに、Hip1、Hip2、Hip3と、さらに複数の項目を選択できるようにしてもよい。 The user can designate a part where the photographed affected area exists by operating the operation member 224. The item selected by the user is displayed surrounded by a frame line 802. FIG. 8A shows a state where Hip (butt) is selected. Since two or more affected areas may exist in one part indicated by the part selection item 801, it may be possible to further select a plurality of items such as Hip1, Hip2, and Hip3.
 図8Bは、図8Aで患部領域が存在する部位を選択した後、選択した部位でよいかどうかをユーザに確認するための表示である。ユーザ操作によって選択した部位でよいことが確認されると、表示装置223は図8Cに示す画面の表示を行う。 FIG. 8B is a display for confirming to the user whether or not the selected site is acceptable after selecting the site where the affected area exists in FIG. 8A. When it is confirmed that the part selected by the user operation is acceptable, the display device 223 displays the screen shown in FIG. 8C.
 図8Cは患部領域情報のうち、DESIGN-R(登録商標)の各評価項目の評価値の入力を促す表示である。 FIG. 8C is a display prompting input of evaluation values of each evaluation item of DESIGN-R (registered trademark) in the affected area information.
 画面左側には評価項目選択部804が表示される。D(深さ:Depth)、E(滲出液:Exudate)、S(大きさ:Size)、I(炎症・感染:Inflammation/Infection)、G(肉芽組織:Granulation)、N(壊死組織:Necrotic tissue)、P(ポケット:Pocket)の各項目と、各々の項目が入力されたかどうかを示す情報が、患部領域の画像とともに表示される。図8Cでは、画像から解析済みであるS(大きさ:Size)については評価値「s9」が表示され、それ以外の評価項目については未確認であることを示す「non」が表示されている。S(大きさ:Size)の項目が網掛け表示となっているのは、この項目が入力済であることを示している。 The evaluation item selection unit 804 is displayed on the left side of the screen. D (depth: Depth), E (exudate: Exudate), S (size: Size), I (inflammation / infection: Inflamation / Infection), G (granulation tissue: Granulation), N (necrotic tissue: Necrotic tissue) ), P (Pocket), and information indicating whether each item has been input are displayed together with an image of the affected area. In FIG. 8C, the evaluation value “s9” is displayed for S (size: Size) that has been analyzed from the image, and “non” indicating that the other evaluation items are unconfirmed is displayed. The item of S (size: Size) is shaded to indicate that this item has already been input.
 ユーザは操作部材224を操作することで評価項目を指定することができ、選択された評価項目(ここではD(深さ:Depth))は枠線805で囲まれて表示される。 The user can specify an evaluation item by operating the operation member 224, and the selected evaluation item (here, D (depth: Depth)) is displayed surrounded by a frame line 805.
 このとき、画面下部には重症度選択部806として画面左側で選択された評価項目の重症度の評価値が重畳表示される。図8Cでは、D(深さ:Depth)の重症度を示す評価値であるd0、d1、d2、D3、D4、D5、DUが表示されている。 At this time, the evaluation value of the severity of the evaluation item selected on the left side of the screen as the severity selection unit 806 is superimposed and displayed at the bottom of the screen. In FIG. 8C, d0, d1, d2, D3, D4, D5, and DU, which are evaluation values indicating the severity of D (depth: Depth), are displayed.
 ユーザは操作部材224を操作していずれかの評価値を選択することができ、選択された評価値は枠線807で囲まれて表示されるとともに、その評価値の説明文808(評価項目Depth、重症度d2の説明:真皮までの損傷)が表示される。なお、ユーザが文字列を入力することで、評価値の入力を行うようにしてもよい。 The user can select one of the evaluation values by operating the operation member 224. The selected evaluation value is displayed surrounded by a frame line 807, and the evaluation value description 808 (evaluation item Depth) is displayed. , Explanation of severity d2: damage to dermis). Note that the evaluation value may be input by the user inputting a character string.
 図8Dは、図8Cで評価値を選択した後、選択した評価値でよいかどうか、ユーザに問い合わせるための確認通知809を示す。 FIG. 8D shows a confirmation notification 809 for inquiring the user whether the selected evaluation value is acceptable after selecting the evaluation value in FIG. 8C.
 ユーザが操作部材224で、選択した評価値で問題ないことを選択すると、図8Eに示す表示に画面が遷移する。 When the user selects with the operation member 224 that there is no problem with the selected evaluation value, the screen transitions to the display shown in FIG. 8E.
 図8Eは、評価値が入力されたことによって、D(深さ:Depth)の評価項目810の表示が「non」から「d2」に変わるとともに、評価項目810が網掛け表示となる。 In FIG. 8E, when the evaluation value is input, the display of the evaluation item 810 for D (depth: Depth) changes from “non” to “d2”, and the evaluation item 810 is shaded.
 同様に未入力の評価項目がなくなるまで、E(滲出液:Exudate)、I(炎症・感染:Inflammation/Infection)、G(肉芽組織:Granulation)、N(壊死組織:Necrotic tissue)、P(ポケット:Pocket)について、ユーザに評価値の入力を促す表示がされる。 Similarly, E (exudate: Exfate), I (inflammation / infection), G (granulation tissue: Granulation), N (necrotic tissue: Necrotic tissue), P (pocket) until there are no evaluation items yet to be entered. : Pocket) is displayed prompting the user to input an evaluation value.
 全ての評価項目の評価値が入力されると、患部領域情報の入力が完了した旨をユーザに通知した後、ステップ402に戻り、ライブビュー処理を開始する。 When the evaluation values of all the evaluation items have been input, the user is notified that the input of the affected area information has been completed, and then the process returns to step 402 to start the live view process.
 このように、第1の実施形態ではステップ418~ステップ420の処理において、患部撮領域の影後、自動解析されなかった評価項目の評価値や患部領域の部位の情報の入力を促す表示を行い、ユーザに患部領域情報を入力させる機能を備える。このようにすることで、従来、別の媒体で入力していた患部領域情報を撮像装置のみで入力することが可能となる。 As described above, in the first embodiment, in the processing from step 418 to step 420, after the affected area imaging area is shaded, the display prompting the user to input the evaluation value of the evaluation item that has not been automatically analyzed and the information on the site of the affected area is performed. A function of allowing the user to input diseased area information is provided. By doing in this way, it becomes possible to input affected area information conventionally input with another medium only with an imaging device.
 また次の患部を撮影する前に患部領域情報が全て入力したかどうか判定し、未入力の評価項目の入力を順次促すことで、患部領域情報の入力漏れを防ぐことが可能となる。 Also, it is possible to prevent omission of input of affected area information by determining whether or not all the affected area information has been input before photographing the next affected area and prompting the input of evaluation items that have not been input.
 なお、第1の実施形態に係る操作部材224は、音声認識による入力手段を用いてもよい。 Note that the operation member 224 according to the first embodiment may use input means based on voice recognition.
 また、図8Aでは患部部位入力時、部位を「Head」「Shoulder」などの文字で項目表示し、選択した。これに対し、図8Fに示すように、表示装置223に人体モデル811を表示し、表示装置223に設けられたタッチセンサで、ユーザに患部領域の部位を指定させるように構成してもよい。 Also, in FIG. 8A, when inputting the affected part, the part is displayed with an item such as “Head” and “Shoulder” and selected. On the other hand, as shown in FIG. 8F, a human body model 811 may be displayed on the display device 223, and the touch sensor provided on the display device 223 may be configured to allow the user to specify the site of the affected area.
 また、その際、図8Gに示すように、人体モデル811を拡大、縮小、あるいは、回転させることにより、より患部領域の部位を選択しやすくするように構成してもよい。 Further, at that time, as shown in FIG. 8G, the human body model 811 may be enlarged, reduced, or rotated to make it easier to select the site of the affected area.
 また、図8Eでは、評価値の入力が完了した評価項目であることを示す手段として網掛け表示を用いたが、文字の輝度を落としても、反転表示してもよく、ユーザに明示できるのであれば、これらの表示方法に制限されるものではない。 In FIG. 8E, the shaded display is used as a means for indicating that the evaluation item has been input. However, the brightness of the character may be reduced or displayed in reverse, and can be clearly shown to the user. If there is, it is not limited to these display methods.
 また、本実施例では入力可能な褥瘡の評価指標としてDESIGN-R(登録商標)を用いているが、これに限定されるものではない。Bates-Jensen Wound Assessment Tool(BWAT)、Pressure Ulcer Scale for Healing(PUSH)、Pressure Sore Status Tool(PSST)などの、他の評価指標を用いてもよい。すなわち、褥瘡の領域の抽出結果と、抽出した領域の大きさの情報が得られたことに応じて、これらBWAT、PUSH、PSSTなどにおける評価項目を入力するためのユーザインターフェースを表示するようにしてもよい。 In this embodiment, DESIGN-R (registered trademark) is used as an evaluation index for pressure ulcers that can be input, but the present invention is not limited to this. Other evaluation indices such as Bates-Jensen Wound Asset Tool (BWAT), Pressure Ulcer Scale for Healing (PUSH), Pressure Sole Status Tool (PSST) may be used. That is, the user interface for inputting the evaluation items in BWAT, PUSH, PSST, etc. is displayed according to the extraction result of the pressure ulcer region and the information on the size of the extracted region. Also good.
 また、本実施例では褥瘡の評価項目の評価値の入力を目的とした構成の例を挙げて説明を行っているが、視覚的な評価項目であれば、他の皮膚疾患における評価項目の評価値でもよい。例えばアトピー性皮膚炎におけるSeverity Scoring of Atopic Dermatitis(SCORAD)、や乾癬におけるBody Surface Area、Psoriasis Area and Severity Index(PASI)等がある。 In addition, in this embodiment, an example of a configuration for the purpose of inputting an evaluation value of an evaluation item for pressure ulcer is described, but if it is a visual evaluation item, the evaluation item for other skin diseases is evaluated. It may be a value. For example, there are Severity Scoring of Atopic Dermatitis (SCORAD) in atopic dermatitis, and Body Surface Area, Psoriasis Area and Severity Index (PASI) in psoriasis.
 このように、本実施形態によれば、ユーザが撮像装置200で患部領域102を撮像することにより、撮像装置200の表示装置223に患部領域の大きさを示す情報が表示される画像処理システムを提供することができる。そのため、褥瘡の患部領域の大きさの評価を医療関係者の負荷、および、評価をされる患者側の負荷を軽減することができる。また、患部領域の大きさの算出をプログラムに基づいて実行することで、医療関係者が手動で計測する場合に比べて個人差を抑制することができ、褥瘡の大きさの評価の正確性を向上することができる。また、褥瘡の規模をより的確に表すため評価値としての患部面積を算出して表示することができる。 Thus, according to the present embodiment, the image processing system in which information indicating the size of the affected area is displayed on the display device 223 of the imaging apparatus 200 when the user images the affected area 102 with the imaging apparatus 200. Can be provided. Therefore, it is possible to reduce the load on the medical staff for the evaluation of the size of the affected area of the pressure sore and the load on the patient side to be evaluated. In addition, by executing the calculation of the size of the affected area based on the program, individual differences can be suppressed compared to the case where medical personnel manually measure, and the accuracy of pressure ulcer size evaluation can be improved. Can be improved. Further, in order to more accurately represent the scale of pressure ulcer, the affected area as an evaluation value can be calculated and displayed.
 なお、ライブビュー表示の際に、ユーザが患部領域の推定エリアが妥当であるかを確認する機能は必須ではないため、ステップ406、ステップ407、および、ステップ441乃至ステップ445を省略する構成とすることも可能である。 In addition, since the function for the user to confirm whether the estimated area of the affected area is valid is not essential during live view display, Step 406, Step 407, and Steps 441 to 445 are omitted. It is also possible.
 また、画像処理装置300は、患部領域102の抽出結果を示す情報、患部領域102の大きさを示す情報、および、これらの情報を重畳した重畳画像の画像データを記憶装置312に記憶するようにしてもよい。そして、出力装置314は、接続されたディスプレイなどの出力機器に、記憶装置312に記憶したいずれか1つ以上の情報、あるいは、画像データを出力することができる。ディスプレイに重畳画像を表示することで、患部領域102を撮影するユーザとは別のユーザが、リアルタイムで、あるいは、過去に得られた患部領域102の画像と大きさを示す情報を得ることができるようになる。画像処理装置300の演算装置311は、出力装置314からディスプレイに送信する画像データに対して、任意に位置および角度を変更するスケールバーなどを表示する機能を設けてもよい。このようなスケールバーを表示することで、ディスプレイを見ているユーザが患部領域102の任意の箇所の長さを計測することが可能となる。このスケールバーのメモリの幅は、ステップ451で受信した距離情報、ズーム倍率の情報、およびリサイズ処理された画像データのサイズ(ピクセル数)の情報などに基づいて自動調整されることが望ましい。 Further, the image processing apparatus 300 stores information indicating the extraction result of the affected area 102, information indicating the size of the affected area 102, and image data of a superimposed image obtained by superimposing such information in the storage device 312. May be. The output device 314 can output any one or more pieces of information or image data stored in the storage device 312 to an output device such as a connected display. By displaying the superimposed image on the display, a user other than the user who captures the affected area 102 can obtain information indicating the image and size of the affected area 102 obtained in real time or in the past. It becomes like this. The arithmetic device 311 of the image processing device 300 may have a function of displaying a scale bar or the like that arbitrarily changes the position and angle with respect to the image data transmitted from the output device 314 to the display. By displaying such a scale bar, a user looking at the display can measure the length of an arbitrary portion of the affected area 102. It is desirable that the scale bar memory width be automatically adjusted based on the distance information received in step 451, the zoom magnification information, and the size (number of pixels) information of the resized image data.
 画像処理装置300を、据え置き側で常時電源が供給された状態で用いれば、バッテリー切れになる心配がなく、いつでも任意のタイミングで患部領域102の画像と大きさを示す情報を得ることができる。また、一般的に据え置き型デバイスである画像処理装置300は記憶容量が多いため、多数の画像データを保存することができる。 If the image processing apparatus 300 is used in a state where power is constantly supplied on the stationary side, there is no fear of running out of the battery, and information indicating the image and size of the affected area 102 can be obtained at any time. Further, since the image processing apparatus 300 that is generally a stationary device has a large storage capacity, it can store a large number of image data.
 また、本実施形態によれば、ユーザが撮像装置200で患部領域102を撮像した際に、画像を画像解析することよって得られる情報とは別の、患部領域102に関する情報を、ユーザが入力し、記録することができる。そのため、後ほど、撮影された画像データを見ながら、電子カルテや紙媒体に患部領域の評価を入力する手間が不要となる。さらに、未入力の項目がわかるようにユーザに提示することによって、ユーザが患部領域を撮影した際に、これらの情報の入力を忘れてしまうことを抑制することが可能になる。 Further, according to the present embodiment, when the user images the affected area 102 with the imaging device 200, the user inputs information related to the affected area 102, which is different from information obtained by image analysis of the image. Can be recorded. Therefore, it is unnecessary to input the evaluation of the affected area on an electronic medical record or a paper medium while looking at the captured image data later. Furthermore, by presenting to the user so that items that have not been input can be understood, it is possible to prevent the user from forgetting to input such information when the user has photographed the affected area.
 (第2の実施形態)
 第1の実施形態に係る画像処理システムでは、画像処理装置300が、患部領域の抽出結果を示す情報および患部領域の大きさを示す情報を、画像データに重畳する処理を行った。これに対し、第2の実施形態に係る画像処理システムでは、撮像装置200の画像処理回路217が、患部領域の抽出結果を示す情報および患部領域の大きさを示す情報を画像データに重畳する処理を行う。
(Second Embodiment)
In the image processing system according to the first embodiment, the image processing apparatus 300 performs a process of superimposing information indicating the extraction result of the affected area and information indicating the size of the affected area on the image data. On the other hand, in the image processing system according to the second embodiment, the image processing circuit 217 of the imaging apparatus 200 superimposes information indicating the extraction result of the affected area and information indicating the size of the affected area on the image data. I do.
 図9は、第2の実施形態に係る画像処理システム1の動作を示すワークフロー図である。 FIG. 9 is a workflow diagram showing the operation of the image processing system 1 according to the second embodiment.
 図9には、図4に示すワークフローのうち、画像処理装置300によるステップ444およびステップ455の重畳処理が無く、代わりに、撮像装置200によるステップ901およびステップ902の重畳処理が追加されている。なお、図9に記載されたステップのうち、図4に示すステップと同じ番号が付与されたステップは、図4の対応するステップと同様の処理を行う。 FIG. 9 does not include the superimposition process of step 444 and step 455 by the image processing apparatus 300 in the workflow shown in FIG. 4, and instead, the superimposition process of step 901 and step 902 by the imaging apparatus 200 is added. Of the steps described in FIG. 9, steps assigned the same numbers as the steps shown in FIG. 4 perform the same processing as the corresponding steps in FIG. 4.
 本実施形態では、撮像装置200が重畳画像を生成するため、ステップ445およびステップ456において、画像処理装置300から撮像装置200へ送るデータはカラースケールの画像データである必要はない。画像処理装置300は、画像データは送信せずに、推定された患部領域の大きさを示すメタデータおよび患部領域の位置を表すデータを送信することになるので、通信トラフィックを軽減し、通信を高速化することができる。推定された患部領域の位置を表すデータはよりサイズの軽いベクター形式のデータである。なお、2値のラスター形式のデータであってもよい。 In this embodiment, since the imaging apparatus 200 generates a superimposed image, the data sent from the image processing apparatus 300 to the imaging apparatus 200 in step 445 and step 456 need not be color scale image data. The image processing apparatus 300 does not transmit the image data, but transmits the metadata indicating the estimated size of the affected area and the data indicating the position of the affected area, thereby reducing communication traffic and performing communication. The speed can be increased. Data representing the estimated position of the affected area is data in a lighter vector format. It may be binary raster format data.
 また、撮像装置200は、ステップ407あるいはステップ416で画像処理装置300から推定された患部領域の大きさを示すメタデータおよび患部領域の位置を表すデータを受信すると、ステップ901またはステップ902において、重畳画像を生成する。 In addition, when the imaging apparatus 200 receives the metadata indicating the size of the affected area estimated from the image processing apparatus 300 in step 407 or 416 and the data indicating the position of the affected area, in step 901 or step 902, the imaging apparatus 200 performs superimposition. Generate an image.
 具体的には、ステップ901において、撮像装置200の画像処理回路217は、図4のステップ444で説明した方法で、重畳画像を生成する。推定された患部領域の大きさおよび位置を表す情報を重畳する画像データは、ステップ406で撮像装置200から画像処理装置300に送信した画像データでもよいし、ライブビュー用の画像として表示に用いられている最新のフレームの画像データでもよい。 Specifically, in step 901, the image processing circuit 217 of the imaging device 200 generates a superimposed image by the method described in step 444 in FIG. The image data on which the information representing the estimated size and position of the affected area is superimposed may be the image data transmitted from the imaging apparatus 200 to the image processing apparatus 300 in step 406, or used for display as an image for live view. The latest frame image data may be used.
 また、ステップ902において、撮像装置200の画像処理回路217は、図4のステップ455で説明した方法で、重畳画像を生成する。推定された患部領域の大きさおよび位置を表す情報を重畳する画像データは、ステップ415で撮像装置200から画像処理装置300に送信した画像データである。 In step 902, the image processing circuit 217 of the imaging apparatus 200 generates a superimposed image by the method described in step 455 of FIG. The image data on which the information representing the estimated size and position of the affected area is superimposed is the image data transmitted from the imaging device 200 to the image processing device 300 in step 415.
 このように、本実施形態によれば、第1の実施形態に比べて、画像処理装置300から撮像装置200へ送るデータを軽減することができるため、撮像装置200と画像処理装置300の間の通信トラフィックを軽減し、通信を高速化することができる。 As described above, according to the present embodiment, data sent from the image processing apparatus 300 to the imaging apparatus 200 can be reduced as compared with the first embodiment, and therefore, between the imaging apparatus 200 and the image processing apparatus 300 can be reduced. Communication traffic can be reduced and communication speed can be increased.
 (第3の実施形態)
 図10は、第3の実施形態に係る画像処理システム11の概要を示す図である。図10に示す画像処理システム11は、第1および第2の実施形態で説明した撮像装置200および画像処理装置300に加えて、Webアクセスが可能な電子機器である端末装置1000を有している。端末装置1000は、例えばタブレット端末で構成され、Webブラウザの機能を有し、Webサーバーへのアクセスと取得したHTMLファイルの表示をすることができる。なお、端末装置1000はタブレット端末に限らず、Webブラウザ、あるいは、専用のアプリケーションソフトにて画像を表示できるデバイスならばよく、例えばスマートフォンやパーソナルコンピュータであってもよい。ここで、撮像装置200と端末装置1000が別の装置であるものとして説明を行うが、これらを単一の装置としてもよい。端末装置1000がカメラ機能付きのスマートフォンやタブレット端末であれば、端末装置1000が撮像装置200の役割を果たすことも可能である。
(Third embodiment)
FIG. 10 is a diagram showing an outline of the image processing system 11 according to the third embodiment. An image processing system 11 illustrated in FIG. 10 includes a terminal device 1000 that is an electronic device capable of Web access, in addition to the imaging device 200 and the image processing device 300 described in the first and second embodiments. . The terminal device 1000 is composed of, for example, a tablet terminal, has a Web browser function, and can access the Web server and display the acquired HTML file. The terminal device 1000 is not limited to a tablet terminal, and may be a device that can display an image using a Web browser or dedicated application software, and may be a smartphone or a personal computer, for example. Here, the imaging device 200 and the terminal device 1000 will be described as different devices, but these may be a single device. If the terminal device 1000 is a smartphone or a tablet terminal with a camera function, the terminal device 1000 can also play the role of the imaging device 200.
 画像処理装置300の演算装置311は、第1および第2の実施形態で説明した処理に加え、画像データから被写体を識別する処理を行う。さらに、この演算装置311は、推定された患部領域の大きさおよび位置に関する情報と、患部領域の画像データを、識別した被写体ごとに記憶装置312に記憶させる処理を実行する。端末装置1000は、画像処理装置300の記憶装置312に記憶された、被写体に紐づいた推定された患部領域の大きさを示す情報と患部領域の画像データを、Webブラウザ、あるいは、専用のアプリケーションソフトを用いることでユーザに確認させることができる。ここでは、Webブラウザを用いてユーザに画像データを確認させるものとして説明を行う。 The arithmetic device 311 of the image processing device 300 performs processing for identifying a subject from image data in addition to the processing described in the first and second embodiments. Further, the arithmetic device 311 executes processing for storing information on the estimated size and position of the affected area and image data of the affected area in the storage device 312 for each identified subject. The terminal device 1000 stores information indicating the estimated size of the affected area associated with the subject and image data of the affected area, stored in the storage device 312 of the image processing apparatus 300, using a Web browser or a dedicated application By using software, the user can be confirmed. Here, a description will be given assuming that the user confirms the image data using a Web browser.
 なお、画像データから被写体を識別する機能、識別した被写体ごとに患部領域の情報あるいは画像データを記憶する機能、あるいは、Webサービスの処理を行う機能は、本実施形態では画像処理装置300が実施するものとするが、これに限られない。これらの機能の一部または全ては、画像処理装置300とは別のネットワーク上のコンピュータによって実現されてもよい。 Note that the function of identifying a subject from image data, the function of storing affected area information or image data for each identified subject, or the function of performing Web service processing is performed by the image processing apparatus 300 in this embodiment. However, it is not limited to this. Some or all of these functions may be realized by a computer on a network different from that of the image processing apparatus 300.
 図10において、被写体101には被写体を識別する情報としてバーコードタグ103が付帯しており、撮影した患部領域102の画像データと、バーコードタグ103が示す被写体のIDとを紐づけることができる。なお、被写体を識別するタグはバーコードタグに限ったものではなく、QRコード(登録商標)などの2次元コードや数値であってもよい。あるいは、被写体を識別するタグとしてテキストを記載してタグを用いて、画像処理装置300に搭載されたOCR(Optical Character Recognition/Reader)機能で読み取るようにしてもよい。 In FIG. 10, a barcode tag 103 is attached to the subject 101 as information for identifying the subject, and the photographed image data of the affected area 102 and the subject ID indicated by the barcode tag 103 can be linked. . The tag for identifying the subject is not limited to the barcode tag, but may be a two-dimensional code such as a QR code (registered trademark) or a numerical value. Alternatively, text may be written as a tag for identifying a subject, and the tag may be used to read with a OCR (Optical Character Recognition / Reader) function mounted on the image processing apparatus 300.
 画像処理装置300の演算装置311は、撮影された画像データに含まれるバーコードタグを解析して得られたIDと、予め記憶装置312に登録されている被写体IDを照合し、被写体101の名前を取得する。なお、IDの解析を撮像装置200が行い、得られたIDを画像処理装置300に送信する構成としてもよい。 The arithmetic device 311 of the image processing device 300 collates the ID obtained by analyzing the barcode tag included in the captured image data with the subject ID registered in the storage device 312 in advance, and the name of the subject 101 To get. Note that the imaging apparatus 200 may analyze the ID and transmit the obtained ID to the image processing apparatus 300.
 演算装置311は、患部領域102の画像データ、被写体の患部領域102の大きさを示す情報、被写体IDと、取得した被写体の名前、および、撮影日時などに基づくレコードを生成し、記憶装置312のデータベースに登録する。 The arithmetic device 311 generates a record based on the image data of the affected area 102, information indicating the size of the affected area 102 of the subject, the subject ID, the name of the acquired subject, and the shooting date and time. Register in the database.
 さらに、演算装置311は、端末装置1000からのリクエストに反応して、記憶装置312のデータベースに登録された情報を返送する。 Further, the arithmetic device 311 returns information registered in the database of the storage device 312 in response to a request from the terminal device 1000.
 図11は、第3の実施形態に係る画像処理システム11の動作を示すワークフロー図である。図11に記載されたステップのうち、図4に示すステップと同じ番号が付与されたステップは、図4の対応するステップと同様の処理を行う。 FIG. 11 is a workflow diagram showing the operation of the image processing system 11 according to the third embodiment. Of the steps described in FIG. 11, steps given the same numbers as the steps shown in FIG. 4 perform the same processing as the corresponding steps in FIG. 4.
 図11において、撮像装置200は、画像処理装置300との接続がなされると、ステップ1101において、表示装置223にユーザにバーコードタグ103の撮影を行わせる旨の指示を表示し、ユーザのレリーズ操作に応じてバーコードタグ103の撮影を行う。それからステップ402に進む。バーコートタグ103には患者を識別する患者IDの情報が含まれる。バーコードタグ103を撮影した後に患部領域102の撮影をすることで、撮影日時などで撮影順序を管理し、1つのバーコードタグの画像から次のバーコードタグの画像の手前までが、同一被写体の画像として被写体IDにより識別される。勿論、患部領域102を撮影した後に、バーコードタグ103を撮影する順序とすることも可能である。 In FIG. 11, when the image capturing apparatus 200 is connected to the image processing apparatus 300, in step 1101, the display apparatus 223 displays an instruction for causing the user to shoot the barcode tag 103, and the user's release is performed. The barcode tag 103 is photographed according to the operation. Then go to step 402. The bar code tag 103 includes patient ID information for identifying a patient. By photographing the affected area 102 after photographing the barcode tag 103, the photographing order is managed based on the photographing date and time, and the same subject from the image of one barcode tag to the front of the image of the next barcode tag. Are identified by the subject ID. Needless to say, the order in which the barcode tag 103 is imaged after the affected area 102 has been imaged is also possible.
 ステップ410において、システム制御回路220が、レリーズボタンが押されたことを検知し、ステップ411乃至ステップ414を経て、ステップ415において通信装置219が画像データと、距離情報を含む1以上の情報を、無線通信により画像処理装置300に送信する。このステップ415で送信される画像データには、患部領域102を撮影した画像データに加えて、S1001でバーコードタグ103を撮影した画像データが含まれる。 In step 410, the system control circuit 220 detects that the release button has been pressed, and in steps 411 to 414, in step 415, the communication device 219 obtains one or more pieces of information including image data and distance information. It transmits to the image processing apparatus 300 by wireless communication. The image data transmitted in step 415 includes image data obtained by photographing the barcode tag 103 in S1001 in addition to image data obtained by photographing the affected area 102.
 画像処理装置300は、ステップ455において重畳画像の画像データを生成し、ステップ1111に進む。 The image processing apparatus 300 generates the image data of the superimposed image in step 455 and proceeds to step 1111.
 ステップ1111において、演算装置311は、S1001で撮影したバーコードタグ103の画像データに含まれる1次元バーコード(不図示)を読み取り、被写体を識別する被写体IDを読み取る処理を行う。 In step 1111, the arithmetic device 311 reads a one-dimensional barcode (not shown) included in the image data of the barcode tag 103 photographed in S 1001 and reads a subject ID for identifying a subject.
 ステップ1112において、読み取った被写体IDと、記憶装置312に登録されている被写体IDの照合を行う。 In step 1112, the read subject ID is collated with the subject ID registered in the storage device 312.
 ステップ1113において、被写体IDの照合に成功した場合は、記憶装置312のデータベースに登録された患者の名前、および、過去の患部領域情報を取得する。ここでは、直近に記憶された患部領域情報を取得するものとする。 In step 1113, if the subject ID has been successfully verified, the patient name registered in the database of the storage device 312 and past affected area information are acquired. Here, it is assumed that the most recently stored affected area information is acquired.
 ステップ456において、画像処理装置300の通信装置313が、抽出した患部領域102の抽出結果を示す情報、患部領域102の大きさを示す情報、および、記憶装置312から取得した過去の患部領域情報を撮像装置200に出力する。 In step 456, the communication device 313 of the image processing apparatus 300 obtains information indicating the extraction result of the extracted affected area 102, information indicating the size of the affected area 102, and past affected area information acquired from the storage device 312. Output to the imaging apparatus 200.
 ステップ416で、撮像装置200の通信装置219は、画像処理装置300から送信されてきた画像データおよび患部領域情報を受信する。 In step 416, the communication device 219 of the imaging device 200 receives the image data and the affected area information transmitted from the image processing device 300.
 ステップ417において、表示装置223がステップ416で受信した患部領域102の大きさを示す情報を含む画像データを所定時間表示する。 In step 417, the display device 223 displays image data including information indicating the size of the affected area 102 received in step 416 for a predetermined time.
 ステップ418において、値が入力されていない患部領域情報の有無を判定する。 In step 418, it is determined whether or not there is affected area information for which no value is input.
 ステップ418において値が入力されていない患部領域情報がある場合はステップ1102に移行し、全ての患部領域情報が入力されていれば、ステップ1104に進む。 If there is affected area information for which no value is input in step 418, the process proceeds to step 1102, and if all affected area information is input, the process proceeds to step 1104.
 ステップ1102において、システム制御回路220は、過去の患部領域情報も用いて、表示装置223に患部領域情報の入力を促すユーザインターフェースを表示する。 In step 1102, the system control circuit 220 displays a user interface that prompts input of affected area information on the display device 223 using past affected area information.
 図12Aおよび図12Bは、過去に取得した患部領域情報を表示する方法を説明するための図である。図12Aでは、過去に評価項目の評価値が入力された部位については、画面左側の部位選択項目1101に表示される項目1102の文字サイズが大きく表示される。図12Aでは、Back(背)とHip(尻)において、過去に患部領域の評価項目の評価値が入力されたことを示している。 FIG. 12A and FIG. 12B are diagrams for explaining a method of displaying affected area information acquired in the past. In FIG. 12A, the character size of the item 1102 displayed in the part selection item 1101 on the left side of the screen is displayed large for the part for which the evaluation value of the evaluation item has been input in the past. FIG. 12A shows that evaluation values of evaluation items for the affected area have been input in the past in Back (back) and Hip (butt).
 ステップ420においてユーザによって患部領域の情報が入力されると、ステップ1103において、過去の評価項目の評価値と比較し、症状が良化したか、悪化したかを判別できる表示を行う。 When information on the affected area is input by the user in step 420, in step 1103, a comparison is made with the evaluation values of the past evaluation items, and a display is provided that can determine whether the symptom has improved or deteriorated.
 図12Bでは、評価項目選択部1103が3列表記となり、左から、評価項目名、過去の評価値、現在の評価値の順で表示される。 12B, the evaluation item selection unit 1103 is represented in three columns, and the evaluation item name, the past evaluation value, and the current evaluation value are displayed in order from the left.
 また、ここでは、現在と過去の評価値を比較して、症状が良化したと判定できる項目は緑色の評価値が表示され、悪化したと判定できる項目は赤色の評価値が表示される。 Also, here, the current and past evaluation values are compared, and an item that can be determined to have improved symptoms is displayed with a green evaluation value, and an item that can be determined to be worse is displayed with a red evaluation value.
 全ての評価項目の評価値が入力されると、患部領域情報の入力が完了した旨をユーザに通知した後、ステップ1104に進む。 When the evaluation values of all the evaluation items have been input, the user is notified that the input of the affected area information has been completed, and the process proceeds to step 1104.
 ステップ1104において、一連の各評価項目の評価値が入力された患部領域情報や画像データを画像処理装置300に無線通信により出力し、ステップ402に戻る。 In step 1104, the affected area information and image data to which the evaluation values of a series of evaluation items are input are output to the image processing apparatus 300 by wireless communication, and the process returns to step 402.
 ステップ1114において、画像処理装置300は、撮像装置200から送信された患部領域情報や画像データを受信する。 In step 1114, the image processing apparatus 300 receives the affected area information and image data transmitted from the imaging apparatus 200.
 ステップ1115において、演算装置311は、患部領域を撮影した画像データ、患部領域102の部位の情報、患部領域102の各評価項目の評価値、被写体ID、取得した被写体の名前、および、撮影日時になどに基づくレコードを作成する。さらに、演算装置311は、作成したレコードを記憶装置312のデータベースに登録する。 In step 1115, the arithmetic unit 311 calculates the image data obtained by imaging the affected area, the information on the site of the affected area 102, the evaluation value of each evaluation item of the affected area 102, the subject ID, the acquired subject name, and the imaging date and time. Create a record based on etc. Further, the arithmetic device 311 registers the created record in the database of the storage device 312.
 ステップ1116において、演算装置311は、端末装置1000からの要求に反応し、記憶装置312のデータベースに登録された情報を端末装置1000に送信する。 In step 1116, the arithmetic device 311 responds to the request from the terminal device 1000 and transmits the information registered in the database of the storage device 312 to the terminal device 1000.
 ここで、端末装置1000のブラウザの表示の一例を、図13と図14を用いて説明する。 Here, an example of the browser display of the terminal device 1000 will be described with reference to FIGS.
 図13は、端末装置1000のブラウザに表示されるデータ選択画面の一例を説明するための図である。データ選択画面1301は、日付1302ごとに仕切り線1303で仕切られ、それぞれの日付の領域には撮像時間1304ごとにアイコン1305が表示されている。アイコン1305には、被写体IDと被写体の名前が表示されており、アイコン1305は同じ時間帯に撮影された同一の被写体のデータセットを表している。また、データ選択画面1301には検索窓1306が設けられ、検索窓1306に日付、被写体ID、または被写体の名前を入力することで、データセットを検索することができる。さらに、スクロールバー1307を操作することで、限られた表示領域において複数のデータを拡張して表示することができる。端末装置1000のブラウザのユーザは、アイコン1305を選択してクリックすることで、ブラウザがデータ閲覧画面に遷移し、そのデータセットの画像、および、被写体の大きさを示す情報を閲覧することができる。すなわち、画像処理装置300には、端末装置1000において指定された被写体および日時を示す要求が端末装置1000から送信される。そして、画像処理装置300は、この要求に対応する画像データ、および、被写体の大きさを示す情報を端末装置1000に送信する。 FIG. 13 is a diagram for explaining an example of a data selection screen displayed on the browser of the terminal device 1000. The data selection screen 1301 is partitioned by a partition line 1303 for each date 1302, and an icon 1305 is displayed for each imaging time 1304 in each date area. An icon 1305 displays a subject ID and a subject name, and the icon 1305 represents a data set of the same subject photographed in the same time zone. In addition, a search window 1306 is provided on the data selection screen 1301, and a data set can be searched by inputting a date, subject ID, or subject name in the search window 1306. Furthermore, by operating the scroll bar 1307, a plurality of data can be expanded and displayed in a limited display area. When the user of the browser of the terminal device 1000 selects and clicks on the icon 1305, the browser transitions to the data browsing screen and can browse the image of the data set and information indicating the size of the subject. . That is, a request indicating the subject and date / time specified in the terminal apparatus 1000 is transmitted from the terminal apparatus 1000 to the image processing apparatus 300. Then, the image processing apparatus 300 transmits image data corresponding to this request and information indicating the size of the subject to the terminal apparatus 1000.
 図14は、端末装置1000のブラウザに表示されるデータ一覧画面の一例を説明するための図である。データ閲覧画面1401には、データ選択画面1301で選択したデータセットの被写体IDおよび被写体の名前1402と、撮影日時および時間1403が表示されている。さらに、1回の撮影ごとに画像データに基づく画像1404と、この画像1404における患部領域情報に基づくデータ1405が表示される。さらに、同一の被写体の患部領域を連続して複数撮影した場合の、撮影番号が番号1406に示されている。画面右端のスライダ1407を移動させることで、同一の被写体IDの、他の撮影日時の画像データおよび患部領域情報に基づくデータを表示させることができる。また、設定を変更することで、複数の撮影日時のおよび患部領域情報に基づくデータを表示させることもでき、こうすることで、患部領域の症状の変化を比べることが容易となる。 FIG. 14 is a diagram for explaining an example of a data list screen displayed on the browser of the terminal device 1000. The data browsing screen 1401 displays the subject ID and subject name 1402 of the data set selected on the data selection screen 1301, and the shooting date and time 1403. Further, an image 1404 based on the image data and data 1405 based on the affected area information in the image 1404 are displayed for each photographing. Further, the number 1406 indicates a shooting number when a plurality of images of the affected area of the same subject are continuously shot. By moving the slider 1407 at the right end of the screen, it is possible to display image data of another photographing date and time and data based on the affected area information of the same subject ID. In addition, by changing the setting, it is possible to display data based on a plurality of shooting dates and times and the affected area information, which makes it easy to compare changes in symptoms in the affected area.
 なお、図14では、患部領域の撮像を行ってから、被写体IDの照合や、患部領域が存在する部位の選択をユーザに行わせる処理を行ったが、これらを先に行うようにしてもよい。 In FIG. 14, after the affected area is imaged, the subject ID is collated and the user is selected to select the site where the affected area is present. However, these may be performed first. .
 図15は、第3の実施形態に係る画像処理システム11の動作の変形例を示すワークフロー図である。図15に記載されたステップのうち、図11に示すステップと同じ番号が付与されたステップは、図11の対応するステップと同様の処理を行う。 FIG. 15 is a workflow diagram illustrating a modified example of the operation of the image processing system 11 according to the third embodiment. Of the steps described in FIG. 15, steps given the same numbers as the steps shown in FIG. 11 perform the same processing as the corresponding steps in FIG. 11.
 ステップ1101において、バーコードタグ103の撮影を行うと、ステップ1501において、通信装置219がバーコードタグ103を撮影した画像データを画像処理装置300に送信する。 When the barcode tag 103 is photographed in step 1101, the communication device 219 transmits image data obtained by photographing the barcode tag 103 to the image processing device 300 in step 1501.
 ステップ1511において、画像処理装置の通信装置313が、撮像装置200から送信されたバーコードタグ103を撮影した画像データを受信する。 In step 1511, the communication device 313 of the image processing device receives the image data obtained by photographing the barcode tag 103 transmitted from the imaging device 200.
 ステップ1512において、演算装置311は、受信したバーコードタグ103の画像データに含まれる1次元バーコードを読み取り、被写体を識別する被写体IDを読み取る処理を行う。 In step 1512, the arithmetic device 311 reads the one-dimensional barcode included in the received image data of the barcode tag 103 and reads the subject ID for identifying the subject.
 ステップ1513において、読み取った被写体IDと、記憶装置312に登録されている被写体IDの照合を行う。 In step 1513, the read subject ID and the subject ID registered in the storage device 312 are collated.
 ステップ1514において、被写体IDの照合に成功した場合は、記憶装置312のデータベースに登録された患者の名前を取得する。もし、照合に失敗した場合には、その旨を患者の名前の代わりに取得する。 In step 1514, when the subject ID is successfully verified, the name of the patient registered in the database of the storage device 312 is acquired. If the verification fails, that fact is obtained instead of the patient's name.
 ステップ1515において、画像処理装置の通信装置313が、患者の名前、もしくは、被写体IDの照合に失敗した旨を示す情報を撮像装置200に送信する。 In step 1515, the communication device 313 of the image processing device transmits information indicating that the verification of the patient name or the subject ID has failed to the imaging device 200.
 ステップ1502において、撮像装置200の通信装置219が、画像処理装置300から送信された患者の名前を受信する。 In step 1502, the communication device 219 of the imaging device 200 receives the patient name transmitted from the image processing device 300.
 ステップ1503において、システム制御回路220は、表示装置223に患者の名前を表示する。 In step 1503, the system control circuit 220 displays the name of the patient on the display device 223.
 ステップ1504において、システム制御回路220は、表示装置223に患者の名前を表示する。ここで、ユーザに患者の名前が正しいかを確認するための入力を行わせても良く、もし患者の名前が正しくない場合、あるいは、患者の名前の照合に失敗していた場合には、ステップ1101に戻るようにしてもよい。患部領域の画像を撮影する前に、患者の名前を表示することで、後で取得する患部領域の画像データや患部領域情報と、被写体IDとが、誤って関連付けられることを予防することができる。 In step 1504, the system control circuit 220 displays the name of the patient on the display device 223. Here, the user may be prompted to confirm that the patient's name is correct. If the patient's name is incorrect, or if the patient's name has failed to match, step You may make it return to 1101. By displaying the name of the patient before taking an image of the affected area, it is possible to prevent the image data of the affected area or the affected area information to be acquired later from being associated with the subject ID by mistake. .
 ステップ1505において、システム制御回路220は、表示装置223に患部領域情報のうち、患部領域が存在する部位の情報の入力を促すユーザインターフェースを表示する。これは、第1の実施形態における図8Aおよび図8Bと同様に、患部領域の部位、Head(頭)、Shoulder(肩)、Arm(腕)、Back(背)、Waist(腰)、Hip(尻)、Leg(脚)を指定するための部位選択項目801を表示し、ユーザに選択させる。 In step 1505, the system control circuit 220 displays a user interface that prompts the display device 223 to input information on a site where the affected area exists, among the affected area information. As in FIGS. 8A and 8B in the first embodiment, this is the site of the affected area, Head (head), Shoulder (shoulder), Arm (arm), Back (waist), Waist (waist), Hip ( A part selection item 801 for designating “leg” and “leg” is displayed, and the user is allowed to select.
 ステップ1506において、ユーザによって患部領域の情報が入力されると、ステップ402に進む。このように、これから撮影しようとする患部領域の部位の情報を選択させてから、患部領域の撮影を行う処理に進むことで、患部領域の部位の情報を誤って選択することを予防することができる。 In step 1506, when information on the affected area is input by the user, the process proceeds to step 402. In this way, it is possible to prevent erroneous selection of information on a site of an affected area by selecting information on a site of an affected area to be imaged and then proceeding to imaging of the affected area. it can.
 なお、ステップ1513にて被写体IDの照合を行っているため、画像処理装置300は、患部領域を含む画像データを取得した後に被写体IDの照合を行う必要はない。また、ステップ1506にて患部領域の部位の情報を入力しているため、患部領域を含む画像データを取得した後のステップ1507およびステップ1508では、患部領域の部位の情報の入力は不要であり、各評価項目の評価値の入力のみを行えばよい。 Note that since the subject ID is collated in step 1513, the image processing apparatus 300 does not need to collate the subject ID after acquiring the image data including the affected area. In addition, since the information on the site of the affected area is input in Step 1506, in Step 1507 and Step 1508 after acquiring the image data including the affected area, it is not necessary to input the information on the site of the affected area. It is only necessary to input the evaluation value of each evaluation item.
 このように本実施形態に係る画像処理システム11では、患部領域102の画像データとその解析結果を、被写体ごとに識別して記憶することができ、かつ、各評価項目が良化したか、悪化したかがユーザの手元にある撮像装置のみで確認することが可能となる。そのため、過去に登録された患部の管理情報を手元の撮像装置のみで患部撮影直後に確認することが可能となる。また、現時点で確認した重症度を直近の管理情報と比較して表示することで、症状が良化しているか、悪化しているかが一目で確認可能となる。 As described above, in the image processing system 11 according to the present embodiment, the image data of the affected area 102 and the analysis result thereof can be identified and stored for each subject, and each evaluation item is improved or deteriorated. It is possible to confirm whether or not the image has been acquired only by the imaging device at hand of the user. Therefore, it is possible to confirm management information of an affected area registered in the past immediately after imaging the affected area with only the imaging device at hand. Further, by displaying the severity confirmed at the present time in comparison with the latest management information, it is possible to confirm at a glance whether the symptom is improved or worsened.
 また、ユーザはタブレット端末などの端末装置1000から、Webブラウザや専用のアプリケーションを用いて、被写体IDや被写体の名前と関連付けて、患部領域102の画像データの解析結果を確認することができる。 Also, the user can check the analysis result of the image data of the affected area 102 from the terminal device 1000 such as a tablet terminal by using a Web browser or a dedicated application in association with the subject ID or the subject name.
 なお、上述したいずれの実施形態においても、撮像装置200に補助演算装置317に相当する回路を搭載することにより、図4、図9および図11に示すワークフローと同様の効果を得るための処理を、撮像装置200単体で行うようにすることが可能となる。この場合、撮像装置200のみで、上述した撮像装置200と画像処理装置300からなる画像処理システムと同様の効果を得ることが可能となる。外部のコンピュータにて生成された新たな学習済モデルを受け取ることで、患部領域の推論処理の精度を向上させたり、新たな種類の患部領域の抽出をしたりすることが可能となる。 In any of the above-described embodiments, a process for obtaining the same effect as the workflow shown in FIGS. 4, 9, and 11 is provided by mounting a circuit corresponding to the auxiliary arithmetic device 317 in the imaging device 200. This can be performed by the imaging apparatus 200 alone. In this case, it is possible to obtain the same effect as that of the image processing system including the imaging device 200 and the image processing device 300 described above by using only the imaging device 200. By receiving a new learned model generated by an external computer, it is possible to improve the accuracy of the inference process of the affected area or extract a new kind of affected area.
 (他の実施形態)
 また、本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現できる。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現できる。
(Other embodiments)
Further, the present invention supplies a program that realizes one or more functions of the above-described embodiment to a system or apparatus via a network or a storage medium, and one or more processors in a computer of the system or apparatus execute the program. It can also be realized by a process of reading and executing. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
 本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために以下の請求項を添付する。 The present invention is not limited to the above embodiment, and various changes and modifications can be made without departing from the spirit and scope of the present invention. Therefore, in order to make the scope of the present invention public, the following claims are attached.
 本願は、2018年5月31日提出の日本国特許出願特願2018-104922と2019年2月5日提出の日本国特許出願特願2019-018653と2019年5月22日提出の日本国特許出願特願2019-095938を基礎として優先権を主張するものであり、その記載内容の全てをここに援用する。 The present application is Japanese Patent Application Japanese Patent Application No. 2018-104922 filed on May 31, 2018, Japanese Patent Application Japanese Patent Application No. 2019-018653 filed on February 5, 2019, and Japanese Patent Application filed on May 22, 2019. The priority is claimed on the basis of Japanese Patent Application No. 2019-095938, the entire contents of which are incorporated herein by reference.

Claims (60)

  1.  撮像装置と画像処理装置からなる画像処理システムであって、
     前記撮像装置は、
     被写体からの光を受光して画像データを生成する撮像手段と、
     前記画像データを通信ネットワークに出力する第1の通信手段と、
     前記撮像手段で生成された画像データに基づく画像を表示する表示手段を有し、
     前記画像処理装置は、
     前記通信ネットワークを介して、前記画像データを取得する第2の通信手段と、
     前記画像データから前記被写体の所定の領域を抽出する演算手段を有し、
     前記第2の通信手段は、前記演算手段で抽出した前記所定の領域の抽出結果を示す情報を、前記通信ネットワークに出力し、
     前記第1の通信手段は、前記通信ネットワークを介して、前記所定の領域の抽出結果を示す情報を取得し、
     前記表示手段は、前記所定の領域の抽出結果を示す情報に基づく表示を行うことを特徴とする画像処理システム。
    An image processing system comprising an imaging device and an image processing device,
    The imaging device
    Imaging means for receiving light from a subject and generating image data;
    First communication means for outputting the image data to a communication network;
    Display means for displaying an image based on the image data generated by the imaging means;
    The image processing apparatus includes:
    Second communication means for obtaining the image data via the communication network;
    Computation means for extracting a predetermined area of the subject from the image data,
    The second communication means outputs information indicating the extraction result of the predetermined area extracted by the calculation means to the communication network,
    The first communication means acquires information indicating an extraction result of the predetermined area via the communication network,
    The image processing system, wherein the display means performs display based on information indicating an extraction result of the predetermined area.
  2.  前記表示手段は、前記所定の領域の抽出結果が重畳された、前記演算手段が前記所定の領域の抽出を行う際に用いた画像データに基づく画像を表示することを特徴とする請求項1に記載の画像処理システム。 2. The display unit according to claim 1, wherein the display unit displays an image based on the image data used when the calculation unit performs the extraction of the predetermined region on which the extraction result of the predetermined region is superimposed. The image processing system described.
  3.  前記表示手段は、前記所定の領域の抽出結果が重畳された、前記撮像手段にて生成されたライブビュー画像を表示することを特徴とする請求項1に記載の画像処理システム。 The image processing system according to claim 1, wherein the display unit displays a live view image generated by the imaging unit on which the extraction result of the predetermined region is superimposed.
  4.  前記演算手段は、前記画像データから抽出した前記所定の領域の大きさを示す情報を生成し、
     前記第2の通信手段は、前記演算手段が生成した前記大きさを示す情報を、前記通信ネットワークに出力することを特徴とする請求項1乃至3のいずれか1項に記載の画像処理システム。
    The calculation means generates information indicating the size of the predetermined area extracted from the image data,
    4. The image processing system according to claim 1, wherein the second communication unit outputs information indicating the size generated by the calculation unit to the communication network. 5.
  5.  前記撮像装置は、前記撮像装置から前記被写体までの距離に関する距離情報を生成する生成手段を有し、
     前記第1の通信手段は、前記距離情報を前記通信ネットワークに出力し、
     前記第2の通信手段は、前記通信ネットワークを介して、前記距離情報を取得し、
     前記演算手段は、前記距離情報に基づいて、前記所定の領域の大きさを示す情報を生成することを特徴とする請求項4に記載の画像処理システム。
    The imaging apparatus includes a generation unit that generates distance information related to a distance from the imaging apparatus to the subject,
    The first communication means outputs the distance information to the communication network;
    The second communication means acquires the distance information via the communication network,
    The image processing system according to claim 4, wherein the calculation unit generates information indicating a size of the predetermined area based on the distance information.
  6.  前記表示手段は、前記所定の領域の抽出結果を示す情報と前記大きさを示す情報に基づく表示を行うことを特徴とする請求項4または5に記載の画像処理システム。 6. The image processing system according to claim 4, wherein the display unit performs display based on information indicating an extraction result of the predetermined area and information indicating the size.
  7.  前記所定の領域の大きさを示す情報は、前記所定の領域の少なくとも2つの方向における長さ、前記所定の領域の面積、前記所定の領域に外接する矩形の領域の面積、および、前記所定の領域の大きさを測定するためのスケールバーの、少なくとも1つであることを特徴とする請求項4乃至6のいずれか1項に記載の画像処理システム。 The information indicating the size of the predetermined area includes the length of the predetermined area in at least two directions, the area of the predetermined area, the area of a rectangular area circumscribing the predetermined area, and the predetermined area The image processing system according to claim 4, wherein the image processing system is at least one scale bar for measuring the size of the region.
  8.  前記演算手段は、前記所定の領域の前記画像データ上のサイズを、前記画像データの画角もしくは画素の大きさを示す情報、および、前記距離情報に基づいて変換することで、前記所定の領域の大きさを示す情報を生成することを特徴とする請求項7に記載の画像処理システム。 The calculation means converts the size of the predetermined area on the image data based on information indicating an angle of view or a pixel size of the image data, and the distance information, so that the predetermined area The image processing system according to claim 7, wherein information indicating the size of the image is generated.
  9.  前記演算手段は、前記所定の領域の大きさを示す情報を、前記所定の領域を有する被写体ごとに識別して記憶手段に記憶させることを特徴とする請求項1乃至8のいずれか1項に記載の画像処理システム。 9. The information processing apparatus according to claim 1, wherein the calculation unit identifies information indicating the size of the predetermined area for each subject having the predetermined area and stores the information in a storage unit. The image processing system described.
  10.  前記演算手段は、前記所定の領域の大きさを示す情報を、前記所定の領域を有する被写体、および、前記所定の領域の抽出を行う際に用いた前記画像データが生成された日時に基づいて識別して、前記記憶手段に記憶させることを特徴とする請求項9に記載の画像処理システム。 The calculation means uses information indicating the size of the predetermined area based on the subject having the predetermined area and the date and time when the image data used to extract the predetermined area is generated. The image processing system according to claim 9, wherein the image processing system is identified and stored in the storage unit.
  11.  前記演算手段は、外部の端末装置からのリクエストに対し、前記リクエストにおいて指定された被写体に対応する前記所定の領域の大きさを示す情報を、前記端末装置に送信することを特徴とする請求項9または10に記載の画像処理装置。 The said calculating means transmits the information which shows the magnitude | size of the said predetermined area | region corresponding to the to-be-photographed object designated in the said request with respect to the request from an external terminal device to the said terminal device. The image processing apparatus according to 9 or 10.
  12.  前記第2の通信手段は、さらに、前記通信ネットワークを介して、前記第1の通信手段から出力された、前記被写体を識別するためのコードを含む画像データを取得し、
     前記演算手段は、前記被写体を識別するためのコードを含む画像データから、前記所定の領域を有する被写体を識別する情報を抽出することを特徴とする請求項9乃至11のいずれか1項に記載の画像処理システム。
    The second communication means further acquires image data including a code for identifying the subject output from the first communication means via the communication network,
    12. The information processing apparatus according to claim 9, wherein the calculation unit extracts information for identifying a subject having the predetermined area from image data including a code for identifying the subject. Image processing system.
  13.  前記演算手段は、前記所定の領域の抽出結果を示す情報を、前記表示手段とは別の第2の表示手段に表示させることを特徴とする請求項1乃至12のいずれか1項に記載の画像処理システム。 The said calculating means displays the information which shows the extraction result of the said predetermined | prescribed area | region on the 2nd display means different from the said display means, The one of Claim 1 thru | or 12 characterized by the above-mentioned. Image processing system.
  14.  前記演算手段は、前記第2の表示手段に、前記所定の領域の抽出結果を重畳した画像データに基づく画像と、前記第2の通信手段が取得した前記画像データに基づく画像を、並べて表示させることを特徴とする請求項13に記載の画像処理システム。 The calculation means causes the second display means to display an image based on the image data on which the extraction result of the predetermined region is superimposed and an image based on the image data acquired by the second communication means. The image processing system according to claim 13.
  15.  前記表示手段は、前記所定の領域における、予め定められた複数の評価項目の評価値を、ユーザに入力させるための表示を行うことを特徴とする請求項1乃至14のいずれか1項に記載の画像処理システム。 The said display means performs the display for making a user input the evaluation value of several predetermined evaluation items in the said predetermined | prescribed area | region, The one of Claims 1 thru | or 14 characterized by the above-mentioned. Image processing system.
  16.  前記表示手段は、前記所定の領域の抽出結果を取得したことに応じて、前記複数の評価項目の評価値をユーザに入力させることを特徴とする請求項15に記載の画像処理システム。 The image processing system according to claim 15, wherein the display unit causes the user to input evaluation values of the plurality of evaluation items in response to obtaining the extraction result of the predetermined area.
  17.  前記所定の領域は患部領域であることを特徴とする請求項1乃至16のいずれか1項に記載の画像処理システム。 The image processing system according to any one of claims 1 to 16, wherein the predetermined area is an affected area.
  18.  被写体からの光を受光して画像データを生成する撮像手段と、
     前記画像データを、通信ネットワークを介して、外部装置に出力する通信手段と、
     前記撮像手段で生成された画像データに基づく画像を表示する表示手段を有し、
     前記通信手段は、前記外部装置から、前記通信ネットワークを介して、前記画像データにおける前記被写体の所定の領域の抽出結果を示す情報を取得し、
     前記表示手段は、前記所定の領域の抽出結果を示す情報に基づく表示を行うことを特徴とする撮像装置。
    Imaging means for receiving light from a subject and generating image data;
    Communication means for outputting the image data to an external device via a communication network;
    Display means for displaying an image based on the image data generated by the imaging means;
    The communication means acquires information indicating an extraction result of a predetermined region of the subject in the image data from the external device via the communication network,
    The image pickup apparatus, wherein the display unit performs display based on information indicating an extraction result of the predetermined area.
  19.  前記表示手段は、前記所定の領域の抽出結果が重畳された、前記外部装置に出力した画像データに基づく画像を表示することを特徴とする請求項18に記載の撮像装置。 19. The imaging apparatus according to claim 18, wherein the display unit displays an image based on image data output to the external apparatus on which the extraction result of the predetermined region is superimposed.
  20.  前記表示手段は、前記所定の領域の抽出結果が重畳された、前記撮像手段にて生成されたライブビュー画像を表示することを特徴とする請求項18に記載の撮像装置。 19. The imaging apparatus according to claim 18, wherein the display unit displays a live view image generated by the imaging unit on which the extraction result of the predetermined region is superimposed.
  21.  前記通信手段は、前記外部装置から、前記通信ネットワークを介して、前記画像データにおける前記所定の領域の大きさを示す情報を取得し、
     前記表示手段は、前記所定の領域の抽出結果を示す情報と、前記大きさを示す情報に基づく表示を行うことを特徴とする請求項18乃至20のいずれか1項に記載の撮像装置。
    The communication means acquires information indicating the size of the predetermined area in the image data from the external device via the communication network,
    21. The imaging apparatus according to claim 18, wherein the display unit performs display based on information indicating an extraction result of the predetermined region and information indicating the size.
  22.  前記撮像装置は、前記撮像装置から前記被写体までの距離に関する距離情報を生成する生成手段を有し、
     前記通信手段は、前記距離情報を、前記通信ネットワークを介して、前記外部装置に出力することを特徴とする請求項21に記載の撮像装置。
    The imaging apparatus includes a generation unit that generates distance information related to a distance from the imaging apparatus to the subject,
    The imaging apparatus according to claim 21, wherein the communication unit outputs the distance information to the external apparatus via the communication network.
  23.  前記所定の領域の大きさを示す情報は、前記所定の領域の少なくとも2つの方向における長さ、前記所定の領域の面積、前記所定の領域に外接する矩形の領域の面積、および、前記所定の領域の大きさを測定するためのスケールバーの、少なくとも1つであることを特徴とする請求項21または22に記載の撮像装置。 The information indicating the size of the predetermined area includes the length of the predetermined area in at least two directions, the area of the predetermined area, the area of a rectangular area circumscribing the predetermined area, and the predetermined area The imaging apparatus according to claim 21 or 22, wherein the imaging apparatus is at least one of scale bars for measuring the size of the region.
  24.  前記通信手段は、前記所定の領域を有する被写体を識別するための情報を、前記通信ネットワークを介して、前記外部装置に出力することを特徴とする請求項18乃至23のいずれか1項に記載の撮像装置。 The said communication means outputs the information for identifying the to-be-photographed object which has the said predetermined | prescribed area | region to the said external device via the said communication network, The one of Claim 18 thru | or 23 characterized by the above-mentioned. Imaging device.
  25.  前記表示手段は、前記所定の領域における、予め定められた複数の評価項目の評価値を、ユーザに入力させるための表示を行うことを特徴とする請求項18乃至24のいずれか1項に記載の撮像装置。 25. The display according to claim 18, wherein the display unit performs display for allowing a user to input evaluation values of a plurality of predetermined evaluation items in the predetermined area. Imaging device.
  26.  前記表示手段は、前記所定の領域の抽出結果を取得したことに応じて、前記複数の評価項目の評価値をユーザに入力させることを特徴とする請求項25に記載の撮像装置。 26. The imaging apparatus according to claim 25, wherein the display unit causes a user to input evaluation values of the plurality of evaluation items in response to obtaining the extraction result of the predetermined region.
  27.  前記所定の領域は患部領域であることを特徴とする請求項18乃至26のいずれか1項に記載の撮像装置。 27. The imaging apparatus according to claim 18, wherein the predetermined area is an affected area.
  28.  撮像装置から、通信ネットワークを介して、画像データと、前記画像データに含まれる被写体に対応する距離情報を取得する通信手段と、
     前記画像データから前記被写体の所定の領域を抽出し、前記距離情報に基づいて、前記所定の領域の大きさを求める演算手段を有し、
     前記通信手段は、前記演算手段で抽出した前記所定の領域の抽出結果を示す情報と、前記大きさを示す情報を、前記通信ネットワークを介して、前記撮像装置に出力することを特徴とする画像処理装置。
    Communication means for acquiring image data and distance information corresponding to a subject included in the image data from an imaging device via a communication network;
    A calculation unit that extracts a predetermined region of the subject from the image data and obtains a size of the predetermined region based on the distance information;
    The communication unit outputs information indicating the extraction result of the predetermined region extracted by the calculation unit and information indicating the size to the imaging device via the communication network. Processing equipment.
  29.  前記距離情報は、前記撮像装置から前記被写体までの距離情報であることを特徴とする請求項28に記載の画像処理装置。 The image processing apparatus according to claim 28, wherein the distance information is distance information from the imaging apparatus to the subject.
  30.  前記演算手段は、表示手段に、前記所定の領域の抽出結果を示す情報、および、前記所定の領域の大きさを示す情報の、少なくともいずれかを重畳した画像データに基づく画像と、前記取得手段が取得した前記画像データに基づく画像を、並べて表示させることを特徴とする請求項28または29に記載の画像処理装置。 The calculation means includes, on the display means, an image based on image data on which at least one of information indicating the extraction result of the predetermined area and information indicating the size of the predetermined area is superimposed, and the acquisition means 30. The image processing apparatus according to claim 28, wherein the images based on the image data acquired by are displayed side by side.
  31.  前記演算手段は、前記所定の領域の前記画像データ上のサイズを、前記画像データの画角もしくは画素の大きさを示す情報、および、前記距離情報に基づいて変換することで、前記所定の領域の大きさを求めることを特徴とする請求項28乃至30のいずれか1項に記載の画像処理装置。 The calculation means converts the size of the predetermined area on the image data based on information indicating an angle of view or a pixel size of the image data, and the distance information, so that the predetermined area 31. The image processing apparatus according to claim 28, wherein the size of the image processing apparatus is obtained.
  32.  前記演算手段は、前記所定の領域の大きさを示す情報を、前記所定の領域を有する被写体ごとに識別して記憶手段に記憶させることを特徴とする請求項28乃至31のいずれか1項に記載の画像処理装置。 32. The information processing apparatus according to any one of claims 28 to 31, wherein the calculation means identifies information indicating the size of the predetermined area for each subject having the predetermined area and stores the information in a storage means. The image processing apparatus described.
  33.  前記演算手段は、前記所定の領域の大きさを示す情報を、前記所定の領域を有する被写体、および、前記所定の領域の抽出を行う際に用いた前記画像データが生成された日時に基づいて識別して、前記記憶手段に記憶させることを特徴とする請求項32に記載の画像処理装置。 The calculation means uses information indicating the size of the predetermined area based on the subject having the predetermined area and the date and time when the image data used to extract the predetermined area is generated. The image processing apparatus according to claim 32, wherein the image processing apparatus is identified and stored in the storage unit.
  34.  前記演算手段は、外部の端末装置からのリクエストに対し、前記リクエストにおいて指定された被写体に対応する前記所定の領域の大きさを示す情報を、前記端末装置に送信することを特徴とする請求項32または33に記載の画像処理装置。 The said calculating means transmits the information which shows the magnitude | size of the said predetermined area | region corresponding to the to-be-photographed object designated in the said request with respect to the request from an external terminal device to the said terminal device. The image processing apparatus according to 32 or 33.
  35.  前記通信手段は、さらに、前記通信ネットワークを介して、前記被写体を識別するためのコードを含む画像データを取得し、
     前記演算手段は、前記被写体を識別するためのコードを含む画像データから、前記所定の領域を有する被写体を識別する情報を抽出することを特徴とする請求項32乃至34のいずれか1項に記載の画像処理装置。
    The communication means further acquires image data including a code for identifying the subject via the communication network,
    35. The information processing apparatus according to claim 32, wherein the calculation unit extracts information for identifying a subject having the predetermined area from image data including a code for identifying the subject. Image processing apparatus.
  36.  前記所定の領域は患部領域であることを特徴とする請求項28乃至35のいずれか1項に記載の画像処理装置。 36. The image processing apparatus according to claim 28, wherein the predetermined area is an affected area.
  37.  撮像手段、表示手段、および、第1の通信手段を有する撮像装置と、演算手段および第2の通信手段を有する画像処理装置からなる画像処理システムの制御方法であって、
     前記撮像手段が、被写体からの光を受光して画像データを生成する工程と、
     前記第1の通信手段が、前記画像データを通信ネットワークに出力する工程と、
     前記第2の通信手段が、前記通信ネットワークを介して、前記画像データを取得する工程と、
     前記演算手段が、前記画像データから前記被写体の所定の領域を抽出する工程と、
     前記第2の通信手段が、前記所定の領域の抽出結果を示す情報を、前記通信ネットワークに出力する工程と、
     前記第1の通信手段が、前記通信ネットワークを介して、前記所定の領域の抽出結果を示す情報を取得する工程と、
     前記表示手段が、前記所定の領域の抽出結果を示す情報に基づく表示を行う工程と、
     を有することを特徴とする画像処理システムの制御方法。
    An image processing system control method comprising an imaging device having an imaging means, a display means, and a first communication means, and an image processing device having a calculation means and a second communication means,
    The imaging means receiving light from a subject to generate image data;
    The first communication means outputting the image data to a communication network;
    The second communication means acquires the image data via the communication network;
    The computing means extracting a predetermined region of the subject from the image data;
    The second communication means outputting information indicating an extraction result of the predetermined area to the communication network;
    The first communication means obtaining information indicating an extraction result of the predetermined area via the communication network;
    The display means performing a display based on information indicating an extraction result of the predetermined area;
    A control method for an image processing system, comprising:
  38.  撮像装置の制御方法において、
     被写体からの光を受光して画像データを生成する工程と、
     前記画像データを、通信ネットワークを介して、外部装置に出力する工程と、
     前記外部装置から、前記通信ネットワークを介して、前記画像データにおける前記被写体の所定の領域の抽出結果を示す情報を取得する工程と、
     表示手段に、前記所定の領域の抽出結果を示す情報に基づく表示を行わせる工程と、
     を有することを特徴とする撮像装置の制御方法。
    In the control method of the imaging device,
    Receiving light from the subject and generating image data;
    Outputting the image data to an external device via a communication network;
    Obtaining information indicating an extraction result of the predetermined region of the subject in the image data from the external device via the communication network;
    A step of causing the display means to perform display based on information indicating an extraction result of the predetermined region;
    A method for controlling an imaging apparatus, comprising:
  39.  画像処理装置の制御方法において、
     撮像装置から、通信ネットワークを介して、画像データと、前記画像データに含まれる被写体に対応する距離情報を取得する工程と、
     前記画像データから前記被写体の所定の領域を抽出し、前記距離情報に基づいて、前記所定の領域の大きさを求める工程と、
     前記所定の領域の抽出結果を示す情報と、前記大きさを示す情報を、前記通信ネットワークを介して、前記撮像装置に出力する工程と、
     を有することを特徴とする画像処理装置の制御方法。
    In the control method of the image processing apparatus,
    Obtaining image data and distance information corresponding to a subject included in the image data from an imaging device via a communication network;
    Extracting a predetermined area of the subject from the image data, and determining a size of the predetermined area based on the distance information;
    Outputting information indicating the extraction result of the predetermined region and information indicating the size to the imaging device via the communication network;
    A control method for an image processing apparatus, comprising:
  40.  コンピュータに撮像装置の制御方法の各工程を行わせるための指示を記憶した、コンピュータ読み取り可能な不揮発性の記憶媒体であって、
     前記撮像装置の制方法は、
     被写体からの光を受光して画像データを生成する工程と、
     前記画像データを、通信ネットワークを介して、外部装置に出力する工程と、
     前記外部装置から、前記通信ネットワークを介して、前記画像データにおける前記被写体の所定の領域の抽出結果を示す情報を取得する工程と、
     表示手段に、前記所定の領域の抽出結果を示す情報に基づく表示を行わせる工程と、
     を有することを特徴とする記憶媒体。
    A computer-readable non-volatile storage medium storing instructions for causing a computer to perform each step of the control method of the imaging apparatus,
    The control method of the imaging device is:
    Receiving light from the subject and generating image data;
    Outputting the image data to an external device via a communication network;
    Obtaining information indicating an extraction result of the predetermined region of the subject in the image data from the external device via the communication network;
    A step of causing the display means to perform display based on information indicating an extraction result of the predetermined region;
    A storage medium comprising:
  41.  コンピュータに画像処理装置の制御方法の各工程を行わせるための指示を記憶した、コンピュータ読み取り可能な不揮発性の記憶媒体であって、
     前記画像処理方法の制御方法は、
     撮像装置から、通信ネットワークを介して、画像データと、前記画像データに含まれる被写体に対応する距離情報を取得する工程と、
     前記画像データから前記被写体の所定の領域を抽出し、前記距離情報に基づいて、前記所定の領域の大きさを求める工程と、
     前記所定の領域の抽出結果を示す情報と、前記大きさを示す情報を、前記通信ネットワークを介して、前記撮像装置に出力する工程と、
     を有することを特徴とする記憶媒体。
    A computer-readable non-volatile storage medium storing instructions for causing a computer to perform each step of a control method of an image processing apparatus,
    The control method of the image processing method is:
    Obtaining image data and distance information corresponding to a subject included in the image data from an imaging device via a communication network;
    Extracting a predetermined area of the subject from the image data, and determining a size of the predetermined area based on the distance information;
    Outputting information indicating the extraction result of the predetermined region and information indicating the size to the imaging device via the communication network;
    A storage medium comprising:
  42.  被写体からの光を受光して画像データを生成する撮像手段と、
     前記画像データにおける、前記被写体の所定の領域の抽出結果を取得する制御手段と、
     前記被写体の所定の領域における、予め定められた複数の評価項目の評価値を、ユーザに入力させるインターフェース手段と、を有し、
     前記制御手段は、前記入力された複数の評価項目の評価値と、前記画像データを関連付けることを特徴とする撮像装置。
    Imaging means for receiving light from a subject and generating image data;
    Control means for acquiring an extraction result of a predetermined region of the subject in the image data;
    Interface means for allowing a user to input evaluation values of a plurality of predetermined evaluation items in a predetermined region of the subject,
    The image pickup apparatus, wherein the control means associates the input evaluation values of the plurality of evaluation items with the image data.
  43.  前記インターフェース手段は、前記被写体の所定の領域の抽出結果を取得したことに応じて、前記複数の評価項目の評価値をユーザに入力させることを特徴とする請求項42に記載の撮像装置。 43. The imaging apparatus according to claim 42, wherein the interface means causes a user to input evaluation values of the plurality of evaluation items in response to obtaining an extraction result of a predetermined area of the subject.
  44.  前記被写体の所定の領域の抽出結果は、前記所定の領域の大きさを示す情報を含むことを特徴とする請求項42または43に記載の撮像装置。 44. The imaging apparatus according to claim 42, wherein the extraction result of the predetermined area of the subject includes information indicating a size of the predetermined area.
  45.  前記インターフェース手段は、前記所定の領域が存在する前記被写体の部位の情報をユーザに入力させることを特徴とする請求項42乃至44のいずれか1項に記載の撮像装置。 45. The imaging apparatus according to claim 42, wherein the interface means allows a user to input information on a part of the subject where the predetermined area exists.
  46.  前記インターフェース手段は、前記所定の領域の抽出結果を取得する前に、前記所定の領域が存在する部位の情報をユーザに入力させることを特徴とする請求項45に記載の撮像装置。 46. The imaging apparatus according to claim 45, wherein the interface means causes a user to input information on a part where the predetermined area exists before acquiring the extraction result of the predetermined area.
  47.  前記インターフェース手段は、前記複数の評価項目のうち、評価値が入力された評価項目と評価値が入力されていない評価項目とを、異なる形態で表示することを特徴とする請求項42乃至46に記載の撮像装置。 The interface means displays an evaluation item in which an evaluation value is input and an evaluation item in which an evaluation value is not input in different forms among the plurality of evaluation items. The imaging device described.
  48.  前記制御手段は、前記所定の領域を有する被写体を識別するための情報を取得し、前記所定の領域が抽出された画像データと、前記複数の評価項目の評価値を、被写体ごとに関連付けることを特徴とする請求項42乃至46のいずれか1項に記載の撮像装置。 The control means acquires information for identifying a subject having the predetermined area, and associates the image data from which the predetermined area is extracted with the evaluation values of the plurality of evaluation items for each subject. 47. The imaging apparatus according to any one of claims 42 to 46, wherein:
  49.  前記制御手段は、過去に、同一の被写体について関連付けられた前記複数の評価項目の評価値を取得することを特徴とする請求項48に記載の撮像装置。 49. The imaging apparatus according to claim 48, wherein the control unit acquires evaluation values of the plurality of evaluation items associated with the same subject in the past.
  50.  前記インターフェース手段は、新たに得られた前記複数の評価項目の評価値と、過去に得られた前記複数の評価項目の評価値を表示することを特徴とする請求項49に記載の撮像装置。 50. The imaging apparatus according to claim 49, wherein the interface unit displays newly obtained evaluation values of the plurality of evaluation items and evaluation values of the plurality of evaluation items obtained in the past.
  51.  前記インターフェース手段は、前記所定の領域を有する被写体を識別した結果を表示することを特徴とする請求項48乃至50のいずれか1項に記載の撮像装置。 51. The imaging apparatus according to claim 48, wherein the interface unit displays a result of identifying a subject having the predetermined area.
  52.  前記撮像手段にて生成された画像データを、通信ネットワークを介して、外部装置である画像処理装置に送り、前記画像処理装置から、前記通信ネットワークを介して、前記画像データから前記所定の領域の抽出結果に関する情報を受け取る通信手段を有することを特徴とする請求項42乃至51のいずれか1項に記載の撮像装置。 The image data generated by the imaging means is sent to an image processing apparatus that is an external device via a communication network, and from the image processing apparatus via the communication network, the image data of the predetermined area is sent. 52. The imaging apparatus according to any one of claims 42 to 51, further comprising a communication unit that receives information about an extraction result.
  53.  前記通信手段は、前記通信ネットワークを介して、前記画像データと、前記撮像装置から前記被写体までの距離情報を前記画像処理装置に送信し、前記画像処理装置から、前記通信ネットワークを介して、前記所定の領域の大きさを示す情報を含む前記所定の領域の抽出結果に関する情報を受け取ることを特徴とする請求項52に記載の撮像装置。 The communication means transmits the image data and distance information from the imaging device to the subject to the image processing device via the communication network, and the image processing device transmits the distance information from the image processing device via the communication network. 53. The imaging apparatus according to claim 52, wherein information relating to an extraction result of the predetermined area including information indicating a size of the predetermined area is received.
  54.  前記所定の領域は患部領域であることを特徴とする請求項42乃至53のいずれか1項に記載の撮像装置。 54. The imaging apparatus according to claim 42, wherein the predetermined area is an affected area.
  55.  撮像装置の制御方法において、
     被写体からの光を受光して画像データを生成する工程と、
     前記画像データにおける、前記被写体の所定の領域の抽出結果を取得する工程と、
     前記被写体の所定の領域における、予め定められた複数の評価項目の評価値を、ユーザに入力させる工程と、
     前記入力された複数の評価項目の評価値と、前記画像データを関連付ける工程、
     を有することを特徴とする撮像装置の制御方法。
    In the control method of the imaging device,
    Receiving light from the subject and generating image data;
    Obtaining an extraction result of a predetermined region of the subject in the image data;
    A step of causing a user to input evaluation values of a plurality of predetermined evaluation items in a predetermined region of the subject;
    Associating evaluation values of the plurality of input evaluation items with the image data;
    A method for controlling an imaging apparatus, comprising:
  56.  コンピュータに撮像装置の制御方法の各工程を行わせるための指示を記憶した、コンピュータ読み取り可能な不揮発性の記憶媒体であって、
     前記撮像装置の制御方法は、
     被写体からの光を受光して画像データを生成する工程と、
     前記画像データにおける、前記被写体の所定の領域の抽出結果を取得する工程と、
     前記被写体の所定の領域における、予め定められた複数の評価項目の評価値を、ユーザに入力させる工程と、
     前記入力された複数の評価項目の評価値と、前記画像データを関連付ける工程、
     を有することを特徴とする記憶媒体。
    A computer-readable non-volatile storage medium storing instructions for causing a computer to perform each step of the control method of the imaging apparatus,
    The control method of the imaging device is:
    Receiving light from the subject and generating image data;
    Obtaining an extraction result of a predetermined region of the subject in the image data;
    A step of causing a user to input evaluation values of a plurality of predetermined evaluation items in a predetermined region of the subject;
    Associating evaluation values of the plurality of input evaluation items with the image data;
    A storage medium comprising:
  57.  通信ネットワークを介して、撮像装置にて生成された画像データ、および、ユーザが前記撮像装置を用いて入力した、前記画像データにおける被写体の患部領域に対する複数の評価項目の評価値を示す情報を取得する通信手段と、
     表示手段に、前記画像データに基づく画像と前記複数の評価項目の評価値を表示させる制御手段と、を有することを特徴とする電子機器。
    Acquires image data generated by the imaging device via the communication network and information indicating evaluation values of a plurality of evaluation items for the affected area of the subject in the image data input by the user using the imaging device. Communication means to
    An electronic apparatus comprising: control means for displaying an image based on the image data and evaluation values of the plurality of evaluation items on a display means.
  58.  前記制御手段は、前記表示手段に、前記画像データに基づく画像と前記複数の評価項目の評価値を、前記所定の領域を有する被写体、および、前記所定の領域の抽出を行う際に用いた前記画像データが生成された日時に基づいて識別して表示させることを特徴とする請求項57に記載の電子機器。 The control unit uses the display unit to extract an image based on the image data and the evaluation values of the plurality of evaluation items when the subject having the predetermined region and the predetermined region are extracted. 58. The electronic device according to claim 57, wherein the electronic device is identified and displayed based on the date and time when the image data was generated.
  59.  通信ネットワークを介して、撮像装置にて生成された画像データ、および、ユーザが前記撮像装置を用いて入力した、前記画像データにおける被写体の患部領域に対する複数の評価項目の評価値を示す情報を取得する工程と、
     表示手段に、前記画像データに基づく画像と前記複数の評価項目の評価値を表示させる工程と、を有することを特徴とする電子機器の制御方法。
    Acquires image data generated by the imaging device via the communication network and information indicating evaluation values of a plurality of evaluation items for the affected area of the subject in the image data input by the user using the imaging device. And a process of
    A method for controlling an electronic device, comprising: displaying an image based on the image data and evaluation values of the plurality of evaluation items on a display unit.
  60.  コンピュータに電子機器の制御方法の各工程を行わせるための指示を記憶した、コンピュータ読み取り可能な不揮発性の記憶媒体であって、
     前記電子機器の制御方法は、
     通信ネットワークを介して、撮像装置にて生成された画像データ、および、ユーザが前記撮像装置を用いて入力した、前記画像データにおける被写体の患部領域に対する複数の評価項目の評価値を示す情報を取得する工程と、
     表示手段に、前記画像データに基づく画像と前記複数の評価項目の評価値を表示させる工程と、を有することを特徴とする記憶媒体。
    A computer-readable non-volatile storage medium storing instructions for causing a computer to perform each step of an electronic device control method,
    The method for controlling the electronic device includes:
    Acquires image data generated by the imaging device via the communication network and information indicating evaluation values of a plurality of evaluation items for the affected area of the subject in the image data input by the user using the imaging device. And a process of
    A storage medium comprising: a step of displaying an image based on the image data and evaluation values of the plurality of evaluation items on a display unit.
PCT/JP2019/021094 2018-05-31 2019-05-28 Image processing system, imaging device, image processing device, electronic device, control method thereof, and storage medium storing control method thereof WO2019230724A1 (en)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2018-104922 2018-05-31
JP2018104922 2018-05-31
JP2019-018653 2019-02-05
JP2019018653 2019-02-05
JP2019095938A JP2020123304A (en) 2018-05-31 2019-05-22 Image processing system, imaging device, image processing device, electronic apparatus, control method thereof, and program
JP2019-095938 2019-05-22

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
GB2017734.1A GB2588306A (en) 2018-05-31 2019-05-28 Image processing system, imaging device, image processing device, electronic device, control method thereof, and storage medium storing control method thereof
DE112019002743.3T DE112019002743T5 (en) 2018-05-31 2019-05-28 Image processing system, imaging device, image processing device, electronic device, method of controlling the system, device and device, and storage medium storing the methods
KR1020207035540A KR20210018283A (en) 2018-05-31 2019-05-28 Image processing system, imaging device, image processing device, electronic device, their control method, and storage medium storing these control methods
CN201980036683.7A CN112638239A (en) 2018-05-31 2019-05-28 Image processing system, image capturing apparatus, image processing apparatus, electronic device, control method thereof, and storage medium storing the control method
US17/103,575 US20210068742A1 (en) 2018-05-31 2020-11-24 Image processing system, imaging apparatus, electronic device, methods of controlling the system, and the apparatuses, and storage medium

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/103,575 Continuation US20210068742A1 (en) 2018-05-31 2020-11-24 Image processing system, imaging apparatus, electronic device, methods of controlling the system, and the apparatuses, and storage medium

Publications (1)

Publication Number Publication Date
WO2019230724A1 true WO2019230724A1 (en) 2019-12-05

Family

ID=68698198

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/021094 WO2019230724A1 (en) 2018-05-31 2019-05-28 Image processing system, imaging device, image processing device, electronic device, control method thereof, and storage medium storing control method thereof

Country Status (1)

Country Link
WO (1) WO2019230724A1 (en)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011520722A (en) * 2008-04-25 2011-07-21 ポリーレメディ インコーポレイテッド Wound care treatment service using automatic wound dressing fabricator
WO2014179594A2 (en) * 2013-05-01 2014-11-06 Francis Nathania Alexandra System and method for monitoring administration of nutrition
WO2015019573A1 (en) * 2013-08-08 2015-02-12 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ Control method for information processing device, and image processing method
JP2016137163A (en) * 2015-01-28 2016-08-04 カシオ計算機株式会社 Medical image processing apparatus, medical image processing method, and program
WO2016149632A1 (en) * 2015-03-18 2016-09-22 Bio1 Systems, Llc Digital wound assessment device and method
WO2017203913A1 (en) * 2016-05-25 2017-11-30 パナソニックIpマネジメント株式会社 Skin diagnostic device and skin diagnostic method

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011520722A (en) * 2008-04-25 2011-07-21 ポリーレメディ インコーポレイテッド Wound care treatment service using automatic wound dressing fabricator
WO2014179594A2 (en) * 2013-05-01 2014-11-06 Francis Nathania Alexandra System and method for monitoring administration of nutrition
WO2015019573A1 (en) * 2013-08-08 2015-02-12 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ Control method for information processing device, and image processing method
JP2016137163A (en) * 2015-01-28 2016-08-04 カシオ計算機株式会社 Medical image processing apparatus, medical image processing method, and program
WO2016149632A1 (en) * 2015-03-18 2016-09-22 Bio1 Systems, Llc Digital wound assessment device and method
WO2017203913A1 (en) * 2016-05-25 2017-11-30 パナソニックIpマネジメント株式会社 Skin diagnostic device and skin diagnostic method

Similar Documents

Publication Publication Date Title
CN101520842B (en) Information processing apparatus, eye open/closed degree determination method and image sensing apparatus
JP4449354B2 (en) Image photographing apparatus and program
JP4751776B2 (en) Electronic imaging device and personal identification system
JP2010182048A (en) Vein authentication apparatus and template registration method
JP2009282706A (en) Vein authentication device and vein authentication method
JP2006271840A (en) Diagnostic imaging support system
JP6311372B2 (en) Image processing apparatus and image processing method
WO2019230724A1 (en) Image processing system, imaging device, image processing device, electronic device, control method thereof, and storage medium storing control method thereof
JP2008209306A (en) Camera
JP4565273B2 (en) Subject tracking device and camera
JP2021144752A (en) Imaging device, control method of imaging device, and program
US9569838B2 (en) Image processing apparatus, method of controlling image processing apparatus and storage medium
KR20160115269A (en) System and application for providing information of health examinations
US20200337554A1 (en) Electronic device and method for determining degree of conjunctival hyperemia by using same
US20200311920A1 (en) Image processing apparatus, method of processing image, and program
US20200193601A1 (en) Processing system, processing apparatus, terminal apparatus, processing method, and program
US10609311B2 (en) Method and device for increasing resolution of an image sensor
JP2020151461A (en) Imaging apparatus, information processing apparatus, and information processing system
WO2020184230A1 (en) Imaging device, information processing device, and image processing system
JP2020156082A (en) Imaging apparatus, image processing system, and control method
US20200294236A1 (en) Apparatus, image processing apparatus, and control method
JP2021051573A (en) Image processing apparatus, and method of controlling image processing apparatus
JP2021049248A (en) Image processing system and method for controlling the same
JP2021049262A (en) Image processing system and method for controlling the same
JP2020146200A (en) Image processing device, image browsing device and image processing system

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19810922

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 202017734

Country of ref document: GB

Kind code of ref document: A

Free format text: PCT FILING DATE = 20190528

122 Ep: pct application non-entry in european phase

Ref document number: 19810922

Country of ref document: EP

Kind code of ref document: A1