JP7317498B2 - 処理システム、処理装置、処理方法、およびプログラム - Google Patents

処理システム、処理装置、処理方法、およびプログラム Download PDF

Info

Publication number
JP7317498B2
JP7317498B2 JP2018234569A JP2018234569A JP7317498B2 JP 7317498 B2 JP7317498 B2 JP 7317498B2 JP 2018234569 A JP2018234569 A JP 2018234569A JP 2018234569 A JP2018234569 A JP 2018234569A JP 7317498 B2 JP7317498 B2 JP 7317498B2
Authority
JP
Japan
Prior art keywords
evaluation
affected area
image
information
indices
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018234569A
Other languages
English (en)
Other versions
JP2020095600A (ja
Inventor
喬 杉本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2018234569A priority Critical patent/JP7317498B2/ja
Priority to US16/709,646 priority patent/US11373312B2/en
Publication of JP2020095600A publication Critical patent/JP2020095600A/ja
Application granted granted Critical
Publication of JP7317498B2 publication Critical patent/JP7317498B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • G06T7/0016Biomedical image inspection using an image reference approach involving temporal comparison
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Image Analysis (AREA)

Description

本発明は、被写体の画像に基づいて被写体の患部領域を評価する技術に関するものである。
人や動物が横になっている状態では、体重により、床(ここで床とはマットレスや敷布団を含む。)と体の接触部位に圧迫を受ける。
同じ姿勢が継続すると、床と体の接触部位が血行不全となり周辺組織が壊死を起こす。この組織が壊死した状態を褥瘡、または床ずれと呼んでいる。
この褥瘡を発症した患者には、非特許文献1にあるように体圧分散ケア、スキンケアなどの褥瘡ケアを施し、定期的に褥瘡を評価、管理していく必要がある。
そして、褥瘡評価のツールとして、非特許文献2に記載があるように日本褥瘡学会学術教育委員会が開発した褥瘡状態判定スケール、"DESIGN-R(登録商標)"が提案されている。
"DESIGN-R(登録商標)"は褥瘡をはじめとする傷の治癒過程を評価するためのツールである。この名称は、以下の各評価指標の頭文字をとったものである。即ち、深さ(Depth)、滲出液(Exudate)、大きさ(Size)、炎症・感染(Inflammation/Infection)、肉芽組織(Granulation)、壊死組織(Necrotic tissue)の頭文字をとったものである。
"DESIGN-R(登録商標)"は日常の簡便な評価のための重症度分類用,および詳細に治癒過程の流れが示される経過評価用の2つがある。重症度分類用"DESIGN-R(登録商標)"は、6つの評価項目を軽度と重度の2つに区分して、軽度はアルファベットの小文字、重度は大文字を用いて表す。
初療時に重症度分類用"DESIGN-R(登録商標)"を用いて評価することで、褥瘡の大まかな状態を把握することができる。どの項目が問題であるかがわかるため、治療方針を容易に決定できる。
一方、経過評価用"DESIGN-R(登録商標)"として、経過評価に加え患者間の重症度の比較もできる"DESIGN-R(登録商標)"も定められている。Rはrating(評価・評点)を表す。各評価指標に異なる重み付けをしており、深さ以外の6項目の合計点(0~66点)がその創の重症度を表す。治療開始後に、治療経過を詳細かつ客観的に評価できる。個人の経過評価だけでなく、患者間の重症度比較もできる。
"DESIGN-R(登録商標)"の採点は、非特許文献2に記載があるように、褥瘡の治癒経過を評価し、適切なケア選択を行うために、1週間に1回採点することが推奨されており、褥瘡は定期的に病状を評価し管理していく必要がある。
ここで、"DESIGN-R(登録商標)"の「大きさ」の評価は、皮膚損傷範囲の長径と短径(長径と直交する最大径)を(cm単位で)測定し、各々を掛け合わせた数値から、大きさを7段階に分類するものである。この7段階は、s0:皮膚損傷なし、s3:4未満、s6:4以上16未満、s8:16以上36未満、s9:36以上64未満、s12:64以上100未満、S15:100以上、である。
「深さ」の評価は、創内の一番深い部分の深さによって、深さを7段階に分類するものである。この7段階は、d0:皮膚損傷・発赤なし、d1:持続する発赤、d2:真皮までの損傷、D3:皮下組織までの損傷、D4:皮下組織を超える損傷、D5:関節腔、体腔に至る損傷、U:深さ判定が不能、である。
「炎症/感染」の評価は、創周辺の炎症あるいは創自体の感染によって、炎症/感染を4段階に分類するものである。この4段階は、i0:局所の炎症徴候なし、i1:局所の炎症徴候あり(創周囲の発赤、腫脹、熱感、痒痛)、I3:局所の明らかな感染徴候あり(炎症徴候、膿、悪臭など)、I9:漸進的影響あり(発熱など)、である。
「肉芽組織」の評価は、創面の肉芽組織の量によって、肉芽組織を6段階に分類するものである。この6段階には、g0:治療あるいは創が浅いため肉芽形成の評価ができない、g1:良性肉芽が創面の90%以上を占める、g3:良性肉芽が創面の50%以上90%未満を占める、が含まれる。また、この6段階には、G4:良性肉芽が創面の10%以上50%未満を占める、G5:良性肉芽が創面の10%未満を占める、G6:良性肉芽が全く形成されていない、が含まれる。
褥瘡の経過評価(診断)において、各評価指標はその評価値と前述の判断基準とを対比させることによって行われる。
また、非特許文献2に記載があるように、患者の衰弱具合や皮膚の湿潤度等によって褥瘡の悪化の速さは異なる。褥瘡の悪化の速さの速い患者においては軽度な症状でも早期に発見して対策を講じたい場合など、患者ごとに異なる判断基準が求められると考えられる。
画像を評価する技術として、特許文献1には、画像について部分領域ごとに算出したスコアと学習データとに基づいて、評価対象画像の評価値を算出する技術が開示されている。ここでの学習データは、画像についての複数の評価項目の各々のスコアと当該画像がユーザの嗜好に合致する度合いを示す評価値とが関連付けられたデータである。
特開2017-162056号公報
日本褥瘡学会 褥瘡予防・管理ガイドライン、褥瘡会誌(Jpn J PU), 17 (4) : 487~557,2015 照林社 在宅褥瘡予防・治療ガイドブック 第3版 褥瘡予防・管理ガイドライン(第4版)準拠 編集 日本褥瘡学会 ISBN-13 978-4796523615 25,40ページ
しかしながら、特許文献1に開示されている技術では、画像についての複数の評価項目の各スコアを、複数の部分領域ごとに算出して画像を評価するが、評価された領域がどこであるかを視覚的に確認することができない。また、画像の評価を行う際に、ユーザが評価基準を変更することができず、前述のように患者ごとに異なる判断基準が求められる場合に対応することができない。
本発明は、このような問題点に鑑みてなされたものであり、被写体の患部領域に対する評価結果をユーザに容易に把握させることを目的とする。
本発明の処理システムは、撮像手段により撮像された被写体の画像から、患部についての複数の評価指標それぞれについての患部領域を抽出する抽出手段と、前記患部についての複数の評価指標それぞれについて基準値を可変に設定する設定手段と、前記抽出手段によって抽出された前記複数の評価指標それぞれについての患部領域の評価値を算出する評価手段と、前記評価手段による評価の結果に基づいて、前記複数の評価指標それぞれについての患部領域から、少なくとも1つの評価指標についての患部領域を選択する第1選択手段と、前記評価手段による評価の結果に基づく、前記複数の評価指標それぞれについての患部領域に関する情報を表示装置に表示させる表示制御手段と、を有し、前記第1選択手段により選択された少なくとも1つの評価指標についての患部領域に関する情報は、前記第1選択手段により選択されなかった評価指標についての患部領域に関する情報と区別される態様で表示され、前記抽出手段は、前記患部についての複数の評価指標のそれぞれに係る評価値が、前記基準値を超えた領域を前記患部領域として抽出することを特徴とする。
本発明によれば、被写体の患部領域に対する評価結果をユーザに容易に把握させることができる。
画像処理システムの構成の第1の例を示す図である。 被写体の第1の例を示す図である。 撮像装置のハードウェア構成を示す図である。 画像処理装置のハードウェア構成を示す図である。 画像処理システムの動作の第1の例を説明する図である。 設定画面を示す図である。 患部領域の評価結果を患部領域の画像に重畳させた画像を示す図である。 患部領域の面積を計算する方法を説明する図である。 患部領域の評価結果を重畳する前の患部領域の画像を示す図である。 患部領域の評価結果が重畳された患部領域の画像の遷移を示す図である。 被写体の第2の例を示す図である。 画像処理システムの動作の第2の例を説明する図である。 画像処理システムの動作の第4の例を説明する図である。 重複する患部領域を区別して表示する画像の第1の例を示す図である。 重複する患部領域を区別して表示する画像の第2の例を示す図である。 重複する患部領域を区別して表示する画像の第3の例を示す図である。
以下、図面を参照しながら、実施形態を説明する。
[第1の実施形態]
まず、第1の実施形態を説明する。
まず、図1~図3を参照して、画像処理システムの一例について説明する。図1は、画像処理システムの構成の一例を示す図である。
画像処理システム100は、撮像装置110と、画像処理装置120とを有する。図2は、画像処理システム100により計測される被写体の一例を示す図である。本実施形態では、被写体201の臀部に生じた患部領域202の病態の一例を褥瘡として説明する。
画像処理システム100は、被写体201の患部領域202の画像を撮影し、被写体距離を取得する。次に、画像処理システム100は、患部領域202の画像から、患部についての複数の評価指標それぞれについての患部領域202を、抽出または領域分割する。
次に、画像処理システム100は、複数の評価指標それぞれについての患部領域の領域分割の結果や被写体距離に基づいて、複数の評価指標それぞれについての評価値を算出する。次に、画像処理システム100は、それらの評価値を、ユーザによって画像撮影前に設定された基準値と比較する。画像処理システムは、この比較の結果に基づいて、強調表示する患部領域を決定する。尚、患部の対象は褥瘡に限定されるものではなく、やけど、裂傷、等であってもよい。更に、計測対象は患部に限定されるものではなく、電子データにおける画像中のオブジェクトであってもよい。
図1の撮像装置110のハードウェア構成の一例を図3に示す。
撮像装置110は、AF制御回路325、撮像ユニット311、ズーム制御回路315、測距システム316、画像処理回路317、通信装置318、およびシステム制御回路319を有する。撮像装置110は、更に、内部メモリ320、外部メモリI/F321、表示装置322、操作部材323、および共通バス324を有する。
AF制御回路325は、指定された領域の撮像信号(映像信号)の高周波成分を抽出し、これが最大になるフォーカスレンズの位置を探索して、フォーカスレンズを制御し、自動的に焦点を調節する。フォーカスレンズは、レンズ312に含まれる。このフォーカス制御方式は、TV-AFまたはコントラストAFとも称され、高精度な合焦が得られる特徴がある。また、AF制御回路325は、焦点の調節量またはフォーカスレンズの移動量に基づいて被写体201までの距離を出力する。尚、フォーカス制御方式はコントラストAFに限ったものではなく、位相差AFや、その他のAF方式でもよい。また、AF制御回路325は、焦点の調節量、またはフォーカスレンズの位置を検出し、フォーカスレンズの位置に基づいて被写体201までの距離を取得することができる。
撮像ユニット311は、レンズ312、シャッタ313、イメージセンサ314を有する。
レンズ312は、イメージセンサ314に被写体201の光学像を結像する。レンズ312には、露出量を調節するための絞り値を決定する絞りが含まれるものとする。
イメージセンサ314は、光学像を電気信号に変換するCCDや、CMOS素子等の電荷蓄積型の固体イメージセンサを有する。
シャッタ313は、開閉動作によりイメージセンサ314への露出や遮光を行い、シャッタ速度を制御する。尚、シャッタは機械シャッタに限ったものではなく電子シャッタを用いてもよい。CMOSセンサを用いた撮像素子では、電子シャッタは、画素ごと、或いは、複数画素からなる領域ごと(例えば、ラインごと)に、まず、画素の蓄積電荷量をゼロにするリセット走査を行う。その後、撮像ユニット311は、リセット走査を行った画素ごと、或いは、複数画素からなる領域ごとに、それぞれ所定の時間を経過してから信号を読み出す走査を行う。
ズーム制御回路315は、レンズ312に含まれるズームレンズの駆動を制御する。ズーム制御回路315は、システム制御回路319からの指示に従ってズームモータ(不図示)を介してズームレンズを駆動する。これにより変倍が行われる。
測距システム316は、画面を複数の画素からなる所定のブロックに分割し、画面内のブロックごとに、被写体201までの距離の検出が可能な機能を有する。このように測距システム316は、被写体201までの距離を検出するユニットである。測距システム316は、AF制御回路325の出力に基づいて、被写体201までの距離を検出してもよい。画面内のブロックが複数ある場合、測距システム316は、AFをブロックごとに繰り返し動作させることでブロックごとに、被写体201までの距離を検出する。この場合は、AF制御回路325が測距システム316を兼用できるため、測距システム316を省略することができる。
尚、測距システム316の一例としてTOF(Time Of Flight)センサを用いたシステムを用いてもよい。TOFセンサは、照射波の送信タイミングと、当該照射波が物体で反射された波である反射波の受信タイミングとの時間差(または位相差)に基づいて、当該物体までの距離を測定するセンサである。更に、測距システム316として、受光素子にPSD(Position Sensitive Device)を用いたPSD方式のシステム等を用いてもよい。
画像処理回路317は、イメージセンサ314から出力されたRAW画像データに画像処理を施す。画像処理回路317は、撮像ユニット311から出力された画像データ(RAW画像データ)、あるいは後述する内部メモリ320に記憶されている画像信号のデータに対して、種々の画像処理を行う。画像処理には、例えば、ホワイトバランス調整、ガンマ補正、色補間、デモザイキング、フィルタリング、およびリサイズの少なくとも1つが含まれる。また、画像処理回路317は、撮像ユニット311が撮像した画像信号のデータに対して、JPEG等の規格で、圧縮処理を行う。
通信装置318は、撮像装置110内の各構成が、無線のネットワーク(不図示)を介して、画像処理装置120等の外部装置と通信を行うための通信インターフェースである。ネットワークの具体的な一例としては、Wi-Fi(登録商標)規格に基づくネットワークが挙げられる。尚、Wi-Fi(登録商標)を用いた通信はルーターを介して実現されてもよい。また、通信装置318は、USBやLAN等、有線の通信インターフェースにより実現されてもよい。
システム制御回路319は、CPU(Central Processing Unit)を有する。システム制御回路319は、内部メモリ320に記憶されているプログラムに従って、撮像装置110の各部を制御することにより全体制御を行う。また、システム制御回路319は、AF制御回路325、撮像ユニット311、ズーム制御回路315、測距システム316、画像処理回路317等の全体制御を行う。
内部メモリ320は、撮像装置110の動作に必要な画像撮像時のピント位置の情報等の各種設定情報や、撮像ユニット311が撮像した画像や、画像処理回路317の処理を得た画像を一時的に記憶する。また、内部メモリ320は、通信装置318が画像処理装置120と通信して受信した画像データや、被写体201のサイズに関する情報等の解析データ等を一時的に記憶してもよい。内部メモリ320は、例えば、フラッシュメモリ、SDRAM等の書き換え可能な不揮発性のメモリによって構成される。
外部メモリI/F(Interface)321は、撮像装置110本体に装着可能な不揮発性の記憶媒体、または、撮像装置110の内部に固定された不揮発性の記憶媒体とのインターフェースである。外部メモリI/F321は、例えば、SDカードやCFカード等である。外部メモリI/F321は、画像処理回路317で処理された画像データや、通信装置318が画像処理装置120と通信して受信した画像データや解析データ等を、撮像装置110本体に装着可能な記憶媒体に記憶する。また、外部メモリI/F321は、画像データの再生時には、撮像装置110本体に装着可能な記憶媒体に記憶された画像データを読み出し、撮像装置110の外部に出力することが可能である。
表示装置322は、内部メモリ320に一時的に記憶されている画像、外部メモリI/F321に記憶されている画像やデータ、或いは、撮像装置110の設定画面等を表示する。表示装置322は、例えば、TFT(Thin Film Transistor)液晶ディスプレイ、有機ELディスプレイ、またはEVF(電子ビューファインダ)等によって構成される。表示装置322は、システム制御回路319によって表示制御が行われる。
操作部材323は、例えば、撮像装置110に設けられた、ボタン、スイッチ、キー、およびモードダイアル等を有する。また、撮像装置110は、例えば、表示装置322に兼用されるタッチパネル等を有する。ユーザによるモード設定や、レリーズ等の撮影動作や、患部の複数の評価指標についての基準値の設定等の指令は、操作部材323を経由して、システム制御回路319に達する。
共通バス324には、AF制御回路325、撮像ユニット311、ズーム制御回路315、測距システム316、および画像処理回路317が接続される。また、共通バス324には、通信装置318、システム制御回路319、内部メモリ320、外部メモリI/F321、表示装置322、および操作部材323も接続される。共通バス324は、各ブロック間で信号の送受信を行うための信号線である。
尚、撮像装置110は、撮像装置本体と着脱可能なレンズユニットであって、撮像素子を備えるレンズユニットを用いて構成されても良い。この場合、撮像装置本体は、撮像素子を有さない。
次に、図1の画像処理装置120のハードウェア構成の一例として、コンピュータ400の構成を図4に示す。画像処理装置120の各機能は、コンピュータ400を用いることによって実現される。図4において、コンピュータ400は、中央演算処理装置であるCPU410と、記憶装置412と、入力装置413と、表示装置414と、補助演算装置417と、通信装置418と、を有する。
CPU410は、演算装置411を有する。記憶装置412は、主記憶装置415(ROMまたはRAM等)と補助記憶装置416(磁気ディスク装置、SSD:Solid State Drive等)とを有する。
入力装置413は、例えば、マウスおよびキーボード等を有する。表示装置414は、例えば、例えば、TFT液晶ディスプレイや有機ELディスプレイ等によって構成される。
補助演算装置417は、CPU410の制御の下で用いられる補助演算用ICである。補助演算装置417には、一例としてGPU(Graphic Processing Unit)を用いることができる。GPUは、元々は画像処理用のプロセッサであるが、複数の積和演算器を有し、行列計算を得意としているため、信号学習用の処理を行うプロセッサとしても用いられることが多い。そして、深層学習を行う処理においても、GPUが用いられることが一般的である。尚、補助演算装置417として、FPGA(Field-Programmable Gate Array)やASIC等を用いてもよい。
通信装置318は、画像処理装置120内の各構成が、無線のネットワークを介して、画像処理装置120等の外部装置と通信を行うための通信インターフェースである。
CPU410が備える演算装置411は、記憶装置412に記憶されているプログラムを実行することで、各機能を実行する。
尚、コンピュータ400が備えるCPU410および記憶装置412は1つであってもよいし複数であってもよい。即ち、少なくとも1以上の処理装置(CPU)と少なくとも1つの記憶装置とが接続されており、少なくとも1以上の処理装置が少なくとも1以上の記憶装置に記憶されたプログラムを実行した場合にコンピュータ400は上記の各手段として機能する。尚、処理装置はCPUに限定されるものではなく、FPGAやASIC等であってもよい。
次に、図5に示すワークフロー図を用いて、本実施形態の画像処理システム100の動作の一例について説明する。図5において、ステップをSと示す。例えば、ステップ5101をS5101と示す。このことは、後述する図12、図13も同様である。また、ステップ記号の下から3桁目が"1"のステップ(例えば、S5101等)は、撮像装置110を対象とした処理であることを示す。また、ステップ記号の下から3桁目が"2"のステップ(例えば、S5201等)は、画像処理装置を対象とした処理であることを示す。これらのことは後述する図12、図13も同様である。
S5101の応答処理とS5201の探索処理では、撮像装置110と画像処理装置120が無線LAN規格であるWifi規格のネットワーク(不図示)にそれぞれ接続する。S5201において、画像処理装置120は、画像処理装置120に接続される撮像装置110の探索処理を行う。S5101において、撮像装置110は、画像処理装置120の探索処理に対する応答処理を行う。各種の画像処理装置120の検索は、ネットワークを介して探索する機器探索技術等を用いて行われる。機器探索技術として、例えば、UPnP(Universal Plug and Play)が用いられる。UPnPにおいて個々の装置の識別はUUID(Universally Unique IDentifier)によって行われる。
次に、S5102において、システム制御回路319は、表示装置322に図6に示す設定画面600を表示させる。操作部材323によってユーザが各評価指標に対応するスライダー601を左右に移動させることで各評価指標に対する基準値の設定が行われる。ここで、スライダー601の左の値は基準値の下限値を表し、右の値は基準値の上限値を表す。システム制御回路319は、このようなユーザによるスライダー601の操作の内容に基づいて、各評価指標に対する基準値を設定する。尚、基準値の設定を行うためのGUI(Graphical User Interface)は、スライダーに限らず、ノブ等でもよい。また、ユーザは、評価値を算出することが可能である5つの評価指標(深さ、大きさ、炎症/感染、肉芽組織、壊死組織)の中から、1または複数の評価指標を選択するようにしてもよい。ユーザによって一部の評価指標が選択された場合には、選択された評価指標についてのみ、基準値を設定する。尚、ユーザが選択することができる候補となる評価指標の数は5つに限らない。
以下、図7に示す画像700を参照しながら、ライブビュー処理の一例について説明する。ライブビュー処理は、撮像装置110の表示装置322にライブ映像を表示する処理である。
ライブビュー処理は、撮像装置110のS5103~S5112の処理と、画像処理装置120のS5202~S5207の処理とを含む。図5において、ライブビュー処理を行うステップを、破線で囲んで示す(このことは、図12、図13においても同様である)。
まず、S5103において、システム制御回路319は、ユーザが、画像700の表示中に、各評価指標に対する基準値の変更を行ったか否かを判定する。図7に示すように、画像700の左下部には、図6に示したスライダー601と同様のスライダー701が表示される。ユーザはライブビュー中の任意のタイミングでスライダー701を左右に移動させることで各評価指標に対する基準値を変更することができる。尚、基準値の設定を行うためのGUI(Graphical User Interface)は、スライダーに限らず、ノブ等でもよい。
S5103の判定の結果、基準値が変更された場合、処理は、S5104に進む。一方、基準値が変更されなかった場合、処理は、S5104を省略してS5105に進む。
S5104において、システム制御回路319は、変更後の各評価指標に対する基準値を新しい基準値として設定する。
次に、S5105において、AF制御回路325は、AF処理を行う。AF処理では、被写体201に焦点を合わせるように焦点が自動的に調節される。AF制御回路325は、画面を複数のブロックに分割し、所定のブロックでAF(Auto Focus)を行う。本実施形態では、画面の中央に患部領域102が配置されるように撮像装置110を構えるものとする。よって、AF制御回路325は、画面の中央に位置するブロックでAFを行う。また、AF制御回路325は、焦点の調節量またはフォーカスレンズの移動量から、被写体201のAFエリアまでの距離を出力する。
次に、S5106において、撮像ユニット311は、被写体201の患部領域202が含まれるように、被写体201の画像を撮像する。
次に、S5107において、画像処理回路317は、S5106で撮像された画像を現像し、現像後の画像に対しJPEG等の規格で画像圧縮を行う。現像された画像は表示装置322にも送られ、ライブビューの表示に用いられる。そして、画像処理回路317は、得られた画像のリサイズを実施する。S5107で生成された画像は後述するS5109で画像処理装置120に無線通信により送信される。
画像処理装置120に送信される画像のサイズが大きいほど無線通信に時間がかかる。このため、撮像装置110と画像処理装置120との通信時間として許容される通信時間を考慮してリサイズ後の画像のサイズが選択される。更に、後述するS5203において、画像から患部領域202を抽出する処理がなされる。画像サイズは、抽出処理の時間および抽出精度に依存する。このため、これらの要件も考慮して、リサイズ後の画像のサイズが選択される。また、S5107の処理は、ライブビュー処理中の処理であるため、処理の時間が長いとライブ映像のフレームレートが遅くなり、使い勝手が低下する虞がある。このことから、画像処理回路317は、ライブビュー処理中の処理でない本撮影時の処理である後述するS5115の画像処理で得られるサイズに比べて、同じか小さいサイズで画像をリサイズすることが望ましい。例えば、S5107において、画像処理回路317は、720ピクセル×540ピクセルで8ビットRGBカラーとして、サイズがおよそ1.1メガバイトとなるように画像をリサイズすることができる。尚、リサイズ後の画像のサイズはこれに限ったものではない。
次に、S5108において、システム制御回路319は、被写体201までの距離に関する距離情報を生成する。具体的にシステム制御回路319は、S5105のAF処理で得られた、被写体201のAFエリアまでの距離に基づいて距離情報を生成する。また、S5105において、システム制御回路319は、測距システム316の出力に基づいて、画面を分割処理した複数のブロックのそれぞれについて、被写体201までの距離を取得してもよい。
次に、S5109において、通信装置318は、S5107で生成された画像データと、S5108で生成された距離情報と、S5102またはS5104で設定された各評価指標に対する基準値とを、画像処理装置120に出力する。
S5202において、CPU410は、通信装置418を介して、撮像装置110から出力された画像データと、画像データに含まれる被写体201に対応する距離情報と、各評価指標に対する基準値とを取得する。
次に、S5203において、CPU410は、補助演算装置417を用いて、S5202で取得された画像データから、被写体201の患部の複数の評価指標それぞれについての患部領域202を抽出または領域分割する。本実施形態では、CPU410は、「深さ」の評価指標についての患部領域として、持続する発赤(評価値1)以上の評価値を持つ患部領域を抽出する。また、CPU410は、「大きさ」の評価指標についての患部領域として患部の領域を抽出する。また、CPU410は、「炎症/感染」の評価指標についての患部領域として、局所の炎症徴候あり(評価値1)以上の評価値を持つ患部領域を抽出する。また、CPU410は、「肉芽組織」の評価指標についての患部領域として、良性肉芽の領域を抽出する。また、CPU410は、「壊死組織」の評価指標についての患部領域として、壊死組織の領域を領域分割する。
ここで、領域分割として、例えば、深層学習による意味的領域分割が行われる。即ち、学習用のコンピュータ(不図示)は、複数の評価指標についての患部領域が既知である複数の実際の褥瘡患部の画像を教師データとしてニューラルネットワークのモデルを学習させて学習済モデルを生成する。そして、画像処理装置120は、生成された学習済モデルに基づいて入力画像から褥瘡の複数の評価指標それぞれについての患部領域を推定する。尚、生成される学習済モデルは1つとは限らない。例えば、評価指標ごとに異なる学習済モデルを生成して、それらに基づいて各評価指標の患部領域を推定してもよい。ニューラルネットワークのモデルの一例として、深層学習を用いたセグメンテーション・モデルである完全畳み込みネットワーク FCN(Fully Convolutional Network)を適用することができる。ここで、深層学習の推論は、積和演算の並列実行を得意とする補助演算装置417に含まれるGPUにより処理される。尚、推論処理は、FPGAやASICなどにより実行されてもよい。また、他の深層学習のモデルを用いて領域分割を実現してもよい。また、セグメンテーション手法は深層学習に限らず、例えば、グラフカットや領域成長、エッジ検出、統治分割法等を用いてもよい。
次に、S5204において、CPU410は、S5203で抽出された患部の複数の評価指標それぞれについての患部領域202の評価値を、真相学習による分類結果に基づいて算出する。CPU410は、「大きさ」の評価指標の評価値については、画像データの画角もしくはサイズに関する情報、および、S5108で生成された距離情報に基づいて患部領域202の面積を計算し、この面積に応じて評価値を算出する。
図8は、患部領域202の面積を計算する方法の一例を説明する図である。一般的なカメラは、図8に示すようなピンホールモデルとして扱うことができる。入射光811は、レンズ312のレンズ主点を通り、イメージセンサ314の撮像面で受光する。撮像面からレンズ主点までの距離が焦点距離Fである。ここで、薄レンズ近似を用いる場合、前側主点および後側主点の2つの主点は一致するとみなせる。また、ピンホールモデルでは見かけ上、レンズ312が厚みのない単一のレンズであるが、実際のレンズは、フォーカスレンズを含む複数の厚みのあるレンズ、またはズームレンズで構成されていてもよい。
イメージセンサ314の平面に像が結像するようにレンズ312のフォーカスレンズを調整することで、撮像装置110は、被写体201に焦点を調節する。ズームレンズにより焦点距離Fを可変することで画角θが変化する。このとき、撮像装置110の画角θと被写体距離Dとの関係から幾何学的に合焦面における被写体201の幅Wが決定される。被写体201の幅Wは、三角関数を用いて計算される。即ち、被写体201の幅Wは、フォーカス位置とズーム量とをパラメタとする画角θと、被写体距離Dとの関係によって決定される。被写体201の幅Wの値を、当該幅Wに対応するイメージセンサ314のライン上のピクセル数で除算することにより、画像上の1ピクセルに対応する合焦面上の長さが得られる。
面積の計算は、S5203による領域分割の結果から得られる、患部領域102のピクセル数と、画像上の1ピクセルに対応する合焦面上の長さから得られる1ピクセルの面積との積として計算される。尚、被写体201の幅Wもしくは画像上の1ピクセルに対応する合焦面上の長さを求める式は、幅Wが既知の被写体を、被写体距離Dを変化させて撮像することにより、被写体のデータを取得し回帰的に求めてもよい。また、被写体距離Dが単一の場合は、正しく面積を求めるためには被写体が平面であることが前提となる。CPU410は、S5108で生成した画面の複数の位置で距離情報を用いて、S5204で、被写体201の奥行き方向の傾きや変化を検出し、検出した傾きや変化に基づいて、患部領域202の面積を算出してもよい。
また、CPU410は、「深さ」の評価指標の評価値を、S5204で抽出された、持続する発赤(評価値1)以上の評価値を持つ患部領域に基づいて算出する。即ち、CPU410は、持続する発赤(評価値1)以上の評価値を持つ患部領域202を、評価値1、2、3、4、5のいずれかに分類する。例えば、CPU410は、補助演算装置417を用いて深層学習による分類を行う。即ち、学習用のコンピュータ(不図示)は、深さの評価値が既知である複数の褥瘡患部の画像を教師データとしてニューラルネットワークのモデルを学習させて学習済モデルを予め生成する。そして、画像処理装置120は、生成された学習済モデルに基づいて、持続する発赤(評価値1)以上の評価値を持つ患部領域から深さの評価値を推定する。ニューラルネットワークのモデルの一例として、画像分類においてよく用いられる畳み込みニューラルネットワーク CNN(Convolutional Neural Network)を用いることができる。尚、分類の手法は深層学習に限らない。例えば、分類対象の画像からSIFT(Scale-Invariant Feature Transform)特徴量等の特徴量を抽出した後に、当該特徴量を、SVM(Support Vector Machine)等の識別器を用いて分類してもよい。
また、CPU410は、「肉芽組織」の評価指標の評価値を、S5204で抽出された良性肉芽の領域と、患部領域202のピクセル数とに基づいて算出する。背景技術の項で述べた通り、「肉芽組織」の評価指標の評価値は、良性肉芽の創面における割合によって決まる。そこで、CPU410は、肉芽組織の領域のピクセル数の、患部領域202のピクセル数に占める割合を計算する。そして、CPU410は、その値に基づいて、良性肉芽の領域が、背景技術の項で述べた6段階の何れであるかを決定する。
また、CPU410は、「壊死組織」の評価指標の評価値を、S5204で抽出された壊死組織の領域に基づいて算出する。即ち、CPU410は、壊死組織の領域を、評価値3、6の何れかに分類する。例えば、CPU410は、補助演算装置417を用いて深層学習による分類を行う。即ち、学習用のコンピュータ(不図示)は、壊死組織の評価値が既知である複数の実際の褥瘡患部の画像を教師データとしてニューラルネットワークのモデルを学習させて学習済モデルを予め生成する。そして、画像処理装置120は、生成された学習済モデルに基づいて壊死組織の領域から壊死組織の評価値を推定する。ニューラルネットワークのモデルの一例として、画像分類においてよく用いられる畳み込みニューラルネットワーク CNNを用いることができる。尚、分類の手法は深層学習に限らず、分類対象画像からSIFT特徴量等の特徴量を抽出した後に、当該特徴量をSVM等の識別器を用いて分類してもよい。
次に、S5205において、CPU410は、各評価指標についての基準値と、各評価指標についての評価値とに基づいて、S5203で抽出された各評価指標についての患部領域のうち、強調表示する患部領域を決定する。各評価指標についての基準値は、S5202で取得されるものである。各評価指標についての評価値は、S5204で算出されるものである。CPU410は、各評価指標について、基準値と評価値との比較を行う。CPU410は、評価指標の評価値が、当該評価指標に対する基準値以上であれば、その評価指標についての患部領域を強調表示する患部領域とする。尚、基準値と評価値との比較の方法は評価値が基準値以上であるかどうかに限らない。例えば、評価値の内容に応じて、評価値が基準値以下であるか否かや、基準値と一致しているか否か等を判定することにより、基準値と評価値との比較を行ってもよい。
次に、S5206において、CPU410は、患部の複数の評価指標それぞれについての患部領域202の抽出を行う際に用いた画像データに対応する画像データに対して、以下の情報を重畳して表示させる。即ち、CPU410は、各患部領域202の抽出結果を示す情報および各患部領域202の評価値および基準値に関する情報を重畳して表示させる。このとき、CPU410は、S5205によって強調表示する領域として決定された患部領域202の抽出結果を示す情報を強調して重畳する。図7および図9を参照しながら、各患部領域の抽出結果を示す情報および各患部領域の評価値および基準値に関する情報を重畳する際に、CPU410によって決定された領域の抽出結果を示す情報を強調して重畳する方法の一例について説明する。
図9において、画像900は、重畳処理前の画像である。被写体201、患部領域202、良性肉芽の領域901、および壊死組織の領域902が画像900に表示されている。一方、図7に示す画像700は、重畳処理後の画像である。画像700の左下部には、各評価指標名と、それらの基準値および評価値が表されたスライダー701とが画像900に重畳される。スライダー701中の白い長方形は、基準値の位置を示す。スライダー701中の黒い長方形は、評価値の位置を表す。このように、スライダー701は、値に応じて値を示す位置が変化する。尚、スライダー701中の値の位置を示す長方形の形状は円等でもよい。また、スライダー701中の値の位置を示す色は白と黒に限らない。また、基準値と評価値を示す画像は、スライダーに限らず、ノブ等でもよい。
また、基準値および評価値のいずれか一方のみを重畳してもよい。また、CPU410によって決定された強調表示する領域(本実施形態においては評価値が基準値以上である領域)の評価指標名は太字で強調して重畳される。これにより、評価値が基準値を超える評価指標の評価の結果が、他の評価指標の評価結果と区別される態様で表示される。
図7に示す画像700においては、「Granulation(肉芽組織)」と「Necrotic tissue(壊死組織)」の評価指標において評価値が基準値を超えており、太字で表示されている場合を例に挙げて示す。尚、評価指標名の強調方法は太字に限らず、指標名の色や大きさの変更等でもよい。更に、CPU410が抽出した各評価指標についての患部領域を重畳する。このとき、CPU410によって強調表示すると決定された患部領域の抽出結果を示す情報を強調して重畳する。強調方法の一例として、本実施形態では、強調表示する患部領域以外の患部領域を重畳せずに、強調表示する患部領域のみを重畳する。
図7に示す画像700においては、評価値が基準値以上である肉芽組織の領域702と壊死組織の領域703が強調して重畳されている場合を例に挙げて示す。尚、強調表示する患部領域以外の患部領域を重畳させてもよい。この場合、強調表示する患部領域の強調方法は、強調表示する患部領域のみ、重畳する色や透過率を変えて重畳することで、強調表示する患部領域を強調させてもよい。何れの態様としても、評価値が基準値以上である肉芽組織の領域702と壊死組織の領域703は、他の患部領域と区別される態様で表示される。
図5の説明に戻り、S5207において、通信装置418は、以下の情報を撮像装置110に出力する。即ち、通信装置418は、S5203で抽出された患部の複数の評価指標についての患部領域202の抽出結果を示す情報を撮像装置110に出力する。また、通信装置418は、S5204で算出された各患部領域202の評価値に関する情報を撮像装置110に出力する。また、通信装置418は、S5205で決定された強調表示する患部領域202についての情報を撮像装置110に出力する。本実施形態では、S5206で重畳処理が行われた画像700を撮像装置110に無線通信により出力する。画像700には、患部の複数の評価指標についての基準値と評価値の比較結果に関する情報が含まれる(スライダー701中の白い長方形と黒い長方形を参照)。
S5110において、システム制御回路319は、通信装置318を介して、画像処理装置120から、患部の複数の評価指標についての患部領域202の抽出結果に関連する情報を取得する。本実施形態では、システム制御回路319は、画像処理装置120がS5207で出力した重畳処理済みの画像700を取得する。
次に、S5111において、システム制御回路319は、S5110で受信された重畳処理済みの画像700を表示装置322に表示する。このように、撮像装置110は、撮像ユニット311にて生成されたライブビュー画像に対して、患部の複数の評価指標についての患部領域202の抽出結果を示す情報と、各患部領域202の評価値に関する情報との少なくとも何れかを重畳して表示する。なお、撮像ユニット311にて生成されたライブビュー画像は、例えば、画像900である。このようにすることで、撮像装置110のユーザは、レリーズの前に各患部領域202の評価値と、患部領域202として推定された領域が妥当であるかを確認したうえで本撮影に臨むことができる。なお、レリーズの前に患部領域として推定された領域が妥当であるか否かの確認が不要であれば、撮像装置110におけるS5108からS5111の処理、および、画像処理装置120におけるS5202からS5207の処理は省略できる。
また、画像処理装置120はS5203の患部領域の抽出処理とS5204の評価値の算出を行って、S5205とS5206を行わずに、患部領域の抽出結果とその評価値を撮像装置110に送信するようにしてもよい。この場合、撮像装置110が、取得したそれぞれの患部領域の評価値を、対応する基準値と比較することで、強調表示する患部領域を決定する。そして、撮像装置110が、強調表示する患部領域に対して、抽出結果を示す情報を重畳した画像を生成する。こうすることで、ユーザが基準値を変更した場合に、既に取得済みのそれぞれの患部領域の評価値と、変更後の基準値を比較し、速やかに強調表示する患部領域を変更することが可能となる。
次に、S5112において、システム制御回路319は、操作部材323のレリーズが押されたか否かを判定する。この判定の結果、レリーズが押されていなければ、前述したS5103に処理は戻る。一方、レリーズが押されていれば、ライブビュー処理を抜け、処理はS5113に進む。ここで、S5113より前の処理はライブビューの処理なのに対し、S5113以降の処理は、最終的に患部の複数の評価指標の評価値を計測する本撮影の処理となる。
S5113において、AF制御回路325は、S5105と同様に、AF処理を行い、被写体201に合焦する。また、AF制御回路325は、焦点の調節量またはフォーカスレンズの移動量から、被写体201までの距離を出力する。
次に、S5114において、撮像ユニット311は、S5106と同様に、被写体201の患部領域202が含まれるように、被写体201の画像を撮像する。
次に、S5115において、画像処理回路317は、S5107と同様に、現像処理およびリサイズ処理を行う。本ステップは、ライブビューの処理であるS5107に対し、本撮影処理なので、処理時間よりも、画像のサイズおよびサイズの計測の精度を優先する。従って、画像処理回路317は、S5107で生成される画像と同等かそれ以上のサイズにリサイズする。例えば、S5115において、画像処理回路317は、1440ピクセル×1080ピクセルで4ビットRGBカラーとして、サイズがおよそ4.45メガバイトとなるように画像をリサイズすることができる。尚、リサイズ後の画像のサイズはこれに限ったものではない。
次に、S5116において、システム制御回路319は、S5108と同様に、被写体201までの距離に関する距離情報を生成する。
次に、S5117において、通信装置318は、S5109と同様に、S5115で生成された画像データと、S5116で生成された被写体201までの距離に関する距離情報を、画像処理装置120に出力する。
次に、S5208において、CPU410は、S5202と同様に、通信装置418を介して、撮像装置110から出力された画像データと、画像データに含まれる被写体201に対応する距離情報を取得する。
次に、S5209において、CPU410は、S5203と同様に、補助演算装置417を用いて、S5208で取得された画像データから、被写体201の患部の複数の評価指標についての患部領域202を抽出または領域分割する。この処理の詳細は前述したため省略する。
次に、S5210において、CPU410は、S5204と同様に、S5209で抽出された患部の複数の評価指標についての患部領域202の評価値を算出する。この処理の詳細は前述したため省略する。
次に、S5211において、CPU410は、S5205と同様に、各評価指標についての基準値と、各評価指標についての評価値とに基づいて、S5209で抽出された各評価指標についての領域のうち、強調表示する患部領域を決定する。各評価指標についての基準値は、S5208で取得されたものである。各評価指標についての評価値は、S5210で算出されたものである。この処理の詳細は前述したため省略する。
次に、S5212において、CPU410は、まず、S5206と同様に、患部の複数の評価指標それぞれについての患部領域202の抽出を行う際に用いた画像データに対応する画像データに対して、以下の情報を重畳して表示させる。即ち、CPU410は、各患部領域202の抽出結果を示す情報および各患部領域202の評価値および基準値に関する情報を重畳して表示させる。このとき、CPU410は、S5211で強調表示する領域として決定された患部領域202の抽出結果を示す情報を強調して重畳する。この処理の詳細は前述したため省略する。S5212では、CPU410は、これに加えて、図10に示す画像1000のように、画像1000の右下部に、矢印のアイコン1001を重畳する。このアイコン1001は、後述するS5119における表示の終了の操作のために用いられる。
また、CPU410は、このようなアイコン1001に加え、評価指標ごとに、S5209で抽出された各評価指標についてのみの患部領域202の抽出結果を重畳し、その評価指標名、評価値、基準値を左上部に重畳した画像を生成する。このような画像の一例として、図10では、「大きさ」の評価指標についてのみの患部領域202の抽出結果を重畳し、その評価指標名、評価値、基準値を左上部に重畳した画像1010を示す。CPU410は、画像1010において、「大きさ」の評価指標についての患部領域202としてS5209で抽出された患部領域1011の抽出結果を重畳する。また、CPU410は、画像1010の左上部に、黒地の背景に白色の文字で、「大きさ」の評価指標に関する情報として、評価指標名1012、評価値を表す文字列1013、基準値を表す文字列1014を表示したラベル1015を重畳する。尚、ラベル1015の背景色と文字列の色は見やすいものであれば黒、白に限られない。また、透過量を設定してαブレンドすることで、ラベルが重なった部分の画像をユーザが確認できるようにしてもよい。このように生成した評価指標ごとの情報が重畳された画像は、後述するS5118の表示中の操作によってユーザが参照することができる。
図5の説明に戻り、S5213において、通信装置418は、S5207と同様に、以下の情報を撮像装置110に出力する。即ち、通信装置418は、S5209で抽出された患部の複数の評価指標についての患部領域202の抽出結果を示す情報を撮像装置110に出力する。また、通信装置418は、S5210で算出された各患部領域202の評価値に関する情報を撮像装置110に出力する。また、通信装置418は、S5211で決定された強調表示する患部領域202についての情報を撮像装置110に出力する。本実施形態では、通信装置418は、S5212で重畳処理が行われた画像1000と、評価指標ごとの評価結果に関する情報が重畳された画像を撮像装置110に無線通信により出力する。前述したように、評価指標ごとの評価結果に関する情報が重畳された画像の一つは、「大きさ」の評価指標についての画像1010である。
次に、S5118において、システム制御回路319は、S5110と同様に、通信装置318を介して、画像処理装置120から、患部の複数の評価指標についての患部領域202の抽出結果に関連する情報を取得する。本実施形態では、システム制御回路319は、画像処理装置120がS5213で出力した重畳処理済みの画像1000、1010を取得する。
次に、S5119において、システム制御回路319は、S5111と同様に、S5118で取得された重畳処理済みの画像1000を表示装置322に表示する。ただし、S5119では、S5111と異なり、システム制御回路319は、画像1000の表示中に、ユーザが操作部材323を用いた操作を行うことによって、表示装置322に表示された画面を遷移させることができる。
本実施形態において、表示画面を遷移させるための操作部材323は、表示装置322のタッチパネルディスプレイであるものとする。従って、ユーザは、表示装置322の画面をタップすることで表示画面を遷移させる。尚、表示画面を遷移させるための操作部は、タッチパネルディスプレイに限らず、撮像装置110に付いているボタン等でもよい。
ここで、図10を参照しながら、表示画面の遷移の方法の一例を説明する。S5119の処理が始まると、まず、複数の評価指標についての情報が重畳された画像1000が表示される。画像1000が表示されている画面において、ユーザが、矢印のアイコン1001をタップすると、表示装置322は、画像1000の表示を終了する。
また、スライダー701の左側に表示されている各評価指標名をユーザがタップする。そうすると、システム制御回路319は、表示装置322に、タップされた評価指標名に対応する評価指標についての画像(例えば「大きさ」の評価指標についての画像1010)を表示させる。この画像には、S5212で生成された評価指標ごとの評価結果に関する情報が重畳される。評価指標ごとの評価結果に関する情報が重畳された画像1100が表示されている表示画面において、ユーザが矢印のアイコン1001をタップする。そうすると、システム制御回路319は、表示装置322に、複数の評価指標についての情報が重畳された画像1000を再び表示させる。図10に示す画像1010において、全ての(5つの)評価指標について、評価値と基準値とを示すスライダー701を表示する場合を例に挙げて示した。しかしながら、必ずしもこのようにする必要はない。例えば、画像1000において、全ての(5つの)評価指標のうち、タップされた評価指標名のみに対応する評価値と基準値と示すスライダーを表示してもよい。
以上のように本実施形態によれば、撮像装置110は、ユーザの操作に基づいて、複数の評価指標についての基準値の設定および患部領域202の撮像を行う。そして、画像処理装置120は、撮像された画像を解析し、ユーザが設定した基準値を超えた評価指標についての患部領域202を特定する。そして、撮像装置110は、表示装置322に、基準値を超えた評価指標についての患部領域202を強調して患部領域の画像に重畳して表示させる。従って、ユーザ(医師)は、例えば、褥瘡の経過評価の際に、基準値と評価結果との対比や、基準値を超えた評価指標と、基準値を超えた評価指標についての患部領域202の把握を容易に行うことができる。また、患者ごとに各評価指標についての判断基準が異なる場合でも、基準値の設定を変更することで、ユーザ(医師)は、基準値を超えた評価指標の把握と、基準値を超えた評価指標についての患部領域202の把握を、患者ごとに容易に且つ確実に行える。これにより、ユーザ(医師)は、個々の褥瘡に応じたより適切な治療方針を選択することができる。
[第2の実施形態]
次に、第2の実施形態を説明する。第1の実施形態では、ユーザの操作によって、撮像装置110のシステム制御回路319が、患部の複数の評価指標それぞれについての基準値を設定する場合を例に挙げて説明した。これに対し、本実施形態では、撮像装置110ではなく、画像処理装置120が患部の複数の評価指標それぞれについての基準値を設定する。更に、画像処理装置120の記憶装置412は、評価結果を被写体ごとに識別して記憶するデータベースを有する。また、以前に記憶された被写体の撮影を行う際に、前回撮影時の評価結果を参照し、その評価値に基づいて基準値を設定することができる。尚、被写体ごとの評価結果を記憶するためのデータベースは、撮像装置および画像処理装置とは別のハードウェアによって実現されてもよい。以上のように本実施形態と第1の実施形態とは、基準値を設定するための構成および処理と、評価結果を被写体ごとに識別して記憶するための構成および処理が主として異なる。従って、本実施形態の説明において、第1の実施形態と同一の部分については、図1~図10に付した符号と同一の符号を付す等して詳細な説明を省略する。
図11は、本実施形態の画像処理システムにより計測される被写体の一例を示す図である。
本実施形態では、抽出対象である患部領域1101を有する被写体1100には、被写体1100を識別する情報としてバーコードタグ1102が付帯されている。バーコードタグ1102を用いることにより、患部の画像と被写体1100のIDとを相互に関連付けることができる。尚、被写体を識別するタグはバーコードタグに限ったものではなく、QRコード(登録商標)等の2次元コードや数値であってもよい。
画像処理装置120の表示装置414は、撮像ユニット311で撮像された画像の表示、または、記憶装置412のデータベースに記憶された患部領域の抽出結果を示す情報および患部領域のサイズに関する情報の、少なくとも何れかに基づく表示を行う。また、表示装置414は、患部領域の抽出結果を示す情報および患部領域のサイズに関する情報の少なくとも何れかを、撮像ユニット311で撮像された画像に重畳して表示する。尚、画像処理装置120のハードウェアとしてのコンピュータ400の入力装置413を操作することにより、過去に撮像した画像の評価結果を閲覧することができる。
本実施形態では、CPU410は、画像に含まれるバーコードタグ1102の1次元バーコード(不図示)から被写体1100を識別する被写体ID(被写体の識別情報)を読み取る処理を行う。尚、CPU410が読み取る対象は、QRコード(登録商標)などの2次元コードや数値であってもよい。
CPU410は、読み取った被写体IDを、予め登録された被写体IDと照合し、被写体の識別情報の一例として被写体1100の名前を取得する。
CPU410は、記憶装置412のデータベースから、読み取った被写体IDを含む過去のレコードを参照し、そのレコードに含まれる情報に基づいて複数の評価指標それぞれについての基準値を設定する。
CPU410は、画像と、複数の評価指標それぞれについての患部領域と、評価値に関する情報と、被写体IDと、名前と、撮影日時などに基づくレコードを生成する。そして、CPU410は、生成したレコードの情報を記憶装置412のデータベースに登録する記憶制御を行う。ここで、画像は、表示装置414により表示される画像である。
尚、バーコードタグ1102から被写体IDを読み取る処理と、読み取った被写体IDを用いて被写体1100の名前を取得する処理は、撮像装置110が行うようにしてもよい。このようにする場合、撮像装置110の通信装置318は、患部領域1101を有する被写体1100を識別するための情報を、距離情報とともに画像処理装置120に出力してもよい。
次に、図12に示すワークフロー図を用いて、本実施形態の画像処理システム100の動作の一例について説明する。
本実施形態の撮像装置110のワークフローでは、図5に示す第1の実施形態の撮像装置110のワークフローに対し、S12101~S12103の処理が追加され、S5102の処理が削除されている。
S12101において、撮像装置110は、被写体1100の患部を撮像する前に、被写体1100に付帯するバーコートタグ1102を撮影する。被写体1100が患者である場合、バーコートタグ1102には、患者を識別する患者IDが被写体IDの一例として含まれる。ここで、バーコードタグ1102の撮影の直後に患部を撮影することで、撮影した画像の撮影順序を撮影日時等で管理することができる。このようにすることにより、バーコードタグ1102の画像から次のバーコードタグ1102の画像の手前の画像までが同一の被写体1100の画像として、被写体IDにより識別される。
S12102において、通信装置318は、S12101で得られたバーコードタグ1102を含む画像を画像処理装置120に出力する。
S12103において、システム制御回路319は、通信装置318を介して、後述するS12205で出力される基準値の設定の完了通知を取得する。
本実施形態の画像処理装置120のワークフローでは、第1の実施形態の画像処理装置120のワークフローに対し、S12201~S12207が追加されている。
S12201において、CPU410は、通信装置418を介して、S12102で出力されたバーコードタグ1102を含む画像を取得する。
次に、S12202において、CPU410は、S12201で取得された画像に含まれる1次元バーコード(不図示)から、被写体1100を識別する被写体IDを読み取る処理を行う。
次に、S12203において、CPU410は、S12202で読み取った被写体IDを、予め登録された被写体のIDと照合し、被写体1100の名前を取得する。
次に、S12204において、CPU410は、S12202で読み取った被写体IDを含む過去のレコードを参照し、そのレコードに含まれる情報に基づいて複数の評価指標それぞれについての基準値を設定する。本実施形態では、CPU410は、S12202で読み取られた被写体IDの前回撮影時のレコードを参照し、当該レコード内の各評価指標についての評価値を取得する。CPU410は、このように取得した各評価指標についての評価値を、各評価指標についての基準値として設定する。このようにして基準値を設定することで、前回撮影時からの患部の経過評価を行うことができる。尚、参照するレコードは前回撮影時のものに限らず、初めて撮影した時のもの等でもよい。また、異なる被写体IDを含むレコードを参照してもよい。
次に、S12205において、通信装置418は、画像処理装置120における基準値の設定の完了通知を撮像装置110に出力する。
また、S5213の後のS12206において、CPU410は、データベース登録処理を行う。本実施形態では、CPU410は、S12202で読み取った被写体IDと、S12203で取得した被写体1100の名前を、S5114で撮像された画像に関連付ける。例えば、前述したように、バーコードタグ1102の撮影の後に患部を撮影し、撮影した画像の撮影順序を撮影日時等で管理することができる。このようにする場合、バーコードタグ1102の画像から次のバーコードタグ1102の画像の手前の画像までを、前者のバーコードタグ1102から認識される同一の被写体1100の画像とすることができる。CPU410は、当該画像に、当該被写体1100の名前と被写体IDとを関連付ける。
そして、CPU410は、被写体1100の画像(患部領域1101を含む画像)と、被写体1100の患部領域1101のサイズに関する情報と、被写体IDと、被写体1100の名前と、撮影日時等とに基づくレコードを生成する。そして、CPU410は、当該レコードの情報を、画像処理装置120に含まれる記憶装置412内のデータベースに登録する。
次に、S12207において、CPU410は、S5212で重畳処理が行われた画像1000を表示装置414に表示する。表示画面の遷移方法の一例については、S5119と同様である。
以上のように本実施形態によれば、画像処理装置120は、バーコードタグ1102の撮像画像から、被写体1100を認識し、被写体1100ごとに、患部領域1101の評価結果を示す情報を記憶装置412内のデータベースに登録する。従って、本実施形態では、第1の実施形態で説明した効果に加えて以下の効果を有する。まず、患部領域1101の評価結果を被写体1100ごとに識別して記憶することができる。また、以前に記憶された被写体1100の撮影を行う際に、被写体1100に対する過去(例えば前回)の評価結果を参照し、その評価値に基づいて基準値を設定することができる。これにより、例えば、前回の評価値よりも大きな評価値を持つ評価指標についての患部領域1101のみ強調して表示することができる。よって、ユーザは、前回撮影時よりも悪化した評価指標についての患部領域1101を容易に確認することができる。
また、画像処理装置120が、情報の保存および表示を行うことで、基本的には据え置き側で常時電源が供給された画像処理装置で、患部領域の抽出結果を示す情報と患部領域のサイズに関する情報を表示することができる。よって、バッテリー交換が必要なポータブルデバイスである撮像装置110で表示する場合に比べて、被写体のサイズに関する情報を含む解析結果を表示して確認する際にバッテリー切れになる可能性が低くなる。また、一般的に据え置き型のデバイスである画像処理装置の方がポータブルデバイスの画像処理装置よりも記憶容量が多いため、多数の画像を保存することができる。
[第3の実施形態]
次に、第3の実施形態を説明する。本実施形態では、CPU410が抽出した複数の評価指標それぞれについての患部領域202に重複する領域が存在する場合であっても、それぞれの患部領域202を目視によりユーザが区別できるようにそれぞれの患部領域202を表示する。第1および第2の実施形態と同一の部分については、図1~図12に付した符号と同一の符号を付す等して詳細な説明を省略する。
次に、図13のワークフロー図を用いて、本実施形態の画像処理システム100の動作の一例について説明する。
本実施形態の画像処理装置120のワークフローでは、図5に示す第1の実施形態のS5212に代えてS13201が行われる。
S13201において、CPU410は、まず、重複重畳処理を行う。この重複重畳処理の内容の一例を、図14を参照しながら説明する。画像1400において、CPU410により、患部の複数の評価指標それぞれについての領域の抽出を行う際に用いた画像データに対応する画像データに対して、以下の情報が重畳される。即ち、各患部領域202の抽出結果を示す情報と、各患部領域202の評価値および基準値に関する情報とが重畳される。このとき、CPU410が強調表示することを決定した患部領域202の抽出結果を示す情報が強調して重畳される。本実施形態では、患部領域202のうち、CPU410によって強調表示することが決定された患部領域202のみを重畳することで強調する。更に、CPU410は、画像1400の右下部に矢印のアイコン1001を重畳する。また、CPU410は、画像1400の左上部に「表示切替」という文字列を含むアイコン1401を重畳する。これらのアイコン1001、1401は、S5119における表示画面の遷移のために用いられる。
画像1400では、「Depth(深さ)」、「Size(大きさ)」、「Granulation(肉芽組織)」、「Necrotic tissue(壊死組織)」の評価指標についての患部領域202が、評価値が基準値を超えている。このため、これら4つの患部領域202が重畳表示される。そして、これら4つの患部領域202には重複する領域が存在する。このため、ユーザは、全ての患部領域102の境界を目視により区別することができない。そこで、S13201においては、CPU410は、ユーザがそれぞれの患部領域202を目視により区別できるように、各患部領域202の抽出結果の重畳を行った画像を生成する。
図14を参照しながら、ユーザが目視により区別できるように各患部領域202の抽出結果の重畳を行う方法の一例を説明する。
画像1410は、強調表示される患部領域202の数またはそれ以上の数の画面に分割されている。図14に示す例では、画像1410は、強調表示される4つの患部領域202に対応して、4つの画面1411~1414に分割される。画面1411は、「壊死組織」の評価指標についての画面である。画面1412は、「深さ」の評価指標についての画面である。画面1413は、「肉芽組織」の評価指標についての画面である。画面1414は、「大きさ」の評価指標についての画面である。
画面1411~1414のそれぞれには、患部の複数の評価指標それぞれについての患部領域202の抽出を行う際に用いた画像データに対応する画像データに対して、各画面に対応する評価指標の患部領域202のみが重畳された画像が表示される。また、画面1411~1414のそれぞれの左上部には、重畳している患部領域202の評価指標名を表すラベル1415が重畳される。また、画面1411~1414のそれぞれの右上部には、重畳している患部領域202の評価指標についての評価値および基準値を表すラベル1416が重畳される。また、画像1410の右下部には、矢印のアイコン1001が重畳される。このアイコン1001は、S5119における表示画面の遷移のために用いられる。以上のようにして生成される画像1400、1410はどちらもS5213において撮像装置110に出力され、S5119において表示される。
尚、ユーザが目視により区別できるように各患部領域102の重畳を行う方法は、図14の画像1410のようにする方法に限らない。CPU410は、例えば、図15に示す画像1500や、図16に示す画像1600のようにして患部領域202を重畳してもよい。
図15に示す画像1500では、重複している各患部領域202に対して、等しい透過量をαブレンドする画像1501を生成することで、相互に重複している患部領域202をユーザが区別できるようにしている。尚、透過量は、各患部領域202で等しくなくてもよい。例えば、評価指標ごとに予め透過量を決めたり、評価値と基準値との差が小さい評価指標の透過量を小さくしたりする等の手法を採用することができる。
図16に示す画像1600では、重複している各患部領域202の境界線のみを評価指標ごとに異なる線種で重畳する画像1601を生成することで、相互に重複している患部領域202をユーザが区別できるようにしている。尚、枠線の線種は破線に限らず、実線、点線、鎖線等でもよい。また、S5119において、システム制御回路319は、表示装置322に、患部領域202のうち、1つの評価指標に対応する患部領域202のみを重畳した画像を、一定の時間ごとに、各評価指標のそれぞれについて順番に表示させてもよい。このようにしても、重複している各患部領域202をユーザが目視により区別することができる。
S5119において、システム制御回路319は、S13201で生成された、重複領域を考慮しない画像1400と、重複領域を考慮した画像1410を、アイコン1001、1401に対するユーザの操作に基づいて切り替える。これにより、表示画面は遷移する。尚、重複領域を考慮した画像として、画像1410の代わりに画像1500や画像1600等を用いてもよい。
図14を参照しながら、表示画面の遷移の方法の一例を説明する。本実施形態において、表示画面を遷移させるための操作部は、表示装置322のタッチパネルディスプレイであるものとする。従って、ユーザは、表示装置322の画面をタップすることで表示画面を遷移させる。尚、表示画面を遷移させるための操作部は、タッチパネルディスプレイに限らず、撮像装置110に付いているボタン等でもよい。
S5119の処理が始まると、まず、複数の評価指標についての患部領域202が重畳された画像1400が表示される。ユーザが、画像1400が表示されている画面において、矢印のアイコン1001をタップすると、画像1400の表示を終了する。
また、「表示切替」という文字列を含むアイコン1401をユーザがタップすると、システム制御回路319は、S13201で生成された、重複領域を考慮した画像(例えば、画像1410)を表示装置322に表示させる。重複領域を考慮した画像が表示されている表示画面において、ユーザが矢印のアイコン1001をタップすると、システム制御回路319は、表示装置322に重複領域を考慮しない画像1400を再び表示させる。尚、重複領域を考慮した画像として、画像1410の代わりに画像1500や画像1600を用いた場合の表示画面の遷移の様子は、それぞれ図15、図16に示され、図14における画像1410を画像1500または画像1600に置き換えただけである。よって、画像1500、1600を用いた場合の表示画面の遷移の詳細な説明は省略する。
以上のように本実施形態によれば、相互に重複する患部領域1002を区別して表示する。従って、本実施形態では、第1の実施形態で説明した効果に加え、以下の効果を有する。即ち、抽出された複数の評価指標それぞれについての患部領域202に重複する領域が存在する場合であっても、ユーザは、それぞれの領域を目視により区別することができる。よって、ユーザによる患部領域202の確認がより容易になる。尚、本実施形態を、第2の実施形態に適用してもよい。
尚、前述した実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
例えば、実施形態では、撮像装置110と画像処理装置120の2つの装置によって画像処理システム100を構成していたが、3以上の装置を通信可能に接続して、それぞれの処理を分担するようにしてもよい。あるいは、単体の撮像装置やタブレット端末において、前述した実施形態と同様の処理を全て行うようにしても構わない。
(その他の実施例)
本発明は、前述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
100:画像処理システム、110:撮像装置、120:画像処理装置

Claims (16)

  1. 撮像手段により撮像された被写体の画像から、患部についての複数の評価指標それぞれについての患部領域を抽出する抽出手段と、
    前記患部についての複数の評価指標それぞれについて基準値を可変に設定する設定手段と、
    前記抽出手段によって抽出された前記複数の評価指標それぞれについての患部領域の評価値を算出する評価手段と、
    前記評価手段による評価の結果に基づいて、前記複数の評価指標それぞれについての患部領域から、少なくとも1つの評価指標についての患部領域を選択する第1選択手段と、
    前記評価手段による評価の結果に基づく、前記複数の評価指標それぞれについての患部領域に関する情報を表示装置に表示させる表示制御手段と、を有し、
    前記第1選択手段により選択された少なくとも1つの評価指標についての患部領域に関する情報は、前記第1選択手段により選択されなかった評価指標についての患部領域に関する情報と区別される態様で表示され、
    前記抽出手段は、前記患部についての複数の評価指標のそれぞれに係る評価値が、前記基準値を超えた領域を前記患部領域として抽出することを特徴とする処理システム。
  2. 前記第1選択手段により選択された少なくとも1つの評価指標についての患部領域に関する情報は、前記被写体の画像に重畳される情報であることを特徴とする請求項1に記載の処理システム。
  3. 前記表示制御手段は、前記第1選択手段により選択された少なくとも1つの評価指標についての患部領域が前記被写体の画像において強調して重畳される画像を前記表示装置に表示させることで、前記第1選択手段により選択された少なくとも1つの評価指標についての患部領域に関する情報を、前記第1選択手段により選択されなかった評価指標についての患部領域に関する情報と区別される態様で表示させることを特徴とする請求項1または2に記載の処理システム。
  4. 前記表示制御手段は、前記複数の評価指標それぞれについての患部領域の評価の結果に関する情報を前記表示装置に表示させ、
    前記複数の評価指標についての患部領域の評価の結果に関する情報は、当該評価指標の識別情報と、当該評価指標に対する前記評価値および前記基準値の少なくとも何れかを示す情報とを含むことを特徴とする請求項1~3の何れか1項に記載の処理システム。
  5. 前記設定手段は、前記基準値をユーザの操作に基づいて設定することを特徴とする請求項の何れか1項に記載の処理システム。
  6. 前記複数の評価指標それぞれについての患部領域の評価値を示す情報を記憶媒体に記憶させる記憶制御手段と、
    前記複数の評価指標の少なくとも1つの評価指標についての患部領域の過去の評価値を示す情報に基づいて、当該少なくとも1つの評価指標に対する前記基準値を設定する設定手段と、を更に有することを特徴とする請求項の何れか1項に記載の処理システム。
  7. 前記被写体の識別情報に基づいて、撮像手段により撮像された画像に含まれる被写体を認識する認識手段を更に有し、
    前記記憶制御手段は、前記複数の評価指標それぞれについての患部領域の評価値を示す情報を、前記認識手段による認識の結果に基づいて、当該患部領域を有する被写体の情報と関連付けて記憶媒体に記憶させ、
    前記設定手段は、評価対象の被写体の患部領域であって、前記複数の評価指標それぞれについての患部領域の評価値に対する前記基準値を、前記記憶媒体に記憶されている情報に基づいて設定することを特徴とする請求項に記載の処理システム。
  8. 前記表示制御手段は更に、複数の前記評価指標についての患部領域の少なくとも一部が相互に重複する場合、当該重複する領域の境界のそれぞれが区別される画像を前記表示装置に表示させることと、複数の前記評価指標についての患部領域を示す情報が重畳された前記被写体の画像であって、順番に表示される画像を前記表示装置に表示させることと、複数の前記評価指標についての患部領域を示す情報が重畳された前記被写体の画像であって、当該画像が重複しないように1つの表示画面に表示される画像を前記表示装置に表示させることの少なくとも何れか1つを実行する特徴とする請求項1~の何れか1項に記載の処理システム。
  9. 撮像装置と通信可能な処理装置であって、
    前記撮像装置により撮像された被写体の画像から、患部についての複数の評価指標それぞれについての患部領域を抽出する抽出手段と、
    前記撮像装置から受信した情報に基づき、前記患部についての複数の評価指標それぞれについて基準値を可変に設定する設定手段と、
    前記抽出手段によって抽出された前記複数の評価指標それぞれについての患部領域の評価値を算出する評価手段と、
    前記評価手段による評価の結果に基づいて、前記複数の評価指標それぞれについての患部領域から、少なくとも1つの評価指標についての患部領域を選択する選択手段と、
    前記評価手段による評価の結果に基づいて、前記複数の評価指標それぞれについての患部領域に関する情報であって、当該評価指標についての患部領域に関する情報を外部装置に出力する出力手段と、を有し、
    前記選択手段により選択された少なくとも1つの評価指標についての患部領域に関する情報は、前記選択手段により選択されなかった評価指標についての患部領域に関する情報と区別される態様で表示され、
    前記抽出手段は、前記患部についての複数の評価指標のそれぞれに係る評価値が、前記基準値を超えた領域を前記患部領域として抽出することを特徴とする処理装置。
  10. 前記選択手段は、前記抽出手段によって抽出された前記複数の評価指標それぞれに係る評価値と、当該評価指標に対する基準値とを比較した結果に基づいて、前記複数の評価指標それぞれについての患部領域から、少なくとも1つの患部領域を選択することを特徴とする請求項に記載の処理装置。
  11. 前記出力手段は、前記複数の評価指標それぞれについての患部領域の評価の結果に関する情報を前記外部装置に出力し、
    前記複数の評価指標についての患部領域の評価の結果に関する情報は、当該評価指標の識別情報と、当該評価指標に対する前記評価値および前記基準値の少なくとも何れかを示す情報とを含むことを特徴とする請求項1に記載の処理装置。
  12. 前記複数の評価指標それぞれについての患部領域の評価値を示す情報を記憶媒体に記憶させる記憶制御手段を更に有し
    前記設定手段は、前記複数の評価指標の少なくとも1つの評価指標についての患部領域の過去の評価値を示す情報に基づいて、当該少なくとも1つの評価指標に対する前記基準値を設定することを特徴とする請求項10または11に記載の処理装置。
  13. 前記被写体の識別情報に基づいて、前記撮像装置により撮像された画像に含まれる被写体を認識する認識手段を更に有し、
    前記記憶制御手段は、前記複数の評価指標それぞれについての患部領域の評価値を示す情報を、前記認識手段による認識の結果に基づいて、当該患部領域を有する被写体の情報と関連付けて記憶媒体に記憶させ、
    前記設定手段は、評価対象の被写体の患部領域であって、前記複数の評価指標それぞれについての患部領域の評価値に対する前記基準値を、前記記憶媒体に記憶されている情報に基づいて設定することを特徴とする請求項1に記載の処理装置。
  14. 撮像装置と通信可能な処理装置の制御方法であって、
    抽出手段が、前記撮像装置により撮像された被写体の画像から、患部についての複数の評価指標それぞれについての患部領域抽出する抽出工程と、
    設定手段が、前記患部についての複数の評価指標それぞれについて基準値を可変に設定する設定工程と、
    評価手段が、前記抽出工程によって抽出された前記複数の評価指標それぞれについての患部領域の評価値を算出する評価工程と、
    第1選択手段が、前記評価工程による評価の結果に基づいて、前記複数の評価指標それぞれについての患部領域から、少なくとも1つの評価指標についての患部領域を選択する第1選択工程と、
    表示手段が、前記評価工程による評価の結果に基づく、前記複数の評価指標それぞれについての患部領域に関する情報を表示する表示工程と、を有し、
    前記第1選択工程により選択された少なくとも1つの評価指標についての患部領域に関する情報は、前記第1選択工程により選択されなかった評価指標についての患部領域に関する情報と区別される態様で表示され
    前記抽出工程では、前記患部についての複数の評価指標のそれぞれに係る評価値が、前記基準値を超えた領域を前記患部領域として抽出することを特徴とする処理方法。
  15. 請求項1~の何れか1項に記載の処理システムの各手段としてコンピュータを機能させるためのプログラム。
  16. 請求項~1の何れか1項に記載の処理装置の各手段としてコンピュータを機能させるためのプログラム。
JP2018234569A 2018-12-14 2018-12-14 処理システム、処理装置、処理方法、およびプログラム Active JP7317498B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018234569A JP7317498B2 (ja) 2018-12-14 2018-12-14 処理システム、処理装置、処理方法、およびプログラム
US16/709,646 US11373312B2 (en) 2018-12-14 2019-12-10 Processing system, processing apparatus, terminal apparatus, processing method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018234569A JP7317498B2 (ja) 2018-12-14 2018-12-14 処理システム、処理装置、処理方法、およびプログラム

Publications (2)

Publication Number Publication Date
JP2020095600A JP2020095600A (ja) 2020-06-18
JP7317498B2 true JP7317498B2 (ja) 2023-07-31

Family

ID=71070956

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018234569A Active JP7317498B2 (ja) 2018-12-14 2018-12-14 処理システム、処理装置、処理方法、およびプログラム

Country Status (2)

Country Link
US (1) US11373312B2 (ja)
JP (1) JP7317498B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230046720A (ko) * 2021-09-30 2023-04-06 (주)피플앤드테크놀러지 욕창질환 포착과 단계결정을 위한 딥러닝 모델 시스템, 생성방법 및 이를 이용한 욕창진단 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016121518A1 (ja) 2015-01-29 2016-08-04 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP2017213097A (ja) 2016-05-30 2017-12-07 オリンパス株式会社 画像処理装置、画像処理方法およびプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015019556A1 (ja) * 2013-08-07 2015-02-12 パナソニックIpマネジメント株式会社 症例表示装置、症例表示方法およびプログラム
JP2017162056A (ja) 2016-03-08 2017-09-14 株式会社Nttドコモ 画像評価装置及び画像評価プログラム
JP7205201B2 (ja) * 2018-12-05 2023-01-17 富士通株式会社 表示方法、表示プログラムおよび情報処理装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016121518A1 (ja) 2015-01-29 2016-08-04 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP2017213097A (ja) 2016-05-30 2017-12-07 オリンパス株式会社 画像処理装置、画像処理方法およびプログラム

Also Published As

Publication number Publication date
JP2020095600A (ja) 2020-06-18
US11373312B2 (en) 2022-06-28
US20200193601A1 (en) 2020-06-18

Similar Documents

Publication Publication Date Title
US11600003B2 (en) Image processing apparatus and control method for an image processing apparatus that extract a region of interest based on a calculated confidence of unit regions and a modified reference value
KR101679290B1 (ko) 영상 처리 방법 및 장치
KR102391792B1 (ko) 생체 검출 방법, 장치 및 시스템, 전자 기기 및 저장 매체
JP7322097B2 (ja) 撮像装置、撮像装置の制御方法、プログラムおよび記録媒体
JP6564271B2 (ja) 撮像装置及び画像処理方法、プログラム、並びに記憶媒体
JP5822545B2 (ja) 画像処理装置、画像処理装置の制御方法、およびプログラム
WO2019230724A1 (ja) 画像処理システム、撮像装置、画像処理装置、電子機器、これらの制御方法、および、これらの制御方法を記憶した記憶媒体
JP7113364B2 (ja) 撮像装置
JP7317498B2 (ja) 処理システム、処理装置、処理方法、およびプログラム
US11599993B2 (en) Image processing apparatus, method of processing image, and program
US20210401327A1 (en) Imaging apparatus, information processing apparatus, image processing system, and control method
US11475571B2 (en) Apparatus, image processing apparatus, and control method
CN115810039A (zh) 可携式电子装置及伤口尺寸测量方法
JP5995610B2 (ja) 被写体認識装置及びその制御方法、撮像装置、表示装置、並びにプログラム
JP2021049248A (ja) 画像処理システム及びその制御方法
JP2021049262A (ja) 画像処理システム及びその制御方法
WO2022145294A1 (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
JP7170216B1 (ja) 撮像装置
US20230131704A1 (en) Information processing apparatus, learning device, imaging apparatus, control method of information processing apparatus, and program
JP2020151461A (ja) 撮像装置、情報処理装置および情報処理システム
JP2010268054A (ja) 画像処理装置、その制御方法及びプログラム
JP2020156082A (ja) 撮像装置、画像処理装置および制御方法
JP2022147595A (ja) 画像処理装置、画像処理方法、及びプログラム
CN116998160A (zh) 摄像支援装置、摄像装置、摄像支援方法及程序
JP2011238143A (ja) 画像表示装置、画像表示方法及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211209

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211209

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221108

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221227

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230224

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230620

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230719

R151 Written notification of patent or utility model registration

Ref document number: 7317498

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151