JP6827922B2 - 皮膚処置システム - Google Patents

皮膚処置システム Download PDF

Info

Publication number
JP6827922B2
JP6827922B2 JP2017523483A JP2017523483A JP6827922B2 JP 6827922 B2 JP6827922 B2 JP 6827922B2 JP 2017523483 A JP2017523483 A JP 2017523483A JP 2017523483 A JP2017523483 A JP 2017523483A JP 6827922 B2 JP6827922 B2 JP 6827922B2
Authority
JP
Japan
Prior art keywords
skin
treatment
image data
reference image
treatment system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017523483A
Other languages
English (en)
Other versions
JP2017534388A (ja
Inventor
モウニル ゼイトニー
モウニル ゼイトニー
カリナ チュフ
カリナ チュフ
ナサン アラン ガブリエル
ナサン アラン ガブリエル
ブリー カール カタリナ ファン
ブリー カール カタリナ ファン
レオ ヤン ヴェルトーヴェン
レオ ヤン ヴェルトーヴェン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of JP2017534388A publication Critical patent/JP2017534388A/ja
Priority to JP2019207636A priority Critical patent/JP6925400B2/ja
Application granted granted Critical
Publication of JP6827922B2 publication Critical patent/JP6827922B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61NELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N5/00Radiation therapy
    • A61N5/06Radiation therapy using light
    • A61N5/0613Apparatus adapted for a specific treatment
    • A61N5/0616Skin treatment other than tanning
    • A61N5/0617Hair treatment
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B18/18Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by applying electromagnetic radiation, e.g. microwaves
    • A61B18/20Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by applying electromagnetic radiation, e.g. microwaves using laser
    • A61B18/203Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by applying electromagnetic radiation, e.g. microwaves using laser applying laser energy to the outside of the body
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/44Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441Skin evaluation, e.g. for skin disorder diagnosis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B2018/00315Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body for treatment of particular body parts
    • A61B2018/00452Skin
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B2018/00636Sensing and controlling the application of energy
    • A61B2018/00642Sensing and controlling the application of energy with feedback, i.e. closed loop control
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B2018/00636Sensing and controlling the application of energy
    • A61B2018/00904Automatic detection of target tissue
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107Visualisation of planned trajectories or target regions
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2065Tracking using image or pattern recognition
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2074Interface software
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25User interfaces for surgical systems
    • A61B2034/254User interfaces for surgical systems being adapted depending on the stage of the surgical procedure
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61NELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N5/00Radiation therapy
    • A61N5/06Radiation therapy using light
    • A61N5/0613Apparatus adapted for a specific treatment
    • A61N5/0616Skin treatment other than tanning

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Optics & Photonics (AREA)
  • Otolaryngology (AREA)
  • Electromagnetism (AREA)
  • Dermatology (AREA)
  • Robotics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Radiation-Therapy Devices (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Laser Surgery Devices (AREA)
  • Surgical Instruments (AREA)

Description

本発明は、哺乳類の体を処置する処置デバイスを含む皮膚処置システムに関する。
本発明は、哺乳類の体に対する皮膚処置デバイスの配向を決定する方法に更に関する。
本発明は、哺乳類の体の皮膚の分析用の皮膚分析システムに更に関する。
本発明は、哺乳類の体の皮膚を分析する方法に更に関する。
カメラを備え、且つ撮像カメラ画像を使用してデバイスの動作を制御するパーソナル処置デバイスが知られている。その一例は、米国特許出願公開第20130021460号に開示されるようなインタラクティブなヘアグルーミング装置である。動作時、この既知の装置は、目標エリアの画像を撮像し、半透明の重ねられたデザインオーバーレイを使用して、グルーミングスタイルが正しいか否かを判断し、且つそうでない場合に自動的にグルーミングトリマーを調整する。この制御の態様は、観察されるグルーミングスタイルが所定のデザインスタイルに適合するか否かが目に見えるようになるため、グルーミングに適している。このようにして、既知の制御手順が、デザインオーバーレイに対する撮像画像の適合の程度から、あるエリアが既に処置されたか否かを判断するため、1つのエリアが複数回処置されることを簡単に防止することができる。
この既知の処置とは異なり、光脱毛等の多くの他の皮膚処置は、体の皮膚の外観に直接観察可能な変化をもたらさない。このような処置を提供するデバイスのユーザは、幾つかのエリアが処置されていなかったことに後に気付く場合がある。従って、ユーザは、これを避けるために、皮膚を過剰に処置しがちとなり得る。これは、ユーザが処置を行うために通常よりも多くの時間を費やすことを示唆するために望ましくない。電池式デバイスの場合、電池が再充電又は交換される必要があるときまでに処置を行うことができる回数が減ることを示唆する。場合によっては、過剰な処置が皮膚炎又は皮膚損傷さえもたらし得る。既知の装置で使用されるような制御手順は、カメラの視野内のエリアに関して、処置がどの程度完了したかを示す情報をカメラ画像が提供しないため、これを防止することができない。
本発明の第1の目的は、ユーザが適切に処置を実施することを容易にする、哺乳類の体を処置する処置デバイスを含む皮膚処置システムを提供することである。
本発明の第2の目的は、ユーザが適切に処置を実施することを容易にする、哺乳類の体に対する皮膚処置デバイスの配向を決定する方法を提供することである。
本発明の第3の目的は、上述の皮膚処置システムによって及び/又は上述の配向決定方法によって使用される参照データの提供に適した皮膚分析システムを提供することである。
本発明の第4の目的は、上述の皮膚処置システムによって及び/又は上述の配向決定方法によって使用される参照データの提供に適した、哺乳類の体の皮膚を分析する方法を提供することである。
本発明の第1の態様によれば、請求項1に請求される皮膚処置システムが提供される。
本発明の第2の態様によれば、請求項9に請求される、哺乳類の体に対する皮膚処置デバイスの配向を決定する方法が提供される。
本発明の第3の態様によれば、請求項10に請求される皮膚分析システムが提供される。
本発明の第4の態様によれば、請求項16に請求される皮膚を分析する方法が提供される。
第1の態様による皮膚処置システム及び第2の態様による皮膚処置デバイスの配向を決定する方法は、撮像画像を使用して、処置の効果がこれらの撮像画像において目に見えなくても、処置が所定の目標にどの程度適合するかを直接決定することができるという認識に基づく。第1の態様による皮膚処置システム及び第2の態様による皮膚処置デバイスの配向を決定する方法において、これは、撮像画像が使用されて、体に対する処置デバイスの配向を決定する点において可能にされる。このために、参照画像が体又はその一部の皮膚のマップとして使用され、及び撮像画像が参照画像と比較されて配向を決定する。撮像画像を参照画像と比較することにより、配向推定機構は、参照画像の何れの部分が撮像画像に対応するかを決定する。参照画像全体に対する参照画像の前記対応する部分の所定の配向に基づき、参照画像に対する及び哺乳類の体の皮膚に対する撮像画像の配向を決定することができる。続いて、画像領域と処置領域との間の既定の空間的関係に基づき、哺乳類の体に対する処置領域又は処置デバイスの配向を決定することができる。比較される撮像画像データ及び参照画像データは、毛等の皮膚上で目に見える特徴、有色のシミ及び皮膚の起伏等の皮膚の表面特徴、並びに血管等の皮膚内で目に見える特徴に関する画像データを含み得る。配向を使用して、それに対応する体の部分がどの程度処置されたかを決定することができる。ある時点で撮像された画像のイメージング領域は、その時点で処置が施されていた処置領域と合致する必要はないことに留意されたい。イメージング領域及び処置領域が、既定の、即ち既知の空間的関係(これは、例えば、皮膚処置システム内の処置デバイス及びカメラの互いに既定の、例えば互いに固定の位置によって決定される)を有していれば十分である。程度の差はあれ、処置領域が処置デバイスによって覆い隠され得るため、イメージング領域及び処置領域が殆ど重なり合わない又は全く重なり合わない場合に有利となり得る。重なりがない場合、環境光がイメージング領域に達することができるため、イメージング領域の人工照明は不必要である。
体の処置は、皮膚表面の下部への効果を目的とした処置を含み得る。例えば、痛みのある筋肉が赤外線(IR:infrared)放射を当てることによって又は振動によって処置され得る。代替的に、処置は、皮膚内での効果を目的とし得る(例えば、UV放射を当てることによる乾癬の処置)。更に代替的に、処置は、例えばペインティングを施すことにより、又は毛の長さを変更することにより皮膚の表面に向けられ得る。また、赤外線(IR)放射及び振動を加えることによる筋肉のマッサージによる処置のように、様々な処置が組み合わせられ得る。
処置中の各時点において、体は、体が処置領域内で物理的に影響を与えられる強度を特定する点広がり関数に従って処置領域で影響を与えられる。処置が処置領域内の体に影響を与える強度は均一であり得る。代替的に、強度は非均一であり得、例えば、それは、処置領域内の中央位置における最大値から、処置領域の縁におけるゼロまで減少し得る。例えば光線療法に使用されるレーザビームは、一般的に、ガウス分布を有する。代替案として、グルーミングデバイスが実質的に長方形の点広がり関数を有し得、グルーミングデバイスの毛の長さの設定が強度と見なされる。皮膚上の位置の関数として、処置がどの程度完了されたかを、配向表示によって示される、処置デバイスによって辿られた経路を用いて、点広がり関数のコンボリューションによって決定することができる。配向表示は、少なくとも皮膚上のデバイスの位置を示す情報を含む。更に、配向情報は、処置デバイスの角度位置、即ち、皮膚の表面に対する処置デバイスの傾き、及び前記表面によって定義される面における処置デバイスの回転を示す情報も含み得る。後者は、点広がり関数が回転対称形状から大きく逸脱する場合に特に関連性がある。
処置表示E(x,y)は、哺乳類の体上の位置の関数として、処置が哺乳類の体にどの程度施されたかを示す。これは、例えば処置がその場所で行われたか否かを示す、例えば毛の長さがその位置における所望の長さにトリミングされたか否かを示す二値関数であり得る。代替的に、これは、例えば、その位置で受けた放射線に対する総曝露量を特定する多値関数、即ち経時的に受けた強度の積分であり得る。この積分時間は、現在の処置の継続時間であり得るが、それは以前の処置を考慮に入れ得る。再度代替的に、処置表示は、限られた値のセット、例えば、過少な処置、適切な処置、及び過剰な処置をそれぞれ示す値を有し得る。代替的に、更なるニュアンスがこの尺度に適用され得る。
ある実施形態では、前記処置表示E(x,y)がユーザに提供され得る。そのために、皮膚処置システムは、例えば処置表示の視覚的表現を提供するディスプレイ(処置デバイスに組み込まれるか、又は携帯電話等の別個のデバイスの一部として)を更に含み得る。処置表示は、処置される皮膚の(サブ)領域の画像上に重ね合わせられ得る。更に、哺乳類の体の全体像又はそのモデルが、その上に、処置される皮膚の(サブ)領域の場所の表示を含んで示され得る。処置表示によって示される前記程度を達成されるべき目標と比較し、且つ皮膚上の位置の関数として、適合の程度を表す適合指標を提供する比較機構が設けられ得、適合指標は、前記処置表示(E(x,y))の視覚的表現を提供するために使用される。代替的に、表示は、カラーマップ又は濃淡値マップの形式で視覚的に表現され得る。このようにして、ユーザは、ディスプレイ上で処置の進捗をモニタリングし、且つ欠落エリア又は過剰処置エリアなしに適切に処置を実施することができる。
ある実施形態では、処置デバイスを制御するためにコントローラが設けられ、コントローラは、処置表示に従って処置デバイスを制御するように構成される。この実施形態でも、処置表示の視覚的表現を提供するために、ディスプレイが存在し得る。
処置表示によって示される程度を達成されるべき目標と比較するために、比較機構が設けられ得る。達成されるべき目標は、処置される皮膚領域全体に対して一定値を有し得る。代替的に、達成されるべき目標は、位置依存性であり得る。例えば、達成されるべき目標は、位置の関数として所望の毛の長さを特定する所望のヘアカットパターンであり得る。所望のパターンを保存するために、ストレージユニットが設けられ得る。コントローラに組み込まれ得る比較機構は、皮膚上の位置の関数として適合の程度を表す適合指標を提供し得、適合指標は、処置デバイスを制御するために使用される。コントローラは、皮膚の十分に処置された場所では、処置デバイスのスイッチをオフにし得る。代替的に、何れのレベルで処置デバイスがその物理的効果を皮膚に与えるかは、処置がどの程度完了されたかに応じて、最小と最大との間の範囲内でより段階的に制御され得る。特定の状況では、処置デバイスがその物理的効果を皮膚に与えるレベルが時間と共に増加され得る。例えば、光子放射が皮膚に当てられ、及び前記光子放射の強度が初期の処置中には比較的低い値に設定されるが、強度が後の処置中には比較的高く設定される実施形態が企図され得る。
第1の態様による皮膚処置システムは、1つのユニットとして提供され得る。即ち、全てのそのパーツが、処置デバイス用に設けられたハウジング内に組み込まれ得る。ある代替実施形態では、第1の態様による皮膚処置システムは、互いに機能的に結合され、且つ少なくとも動作範囲内で互いに対して独立して移動可能である、体処置モジュール及び処理モジュールの構成として設けられ、体処置モジュールは、少なくとも処置デバイス及びそれと一体化されたカメラを含み、処理モジュールは、少なくともストレージ機構及び配向推定機構を含む。処理モジュールの機能性は、ストレージ媒体を用いて、ノート型パソコン、PDA又は携帯電話等の汎用デバイスを適宜にプログラミングすることによって提供することができる。このようにして、処置デバイスの構成要素の数を少なくすることができる。
皮膚処置モジュールと処理モジュールとの間の有線結合の場合、動作範囲は、ケーブルの長さによって決定することができる。これらのモジュールが無線で機能的に結合される場合、送信範囲が動作範囲を決定し得る。代替的に、モジュールは、それぞれインターネット等の一般的な通信ネットワークを介して結合され得る。後者の場合、処理モジュールは、例えば、リモートサーバであり得る。
上記の通り、処置は、所望の結果に応じて、皮膚表面の下部、皮膚表面内又は皮膚表面上部の体に影響を与え得る。具体的には、処置デバイスが、例えば、光脱毛を目的として、又は乾癬の治療を目的として、皮膚に光子放射を照射して、処置領域内の哺乳類の体に物理的に影響を与える光子放射デバイスである実施形態が企図される。
具体的には、処置デバイスが、処置領域内の哺乳類の体に物理的に影響を与えるために、処置領域内の皮膚上の毛を刈るように構成されたヘアクリッパーである更なる実施形態が企図される。
ある実施形態では、請求項1による皮膚処置システムは、撮像画像データを受信し、且つ前記撮像画像データを使用して、前記参照画像データを更新する更新ユニットを更に含む。
皮膚の実際の外観は、老化、体重の変化、UV放射の結果としての色素沈着による皮膚の色の変化等により、時間と共に徐々に変化し得る。これは、時間が経つにつれ、参照画像の何れの部分が撮像画像に対応するかを決定することがより難しくなるという影響を有し得る。この問題に対処する1つの手法は、随時体をスキャンして、新たな参照画像データを準備することである。ある実施形態では、システムは、前記撮像画像データを使用して、参照画像データを更新する更新ユニットを含む。更新ユニットは、前記撮像画像データの特徴の漸次変化を観察し、且つこれらの観察に応じて参照画像データを適応させ得る。このようにして、撮像画像の画像特徴は、参照画像の対応する部分の特徴に常に酷似し、一致する参照画像部分の位置特定を可能にする。しかしながら、参照画像データが更新されない場合、時間が経つにつれ、撮像画像において観察された特徴間の相違が、参照画像内の対応する特徴に最早一致しない状況が生じ得る。一例は、例えば皮膚の2つの毛穴間の距離である。体重の増加の結果、この距離は増加する。参照画像データは、この漸次変化を考慮に入れるために更新され得る。哺乳類の体のモデルが更新の質を向上させるために使用され得る。例えば、増加する体重は、皮膚の外観に包括的影響を与える。この包括的影響を予測するモデルを用いて、且つ皮膚の大面積にわたって得られた観察を用いて、特徴の観察された変化が実際に体重変化又は他の原因(例えばノイズ)によるものであるか否かをより正確に決定することができる。代替的又は追加的に、更新ユニットは、保存された参照画像を、その画像内の特徴の経時的予想進行を特定するモデルに基づいて更新し得る。
第1の態様による皮膚処置システム及び第2の態様による配向決定方法によって使用される参照画像は、以下に定義される第3の態様による皮膚分析システムによって得ることができる。第3の態様による、哺乳類の体の皮膚の分析用の皮膚分析システムは、
− 皮膚分析システムの動作状態において、皮膚イメージングカメラが前記皮膚の複数の画像を撮像し、且つ前記複数の画像を表す各画像データを提供するように構成及び配置された皮膚イメージングカメラと、
− 皮膚分析システムの動作状態において、配向決定デバイスが皮膚イメージングカメラの配向を表す各配向情報データを提供するように構成及び配置された配向決定デバイスと、
− 皮膚分析システムの動作状態において、画像マッピングユニットが前記各配向情報データによって示される、画像データがそれぞれ得られた皮膚イメージングカメラの配向に基づいて前記各画像データをマッピングし、且つこのマッピングの結果を表す各マッピング画像データを提供するように構成及び配置された画像マッピングユニットと、
− 皮膚分析システムの動作状態において、画像統合ユニットが各マッピング画像データから単一の統合画像を準備し、且つ参照画像として使用するための単一の統合画像を表す統合画像データを提供するように構成及び配置された画像統合ユニットと
を含む。
同様に、第4の態様による、それを用いて参照画像を生成することができる、哺乳類の体の皮膚を分析する方法が提供される。第4の態様による方法は、
− 皮膚イメージングカメラを用いて前記皮膚の複数の画像を撮像し、且つ前記複数の画像を表す各画像データを提供するステップと、
− 前記複数の画像がそれぞれ撮像される皮膚イメージングカメラの配向を表す各配向情報データを提供するステップと、
− 前記配向情報データによって示される、各画像データが得られた皮膚イメージングカメラの配向に基づいて前記複数の画像をマッピングし、且つこのマッピングの結果を表す各マッピング画像データを提供するステップと、
− 各マッピング画像データから単一の統合画像を準備し、且つ参照画像として使用するための単一の統合画像を表す統合画像データを提供するステップと
を含む。
参照画像として使用するための統合画像(ステッチ画像とも記載される)は、RGB値又はYUV値によって定義される色等の生画像データを含む二次元画像であり得る。更に、参照画像として使用するための統合画像は、皮膚上の特定の特徴の分布を特定し得る。このような特徴は、毛の色、密度、長さ及び太さであり得るが、代替的に、皮膚自体に特異的な特徴、例えば色素斑及び皮膚の形状であり得る。更に、皮膚の法線の観察された配向がマップに加えられ得る。従って、参照画像は、色、観察された特徴、及び観察された面法線を示す1つ又は複数の値を含むベクトルとして提供され得る。観察された面法線は、分析中の体の姿勢に依存し、この姿勢は、処置中に異なる場合があることに留意されたい。しかしながら、体の処置される部分が処置中に動かないと仮定すると、観察される面法線の変化は、皮膚上での処置デバイスの変位と一致するはずであり、皮膚の処置デバイスの現在の配向の場所を見つける際に手掛かりとして使用することができる。体の処置される部分が安定して位置決めされない場合、面法線の観察された変化に対する、処置される体部分の動きの寄与を推定するために、外部カメラからの入力が使用され得る。
皮膚分析システムの一実施形態では、配向決定デバイスは、ジャイロスコープを含む。ジャイロスコープは、画像が撮像された絶対配向の正確な決定を可能にする。代替的又は追加的に、配向決定デバイスは、皮膚イメージングカメラの少なくとも一部及び哺乳類の体の少なくとも一部を含む視野を有する更なるカメラを含み得る。この代替的又は追加的手段は、スキャンされる体の部分が安定して位置決めされない場合に特に有用である。更なる代替実施形態では、統合される画像の配向は、統合される画像の互いに重なり合う部分の特徴の配向、及び皮膚の以前の撮像画像からこれまでに得られた統合画像から決定され得る。
上記の通り、面法線は、統合画像における追加の特徴であり得る。スキャン中の皮膚の観察された面法線は、皮膚の実際の面法線から逸脱し得る。これらの逸脱は、スキャンデバイスによって皮膚にかけられる圧力によって引き起こされる変形又はオペレータが皮膚表面に対して垂直にスキャンデバイスを保持していないことによる場合がある。ある実施形態では、統合画像データから得られた3Dプロファイルが、ジェネリック3D体プロファイルと比較され、及び修正された3Dプロファイルがこの比較に基づいて提供される。第3の態様による皮膚分析システムは、この目的のための修正機構を含み得る。ジェネリック3D体プロファイルは、スキャンされる体の部分の皮膚の形状に関する一般式を提供し得る。観察されたデータをこの一般式に当てはめることにより、面法線のより正確な推定が可能である。
ある実施形態では、本発明の第1の態様による皮膚処置システムは、本発明の第3の態様による皮膚分析システムを更に含み、皮膚分析システムは、皮膚分析システムの動作状態において、皮膚分析システムの画像統合ユニットが、皮膚分析システムの画像マッピングユニットによってマッピングされた各マッピング画像データから参照画像を準備するように構成及び配置される。このようにして、単一のスキャン及び処置デバイスが提供される。参照画像として統合画像を得るためのスキャン手順を行うオペレータは、単一のスキャン及び処置デバイスを、後にそのデバイスを用いて処置を行うことができる顧客に引き渡し得る。これは、様々な構成要素が2つの目的に役立ち得るという意味で有利である。例えば、単一のカメラが使用されて、統合画像を取得するための画像を撮像し、且つデバイスの瞬間的配向を決定するために処置中に画像を撮像することができる。また、ストレージ機構と同様に、様々なデータ処理機構が単一のデバイス内で組み合わせられ得る。
それにも関わらず、第1の態様による皮膚処置システム及び第3の態様による皮膚分析システムを別個のデバイスとして提供することが有利となり得る。これは、第3の態様による皮膚分析システムを、このシステムの1つの種を処置システムの複数のユーザ用の参照画像の準備に使用することができるため、高度に最適化することを可能にする。処置システムのコストは、特に処置システムのパーツ(即ち、データ処理機構)が携帯電話又はノート型パソコン等の既に利用可能なデバイスによって実現される場合に少なくなり得る。従って、第1の態様による皮膚処置システムのある実施形態は、外部デバイスへの前記統合画像データの転送を可能にするデータ交換機構を含む。データ交換機構は、例えば、参照画像として使用される統合画像が準備された後、第1の態様による皮膚処置システムから分離させることができる取り外し可能メモリの形態で提供され、この取り外し可能メモリは、第1の態様による皮膚処置システムに対して、それを処置に使用する前に結合させることができる。代替的に、第3の態様による皮膚分析システムから第1の態様による皮膚処置システムへの統合画像の転送は、無線又は有線接続によって生じ得る。無線接続は、直接的に(例えば、Bluetooth(登録商標)接続によって)又は間接的に(例えば、インターネットによって)確立され得る。
これら及び他の態様が図面を参照してより詳細に説明される。
本発明の第1の態様による皮膚処置システムの一実施形態を示す。 処置領域とイメージング領域との間の空間的関係の例を示す。 処置領域とイメージング領域との間の空間的関係の例を示す。 処置領域とイメージング領域との間の空間的関係の例を示す。 本発明の第1の態様による皮膚処置システムの一実施形態のパーツを示す。 処理画像データ例を示す。 処理画像データ例を示す。 本発明の第1の態様による皮膚処置システムの一実施形態のパーツを示す。 本発明の第1の態様による皮膚処置システムの一実施形態を示す。 本発明の第1の態様による皮膚処置システムの一実施形態を示す。 本発明の第1の態様による皮膚処置システムの一実施形態を示す。 本発明の第1の態様による皮膚処置システムの一実施形態を示す。 図9の実施形態の動作を示す。 図9の実施形態の動作を示す。 本発明の第3の態様による皮膚分析システムの一実施形態を示す。 本発明の第3の態様による皮膚分析システムの一実施形態を示す。 図11の実施形態の動作を示す。 図11の実施形態の動作を示す。 本発明の第3の態様による皮膚分析システムの一実施形態を示す。 図14に示されるような皮膚分析システムの空間的配置を示すのに役立つ。 本発明の第3の態様による皮膚分析システムの一実施形態を示す。
様々な図面における同様の参照符号は、特に断りのない限り、同様の要素を示す。
図1は、哺乳類の体Bの処置領域TR(図2A〜図2Cを参照)を処置領域内の体に物理的に作用することによって処置する処置デバイス10を含む皮膚処置システム1を概略的に示す。この図示された実施形態では、システム1は、処置ユニット1a及び処理ユニット1bとして提供される。図6、図8及び図9を参照して後に例示されるように、システムは、代替的に、単一ユニットとして提供され得る。処置デバイス10は、例えば、マッサージ処置デバイス、例えば赤外線又は紫外線放射を当てることによる放射線処置デバイス、又はグルーミングデバイスの1つであり得る。
処置ユニット1aに収容される処置デバイス10に加えて、皮膚処置システム1は、哺乳類の体の皮膚Sの少なくとも1つの画像を撮像し(前記画像は、ユニット1aの前11にイメージング領域IR(図2A〜図2Cを参照)を有する)、撮像画像データIdを提供するカメラ20を更に含む。この撮像画像データは、少なくとも1つの撮像画像を表す。イメージング領域IRは、処置領域TRに対して、既定の、即ち、既知の空間的関係を有するが、図2Aに示されるように、イメージング領域IR及び処置領域TRが合致する必要はない。代替的に、これらの領域は、部分的に重なり合うか(図2B)、又は分離され得る(図2C)。これらの領域が分離していれば、後者において見られるように、処置デバイスが処置領域TRを塞いでいるかどうかが問題ではないため、好都合ですらある。イメージング領域IRと処置領域TRとの間の既定の空間的関係は、例えば、処置ユニット1a内の処置デバイス10及びカメラ20の互いに既定の(例えば、互いに固定された)位置によって決定される。
皮膚処置システム1は、処置デバイス10を制御する制御素子12を含む。制御素子12は、単純なスイッチ、大きさを制御する素子、又はタイマーでもあり得るが、後により詳細に説明されるように、それは、より高度な性能を含み得る。この場合、制御素子12は、処置ユニット1aに収容されるが、代替的に、それは処理ユニット1b内に収容され得る。
皮膚処置システム1は、ここでは同様に処理ユニット1b内に収容されるストレージ機構30も含む。ストレージ機構30は、哺乳類の体Bの皮膚の参照画像を示す参照画像データIrを保存する。参照画像データは、RGBデータ、HUVデータ、若しくは濃淡値データ等の生画像データ、位置の関数として、皮膚上の、皮膚の、若しくは皮膚内の特定の特徴の存在を特定する特徴記述子データ、及び/又は位置の関数として、皮膚の面法線を示す面法線データの1つ又は複数を含み得る。体が参照位置に固定されない限り、一般的に、何が皮膚の面法線の絶対配向であるかが分からないため、ここでは、「示す(indicative)」という用語が使用される。しかしながら、面法線データは、皮膚の面法線が特定の身体部分の皮膚の位置に対してどのように変化するかを特定することができる。
皮膚処置システム1は、撮像画像データId及び前記参照画像データIrを用いて、前記参照画像の何れの部分が少なくとも1つの撮像画像に対応するかを決定する配向推定機構40も含む。この情報を用いて、配向推定機構は、体Bに対する処置デバイスの配向を示す配向表示Ioを提供する。
この図示された実施形態では、配向推定機構40は、参照画像内の何れの領域がイメージング領域から撮像された領域と一致するかを識別し、且つ体Bの皮膚上のこの領域の場所(これは、例えば、参照画像の識別された領域と、体Bの皮膚上の位置との間の既定の関係に基づいて導出することができる)を送り返すように適宜にプログラムされた、処理ユニット1b内に収容される汎用プロセッサである。この場所から、処置領域TRの場所を、それがイメージング領域IRとの既定(例えば固定)の空間的関係を有するために決定することができる。この図示された実施形態では、撮像画像データは、処置ユニット1aの送信器60aを介して、処理ユニット1bの受信器60bに送信され、且つ汎用プロセッサ40に提供される。代替的に、このデータ転送は有線接続を介して行われ得る。
参照画像内の一致領域の場所は、様々な態様で決定することができる。ある手法によれば、生画像データを含む参照画像が使用され、且つ撮像画像データ中で利用可能な生画像データと比較される。この場合、場所は、例えば、正規化相関関数の極小を有する場所として決定され得る。この手法の一例は、Lucas, B.D., Kanade, T., et al.: An iterative image registration technique with an application to stereo vision, IJCAI, vol. 81, pp. 674{679 (1981)により詳細に記載される。同様に、撮像画像が得られた角度は、このように決定され得る。イメージング領域及び処置領域が一致し、且つ処置の効果が回転対称関数である場合、この角度を知る必要はない。
別の手法によれば、生画像データを比較する代わりに、撮像画像内で検出された所定の特徴と、参照画像内に存在する所定の特徴との間の比較が行われる。このような特徴の検出には、様々なアルゴリズムが利用可能である。一般的に、これらのアルゴリズムは、大きい強度勾配が見つけられる画像エリアを選択する。これらの種類のアルゴリズムの例は、SIFT、FAST、及びORBとして知られている。それらのより詳細な説明は、それぞれ以下において入手可能である:
Lowe, D.G.: Distinctive image features from scale-invariant key points. International journal of computer vision 60(2), 91{110 (2004)、
Rosten, E., Drummond, T.: Machine learning for high-speed corner detection, Computer Vision {ECCV 2006, pp. 430{443. Springer, (2006)、及び
Rublee, E., Rabaud, V., Konolige, K., Bradski, G.: Orb: an efficient alternative to sift or surf, Computer Vision (ICCV), 2011 IEEE International Conference On, pp. 2564{2571 (2011). IEEE。
この検出の結果、特徴ベクトルFは、画像位置(x,y)の関数として得られる。続いて、撮像画像の特徴ベクトルFd(x,y)及び参照画像の特徴ベクトルFr(x,y)が比較されて、最良の一致が見つけられる場所及び任意選択的に最良の一致が見つけられる角度を決定する。この目的のための方法は、上記で言及されたRubleeらによっても記載される。
撮像画像の特徴ベクトルFd(x,y)の計算は、処置ユニット1aで行われ得るが、好ましくは、処理ユニット1b内の利用可能な処理機構を最適に使用するために、処理ユニット1b内で行われる。処置ユニット1aと処理ユニット1bとの間の接続の帯域幅要件を最小限にするために、撮像画像データIdに対して、その送信前にデータ圧縮を適用し、且つ受信時に復元を適用することが企図され得る。また、チャネル符号化及びチャネル暗号化技術がこの接続に適用され得る。
処理ユニット1bの配向推定機構40のデータプロセッサの一実施形態が図3に示される。配向推定機構40は、ここでは、データプロセッサの第1のモジュール42として示される。更に、配向推定機構40は、配向表示Ioを使用して処置表示E(x,y)を提供する分析機構44を含む。処置表示E(x,y)は、哺乳類の体Bに対してどの程度処置が施されたかを体上の位置の関数として示す。分析機構は、処置中の処置の場所の軌跡を示すトラッキング表示T(x,y)を計算する第1の段階442、及び処置の場所の付近における処置デバイスの効果を特定する点広がり関数PSF(x,y)でトラッキング表示T(x,y)をコンボリューションする第2の段階444を含む。これらのステップは、図4A、図4Bに概略的に示される。
図4Aは、トラッキング表示T(x,y)によって示されるように、辿られた軌跡の一例を示す。この場合、顧客は、時間間隔t1〜t2の間、規則的な蛇行パターンに従って皮膚S上で処置ユニット1aを移動させたが、その後、時間間隔t2〜t3において、この規則的なパターンから逸脱した。トラッキング表示T(x,y)は、単に、ある場所が軌跡の一部であるか否かを示す二値表示であり得る。代替的に、トラッキング表示T(x,y)は、各位置x,yに対して、識別された場所Ioが位置x,yと合致した時間間隔の長さを特定し得る。
第2の段階444は、処置の効果が、点広がり関数PSFによって示される体が物理的に影響を与えられる強度、及びトラッキング表示T(x,y)によって示される継続時間に比例する場合、以下の演算により、処置表示E(x,y)を計算することができる。
効果がこれらの用語の非線形関数である場合、処置表示E(x,y)は、以下のように計算することができる。
場合によっては、処置の効果は、二値関数によって表すことができる。例えば、髭を特定の長さにグルーミングする際に、処置エリア上のグルーミングデバイスの存在が所定の最小時間を超える場合、更なる変化が生じない。
その場合、処置表示E(x,y)は、
として計算することができ、式中、点広がり関数PSFは、グルーミング領域内では1及びグルーミング領域外では0に等しい二値関数としてグルーミング領域を特定する。更に、以下の関数が適用される:z<zの場合にはBIN(z)=0、及びz≧zの場合には1であり、式中、zは所定の最小時間である。
一例として、図4Bは、どのように処置表示E(x,y)がトラッキング表示T(x,y)から計算することができるかを示す。上述の通り、図4Aを参照して、時間間隔t1〜t2において、ユーザは、規則的な蛇行パターンに従って皮膚上で処置ユニット1aを移動させた。蛇行パターンは、水平部分(x方向に延在する)及びその間にユーザが次の水平部分へと移動する垂直部分を含む。第1の時間間隔t1〜t2の間、水平部分間の距離は、y方向の処置領域TRの寸法に対応する値に維持された。従って、それにより、時間間隔t1〜t2の間に処置ユニット1aが移動される皮膚のエリアが、そのエリアの部分に関して図4Bに概略的に示されるように、完全に範囲に含まれることが達成される。明瞭さのために、ここでは、点広がり関数PSF(x,y)は、処置領域TR内で一定値を有し、且つ処置領域外で0である関数であると仮定される。代替的に、点広がり関数PSFが処置領域の端部に向けて減少する場合、ユーザは、互いにより近く配置された水平ラインに沿って蛇行動作を行い得る。
先にも述べた通り、ユーザは、ここでは、時間間隔t2〜t3の間に示されるように、所定のパターンから誤って逸脱し得る。図4Bから分かるように、これは、処置ユニット1aによって横断されるエリアが、例えば図4Bで部分S1によって示されるように、完全に処置されないという影響を有する。これは、処置が遅延性の効果を有する場合、しばらくの間、気付かれないままとなり得る。これは、例えば、光脱毛処置に当てはまる。ユーザは、処置を繰り返すことにより、又は皮膚の表面上で蛇行する際に処置デバイスの垂直変位を最小限に抑えることにより、これを回避しようとする可能性がある。しかしながら、これは、処置を行うのに厳密に必要な時間よりも長い時間をユーザに犠牲にさせ、及び場合によっては皮膚炎を生じさせる過剰な処置もまたもたらし得る。
本発明に開示される皮膚処置システムによれば、配向表示Ioは、処置ユニット1aに組み込まれたカメラによって撮像された画像から計算される。この配向表示を用いて、処置の効果を、処置中にこれが目に見えない場合であっても計算することができる。
図1に示される実施形態において、皮膚処置システム1は、前記処置表示E(x,y)の視覚的表現を提供するディスプレイ50を更に含む。この場合、ディスプレイは、例えば、携帯電話のディスプレイとして、処理ユニット1bの一部である。このディスプレイ50は、ユーザが処置の進捗をモニタリングすることを可能にする。このようにして、ユーザは、処置されるべきエリアの特定の領域が欠落された又は過剰に処置される可能性が高いかどうかに直ちに気付くことができる。これに気付き次第、ユーザは、処置軌道を修正し、欠落された領域を処置し、且つ過剰な処置を回避又は軽減することができる。これは、ユーザが所定のエリアを効率的に処置することを可能にする。
処置表示E(x,y)は、例えば、各位置に対して、それが処置されたか否かを示す二値関数、例えば処置表示E(x,y)に比例する輝度を有する濃淡値、又は例えば過少な処置若しくは無処置を示すために青色、適切な処置を示すために緑、及び過剰な処置を示すために赤を用いた三値表示として、様々な態様でディスプレイ上に示すことができる。処置表示E(x,y)の表現は、処置される体又はその一部の画像上に重ね合わせられ得る。
図5に示されるような実施形態では、皮膚処置システムは、前記処置表示E(x,y)に従って処置デバイス10を制御するコントローラ12を更に含む。この機能性は、図1のシステムによって提供されるような機能性の代わりに又はそれに加えて提供され得る。
図5に示されるように、皮膚処置システムは、皮膚上の位置x,yの関数として、処置がどの程度施されるべきかを特定する処置要求仕様TR(x,y)が保存されるストレージモジュール16を含む。コントローラ12は、処置表示E(x,y)を処置要求仕様TR(x,y)と比較し、且つ処置要求仕様TR(x,y)に最適に一致するように処置デバイス10を制御する制御信号C(x,y)を提供するモジュール14を含む。これは、様々な態様で実現することができる。モジュール14は、例えば、あるエリアが過剰に処置される可能性が高ければ、単に処置デバイス10のスイッチをオフにし得るが、代替的に、それは、処置デバイス10が場所x,yの付近の体に作用する強度を抑え得る。また、一部の実施形態では、コントローラは、処置デバイス10の点広がり関数PSF(x,y)を適応させ得る。処置要求仕様TR(x,y)は、時間依存性であり得ることに留意されたい。仕様TR(x,y)は、例えば、体が影響を与えられる強度の漸増及び/又は処置の継続時間の変化を特定し得る。
皮膚処置システム1が、観察された処置表示E(x,y)及び処置要求仕様TR(x,y)に従って処置デバイス10を自動的に制御するコントローラを含む場合、処置表示E(x,y)をユーザに表示する必要はない。それにも関わらず、これらの2つの機能性が組み合わされれば有益である。例えば、処置デバイスが主にユーザによって制御される場合、自動コントローラ12は、例えば、ユーザが表示された処置表示E(x,y)にもかかわらず、誤ってある領域を過剰に処置しようとした場合、処置デバイスのスイッチをオフにすることにより、ユーザ制御を無効にすることができる。或いは、処置デバイスが主にコントローラ12によって制御される場合、ディスプレイ50は、処置の進捗に関するユーザフィードバックを提供することができる。
図6は、単一ユニットとして提供される皮膚処置システム1の実施形態の一例を示す。この場合、撮像画像データId又はその処理バージョンを転送する信号転送機構(例えば、図1における60a、60b)は、撮像画像データIdを配向推定機構40に直接提供することができるために不必要である。しかしながら、その他の点では、図6に示されるような皮膚処置システム1は、図1に示されるようなシステム1と均等である。
図7は、コントローラ12が処置表示E(x,y)に従って処置デバイス10を制御することができる、皮膚処置システム1の一実施形態を示す。上述の実施形態に見られるように、カメラ20は、配向表示を決定するために使用される撮像画像データIdを提供する。撮像画像データId又は処理バージョンは、処置ユニット1aの送信器60aによって処理ユニット1bの受信器60bに送信される。また、配向推定機構40は、このデータを使用して、皮膚上の位置の観点から、体Bに対する処置デバイスの配向を推定する。配向は、更に、図13に示されるように、皮膚の面法線に対する方位角φ及び極角θに関する情報を含み得る。処置要求仕様を最適に満たすためにどのように処置デバイス10が制御されなければならないかを決定するために必要な必須データ処理動作は、プロセッサ40により、コントローラ12により、又はそれらの組み合わせにより実施され得る。中間信号がプロセッサ40から、処理ユニット1bの送信器65bにより、ユニット1aの受信器65aを介してコントローラ12へと送信される。任意選択的に、処理ユニット1bは、ユーザが処置の進捗をモニタリングすることを可能にするディスプレイ50を有し得る。
図7のシステムは、図8に示されるように、単一ユニット内で実現され得る。
図9は、皮膚処置システム1が、信号ΔIrによって記号で示されるように、ストレージ機構30に保存された参照画像データIrを更新する更新ユニット70を更に含む更なる実施形態を示す。
このために、更新ユニット70は、撮像画像データIdにおける特徴の漸次変化を観察し、且つこれらの観察に従って、ストレージ機構30に保存された参照画像データIrを適応させ得る。代替的又は追加的に、更新ユニット70は、保存された参照画像を、その画像内の特徴の経時的予想進行を特定するモデルに基づいて更新し得る。
このようにして、撮像画像内の画像特徴は、常に、参照画像の対応する部分の特徴に酷似し、一致した参照画像部分の位置特定を可能にする。但し、参照画像データが更新されない場合、未来のある時点において、撮像画像において観察された特徴間の相違が参照画像内の対応する特徴に最早一致しない状況が生じ得る。
どのようにこれが生じ得るかを示す2つの例が、図9A及び図9Bをそれぞれ参照して説明される。両図面において、実線は、時間tの関数として特徴fの実際の進捗を示す。一例として、図9Aの特徴fは、特定の場所から伸びる毛の長さである。時間tにおいて準備され、及びストレージ機構30に保存された参照画像では、この特徴の値はfである。成長により、毛の長さは、時点tにおいてfまで増加した。参照画像において撮像画像の場所を見つけることを目的として、この特徴fが使用される場合、差f−fは、一致を支持する証拠として使用されるには大き過ぎる場合があり、従って、この特徴が配向推定機構によって使用されることを不適切にする。しかしながら、特徴fの現在の値が、(t,f)から(t,f)への方向に延在する破線によって示されるように、以前の値f及び予想成長に基づいて予測される場合、特徴fの現在の値のより正確な推定fが得られ、適切な認知を容易にする。
別の例として、図9Bは、どのように更新ユニット70が特徴fの中間観察に基づいて参照画像データを更新することができるかを示す。この例では、値Dfが特徴fの認知閾であると仮定される。即ち、特徴の観察値と、参照画像における前記特徴に関して保存された値との間の差の絶対値が、この閾値未満であるとき且つそのときに限り、特徴が一致すると決定される。この例では、再度、特徴fが時間tにおいて値fを有すると仮定される。更に、中間時点t12においてユーザが処置システム1を使用すると仮定される。この中間時点では、特徴fの値は、fからf12へと変化している。|f12−f|<Dfであるため、撮像画像の特徴fは、ストレージ機構30に保存された参照画像の一部として認知される。時点tにおいて、ユーザが再度処置システム1を使用し、及び特徴fの値がfに変化したと想定される。今度は、|f−f|>Dfであるため、撮像画像の特徴fは、ストレージ機構30に保存された参照画像の一部として認知されない。しかしながら、ユニット70により、特徴fの値が観察値f12に更新される実施形態では、特徴fは、依然として|f−f12|<Dfとして認知される。
実際には、撮像画像及び参照画像の一部が一致するか否かの決定は、複数の特徴のそれぞれの観察値及び保存値の比較に基づき得ることに留意されたい。更に、信頼性の低い及び/又は関連性の低い特徴よりも、信頼性の高い及び/又は関連性の高い特徴により大きい重みを割り当てる重み付けが、この比較の結果に対して適用され得る。それにも関わらず、この場合においても、参照画像におけるデータが、中間観察に基づいて及び/又は時間の関数としてのこれらの特徴の進行モデルに基づいて更新されれば、撮像画像に一致する参照画像の部分の場所のより信頼性の高い決定を得ることができる。
図10は、哺乳類の体Bの皮膚Sの分析用の、ここでは単一の携帯ハウジング内に設けられた皮膚分析システム100を概略的に示す。
皮膚分析システム100は、皮膚Sの複数の画像を撮像し、且つ複数の画像を表す各画像データId1を提供する皮膚イメージングカメラ110を含む。システムは、皮膚イメージングカメラ110の配向を表す各配向情報データRを提供する配向決定デバイス120を更に含む。画像マッピングユニット130が、配向情報データによって示される、画像データが得られた配向に従って各画像データをマッピングし、且つこのマッピングの結果を表す各マッピング画像データIを提供する。システムは、各マッピング画像データから単一の統合画像を準備し、且つ単一の統合画像を表す統合画像データIを提供する画像統合ユニット140を更に含む。
皮膚分析システム100の構成要素は、必ずしも1つのハウジングに組み込まれないことに留意されたい。複数の実施形態では、様々な構成要素が互いに離れて配置され、且つ有線又は無線通信手段を介して互いにデータを交換し得る。
別の代替案として、皮膚分析システム100は、共通ハウジング内でシステム1と一体化され得る。
図10に示された実施形態では、配向決定デバイス120は、慣性センサ、特にジャイロスコープである。代替的に、配向決定デバイス120は、皮膚イメージングカメラ110の配向をレジストレーションする外部カメラであり得、又はそれは、例えば図3のモジュール42に関して説明された態様で、撮像画像データId1が統合画像データIの一部と最も良く一致する配向を計算し得る。
図10に示される実施形態では、システムは、皮膚処置システム1への統合画像データIの転送を容易にするデータ交換機構150を有する。
統合画像データIは、RGBデータ、HUVデータ、若しくは濃淡値データ等の生画像データ、位置の関数として、皮膚上の特定の特徴の存在を特定する特徴記述子データ、及び/又は位置の関数として、皮膚の面法線を示す面法線データを含み得る。面法線データは、配向決定デバイス120から得ることができる。
面法線データが統合画像データIに含まれる皮膚分析システム100の一実施形態が図11に示される。図10を参照して記載された構成要素に加えて、この実施形態は、統合画像データIから得られる3Dプロファイルを、ストレージユニット180に保存されたジェネリック3D体プロファイルと比較し、且つ修正された3Dプロファイルを有する統合画像データIを提供する修正モジュール170を含む修正機構も含む。修正機構170、180の動作が図11A、図11Bに示される。図11Aでは、実線曲線は、体Bの皮膚Sの実際のプロファイルを示す。実線矢印は、配向決定デバイス120によって決定された面法線を示す。オペレータは、常に皮膚分析システム100を皮膚に対して垂直に維持しない場合があるため、決定された面法線(図11Aにおいて破線矢印によって示される)が実際の面法線から逸脱する場合がある。その結果、配向決定デバイス120の測定に基づいて直接得られる皮膚の3Dプロファイル(図11Bの破線曲線を参照)は、実際のプロファイルから明らかに逸脱する。修正機構170、180は、図11Bの実線曲線によって示されるように、3Dプロファイルの精度が向上された二次統合画像データIM1を提供する。このために、修正モジュール170は、例えば、デバイス120によって得られた面法線に関する入力データ、及びストレージユニット180において提供される、曲線に関して特定された一般仕様を用いた曲線当てはめ法を適用し得る。
図12は、図10のシステムに関して特定された構成要素に加えて、皮膚イメージングカメラ110の少なくとも一部及び哺乳類の体Bの少なくとも一部を含む視野を有する更なるカメラ160も含む、皮膚分析システム100の代替実施形態を示す。画像マッピングユニット130は、画像データId2も使用して、皮膚Sに対して皮膚イメージングカメラ110の配向を決定する。
図13及び図14は、皮膚分析システム100が、配向決定デバイスとして、第1のジャイロスコープ120及び第2のジャイロスコープ122を含む更なる実施形態を示す。図13に示されるように、皮膚イメージングカメラ110は、皮膚表面によって局所的に定義された面x,yに対して方位角φ及び極角θを有する。第1のジャイロスコープ120及び第2のジャイロスコープ122は、これらの角度を検出し、且つこれらの角度の値を示す表示Rφ、Rθをそれぞれ出す。方位角は、カメラの面内回転を示し、且つ統合のために撮像画像を全体画像により簡単に一致させるために、Rφが使用される。極角及び場合によっては方位角に関する情報が特徴として統合画像に加えられる(即ち、最終統合画像におけるx,yの関数としてRφ、Rθを含む)。
皮膚処置システム1及び/又は皮膚分析システム100において使用されるデータ処理機構は、様々な態様で実現することができることに留意されたい。例えば、これらの機構は、適宜にプログラムされた汎用プロセッサとして、専用ハードウェア(即ち特定のデータ処理タスクを行うように具体的に設計される)として、又は何らかの専用ハードウェアを有し、及び制限された適応範囲でプログラム可能な部分的にプログラム可能なプロセッサとして設けられ得る。また、このような要素の組み合わせが用いられ得る。
本明細書では、「含む」、「含んでいる」、「包含する」、「包含している」、「有する」、「有している」という用語、又はそれらの他の変形形態は、非排他的包括を対象にすることが意図される。例えば、要素のリストを含むプロセス、方法、物品、又は装置は、必ずしもそれらの要素のみに限定されず、明示的にリストされないか、又はそのようなプロセス、方法、物品、又は装置に固有ではない他の要素を含み得る。更に、別段の明記がない限り、「又は(or)」は、包括的orを指し、及び排他的orを指さない。例えば、条件A又はBは、以下の何れか1つによって満たされる:Aが真である(又は存在する)及びBが偽である(又は存在しない)、Aが偽である(又は存在しない)及びBが真である(又は存在する)、並びにA及びBの両方が真である(又は存在する)。
また、不定冠詞「1つの(a)」又は「1つの(an)」が、本発明の要素及び構成要素を記載するために用いられる。これは、単なる便宜上及び本発明の一般的観念を与えるために行われる。本明細書は、1つ又は少なくとも1つを含むように読まれるべきであり、及び単数形は、それ以外を意味することが明らかでない限り複数形も含む。

Claims (9)

  1. 処置デバイス、カメラ、ストレージ機構、配向推定機構、及び更新ユニットを含む皮膚処置システムであって、
    前記処置デバイスは、前記皮膚処置システムの動作状態において、哺乳類の体の処置領域を前記処置領域内の前記哺乳類の体に物理的に作用することによって処置し、
    前記カメラは、前記皮膚処置システムの前記動作状態において、イメージング領域を有する前記哺乳類の体の皮膚の少なくとも1つの画像を撮像し、且つ前記少なくとも1つの撮像画像を表す撮像画像データを提供し、前記イメージング領域は、前記処置領域と既定の空間的関係を有し、
    前記ストレージ機構は、前記皮膚処置システムの前記動作状態において、前記哺乳類の体の前記皮膚の参照画像を示す参照画像データを保存し、前記参照画像は、前記参照画像データ内の体の特徴を含み、前記体の特徴は、経時的に変化し、前記哺乳類の体上で作動する前記処置デバイスから独立しており、
    前記配向推定機構は、前記皮膚処置システムの前記動作状態において、前記撮像画像データ及び前記参照画像データ及び前記体の特徴を使用して、前記参照画像の何れの部分が前記少なくとも1つの撮像画像に対応するかを決定し、且つ前記参照画像に対する対応する前記部分の所定の配向から、前記哺乳類の体に対する前記処置デバイスの配向を示す配向表示を導出し、
    前記更新ユニットは、前記参照画像データ内の前記体の特徴の経時的予想進行を特定するモデル、又は前記撮像画像データと前記参照画像データとの間の前記体の特徴の変化の少なくとも1つに応じて、前記参照画像データを更新する、皮膚処置システム。
  2. 分析機構を含み、前記分析機構は、前記皮膚処置システムの前記動作状態において、前記配向表示を使用して、前記哺乳類の体上の位置の関数として、前記哺乳類の体に処置がどの程度施されたかを示す処置表示を提供する、請求項1に記載の皮膚処置システム。
  3. ディスプレイを更に含み、前記ディスプレイは、前記皮膚処置システムの前記動作状態において、前記処置表示の視覚的表現を提供する、請求項2に記載の皮膚処置システム。
  4. コントローラを更に含み、前記コントローラは、前記皮膚処置システムの前記動作状態において、前記処置表示に従って前記処置デバイスを制御する、請求項2又は3に記載の皮膚処置システム。
  5. 体処置モジュール及び処理モジュールの構成を含み、前記体処置モジュール及び前記処理モジュールは、前記皮膚処置システムの前記動作状態において、互いに機能的に結合され、且つ少なくとも動作範囲内で互いに対して独立して移動可能であり、前記体処置モジュールは、少なくとも前記処置デバイス及びそれと一体化された前記カメラを含み、前記処理モジュールは、少なくとも前記ストレージ機構及び前記配向推定機構を含む、請求項1乃至4の何れか一項に記載の皮膚処置システム。
  6. 前記処置デバイスは光子放射デバイスであり、前記光子放射デバイスは、前記皮膚処置システムの前記動作状態において、前記処置領域内の前記哺乳類の体に物理的に影響を与えるために光子放射を前記皮膚に照射する、請求項1に記載の皮膚処置システム。
  7. 前記処置デバイスはヘアクリッパーであり、前記ヘアクリッパーは、前記皮膚処置システムの前記動作状態において、前記処置領域内の前記哺乳類の体に物理的に影響を与えるために前記処置領域内の前記皮膚上の毛を刈る、請求項1に記載の皮膚処置システム。
  8. 前記更新ユニットは、前記撮像画像データと前記参照画像データとの間の前記特徴の変化が予め設定されている閾値より大きいときに前記参照画像データを更新する、請求項1に記載の皮膚処置システム。
  9. 哺乳類の体に対する皮膚処置デバイスの配向を決定する方法であって、前記皮膚処置デバイスは、前記皮膚処置デバイスが動作中に物理的に作用する前記哺乳類の体上の処置領域を定義し、前記方法は、
    前記哺乳類の体の皮膚のイメージング領域を有する少なくとも1つの画像を撮像し、且つ前記少なくとも1つの撮像画像を表す画像データを提供するステップであって、前記イメージング領域は、前記処置領域と既定の空間的関係を有する、ステップと、
    前記哺乳類の体の前記皮膚の参照画像を示す参照画像データを保存するステップであって、前記参照画像は、前記参照画像データ内の体の特徴を含み、前記体の特徴は、経時的に変化し、前記哺乳類の体上で作動する前記処置デバイスから独立している、ステップと、
    前記画像データ及び前記参照画像データ及び前記体の特徴を使用して、前記参照画像の何れの部分が前記少なくとも1つの撮像画像に対応するかを決定し、且つ前記参照画像に対する対応する前記部分の所定の配向から、前記皮膚に対する前記処置領域の配向を示す配向表示を導出するステップと、
    前記参照画像データ内の前記体の特徴の経時的予想進行を特定するモデル、又は前記撮像画像データと前記参照画像データとの間の前記体の特徴の変化の少なくとも1つに応じて、前記参照画像データを更新するステップと、を含む、方法。
JP2017523483A 2014-11-06 2015-11-03 皮膚処置システム Active JP6827922B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019207636A JP6925400B2 (ja) 2014-11-06 2019-11-18 皮膚処置システム

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP14192163.5 2014-11-06
EP14192163 2014-11-06
PCT/EP2015/075571 WO2016071325A1 (en) 2014-11-06 2015-11-03 Skin treatment system

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2019207636A Division JP6925400B2 (ja) 2014-11-06 2019-11-18 皮膚処置システム

Publications (2)

Publication Number Publication Date
JP2017534388A JP2017534388A (ja) 2017-11-24
JP6827922B2 true JP6827922B2 (ja) 2021-02-10

Family

ID=51893868

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2017523483A Active JP6827922B2 (ja) 2014-11-06 2015-11-03 皮膚処置システム
JP2019207636A Active JP6925400B2 (ja) 2014-11-06 2019-11-18 皮膚処置システム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2019207636A Active JP6925400B2 (ja) 2014-11-06 2019-11-18 皮膚処置システム

Country Status (9)

Country Link
US (1) US10722726B2 (ja)
EP (1) EP3215219B1 (ja)
JP (2) JP6827922B2 (ja)
CN (1) CN107072552A (ja)
BR (1) BR112017009313B1 (ja)
ES (1) ES2973050T3 (ja)
PL (1) PL3215219T3 (ja)
RU (1) RU2675458C2 (ja)
WO (1) WO2016071325A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106175928A (zh) * 2016-07-14 2016-12-07 华北电力大学 一种激光精确定位的医疗系统及定位方法
CN109603011A (zh) * 2018-11-14 2019-04-12 深圳美丽策光生物科技有限公司 一种光子测肤美肤仪及其处理方法
EP3685786A1 (en) 2019-01-24 2020-07-29 Koninklijke Philips N.V. A method of determining a position and/or orientation of a hand-held device with respect to a subject, a corresponding apparatus and a computer program product
EP3708312A1 (en) * 2019-03-14 2020-09-16 Koninklijke Philips N.V. Determining a device location a body part
CN110975164A (zh) * 2019-12-23 2020-04-10 北京化工大学 一种柔性可穿戴黄疸病光疗器件制备方法
US11844603B2 (en) * 2019-12-24 2023-12-19 Biosense Webster (Israel) Ltd. Visualizing a treatment of breast cancer
EP3842002A1 (en) * 2019-12-24 2021-06-30 Koninklijke Philips N.V. Providing feedback on a treatment operation performed on a body part of a subject
US11893826B2 (en) * 2021-03-26 2024-02-06 L'oreal Determining position of a personal care device relative to body surface
FR3125623B1 (fr) * 2021-07-23 2024-04-26 Oreal détermination de la position d’un dispositif de soin personnel par rapport à la surface CORPORELLE
EP4166192A1 (en) * 2021-10-14 2023-04-19 Koninklijke Philips N.V. An apparatus for user guidance during skin treatment and method thereof
EP4283630A1 (en) * 2022-05-23 2023-11-29 Braun GmbH Light emitting hair growth management device companion application

Family Cites Families (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6405072B1 (en) * 1991-01-28 2002-06-11 Sherwood Services Ag Apparatus and method for determining a location of an anatomical target with reference to a medical apparatus
US6143003A (en) * 1995-01-31 2000-11-07 Cosman; Eric R. Repositioner for head, neck, and body
US5394875A (en) * 1993-10-21 1995-03-07 Lewis; Judith T. Automatic ultrasonic localization of targets implanted in a portion of the anatomy
JP3453180B2 (ja) * 1994-02-04 2003-10-06 茂芳 大▲崎▼ 皮膚の診断装置
GB9405299D0 (en) * 1994-03-17 1994-04-27 Roke Manor Research Improvements in or relating to video-based systems for computer assisted surgery and localisation
US20080154257A1 (en) 2006-12-22 2008-06-26 Shiva Sharareh Real-time optoacoustic monitoring with electophysiologic catheters
JP4354550B2 (ja) * 1998-08-31 2009-10-28 株式会社島津製作所 放射線治療計画装置
ATE306861T1 (de) * 1999-04-14 2005-11-15 Koninkl Philips Electronics Nv Einrichtung zur haarentfernung mit einer steuerbaren laserquelle
DE19917867B4 (de) * 1999-04-20 2005-04-21 Brainlab Ag Verfahren und Vorrichtung zur Bildunterstützung bei der Behandlung von Behandlungszielen mit Integration von Röntgenerfassung und Navigationssystem
GR1004180B (el) * 2000-03-28 2003-03-11 ����������� ����� ��������� (����) Μεθοδος και συστημα χαρακτηρισμου και χαρτογραφησης αλλοιωσεων των ιστων
EP1414361B1 (en) * 2001-07-27 2014-04-30 Koninklijke Philips N.V. Skin treating device comprising a processor for determination of the radiation pulse dose
US7693563B2 (en) * 2003-01-30 2010-04-06 Chase Medical, LLP Method for image processing and contour assessment of the heart
EP1722705A2 (en) * 2004-03-10 2006-11-22 Depuy International Limited Orthopaedic operating systems, methods, implants and instruments
CA2856932C (en) * 2005-01-19 2015-10-13 William T. Ii Christiansen Devices and methods for identifying and monitoring changes of a suspect area on a patient
DE102005010723A1 (de) * 2005-02-24 2006-08-31 LÜLLAU, Friedrich Bestrahlungsvorrichtung
DE102005020723A1 (de) 2005-05-04 2006-11-09 Wilo Ag Spritzwassergeschütztes Gehäuse
EP1895929B1 (en) * 2005-05-12 2011-05-04 Koninklijke Philips Electronics N.V. Hair-growth control device
US7379531B2 (en) * 2005-06-13 2008-05-27 Siemens Medical Solutions Health Services Corporation Beam therapy treatment user interface monitoring and recording system
US10299871B2 (en) * 2005-09-30 2019-05-28 Restoration Robotics, Inc. Automated system and method for hair removal
CN1326092C (zh) * 2005-10-27 2007-07-11 上海交通大学 手术导航中基于基准面膜的多模式医学图像配准方法
WO2007072356A2 (en) * 2005-12-21 2007-06-28 Koninkijke Philips Electronics N.V. Positioning system for patient monitoring sensors
US20080058782A1 (en) 2006-08-29 2008-03-06 Reliant Technologies, Inc. Method and apparatus for monitoring and controlling density of fractional tissue treatments
AT505356B1 (de) * 2007-06-13 2009-04-15 Lechthaler Andreas Vorrichtung zur bestrahlung eines objektes, insbesondere der menschlichen haut, mit uv-licht
US8251908B2 (en) * 2007-10-01 2012-08-28 Insightec Ltd. Motion compensated image-guided focused ultrasound therapy system
KR20090059667A (ko) 2007-12-07 2009-06-11 (주) 디바이스이엔지 영상인식 자동 레이저치료기 및 그 제어방법
EP2254496B1 (en) * 2008-03-21 2014-01-15 Koninklijke Philips N.V. Hair removal system
CN102149321A (zh) * 2008-09-12 2011-08-10 艾可瑞公司 基于目标移动来控制x光成像
US8848974B2 (en) * 2008-09-29 2014-09-30 Restoration Robotics, Inc. Object-tracking systems and methods
US20100114080A1 (en) * 2008-11-05 2010-05-06 Theriault Richard H Apparatus, system and method for medical treatment
JP5527213B2 (ja) * 2008-11-06 2014-06-18 日本電気株式会社 画像向き判定装置、画像向き判定方法及び画像向き判定プログラム
WO2011004285A1 (en) * 2009-07-09 2011-01-13 Koninklijke Philips Electronics N.V. Skin radiation apparatus and method
KR101138717B1 (ko) 2009-11-17 2012-04-24 재단법인 철원플라즈마 산업기술연구원 피부 진단 및 치료 장치와 이를 이용한 피부 진단 및 치료 방법
US20110130748A1 (en) 2009-11-19 2011-06-02 Follica, Inc. Body surface treatment
US8934605B2 (en) * 2010-02-24 2015-01-13 Accuray Incorporated Gantry image guided radiotherapy system and related treatment delivery methods
US8855751B2 (en) * 2010-02-26 2014-10-07 Empire Technology Development Llc Multidirectional scan and algorithmic skin health analysis
US9454823B2 (en) * 2010-07-28 2016-09-27 arian Medical Systems, Inc. Knowledge-based automatic image segmentation
IT1402430B1 (it) * 2010-09-17 2013-09-04 St Microelectronics Srl "procedimento e dispositivo per l'elaborazione di segnali video, trasmettitore o prodotto informatico relativi"
US20120078088A1 (en) * 2010-09-28 2012-03-29 Point of Contact, LLC. Medical image projection and tracking system
EP2713872A4 (en) * 2011-05-26 2014-10-22 3Derm Systems Llc STEREOSCOPIC DERMATOSCOPE READY TO ROTATE AND INTERNET INTERFACE
US8928747B2 (en) 2011-07-20 2015-01-06 Romello J. Burdoucci Interactive hair grooming apparatus, system, and method
EP2575066B1 (en) * 2011-09-30 2018-11-21 Brainlab AG Assessment of a treatment plan
US11027149B2 (en) 2012-01-12 2021-06-08 Sensus Healthcare, Inc. Hybrid ultrasound-guided superficial radiotherapy system and method
WO2013116240A1 (en) 2012-01-30 2013-08-08 Inneroptic Technology, Inc. Multiple medical device guidance
US10660561B2 (en) * 2012-02-25 2020-05-26 Massachusetts Institute Of Technology Personal skin scanner system
KR101219682B1 (ko) * 2012-03-09 2013-01-15 (주)서울오션아쿠아리움 레이저 조사 시스템 및 이를 포함하는 로봇 레이저 조사기
KR20130133969A (ko) 2012-05-30 2013-12-10 주식회사 센바이텍 영상분석을 통해 자동으로 시술영역 및 조사강도가 조절되는 레이저 시술장치
US9168419B2 (en) * 2012-06-22 2015-10-27 Fitbit, Inc. Use of gyroscopes in personal fitness tracking devices
CN104379049A (zh) * 2012-06-26 2015-02-25 索尼公司 成像控制设备、存储系统及存储介质
JP2014061057A (ja) * 2012-09-20 2014-04-10 Sony Corp 情報処理装置、情報処理方法、プログラム、及び測定システム
JP2015531295A (ja) 2012-10-12 2015-11-02 シネロン ビューティー リミテッド 家庭用美容皮膚処置の方法とシステム
US20140146190A1 (en) 2012-11-28 2014-05-29 Fatemeh Mohammadi Method And System For Automated Or Manual Evaluation To provide Targeted And Individualized Delivery Of Cosmetic Actives In A Mask Or Patch Form
US10010704B2 (en) * 2013-08-23 2018-07-03 Elwha Llc Systems, methods, and devices for delivering treatment to a skin surface
US20150057623A1 (en) * 2013-08-23 2015-02-26 Elwha Llc Systems, Methods, and Devices for Delivering Treatment to a Skin Surface
US11164670B2 (en) * 2015-03-18 2021-11-02 Canfield Scientific, Incorporated Methods and apparatus for identifying skin features of interest

Also Published As

Publication number Publication date
WO2016071325A1 (en) 2016-05-12
ES2973050T3 (es) 2024-06-18
US20180296853A1 (en) 2018-10-18
PL3215219T3 (pl) 2024-05-13
US10722726B2 (en) 2020-07-28
EP3215219B1 (en) 2024-01-10
CN107072552A (zh) 2017-08-18
JP6925400B2 (ja) 2021-08-25
JP2020039894A (ja) 2020-03-19
RU2017119484A (ru) 2018-12-06
RU2675458C2 (ru) 2018-12-19
BR112017009313B1 (pt) 2022-10-04
RU2017119484A3 (ja) 2018-12-06
BR112017009313A2 (pt) 2017-12-19
EP3215219A1 (en) 2017-09-13
JP2017534388A (ja) 2017-11-24
EP3215219C0 (en) 2024-01-10

Similar Documents

Publication Publication Date Title
JP6925400B2 (ja) 皮膚処置システム
CA2931529C (en) 3d corrected imaging
CN105302131B (zh) 借助可自主运行的设备清洁或处理空间的方法
CN106133649B (zh) 使用双目注视约束的眼睛凝视跟踪
Wheeler et al. Stand-off iris recognition system
Koo et al. Deformable registration of a preoperative 3D liver volume to a laparoscopy image using contour and shading cues
US20150029322A1 (en) Method and computations for calculating an optical axis vector of an imaged eye
Burge et al. Estimating 3D tilt from local image cues in natural scenes
JP3802892B2 (ja) 虹彩認証装置
US11295460B1 (en) Methods and systems for registering preoperative image data to intraoperative image data of a scene, such as a surgical scene
JP5001930B2 (ja) 動作認識装置及び方法
TW201112161A (en) Depth mapping based on pattern matching and stereoscopic information
KR102369989B1 (ko) 적외선 이미징을 사용한 색상 식별
US20190384387A1 (en) Area-of-Interest (AOI) Control for Time-of-Flight (TOF) Sensors Used in Video Eyetrackers
US20210256244A1 (en) Method for authentication or identification of an individual
US11770618B2 (en) Systems and methods for obtaining a smart panoramic image
US11882354B2 (en) System for acquisiting iris image for enlarging iris acquisition range
US20230388645A1 (en) Systems and methods for obtaining a smart panoramic image
EP3696592B1 (en) A controller for a microscope, a corresponding method and a microscope system
Zhu et al. Research on the matching algorithm for heterologous image after deformation in the same scene.
KR101135610B1 (ko) 비전 시스템을 이용한 레이저 로봇
JP2023007299A (ja) 人工知能基盤検出モデルに対する学習データを生成するための方法、システムおよび記録媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181101

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190830

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190909

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191118

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200601

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200727

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201222

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210120

R150 Certificate of patent or registration of utility model

Ref document number: 6827922

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250