JP6396658B2 - 立体視ビデオ画像を観察および追跡するためのシステムおよび方法 - Google Patents

立体視ビデオ画像を観察および追跡するためのシステムおよび方法 Download PDF

Info

Publication number
JP6396658B2
JP6396658B2 JP2013542142A JP2013542142A JP6396658B2 JP 6396658 B2 JP6396658 B2 JP 6396658B2 JP 2013542142 A JP2013542142 A JP 2013542142A JP 2013542142 A JP2013542142 A JP 2013542142A JP 6396658 B2 JP6396658 B2 JP 6396658B2
Authority
JP
Japan
Prior art keywords
video
display
tracking
video camera
stereoscopic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013542142A
Other languages
English (en)
Other versions
JP2013545557A (ja
JP2013545557A5 (ja
Inventor
ニール ティー. ジェソップ,
ニール ティー. ジェソップ,
Original Assignee
ウルトラデント プロダクツ インコーポレイテッド
ウルトラデント プロダクツ インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ウルトラデント プロダクツ インコーポレイテッド, ウルトラデント プロダクツ インコーポレイテッド filed Critical ウルトラデント プロダクツ インコーポレイテッド
Publication of JP2013545557A publication Critical patent/JP2013545557A/ja
Publication of JP2013545557A5 publication Critical patent/JP2013545557A5/ja
Application granted granted Critical
Publication of JP6396658B2 publication Critical patent/JP6396658B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00193Optical arrangements adapted for stereoscopic vision
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00188Optical arrangements with focusing or zooming features
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045Control thereof
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/24Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the mouth, i.e. stomatoscopes, e.g. with tongue depressors; Instruments for opening or keeping open the mouth
    • A61B1/247Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the mouth, i.e. stomatoscopes, e.g. with tongue depressors; Instruments for opening or keeping open the mouth with means for viewing areas outside the direct line of sight, e.g. dentists' mirrors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/246Calibration of cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/296Synchronisation thereof; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Endoscopes (AREA)
  • Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)

Description

(背景)
歯科学の実務において有意な科学技術の進歩がなされてきた。これらの進歩は歯科医を訪ねる場合の患者の不安を減少させるだけでなく、より良い患者治療を可能にしている。
進歩的な治療を提供するために歯科医により現在使用されている技術の多くは、患者の口内の非常に細かな詳細を見てそして焦点を合わせる能力を必要とする。拡大ループを有する眼鏡が、十分な詳細を観察するための歯科医の能力を増加するために歯科医によりたびたび使用される。眼鏡は高価かつ重くあり得、歯科医が長い期間着用するには負担となり得る。加えて、拡大ループは眼精疲労およびトンネル視を生じ得、歯科医が拡大された領域および付近の両方を同時に見る能力を減少させる。
その上、患者の口内の腔の領域の所望の観察を得るために、歯科医はたびたび上半身を乗り出し背中を丸めなければならない。そのような姿勢は歯科医に長期の健康問題を生じ得る。自身の姿勢に関して予防の対策を取らない歯科医は、背中の痛みおよび背中に関連するその他の問題により彼らのキャリアを短くし得るかもしくは限定し得る。加えて、これらの損傷は歯科医の歯科医職場の外での人生の質に著しく影響し得る。
本発明は、例えば、以下を提供する:
(項目1)
歯科環境において立体視ビデオ画像を観察および追跡するためのシステムであって、該システムは、
患者の口内の腔の第一のビデオフィードを生成するように構成される第一のビデオカメラと、
該第一のビデオカメラから瞳孔間距離だけ間隔を置かれておりかつ該患者の口内の腔の第二のビデオフィードを生成するように構成される第二のビデオカメラと、
該第一のビデオフィードおよび該第二のビデオフィードそれぞれから近接リアルタイム立体視ビデオ画像を生成するための右ビデオディスプレイおよび左ビデオディスプレイを含む頭に取り付け可能な立体視ディスプレイと、
該第一のビデオカメラおよび該第二のビデオカメラと関連するトラッキングモジュールであって、該トラッキングモジュールは該第一のビデオカメラおよび該第二のビデオカメラを選択されたトラッキング点と相対的な所望の収束点へと向けさせ、それによって該患者の口内の腔、該第一のビデオカメラ、および該第二のビデオカメラのうちの少なくとも一つに関して動きが生じる場合に立体視を維持するように構成される、トラッキングモジュールと、
該第一のビデオカメラおよび該第二のビデオカメラと関連するズーミングモジュールであって、該ズーミングモジュールは該近接リアルタイム立体視ビデオ画像の所望の拡大を提供するように構成される、ズーミングモジュールと、
を含む、システム。
(項目2)
前記瞳孔間距離が約50ミリメートル(mm)から約75mmまでである、項目1に記載のシステム。
(項目3)
前記第一のビデオカメラおよび前記第二のビデオカメラが共にズームするように構成されており、該ズームは光学ズームおよびデジタルズームのうちの少なくとも一つである、項目1に記載のシステム。
(項目4)
前記第一のビデオカメラおよび前記第二のビデオカメラがそれぞれズームし少なくとも約4倍から約10倍までの倍率で画像を提供するように構成される、項目1に記載のシステム。
(項目5)
前記第一のビデオカメラおよび前記第二のビデオカメラがそれぞれズームし少なくとも約1倍から約20倍までの倍率で画像を提供するように構成される、項目1に記載のシステム。
(項目6)
前記第一のビデオカメラおよび前記第二のビデオカメラを前記患者の口内の腔の上に約5インチから約96インチまでの距離で配置することをさらに含む、項目1に記載のシステム。
(項目7)
前記選択されたトラッキング点が光学的に追跡可能なマーカーであって、該光学的に追跡可能なマーカーは、前記第一のビデオカメラおよび前記第二のビデオカメラの方向が該光学的に追跡可能なマーカーの位置の変化に基づいて調節されることを可能にするために前記患者の口内の腔にもしくは前記患者の口内の腔近くに配置されるように構成される、項目1に記載のシステム。
(項目8)
前記選択されたトラッキング点が前記患者の口内の腔にもしくは前記患者の口内の腔近くに位置する歯科レトラクタ上に配置されるように構成される光学的に追跡可能なマーカーである、項目1に記載のシステム。
(項目9)
前記トラッキング点が少なくとも2つの無線周波数マーカーを含み、前記収束点が該少なくとも2つの無線周波数マーカーと相対的に決定される、項目1に記載の方法。
(項目10)
前記収束点が前記トラッキング点からx、y、およびz軸距離を有する仮想的な点であって、該収束点は該トラッキング点が動く場合に該トラッキング点と相対的に維持される、項目1に記載のシステム。
(項目11)
前記収束点が前記トラッキング点にある、項目1に記載のシステム。
(項目12)
前記トラッキング点が、手で持って扱えるほどの大きさの道具上に位置するように構成される可動性のマーカーである、項目1に記載のシステム。
(項目13)
前記第一のビデオカメラおよび前記第二のビデオカメラのうちの少なくとも一つがモーターもしくは複数のモーターに結合され、それによって互いに相対的な該第一のビデオカメラおよび該第二のビデオカメラが向けられる角度が変えられることを可能にし、該角度は前記患者の口内の腔からの該ビデオカメラの距離に少なくともある程度基づいて変えられることにより前記近接リアルタイム立体視ビデオ画像の立体視を該距離と無関係に維持する、項目1に記載のシステム。
(項目14)
前記患者の口内の腔の中の照明を提供するように構成される歯科光源をさらに含み、該照明は前記第一のビデオカメラおよび前記第二のビデオカメラが前記近接リアルタイム立体視ビデオ画像のための選択された被写界深度を維持しながら前記所望の拡大へとズームすることを可能にするために十分である、項目0に記載のシステム。
(項目15)
前記頭に取り付け可能な立体視ディスプレイが分割視野を提供し、それによって操作者が該頭に取り付け可能な立体視ディスプレイを着用しながら自然な付近と前記立体視ビデオ画像の両方を観察することを可能にする、項目0に記載のシステム。
(項目16)
前記第一のビデオフィードおよび前記第二のビデオフィードが前記頭に取り付け可能な立体視ディスプレイとワイヤレスで通信される、項目1に記載のシステム。
(項目17)
前記第一のビデオフィードおよび前記第二のビデオフィードが前記頭に取り付け可能な立体視ディスプレイとワイヤード接続を通して通信される、項目1に記載のシステム。
(項目18)
前記頭に取り付け可能な立体視ディスプレイ上にカルテの一つもしくは複数のページを表示するように構成されるチャート観察モジュールをさらに含む、項目1に記載のシステム。
(項目19)
立体視ビデオ画像を観察および追跡するためのシステムであって、該システムは、
対象の第一のビデオフィードを生成するように構成される第一のビデオカメラと、
該第一のビデオカメラから瞳孔間距離だけ間隔を置かれておりかつ対象の第二のビデオフィードを生成するように構成される第二のビデオカメラと、
該第一のビデオカメラおよび該第二のビデオカメラと関連するトラッキングモジュールであって、該トラッキングモジュールは該第一のビデオカメラおよび該第二のビデオカメラを選択されたトラッキング点と相対的な所望の収束点へと向けさせ、それによって立体視を維持するように構成される、トラッキングモジュールと、
該第一のビデオカメラおよび該第二のビデオカメラと関連するズーミングモジュールであって、該ズーミングモジュールは該近接リアルタイム立体視ビデオ画像の所望の拡大を提供するように構成される、ズーミングモジュールと、
を含む、システム。
(項目20)
前記近接リアルタイム立体視ビデオ画像を表示するように構成されるビデオディスプレイをさらに含む、項目19に記載のシステム。
(項目21)
前記ビデオディスプレイは立体視を生成するために、ユーザーの右眼および左眼それぞれによる観察のための右眼ディスプレイおよび左眼ディスプレイを含む、項目20に記載のシステム。
(項目22)
ビデオディスプレイが単一のビデオスクリーンを含み、前記第一のビデオフィードおよび前記第二のビデオフィードがシャッター分離、偏光分離、および色分離のうちの少なくとも一つを使用して光学的に分離される、項目20に記載のシステム。
(項目23)
前記ビデオディスプレイと同調し、それによって少なくとも一人の観察者が前記光学的に分離された近接リアルタイム立体視ビデオ画像を観察することを可能にするように構成される少なくとも一つの観察眼鏡をさらに含む項目22に記載のシステム。
(項目24)
前記対象が医療環境における患者である、項目19に記載のシステム。
(項目25)
前記患者が歯科患者であり、前記トラッキング点もしくは前記収束点が歯科患者の口内の腔にもしくは歯科患者の口内の腔近くにある、項目19に記載のシステム。
(項目26)
立体視ビデオ画像を観察および追跡するための方法であって、該方法は、
第一のビデオカメラおよび第二のビデオカメラを対象の選択された領域へと向け、それによって該選択された領域の第一のビデオフィードおよび第二のビデオフィードそれぞれを生成することであって、該第一のビデオカメラは該第二のビデオカメラから選択された距離だけ離れており、該第一のビデオカメラおよび該第二のビデオカメラはそれぞれ該選択された領域の立体視を提供するために該選択された領域のもしくは該選択された領域近くの収束点に向けられる、ことと、
該収束点を該対象上のもしくは該対象近くの選択されたトラッキング点と関連付けることと、
該収束点の位置を該選択されたトラッキング点の動きと相対的に調節することと、
近接リアルタイム立体視ビデオ画像を生成するために該第一のビデオフィードおよび該第二のビデオフィードを、該第一のビデオフィードおよび該第二のビデオフィードを光学的に分離するディスプレイシステム上に表示することと、
を含む、方法。
(項目27)
前記対象が医療もしくは歯科患者である、項目26に記載の方法。
(項目28)
前記近接リアルタイム立体視画像の所望の拡大を提供するために、前記第一のビデオカメラおよび前記第二のビデオカメラをズームすることをさらに含む、項目26に記載の方法。
(項目29)
前記第一のビデオフィードを頭に取り付け可能なビデオディスプレイの右ビデオディスプレイ上に、前記第二のビデオフィードを該頭に取り付け可能なビデオディスプレイの左ビデオディスプレイ上に表示することをさらに含む、項目26に記載の方法。
(項目30)
前記第一のビデオフィードおよび前記第二のビデオフィードを共通のディスプレイ上に表示することをさらに含み、該第一のビデオフィードおよび該第二のビデオフィードはシャッター分離、偏光分離、および色分離のうちの少なくとも一つを使用して光学的に分離される、項目26に記載の方法。
(項目31)
前記選択されたトラッキング点が光学的に追跡可能なマーカーを含む、項目26に記載の方法。
(項目32)
前記光学的に追跡可能なマーカーが、前記対象の口内の腔にもしくは前記対象の口内の腔近くに配置される、項目31に記載の方法。
(項目33)
前記光学的に追跡可能なマーカーが歯科レトラクタ上に配置される、項目31に記載の方法。
(項目34)
前記選択されたトラッキング点が、少なくとも2つの無線周波数マーカーと通信するトラッキングトランシーバーを含み、該少なくとも2つの無線周波数マーカーに関しては前記収束点は該トラッキングトランシーバーの位置と相対的に決定される、項目26に記載の方法。
(項目35)
前記収束点が前記トラッキング点からx、y、およびz軸距離を有し、該収束点は該トラッキング点が動く場合に該トラッキング点と相対的に維持される、項目26に記載の方法。
(項目36)
前記選択されたトラッキング点の動きが前記対象が動く場合に生じる、項目26に記載の方法。
(項目37)
前記選択された距離が瞳孔間距離である、項目26に記載の方法。
本発明が開示および記述される前に、本発明は、本明細書内で開示される特定の構造、プロセス、ステップ、もしくは材料に限定されることはなく、関連分野の当業者により認識されるように、その均等物へとおよぶことが理解される。また、本明細書内で使用される用語は具体的な実施形態を記述する目的のみに使用されるのであり、限定する意図のないことが理解される。
予備事項として、多くの考察が本明細書内で歯科職業並びに歯科検査および手順の実行に関することが注意される。しかしながら、これは例示的な目的のみにそうされるのであって、本明細書内で記述されるシステムおよび方法はまた、手術もしくは検査のための所望の部位の高倍率立体視イメージングおよびトラッキングが有益となるその他の医療専門家に適用可能である。例えば、本明細書内のシステムおよび方法は、患者が起きていてかつ動いている場合の最小限の侵襲性手術もしくは敏感な患者の対象の部位の検査のような、動きが生じ得る位置のイメージングに特に有用となり得る。加えて、本開示のシステムおよび方法は一般的に医療職業の外部にある、例えば、研究、指導、微生物学、電子工学、宝石研磨、時計修理などを、本明細書に記述されている方法で観察およびトラッキングすることに適用可能であり得る。
このことに注意して、技術実施形態の最初の概観が下に提供され、それから具体的な技術実施形態がその後にさらに詳細に記述される。この最初の記述は本技術の基礎的な理解を提供することが意図されているのであり、本技術のすべての特徴を識別する意図はなく、また特許請求された主題の範囲を限定する意図もない。
患者の口内の腔を詳細に観察するための歯科医の能力は、一般的に適切な歯科問題の診断および歯科作業のために貴重である。口内の腔の位置の拡大されたビューは、歯科医が、現在患者に利用可能な進歩したかつ複雑な解決策を十分に提供することを可能にし得る。しかしながら、拡大されたビューを得るための典型的な解決策は、一つもしくは複数の拡大ループを有する眼鏡の使用を通してである。拡大ループの使用は、歯科医の眼を疲労させ得、かつ眠気を増加させ得る。加えて、歯科医は患者の口の中の所望の観察角度を得るために、上半身を乗り出すおよび/もしくは前かがみになる必要があり得る。長い期間を通して、このことは歯科医の背中に、姿勢、背中の痛み、および衰弱肉体的ダメージの問題を生じさせ得る。背中の痛みおよび損傷は、歯科医のキャリアの長さを減少させ得、彼もしくは彼女の歯科医職場の外での人生の質にマイナスに影響し得る。
本開示の一実施形態に従って、立体視ビデオ画像を観察するためのシステムおよび方法が開示される。本システムおよび方法は、歯科医が患者の口内の腔の所望のビューを得ることを可能にし、一方で眼精疲労を減少させかつ歯科医が適切な姿勢を維持することを可能にする。医学、電子工学、教育、微生物学のようなその他の分野、もしくは高倍率立体視視覚が有用となり得る任意のその他の分野において、本開示のシステムおよび方法は等しく適用可能であることが注意される。従って、歯科学の考察は例示のみを目的とし、特許請求の範囲で具体的に記載されている場合を除いて限定とみなされることはない。
このことを述べた上で、患者に所望のレベルの治療を提供するために、衛生士、歯科医、口腔外科医、もしくはその他のタイプの歯科専門家は歯科器具を所望の方向に繊細にかつ正確に動かすことが可能でなければならない。典型的に、二次元画像は患者の口内の腔で歯科機器を正確に動かすことを骨の折れるものにし得る。立体視画像の使用は、立体視が維持されることを可能にし、それによって医療専門家が深度を知覚することを可能にし、立体視画像を観察しながら歯科機器が所望の方向に正確に動かされることを可能にする。本明細書内で使用される場合、用語「立体視」は、人間の2つの眼それぞれに投射された2つの光学的に離れた世界の投射の観察から深度の感覚を導く視覚的な知覚のプロセスを指す。
加えて、本明細書内で開示されるシステムおよび方法は、立体視ビデオ画像を観察する複数の人間が同一の観点から、選択された領域を観察することを可能にする。例えば、歯科医および歯科助手はそれぞれ同一の、歯もしくは患者の口内の歯の周囲の領域のような位置の立体視ビデオ画像を観察し得る。歯科医および歯科助手の両方が、領域の立体視ビデオ画像を同一の観点から観察する能力は、歯科助手が要求される通りに歯科医を補助する能力を著しく高め得る。その上、画像はまた、患者もしくは歯科学校の生徒のような追加の人間により観察され得る。患者が歯科医と同一の画像を観察する能力は、歯科医が患者に、彼もしくは彼女の歯の状態、およびこれから実行される手順をより上手に教育することを可能にする。立体視画像を観察することは生徒が、自身の指導者の指導を彼もしくは彼女の見地から学びかつ理解する能力を著しく高め得る。
(図面の簡単な記述)
本開示の特徴および利点は添付の図面と関連して下記の詳細な記述から明瞭となり、下記の詳細な記述と図面は共に本発明の特徴を例として説明する。
図1aは本開示の一実施形態に従った、立体視ビデオ画像を観察するためのシステムのブロック図を説明する。 図1bは本開示の一実施形態に従った、ワイヤレスデータリンクを使用して立体視ビデオ画像を観察するためのシステムのブロック図を説明する。 図1cは本開示の一実施形態に従った、単一の伝送器および受信器を含むワイヤレスデータリンクを使用して立体視ビデオ画像を観察するためのシステムのブロック図を説明する。 図1dは本開示の一実施形態に従った、第一および第二のビデオカメラの位置をアップデートするために使用される単一のモーターを使用して立体視ビデオ画像を観察するためのシステムのブロック図を説明する。 図2は本開示の代替の実施形態に従った、歯科医が患者の口内の腔の近接リアルタイム立体視ビデオ画像を観察するために立体視ディスプレイを使用する例示的な説明を提供する。 図3は本開示の一実施形態に従った、ビデオ画像の立体視を維持するために第一および第二のビデオカメラがビデオカメラの距離に基づいて、選択された対象へとどのような角度で向けられそしてその角度がどのように変化するのかを説明する例示的な図を提供する。 図4は本開示の一実施形態に従った、立体視医療ビデオ画像を観察するための方法のフロー図を描写する。
説明される例示的な実施形態への言及が次になされ、説明される例示的な実施形態を記述するために特定の言葉が本明細書内で使用される。それでもやはり、それによって本発明の範囲の限定が意図されることのないことが理解される。
(詳細な記述)
本発明の一実施形態に従って、図1aの例示的な説明において提供されているような、立体視歯科ビデオ画像を観察するためのシステム100が開示される。本システムは、患者の口内の腔の方へと向けられておりかつ患者の腔内の腔の第一のビデオフィードを生み出すように構成された第一のビデオカメラ102を含む。第二のビデオカメラ104は、第一のビデオカメラ102から選択された距離だけ水平に間隔を置かれ得る。一実施形態において、この水平の間隔は人間の、彼もしくは彼女の左眼および右眼からの視覚にシミュレートするように表示され得る第一のビデオフィードおよび第二のビデオフィードを生成するために、人間の眼と眼の間の間隔をシミュレートし得る。この間隔を瞳孔間距離と呼ぶ。典型的な瞳孔間距離は約50ミリメートル(mm)から約75mmである。代替的に、カメラはより離れた距離だけ間隔を置かれ得、一方で瞳孔間距離で離れて配置されているカメラと類似の画像を生成するために、より離れた距離を光学的に補い得る。
システム100はさらに、立体視ビデオディスプレイ106を含む。一実施形態において、立体視ディスプレイは人間の右眼で観察可能な右ビデオディスプレイおよび人間の左眼で観察可能な左ビデオディスプレイを有する、頭に取り付け可能な立体視ディスプレイであり得る。第一および第二のビデオフィードを左および右ビデオディスプレイに表示することにより、近接リアルタイム立体視ビデオ画像が生成される。
立体視ビデオ画像は、人間の2つの眼の網膜に投射された2つのわずかに異なるビデオ画像から深度の感覚を導く、視覚的な知覚を提供する。深度の感覚を導くこの視覚的な知覚を立体視と呼ぶ。頭に取り付け可能な立体視ディスプレイを使用する場合、第一および第二のビデオ画像の追加のビデオもしくはコンピュータ処理は必要とされない可能性がある。深度の感覚は、例えば瞳孔間距離だけ離れている第一および第二のカメラの、異なる投射により生成される。
深度を知覚するための能力は、患者を扱う歯科医にとって貴重となり得る。適切な深度知覚は、歯科学を実行する場合に、歯科医が小さいが重大な動きをすることを可能にする。以前は、深度知覚を表示するための能力の欠如が、歯科学の実行におけるカメラおよびディスプレイスクリーンの使用を限定していた。ディスプレイに立体視を提供するように構成された2つの別個のカメラを使用して、歯科医は深度の感覚を提供する、結果として生じた立体視ディスプレイを観察し得、それによって歯科医は彼もしくは彼女の、ループもしくはその他の拡大システムを使用した実務の間に学習したものと実質的に同一の手と眼の協調を維持することが可能である。
一実施形態において、第一のビデオカメラ102からの第一のビデオフィードおよび第二のビデオカメラ104からの第二のビデオフィードは、DVI(digital visual interface)ケーブル、HDMI(登録商標)(high−definition multimedia interface)ケーブル、コンポーネントケーブルなどのようなワイヤード通信ケーブルを通して立体視ビデオディスプレイ106へと通信され得る。
代替的に、第一のビデオフィードおよび第二のビデオフィードからの情報は、立体視ビデオディスプレイ106へとワイヤレスで通信され得る。例えば、図1bはビデオディスプレイ106と、第一のビデオカメラ102および第二のビデオカメラ104それぞれとの間にワイヤレスデータリンク142を提供するシステム150を示す。
代替の実施形態が図1cにおいて表示され、そこで第一および第二のビデオフィードはワイヤード接続を経由して単一の伝送器146へと通信される。伝送器は第一および第二のビデオカメラ102、104それぞれからの第一および第二のビデオフィードをビデオディスプレイ106へとワイヤレスで通信142し得る。ビデオディスプレイのワイヤレス受信器144は、伝送器からの第一および第二のビデオフィードを受信しそしてビデオフィードをビデオディスプレイへと通信するために使用され得る。
WirelessHD標準、WiGig(Wireless Gigabit Alliance)、WHDI(Wireless Home Digital Interface)、IEEE(Institute of Electronics and Electrical Engineers)802.15標準、およびUWB(ultrawideband)通信プロトコルを使用して開発された標準を含む、ワイヤレスでビデオフィードを通信するための種々の標準が開発されている。一つもしくは複数の、第一および第二のビデオフィードからのビデオフィード情報が立体視ビデオディスプレイへと伝送されることを可能にするワイヤレス標準が、ワイヤの使用を除去し、そしてユーザーをより自由に動き回れるように開放するために使用され得る。これは立体視ビデオディスプレイ106が頭に取り付け可能な場合に特に有用となり得る。
図1aに戻ると、システム100はまた、第一のビデオカメラ102および第二のビデオカメラ104と通信しているトラッキングモジュール108を含み得る。トラッキングモジュールは、第一のビデオカメラおよび第二のビデオカメラが、選択されたトラッキング点と相対的な所望の収束点へと向けられるようにするように構成される。
トラッキング点は、トラッキング点の動きと相対的にカメラ102、104が向け直されることを可能にする、患者の体上のもしくは患者の体の近くの選択された位置であり得る。例えば、トラッキング点は患者の頭部にある位置であり得る。患者が彼もしくは彼女の頭部を動かすと、ディスプレイスクリーン上の画像が患者の動きによって実質的に変化しないように、カメラは患者と共に動き得る。代替的に、トラッキング点は歯科患者の口内の腔にもしくは歯科患者の口内の腔の近くに位置し得る。例えば、トラッキング点は歯、歯科器具、または患者の口内の腔にもしくは患者の口内の腔の近くに位置する歯科レトラクタ上に位置し得る。
トラッキング点はカメラの位置と相対的に患者の動きが追跡されることを可能にする、任意のタイプのデバイスもしくは対象であり得る。例えば、トラッキングは無線周波数三角測量を使用して達成され得る。複数のトラッキングトランシーバーが患者上にもしくは患者の近くに位置し得る。マーカー(例えば、器具)もまたトランシーバーを含み得る。マーカーの位置に相対的な器具の位置は、トラッキングトランシーバーにおける器具トランシーバーから伝送される追跡シグナルが到着するタイミングに基づいて算出され得る。器具トランシーバーの位置は、理解され得るように、三角法を使用して算出され得る。
もう一つの実施形態において、トラッキング点は異なる有色光もしくは赤外線光源を使用して形成された反射点もしくは光学点のような、光学的に追跡可能なマーカーであり得る。有色光もしくは赤外線光のための光源は一つもしくは複数の、発光ダイオードもしくはレーザーであり得る。トラッキングモジュールは、カメラが光学的に追跡可能なマーカーと相対的に実質的に向けられることを可能にする画像認識ソフトウェアを含み得る。代替的に、赤外線受信器は赤外線光学点の位置を追跡するために使用され得る。
もう一つの実施形態において、位置または人間の鼻孔、眼、もしくはその他の明確な特色のような特徴を認識できる画像認識ソフトウェアが使用され得る。人間の選択された特徴が動く場合、カメラの位置は人間の口内の腔の選択された領域の立体視ビデオ画像を維持するために調節され得る。患者の動きと相対的にビデオカメラの方向を調節する能力は、ビデオカメラが口内の腔の所望の位置の比較的高倍率の拡大を提供することを可能にし得る。
従って、本システムはまたズーミングモジュール110を含み得る。ズーミングモジュールは第一のビデオカメラ102および第二のビデオカメラ104と通信状態にあり得る。ズーミングモジュールは、近接リアルタイム立体視ビデオ画像の所望の拡大を提供するように構成され得る。以前に考察されたように、所望の位置を選択された倍率で観察するための能力は、複雑かつ詳細な手順を実行するために歯科医に有意な利点を提供する。歯科医は典型的に、画像を約4倍に拡大するための拡大ループを有する眼鏡を使用する。しかしながら、本開示の実施形態に従って、ズーミング範囲は第一および第二のビデオカメラのズーミング範囲によってのみ限定される。
特定の一実施形態において、ビデオカメラ102、104は標準画像の1倍から20倍より高い倍率、もしくはそれより高い倍率を提供するように構成され得る。拡大は、光学拡大、デジタルズームのいずれか、もしくはこれら2つの組み合わせの使用を通して達成され得る。立体視ディスプレイは高倍率で、患者の口内の腔の所望の位置の明瞭な焦点合わせされた画像を提供し得る。ビデオカメラは、深度の感覚を導く視覚的な知覚が維持されることを可能にするために実質的に同一の倍率で設置され得る。加えて、カメラが倍率を変化させる速度は、画像が第一および第二のビデオカメラと通信するためのズーミングモジュールを使用してズームインおよびズームアウトされるときに、立体視ビデオ画像の立体視を維持するために実質的に同一となり得る。
一実施形態において、第一および第二のビデオカメラ102、104そして立体視ディスプレイ106は、比較的高い解像度を表示するように構成され得る。例えば、カメラおよびディスプレイは、1280×720ピクセル(幅×高さ)を有する720Pプログレッシブビデオディスプレイ、1920×1080ピクセルを有する1080iインターレースビデオディスプレイ、もしくは1920×1080ピクセルを有する1080pプログレッシブビデオディスプレイを提供するように構成され得る。処理力およびデジタルメモリはムーアの法則に従って指数関数的に増加し続けているので、カメラおよびディスプレイは7680×4320ピクセルを有する4320Pプログレッシブビデオディスプレイのようなさらに高い解像度を提供し得る。より高い解像度をもって、ソフトウェア(デジタルズーム)を使用して、画像は実質的に画質を低下させることなくデジタル拡大を提供するために拡大され得る。従って、ソフトウェアだけがリアルタイム立体視ビデオ画像の所望の拡大レベルを提供するために使用され得る。
図2は、本開示の一実施形態に従って、患者の口内の腔の近接リアルタイム立体視画像を観察するために、歯科医232が頭に取り付け可能な立体視ディスプレイ206を使用している例示的な説明を提供する。第一のビデオカメラ202および第二のビデオカメラ204は、患者234の上の取り付け具242に取り付けられ得る。
光236(例えば、歯科光源)が、患者の口内の腔を照らすために提供され得る。光は、第一のビデオカメラ202および第二のビデオカメラ204が、近接リアルタイム立体視画像のための選択された被写界深度を維持しながら所望の拡大レベルまでズームすることを可能にするための十分な照明を提供し得る。被写界深度は、歯科医が患者の口内の腔の、所望の位置の全体の明瞭な焦点合わせされたビューを有することを可能にするために選択され得る。第一および第二のビデオカメラのアパチャは、ビデオカメラにより提供された倍率が増加する場合に変化し得る。代替的に、光源は、十分に明るくてアパチャの変化が必要とされないようなものであり得る。
第一および第二のビデオカメラ202、204の被写界深度は、患者の口内の腔の長さよりも大きくあり得る。例えば、第一および第二のビデオカメラの被写界深度が典型的な患者の口内の腔の深度の2倍であれば、第一および第二のビデオカメラは、カメラの被写界深度が中心にあると想定すると、患者の口の奥まで明瞭な焦点を維持しながら患者の唇に焦点を合わし得る。
一実施形態において、頭に取り付け可能な立体視ビデオディスプレイ206は、眼鏡の下部分が左および右眼のための別個の高精細ディスプレイを提供する分割視野を提供するように構成され得、歯科医は眼鏡の上から周囲の状況を障害物なく観察し得る。代替的に、眼鏡は、下半分がビデオ画像を提供しかつ眼鏡の上半分が、操作者が頭に取り付け可能な立体視ディスプレイを着用しながら自然な付近もまた観察することが可能であるように実質的に透明であるような、分割ビューに構成され得る。これは、歯科医が患者の口に対して作業をしながら高拡大レベルを使用しており、そして付近の周囲の状況を観察する場合にすぐに拡大のないところへと動くことができるため、特に有用となり得る。
代替的に、頭に取り付け可能な立体視ビデオディスプレイ以外のビデオディスプレイがまた、近接リアルタイム立体視ビデオ画像を表示するために配置され得る。例えば、大きなテレビスクリーンがまた、3次元画像を示すように構成され得る。設置は所望の用途に基づくが、一実施形態において、それは、歯科医232がビデオ画像を観察することが可能な位置である患者234の背後に設置され得る。それはまた、例えば、患者が観察するために、もしくは教育環境で生徒が学習のために観察するために設置され得る。ビデオディスプレイは、観察者が、保護眼鏡を用いても用いなくても立体視ディスプレイ246を3次元画像として観察することが可能であるように構成され得る。
例えば、一実施形態において第一および第二のビデオフィードは、それぞれのビデオフィードがシャッター分離、偏光分離、および色分離のうちの少なくとも一つを使用して光学的に分離され、単一のディスプレイスクリーン246上に表示され得る。一実施形態において、観察者(例えば、歯科医)は、立体視および深度知覚をもって別個の画像を観察するために観察眼鏡を着用し得る。
特定のタイプの観察眼鏡(例えば、シャッター分離を使用するLCD眼鏡)は、観察者が光学的に分離された近接リアルタイム立体視ビデオ画像を観察することを可能にするために、ディスプレイスクリーンと同調し得る。ビデオフィードの光学的な分離は、立体視を生成するために、2つの眼の網膜それぞれに投射された2つのわずかに異なるビデオ画像から、深度の感覚を導く視覚的な知覚を提供する。以前に考察されたように、深度の感覚は歯科医が、彼もしくは彼女の歯科医としての実務の間に学習したものと実質的に同一の手と眼の協調を維持することを可能にする。
立体視ビデオディスプレイ206はまた、患者と関係する情報を観察するために使用され得る。例えば、X線がデジタル化されてビデオディスプレイ上で観察され得る。患者のカルテ情報がまた、表示され得る。これは歯科医が、患者の状態に関する速度にすぐに添うことを可能にし得る。歯科医はまた、患者のカルテに含まれている以前の画像および情報と、患者の現在の状態との間の比較を行い得る。画像はまた、患者、歯科助手などを教育するために使用され得る。
一実施形態において、取り付け具242は関節の動きが可能であるように取り付けられ得るか、もしくは他の態様で高度調節が可能であり得る。ビデオカメラの患者までの距離は、所望に変化し得る。例えば、ビデオカメラは患者の口内の腔の上に、約5インチから約96インチまでの距離で配置し得る。ビデオカメラと患者との間の距離が変化する場合、互いに相対的な第一のビデオカメラおよび第二のビデオカメラが向けられる角度は、近接リアルタイム立体視ビデオ画像の立体視を維持するように調節され得る。
図3は、第一および第二のビデオカメラ302、304の角度が対象からの距離とどのように関連するのかを説明する、例示的な図を提供する。本説明図は一定の縮小比で描かれていないことが注意される。以前に考察されたように、カメラは選択された距離(例えば、瞳孔間距離)だけ離れ得る。一実施形態において、距離dは距離dと実質的に等しくあり得る。この例においては、d=d=30mmである。しかしながら、実際の距離はシステムの必要性に基づいて、例えば、d+d=約50mmから75mmまでの範囲内の値に変化し得る。
選択された対象320もしくは領域(例えば、この例においては歯)を観察するために、第一のビデオカメラ302は垂直線に対して、角度θで対象に向けられる。第二のビデオカメラ304は垂直線に対して、角度θで対象に向けられる。対象がカメラ302、304の間の中心にある場合、必ずしも必要とされることではないが、θは実質的にθと等しい。
第一のビデオカメラ302は角度θに基づいて第一の面310のビデオ画像を生成し得る。第二のビデオカメラ304は角度θに基づいて第二の面312のビデオ画像を生成し得る。第一および第二の面310、312は収束点316と呼ばれる位置で交差する。一実施形態において、収束点はおおよそ対象320の位置に位置するように選択され得る。代替的に、収束点はカメラの被写界深度内にあるように選択され得る。画像が第一および第二のカメラをズームすることにより拡大される場合、収束点は最終的な拡大されたビデオ画像内にあるように選択され得る。
カメラ302、304と対象320との間の距離dが変化する場合、角度θおよびθは収束点がおおよそ同一の位置で維持されるように調節され得る。dの距離は、図2の取り付け具242の位置が患者234と相対的に調節される場合に変化し得る。dの距離はまた、患者が動く場合に変化し得る。
以前に考察されたように、トラッキング点は患者の動きを追跡するために使用され得る。一実施形態において、収束点はトラッキング点と別個にあり得る。例えば、トラッキング点は患者の額上の光学マーカーであり得、そして収束点は患者の歯上の焦点地点であり得る。収束点は、トラッキング点がx、y、およびz軸のうちの少なくとも一つにおいて特定の量だけ動く場合に、収束点がおおよそ同一の距離だけ動き得るようにトラッキング点と関連し得る。代替的に、トラッキング点は収束点と実質的に等しくあり得る。このことは、第一および第二のビデオカメラ302、304により生成された選択された位置のビデオフィードを患者が動く場合でさえ維持し、それによって歯科医が選択された位置の近接リアルタイム立体視ビデオ画像のビューを維持することを可能にする。
図1aに戻ると、第一および第二のビデオカメラ102、104が配置される方向は、各ビデオカメラに機械的に結合されている少なくとも一つの電動モーター112を使用してアップデートされ得る。例えば、単一のモーターが、ビデオカメラの角度を第一の軸に沿って変化させる(例えば、ビデオカメラを回転させる)ように使用され得る。第二のモーターが、ビデオカメラ角度が第二の軸に沿って調節されることを可能にするように使用され得る。一実施形態において、2つのモーターは、各ビデオカメラが所望の方向に向けられるために、各ビデオカメラがxおよびy軸に沿って調節されることを可能にするのに十分である。しかしながら、第三のモーターが、ビデオカメラの位置が第三の軸に沿って調節されることを可能にするように使用され得る。これら3つのモーターは、各ビデオカメラの位置が、実質的に任意の方向に向けられるようにx、y、およびz軸に沿って向け直されることを可能にし得る。
少なくとも一つのモーター112は、第一および第二のビデオカメラの位置をアップデートするためにトラッキングモジュール108と通信し得る。一実施形態において、ユーザーは、少なくとも一つのモーター112と通信状態にあるソフトウェアインタフェースの使用を通して、第一および第二のビデオカメラの位置を手動で作動し得る。
いったんビデオカメラ102、104が所望の方向に設置されると、ユーザーは患者の歯のような選択された領域を観察することが可能となり、その位置は収束点として設定され得る。以前に考察されたように、収束点は選択されたトラッキング点と関連している。トラッキング点の位置は、収束点と関係したおおよそ一対一のトラッキング点の動きがあるように選択され得る。例えば、光学マーカーは患者の額もしくは所与の用途に便利などこか別のところに位置し得る。患者が彼もしくは彼女の頭を動かす場合、額の位置の変化は一般的に、患者の歯の位置の変化と実質的に類似している(歯科医の椅子に座っている間に起こる可能性の低いような一部の不自然なねじれた動きの種類を除く)。従って、トラッキング点が動く場合にカメラの位置は、収束点が患者の歯のような同一の選択された領域上で維持されることを可能にするために、トラッキング点の動きと相対的にアップデートされ得る。歯科医は、顎の開いている角度が実質的に変化しないように、患者の口の腔内に挿入されるレトラクタのような挿入物を使用し得る。一実施形態において、レトラクタを使用する場合、トラッキング点はその上に位置し得るか、もしくは歯、唇、頬、鼻、顎先などのような、口の腔に近接するもしくは口の腔内にあるもう一つの領域上に位置し得る。
第一および第二のビデオカメラ102、104の位置はまた、患者と相対的にそれらの位置を物理的に変化させることにより影響され得る。例えば、図2で考察されているように、カメラは回転、上げ下げ、関節的な動き、もしくはその他の態様で位置を変えられことが可能な取り付け具上に取り付けられ得る。取り付け具を動かすことによりビデオカメラの位置が変化する場合、少なくとも一つのモーター112はビデオカメラを選択された領域に向け直すために使用され得る。一実施形態において、取り付け具の位置は、ビデオカメラを所望の方向に向けるためにモーターと協働で使用され得る。例えば、歯科医はビデオカメラが口内の腔の所望の位置に向けられることを可能にするために、所望の照明を提供しかつビデオカメラを患者の口内の腔に対して位置を整えるようにするために取り付け具を配置し得る。
図1dは、単一のモーター112が第一および第二のビデオカメラ102、104の位置をアップデートするために使用される、もう一つの実施形態の例示的な説明を提供する。単一のモーターは第一および第二のビデオカメラと機械的に結合され得る。例えば、モーターは、モーターがビデオカメラ102、104が向けられている角度を変化させるように使用されることを可能にする一連のギアおよび/もしくはスクリューによって接続され得る。理解され得るように、その他のタイプの機械的な結合がまた使用され得る。モーター112が第一および第二のビデオカメラのうちの一つもしくは両方が向けられている方向をアップデートすることを可能にする任意のタイプの機械的な結合は、本実施形態の範囲内であるとみなされる。
もう一つの実施形態において、図4のフロー図において描写されているように、立体視医療ビデオ画像を観察するための方法400が開示される。本方法は、第一のビデオカメラおよび第二のビデオカメラを患者の選択された領域へと向けること410により、選択された領域のそれぞれの第一のビデオフィードおよび第二のビデオフィードを生成することを含む。第一のビデオカメラは第二のビデオカメラから選択された距離だけ離される。一実施形態において、選択された距離は瞳孔間距離であり得る。代替的に、以前に考察されたように、より離れた距離が選択され得る。第一のビデオカメラおよび第二のビデオカメラはそれぞれ、選択された領域の立体視を提供するために、選択された領域上もしくは選択された領域近くにある収束点へと向けられる。
方法400はさらに、収束点を患者上のもしくは患者の近くの選択されたトラッキング点と関連付けること420を含む。選択されたトラッキング点は、考察されたように、光学的に追跡可能なマーカーを含み得る。一実施形態において、光学的に追跡可能なマーカーは、患者の口内の腔にもしくは患者の口内の腔近くに位置する歯科レトラクタ上に位置し得る。代替的に、選択されたトラッキング点は、トランシーバー(患者上にもしくは患者の近くに位置する少なくとも2つのその他のトランシーバーと相対的なトラッキング点に配置されている)で受信されるシグナルのタイミングに基づいて、選択されたトラッキング点の位置を三角測量するように構成された複数のワイヤレストランシーバーを含み得る。
例えば、一実施形態において外科手術室は、手術室の近辺の異なる位置に配置された4つの別個の無線周波数トランシーバーを含み得る。トラッキングトランシーバーは次に、手術室に入る患者上に位置し得る。トラッキングトランシーバーは手術室に位置するトランシーバーからシグナルを伝送もしくは受信し得る。トラッキングトランシーバーと手術室にある4つのトランシーバーとの間のシグナルのタイミングは、理解され得るように、トラッキングトランシーバーの位置を三角法を使用して三次元に決定するために使用され得る。三角測量計算の精密さは、少なくとも一部においては、トランシーバーの周波数に基づいている。高周波数トランシーバーほど短い波長を有し、それによってトラッキングトランシーバーの位置のより精密な決定を可能にする。増加した精密さはまた、動きの変化を単に追跡することにより得られ得る。トラッキングトランシーバーが室内のトランシーバーのうちの1つに近づき、そしてもう一つから離れる場合、シグナルのタイミングに結果として生じる変化は、トラッキングトランシーバーの位置の変化の実質的に精密な決定を可能にし得る。
方法400はさらに、選択されたトラッキング点の動きと相対的に収束点の位置を調節することを含む。一実施形態において、収束点はトラッキング点からx、y、およびz軸距離を有する仮想的な点として選択され得る。トラッキング点が動かされた場合、第一のビデオカメラおよび第二のビデオカメラはトラッキング点のx、y、およびz軸距離の変化に基づいて、選択された領域の観察を維持するために向け直され得る。例えば、いったん収束点がトラッキング点と相対的に選択されると、トラッキング点はトラッキング点が位置する患者の動きによってx、y、およびz軸それぞれにおいて1インチ動き得る。収束点もまたx、y、およびz軸それぞれにおいて1インチ動かされたことが想定され得、第一および第二のビデオカメラの位置は収束点の位置を新しい位置へと調節するように向け直され得る。
方法400はさらに、近接リアルタイム立体視ビデオ画像を生成するために第一のビデオフィードおよび第二のビデオフィードを光学的に分離するディスプレイシステム上に第一のビデオフィードおよび第二のビデオフィードを表示することを含む。一実施形態において、第一のビデオフィードは頭に取り付け可能なビデオディスプレイの右ビデオディスプレイ上に表示され得、そして第二のビデオフィードは頭に取り付け可能なビデオディスプレイの左ビデオディスプレイ上に表示され得る。右および左ビデオディスプレイはユーザーの右および左眼、それぞれに投射され得る。立体視ビデオ画像は、2つの眼の網膜に投射された2つのわずかに異なるビデオ画像から深度の感覚を導く視覚的な知覚を提供する。
代替的に、第一のビデオフィードおよび第二のビデオフィードは単一のディスプレイ上に表示され得、以前に考察されたように、そこで第一のビデオフィードおよび第二のビデオフィードはシャッター分離、偏光分離、および色分離のうちの少なくとも一つを使用して光学的に分離される。使用される光学分離のタイプによって、ユーザーが単一のディスプレイ上に表示される画像をユーザーの右眼に向けられている第一のビデオフィードとユーザーの左眼に向けられている第二のビデオフィードとに分離すること(もしくはこの逆もまた同様である)を可能にするために眼鏡が使用され得る。
第一のビデオカメラおよび第二のビデオカメラはそれぞれ、近接リアルタイム立体視画像の選択された一部の所望の拡大のレベルを提供するようにズームされ得る。第一および第二のビデオカメラそれぞれの倍率が変化する速度は、立体視ビデオ画像の立体視を維持するために実質的に等しくあり得る。これと同様の理由で、倍率の最終的な量は実質的に等しくあり得る。第一および第二のカメラを使用して立体視ビデオ画像を光学的に拡大することに加えて、理解され得るように、ビデオ画像はデジタル拡大を使用してさらに拡大され得る。
上で本開示のシステムおよび方法が考察されるにあたり、本明細書中で記述される機能的ユニットの多くは、それらのインプリメンテーションの独立性をより大いに強調するために「モジュール」とラベルをはられていることが理解される。例えば、モジュールは、カスタムVLSI回路もしくはゲートアレイを含むハードウェア回路、ロジックチップのようなオフザシェルフ半導体、トランジスタ、もしくはその他の個別部品としてインプリメントされ得る。モジュールはまた、フィールドプログラマブルゲートアレイ、プログラマブルアレイロジック、プログラマブルロジックデバイス、もしくはこれらと同様のもののようなプログラマブルハードウェアデバイスにインプリメントされ得る。
モジュールはまた、種々のタイプのプロセッサによる実行のためのソフトウェアにインプリメントされ得る。実行可能コードの識別されたモジュールは、例えば、コンピュータ命令の一つまたは複数の物理的もしくは論理的ブロックを含み得、それらは例えば、オブジェクト、手順、もしくは機能として編成され得る。それでもやはり、識別されたモジュールの実行可能ファイルは物理的に一箇所に位置する必要はないが異なる位置に記憶された異種の命令を含み得、それらの命令が論理的に繋げられた場合モジュールを構成しそしてモジュールの指定された目的を達成する。
実際は、実行可能コードのモジュールは単一の命令、もしくは複数の命令であり得、そしてさらにはいくつかの異なるコードセグメントに渡り、異なるプログラムの間に、いくつかのメモリデバイスを横断して分散され得る。類似して、動作上のデータは本明細書内においてモジュール内で識別および説明され得、そして任意の適切な形態で具体化され得、任意の適切なタイプのデータ構造内に編成され得る。動作上のデータは単一のデータセットとして集められ得、もしくは異なる記憶デバイスに渡ることを含み異なる位置に渡って分散され得、そして少なくとも部分的に、単にシステム上のもしくはネットワーク上の電子シグナルとして存在し得る。モジュールは所望の機能を実行することが可能なエージェントを含めて、受動的もしくは能動的であり得る。
前述の例は本発明の原理を一つもしくは複数の具体的な用途で例証するが、発明の才能の行使なしに、かつ本発明の原理および概念から逸れることなく、インプリメンテーションの形態、使用法、および詳細において多数の改変が行われ得ることが当業者に明瞭である。従って、以下で明示される特許請求の範囲による場合を除き、本発明が限定される意図はない。

Claims (16)

  1. 立体視ビデオのイメージングおよびトラッキングシステムであって、該システムは、
    口内の腔の第一のビデオフィードを生成するように構成される第一のビデオカメラと、
    該第一のビデオカメラから瞳孔間距離だけ間隔を置かれておりかつ該口内の腔の第二のビデオフィードを生成するように構成される第二のビデオカメラと、
    該第一のビデオカメラおよび該第二のビデオカメラと関連するトラッキングモジュールであって、該トラッキングモジュールは該第一のビデオカメラおよび該第二のビデオカメラを収束点へと向けさせるように構成され、該トラッキングモジュールは、患者の頭部のある位置にあるトラッキング点を有し、該収束点と相対的なトラッキング点を追跡し、それによって、該口内の腔、該第一のビデオカメラ、または該第二のビデオカメラのうちの少なくとも1つに対して動きが生じる場合に立体視を維持するように構成される、トラッキングモジュールと、
    該第一のビデオカメラおよび該第二のビデオカメラと関連するズーミングモジュールであって、該ズーミングモジュールは、該第一のビデオフィードおよび該第二のビデオフィードの立体視ビデオ画像の拡大を提供するように構成される、ズーミングモジュールと、
    を含み、
    該トラッキング点が移動する場合に、該収束点は、該トラッキング点に相対的に移動する、システム。
  2. 前記立体視ビデオ画像を表示するように構成されるビデオディスプレイ、
    該立体視ビデオ画像を表示するように構成されるビデオディスプレイであって、該ビデオディスプレイは立体視を生成するために、ユーザーの右眼および左眼それぞれによる観察のための右眼ディスプレイおよび左眼ディスプレイを含む、ビデオディスプレイ、
    該立体視ビデオ画像を表示するように構成されるビデオディスプレイであって、該ビデオディスプレイが単一のビデオスクリーンを含み、前記第一のビデオフィードおよび前記第二のビデオフィードがシャッター分離、偏光分離、および色分離のうちの少なくとも一つを使用して光学的に分離される、ビデオディスプレイ、または
    該立体視ビデオ画像を表示するように構成されるビデオディスプレイであって、該ビデオディスプレイが単一のビデオスクリーンを含み、前記第一のビデオフィードおよび前記第二のビデオフィードがシャッター分離、偏光分離、および色分離のうちの少なくとも一つを使用して光学的に分離され、該ビデオディスプレイは、該ビデオディスプレイと同調し、それによって少なくとも一人の観察者が前記光学的に分離された立体視ビデオ画像を観察することを可能にするように構成される少なくとも一つの観察眼鏡をさらに含む、ビデオディスプレイをさらに含む、請求項1に記載のシステム。
  3. 前記第一のビデオフィードおよび前記第二のビデオフィードそれぞれから立体視ビデオ画像を生成するための右ビデオディスプレイおよび左ビデオディスプレイを含む頭に取り付け可能な立体視ディスプレイをさらに含む、請求項1に記載のシステム。
  4. 前記瞳孔間距離が約50ミリメートル(mm)から約75mmまでである、請求項1に記載のシステム。
  5. 前記第一のビデオカメラおよび前記第二のビデオカメラが、
    共にズームするように構成されており、該ズームは光学ズームおよびデジタルズームのうちの少なくとも一つであるか、
    それぞれズームし少なくとも約4倍から約10倍までの倍率で画像を提供するように構成されるか、または
    それぞれズームし少なくとも約1倍から約20倍までの倍率で画像を提供するように構成される、
    請求項1に記載のシステム。
  6. 前記トラッキング点が
    光学的に追跡可能なマーカーであり、該光学的に追跡可能なマーカーは、前記第一のビデオカメラおよび前記第二のビデオカメラの方向が該光学的に追跡可能なマーカーの位置の変化に基づいて調節されることを可能にするために前記口内の腔にもしくは該口内の腔近くに配置されるように構成されるか、または
    少なくとも2つの無線周波数マーカーに関連する仮想的なトラッキング点であり、前記収束点が該少なくとも2つの無線周波数マーカーと相対的に決定される、
    請求項1に記載のシステム。
  7. 前記収束点が、
    a)前記トラッキング点からx、y、およびz軸距離を有する仮想的な点であり、該収束点は該トラッキング点が動く場合に該トラッキング点と相対的に維持されるか、または
    b)前記トラッキング点にある、
    請求項1に記載のシステム。
  8. 前記第一のビデオカメラおよび前記第二のビデオカメラのうちの少なくとも一つが一つのモーターもしくは複数のモーターに結合され、それによって互いに相対的な該第一のビデオカメラおよび該第二のビデオカメラが向けられる角度が変えられることを可能にし、該角度は前記口内の腔からの該ビデオカメラの距離に少なくとも部分的に基づいて変えられることにより前記近接リアルタイム立体視ビデオ画像の立体視を該距離と無関係に維持する、請求項1に記載のシステム。
  9. 前記口内の腔の中の照明を提供するように構成される歯科光源をさらに含み、該照明は前記第一のビデオカメラおよび前記第二のビデオカメラが前記近接リアルタイム立体視ビデオ画像のための被写界深度を維持しながら前記拡大へとズームすることを可能にするために十分である、請求項1に記載のシステム。
  10. 前記頭に取り付け可能な立体視ディスプレイが分割視野を提供し、それによって操作者が該頭に取り付け可能な立体視ディスプレイを着用しながら自然な付近と前記立体視ビデオ画像の両方を観察することを可能にする、請求項3に記載のシステム。
  11. 前記第一のビデオフィードおよび前記第二のビデオフィードが前記頭に取り付け可能な立体視ディスプレイとワイヤレスで通信されるか、または該第一のビデオフィードおよび該第二のビデオフィードが該頭に取り付け可能な立体視ディスプレイとワイヤード接続を通して通信される、請求項3に記載のシステム。
  12. 前記頭に取り付け可能な立体視ディスプレイ上にチャートの一つもしくは複数のページを表示するように構成されるチャート観察モジュールをさらに含む、請求項3に記載のシステム。
  13. 立体視ビデオのイメージングおよびトラッキングシステムの動作制御方法であって、該システムは、トラッキングモジュールと、ディスプレイシステムとを備え、該方法は、
    該トラッキングモジュールが、第一のビデオカメラおよび第二のビデオカメラを口内の腔の選択された領域へと向け、それによって該選択された領域の第一のビデオフィードおよび第二のビデオフィードそれぞれを生成することであって、該第一のビデオカメラは該第二のビデオカメラから選択された距離だけ離れており、該第一のビデオカメラおよび該第二のビデオカメラはそれぞれ該選択された領域のもしくは該選択された領域近くの収束点に向けられ、該トラッキングモジュールは、患者の頭部のある位置にある選択されたトラッキング点を有し、該収束点と相対的な選択されたトラッキング点を追跡し、それによって、該口内の腔、該第一のビデオカメラ、または該第二のビデオカメラのうちの少なくとも1つに対して動きが生じる場合に該選択された領域の立体視を提供するように構成され、該選択されたトラッキング点が移動する場合に、該収束点は、該選択されたトラッキング点に相対的に移動する、ことと、
    該トラッキングモジュールが、該収束点の位置を該選択されたトラッキング点の動きと相対的に調節することと、
    該ディスプレイシステムが、該第一のビデオフィードおよび該第二のビデオフィードを表示することであって、該ディスプレイシステムは、立体視ビデオ画像を生成するために該第一のビデオフィードおよび該第二のビデオフィードを光学的に分離する、ことと、
    を含む、方法。
  14. 前記システムは、ズーミングモジュールをさらに備え、
    前記方法は、
    前記立体視画像の拡大を提供するために、該ズーミングモジュールが、前記第一のビデオカメラおよび前記第二のビデオカメラをズームすること、および
    前記ディスプレイシステムが、前記第一のビデオフィードを該ディスプレイシステムの頭に取り付け可能なビデオディスプレイの右ビデオディスプレイ上に、前記第二のビデオフィードを該頭に取り付け可能なビデオディスプレイの左ビデオディスプレイ上に表示すること、または、該ディスプレイシステムが、前記第一のビデオフィードおよび前記第二のビデオフィードを該ディスプレイシステムの共通のディスプレイ上に表示すること
    をさらに含み、該第一のビデオフィードおよび該第二のビデオフィードはシャッター分離、偏光分離、および色分離のうちの少なくとも一つを使用して光学的に分離される、請求項13に記載の方法。
  15. 前記選択されたトラッキング点が光学的に追跡可能なマーカーを含むか、
    前記選択されたトラッキング点が光学的に追跡可能なマーカーを含み、該光学的に追跡可能なマーカーが、前記口内の腔にもしくは該口内の腔近くに配置されるか、または
    前記選択されたトラッキング点が、少なくとも2つの無線周波数マーカーと通信するトラッキングトランシーバーを含み、該少なくとも2つの無線周波数マーカーに関しては前記収束点は該トラッキングトランシーバーの位置と相対的に決定される、
    請求項13に記載の方法。
  16. 前記収束点が前記トラッキング点からx、y、およびz軸距離を有し、該収束点は該トラッキング点が動く場合に該トラッキング点と相対的に維持される、請求項13に記載の方法。
JP2013542142A 2010-12-02 2011-11-30 立体視ビデオ画像を観察および追跡するためのシステムおよび方法 Active JP6396658B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US41918610P 2010-12-02 2010-12-02
US61/419,186 2010-12-02
PCT/US2011/062667 WO2012075155A2 (en) 2010-12-02 2011-11-30 System and method of viewing and tracking stereoscopic video images

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2017057105A Division JP2017119160A (ja) 2010-12-02 2017-03-23 立体視ビデオ画像を観察および追跡するためのシステムおよび方法

Publications (3)

Publication Number Publication Date
JP2013545557A JP2013545557A (ja) 2013-12-26
JP2013545557A5 JP2013545557A5 (ja) 2015-01-15
JP6396658B2 true JP6396658B2 (ja) 2018-09-26

Family

ID=46172540

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2013542142A Active JP6396658B2 (ja) 2010-12-02 2011-11-30 立体視ビデオ画像を観察および追跡するためのシステムおよび方法
JP2017057105A Withdrawn JP2017119160A (ja) 2010-12-02 2017-03-23 立体視ビデオ画像を観察および追跡するためのシステムおよび方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2017057105A Withdrawn JP2017119160A (ja) 2010-12-02 2017-03-23 立体視ビデオ画像を観察および追跡するためのシステムおよび方法

Country Status (8)

Country Link
US (3) US9545188B2 (ja)
EP (1) EP2647210A4 (ja)
JP (2) JP6396658B2 (ja)
CN (1) CN103238339B (ja)
AU (1) AU2011336647B2 (ja)
BR (1) BR112013013565B1 (ja)
MX (1) MX2013006104A (ja)
WO (1) WO2012075155A2 (ja)

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007136745A2 (en) 2006-05-19 2007-11-29 University Of Hawaii Motion tracking system for real time adaptive imaging and spectroscopy
BR112013013565B1 (pt) 2010-12-02 2021-11-23 Ultradent Products Inc Sistema e método de visualização e rastreamento de imagens de vídeo estereoscópicas
EP2747641A4 (en) 2011-08-26 2015-04-01 Kineticor Inc METHOD, SYSTEMS AND DEVICES FOR SCAN INTERNAL MOTION CORRECTION
JP5904750B2 (ja) * 2011-10-14 2016-04-20 オリンパス株式会社 立体内視鏡装置
US9480539B2 (en) * 2011-11-03 2016-11-01 James Ortlieb Viewing system and viewing method for assisting user in carrying out surgery by identifying a target image
US20130295518A1 (en) * 2012-03-29 2013-11-07 William S. Parker Apparatus and Method for Achieving a Head Up Posture for a 3-D Video Image for Operative Procedures in Dentistry
AU2013202775B2 (en) 2012-06-01 2015-09-17 Ultradent Products, Inc. Stereoscopic video imaging
DE102012108039B4 (de) * 2012-08-30 2022-05-05 Renfert Gmbh Dentaltechnikbilderfassungsvorrichtung
US9305365B2 (en) 2013-01-24 2016-04-05 Kineticor, Inc. Systems, devices, and methods for tracking moving targets
US10327708B2 (en) * 2013-01-24 2019-06-25 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
WO2014120734A1 (en) 2013-02-01 2014-08-07 Kineticor, Inc. Motion tracking system for real time adaptive motion compensation in biomedical imaging
WO2014175223A1 (ja) 2013-04-22 2014-10-30 ローム株式会社 癌診断装置、診断システム、診断装置
JP6560485B2 (ja) * 2014-04-17 2019-08-14 ローム株式会社 診断システム
DE102013110543A1 (de) * 2013-09-24 2015-03-26 Karl Storz Gmbh & Co. Kg Vorrichtung zum Aufnehmen eines Bildes eines Objektfelds an einem menschlichen oder tierischen Körper
CN105765971A (zh) * 2013-11-27 2016-07-13 尤特瑞登特生产公司 物理位置之间的视频交互
US10424115B2 (en) 2014-04-24 2019-09-24 Christof Ellerbrock Head-worn platform for integrating virtuality with reality
FR3021518A1 (fr) * 2014-05-27 2015-12-04 Francois Duret Dispositif de visualisation pour faciliter la mesure et le diagnostic 3d par empreinte optique en dentisterie
CN106714681A (zh) 2014-07-23 2017-05-24 凯内蒂科尔股份有限公司 用于在医学成像扫描期间追踪和补偿患者运动的系统、设备和方法
FR3032282B1 (fr) * 2015-02-03 2018-09-14 Francois Duret Dispositif de visualisation de l'interieur d'une bouche
US10359215B2 (en) * 2015-08-06 2019-07-23 Edisun Microgrids, Inc. Heliostat array intensity and polarization tracking
FR3042610B1 (fr) 2015-10-14 2018-09-07 Quantificare Dispositif et procede pour reconstruire en trois dimensions la tete et le corps
CA3004167C (en) * 2015-11-03 2019-02-05 Synaptive Medical (Barbados) Inc. Dual zoom and dual field-of-view microscope
JPWO2017199926A1 (ja) * 2016-05-17 2019-10-10 カイロス株式会社 内視鏡装置
US10245507B2 (en) * 2016-06-13 2019-04-02 Sony Interactive Entertainment Inc. Spectator management at view locations in virtual reality environments
US11839433B2 (en) 2016-09-22 2023-12-12 Medtronic Navigation, Inc. System for guided procedures
JP6756040B2 (ja) 2016-10-03 2020-09-16 バーブ サージカル インコーポレイテッドVerb Surgical Inc. ロボット手術のための没入型三次元表示
JP2018099297A (ja) * 2016-12-20 2018-06-28 ソニー株式会社 制御装置、制御方法、及び医療用観察システム
CN108616744B (zh) * 2017-01-23 2019-12-20 上海爱观视觉科技有限公司 一种仿生双眼视觉校准系统及校准方法
FI20175247A (fi) 2017-03-17 2018-09-18 Planmeca Oy Hammashoitokoneen operaatiovalaisin
US11944272B2 (en) 2017-12-07 2024-04-02 Medtronic Xomed, Inc. System and method for assisting visualization during a procedure
WO2020192021A1 (en) * 2019-03-27 2020-10-01 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Three-dimensional tracking using hemispherical or spherical visible light-depth images
US11623086B2 (en) 2020-01-24 2023-04-11 Medtronic Xomed, Inc. System and method for therapy
US11167127B2 (en) 2020-01-24 2021-11-09 Medtronic Xomed, Inc. System and method for therapy
US11666755B2 (en) 2020-01-24 2023-06-06 Medtronic Xomed, Inc. System and method for therapy
US11167140B2 (en) 2020-01-24 2021-11-09 Medtronic Xomed, Inc. System and method for therapy
JP7307986B1 (ja) 2022-06-08 2023-07-13 株式会社吉田製作所 マイクロスコープ
CN115381386B (zh) * 2022-08-29 2024-04-09 湖南省华芯医疗器械有限公司 一种远端可翻转的摄像模组、内窥镜及内窥镜的控制方法

Family Cites Families (84)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5123726A (en) 1989-10-14 1992-06-23 Concept Vision Systems, Inc. Stereoscopic viewing system and method
US5124797A (en) 1990-07-20 1992-06-23 New Image Industries, Inc. Modular view lens attachment for micro video imaging camera
US5151722A (en) 1990-11-05 1992-09-29 The Johns Hopkins University Video display on spectacle-like frame
US6006126A (en) 1991-01-28 1999-12-21 Cosman; Eric R. System and method for stereotactic registration of image scan data
US6675040B1 (en) 1991-01-28 2004-01-06 Sherwood Services Ag Optical object tracking system
US5662111A (en) 1991-01-28 1997-09-02 Cosman; Eric R. Process of stereotactic optical navigation
US6405072B1 (en) 1991-01-28 2002-06-11 Sherwood Services Ag Apparatus and method for determining a location of an anatomical target with reference to a medical apparatus
FR2699296B1 (fr) 1992-12-14 1994-12-30 Olivier Boute Dispositif de prise de vues triscopiques.
US5539422A (en) 1993-04-12 1996-07-23 Virtual Vision, Inc. Head mounted display system
US5961456A (en) * 1993-05-12 1999-10-05 Gildenberg; Philip L. System and method for displaying concurrent video and reconstructed surgical views
JPH0723429A (ja) 1993-07-05 1995-01-24 Canon Inc 複眼撮像装置
US5864360A (en) 1993-08-26 1999-01-26 Canon Kabushiki Kaisha Multi-eye image pick-up apparatus with immediate image pick-up
US5543816A (en) 1993-10-07 1996-08-06 Virtual Vision Head mounted display system with aspheric optics
JPH07275202A (ja) * 1994-04-11 1995-10-24 Yoshida Dental Mfg Co Ltd 歯科治療ユニット
EP0908754A3 (en) * 1994-04-21 2000-04-12 Sega Enterprises, Ltd. Head mounted display
JPH0821975A (ja) * 1994-07-06 1996-01-23 Olympus Optical Co Ltd 頭部装着型映像表示システム
US5991085A (en) * 1995-04-21 1999-11-23 I-O Display Systems Llc Head-mounted personal visual display apparatus with image generator and holder
US5825540A (en) 1996-04-22 1998-10-20 Raytheon Company Autostereoscopic display and method
JPH10210506A (ja) 1997-01-22 1998-08-07 Sony Corp 3次元画像情報入力装置および3次元画像情報入出力装置
IL120135A0 (en) 1997-02-03 1997-06-10 Dentop Systems Ltd A video system for three dimensional imaging and photogrammetry
US5898520A (en) 1997-02-11 1999-04-27 Raytheon Company Three-dimensional imaging system having a polarizing filter
DE19836681B4 (de) * 1997-09-19 2008-03-27 Carl Zeiss Ag Stereoskopisches Aufnahme- und Wiedergabesystem
US6219186B1 (en) 1998-04-06 2001-04-17 Optimize Incorporated Compact biocular viewing system for an electronic display
JP2000163558A (ja) * 1998-11-27 2000-06-16 Mitsubishi Electric Corp 位置合わせ装置
DE10027166B4 (de) 1999-05-31 2007-03-08 Pentax Corp. Stereoskopmikroskop
JP3605315B2 (ja) 1999-05-31 2004-12-22 ペンタックス株式会社 立体視顕微鏡
US6480174B1 (en) 1999-10-09 2002-11-12 Optimize Incorporated Eyeglass-mount display having personalized fit module
US6757068B2 (en) * 2000-01-28 2004-06-29 Intersense, Inc. Self-referenced tracking
US6891518B2 (en) * 2000-10-05 2005-05-10 Siemens Corporate Research, Inc. Augmented reality visualization device
JP2002142233A (ja) 2000-11-01 2002-05-17 Hitoshi Ishida 立体画像を提供するための画像提供装置および画像提供方法、受信装置および受信方法、並びに立体画像を提供するための立体画像提供システムおよび立体画像提供方法。
US6774869B2 (en) 2000-12-22 2004-08-10 Board Of Trustees Operating Michigan State University Teleportal face-to-face system
US6900777B1 (en) 2001-01-03 2005-05-31 Stryker Corporation Infrared audio/video interface for head-mounted display
JP2002232913A (ja) 2001-01-31 2002-08-16 Canon Inc 複眼カメラ及び立体視画像観察システム
US6583808B2 (en) 2001-10-04 2003-06-24 National Research Council Of Canada Method and system for stereo videoconferencing
US20040238732A1 (en) 2001-10-19 2004-12-02 Andrei State Methods and systems for dynamic virtual convergence and head mountable display
EP1486077A4 (en) 2002-03-18 2008-03-26 Sarcos Invest Lc MINIATURIZED IMAGING DEVICE
US6856314B2 (en) 2002-04-18 2005-02-15 Stmicroelectronics, Inc. Method and system for 3D reconstruction of multiple views with altering search path and occlusion modeling
US20030207227A1 (en) * 2002-05-02 2003-11-06 Align Technology, Inc. Systems and methods for treating patients
JP4262454B2 (ja) * 2002-07-30 2009-05-13 オリンパス株式会社 手術用観察装置
AU2004237202A1 (en) 2003-04-30 2004-11-18 D4D Technologies, Llc Intra-oral imaging system
US20040224279A1 (en) 2003-05-06 2004-11-11 Ormco Corporation Dental display system
JP2005051472A (ja) 2003-07-28 2005-02-24 Nikon Corp 自動撮影制御装置、自動撮影用プログラム、カメラ
WO2005070319A1 (en) 2004-01-22 2005-08-04 Smith & Nephew, Inc. Methods, systems, and apparatuses for providing patient-mounted surgical navigational sensors
CA2561274C (en) 2004-03-26 2015-08-11 Atsushi Takahashi Three-dimensional digital entity magnifying glass system incorporating three-dimensional visual training functions
JP4373286B2 (ja) * 2004-05-06 2009-11-25 オリンパス株式会社 頭部装着型表示装置
US7436568B1 (en) 2004-08-17 2008-10-14 Kuykendall Jr Jacob L Head mountable video display
JP5173130B2 (ja) 2004-10-20 2013-03-27 富士フイルム株式会社 電子内視鏡装置
US20060082647A1 (en) 2004-10-20 2006-04-20 Fuji Photo Film Co., Ltd. Electronic endoscope apparatus
US8358330B2 (en) * 2005-10-21 2013-01-22 True Vision Systems, Inc. Stereoscopic electronic microscope workstation
WO2007066249A2 (en) 2005-12-09 2007-06-14 Koninklijke Philips Electronics, N.V. Model-based flow analysis and visualization
US20070236514A1 (en) 2006-03-29 2007-10-11 Bracco Imaging Spa Methods and Apparatuses for Stereoscopic Image Guided Surgical Navigation
JP5055500B2 (ja) 2006-04-04 2012-10-24 並木精密宝石株式会社 治療用アンテナプローブとその使用方法及び電磁治療システム
JP5228305B2 (ja) 2006-09-08 2013-07-03 ソニー株式会社 表示装置、表示方法
TW200838292A (en) * 2007-03-14 2008-09-16 Ming-Yan Lin Visual space point recognition method
US20080239080A1 (en) 2007-03-26 2008-10-02 Moscato Jonathan D Head-mounted rear vision system
WO2009012413A1 (en) 2007-07-17 2009-01-22 Carnegie Mellon University Multiple resolution video network with eye tracking based control
KR100926127B1 (ko) 2007-10-25 2009-11-11 포항공과대학교 산학협력단 복수 카메라를 이용한 실시간 입체 영상 정합 시스템 및 그방법
JP5483518B2 (ja) * 2007-12-27 2014-05-07 株式会社モリタ製作所 診療表示装置、診療装置及び診療用表示装置
US8615383B2 (en) * 2008-01-18 2013-12-24 Lockheed Martin Corporation Immersive collaborative environment using motion capture, head mounted display, and cave
US8624924B2 (en) * 2008-01-18 2014-01-07 Lockheed Martin Corporation Portable immersive environment using motion capture and head mounted display
WO2009094646A2 (en) * 2008-01-24 2009-07-30 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for image guided ablation
US9772689B2 (en) 2008-03-04 2017-09-26 Qualcomm Incorporated Enhanced gesture-based image manipulation
WO2009116663A1 (ja) 2008-03-21 2009-09-24 Takahashi Atsushi 三次元デジタル拡大鏡手術支援システム
US8477175B2 (en) 2009-03-09 2013-07-02 Cisco Technology, Inc. System and method for providing three dimensional imaging in a network environment
US8939894B2 (en) * 2009-03-31 2015-01-27 Intuitive Surgical Operations, Inc. Three-dimensional target devices, assemblies and methods for calibrating an endoscopic camera
US8287127B2 (en) * 2009-04-03 2012-10-16 Seiko Epson Corporation Aerial three-dimensional image display systems
JP5333067B2 (ja) * 2009-08-31 2013-11-06 ソニー株式会社 画像表示装置及び頭部装着型ディスプレイ
JP5683803B2 (ja) 2009-11-19 2015-03-11 株式会社吉田製作所 治療用口腔観察装置
EP2555530A1 (en) 2010-03-29 2013-02-06 Panasonic Corporation Video processing device
US9479759B2 (en) * 2010-03-29 2016-10-25 Forstgarten International Holding Gmbh Optical stereo device and autofocus method therefor
WO2011134083A1 (en) * 2010-04-28 2011-11-03 Ryerson University System and methods for intraoperative guidance feedback
US8564641B1 (en) 2010-06-11 2013-10-22 Lucasfilm Entertainment Company Ltd. Adjusting stereo images
JP2012015661A (ja) 2010-06-29 2012-01-19 Fujifilm Corp 撮像装置及び撮像方法
JP5688543B2 (ja) * 2010-07-20 2015-03-25 パナソニックIpマネジメント株式会社 立体画像撮像装置および立体画像撮像装置におけるレンズ駆動方法
US8493206B2 (en) 2010-07-30 2013-07-23 Gravity Jack, Inc. Augmented reality and location determination methods and apparatus
US20120069143A1 (en) 2010-09-20 2012-03-22 Joseph Yao Hua Chu Object tracking and highlighting in stereoscopic images
BR112013013565B1 (pt) 2010-12-02 2021-11-23 Ultradent Products Inc Sistema e método de visualização e rastreamento de imagens de vídeo estereoscópicas
AU2011205223C1 (en) 2011-08-09 2013-03-28 Microsoft Technology Licensing, Llc Physical interaction with virtual objects for DRM
US9077846B2 (en) 2012-02-06 2015-07-07 Microsoft Technology Licensing, Llc Integrated interactive space
AU2013202775B2 (en) * 2012-06-01 2015-09-17 Ultradent Products, Inc. Stereoscopic video imaging
US9110503B2 (en) * 2012-11-30 2015-08-18 WorldViz LLC Precision position tracking device
JP6252004B2 (ja) * 2013-07-16 2017-12-27 セイコーエプソン株式会社 情報処理装置、情報処理方法、および、情報処理システム
KR20160033721A (ko) * 2013-07-16 2016-03-28 세이코 엡슨 가부시키가이샤 정보 처리 장치, 정보 처리 방법 및, 정보 처리 시스템
US10154239B2 (en) * 2014-12-30 2018-12-11 Onpoint Medical, Inc. Image-guided surgery with surface reconstruction and augmented reality visualization

Also Published As

Publication number Publication date
EP2647210A2 (en) 2013-10-09
JP2013545557A (ja) 2013-12-26
US20190099068A1 (en) 2019-04-04
BR112013013565B1 (pt) 2021-11-23
US20140055563A1 (en) 2014-02-27
AU2011336647A1 (en) 2013-04-04
US9545188B2 (en) 2017-01-17
AU2011336647B2 (en) 2015-02-12
CN103238339B (zh) 2015-12-09
MX2013006104A (es) 2013-09-02
CN103238339A (zh) 2013-08-07
WO2012075155A2 (en) 2012-06-07
WO2012075155A3 (en) 2013-03-28
JP2017119160A (ja) 2017-07-06
US10716460B2 (en) 2020-07-21
US20170079512A1 (en) 2017-03-23
EP2647210A4 (en) 2014-04-16
BR112013013565A2 (pt) 2016-10-11
US10154775B2 (en) 2018-12-18

Similar Documents

Publication Publication Date Title
US10716460B2 (en) Stereoscopic video imaging and tracking system
US11856178B2 (en) Stereoscopic video imaging
US11336804B2 (en) Stereoscopic visualization camera and integrated robotics platform
EP3146715B1 (en) Systems and methods for mediated-reality surgical visualization
US12062430B2 (en) Surgery visualization theatre
EP2903551B1 (en) Digital system for surgical video capturing and display
US20140285632A1 (en) Imaging device and method
JP2021000438A (ja) 撮像システムおよび観察方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141119

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20141119

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150812

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150817

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151113

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160506

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20161202

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170323

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20170509

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20170728

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180427

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180628

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180830

R150 Certificate of patent or registration of utility model

Ref document number: 6396658

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250