JP4615897B2 - 超音波イメージングで使用するための自動注釈埋め込み装置のシステム及び方法 - Google Patents

超音波イメージングで使用するための自動注釈埋め込み装置のシステム及び方法 Download PDF

Info

Publication number
JP4615897B2
JP4615897B2 JP2004158507A JP2004158507A JP4615897B2 JP 4615897 B2 JP4615897 B2 JP 4615897B2 JP 2004158507 A JP2004158507 A JP 2004158507A JP 2004158507 A JP2004158507 A JP 2004158507A JP 4615897 B2 JP4615897 B2 JP 4615897B2
Authority
JP
Japan
Prior art keywords
command
annotation
ultrasound
keyboard
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004158507A
Other languages
English (en)
Other versions
JP2004351212A5 (ja
JP2004351212A (ja
Inventor
リホン・パン
ジョン・ティー・ドーアティ
ローレンス・エム・ユドコヴィッチ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GE Medical Systems Global Technology Co LLC
Original Assignee
GE Medical Systems Global Technology Co LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GE Medical Systems Global Technology Co LLC filed Critical GE Medical Systems Global Technology Co LLC
Publication of JP2004351212A publication Critical patent/JP2004351212A/ja
Publication of JP2004351212A5 publication Critical patent/JP2004351212A5/ja
Application granted granted Critical
Publication of JP4615897B2 publication Critical patent/JP4615897B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/467Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/467Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
    • A61B8/468Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means allowing annotation or message recording
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461Displaying means of special interest
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
    • G10L2015/228Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of application context

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Description

本発明は、全般的には超音波イメージングの方法及びシステムに関する。本発明は、より具体的には、コンピュータ・キーボード及び/または音声認識テクノロジを用いて超音波走査の間に画像注釈を自動的に埋め込むための方法及びシステムに関する。
典型的な超音波走査の間では、走査している解剖部位、患者に対するプローブの向き、並びに画像内にある任意の異常な解剖的特徴を示すために、超音波検査技師はしばしばその画像上に注釈を打ち込むことが必要となる。この画像は、医師が後で検討したり、さらに診断をするために、重ね合わせた注釈と一緒に保存している。こうした画像及び注釈は患者の病歴の一部となる。
米国特許第5545654号 日本特許公表公報2003506172 日本特許公表公報2001511250 米国特許公開公報20040015079 米国特許公開公報20030036411
超音波画像の注釈では、典型的には、解剖学的標識、部位、位置決め、または医学的処置を同定するため、またはラベル付けするために、頭字語(acronym)や短縮形(abbreviation)を使用している。例えば、CBDという文字は、「Common Bile Duct」を意味しており、またTRVという文字は「Transverse」を意味している。超音波イメージングでは、そのシステム・パラメータは、定まった適用分野に応じて最適化されている。走査を開始する前に、ユーザは、キーまたはボタンを押して超音波システムを事前計画することによって適正な適用分野を選択する必要がある。例えば、患者の頚動脈を走査する場合、ユーザは、「carotid」の適用分野を選択してそのシステム・パラメータを設定し、次いでその超音波走査を開始する必要がある。これによって具体的な走査種別向けにシステム・パラメータが最適化される。
本発明者らの経験では、超音波装置自体を音声制御するための幾つかの方法が存在している。しかし、従来の音声認識システムは、超音波システムのパラメータを制御または選択するためだけに使用されている。超音波操作者が使用する一般的な注釈を認識し、かつ超音波装置用のキーボード注釈システムと一緒にまたは該システムの代わりに使用できるような音声制御方法が必要とされている。
目下のところ、注釈を打ち込むには、超音波検査技師は表示させたいテキストを一文字ずつ打ち込んでいる。本発明者らはユーザに関するこのメンタルモデルを維持しようと努めた。ユーザにとってより簡単にするため、本発明の方法は、ユーザが打ち込もうとする単語の完成形を予測するために使用している。すでに打ち込まれた文字を完成させる最も可能性が高い単語をより明るい文字で表示している。さらに、「ドロップダウン(drop down)」とすると、ユーザが意図する可能性がある別の選択肢が表示される。最も可能性が高い単語、すなわち打ち込んだ文字と同一線上に表示された単語を確定させる際にユーザに要求されることはただ確認ボタンを押すことだけである。この確認ボタンは、スペース・バー、Returnキー、Setキー、もしくはユーザが選択する別の任意のキーとすることができる。「ドロップダウン」の選択肢のうちの1つを選択するには、ユーザは矢印キーを用いてこれら選択肢のうちの1つを選択し、次いで確認ボタンを押すことが必要である。この時点で、ユーザは次の単語を打ち込む準備が完了する。本システムは、選択した直前の単語に続く可能性が最も高い単語を提案することになる。ユーザは選択した単語のうちの1つを確定するか、あるいは自分が希望する単語の打ち込みを続けることができる。本システムは、上述したように、打ち込まれた各文字に従って機能することになる。本システムを有効に機能させるには、単語及び関連する頻度のリストが必要となる。このリストが頻度順にソートされていると仮定すると、最も可能性が高い単語を表示するためのアルゴリズムを得るには、目下のところタイプ済みの文字のすべてと一致する第1の単語(最も高頻度の単語)を表示することが不可欠である。文字が一致している最も高頻度の次のx個(例えば、4個)の単語をリスト表示することによって、次に最適な推定を追加することができる。この頻度リストは、どんな注釈が実際に打ち込まれているかに基づいて動的に更新することが可能であり、あるいは、ユーザはこのリストを手作業で更新することもできる。本システムはさらに、単語対からなるリストも記憶している。本システムは第2の単語を提案するためにこのリストを使用する。このリストはさらに、ユーザの履歴に基づいて動的に更新させることができる。
簡単に言えば、本発明の方法及びシステムは、コンピュータ・ソフトウエアが事前計画のスキームに従ってよく使用される単語を認識することによって単語からなる注釈を完成させているような方式によるキーボードの使用を可能にしている。本発明の方法及びシステムはさらに、超音波装置が作成した画像に注釈を付けるためにキーボードを用いてその注釈をすべて打ち込むことを超音波操作者に要求することがなく、超音波操作者に対して困難な検査の実施を可能にしている。すなわち、操作者は、注釈の全部の単語の全部の文字を打ち込む必要がない。その代わりに、本方法及びシステムは、ある特定の走査で頻繁に使用される単語を認識し、操作者が完成させたいと希望する1つまたは複数の単語を予測している。この能力によって、困難な検査が簡略化されると共に、身体的に不自然な状況における走査に起因する職業上の健康問題が軽減される。本発明ではさらに、超音波イメージングの間に注釈を自動的に埋め込むためにキーボードと音声認識装置の両方の利用が可能である。
本発明の方法に関する上述その他の特徴は、以下の詳細な説明から明らかとなろう。
超音波画像の注釈では、典型的には、解剖学的標識、部位、位置決め、または医学的処置を同定するため、またはラベル付けするために、頭字語(acronym)や短縮形(abbreviation)を使用している。例えば、CBDという文字は、「Common Bile Duct」を意味しており、またTRVという文字は「Transverse」を意味している。超音波イメージングでは、そのシステム・パラメータは、定まった適用分野に応じて最適化されている。走査を開始する前に、ユーザは、キーまたはボタンを押して超音波システムを事前計画することによって適正な適用分野を選択する必要がある。例えば、患者の頚動脈を走査する場合、ユーザは、「carotid」の適用分野を選択してそのシステム・パラメータを設定し、次いでその超音波走査を開始する必要がある。これによって具体的な走査種別向けにシステム・パラメータが最適化される。
本発明の方法及びシステムでは、超音波画像注釈で最も頻繁に使用されるある定まった単語を特定するためにキーボードを使用している。これには、メモリ内に保存した頭字語及び短縮形を含ませることになる。これらの単語は、各適用分野の下にグループ分けする必要がある。幾つかの単語は複数の適用分野に含めることがある。例えば、短縮形のSAG(「sagittal(サジタル)」を意味する)やTRVは、超音波の適用分野に関するほとんどすべてのタイプに含ませている。単語は頻度順にリストしている。この考え方は例えば、注釈の目的に使用される単語のうちの幾つかを以下の表1に示しているような頚動脈の適用分野で例証することができる。これらの単語は、上述のような階層構造を用いて順序立ててメモリ内に保存している。
これらの単語は、より頻度の高い単語がリストの先に来るようにして使用頻度に従ってソートしてあることに留意されたい。同じ順位付け及び同じ頭文字をもつ単語の場合はアルファベット順に保存することになる。本システムはユーザが打ち込んだ文字のすべてと一致する第1の単語を見いだすようにこのリストを下方向に検索する。以下の表2は、ある単語を取得するために幾つの文字を打ち込まねばならないかを表したものである。
超音波イメージング・システムは、典型的には、コンピュータ・マウスで行う左「クリック」と非常によく似たある種の機能またはパラメータをそれぞれ選択するために使用されるような「Set」または「Select」キーを有している。ユーザ選択の単語が画面上に現れた場合は、ユーザは単に「Select」または「Set」キー(ただし、スペース・バーや「Return」キー、あるいはその他の任意の句読記号キーを使用することも可能である)を押して単語の終わりまでカーソルをジャンプさせるだけで十分である。ここで、本システムは次の単語に対する準備が完了する。操作者は所望の単語が画面上に現れるまで文字入力を続ける必要がある。各単語の間には自動的にスペースが追加される。
以下の表3は、腹部部位の注釈で使用される単語のうちの幾つかを表している。これらの単語も同様に、上述した順序に従ってソートしている。
その単語がメモリ内にない場合、ユーザはこの単語全体を打ち込まなければならない。この注釈自動埋め込みアルゴリズムはさらに、オンにしたりオフにしたりすることが可能である。このアルゴリズムがオフになっていると、画面はキーボードを用いて打ち込まれたそのままを表示することになる。この注釈自動埋め込みアルゴリズムがオンになっていると、該アルゴリズムは、操作者が挿入したいと希望する1つまたは複数の単語を、希望するこの単語の最初の1文字または2文字を打ち込んだ時点で予測することになる。これによって、超音波走査中に操作者が実施する必要がある実際の打ち込み量がかなり低減されることになる。
適用にあたり、図2乃至9に示す画面表示と非常によく似た画面表示30が超音波検査技師に提示される。この例では、超音波検査技師は、通常であれば19回の打鍵エントリである「splenic vasculature」という注釈46を、可能な最小の打鍵数で打ち込もうとしている。注釈32はディスプレイ30の最下部に表示される。図2乃至5に示すように、ユーザが先頭の文字「s」を打ち込むと(34)、順位付けが最も高い選択肢である単語「spleen」36が表示される。この単語の完成形は明るい背景により表示される。単語「spleen」36は所望の単語ではないので、超音波検査技師は文字「p」38、文字「l」40、文字「e」42及び文字「n」44と打ち込みを続ける。図6では、単語「spleen」36はもはや一致しないため、打ち込んだ文字「splen」と一致する最も高い順位付けの単語は「splenic」46となることが理解されよう。この単語の完成形46も明るい背景により表示される。図7では、ユーザはスペース・バーまたは「Set」キーを押し、これにより提案された単語に承認を与え、次いで次の単語の先頭文字「v」48を打ち込むように続けている。「v」の最も可能性が高い単語は「vein」50なので、この単語が明るい背景により表示される。図8では、ユーザが文字「a」52を打ち込んでいる。文字列「va」に一致する最も可能性が高い単語は「vasculature」54であるため、この単語が明るい背景により表示される。図9では、ユーザがSetキーを押し、単語「vasculature」54及び完成した注釈「splenic vasculature」56に承認を与えている。要約すると、この例で押すキーは、S、P、L、E、N、スペース、V、Aとなる。通常の場合に必要となる19回の打鍵と比べてこの場合の打鍵回数は8回である。これによって、この例では打鍵回数が58%低減される。もちろん、期待される効率及び全体の低減はその適用分野によって様々な値となる。
上述した例をドロップダウン・ボックスを含むように拡張させた場合、必要な打鍵回数は4回だけとなる。ユーザが「s」を打ち込んだ後で、上述したように最も可能性が高い単語「spleen」が表示されると共に、ドロップダウン・リストが表示される。このリストには、可能性が次に最も高い3つの一致語、すなわち「Sag」、「SMA」及び「splenic vasculature」が含まれている。ユーザは下向き矢印を3回押し、最後にある提案語(「splenic vasculature」)をハイライト表示させ、次いで「Set」キーを押す必要がある。これにより、単語を全部打ち込む場合と比べて79%の改善が得られる。
本発明のこの方法では、超音波操作者に4つの選択肢が提供されている。音声認識装置を有効にすることが可能であり、自動注釈埋め込み装置を有効にすることが可能であり、これらの両者を使用することが可能であり、またこれらの両者を共に使用しないことが可能である。
本発明の方法では、音声によって画像に注釈を付けるための方法が3つある。そのうちの2つでは汎用の医学的口述筆記用語集を用いた自由形式のテキスト・エントリ(口述筆記)が可能であるが、これらの一方ではユーザに口述筆記モード(ディクテイション・モード)での入力を要求しており、もう一方では各コメントの前にキーワードを付加している。第3の方法では限定された用語リストからの選択が必要である。これらの方法のそれぞれは、超音波検査技師が超音波装置の制御のためにすでに音声認識を使用していることを前提としている。
これらの方法では、そのすべてに共通した幾つかの特徴が存在する。第1に、「Move Comment Top Left」や「Move Comment Bottom Center」というコマンドを用いて、コメント及び注釈を画面上に位置決めすることができる。「Return」や「New Line」というコマンドは復帰改行(carriage return)を設定している。「Word Delete」などのコマンドによって単語を削除することができ、また「Delete All」や「Clear All」によって注釈をすべて消去することができる。
第2に、単語の間には自動的にスペースが挿入されるが、句読記号を挿入すべき箇所では句読記号をリストする必要がある。その句読記号の名称を発声することが必要となる。単語の前にコマンド「Capital」、「Cap」を用いるか、単語を打ち込んだ後で「Capitalize That」または「Cap That」と発声することによってその単語の先頭を大文字にする(capitalize)ことができる。すべての文字を大文字にするには、キーボード上のcaps lockキーを押下しなければならない。
さらに、単語は発話式ではなくスペリング入力することができる。しかし、文字の名称と音が類似する単語による混乱を回避するために、ユーザはこれらの文字の前にコマンド「Spell」または「Type Letters」を先行させ、その後ですべての文字を続け、これらの間の時間的ギャップをほとんど無くすか全く無くすことができる。
発声式注釈のための第1の方法では医学的口述筆記認識エンジンが必要となる。一般に、音声コマンドによって動作する超音波装置では、すでにシステム・コマンドを聞き取る状態にあり、これ以外の音声は無視される。したがって、ユーザは装置に口述筆記を指令する発声式コマンドを別に出さなければならない。このコマンドによって文法辞書(grammar dictionary)を有効とし、ユーザが発声したすべてを書き入れるようにソフトウェアに指示している。同様に、装置に対して書き入れの停止を指令するためのコマンドも必要である。口述筆記したテキスト、句読記号及びスペースの誤りを訂正するためには別のコマンドが必要である。以下の表4は、やり取りのサンプルを表している。
上述の例で、<キーワード>とは装置に対するコマンドを特定するために使用される指定された単語を意味している。これは、口述筆記の正確さを改善させるための任意選択の機能の1つである。装置の書き入れが不正確である場合や、ユーザがエラーを犯した場合は、超音波検査技師は、correct <error>(<エラー>を訂正または<correction(訂正)>と発声し、装置にその誤りを訂正させることができる。
第2の方法でも口述筆記認識エンジン(ディクテーション認識エンジン)を使用しているが、ユーザを特殊な口述筆記モードに導入する必要はない。その代わりに、コメントの前に「Type」などのキーワードを前置きする。これによって装置に書き入れをさせるための別のモードにユーザを導入する必要がなくなる。この場合も、方法1に関して記載した訂正コマンドを利用している。この第3の方法を用いたやり取りのサンプルを以下の表5に表している。
音声認識の第3の方法は制約リスト法である。この方法はコマンド制御認識エンジンを使用しており、また事前定義のリスト内に起こりうるあらゆる注釈語を入れておくことが必要である。この単語のリストは、ユーザ定義のリストとすると共に、実施する検査の種別に合わせたコンテキスト依存とさせることができる。この方法に関する文法定義は<キーワード><単語リスト>+の形態となる(ここで、<キーワード>はそのフレーズを1つのコメント(例えば、「Type」)として特定しており、また<単語リスト>はリストからの1つまたは複数の単語である)。
例えば、超音波検査技師が「Type left Coronary artery」という発声式コマンドを発しており、また単語「Left」、「Coronary」及び「Artery」が利用可能な単語リスト内にある場合、本システムはこれらを画面表示上に打ち込みする。このため、この書き入れ機能はシステムが理解できるコマンド・リスト内の別のコマンドとなる。
一般検査向けの文法エントリからなる部分リストとしては、Right、Left、Top、Bottom、Of、And、などの単語がある。超音波検査技師が頚動脈の検査を実施したい場合、超音波検査技師はaneurysm、anastamosis、aortic arch、bifurcation、bulb、common carotid arteryなどの用語を含むことが可能であるような頚動脈の単語リストを選択することになる。超音波検査技師は、音声エンジンによってこれらの用語を認識させる前に、これらの各検査向けにシステムを学習させる必要がある。上述の文法を用いてシステムを学習させた後では、その文法リスト内にこれらの用語のそれぞれが存在しているため、システムはコマンド「Type Left Aneurysm」に応答できることになる。このリスト内には単語「Side」はないため、システムは「Type Left Side Aneurysm」には応答しない。
本発明の音声認識法では、当技術分野でよく知られている数種類の構成要素を利用している。例えば、音声認識に適した任意のマイクロフォンを使用することができる。さらに、マイクロフォン向けの任意の取り付けオプションを使用することができる。さらに、そのマイクロフォンは音声認識システムに直接配線することや、ワイヤレス接続を使用することが可能である。
さらに、本発明の方法で利用可能であるような当技術分野で周知の音声認識システムには多くの種類が存在する。例えば、音声認識システムは超音波ユニットのハウジング内に組み込んだプロセッサを使用することが可能である。音声認識システムはさらに、超音波装置と接続したスタンドアロンのプロセッサ上に実装することも可能である。
このコンピュータは超音波装置と何らかの方法で接続しなければならないことは明らかである。これらの接続タイプも標準的なものであり、当技術分野でよく知られている。本発明は、ある定められた種類の超音波やある特定のコンピュータに限定されるものではない。それどころか、本発明の方法はすべてのタイプの音声認識システム及び超音波装置と一緒に使用するように設計されていることを理解されたい。
ここで図1を参照すると、本発明による自動注釈埋め込み装置の流れ図を表している。図1から理解できるように、この音声認識システム及びキーボードは、独立にかつ同時に動作することができる。この自動注釈埋め込み装置はその全体を番号10で示している。この概要図はキーボード12及び超音波画像表示モニタ14を含んでいる。この方法で判定を求められる第1の問いは、自動注釈埋め込み装置が「オン」になっているか否か(22)である。自動注釈埋め込み装置が「オフ」であれば、ディスプレイ14には単にユーザがキーボードで打ち込んだ内容が表示される。判定を求められる第2の問いは音声認識を「オン」になっているか否か(28)である。音声認識が「オン」であれば、表示モニタ14はユーザが声で語った内容が表示される。自動注釈埋め込み装置がオンでなければ、キーボード12を手作業で操作しない限り表示モニタ14は注釈を自動的に表示することはない。自動注釈埋め込み装置がオンであれば(22)、その適用分野が読み入れられ(24)、メモリ内の検索単語(26)が電子的にアクセスを受け、自動注釈を表示モニタ14上に含めて表示させる。換言すると、超音波操作者は、超音波イメージングで必要となる注釈を入力するために、打ち込みと音声コマンドの両方の利用が可能であると共に、超音波検査技師がすでに押したキーあるいは発話した単語に基づいて、ディスプレイ14は超音波検査技師が打ち込もうとする可能性が最も高い単語を表示することになる。
本発明は、本明細書に記載した実施形態に限定されるものではなく、本発明の精神を逸脱することなく本発明を別の方式で実施することができることを理解されたい。
本発明の自動注釈埋め込み装置の方法の概要図である。 本発明の注釈埋め込み装置を利用した画面表示の一例であって、ユーザが完了させた先頭文字と該文字に従って埋め込まれた注釈を表している図である。 図2に示す画面表示で、ユーザが第2文字目を完了させたことを表した図である。 図2に示す画面表示で、ユーザが第3文字目を完了させたことを表した図である。 図2に示す画面表示で、ユーザが第4文字目を完了させたことを表した図である。 図2に示す画面表示で、ユーザが第5文字目を完了させたことを表した図である。 図2に示す画面表示で、ユーザが第8文字目を完了させたことを表した図である。 図2に示す画面表示で、ユーザが第9文字目を完了させたことを表した図である。 図2に示す画面表示で、完成した注釈を表した図である。
符号の説明
10 自動注釈埋め込み装置
12 キーボード
14 画像表示モニタ
30 画面表示
32 注釈

Claims (10)

  1. 表示された超音波画像にコマンドを用いて注釈を付けるための方法であって、
    使用頻度の降順でソートした注釈用語集を提供する工程と、
    この用語集から撮像する解剖部位に関連する用語の部分集合を選択するための手法を提供する工程と、
    画像(30)に注釈を付ける頭文字のコマンドを検出する工程と、
    選択した前記用語の部分集合から示唆案のリストを選択する工程と、
    ユーザに対して前記示唆案リストを表示して、この示唆案リストに対する任意承認または更なる追加指定を求める工程と、
    前記注釈(32)を検出する工程と、
    前記注釈(32)を画像(30)上に書き入れる工程と、を含む方法。
  2. 前記頭文字コマンドがキーワードからなることを特徴とする請求項1に記載の方法。
  3. 前記頭文字コマンドが、音声、キーボード(12)、あるいはシステム状態変更デバイスによって発せられていることを特徴とする請求項2に記載の方法。
  4. 前記注釈の文字列が音声認識技法を用いて検出されていることを特徴とする請求項3に記載の方法。
  5. キーボード(12)コマンドを用いて超音波画像(30)に注釈を付けるためのシステムであって、
    超音波画像(30)上に注釈(32)を挿入するためのコマンドからなる用語集を提供するための手段と、
    超音波画像(30)上に注釈(32)を挿入するためのコマンドからなるサブ用語集を提供するための手段と、
    少なくとも1つの信号をコマンドから検出し、該コマンドに関連付けされたサブ用語集を選択するための手段と、
    少なくとも1つの信号をコマンドから検出し、その関連付けされた注釈(32)を選択するための検出選択手段と、
    前記注釈(32)を前記超音波画像(30)上の適当な場所に配置するための手段と、
    前記注釈(32)を前記超音波画像(30)上に表示するための手段と、を備えるシステム。
  6. 音声コマンドを処理するための手段を含むと共に、注釈(32)に対応するキーボード(12)のエントリを音声コマンドと同時に入力することを可能としている請求項5に記載のシステム。
  7. 音声コマンドと同時に非音声式起動デバイスによる動作を可能としている請求項6に記載のシステム。
  8. 前記検出選択手段は、発話された音声コマンドを認識し、該発話された音声コマンドをサブ用語集を用いて前記信号に変換するための手段と含んでいることを特徴とする請求項7に記載のシステム。
  9. その超音波システムは、その各状態が1つのサブ用語集に対応しているような複数の音声コマンド決定状態を有しており、前記選択の手段は当該音声コマンドと対応するサブ用語集を選択するための手段を含んでいることを特徴とする請求項8に記載のシステム。
  10. キーボード(12)コマンドを用いて超音波画像(30)に注釈を付けるためのシステムであって、
    超音波装置が実施すると見込まれるような走査の各々に対応している注釈(32)からなるメイン・ディレクトリと、
    前記メイン・ディレクトリ内に項目ごとに、超音波走査のコンテキストで使用されると見込まれる注釈(32)からなる1つまたは複数のサブ・ディレクトリと、
    少なくとも1つのキーボード(12)コマンドから少なくとも1つの信号を検出するための手段と、
    メイン・ディレクトリの注釈(32)から選択するための手段と、
    前記キーボード(12)コマンドから少なくとも1つの信号を検出すると共に、前記サブ・ディレクトリ及び該信号に対応した適切な注釈(32)を選択するための手段と、
    前記注釈(32)を超音波画像(30)と一緒に表示するための手段と、
    を備えるシステム。
JP2004158507A 2003-05-29 2004-05-28 超音波イメージングで使用するための自動注釈埋め込み装置のシステム及び方法 Expired - Fee Related JP4615897B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US10/447,350 US6988990B2 (en) 2003-05-29 2003-05-29 Automatic annotation filler system and method for use in ultrasound imaging

Publications (3)

Publication Number Publication Date
JP2004351212A JP2004351212A (ja) 2004-12-16
JP2004351212A5 JP2004351212A5 (ja) 2009-12-24
JP4615897B2 true JP4615897B2 (ja) 2011-01-19

Family

ID=33451201

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004158507A Expired - Fee Related JP4615897B2 (ja) 2003-05-29 2004-05-28 超音波イメージングで使用するための自動注釈埋め込み装置のシステム及び方法

Country Status (3)

Country Link
US (1) US6988990B2 (ja)
JP (1) JP4615897B2 (ja)
DE (1) DE102004026504A1 (ja)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060288006A1 (en) * 2003-10-23 2006-12-21 Xerox Corporation Methods and systems for attaching keywords to images based on database statistics
US8335694B2 (en) * 2004-07-09 2012-12-18 Bruce Reiner Gesture-based communication and reporting system
EP1774508A2 (en) * 2004-07-09 2007-04-18 Gesturerad, Inc. Gesture-based reporting method and system
US7685209B1 (en) * 2004-09-28 2010-03-23 Yahoo! Inc. Apparatus and method for normalizing user-selected keywords in a folksonomy
JP2006141903A (ja) * 2004-11-25 2006-06-08 Hitachi Medical Corp 超音波診断装置
JP2007052397A (ja) * 2005-07-21 2007-03-01 Denso Corp 操作装置
US8849821B2 (en) * 2005-11-04 2014-09-30 Nokia Corporation Scalable visual search system simplifying access to network and device functionality
US20070219954A1 (en) * 2006-03-15 2007-09-20 Microsoft Corporation Refined Search User Interface
EP2008578A4 (en) * 2006-04-14 2010-08-25 Konica Minolta Med & Graphic DEVICE FOR DISPLAYING A MEDICAL IMAGE AND PROGRAM
US7675435B2 (en) * 2006-08-31 2010-03-09 Microsoft Corporation Smart filtering with multiple simultaneous keyboard inputs
US8775452B2 (en) * 2006-09-17 2014-07-08 Nokia Corporation Method, apparatus and computer program product for providing standard real world to virtual world links
US20080071770A1 (en) * 2006-09-18 2008-03-20 Nokia Corporation Method, Apparatus and Computer Program Product for Viewing a Virtual Database Using Portable Devices
US7729467B2 (en) 2007-03-22 2010-06-01 General Electric Company Methods and systems for attentuation correction in medical imaging
US8959012B2 (en) * 2007-04-04 2015-02-17 Orville E. Easterly System and method for the automatic generation of patient-specific and grammatically correct electronic medical records
US20080249761A1 (en) * 2007-04-04 2008-10-09 Easterly Orville E System and method for the automatic generation of grammatically correct electronic medical records
US20090150433A1 (en) * 2007-12-07 2009-06-11 Nokia Corporation Method, Apparatus and Computer Program Product for Using Media Content as Awareness Cues
US20090161963A1 (en) * 2007-12-20 2009-06-25 Nokia Corporation Method. apparatus and computer program product for utilizing real-world affordances of objects in audio-visual media data to determine interactions with the annotations to the objects
US8229865B2 (en) * 2008-02-04 2012-07-24 International Business Machines Corporation Method and apparatus for hybrid tagging and browsing annotation for multimedia content
US8935292B2 (en) * 2008-10-15 2015-01-13 Nokia Corporation Method and apparatus for providing a media object
US20110184736A1 (en) * 2010-01-26 2011-07-28 Benjamin Slotznick Automated method of recognizing inputted information items and selecting information items
JP6013951B2 (ja) * 2013-03-14 2016-10-25 本田技研工業株式会社 環境音検索装置、環境音検索方法
JP6251046B2 (ja) * 2014-01-10 2017-12-20 東芝メディカルシステムズ株式会社 超音波診断装置及び超音波診断プログラム
KR20160049385A (ko) * 2014-10-27 2016-05-09 삼성메디슨 주식회사 초음파 장치 및 초음파 장치의 정보 입력 방법
JP6523686B2 (ja) * 2015-01-05 2019-06-05 キヤノンメディカルシステムズ株式会社 X線診断装置
JP2019057123A (ja) * 2017-09-21 2019-04-11 株式会社東芝 対話システム、方法、及びプログラム
KR101926460B1 (ko) 2017-11-15 2018-12-07 고려대학교 산학협력단 음성기반 영상판독 시스템 및 방법
US11583244B2 (en) * 2019-10-04 2023-02-21 GE Precision Healthcare LLC System and methods for tracking anatomical features in ultrasound images

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001229156A (ja) * 2000-02-17 2001-08-24 Omron Corp 文字入力支援方法およびその方法を実施するためのプログラムが記録された記録媒体、ならびに文字入力支援機能付きの情報処理装置
JP2003038487A (ja) * 2001-08-03 2003-02-12 Hitachi Medical Corp 超音波画像処理装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AT397654B (de) 1992-05-04 1994-06-27 Biochemie Gmbh Neue pleuromutilinderivate, ihre verwendung und verfahren zu ihrer herstellung
US20040015079A1 (en) * 1999-06-22 2004-01-22 Teratech Corporation Ultrasound probe with integrated electronics
US6904405B2 (en) * 1999-07-17 2005-06-07 Edwin A. Suominen Message recognition using shared language model
US20030036411A1 (en) * 2001-08-03 2003-02-20 Christian Kraft Method of entering characters into a text string and a text-editing terminal using the method

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001229156A (ja) * 2000-02-17 2001-08-24 Omron Corp 文字入力支援方法およびその方法を実施するためのプログラムが記録された記録媒体、ならびに文字入力支援機能付きの情報処理装置
JP2003038487A (ja) * 2001-08-03 2003-02-12 Hitachi Medical Corp 超音波画像処理装置

Also Published As

Publication number Publication date
DE102004026504A1 (de) 2004-12-16
JP2004351212A (ja) 2004-12-16
US20040242998A1 (en) 2004-12-02
US6988990B2 (en) 2006-01-24

Similar Documents

Publication Publication Date Title
JP4615897B2 (ja) 超音波イメージングで使用するための自動注釈埋め込み装置のシステム及び方法
JP4829901B2 (ja) マニュアルでエントリされた不確定なテキスト入力を音声入力を使用して確定する方法および装置
RU2379767C2 (ru) Коррекция ошибок для систем распознавания речи
KR101445904B1 (ko) 현장 음성 번역 유지 시스템 및 방법
JP3476007B2 (ja) 認識単語登録方法、音声認識方法、音声認識装置、認識単語登録のためのソフトウエア・プロダクトを格納した記憶媒体、音声認識のためのソフトウエア・プロダクトを格納した記憶媒体
KR19990078364A (ko) 문서처리장치 및 그의 방법
JP2000123013A (ja) 電子会話装置、会話表現収集方法及び会話促進方法
JP2004157815A (ja) 医用画像報告書入力システム
JP3795692B2 (ja) 文字処理装置および方法
US8165879B2 (en) Voice output device and voice output program
JP6290111B2 (ja) 電子所見録記録支援装置および電子所見録記録支援方法
JP5008248B2 (ja) 表示処理装置、表示処理方法、表示処理プログラム、および記録媒体
JP3762300B2 (ja) テキスト入力処理装置及び方法並びにプログラム
JPH0883092A (ja) 情報入力装置及び情報入力方法
JPH0630052B2 (ja) 音声認識表示装置
WO2001031634A1 (en) Proofreading system and method
JP2963590B2 (ja) 日本語入力装置
JP3387421B2 (ja) 単語入力支援装置及び単語入力支援方法
JP6446801B2 (ja) 表示制御装置及びプログラム
JP2728341B2 (ja) 情報処理装置
JP3183686B2 (ja) 言語入力装置
JP2021168020A (ja) 音声入力装置
JP2005164656A (ja) 音声認識装置及び音声認識プログラム
JP3142159B2 (ja) 韻律記号生成装置
JPS62145463A (ja) 仮名漢字変換方式

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070523

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070523

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091111

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20091111

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20091111

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100413

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100712

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100921

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101021

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131029

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees