JP5812451B2 - 3D data display system - Google Patents

3D data display system Download PDF

Info

Publication number
JP5812451B2
JP5812451B2 JP2014016387A JP2014016387A JP5812451B2 JP 5812451 B2 JP5812451 B2 JP 5812451B2 JP 2014016387 A JP2014016387 A JP 2014016387A JP 2014016387 A JP2014016387 A JP 2014016387A JP 5812451 B2 JP5812451 B2 JP 5812451B2
Authority
JP
Japan
Prior art keywords
data
clinic
user terminal
marker
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014016387A
Other languages
Japanese (ja)
Other versions
JP2015016291A (en
Inventor
賢治 松浦
賢治 松浦
Original Assignee
ケン・デンタリックス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ケン・デンタリックス株式会社 filed Critical ケン・デンタリックス株式会社
Priority to JP2014016387A priority Critical patent/JP5812451B2/en
Publication of JP2015016291A publication Critical patent/JP2015016291A/en
Application granted granted Critical
Publication of JP5812451B2 publication Critical patent/JP5812451B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Medical Treatment And Welfare Office Work (AREA)
  • Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Description

本発明は、歯科医院などが患者に説明する予防方法・治療工程・技工物などに関する3Dデータを表示するシステムに関する。   The present invention relates to a system for displaying 3D data related to a preventive method, a treatment process, a technical product, etc., which a dental clinic or the like explains to a patient.

従来、医療機関の一例として、歯科医院などにおいて来院した患者に対して、予防方法・治療工程・インプラントなどの技工物について説明する際には、例えば、以下のような方法により説明が実施されることが多かった。
まず、紙製のパンフレットを用いる方法があった。これは、例えば3つ折りなどされているパンフレットを開いてそこに示された説明や写真を指し示しながら説明するものである。
しかし、近年、他の多くの分野と同様に、医療業界においても紙媒体の時代からデジタルコンテンツの時代へと大きく移り変わってきており、データ端末の価格・機能面からもユーザの利用機会が増大している。
Conventionally, as an example of a medical institution, for explaining a technical product such as a preventive method, a treatment process, and an implant to a patient visiting a dental clinic or the like, the following method is used, for example. There were many things.
First, there was a method using a paper pamphlet. This is explained by opening a pamphlet that is folded in three, for example, and pointing to the explanation or photo shown there.
However, in recent years, as in many other fields, the medical industry has undergone a major shift from the era of paper media to the age of digital content, and user usage opportunities have increased in terms of price and functionality of data terminals. ing.

また、予防方法・治療工程・インプラントなどの技工物は、特定の角度からの平面(2D:2次元)の写真のみでなく、種々の角度からの視点による歯などの裏側も含めた全体の様子を観察することが必要なこともあり、その場合には立体の模型を患者に対して示しながら説明していた。
しかし、歯科医院などから模型を患者の自宅などに持ち帰ることは通常認められていないため、模型の利用は歯科医院などの施設内部に限定されていた。仮に、持ち帰ることが許可された場合であっても、患者に次の病院に行く予定や目的地があるときには、模型は荷物として嵩張るため邪魔になることも多い。
In addition, not only photographs of planes (2D: 2D) from a specific angle, but also the whole state, including the back side of teeth, etc., from various angles, can be seen in technical articles such as prevention methods, treatment steps, and implants. In this case, the three-dimensional model was explained to the patient.
However, since it is not normally allowed to take models from the dental clinic to the patient's home, the use of the models has been limited to facilities such as dental clinics. Even if the patient is allowed to take home, when the patient has a plan to go to the next hospital or has a destination, the model is often bulky as a baggage and is often in the way.

また、関連技術として、身体に装着可能な携帯端末であって、内部に記憶手段、コンピュータ、外部との通信用変復調手段と表示手段を配置して、歯科医業全般の入出力可能とすることで、歯科従業者全般、電子カルテ、診療報酬計算等を手元で行うことができ、且つこれらの情報を共有化及び表示などの同期化をすることで、限られた人数でも、歯科事務、診療関連の事務処理を分散して行うことを可能とすることから、歯科医業の合理化を、実現したり、患者と歯科医師等との間に表示手段としてのコンピュータ端末と口腔内撮影手段による入出力インタフェースにGUIを用いて操作性を高め、更にX線画像と実画像の組み合わせ、好ましくは全歯パノラマ的な画像を用いることで、口腔内診察と治療に関するわかりやすい情報の提供、簡便な端末操作環境及び明確な口腔内表示を行うという記載がある技術が開示されている(特許文献1参照)。   Also, as a related technology, it is a portable terminal that can be worn on the body, and by arranging storage means, a computer, modulation / demodulation means and display means for communication with the outside, and enabling input / output of the dentistry in general , Dental workers, electronic medical records, medical fee calculation etc. can be done at hand, and by sharing such information and synchronizing the display, even with a limited number of people, dental office work, medical care related Can be performed in a distributed manner, so that the dentistry can be streamlined, and an input / output interface using a computer terminal and intraoral imaging means as a display means between a patient and a dentist, etc. Provides easy-to-understand information on intraoral examination and treatment by using a GUI to improve operability and using a combination of X-ray images and actual images, preferably panoramic images of all teeth. There is a description of performing simple terminal operation environments and clarity intraoral display technology has been disclosed (see Patent Document 1).

特開2012−157683号公報JP 2012-157683 A

しかしながら、特許文献1に開示されている表示端末は、患者側が所有するデバイスではなく、患者の移動に合わせて自由に持ち運びが可能な端末ではない。また、特許文献1に開示されている表示端末では、特に年配の方などには操作が煩雑と感じられることもあるマウスなどの入力装置を用いることなく、ユーザ端末の表示画面上の予防方法・治療工程・技工物などの3D(3次元)データを自在に回転表示させて種々の角度からの視点における3Dデータを簡易・容易に表示させることは困難であった。   However, the display terminal disclosed in Patent Document 1 is not a device owned by the patient, and is not a terminal that can be freely carried along with the movement of the patient. In addition, the display terminal disclosed in Patent Document 1 is a preventive method on the display screen of the user terminal without using an input device such as a mouse, which may make the operation particularly complicated for elderly people. It has been difficult to easily and easily display 3D data from various viewpoints by freely rotating and displaying 3D (three-dimensional) data such as treatment processes and technical products.

本発明の目的は、患者側が所有するユーザ端末及びネットワーク環境で、自宅など任意の場所で、マウスなどの入力装置を用いることなく、ユーザ端末の表示画面上の3Dデータを自在に回転表示させて種々の角度からの視点における3Dデータ像を表示させることができる3Dデータ表示システムを提供することにある。   An object of the present invention is to freely rotate and display 3D data on a display screen of a user terminal in a user terminal and network environment owned by a patient without using an input device such as a mouse at any place such as a home. It is an object of the present invention to provide a 3D data display system capable of displaying 3D data images at viewpoints from various angles.

本発明の3Dデータ表示システムは、サーバと、ユーザ端末と、マーカーを有するマーカー表示体とからなる3Dデータ表示システムであって、
前記サーバは、疾病予防方法、治療工程(治療履歴に関する情報を除く。)及び技工物(治療履歴に関する情報を除く。)の少なくともいずれかに関する3Dデータと、前記マーカー表示体のマーカーに含まれている識別情報とを対応付けて記憶している記憶部と、
前記識別情報に基づいて前記記憶部を検索し、対応付けられている前記3Dデータを抽出して前記ユーザ端末に送信する3Dデータ抽出手段とを備え、
前記ユーザ端末は、前記マーカーを読み取る読取手段と、
前記読取手段により読み取った前記識別情報を前記サーバに送信し、前記3Dデータを前記サーバから取得する3Dデータ取得手段と、
前記3Dデータ取得手段により取得した3Dデータを表示する表示手段と、
ユーザの動作に応じた自ユーザ端末の傾きを検知する傾き検知手段と、
前記傾き検知手段により検知した自ユーザ端末の傾きに対応させて、前記表示手段に表示されている前記3Dデータを回転して表示する表示制御手段とを備え
前記マーカー表示体は、医院の診察券であることを特徴とする。
このように構成することにより、患者側が所有する移動体携帯端末などのユーザ端末を用いてマーカー表示体のマーカーを読み取るのみで、ユーザ端末に予防方法(予防のブラッシングなど)・治療工程・技工物の3Dデータを表示させるので、自宅など任意の場所で3Dデータを視認・利用することができる。そして、ユーザ端末が備える傾き検知手段によりマウスなどの入力装置を用いることなく、ユーザ端末を把持したユーザの手などの動作によるユーザ端末の傾きと対応(同期)させてユーザ端末の表示画面上の3Dデータを自在に回転表示して種々の角度からの視点における3Dデータを患者などに表示・視認させることができる。
The 3D data display system of the present invention is a 3D data display system comprising a server, a user terminal, and a marker display body having a marker,
The server is included in 3D data regarding at least one of a disease prevention method, a treatment process (excluding information related to a treatment history), and a technical product (excluding information related to a treatment history), and a marker of the marker display body. A storage unit that stores the identification information in association with each other;
3D data extraction means for searching the storage unit based on the identification information, extracting the associated 3D data and transmitting it to the user terminal,
The user terminal comprises reading means for reading the marker;
3D data acquisition means for transmitting the identification information read by the reading means to the server and acquiring the 3D data from the server;
Display means for displaying the 3D data acquired by the 3D data acquisition means;
An inclination detection means for detecting the inclination of the user terminal corresponding to the user's action;
Display control means for rotating and displaying the 3D data displayed on the display means in correspondence with the inclination of the user terminal detected by the inclination detection means ,
It said marker display body is characterized in consultation ticket der Rukoto clinic.
By configuring in this way, the user terminal only needs to read the marker on the marker display body using a user terminal such as a mobile mobile terminal owned by the patient, and the user terminal can be prevented by a preventive method (such as preventive brushing), a treatment process, or a technical product. Since the 3D data is displayed, the 3D data can be viewed and used at any place such as home. Then, without using an input device such as a mouse by the tilt detection means provided in the user terminal, the user terminal is held on the display screen of the user terminal in correspondence (synchronization) with the tilt of the user terminal by the operation of the user's hand holding the user terminal. The 3D data can be freely rotated and displayed so that the patient can display and visually recognize the 3D data from various viewpoints.

また、本発明の3Dデータ表示システムは、前記サーバは、医院のWebサイトのURLである医院URL情報と、前記マーカー表示体のマーカーに含まれている前記識別情報とを対応付けて記憶している前記記憶部と、
前記識別情報に基づいて前記記憶部を検索し、対応付けられている前記医院URL情報を抽出して前記ユーザ端末に送信する医院URL情報抽出手段とを備え、
前記ユーザ端末は、前記マーカーを読み取る読取手段と、
前記読取手段により読み取った前記識別情報を前記サーバに送信し、前記医院URL情報を前記サーバから取得する医院URL情報取得手段と、
前記医院URL情報取得手段により取得した前記医院URL情報に基づき前記医院のWebサイトを表示する表示手段とをさらに備えることであってもよい。
このように構成することにより、歯科医院等のWebサイト(例えば予約システム画面)に容易にアクセスできるようになる。
In the 3D data display system of the present invention, the server stores the clinic URL information, which is the URL of the clinic website, and the identification information included in the marker of the marker display body in association with each other. The storage unit
A clinic URL information extracting means for searching the storage unit based on the identification information, extracting the associated clinic URL information and transmitting it to the user terminal;
The user terminal comprises reading means for reading the marker;
Clinic URL information acquiring means for transmitting the identification information read by the reading means to the server and acquiring the clinic URL information from the server;
The information processing apparatus may further include display means for displaying the clinic website based on the clinic URL information acquired by the clinic URL information acquisition means.
With this configuration, it is possible to easily access a website (for example, a reservation system screen) such as a dental clinic.

また、本発明の3Dデータ表示システムは、前記医院のWebサイトにおいて個人認証された前記ユーザ端末がアクセスできる前記個人認証された前記ユーザ端末のユーザである患者の治療履歴に関する報が格納されたデータベースをさらに備えることであってもよい。
このように構成することにより、医院のWebサイトへのログインの際などにおける個人ID・パスワード等による個人認証後に、技工物に関する情報(例えばインプラント治療でどのようなセラミックを被覆したかの情報)及び治療履歴等の情報DBに容易にアクセスできるようになる。
Also, 3D data display system of the present invention, information about the treatment history of the patient wherein the user terminal that is personal authentication in the Web site of the clinic is the personal authenticated user of the user terminal can access stored It may be further provided with a database.
With this configuration, after personal authentication using a personal ID, password, etc., when logging in to a clinic website, information on the technical product (for example, what kind of ceramic is covered with implant treatment) and Information DB such as treatment history can be easily accessed.

また、本発明の3Dデータ表示システムは、前記ユーザ端末の表示制御手段は、前記ユーザの拡大操作及び縮小操作に応じて前記3Dデータを拡大及び縮小して前記表示手段に表示することであってもよい。
このように構成することにより、ユーザ端末の表示画面上に3Dデータを回転表示することに加えて、3Dデータのうち必要な領域部分について拡大又は縮小した表示を実施することができ、ユーザの視認性・理解の向上や促進が図られる。
Further, in the 3D data display system of the present invention, the display control means of the user terminal enlarges and reduces the 3D data according to the enlargement operation and reduction operation of the user and displays the 3D data on the display means. Also good.
By configuring in this way, in addition to rotating and displaying 3D data on the display screen of the user terminal, it is possible to perform an enlarged or reduced display of a necessary area portion of the 3D data, which is visually recognized by the user. Improve and promote sex and understanding.

本発明によれば、患者側が所有するユーザ端末及びネットワーク環境で、自宅など任意の場所で、マウスなどの入力装置を用いることなく、ユーザ端末の表示画面上の3Dデータを自在に回転表示させて種々の角度からの視点における3Dデータ像を表示させることができる3Dデータ表示システムを提供することができる。   According to the present invention, 3D data on a display screen of a user terminal can be freely rotated and displayed without using an input device such as a mouse in an arbitrary place such as a home in a user terminal and a network environment owned by a patient. A 3D data display system capable of displaying 3D data images at viewpoints from various angles can be provided.

本発明の第一の実施の形態におけるシステム構成を示す図である。It is a figure which shows the system configuration | structure in 1st embodiment of this invention. 本発明の第一の実施の形態におけるサーバ及びユーザ端末の機能ブロック図である。It is a functional block diagram of a server and a user terminal in a first embodiment of the present invention. 本発明の第一の実施の形態における処理の流れを示すフローチャートである。It is a flowchart which shows the flow of the process in 1st embodiment of this invention. 本発明の第一の実施の形態におけるマーカー表示体の一例を示す図である。It is a figure which shows an example of the marker display body in 1st embodiment of this invention. 本発明の第一の実施の形態におけるユーザ端末での3Dデータの表示例を示す図である。It is a figure which shows the example of a display of 3D data in the user terminal in 1st embodiment of this invention. 本発明の第二の実施の形態におけるシステム構成を示す図である。It is a figure which shows the system configuration | structure in 2nd embodiment of this invention. 本発明の第二の実施の形態におけるサーバ、ユーザ端末及び医院端末の機能ブロック図である。It is a functional block diagram of a server, a user terminal, and a clinic terminal in the second embodiment of the present invention. 本発明の第二の実施の形態における処理の流れを示すフローチャートである。It is a flowchart which shows the flow of the process in 2nd embodiment of this invention.

以下、本発明の第一の実施の形態を図面を参照しつつ説明する。
本実施の形態の3Dデータ表示システム1は、図1に示すように、サーバ10と、ユーザ端末20と、マーカー表示体30から構成されている。
なお、3Dデータ(以下、「3Dコンテンツ」ということがある。)とは、3次元データのことであり、3D画像データ及び3Dアニメーションデータを含む。3D画像データは3Dオブジェクトを種々の角度やズームにより観覧させるものであり、3Dアニメーションデータは3Dアニメーションを実施しているオブジェクトをリアルタイムで種々の角度やズームにて観覧させるものである。
Hereinafter, a first embodiment of the present invention will be described with reference to the drawings.
The 3D data display system 1 of this Embodiment is comprised from the server 10, the user terminal 20, and the marker display body 30, as shown in FIG.
Note that 3D data (hereinafter also referred to as “3D content”) refers to three-dimensional data, and includes 3D image data and 3D animation data. The 3D image data allows a 3D object to be viewed at various angles and zooms, and the 3D animation data allows an object on which 3D animation is performed to be viewed at various angles and zooms in real time.

サーバ10と、ユーザ端末20はインターネット等の所定のネットワーク100を介して接続されている。典型的には無線で接続されるが有線であってもよい。   The server 10 and the user terminal 20 are connected via a predetermined network 100 such as the Internet. Typically connected wirelessly, but may be wired.

サーバ10は、CPU(Central Processing Unit)により制御される、ROM(Read Only Memory)・RAM(Random Access Memory)等の他、HDD(Hard Disk Drive)などの記憶部を備え、公知の入出力手段を備える情報処理装置である。例えば、ワークステーション、高機能のパーソナル・コンピュータ等である。所定のアプリケーションの運営事業者などにより運営されてよい。HDDには、特定の患者などについての予防方法、治療工程及び技工物の少なくともいずれかを含む医療に関する3Dデータと、後述するマーカー表示体のマーカーに含まれている3Dデータ識別情報とが所定のテーブル等(テーブルへのデータ格納手法等は公知の技術が適用可能である。)において対応付けられて記憶される。さらにユーザ端末20の後述するX,Y,Z情報ごとに3Dデータが紐付けられていてもよい。   The server 10 includes a storage unit such as an HDD (Hard Disk Drive) in addition to a ROM (Read Only Memory), a RAM (Random Access Memory), and the like, which are controlled by a CPU (Central Processing Unit). Is an information processing apparatus. For example, a workstation or a high-performance personal computer. It may be operated by an operator operating a predetermined application. The HDD has predetermined 3D data relating to medical care including at least one of a prevention method, a treatment process, and a technical product for a specific patient, and 3D data identification information included in a marker of a marker display body described later. They are stored in association with each other in a table or the like (a known technique can be applied to a method for storing data in the table, etc.) Furthermore, 3D data may be linked for each X, Y, Z information described later of the user terminal 20.

ユーザ端末20は、CPUにより制御される、ROM・RAM等の記憶部を備え、公知の入出力手段を備える情報処理装置である。加速度センサーや近接センサー、輝度センサー(環境光センサー)といった様々なセンサー(sensor)が備わっていてもよい。ピンチアウト(拡大)やピンチイン(縮小)というピンチ操作に応じて3Dデータ等を表示する表示画面を備えている。いわゆるスマートフォンの他、ノート型パーソナル・コンピュータ、タブレット型携帯端末、携帯電話機等であってもよい。   The user terminal 20 is an information processing apparatus that includes a storage unit such as a ROM / RAM controlled by a CPU and includes a known input / output unit. Various sensors such as an acceleration sensor, a proximity sensor, and a luminance sensor (ambient light sensor) may be provided. A display screen for displaying 3D data or the like in response to a pinch operation such as pinch-out (enlargement) or pinch-in (reduction) is provided. In addition to a so-called smartphone, a notebook personal computer, a tablet mobile terminal, a mobile phone, or the like may be used.

マーカー表示体30は、いわゆるAR(拡張現実)技術による画像(3Dデータを含む)を表示させるためのトリガーとなるマーカー(ARマーカー)31を表示するものであり、例えば、紙製・樹脂製などの診察券タイプ・パンフレット・冊子形式の印刷物やキーホルダー・ストラップなどの立体物であってよい(図4も参照)。なお、ここでいう表示とは視認できない透明のマーカーが付加されているような状態も含む意味である。
マーカー表示体30は、ストラップ、キーホルダ、あるいは、装身具のいずれかに使用される装飾品であって、体内入込式の義歯固定用インプラントのデータを具現化したサンプルを取り付けた装飾品であってもよい。装飾品の内部に物理的に所定のデータが格納された記憶媒体を収容するスースがあってもなくてもよいが、必ずしも記憶媒体を持ち歩く必要がなくなり、いつでもどこでも患者が常時携帯可能なユーザ端末を用いて3Dデータを表示・視認して確認することができるので患者等の便宜が図られる。
The marker display body 30 displays a marker (AR marker) 31 serving as a trigger for displaying an image (including 3D data) by a so-called AR (augmented reality) technology. For example, the marker display body 30 is made of paper or resin. The examination ticket type, pamphlet, booklet-type printed matter, and three-dimensional items such as key chains and straps (see also FIG. 4). In addition, the display here includes a state in which a transparent marker that cannot be visually recognized is added.
The marker display body 30 is a decorative article used for either a strap, a key holder, or an accessory, and is a decorative article attached with a sample that embodies data on an implantable denture fixing implant. Also good. There is no need to have a storage medium that physically stores predetermined data stored in the ornament, but it is not always necessary to carry the storage medium and the user terminal can always carry the patient anywhere and anytime. Since the 3D data can be displayed and visually confirmed using, the convenience of the patient or the like is achieved.

マーカー31は、画像認識型ARシステム(モノクロ認識されたパターン画像はコントラストとピクセルの範囲で個別のマーカーとして識別され、識別されたマーカーによりコンテンツを表示するシステム。)における所定のパターン画像であり、マーカー31を印刷するなどして現実世界に設置すると、ARシステムがそのパターン画像の写った部分に重ねて指定された情報を表示する。どのようなパターン画像をマーカーとするかはシステムの種類によって任意であるが、単純ではっきりした白黒の図形やQRコード(登録商標)などであってよい。マーカー31は、ユーザ端末20のカメラというリーダーを通じ、あらかじめユーザ端末20にプログラム・インストールされているWebアプリ(ソフトウェア)により処理が施されることにより後続の所定の工程へ流れ、そのトリガーとしての機能が発揮される。また、マーカー31には、特定の患者を一意に識別するための患者識別情報などの、予防方法、治療工程及び技工物の少なくともいずれかを含む医療に関する3Dデータと対応付けられる3Dデータ識別情報が含まれている。   The marker 31 is a predetermined pattern image in an image recognition type AR system (a pattern image recognized in monochrome is identified as an individual marker in a range of contrast and pixels, and content is displayed by the identified marker). When the marker 31 is installed in the real world by printing or the like, the AR system displays the designated information superimposed on the portion where the pattern image is captured. What pattern image is used as a marker is arbitrary depending on the type of system, but may be a simple and clear black and white figure or QR code (registered trademark). The marker 31 is processed by a web application (software) pre-programmed / installed in the user terminal 20 through a reader called a camera of the user terminal 20 and then flows to a predetermined process, and functions as a trigger thereof. Is demonstrated. In addition, the marker 31 includes 3D data identification information associated with medical 3D data including at least one of a prevention method, a treatment process, and a technical product, such as patient identification information for uniquely identifying a specific patient. include.

図2に、本実施の形態に係る3Dデータ表示システム1を構成する、サーバ10と、ユーザ端末20の機能ブロックを示す。   FIG. 2 shows functional blocks of the server 10 and the user terminal 20 that constitute the 3D data display system 1 according to the present embodiment.

図2を参照すると、サーバ10は、データ送受信部101と、3Dデータ識別情報受信部102と、3Dデータ抽出部103を備えている。   Referring to FIG. 2, the server 10 includes a data transmitting / receiving unit 101, a 3D data identification information receiving unit 102, and a 3D data extracting unit 103.

データ送受信部101は、3Dデータを含む種々のデータを他の装置と送受信する機能を有している。公知の入出力I/FやCPU等により実現されてよい。
3Dデータ識別情報受信部102は、ユーザ端末20から3Dデータ識別情報をネットワーク100を介して受信する機能を有している。公知の入力I/FやCPU等により実現されてよい。
3Dデータ抽出部103は、特定の患者などについての予防方法、治療工程及び技工物の少なくともいずれかを含む医療に関する3Dデータと、後述するマーカー表示体のマーカーに含まれている3Dデータ識別情報とが対応付けられて記憶されているHDDに対して、3Dデータ識別情報に基づいて検索し、対応付けられている3Dデータを抽出してネットワーク100を介してユーザ端末20に送信させる機能を有している。さらに、3Dデータは、ユーザ端末20の後述するX,Y,Z情報に紐付けられている適切なものが選ばれることであってもよい。CPU等により実現されてよい。
The data transmission / reception unit 101 has a function of transmitting / receiving various data including 3D data to / from other devices. It may be realized by a known input / output I / F or CPU.
The 3D data identification information receiving unit 102 has a function of receiving 3D data identification information from the user terminal 20 via the network 100. It may be realized by a known input I / F or CPU.
The 3D data extraction unit 103 includes 3D data related to medical care including at least one of a prevention method, a treatment process, and a technical product for a specific patient, and 3D data identification information included in a marker of a marker display body described later. Is stored on the HDD stored in association with each other based on the 3D data identification information, and the associated 3D data is extracted and transmitted to the user terminal 20 via the network 100. ing. Furthermore, 3D data may be selected from appropriate data associated with X, Y, and Z information described later of the user terminal 20. It may be realized by a CPU or the like.

ユーザ端末20は、カメラ部201と、マーカー情報処理部202と、3Dデータ識別情報送信部203と、3Dデータ受信部204と、3Dデータ表示部205と、空間位置把握部206と、表示制御部207を備えている。   The user terminal 20 includes a camera unit 201, a marker information processing unit 202, a 3D data identification information transmission unit 203, a 3D data reception unit 204, a 3D data display unit 205, a spatial position determination unit 206, and a display control unit. 207.

カメラ部201は、マーカー表示体30のマーカー31を撮像して認識・読み取る機能を有している。ユーザ端末20の上端縁部などに設けられる小孔にレンズが組み込まれている態様の公知のカメラ機構により実現されてよい。
マーカー情報処理部202は、マーカー31に含まれる、特定の患者を一意に識別するための患者識別情報などの、予防方法、治療工程及び技工物の少なくともいずれかを含む医療に関する3Dデータと対応付けられる3Dデータ識別情報を抽出・読み取る機能を有している。CPU等により実現されてよい。
3Dデータ識別情報送信部203は、3Dデータ識別情報をネットワーク100を介してサーバ10に送信する機能を有している。公知の出力I/FやCPU等により実現されてよい。
3Dデータ受信部204は、3Dデータをネットワーク100を介してサーバ10から受信する機能を有している。公知の入力I/FやCPU等により実現されてよい。
3Dデータ表示部205は、3Dデータを視覚により認識可能に表示する機能を有している。公知の出力I/F(液晶ディスプレイなどの表示画面を含む。)やCPU等により実現されてよい。さらにタッチパネル機能を備え、所定の入力I/Fを兼ねていてもよい。
空間位置把握部206は、ユーザの動作に応じたユーザ端末20の傾きを検知したり、ユーザ端末20の空間における位置情報を把握する機能を有している。公知のセンサーやCPU等により実現されてよい。例えば、3軸加速度センサーは、X軸・Y軸・Z軸の3方向の加速度を1つのデバイスで測定できる加速度センサーであって、シリコン基板上に微小な機械構造を集積化する「微小電気機械素子創製技術(Micro Electro Mechanical Systems、MEMS、メムス、マイクロマシン)」により小型化されたMEMSセンサーである。
表示制御部207は、3Dデータ表示部206に表示されている3Dデータに関して、ユーザ端末20の傾きに対応させて回転して表示したり、ユーザの拡大操作及び縮小操作に応じて拡大及び縮小して表示するように、ネットワーク100を介したサーバ10とのやりとりを含めて制御する機能を有している。CPU等により実現されてよい。
The camera unit 201 has a function of imaging and recognizing and reading the marker 31 of the marker display body 30. You may implement | achieve by the well-known camera mechanism of the aspect with which the lens was integrated in the small hole provided in the upper edge part etc. of the user terminal 20.
The marker information processing unit 202 is associated with 3D data related to medical care including at least one of a prevention method, a treatment process, and a technical product, such as patient identification information for uniquely identifying a specific patient, included in the marker 31. 3D data identification information to be extracted and read. It may be realized by a CPU or the like.
The 3D data identification information transmission unit 203 has a function of transmitting 3D data identification information to the server 10 via the network 100. It may be realized by a known output I / F, CPU or the like.
The 3D data receiving unit 204 has a function of receiving 3D data from the server 10 via the network 100. It may be realized by a known input I / F or CPU.
The 3D data display unit 205 has a function of displaying 3D data so as to be visually recognizable. It may be realized by a known output I / F (including a display screen such as a liquid crystal display), a CPU, or the like. Furthermore, a touch panel function may be provided and may also serve as a predetermined input I / F.
The spatial position grasping unit 206 has a function of detecting the inclination of the user terminal 20 according to the user's operation and grasping position information in the space of the user terminal 20. It may be realized by a known sensor or CPU. For example, a three-axis acceleration sensor is an acceleration sensor that can measure acceleration in three directions of the X-axis, Y-axis, and Z-axis with a single device, and integrates a minute mechanical structure on a silicon substrate. This is a MEMS sensor miniaturized by “device creation technology (Micro Electro Mechanical Systems, MEMS, MEMS, micromachine)”.
The display control unit 207 rotates and displays the 3D data displayed on the 3D data display unit 206 in accordance with the inclination of the user terminal 20, or enlarges or reduces the 3D data according to the user's enlargement operation or reduction operation. Display, it has a function to control including exchange with the server 10 via the network 100. It may be realized by a CPU or the like.

次に、本実施の形態に係る3Dデータ表示システム1の処理動作を、図3のフローチャートを参照して詳細に説明する。   Next, the processing operation of the 3D data display system 1 according to the present embodiment will be described in detail with reference to the flowchart of FIG.

前提として、サーバ10は、本システムを利用するための特定の端末用アプリケーションの運営事業者などにより設置・運営されるものとする。また、サーバ10のHDDの所定の領域には、データ送受信部101により取得した、歯科医院などにおいて口腔内3Dスキャナなどによりスキャンされた患者の口腔内の3Dデータ(ブラッシングなどの口腔内疾病予防方法データ、治療工程を説明するための治療工程データ、インプラントなどの技工物の3Dコンテンツ)が、特定の患者を一意に識別するための患者識別情報でもある3Dデータ識別情報と紐付けられて所定のテーブルに保存されているものとする。
さらに、歯科医院などにおいてマーカー表示体30として、上記の特定の患者を一意に識別するための患者識別情報でもある3Dデータ識別情報を含ませたマーカー31を表示した印刷物(ここでは診察券とするがキーホルダーなどの立体物でもよい。)を用意しており、そのマーカー表示体30を患者に渡して患者が保持しているものとする。
さらに、ユーザ端末20(例えばスマートフォンである。)には、本システムを利用するための特定の端末用アプリケーションが予め所定のWebサイト(各OSの所定のアプリケーションを利用してもよい。)などから有償・無償によりダウンロードしてインストールされているものとする。
As a premise, it is assumed that the server 10 is installed and operated by an operator operating a specific terminal application for using this system. Further, in a predetermined area of the HDD of the server 10, 3D data in the oral cavity of the patient scanned by the intraoral 3D scanner or the like in the dental clinic or the like acquired by the data transmission / reception unit 101 (intraoral disease prevention method such as brushing) Data, treatment process data for explaining the treatment process, and 3D contents of a technical product such as an implant) are associated with 3D data identification information that is also patient identification information for uniquely identifying a specific patient. Assume that it is stored in a table.
Further, as a marker display body 30 in a dental clinic or the like, a printed matter (here, referred to as an examination ticket) displaying a marker 31 including 3D data identification information that is also patient identification information for uniquely identifying the specific patient described above. 3 may be a three-dimensional object such as a key holder), and the marker display body 30 is handed over to the patient and held by the patient.
Furthermore, on the user terminal 20 (for example, a smartphone), a specific terminal application for using the system is preliminarily provided from a predetermined website (a predetermined application of each OS may be used). It is assumed that it has been downloaded and installed for a fee or free of charge.

まず、ユーザは、ユーザ端末20の表示画面をタップ操作して端末用アプリケーションを起動して、OSに合わせてユーザ端末20のカメラ機能(カメラ部201)を起動させる(ステップS301)。   First, the user activates a terminal application by tapping the display screen of the user terminal 20, and activates the camera function (camera unit 201) of the user terminal 20 in accordance with the OS (step S301).

次に、ユーザ端末20はカメラ機能(カメラ部201)によりマーカー表示体30(図4も参照)としての印刷物のマーカー31を識別して2D認識する(ステップS302)。   Next, the user terminal 20 identifies and performs 2D recognition of the printed marker 31 as the marker display body 30 (see also FIG. 4) using the camera function (camera unit 201) (step S302).

次に、ユーザ端末20のマーカー情報処理部202は、カメラ機能により認識したマーカー31の表示画面上における位置情報を取得するとともに、マーカー31から特定の患者(ユーザ端末20のユーザ)を一意に識別するための患者識別情報などの、予防方法、治療工程及び技工物の少なくともいずれかを含む医療に関する3Dデータと対応付けられる3Dデータ識別情報を抽出・読み取る(ステップS303)。そして、ユーザ端末20の3Dデータ識別情報送信部203は、3Dデータ識別情報をネットワーク100を介してサーバ10に送信し、サーバ10の3Dデータ識別情報受信部102に受信させる。   Next, the marker information processing unit 202 of the user terminal 20 acquires position information on the display screen of the marker 31 recognized by the camera function, and uniquely identifies a specific patient (user of the user terminal 20) from the marker 31. 3D data identification information associated with medical 3D data including at least one of a prevention method, a treatment process, and a technical product, such as patient identification information, is extracted and read (step S303). Then, the 3D data identification information transmission unit 203 of the user terminal 20 transmits the 3D data identification information to the server 10 via the network 100 and causes the 3D data identification information reception unit 102 of the server 10 to receive the 3D data identification information.

次に、サーバ10の3Dデータ抽出部103は、特定の患者などについての予防方法、治療工程及び技工物の少なくともいずれかを含む医療に関する3Dデータと、後述するマーカー表示体のマーカーに含まれている3Dデータ識別情報とが対応付けられて記憶されているHDDなどの記憶部に対して、3Dデータ識別情報に基づいて検索し、対応付けられている3Dデータを抽出する(ステップS304)。HDDには、例えば、MD2コンテンツ、及びOBJの3D画像データ(静止3Dコンテンツ)、3Dアニメーションデータがテクスチャー(3DのCG:コンピュータグラフィックスで、物体の表面の質感を表現するために貼り付ける画像)付きで配置されている。そして、サーバ10は3Dデータを所定のネットワーク100を介してユーザ端末20に送信し、ユーザ端末20の3Dデータ受信部204に受信させる。   Next, the 3D data extraction unit 103 of the server 10 is included in 3D data related to medical treatment including at least one of a prevention method, a treatment process, and a technical product for a specific patient, and a marker of a marker display body described later. The storage unit such as the HDD that stores the associated 3D data identification information is searched based on the 3D data identification information, and the associated 3D data is extracted (step S304). In the HDD, for example, MD2 content, OBJ 3D image data (still 3D content), and 3D animation data are textured (3D CG: an image that is pasted to represent the surface texture of an object in computer graphics). It is arranged with. Then, the server 10 transmits 3D data to the user terminal 20 via the predetermined network 100 and causes the 3D data receiving unit 204 of the user terminal 20 to receive the 3D data.

次に、ユーザ端末20の3Dデータ表示部205は、受信したそれらの3Dデータを視覚により認識可能に、ユーザ端末20の表示画面におけるマーカー31の表示画面上における位置情報(移動してもリアルタイムに更新される。)に重ねて表示する(ステップS305)。
このように種々の角度からの静止3Dコンテンツの観覧が可能となる。さらに、ユーザ端末20の表示画面を複数回連続してタップするなどの操作に応じて、ユーザ端末20がマーカー31から離れても上記の静止3Dコンテンツの観覧が可能となることであってよい。
Next, the 3D data display unit 205 of the user terminal 20 recognizes the received 3D data visually so that the position information on the display screen of the marker 31 on the display screen of the user terminal 20 (in real time even if moved). Are updated and displayed) (step S305).
In this way, it is possible to view static 3D content from various angles. Furthermore, it may be possible to view the above-described still 3D content even when the user terminal 20 moves away from the marker 31 in response to an operation such as tapping the display screen of the user terminal 20 a plurality of times.

さらに、ユーザ端末20の空間位置把握部206は、3軸加速度センサーなどにより、ユーザの動作に応じたユーザ端末20の移動や傾きを検知したり、ユーザ端末20の空間における位置情報を把握して(ステップS306)、ユーザ端末20の表示制御部207は、ネットワーク100を介してサーバ10にトランスレート(移動)のX,Y,Z・ロテート(回転)のX,Y,Z情報を送信し、サーバ10のデータ送受信部101に受信させる。   Furthermore, the spatial position grasping unit 206 of the user terminal 20 detects the movement and inclination of the user terminal 20 according to the user's operation by using a three-axis acceleration sensor or the like, and grasps the positional information of the user terminal 20 in the space. (Step S306), the display control unit 207 of the user terminal 20 transmits the X, Y, Z information of translation (movement), X, Y, Z of rotation (rotation) to the server 10 via the network 100, The data transmission / reception unit 101 of the server 10 receives the data.

サーバ10の3Dデータ抽出部103は、受信したX,Y,Z情報に基づいて、HDDなどの記憶部を検索して、紐付けられて保存されている、3Dアニメーションデータを、ユーザ端末20にネットワーク100を介して送信し、ユーザ端末20の表示制御部207は、表示画面上に表示されている3Dデータに関して、ユーザ端末20の傾きに対応させて回転して表示させる(ステップS307)。すなわち、ユーザ端末20の表示画面上には、Local空間アニメーションは3Dポリゴンの頂点がタイムラインごとにX,Y,Z情報の変更によりアニメーションされる。またWorld空間のトランスレートとロテートはユーザ端末20と連動して、ユーザ端末20側のコントロールに合わせて挙動する(図5参照)。なお、図5ではXY軸上での回転による表示画面の遷移を示すが、Z軸を含めた回転・傾き動作に対応した表示がなされることはいうまでもない。
このように、ユーザ端末20そのものを動かすことで3Dコンテンツの任意の方向への画像表示の操作を行うことができる。また、ユーザ端末20の表示制御部207は、表示画面としての液晶ディスプレイ等に対するユーザのピンチアウト(拡大)やピンチイン(縮小)というピンチ操作(拡大操作及び縮小操作)に応じて、表示画面上に表示されている3Dデータに関して、拡大及び縮小して表示することができてもよい。
The 3D data extraction unit 103 of the server 10 searches the storage unit such as the HDD based on the received X, Y, and Z information, and stores the 3D animation data stored in association with the user terminal 20. The display control unit 207 of the user terminal 20 that transmits the data via the network 100 rotates and displays the 3D data displayed on the display screen in accordance with the inclination of the user terminal 20 (step S307). That is, on the display screen of the user terminal 20, the local space animation is performed by changing the X, Y, and Z information for each vertex of the 3D polygon. Further, translation and rotation of the World space behave in accordance with the control on the user terminal 20 side in conjunction with the user terminal 20 (see FIG. 5). Although FIG. 5 shows the transition of the display screen due to rotation on the XY axes, it goes without saying that display corresponding to the rotation / tilting operation including the Z axis is performed.
As described above, by moving the user terminal 20 itself, it is possible to perform an image display operation in an arbitrary direction of the 3D content. In addition, the display control unit 207 of the user terminal 20 displays on the display screen according to a pinch operation (enlargement operation and reduction operation) such as a pinch out (enlargement) or pinch in (reduction) of a liquid crystal display or the like as a display screen. The displayed 3D data may be enlarged and reduced.

上記の本実施の形態によれば、患者側が所有するユーザ端末20であって、患者などが手などで把持しているユーザ端末20自体の角度(向き)を変更することで、患者の自宅など任意の場所で、マウスなどの入力装置を用いることなく、ユーザ端末20の表示画面上の予防方法・治療工程・技工物などに関する3Dデータを、自在に移動して表示させたり、回転表示させて種々の角度からの視点における3Dデータを容易に認識することができる。   According to the above-described embodiment, the user terminal 20 owned by the patient, and the user's home or the like can be obtained by changing the angle (orientation) of the user terminal 20 itself held by the patient or the like. Without using an input device such as a mouse at any location, 3D data related to preventive methods, treatment processes, technical products, etc. on the display screen of the user terminal 20 can be moved freely and displayed or rotated. It is possible to easily recognize 3D data at viewpoints from various angles.

[変形例]
単一のサーバ10のみでなく、機能ごとに複数のサーバが用いられるシステム構成であってもよい。
また、ユーザが患者ではなく、ドクター・医療従事者であればそれらの者は専門知識を有するので歯科や医療の予防・治療などの膨大な説明をほぼすべてを把握可能であるので、ドクター・医療従事者用のツール(システム)にはコンテンツをすべて入れておき患者さんに合わせてコンテンツを選択して説明することであってもよい。
[Modification]
Not only a single server 10 but also a system configuration in which a plurality of servers are used for each function may be used.
In addition, if the user is not a patient but a doctor / medical worker, they have specialized knowledge and can understand almost all the vast explanations of dentistry and medical prevention / treatment. It may be possible to put all contents in a tool (system) for workers and select and explain the contents according to the patient.

次に、本発明の第二の実施の形態を図面を参照しつつ説明する。
本実施の形態の3Dデータ表示システム1´は、図6に示すように、サーバ10´と、ユーザ端末20´と、マーカー表示体30´と、医院端末40−1´、40−2´、・・・40−n´(以下「医院端末40´」と総称することがある。)から構成されている。
上記の第一の実施の形態と基本的には共通する構成が大半であるので重複する説明は省略する。
Next, a second embodiment of the present invention will be described with reference to the drawings.
As shown in FIG. 6, the 3D data display system 1 ′ of the present embodiment includes a server 10 ′, a user terminal 20 ′, a marker display body 30 ′, and clinic terminals 40-1 ′ and 40-2 ′. ... 40-n ′ (hereinafter sometimes collectively referred to as “clinic office terminal 40 ′”).
Since most of the configurations are basically the same as those of the first embodiment described above, a duplicate description is omitted.

医院端末40´は、CPU(Central Processing Unit)により制御される、ROM(Read Only Memory)・RAM(Random Access Memory)等の他、HDD(Hard Disk Drive)などの記憶部を備え、公知の入出力手段を備える情報処理装置である。例えば、高機能のパーソナル・コンピュータ等である。歯科医院等の施設に備えられる。
医院端末40´とサーバ10´はインターネット等の所定のネットワークを介して接続されている。
The clinic terminal 40 'includes a storage unit such as an HDD (Hard Disk Drive) in addition to a ROM (Read Only Memory) and a RAM (Random Access Memory) controlled by a CPU (Central Processing Unit). An information processing apparatus including output means. For example, a high-performance personal computer. Provided in facilities such as dental clinics.
The clinic terminal 40 ′ and the server 10 ′ are connected via a predetermined network such as the Internet.

図7に、本実施の形態に係る3Dデータ表示システム1´を構成する、サーバ10´と、ユーザ端末20´と医院端末40´の機能ブロックを示す。   FIG. 7 shows functional blocks of the server 10 ′, the user terminal 20 ′, and the clinic terminal 40 ′ constituting the 3D data display system 1 ′ according to the present embodiment.

図7を参照すると、サーバ10´は、さらに、医院URL情報受信部102´と、医院URL情報抽出部103´と、治療履歴データ抽出部103´´を備えている。なお、HDDには、各医院端末40´から受信した患者ごとの治療履歴データ(医院名、診察日、治療日、治療内容、処方薬等)が格納されたデータベースが構築されている。   Referring to FIG. 7, the server 10 ′ further includes a clinic URL information receiving unit 102 ′, a clinic URL information extracting unit 103 ′, and a treatment history data extracting unit 103 ″. In the HDD, a database is constructed in which treatment history data (clinic name, examination date, treatment date, treatment content, prescription medicine, etc.) for each patient received from each clinic terminal 40 'is stored.

医院URL情報受信部102´は、医院端末40´から医院のWebサイトのURLである医院URL情報をネットワークを介して受信する機能を有している。公知の入力I/FやCPU等により実現されてよい。
医院URL情報抽出部103´は、医院URL情報と、マーカー表示体のマーカーに含まれている医院URL識別情報とが対応付けられて記憶されているHDDに対して、医院URL識別情報に基づいて検索し、対応付けられている医院URL情報を抽出してネットワークを介してユーザ端末20´に送信させる機能を有している。CPU等により実現されてよい。
治療履歴データ抽出部103´´は、治療履歴データと、個人認証情報とが対応付けられて記憶されているHDDのデータベースに対して、個人認証情報に基づいて検索し、対応付けられている治療履歴データを抽出してネットワークを介してユーザ端末20´に送信させる機能を有している。CPU等により実現されてよい。
The clinic URL information receiving unit 102 ′ has a function of receiving clinic URL information, which is the URL of the clinic website, from the clinic terminal 40 ′ via the network. It may be realized by a known input I / F or CPU.
The clinic URL information extraction unit 103 ′ is based on the clinic URL identification information for the HDD in which the clinic URL information and the clinic URL identification information included in the marker of the marker display body are stored in association with each other. It has a function of searching, extracting the associated clinic URL information, and transmitting it to the user terminal 20 'via the network. It may be realized by a CPU or the like.
The treatment history data extraction unit 103 ″ searches the HDD database in which the treatment history data and the personal authentication information are stored in association with each other based on the personal authentication information, and the associated treatment. It has a function of extracting history data and transmitting it to the user terminal 20 'via the network. It may be realized by a CPU or the like.

ユーザ端末20´は、さらに、個人認証情報送信部203´と、医院URL情報受信部204´と、治療履歴データ受信部204´´と、Webサイト表示部205´と、治療履歴データ表示部205´´を備えている。
個人認証情報送信部203´は、医院のWebサイトへのログインの際などに入力される個人ID・パスワード等による個人認証情報をネットワークを介してサーバ10´に送信する機能を有している。公知の出力I/FやCPU等により実現されてよい。
医院URL情報受信部204´は、医院URL情報をネットワーク100を介してサーバ10´から受信する機能を有している。公知の入力I/FやCPU等により実現されてよい。
治療履歴データ受信部204´´は、治療履歴データをネットワーク100を介してサーバ10´から受信する機能を有している。公知の入力I/FやCPU等により実現されてよい。
医院のWebサイト表示部205´は、医院URL情報に基づいてインターネット等のネットワーク上から所定の医院(例えば医院端末40´が設置されている施設)のWebサイトを視覚により認識可能に表示する機能を有している。公知の出力I/F(液晶ディスプレイなどの表示画面を含む。)やCPU等により実現されてよい。さらにタッチパネル機能を備え、所定の入力I/Fを兼ねていてもよい。
治療履歴データ表示部205´´は、治療履歴データを表示する機能有している。公知の出力I/F(液晶ディスプレイなどの表示画面を含む。)やCPU等により実現されてよい。さらにタッチパネル機能を備え、所定の入力I/Fを兼ねていてもよい。
The user terminal 20 ′ further includes a personal authentication information transmission unit 203 ′, a clinic URL information reception unit 204 ′, a treatment history data reception unit 204 ″, a website display unit 205 ′, and a treatment history data display unit 205. "".
The personal authentication information transmission unit 203 ′ has a function of transmitting personal authentication information based on a personal ID, password, and the like input at the time of login to the clinic website to the server 10 ′ via the network. It may be realized by a known output I / F, CPU or the like.
The clinic URL information receiving unit 204 ′ has a function of receiving clinic URL information from the server 10 ′ via the network 100. It may be realized by a known input I / F or CPU.
The treatment history data receiving unit 204 ″ has a function of receiving treatment history data from the server 10 ′ via the network 100. It may be realized by a known input I / F or CPU.
A clinic website display unit 205 ′ displays a website of a predetermined clinic (for example, a facility where the clinic terminal 40 ′ is installed) on a network such as the Internet based on the clinic URL information so that the website can be visually recognized. have. It may be realized by a known output I / F (including a display screen such as a liquid crystal display), a CPU, or the like. Furthermore, a touch panel function may be provided and may also serve as a predetermined input I / F.
The treatment history data display unit 205 ″ has a function of displaying treatment history data. It may be realized by a known output I / F (including a display screen such as a liquid crystal display), a CPU, or the like. Furthermore, a touch panel function may be provided and may also serve as a predetermined input I / F.

医院端末40´は、治療履歴データ入力部401´と、治療履歴データ送信部402´と、医院URL情報送信部403´を備えている。   The clinic terminal 40 ′ includes a treatment history data input unit 401 ′, a treatment history data transmission unit 402 ′, and a clinic URL information transmission unit 403 ′.

治療履歴データ入力部401´は、医院名、診察日、治療日、治療内容(例えばインプラントに被覆されたセラミックの種類等)、処方薬等の治療履歴データの入力(例えば医院の医師等の入力操作に応じて)を受け付ける機能を有している。公知の入力I/FやCPU等により実現されてよい。   The treatment history data input unit 401 ′ is used to input treatment history data such as a doctor's name, examination date, treatment date, treatment contents (for example, the type of ceramic coated on the implant), prescription drugs, etc. (According to the operation). It may be realized by a known input I / F or CPU.

治療履歴データ送信部402´は、治療履歴データをネットワークを介してサーバ10´に送信し、サーバ10に医院端末40´から収集した治療履歴データのデータベースを構築させる機能を有している。公知の出力I/FやCPU等により実現されてよい。   The treatment history data transmission unit 402 ′ has a function of sending treatment history data to the server 10 ′ via the network and causing the server 10 to construct a database of treatment history data collected from the clinic terminal 40 ′. It may be realized by a known output I / F, CPU or the like.

医院URL情報送信部403´は、医院のWebサイトのURLである医院URL情報をネットワークを介してサーバ10´に送信する機能を有している。公知の出力I/FやCPU等により実現されてよい。   The clinic URL information transmission unit 403 ′ has a function of transmitting clinic URL information, which is the URL of the clinic website, to the server 10 ′ via the network. It may be realized by a known output I / F, CPU or the like.

次に、本実施の形態に係る3Dデータ表示システム1´の処理動作を、図8のフローチャートを参照して詳細に説明する。ここでも上記の第一の実施の形態と大きく相違する点を中心に説明する。   Next, the processing operation of the 3D data display system 1 ′ according to the present embodiment will be described in detail with reference to the flowchart of FIG. Here, the description will focus on the points that are significantly different from the first embodiment.

前提として、サーバ10のHDDの所定の領域には、医院端末40´から収集した治療履歴データのデータベースが構築されているものとする。また、所定の医院のWebサイトの医院URL情報が、特定の患者を一意に識別するための患者識別情報でもある3Dデータ識別情報と紐付けられて所定のテーブルに保存されているものとする。さらに、医院のWebサイトへのログインの際などにおける個人ID・パスワード等による個人認証情報は既知の手法により予めユーザ端末20の利用者に知らされているものとする。   As a premise, it is assumed that a database of treatment history data collected from the clinic terminal 40 ′ is constructed in a predetermined area of the HDD of the server 10. Further, it is assumed that clinic URL information on a website of a predetermined clinic is associated with 3D data identification information that is also patient identification information for uniquely identifying a specific patient and is stored in a predetermined table. Furthermore, it is assumed that personal authentication information such as a personal ID / password at the time of login to a clinic website is previously known to the user of the user terminal 20 by a known method.

サーバ10の医院URL情報抽出部103´は、医院URL情報と、マーカー表示体のマーカーに含まれている医院URL識別情報とが対応付けられて記憶されているHDDに対して、医院URL識別情報に基づいて検索し、対応付けられている医院URL情報を抽出する(ステップS304´)。そして、サーバ10は医院URL情報を所定のネットワークを介してユーザ端末20に送信し、ユーザ端末20の医院URL情報受信部204´に受信させる。   The clinic URL information extraction unit 103 ′ of the server 10 performs clinic URL identification information on the HDD in which the clinic URL information and the clinic URL identification information included in the marker of the marker display body are stored in association with each other. And the associated clinic URL information is extracted (step S304 ′). Then, the server 10 transmits the clinic URL information to the user terminal 20 via a predetermined network, and causes the clinic URL information receiving unit 204 ′ of the user terminal 20 to receive the clinic URL information.

次に、ユーザ端末20の医院のWebサイト表示部205´は、医院URL情報に基づいてインターネット等のネットワーク上から所定の医院(例えば医院端末40´が設置されている施設)のWebサイトを表示する(ステップS305´)。   Next, the clinic website display unit 205 ′ of the user terminal 20 displays a website of a predetermined clinic (for example, a facility where the clinic terminal 40 ′ is installed) from a network such as the Internet based on the clinic URL information. (Step S305 ').

次に、ユーザ端末20の個人認証情報送信部203´は、所定の医院のWebサイトへのログインの際などに入力される個人ID・パスワード等による個人認証情報をネットワークを介してサーバ10´に送信する(ステップS306´)。そして、サーバ10に既知の手法により個人認証処理を実施させる。   Next, the personal authentication information transmission unit 203 ′ of the user terminal 20 sends the personal authentication information, such as a personal ID / password input when logging in to a predetermined clinic web site, to the server 10 ′ via the network. Transmit (step S306 '). Then, the server 10 is made to perform personal authentication processing by a known method.

また、サーバ10の治療履歴データ抽出部103´´は、医院のWebサイトへのログインの際などにおける個人ID・パスワード等による個人認証完了後に、治療履歴データと個人認証情報が対応付けられて記憶されているHDDのデータベースに対して、個人認証情報に基づいて検索し、対応付けられている治療履歴データを抽出する(ステップS307´)。そして、サーバ10は治療履歴データを所定のネットワークを介してユーザ端末20に送信し、ユーザ端末20の治療履歴データ受信部204´´に受信させる。   In addition, the treatment history data extraction unit 103 ″ of the server 10 stores treatment history data and personal authentication information in association with each other after completion of personal authentication using a personal ID, password, or the like when logging in to a clinic website. The HDD database is searched based on the personal authentication information, and the associated treatment history data is extracted (step S307 ′). Then, the server 10 transmits the treatment history data to the user terminal 20 via a predetermined network, and causes the treatment history data receiving unit 204 ″ of the user terminal 20 to receive the treatment history data.

次に、ユーザ端末20の治療履歴データ表示部205´´は、治療履歴データを表示する(ステップS308´)。   Next, the treatment history data display unit 205 ″ of the user terminal 20 displays the treatment history data (Step S308 ″).

上記の本実施の形態によれば、患者側が所有するユーザ端末20であって、患者の自宅など任意の場所で、歯科医院等のWebサイト(例えば予約システム画面)に容易にアクセスできるようになる。
また、医院のWebサイトへのログインの際などにおける個人ID・パスワード等による個人認証後に、技工物に関する情報(例えばインプラント治療でどのようなセラミックを被覆したかの情報)及び治療履歴等の情報DBに容易にアクセスできるようになる。
According to the present embodiment, the user terminal 20 owned by the patient can easily access a website (for example, a reservation system screen) such as a dental clinic at an arbitrary location such as the patient's home. .
In addition, after personal authentication using a personal ID, password, etc. when logging in to the clinic's website, information related to technical materials (for example, what kind of ceramic is covered with implant treatment) and information DB such as treatment history To be easily accessible.

さらに上記の各実施の形態による処理が連続して実施されたり、その前後を入れ替えて実施されたり、並列処理されたりすること等であってもよい。   Further, the processing according to each of the above embodiments may be continuously performed, the front and rear thereof may be switched, or may be performed in parallel.

なお、上述する各実施の形態は、本発明の好適な実施の形態であり、本発明の要旨を逸脱しない範囲内において種々変更実施が可能である。例えば、各装置・システムの機能を実現するためのプログラムを各装置・システム等に読込ませて実行することにより各装置・システム等の機能を実現する処理を行ってもよい。さらに、そのプログラムは、コンピュータ読み取り可能な記録媒体であるCD−ROMまたは光磁気ディスクなどを介して、または伝送媒体であるインターネット、電話回線等を介して伝送波により他のコンピュータシステムに伝送されてもよい。また、一部のシステムが人の動作を介在して実現されてもよい。   Each of the above-described embodiments is a preferred embodiment of the present invention, and various modifications can be made without departing from the scope of the present invention. For example, a process for realizing the functions of each device / system may be performed by causing each device / system to read and execute a program for realizing the function of each device / system. Further, the program is transmitted to another computer system by a transmission wave through a CD-ROM or a magneto-optical disk as a computer-readable recording medium, or through the Internet or a telephone line as a transmission medium. Also good. Also, some systems may be realized through human actions.

10 サーバ
20 ユーザ端末
30 マーカー表示体
31 マーカー
100 ネットワーク
10 server 20 user terminal 30 marker display 31 marker 100 network

Claims (4)

サーバと、ユーザ端末と、マーカーを有するマーカー表示体とからなる3Dデータ表示システムであって、
前記サーバは、疾病予防方法、治療工程(治療履歴に関する情報を除く。)及び技工物(治療履歴に関する情報を除く。)の少なくともいずれかに関する3Dデータと、前記マーカー表示体のマーカーに含まれている識別情報とを対応付けて記憶している記憶部と、
前記識別情報に基づいて前記記憶部を検索し、対応付けられている前記3Dデータを抽出して前記ユーザ端末に送信する3Dデータ抽出手段とを備え、
前記ユーザ端末は、前記マーカーを読み取る読取手段と、
前記読取手段により読み取った前記識別情報を前記サーバに送信し、前記3Dデータを前記サーバから取得する3Dデータ取得手段と、
前記3Dデータ取得手段により取得した3Dデータを表示する表示手段と、
ユーザの動作に応じた自ユーザ端末の傾きを検知する傾き検知手段と、
前記傾き検知手段により検知した自ユーザ端末の傾きに対応させて、前記表示手段に表示されている前記3Dデータを回転して表示する表示制御手段とを備え
前記マーカー表示体は、医院の診察券であることを特徴とする3Dデータ表示システム。
A 3D data display system comprising a server, a user terminal, and a marker display having a marker,
The server is included in 3D data regarding at least one of a disease prevention method, a treatment process (excluding information on treatment history) and a technical product (excluding information on treatment history), and a marker of the marker display body. A storage unit that stores the identification information in association with each other;
3D data extraction means for searching the storage unit based on the identification information, extracting the associated 3D data and transmitting it to the user terminal,
The user terminal comprises reading means for reading the marker;
3D data acquisition means for transmitting the identification information read by the reading means to the server and acquiring the 3D data from the server;
Display means for displaying the 3D data acquired by the 3D data acquisition means;
An inclination detection means for detecting the inclination of the user terminal corresponding to the user's action;
Display control means for rotating and displaying the 3D data displayed on the display means in correspondence with the inclination of the user terminal detected by the inclination detection means ,
It said marker display body, 3D data display system characterized consultation ticket der Rukoto clinic.
前記サーバは、医院のWebサイトのURLである医院URL情報と、前記マーカー表示体のマーカーに含まれている前記識別情報とを対応付けて記憶している前記記憶部と、
前記識別情報に基づいて前記記憶部を検索し、対応付けられている前記医院URL情報を抽出して前記ユーザ端末に送信する医院URL情報抽出手段とを備え、
前記ユーザ端末は、前記マーカーを読み取る読取手段と、
前記読取手段により読み取った前記識別情報を前記サーバに送信し、前記医院URL情報を前記サーバから取得する医院URL情報取得手段と、
前記医院URL情報取得手段により取得した前記医院URL情報に基づき前記医院のWebサイトを表示する表示手段とをさらに備えることを特徴とする請求項1記載の3Dデータ表示システム。
The server stores the clinic URL information, which is the URL of the clinic website, and the identification information included in the marker of the marker display body in association with each other;
A clinic URL information extracting means for searching the storage unit based on the identification information, extracting the associated clinic URL information and transmitting it to the user terminal;
The user terminal comprises reading means for reading the marker;
Clinic URL information acquiring means for transmitting the identification information read by the reading means to the server and acquiring the clinic URL information from the server;
The 3D data display system according to claim 1, further comprising display means for displaying the clinic website based on the clinic URL information acquired by the clinic URL information acquisition means.
前記医院のWebサイトにおいて個人認証された前記ユーザ端末がアクセスできる前記個人認証された前記ユーザ端末のユーザである患者の治療履歴に関する情報が格納されたデータベースをさらに備えることを特徴とする請求項2記載の3Dデータ表示システム。   3. The information processing apparatus according to claim 2, further comprising a database storing information on a treatment history of a patient who is a user of the personally authenticated user terminal that can be accessed by the personally authenticated user terminal on the clinic web site. The 3D data display system described. 前記ユーザ端末の表示制御手段は、前記ユーザの拡大操作及び縮小操作に応じて前記3Dデータを拡大及び縮小して前記表示手段に表示することを特徴とする請求項1から3のいずれか1項に記載の3Dデータ表示システム。   The display control means of the user terminal enlarges and reduces the 3D data according to the enlargement operation and the reduction operation of the user, and displays the 3D data on the display means. The 3D data display system described in 1.
JP2014016387A 2013-06-13 2014-01-31 3D data display system Active JP5812451B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014016387A JP5812451B2 (en) 2013-06-13 2014-01-31 3D data display system

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013124639 2013-06-13
JP2013124639 2013-06-13
JP2014016387A JP5812451B2 (en) 2013-06-13 2014-01-31 3D data display system

Publications (2)

Publication Number Publication Date
JP2015016291A JP2015016291A (en) 2015-01-29
JP5812451B2 true JP5812451B2 (en) 2015-11-11

Family

ID=52437899

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014016387A Active JP5812451B2 (en) 2013-06-13 2014-01-31 3D data display system

Country Status (1)

Country Link
JP (1) JP5812451B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7131808B2 (en) * 2018-06-14 2022-09-06 株式会社吉田製作所 Wearable dental care device and wearable dental care system

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001306691A (en) * 2000-02-17 2001-11-02 Shimizu Haruo Clinical consultation information system
JP2002063092A (en) * 2000-06-09 2002-02-28 Tomy Co Ltd Information-providing system, information-providing device, server, toy, information-providing method, and storage medium
JP4418225B2 (en) * 2003-12-18 2010-02-17 オリンパス株式会社 Information presentation system
JP2006113945A (en) * 2004-10-18 2006-04-27 Planet:Kk Dentistry information providing system
JP2006330907A (en) * 2005-05-24 2006-12-07 Toshihiko Okabe Information accessory, information system and information reading program

Also Published As

Publication number Publication date
JP2015016291A (en) 2015-01-29

Similar Documents

Publication Publication Date Title
CA2794898C (en) Method of rendering and manipulating anatomical images on mobile computing device
Kim et al. Touch and hand gesture-based interactions for directly manipulating 3D virtual objects in mobile augmented reality
US9779512B2 (en) Automatic generation of virtual materials from real-world materials
US9728010B2 (en) Virtual representations of real-world objects
JP5936155B2 (en) 3D user interface device and 3D operation method
CN107646098A (en) System for tracking portable equipment in virtual reality
JP5843340B2 (en) 3D environment sharing system and 3D environment sharing method
CN107667328A (en) System for tracking handheld device in enhancing and/or reality environment
US20120256950A1 (en) Medical support apparatus, medical support method, and medical support system
CN109416580A (en) Selection to the object in three-dimensional space
US20180232925A1 (en) Real-time medical image visualization systems and related methods
Andersen et al. Virtual annotations of the surgical field through an augmented reality transparent display
CN105051650A (en) Three-dimensional unlocking device, three-dimensional unlocking method and program
JP6240000B2 (en) Picking support apparatus and program
JPWO2014016992A1 (en) 3D user interface device and 3D operation method
JP2015062120A (en) Mobile information gateway for use in emergency situations or with special equipment
KR20140130675A (en) Image processing device, and computer program product
US20230384907A1 (en) Methods for relative manipulation of a three-dimensional environment
KR20120034672A (en) Spatial, multi-modal control device for use with spatial operating system
KR20160060582A (en) Device and method for processing visual data, and related computer program product
US20190311796A1 (en) Color analysis and control using an electronic mobile device transparent display screen integral with the use of augmented reality glasses
CN118435151A (en) Method for moving objects in a three-dimensional environment
CN104679222B (en) Medical office system, medical information sharing system and method based on man-machine interaction
JP2021033963A (en) Information processing device, display control method and display control program
JP2023526716A (en) Surgical navigation system and its application

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140131

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140131

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20140131

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20140327

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140407

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140414

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20140709

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140917

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20140926

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20141031

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150910

R150 Certificate of patent or registration of utility model

Ref document number: 5812451

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250