JP5812451B2 - 3D data display system - Google Patents
3D data display system Download PDFInfo
- Publication number
- JP5812451B2 JP5812451B2 JP2014016387A JP2014016387A JP5812451B2 JP 5812451 B2 JP5812451 B2 JP 5812451B2 JP 2014016387 A JP2014016387 A JP 2014016387A JP 2014016387 A JP2014016387 A JP 2014016387A JP 5812451 B2 JP5812451 B2 JP 5812451B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- clinic
- user terminal
- marker
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000003550 marker Substances 0.000 claims description 63
- 238000000034 method Methods 0.000 claims description 40
- 230000008569 process Effects 0.000 claims description 19
- 230000010365 information processing Effects 0.000 claims description 8
- 238000013075 data extraction Methods 0.000 claims description 7
- 230000009467 reduction Effects 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 5
- 230000009471 action Effects 0.000 claims description 3
- 230000006806 disease prevention Effects 0.000 claims description 3
- 230000006870 function Effects 0.000 description 27
- 230000005540 biological transmission Effects 0.000 description 15
- 230000002265 prevention Effects 0.000 description 8
- 239000007943 implant Substances 0.000 description 7
- 230000003449 preventive effect Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 230000001133 acceleration Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 239000004973 liquid crystal related substance Substances 0.000 description 4
- 239000000919 ceramic Substances 0.000 description 3
- 230000001680 brushing effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000010079 rubber tapping Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 210000000214 mouth Anatomy 0.000 description 1
- 239000000955 prescription drug Substances 0.000 description 1
- 229940126532 prescription medicine Drugs 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 239000011347 resin Substances 0.000 description 1
- 229920005989 resin Polymers 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 239000003826 tablet Substances 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Landscapes
- Medical Treatment And Welfare Office Work (AREA)
- Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Description
本発明は、歯科医院などが患者に説明する予防方法・治療工程・技工物などに関する3Dデータを表示するシステムに関する。 The present invention relates to a system for displaying 3D data related to a preventive method, a treatment process, a technical product, etc., which a dental clinic or the like explains to a patient.
従来、医療機関の一例として、歯科医院などにおいて来院した患者に対して、予防方法・治療工程・インプラントなどの技工物について説明する際には、例えば、以下のような方法により説明が実施されることが多かった。
まず、紙製のパンフレットを用いる方法があった。これは、例えば3つ折りなどされているパンフレットを開いてそこに示された説明や写真を指し示しながら説明するものである。
しかし、近年、他の多くの分野と同様に、医療業界においても紙媒体の時代からデジタルコンテンツの時代へと大きく移り変わってきており、データ端末の価格・機能面からもユーザの利用機会が増大している。
Conventionally, as an example of a medical institution, for explaining a technical product such as a preventive method, a treatment process, and an implant to a patient visiting a dental clinic or the like, the following method is used, for example. There were many things.
First, there was a method using a paper pamphlet. This is explained by opening a pamphlet that is folded in three, for example, and pointing to the explanation or photo shown there.
However, in recent years, as in many other fields, the medical industry has undergone a major shift from the era of paper media to the age of digital content, and user usage opportunities have increased in terms of price and functionality of data terminals. ing.
また、予防方法・治療工程・インプラントなどの技工物は、特定の角度からの平面(2D:2次元)の写真のみでなく、種々の角度からの視点による歯などの裏側も含めた全体の様子を観察することが必要なこともあり、その場合には立体の模型を患者に対して示しながら説明していた。
しかし、歯科医院などから模型を患者の自宅などに持ち帰ることは通常認められていないため、模型の利用は歯科医院などの施設内部に限定されていた。仮に、持ち帰ることが許可された場合であっても、患者に次の病院に行く予定や目的地があるときには、模型は荷物として嵩張るため邪魔になることも多い。
In addition, not only photographs of planes (2D: 2D) from a specific angle, but also the whole state, including the back side of teeth, etc., from various angles, can be seen in technical articles such as prevention methods, treatment steps, and implants. In this case, the three-dimensional model was explained to the patient.
However, since it is not normally allowed to take models from the dental clinic to the patient's home, the use of the models has been limited to facilities such as dental clinics. Even if the patient is allowed to take home, when the patient has a plan to go to the next hospital or has a destination, the model is often bulky as a baggage and is often in the way.
また、関連技術として、身体に装着可能な携帯端末であって、内部に記憶手段、コンピュータ、外部との通信用変復調手段と表示手段を配置して、歯科医業全般の入出力可能とすることで、歯科従業者全般、電子カルテ、診療報酬計算等を手元で行うことができ、且つこれらの情報を共有化及び表示などの同期化をすることで、限られた人数でも、歯科事務、診療関連の事務処理を分散して行うことを可能とすることから、歯科医業の合理化を、実現したり、患者と歯科医師等との間に表示手段としてのコンピュータ端末と口腔内撮影手段による入出力インタフェースにGUIを用いて操作性を高め、更にX線画像と実画像の組み合わせ、好ましくは全歯パノラマ的な画像を用いることで、口腔内診察と治療に関するわかりやすい情報の提供、簡便な端末操作環境及び明確な口腔内表示を行うという記載がある技術が開示されている(特許文献1参照)。 Also, as a related technology, it is a portable terminal that can be worn on the body, and by arranging storage means, a computer, modulation / demodulation means and display means for communication with the outside, and enabling input / output of the dentistry in general , Dental workers, electronic medical records, medical fee calculation etc. can be done at hand, and by sharing such information and synchronizing the display, even with a limited number of people, dental office work, medical care related Can be performed in a distributed manner, so that the dentistry can be streamlined, and an input / output interface using a computer terminal and intraoral imaging means as a display means between a patient and a dentist, etc. Provides easy-to-understand information on intraoral examination and treatment by using a GUI to improve operability and using a combination of X-ray images and actual images, preferably panoramic images of all teeth. There is a description of performing simple terminal operation environments and clarity intraoral display technology has been disclosed (see Patent Document 1).
しかしながら、特許文献1に開示されている表示端末は、患者側が所有するデバイスではなく、患者の移動に合わせて自由に持ち運びが可能な端末ではない。また、特許文献1に開示されている表示端末では、特に年配の方などには操作が煩雑と感じられることもあるマウスなどの入力装置を用いることなく、ユーザ端末の表示画面上の予防方法・治療工程・技工物などの3D(3次元)データを自在に回転表示させて種々の角度からの視点における3Dデータを簡易・容易に表示させることは困難であった。 However, the display terminal disclosed in Patent Document 1 is not a device owned by the patient, and is not a terminal that can be freely carried along with the movement of the patient. In addition, the display terminal disclosed in Patent Document 1 is a preventive method on the display screen of the user terminal without using an input device such as a mouse, which may make the operation particularly complicated for elderly people. It has been difficult to easily and easily display 3D data from various viewpoints by freely rotating and displaying 3D (three-dimensional) data such as treatment processes and technical products.
本発明の目的は、患者側が所有するユーザ端末及びネットワーク環境で、自宅など任意の場所で、マウスなどの入力装置を用いることなく、ユーザ端末の表示画面上の3Dデータを自在に回転表示させて種々の角度からの視点における3Dデータ像を表示させることができる3Dデータ表示システムを提供することにある。 An object of the present invention is to freely rotate and display 3D data on a display screen of a user terminal in a user terminal and network environment owned by a patient without using an input device such as a mouse at any place such as a home. It is an object of the present invention to provide a 3D data display system capable of displaying 3D data images at viewpoints from various angles.
本発明の3Dデータ表示システムは、サーバと、ユーザ端末と、マーカーを有するマーカー表示体とからなる3Dデータ表示システムであって、
前記サーバは、疾病予防方法、治療工程(治療履歴に関する情報を除く。)及び技工物(治療履歴に関する情報を除く。)の少なくともいずれかに関する3Dデータと、前記マーカー表示体のマーカーに含まれている識別情報とを対応付けて記憶している記憶部と、
前記識別情報に基づいて前記記憶部を検索し、対応付けられている前記3Dデータを抽出して前記ユーザ端末に送信する3Dデータ抽出手段とを備え、
前記ユーザ端末は、前記マーカーを読み取る読取手段と、
前記読取手段により読み取った前記識別情報を前記サーバに送信し、前記3Dデータを前記サーバから取得する3Dデータ取得手段と、
前記3Dデータ取得手段により取得した3Dデータを表示する表示手段と、
ユーザの動作に応じた自ユーザ端末の傾きを検知する傾き検知手段と、
前記傾き検知手段により検知した自ユーザ端末の傾きに対応させて、前記表示手段に表示されている前記3Dデータを回転して表示する表示制御手段とを備え、
前記マーカー表示体は、医院の診察券であることを特徴とする。
このように構成することにより、患者側が所有する移動体携帯端末などのユーザ端末を用いてマーカー表示体のマーカーを読み取るのみで、ユーザ端末に予防方法(予防のブラッシングなど)・治療工程・技工物の3Dデータを表示させるので、自宅など任意の場所で3Dデータを視認・利用することができる。そして、ユーザ端末が備える傾き検知手段によりマウスなどの入力装置を用いることなく、ユーザ端末を把持したユーザの手などの動作によるユーザ端末の傾きと対応(同期)させてユーザ端末の表示画面上の3Dデータを自在に回転表示して種々の角度からの視点における3Dデータを患者などに表示・視認させることができる。
The 3D data display system of the present invention is a 3D data display system comprising a server, a user terminal, and a marker display body having a marker,
The server is included in 3D data regarding at least one of a disease prevention method, a treatment process (excluding information related to a treatment history), and a technical product (excluding information related to a treatment history), and a marker of the marker display body. A storage unit that stores the identification information in association with each other;
3D data extraction means for searching the storage unit based on the identification information, extracting the associated 3D data and transmitting it to the user terminal,
The user terminal comprises reading means for reading the marker;
3D data acquisition means for transmitting the identification information read by the reading means to the server and acquiring the 3D data from the server;
Display means for displaying the 3D data acquired by the 3D data acquisition means;
An inclination detection means for detecting the inclination of the user terminal corresponding to the user's action;
Display control means for rotating and displaying the 3D data displayed on the display means in correspondence with the inclination of the user terminal detected by the inclination detection means ,
It said marker display body is characterized in consultation ticket der Rukoto clinic.
By configuring in this way, the user terminal only needs to read the marker on the marker display body using a user terminal such as a mobile mobile terminal owned by the patient, and the user terminal can be prevented by a preventive method (such as preventive brushing), a treatment process, or a technical product. Since the 3D data is displayed, the 3D data can be viewed and used at any place such as home. Then, without using an input device such as a mouse by the tilt detection means provided in the user terminal, the user terminal is held on the display screen of the user terminal in correspondence (synchronization) with the tilt of the user terminal by the operation of the user's hand holding the user terminal. The 3D data can be freely rotated and displayed so that the patient can display and visually recognize the 3D data from various viewpoints.
また、本発明の3Dデータ表示システムは、前記サーバは、医院のWebサイトのURLである医院URL情報と、前記マーカー表示体のマーカーに含まれている前記識別情報とを対応付けて記憶している前記記憶部と、
前記識別情報に基づいて前記記憶部を検索し、対応付けられている前記医院URL情報を抽出して前記ユーザ端末に送信する医院URL情報抽出手段とを備え、
前記ユーザ端末は、前記マーカーを読み取る読取手段と、
前記読取手段により読み取った前記識別情報を前記サーバに送信し、前記医院URL情報を前記サーバから取得する医院URL情報取得手段と、
前記医院URL情報取得手段により取得した前記医院URL情報に基づき前記医院のWebサイトを表示する表示手段とをさらに備えることであってもよい。
このように構成することにより、歯科医院等のWebサイト(例えば予約システム画面)に容易にアクセスできるようになる。
In the 3D data display system of the present invention, the server stores the clinic URL information, which is the URL of the clinic website, and the identification information included in the marker of the marker display body in association with each other. The storage unit
A clinic URL information extracting means for searching the storage unit based on the identification information, extracting the associated clinic URL information and transmitting it to the user terminal;
The user terminal comprises reading means for reading the marker;
Clinic URL information acquiring means for transmitting the identification information read by the reading means to the server and acquiring the clinic URL information from the server;
The information processing apparatus may further include display means for displaying the clinic website based on the clinic URL information acquired by the clinic URL information acquisition means.
With this configuration, it is possible to easily access a website (for example, a reservation system screen) such as a dental clinic.
また、本発明の3Dデータ表示システムは、前記医院のWebサイトにおいて個人認証された前記ユーザ端末がアクセスできる前記個人認証された前記ユーザ端末のユーザである患者の治療履歴に関する情報が格納されたデータベースをさらに備えることであってもよい。
このように構成することにより、医院のWebサイトへのログインの際などにおける個人ID・パスワード等による個人認証後に、技工物に関する情報(例えばインプラント治療でどのようなセラミックを被覆したかの情報)及び治療履歴等の情報DBに容易にアクセスできるようになる。
Also, 3D data display system of the present invention, information about the treatment history of the patient wherein the user terminal that is personal authentication in the Web site of the clinic is the personal authenticated user of the user terminal can access stored It may be further provided with a database.
With this configuration, after personal authentication using a personal ID, password, etc., when logging in to a clinic website, information on the technical product (for example, what kind of ceramic is covered with implant treatment) and Information DB such as treatment history can be easily accessed.
また、本発明の3Dデータ表示システムは、前記ユーザ端末の表示制御手段は、前記ユーザの拡大操作及び縮小操作に応じて前記3Dデータを拡大及び縮小して前記表示手段に表示することであってもよい。
このように構成することにより、ユーザ端末の表示画面上に3Dデータを回転表示することに加えて、3Dデータのうち必要な領域部分について拡大又は縮小した表示を実施することができ、ユーザの視認性・理解の向上や促進が図られる。
Further, in the 3D data display system of the present invention, the display control means of the user terminal enlarges and reduces the 3D data according to the enlargement operation and reduction operation of the user and displays the 3D data on the display means. Also good.
By configuring in this way, in addition to rotating and displaying 3D data on the display screen of the user terminal, it is possible to perform an enlarged or reduced display of a necessary area portion of the 3D data, which is visually recognized by the user. Improve and promote sex and understanding.
本発明によれば、患者側が所有するユーザ端末及びネットワーク環境で、自宅など任意の場所で、マウスなどの入力装置を用いることなく、ユーザ端末の表示画面上の3Dデータを自在に回転表示させて種々の角度からの視点における3Dデータ像を表示させることができる3Dデータ表示システムを提供することができる。 According to the present invention, 3D data on a display screen of a user terminal can be freely rotated and displayed without using an input device such as a mouse in an arbitrary place such as a home in a user terminal and a network environment owned by a patient. A 3D data display system capable of displaying 3D data images at viewpoints from various angles can be provided.
以下、本発明の第一の実施の形態を図面を参照しつつ説明する。
本実施の形態の3Dデータ表示システム1は、図1に示すように、サーバ10と、ユーザ端末20と、マーカー表示体30から構成されている。
なお、3Dデータ(以下、「3Dコンテンツ」ということがある。)とは、3次元データのことであり、3D画像データ及び3Dアニメーションデータを含む。3D画像データは3Dオブジェクトを種々の角度やズームにより観覧させるものであり、3Dアニメーションデータは3Dアニメーションを実施しているオブジェクトをリアルタイムで種々の角度やズームにて観覧させるものである。
Hereinafter, a first embodiment of the present invention will be described with reference to the drawings.
The 3D data display system 1 of this Embodiment is comprised from the
Note that 3D data (hereinafter also referred to as “3D content”) refers to three-dimensional data, and includes 3D image data and 3D animation data. The 3D image data allows a 3D object to be viewed at various angles and zooms, and the 3D animation data allows an object on which 3D animation is performed to be viewed at various angles and zooms in real time.
サーバ10と、ユーザ端末20はインターネット等の所定のネットワーク100を介して接続されている。典型的には無線で接続されるが有線であってもよい。
The
サーバ10は、CPU(Central Processing Unit)により制御される、ROM(Read Only Memory)・RAM(Random Access Memory)等の他、HDD(Hard Disk Drive)などの記憶部を備え、公知の入出力手段を備える情報処理装置である。例えば、ワークステーション、高機能のパーソナル・コンピュータ等である。所定のアプリケーションの運営事業者などにより運営されてよい。HDDには、特定の患者などについての予防方法、治療工程及び技工物の少なくともいずれかを含む医療に関する3Dデータと、後述するマーカー表示体のマーカーに含まれている3Dデータ識別情報とが所定のテーブル等(テーブルへのデータ格納手法等は公知の技術が適用可能である。)において対応付けられて記憶される。さらにユーザ端末20の後述するX,Y,Z情報ごとに3Dデータが紐付けられていてもよい。
The
ユーザ端末20は、CPUにより制御される、ROM・RAM等の記憶部を備え、公知の入出力手段を備える情報処理装置である。加速度センサーや近接センサー、輝度センサー(環境光センサー)といった様々なセンサー(sensor)が備わっていてもよい。ピンチアウト(拡大)やピンチイン(縮小)というピンチ操作に応じて3Dデータ等を表示する表示画面を備えている。いわゆるスマートフォンの他、ノート型パーソナル・コンピュータ、タブレット型携帯端末、携帯電話機等であってもよい。
The
マーカー表示体30は、いわゆるAR(拡張現実)技術による画像(3Dデータを含む)を表示させるためのトリガーとなるマーカー(ARマーカー)31を表示するものであり、例えば、紙製・樹脂製などの診察券タイプ・パンフレット・冊子形式の印刷物やキーホルダー・ストラップなどの立体物であってよい(図4も参照)。なお、ここでいう表示とは視認できない透明のマーカーが付加されているような状態も含む意味である。
マーカー表示体30は、ストラップ、キーホルダ、あるいは、装身具のいずれかに使用される装飾品であって、体内入込式の義歯固定用インプラントのデータを具現化したサンプルを取り付けた装飾品であってもよい。装飾品の内部に物理的に所定のデータが格納された記憶媒体を収容するスースがあってもなくてもよいが、必ずしも記憶媒体を持ち歩く必要がなくなり、いつでもどこでも患者が常時携帯可能なユーザ端末を用いて3Dデータを表示・視認して確認することができるので患者等の便宜が図られる。
The
The
マーカー31は、画像認識型ARシステム(モノクロ認識されたパターン画像はコントラストとピクセルの範囲で個別のマーカーとして識別され、識別されたマーカーによりコンテンツを表示するシステム。)における所定のパターン画像であり、マーカー31を印刷するなどして現実世界に設置すると、ARシステムがそのパターン画像の写った部分に重ねて指定された情報を表示する。どのようなパターン画像をマーカーとするかはシステムの種類によって任意であるが、単純ではっきりした白黒の図形やQRコード(登録商標)などであってよい。マーカー31は、ユーザ端末20のカメラというリーダーを通じ、あらかじめユーザ端末20にプログラム・インストールされているWebアプリ(ソフトウェア)により処理が施されることにより後続の所定の工程へ流れ、そのトリガーとしての機能が発揮される。また、マーカー31には、特定の患者を一意に識別するための患者識別情報などの、予防方法、治療工程及び技工物の少なくともいずれかを含む医療に関する3Dデータと対応付けられる3Dデータ識別情報が含まれている。
The
図2に、本実施の形態に係る3Dデータ表示システム1を構成する、サーバ10と、ユーザ端末20の機能ブロックを示す。
FIG. 2 shows functional blocks of the
図2を参照すると、サーバ10は、データ送受信部101と、3Dデータ識別情報受信部102と、3Dデータ抽出部103を備えている。
Referring to FIG. 2, the
データ送受信部101は、3Dデータを含む種々のデータを他の装置と送受信する機能を有している。公知の入出力I/FやCPU等により実現されてよい。
3Dデータ識別情報受信部102は、ユーザ端末20から3Dデータ識別情報をネットワーク100を介して受信する機能を有している。公知の入力I/FやCPU等により実現されてよい。
3Dデータ抽出部103は、特定の患者などについての予防方法、治療工程及び技工物の少なくともいずれかを含む医療に関する3Dデータと、後述するマーカー表示体のマーカーに含まれている3Dデータ識別情報とが対応付けられて記憶されているHDDに対して、3Dデータ識別情報に基づいて検索し、対応付けられている3Dデータを抽出してネットワーク100を介してユーザ端末20に送信させる機能を有している。さらに、3Dデータは、ユーザ端末20の後述するX,Y,Z情報に紐付けられている適切なものが選ばれることであってもよい。CPU等により実現されてよい。
The data transmission /
The 3D data identification
The 3D
ユーザ端末20は、カメラ部201と、マーカー情報処理部202と、3Dデータ識別情報送信部203と、3Dデータ受信部204と、3Dデータ表示部205と、空間位置把握部206と、表示制御部207を備えている。
The
カメラ部201は、マーカー表示体30のマーカー31を撮像して認識・読み取る機能を有している。ユーザ端末20の上端縁部などに設けられる小孔にレンズが組み込まれている態様の公知のカメラ機構により実現されてよい。
マーカー情報処理部202は、マーカー31に含まれる、特定の患者を一意に識別するための患者識別情報などの、予防方法、治療工程及び技工物の少なくともいずれかを含む医療に関する3Dデータと対応付けられる3Dデータ識別情報を抽出・読み取る機能を有している。CPU等により実現されてよい。
3Dデータ識別情報送信部203は、3Dデータ識別情報をネットワーク100を介してサーバ10に送信する機能を有している。公知の出力I/FやCPU等により実現されてよい。
3Dデータ受信部204は、3Dデータをネットワーク100を介してサーバ10から受信する機能を有している。公知の入力I/FやCPU等により実現されてよい。
3Dデータ表示部205は、3Dデータを視覚により認識可能に表示する機能を有している。公知の出力I/F(液晶ディスプレイなどの表示画面を含む。)やCPU等により実現されてよい。さらにタッチパネル機能を備え、所定の入力I/Fを兼ねていてもよい。
空間位置把握部206は、ユーザの動作に応じたユーザ端末20の傾きを検知したり、ユーザ端末20の空間における位置情報を把握する機能を有している。公知のセンサーやCPU等により実現されてよい。例えば、3軸加速度センサーは、X軸・Y軸・Z軸の3方向の加速度を1つのデバイスで測定できる加速度センサーであって、シリコン基板上に微小な機械構造を集積化する「微小電気機械素子創製技術(Micro Electro Mechanical Systems、MEMS、メムス、マイクロマシン)」により小型化されたMEMSセンサーである。
表示制御部207は、3Dデータ表示部206に表示されている3Dデータに関して、ユーザ端末20の傾きに対応させて回転して表示したり、ユーザの拡大操作及び縮小操作に応じて拡大及び縮小して表示するように、ネットワーク100を介したサーバ10とのやりとりを含めて制御する機能を有している。CPU等により実現されてよい。
The
The marker
The 3D data identification
The 3D
The 3D
The spatial
The
次に、本実施の形態に係る3Dデータ表示システム1の処理動作を、図3のフローチャートを参照して詳細に説明する。 Next, the processing operation of the 3D data display system 1 according to the present embodiment will be described in detail with reference to the flowchart of FIG.
前提として、サーバ10は、本システムを利用するための特定の端末用アプリケーションの運営事業者などにより設置・運営されるものとする。また、サーバ10のHDDの所定の領域には、データ送受信部101により取得した、歯科医院などにおいて口腔内3Dスキャナなどによりスキャンされた患者の口腔内の3Dデータ(ブラッシングなどの口腔内疾病予防方法データ、治療工程を説明するための治療工程データ、インプラントなどの技工物の3Dコンテンツ)が、特定の患者を一意に識別するための患者識別情報でもある3Dデータ識別情報と紐付けられて所定のテーブルに保存されているものとする。
さらに、歯科医院などにおいてマーカー表示体30として、上記の特定の患者を一意に識別するための患者識別情報でもある3Dデータ識別情報を含ませたマーカー31を表示した印刷物(ここでは診察券とするがキーホルダーなどの立体物でもよい。)を用意しており、そのマーカー表示体30を患者に渡して患者が保持しているものとする。
さらに、ユーザ端末20(例えばスマートフォンである。)には、本システムを利用するための特定の端末用アプリケーションが予め所定のWebサイト(各OSの所定のアプリケーションを利用してもよい。)などから有償・無償によりダウンロードしてインストールされているものとする。
As a premise, it is assumed that the
Further, as a
Furthermore, on the user terminal 20 (for example, a smartphone), a specific terminal application for using the system is preliminarily provided from a predetermined website (a predetermined application of each OS may be used). It is assumed that it has been downloaded and installed for a fee or free of charge.
まず、ユーザは、ユーザ端末20の表示画面をタップ操作して端末用アプリケーションを起動して、OSに合わせてユーザ端末20のカメラ機能(カメラ部201)を起動させる(ステップS301)。
First, the user activates a terminal application by tapping the display screen of the
次に、ユーザ端末20はカメラ機能(カメラ部201)によりマーカー表示体30(図4も参照)としての印刷物のマーカー31を識別して2D認識する(ステップS302)。
Next, the
次に、ユーザ端末20のマーカー情報処理部202は、カメラ機能により認識したマーカー31の表示画面上における位置情報を取得するとともに、マーカー31から特定の患者(ユーザ端末20のユーザ)を一意に識別するための患者識別情報などの、予防方法、治療工程及び技工物の少なくともいずれかを含む医療に関する3Dデータと対応付けられる3Dデータ識別情報を抽出・読み取る(ステップS303)。そして、ユーザ端末20の3Dデータ識別情報送信部203は、3Dデータ識別情報をネットワーク100を介してサーバ10に送信し、サーバ10の3Dデータ識別情報受信部102に受信させる。
Next, the marker
次に、サーバ10の3Dデータ抽出部103は、特定の患者などについての予防方法、治療工程及び技工物の少なくともいずれかを含む医療に関する3Dデータと、後述するマーカー表示体のマーカーに含まれている3Dデータ識別情報とが対応付けられて記憶されているHDDなどの記憶部に対して、3Dデータ識別情報に基づいて検索し、対応付けられている3Dデータを抽出する(ステップS304)。HDDには、例えば、MD2コンテンツ、及びOBJの3D画像データ(静止3Dコンテンツ)、3Dアニメーションデータがテクスチャー(3DのCG:コンピュータグラフィックスで、物体の表面の質感を表現するために貼り付ける画像)付きで配置されている。そして、サーバ10は3Dデータを所定のネットワーク100を介してユーザ端末20に送信し、ユーザ端末20の3Dデータ受信部204に受信させる。
Next, the 3D
次に、ユーザ端末20の3Dデータ表示部205は、受信したそれらの3Dデータを視覚により認識可能に、ユーザ端末20の表示画面におけるマーカー31の表示画面上における位置情報(移動してもリアルタイムに更新される。)に重ねて表示する(ステップS305)。
このように種々の角度からの静止3Dコンテンツの観覧が可能となる。さらに、ユーザ端末20の表示画面を複数回連続してタップするなどの操作に応じて、ユーザ端末20がマーカー31から離れても上記の静止3Dコンテンツの観覧が可能となることであってよい。
Next, the 3D
In this way, it is possible to view static 3D content from various angles. Furthermore, it may be possible to view the above-described still 3D content even when the
さらに、ユーザ端末20の空間位置把握部206は、3軸加速度センサーなどにより、ユーザの動作に応じたユーザ端末20の移動や傾きを検知したり、ユーザ端末20の空間における位置情報を把握して(ステップS306)、ユーザ端末20の表示制御部207は、ネットワーク100を介してサーバ10にトランスレート(移動)のX,Y,Z・ロテート(回転)のX,Y,Z情報を送信し、サーバ10のデータ送受信部101に受信させる。
Furthermore, the spatial
サーバ10の3Dデータ抽出部103は、受信したX,Y,Z情報に基づいて、HDDなどの記憶部を検索して、紐付けられて保存されている、3Dアニメーションデータを、ユーザ端末20にネットワーク100を介して送信し、ユーザ端末20の表示制御部207は、表示画面上に表示されている3Dデータに関して、ユーザ端末20の傾きに対応させて回転して表示させる(ステップS307)。すなわち、ユーザ端末20の表示画面上には、Local空間アニメーションは3Dポリゴンの頂点がタイムラインごとにX,Y,Z情報の変更によりアニメーションされる。またWorld空間のトランスレートとロテートはユーザ端末20と連動して、ユーザ端末20側のコントロールに合わせて挙動する(図5参照)。なお、図5ではXY軸上での回転による表示画面の遷移を示すが、Z軸を含めた回転・傾き動作に対応した表示がなされることはいうまでもない。
このように、ユーザ端末20そのものを動かすことで3Dコンテンツの任意の方向への画像表示の操作を行うことができる。また、ユーザ端末20の表示制御部207は、表示画面としての液晶ディスプレイ等に対するユーザのピンチアウト(拡大)やピンチイン(縮小)というピンチ操作(拡大操作及び縮小操作)に応じて、表示画面上に表示されている3Dデータに関して、拡大及び縮小して表示することができてもよい。
The 3D
As described above, by moving the
上記の本実施の形態によれば、患者側が所有するユーザ端末20であって、患者などが手などで把持しているユーザ端末20自体の角度(向き)を変更することで、患者の自宅など任意の場所で、マウスなどの入力装置を用いることなく、ユーザ端末20の表示画面上の予防方法・治療工程・技工物などに関する3Dデータを、自在に移動して表示させたり、回転表示させて種々の角度からの視点における3Dデータを容易に認識することができる。
According to the above-described embodiment, the
[変形例]
単一のサーバ10のみでなく、機能ごとに複数のサーバが用いられるシステム構成であってもよい。
また、ユーザが患者ではなく、ドクター・医療従事者であればそれらの者は専門知識を有するので歯科や医療の予防・治療などの膨大な説明をほぼすべてを把握可能であるので、ドクター・医療従事者用のツール(システム)にはコンテンツをすべて入れておき患者さんに合わせてコンテンツを選択して説明することであってもよい。
[Modification]
Not only a
In addition, if the user is not a patient but a doctor / medical worker, they have specialized knowledge and can understand almost all the vast explanations of dentistry and medical prevention / treatment. It may be possible to put all contents in a tool (system) for workers and select and explain the contents according to the patient.
次に、本発明の第二の実施の形態を図面を参照しつつ説明する。
本実施の形態の3Dデータ表示システム1´は、図6に示すように、サーバ10´と、ユーザ端末20´と、マーカー表示体30´と、医院端末40−1´、40−2´、・・・40−n´(以下「医院端末40´」と総称することがある。)から構成されている。
上記の第一の実施の形態と基本的には共通する構成が大半であるので重複する説明は省略する。
Next, a second embodiment of the present invention will be described with reference to the drawings.
As shown in FIG. 6, the 3D data display system 1 ′ of the present embodiment includes a
Since most of the configurations are basically the same as those of the first embodiment described above, a duplicate description is omitted.
医院端末40´は、CPU(Central Processing Unit)により制御される、ROM(Read Only Memory)・RAM(Random Access Memory)等の他、HDD(Hard Disk Drive)などの記憶部を備え、公知の入出力手段を備える情報処理装置である。例えば、高機能のパーソナル・コンピュータ等である。歯科医院等の施設に備えられる。
医院端末40´とサーバ10´はインターネット等の所定のネットワークを介して接続されている。
The clinic terminal 40 'includes a storage unit such as an HDD (Hard Disk Drive) in addition to a ROM (Read Only Memory) and a RAM (Random Access Memory) controlled by a CPU (Central Processing Unit). An information processing apparatus including output means. For example, a high-performance personal computer. Provided in facilities such as dental clinics.
The
図7に、本実施の形態に係る3Dデータ表示システム1´を構成する、サーバ10´と、ユーザ端末20´と医院端末40´の機能ブロックを示す。
FIG. 7 shows functional blocks of the
図7を参照すると、サーバ10´は、さらに、医院URL情報受信部102´と、医院URL情報抽出部103´と、治療履歴データ抽出部103´´を備えている。なお、HDDには、各医院端末40´から受信した患者ごとの治療履歴データ(医院名、診察日、治療日、治療内容、処方薬等)が格納されたデータベースが構築されている。
Referring to FIG. 7, the
医院URL情報受信部102´は、医院端末40´から医院のWebサイトのURLである医院URL情報をネットワークを介して受信する機能を有している。公知の入力I/FやCPU等により実現されてよい。
医院URL情報抽出部103´は、医院URL情報と、マーカー表示体のマーカーに含まれている医院URL識別情報とが対応付けられて記憶されているHDDに対して、医院URL識別情報に基づいて検索し、対応付けられている医院URL情報を抽出してネットワークを介してユーザ端末20´に送信させる機能を有している。CPU等により実現されてよい。
治療履歴データ抽出部103´´は、治療履歴データと、個人認証情報とが対応付けられて記憶されているHDDのデータベースに対して、個人認証情報に基づいて検索し、対応付けられている治療履歴データを抽出してネットワークを介してユーザ端末20´に送信させる機能を有している。CPU等により実現されてよい。
The clinic URL
The clinic URL
The treatment history
ユーザ端末20´は、さらに、個人認証情報送信部203´と、医院URL情報受信部204´と、治療履歴データ受信部204´´と、Webサイト表示部205´と、治療履歴データ表示部205´´を備えている。
個人認証情報送信部203´は、医院のWebサイトへのログインの際などに入力される個人ID・パスワード等による個人認証情報をネットワークを介してサーバ10´に送信する機能を有している。公知の出力I/FやCPU等により実現されてよい。
医院URL情報受信部204´は、医院URL情報をネットワーク100を介してサーバ10´から受信する機能を有している。公知の入力I/FやCPU等により実現されてよい。
治療履歴データ受信部204´´は、治療履歴データをネットワーク100を介してサーバ10´から受信する機能を有している。公知の入力I/FやCPU等により実現されてよい。
医院のWebサイト表示部205´は、医院URL情報に基づいてインターネット等のネットワーク上から所定の医院(例えば医院端末40´が設置されている施設)のWebサイトを視覚により認識可能に表示する機能を有している。公知の出力I/F(液晶ディスプレイなどの表示画面を含む。)やCPU等により実現されてよい。さらにタッチパネル機能を備え、所定の入力I/Fを兼ねていてもよい。
治療履歴データ表示部205´´は、治療履歴データを表示する機能有している。公知の出力I/F(液晶ディスプレイなどの表示画面を含む。)やCPU等により実現されてよい。さらにタッチパネル機能を備え、所定の入力I/Fを兼ねていてもよい。
The
The personal authentication
The clinic URL
The treatment history
A clinic
The treatment history
医院端末40´は、治療履歴データ入力部401´と、治療履歴データ送信部402´と、医院URL情報送信部403´を備えている。
The
治療履歴データ入力部401´は、医院名、診察日、治療日、治療内容(例えばインプラントに被覆されたセラミックの種類等)、処方薬等の治療履歴データの入力(例えば医院の医師等の入力操作に応じて)を受け付ける機能を有している。公知の入力I/FやCPU等により実現されてよい。
The treatment history
治療履歴データ送信部402´は、治療履歴データをネットワークを介してサーバ10´に送信し、サーバ10に医院端末40´から収集した治療履歴データのデータベースを構築させる機能を有している。公知の出力I/FやCPU等により実現されてよい。
The treatment history
医院URL情報送信部403´は、医院のWebサイトのURLである医院URL情報をネットワークを介してサーバ10´に送信する機能を有している。公知の出力I/FやCPU等により実現されてよい。
The clinic URL
次に、本実施の形態に係る3Dデータ表示システム1´の処理動作を、図8のフローチャートを参照して詳細に説明する。ここでも上記の第一の実施の形態と大きく相違する点を中心に説明する。 Next, the processing operation of the 3D data display system 1 ′ according to the present embodiment will be described in detail with reference to the flowchart of FIG. Here, the description will focus on the points that are significantly different from the first embodiment.
前提として、サーバ10のHDDの所定の領域には、医院端末40´から収集した治療履歴データのデータベースが構築されているものとする。また、所定の医院のWebサイトの医院URL情報が、特定の患者を一意に識別するための患者識別情報でもある3Dデータ識別情報と紐付けられて所定のテーブルに保存されているものとする。さらに、医院のWebサイトへのログインの際などにおける個人ID・パスワード等による個人認証情報は既知の手法により予めユーザ端末20の利用者に知らされているものとする。
As a premise, it is assumed that a database of treatment history data collected from the
サーバ10の医院URL情報抽出部103´は、医院URL情報と、マーカー表示体のマーカーに含まれている医院URL識別情報とが対応付けられて記憶されているHDDに対して、医院URL識別情報に基づいて検索し、対応付けられている医院URL情報を抽出する(ステップS304´)。そして、サーバ10は医院URL情報を所定のネットワークを介してユーザ端末20に送信し、ユーザ端末20の医院URL情報受信部204´に受信させる。
The clinic URL
次に、ユーザ端末20の医院のWebサイト表示部205´は、医院URL情報に基づいてインターネット等のネットワーク上から所定の医院(例えば医院端末40´が設置されている施設)のWebサイトを表示する(ステップS305´)。
Next, the clinic
次に、ユーザ端末20の個人認証情報送信部203´は、所定の医院のWebサイトへのログインの際などに入力される個人ID・パスワード等による個人認証情報をネットワークを介してサーバ10´に送信する(ステップS306´)。そして、サーバ10に既知の手法により個人認証処理を実施させる。
Next, the personal authentication
また、サーバ10の治療履歴データ抽出部103´´は、医院のWebサイトへのログインの際などにおける個人ID・パスワード等による個人認証完了後に、治療履歴データと個人認証情報が対応付けられて記憶されているHDDのデータベースに対して、個人認証情報に基づいて検索し、対応付けられている治療履歴データを抽出する(ステップS307´)。そして、サーバ10は治療履歴データを所定のネットワークを介してユーザ端末20に送信し、ユーザ端末20の治療履歴データ受信部204´´に受信させる。
In addition, the treatment history
次に、ユーザ端末20の治療履歴データ表示部205´´は、治療履歴データを表示する(ステップS308´)。
Next, the treatment history
上記の本実施の形態によれば、患者側が所有するユーザ端末20であって、患者の自宅など任意の場所で、歯科医院等のWebサイト(例えば予約システム画面)に容易にアクセスできるようになる。
また、医院のWebサイトへのログインの際などにおける個人ID・パスワード等による個人認証後に、技工物に関する情報(例えばインプラント治療でどのようなセラミックを被覆したかの情報)及び治療履歴等の情報DBに容易にアクセスできるようになる。
According to the present embodiment, the
In addition, after personal authentication using a personal ID, password, etc. when logging in to the clinic's website, information related to technical materials (for example, what kind of ceramic is covered with implant treatment) and information DB such as treatment history To be easily accessible.
さらに上記の各実施の形態による処理が連続して実施されたり、その前後を入れ替えて実施されたり、並列処理されたりすること等であってもよい。 Further, the processing according to each of the above embodiments may be continuously performed, the front and rear thereof may be switched, or may be performed in parallel.
なお、上述する各実施の形態は、本発明の好適な実施の形態であり、本発明の要旨を逸脱しない範囲内において種々変更実施が可能である。例えば、各装置・システムの機能を実現するためのプログラムを各装置・システム等に読込ませて実行することにより各装置・システム等の機能を実現する処理を行ってもよい。さらに、そのプログラムは、コンピュータ読み取り可能な記録媒体であるCD−ROMまたは光磁気ディスクなどを介して、または伝送媒体であるインターネット、電話回線等を介して伝送波により他のコンピュータシステムに伝送されてもよい。また、一部のシステムが人の動作を介在して実現されてもよい。 Each of the above-described embodiments is a preferred embodiment of the present invention, and various modifications can be made without departing from the scope of the present invention. For example, a process for realizing the functions of each device / system may be performed by causing each device / system to read and execute a program for realizing the function of each device / system. Further, the program is transmitted to another computer system by a transmission wave through a CD-ROM or a magneto-optical disk as a computer-readable recording medium, or through the Internet or a telephone line as a transmission medium. Also good. Also, some systems may be realized through human actions.
10 サーバ
20 ユーザ端末
30 マーカー表示体
31 マーカー
100 ネットワーク
10
Claims (4)
前記サーバは、疾病予防方法、治療工程(治療履歴に関する情報を除く。)及び技工物(治療履歴に関する情報を除く。)の少なくともいずれかに関する3Dデータと、前記マーカー表示体のマーカーに含まれている識別情報とを対応付けて記憶している記憶部と、
前記識別情報に基づいて前記記憶部を検索し、対応付けられている前記3Dデータを抽出して前記ユーザ端末に送信する3Dデータ抽出手段とを備え、
前記ユーザ端末は、前記マーカーを読み取る読取手段と、
前記読取手段により読み取った前記識別情報を前記サーバに送信し、前記3Dデータを前記サーバから取得する3Dデータ取得手段と、
前記3Dデータ取得手段により取得した3Dデータを表示する表示手段と、
ユーザの動作に応じた自ユーザ端末の傾きを検知する傾き検知手段と、
前記傾き検知手段により検知した自ユーザ端末の傾きに対応させて、前記表示手段に表示されている前記3Dデータを回転して表示する表示制御手段とを備え、
前記マーカー表示体は、医院の診察券であることを特徴とする3Dデータ表示システム。 A 3D data display system comprising a server, a user terminal, and a marker display having a marker,
The server is included in 3D data regarding at least one of a disease prevention method, a treatment process (excluding information on treatment history) and a technical product (excluding information on treatment history), and a marker of the marker display body. A storage unit that stores the identification information in association with each other;
3D data extraction means for searching the storage unit based on the identification information, extracting the associated 3D data and transmitting it to the user terminal,
The user terminal comprises reading means for reading the marker;
3D data acquisition means for transmitting the identification information read by the reading means to the server and acquiring the 3D data from the server;
Display means for displaying the 3D data acquired by the 3D data acquisition means;
An inclination detection means for detecting the inclination of the user terminal corresponding to the user's action;
Display control means for rotating and displaying the 3D data displayed on the display means in correspondence with the inclination of the user terminal detected by the inclination detection means ,
It said marker display body, 3D data display system characterized consultation ticket der Rukoto clinic.
前記識別情報に基づいて前記記憶部を検索し、対応付けられている前記医院URL情報を抽出して前記ユーザ端末に送信する医院URL情報抽出手段とを備え、
前記ユーザ端末は、前記マーカーを読み取る読取手段と、
前記読取手段により読み取った前記識別情報を前記サーバに送信し、前記医院URL情報を前記サーバから取得する医院URL情報取得手段と、
前記医院URL情報取得手段により取得した前記医院URL情報に基づき前記医院のWebサイトを表示する表示手段とをさらに備えることを特徴とする請求項1記載の3Dデータ表示システム。 The server stores the clinic URL information, which is the URL of the clinic website, and the identification information included in the marker of the marker display body in association with each other;
A clinic URL information extracting means for searching the storage unit based on the identification information, extracting the associated clinic URL information and transmitting it to the user terminal;
The user terminal comprises reading means for reading the marker;
Clinic URL information acquiring means for transmitting the identification information read by the reading means to the server and acquiring the clinic URL information from the server;
The 3D data display system according to claim 1, further comprising display means for displaying the clinic website based on the clinic URL information acquired by the clinic URL information acquisition means.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014016387A JP5812451B2 (en) | 2013-06-13 | 2014-01-31 | 3D data display system |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013124639 | 2013-06-13 | ||
JP2013124639 | 2013-06-13 | ||
JP2014016387A JP5812451B2 (en) | 2013-06-13 | 2014-01-31 | 3D data display system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015016291A JP2015016291A (en) | 2015-01-29 |
JP5812451B2 true JP5812451B2 (en) | 2015-11-11 |
Family
ID=52437899
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014016387A Active JP5812451B2 (en) | 2013-06-13 | 2014-01-31 | 3D data display system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5812451B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7131808B2 (en) * | 2018-06-14 | 2022-09-06 | 株式会社吉田製作所 | Wearable dental care device and wearable dental care system |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001306691A (en) * | 2000-02-17 | 2001-11-02 | Shimizu Haruo | Clinical consultation information system |
JP2002063092A (en) * | 2000-06-09 | 2002-02-28 | Tomy Co Ltd | Information-providing system, information-providing device, server, toy, information-providing method, and storage medium |
JP4418225B2 (en) * | 2003-12-18 | 2010-02-17 | オリンパス株式会社 | Information presentation system |
JP2006113945A (en) * | 2004-10-18 | 2006-04-27 | Planet:Kk | Dentistry information providing system |
JP2006330907A (en) * | 2005-05-24 | 2006-12-07 | Toshihiko Okabe | Information accessory, information system and information reading program |
-
2014
- 2014-01-31 JP JP2014016387A patent/JP5812451B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2015016291A (en) | 2015-01-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CA2794898C (en) | Method of rendering and manipulating anatomical images on mobile computing device | |
Kim et al. | Touch and hand gesture-based interactions for directly manipulating 3D virtual objects in mobile augmented reality | |
US9779512B2 (en) | Automatic generation of virtual materials from real-world materials | |
US9728010B2 (en) | Virtual representations of real-world objects | |
JP5936155B2 (en) | 3D user interface device and 3D operation method | |
CN107646098A (en) | System for tracking portable equipment in virtual reality | |
JP5843340B2 (en) | 3D environment sharing system and 3D environment sharing method | |
CN107667328A (en) | System for tracking handheld device in enhancing and/or reality environment | |
US20120256950A1 (en) | Medical support apparatus, medical support method, and medical support system | |
CN109416580A (en) | Selection to the object in three-dimensional space | |
US20180232925A1 (en) | Real-time medical image visualization systems and related methods | |
Andersen et al. | Virtual annotations of the surgical field through an augmented reality transparent display | |
CN105051650A (en) | Three-dimensional unlocking device, three-dimensional unlocking method and program | |
JP6240000B2 (en) | Picking support apparatus and program | |
JPWO2014016992A1 (en) | 3D user interface device and 3D operation method | |
JP2015062120A (en) | Mobile information gateway for use in emergency situations or with special equipment | |
KR20140130675A (en) | Image processing device, and computer program product | |
US20230384907A1 (en) | Methods for relative manipulation of a three-dimensional environment | |
KR20120034672A (en) | Spatial, multi-modal control device for use with spatial operating system | |
KR20160060582A (en) | Device and method for processing visual data, and related computer program product | |
US20190311796A1 (en) | Color analysis and control using an electronic mobile device transparent display screen integral with the use of augmented reality glasses | |
CN118435151A (en) | Method for moving objects in a three-dimensional environment | |
CN104679222B (en) | Medical office system, medical information sharing system and method based on man-machine interaction | |
JP2021033963A (en) | Information processing device, display control method and display control program | |
JP2023526716A (en) | Surgical navigation system and its application |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140131 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140131 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20140131 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20140327 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140407 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140414 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20140709 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140917 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20140926 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20141031 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150910 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5812451 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |