JP6456461B1 - Nasal stenosis diagnostic device and nasal stenosis diagnostic system - Google Patents

Nasal stenosis diagnostic device and nasal stenosis diagnostic system Download PDF

Info

Publication number
JP6456461B1
JP6456461B1 JP2017221691A JP2017221691A JP6456461B1 JP 6456461 B1 JP6456461 B1 JP 6456461B1 JP 2017221691 A JP2017221691 A JP 2017221691A JP 2017221691 A JP2017221691 A JP 2017221691A JP 6456461 B1 JP6456461 B1 JP 6456461B1
Authority
JP
Japan
Prior art keywords
volume
nose
nasal
total
rest
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017221691A
Other languages
Japanese (ja)
Other versions
JP2019092531A (en
Inventor
剛司 宮脇
剛司 宮脇
真也 積山
真也 積山
ホラシオ サンソン
ホラシオ サンソン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Allm Inc
Original Assignee
Allm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Allm Inc filed Critical Allm Inc
Priority to JP2017221691A priority Critical patent/JP6456461B1/en
Application granted granted Critical
Publication of JP6456461B1 publication Critical patent/JP6456461B1/en
Publication of JP2019092531A publication Critical patent/JP2019092531A/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】対象者の鼻弁狭窄の発生有無を判定する装置を提供する。
【解決手段】対象者の安静時の鼻の状態を撮影した３Ｄ画像と、吸気時の鼻の状態を撮影した３Ｄ画像を取得する画像取得手段と、３Ｄ画像から算出された安静時の鼻全体容積に対する、吸気時の鼻全体容積の減少量があらかじめ設定された閾値以上である場合、または鼻腔内容積特定手段によって特定された安静時における鼻腔内容積に対する、吸気時における鼻腔内容積の減少量があらかじめ設定された閾値以上である場合に、対象者に鼻弁狭窄の症状が認められると判定する判定手段とを備える。
【選択図】図４An apparatus for determining whether or not a nasal valve stenosis has occurred in a subject is provided.
An image acquisition means for acquiring a 3D image obtained by imaging a nose condition of a subject at rest, a 3D image obtained by imaging a nose condition during inspiration, and an entire rest nose calculated from the 3D image. The amount of decrease in the volume of the nasal cavity at the time of inspiration relative to the volume of the nasal cavity at the time of rest determined by the intranasal volume specifying means when the amount of decrease in the total volume of the nose at the time of intake is greater than or equal to a predetermined threshold Determining means for determining that the subject has a symptom of nasal valve stenosis when the threshold is equal to or greater than a preset threshold value.
[Selection] Figure 4

Description

本発明は、鼻弁狭窄診断装置、および鼻弁狭窄診断システムに関する。   The present invention relates to a nasal stenosis diagnostic apparatus and a nasal stenosis diagnostic system.

次のような人体の各部分における変化を測定するための方法が知られている。この方法では、人体の一部分の変化前後の三次元画像を比較することによって、人体の一部分における変化を測定する（例えば、特許文献１）。   Methods for measuring changes in various parts of the human body are known as follows. In this method, a change in a part of the human body is measured by comparing three-dimensional images before and after the change of the part of the human body (for example, Patent Document 1).

特開２００２−３３６２０４号公報JP 2002-336204 A

従来の人体の各部分における変化を測定するための方法によれば、人体の表面に現れる変化については、２枚の三次元画像を比較することによって測定することができる。しかしながら、人体の表面に現れる変化だけでは正確に人体に生じる変化を測定することができない場合がある。例えば、鼻骨や鼻軟骨等の形状により、吸気時に鼻翼が沈み込む鼻閉による疾患である鼻弁狭窄は、患者の安静時と吸気時の鼻腔内の変化まで測定した上で診断を行う必要があるが、従来の技術では、鼻弁狭窄の診断を精度高く行うための技術については、何ら検討されていなかった。なお、鼻弁狭窄の診断を行う方法としてＣＴ検査も考えられるが、ＣＴ検査の場合は、放射線被爆、動作する鼻腔の撮影タイミングの難しさ、撮影費用、鼻腔容積の計測の画一的なものがないといった問題がある。   According to the conventional method for measuring changes in each part of the human body, changes appearing on the surface of the human body can be measured by comparing two three-dimensional images. However, there are cases where it is impossible to accurately measure changes that occur in the human body only by changes that appear on the surface of the human body. For example, nasal stenosis, a disease caused by a nasal obstruction in which the nasal wing sinks during inhalation due to the shape of the nasal bone, nasal cartilage, etc., needs to be diagnosed after measuring the patient's rest and changes in the nasal cavity during inhalation. However, in the conventional technique, no technique has been studied for accurately diagnosing nasal valve stenosis. CT is also considered as a method for diagnosing nasal stenosis, but in the case of CT, it is a uniform measurement of radiation exposure, difficulty in imaging of the nasal cavity to be operated, imaging cost, and measurement of nasal volume. There is a problem that there is no.

本発明による鼻弁狭窄診断装置は、対象者の安静時の鼻の状態を撮影した３Ｄ画像（以下、「安静時３Ｄ画像」と呼ぶ）のデータと、対象者の吸気時の鼻の状態を撮影した３Ｄ画像（以下、「吸気時３Ｄ画像」と呼ぶ）のデータを取得する画像取得手段と、画像取得手段によって取得された安静時３Ｄ画像と吸気時３Ｄ画像とに基づいて、対象者の鼻の大きさ特定する大きさ特定手段と、画像取得手段によって取得された安静時３Ｄ画像と吸気時３Ｄ画像とに基づいて、安静時の鼻全体容積と吸気時の鼻全体容積を算出する鼻全体容積算出手段と、大きさ特定手段によって特定された対象者の鼻の大きさ、および鼻全体容積算出手段によって算出された安静時の鼻全体容積と吸気時の鼻全体容積に基づいて、対象者の安静時における鼻腔内容積と吸気時における鼻腔内容積とを特定する鼻腔内容積特定手段と、鼻全体容積算出手段によって算出された安静時の鼻全体容積に対する、鼻全体容積算出手段によって算出された吸気時の鼻全体容積の減少量があらかじめ設定された閾値以上である場合、または鼻腔内容積特定手段によって特定された安静時における鼻腔内容積に対する、鼻腔内容積特定手段によって算出された吸気時における鼻腔内容積の減少量があらかじめ設定された閾値以上である場合に、対象者に鼻弁狭窄の症状が認められると判定する判定手段とを備えることを特徴とする。
本発明による鼻弁狭窄診断システムは、対象者の安静時の鼻の状態を撮影した３Ｄ画像（以下、「安静時３Ｄ画像」と呼ぶ）のデータと、対象者の吸気時の鼻の状態を撮影した３Ｄ画像（以下、「吸気時３Ｄ画像」と呼ぶ）のデータを取得する画像取得手段と、画像取得手段によって取得された安静時３Ｄ画像と吸気時３Ｄ画像とに基づいて、対象者の鼻の大きさ特定する大きさ特定手段と、画像取得手段によって取得された安静時３Ｄ画像と吸気時３Ｄ画像とに基づいて、安静時の鼻全体容積と吸気時の鼻全体容積を算出する鼻全体容積算出手段と、大きさ特定手段によって特定された対象者の鼻の大きさ、および鼻全体容積算出手段によって算出された安静時の鼻全体容積と吸気時の鼻全体容積に基づいて、対象者の安静時における鼻腔内容積と吸気時における鼻腔内容積とを特定する鼻腔内容積特定手段と、鼻全体容積算出手段によって算出された安静時の鼻全体容積に対する、鼻全体容積算出手段によって算出された吸気時の鼻全体容積の減少量があらかじめ設定された閾値以上である場合、または鼻腔内容積特定手段によって特定された安静時における鼻腔内容積に対する、鼻腔内容積特定手段によって算出された吸気時における鼻腔内容積の減少量があらかじめ設定された閾値以上である場合に、対象者に鼻弁狭窄の症状が認められると判定する判定手段とを備えることを特徴とする。
The nasal stenosis diagnostic apparatus according to the present invention includes data of a 3D image (hereinafter referred to as a “resting 3D image”) obtained by photographing a subject's state of the nose and a state of the subject's nose during inspiration. Based on the image acquisition means for acquiring the data of the captured 3D image (hereinafter referred to as “3D image during inspiration”), the resting 3D image and the inspiration 3D image acquired by the image acquisition means, A nose for calculating the total volume of the nose at rest and the total volume of the nose at inspiration based on the size specifying means for specifying the size of the nose and the 3D image at rest and the 3D image at inspiration acquired by the image acquisition means Based on the total volume calculation means, the size of the subject's nose specified by the size specification means, and the total nose volume at rest and the total nose volume during inspiration calculated by the total nose volume calculation means Contents of the nasal cavity at rest Nasal volume specifying means for determining the nasal volume at the time of inhalation and the total volume of the nose at the time of inspiration calculated by the total volume of the nose calculated with respect to the total volume of the nose at rest calculated by the total volume of the nose The amount of decrease in intranasal volume during inspiration calculated by the intranasal volume specifying means with respect to the resting nasal volume determined by the intranasal volume specifying means when the amount of decrease is greater than or equal to a preset threshold value And determining means for determining that the subject has a symptom of nasal stenosis when the value is equal to or greater than a preset threshold value.
The nasal stenosis diagnosis system according to the present invention includes data of a 3D image (hereinafter referred to as a “resting 3D image”) obtained by imaging a subject's nasal state and a subject's nasal state during inspiration. Based on the image acquisition means for acquiring the data of the captured 3D image (hereinafter referred to as “3D image during inspiration”), the resting 3D image and the inspiration 3D image acquired by the image acquisition means, A nose for calculating the total volume of the nose at rest and the total volume of the nose at inspiration based on the size specifying means for specifying the size of the nose and the 3D image at rest and the 3D image at inspiration acquired by the image acquisition means Based on the total volume calculation means, the size of the subject's nose specified by the size specification means, and the total nose volume at rest and the total nose volume during inspiration calculated by the total nose volume calculation means Nasal cavity at rest The intranasal volume specifying means for specifying the volume and the volume in the nasal cavity at the time of inhalation, and the whole nose at the time of inspiration calculated by the whole nose volume calculating means with respect to the total volume of the nose at rest calculated by the whole nose volume calculating means Reduction of intranasal volume during inspiration calculated by intranasal volume specifying means when the amount of volume reduction is equal to or greater than a preset threshold value, or relative to resting nasal volume specified by intranasal volume specifying means And determining means for determining that a symptom of nasal valve stenosis is observed in the subject when the amount is equal to or greater than a preset threshold value.

本発明によれば、ＣＴ検査を行わなくても、３Ｄ画像を用いて対象者の鼻弁狭窄の診断を行うことができる。   According to the present invention, a nasal valve stenosis of a subject can be diagnosed using a 3D image without performing a CT examination.

鼻弁狭窄診断装置１００の一実施の形態の構成を示すブロック図である。1 is a block diagram showing a configuration of an embodiment of a nasal stenosis diagnostic apparatus 100. FIG. 人物の鼻の大きさの特定方法を模式的に示した図である。It is the figure which showed typically the identification method of the magnitude | size of a person's nose. 左側カメラと右側カメラによる撮影画像を模式的に示した図である。It is the figure which showed typically the picked-up image by the left camera and the right camera. 鼻弁狭窄診断装置１００で実行される処理の流れを示すフローチャート図である。5 is a flowchart showing a flow of processing executed by the nasal valve stenosis diagnostic apparatus 100. FIG.

図１は、本実施の形態における鼻弁狭窄診断装置１００の一実施の形態の構成を示すブロック図である。鼻弁狭窄診断装置１００としては、例えば、サーバ装置やパソコン等が用いられ、図１は、鼻弁狭窄診断装置１００としてパソコンを用いた場合の一実施の形態の構成を示している。鼻弁狭窄診断装置１００は、接続インターフェース１０１と、制御装置１０２と、記録装置１０３と、表示装置１０４とを備えている。   FIG. 1 is a block diagram showing a configuration of an embodiment of a nasal stenosis diagnostic apparatus 100 according to the present embodiment. As the nasal stenosis diagnostic apparatus 100, for example, a server device or a personal computer is used. FIG. 1 shows a configuration of an embodiment in which a personal computer is used as the nasal valve stenosis diagnostic apparatus 100. The nasal stenosis diagnostic apparatus 100 includes a connection interface 101, a control device 102, a recording device 103, and a display device 104.

接続インターフェース１０１は、外部の機器を鼻弁狭窄診断装置１００へ接続するためのインターフェースであり、本実施の形態では、この接続インターフェース１０１に３Ｄ画像を撮影可能な３Ｄカメラが接続される。   The connection interface 101 is an interface for connecting an external device to the nasal stenosis diagnostic apparatus 100. In the present embodiment, a 3D camera capable of capturing a 3D image is connected to the connection interface 101.

制御装置１０２は、ＣＰＵ、メモリ、およびその他の周辺回路によって構成され、鼻弁狭窄診断装置１００の全体を制御する。なお、制御装置１０２を構成するメモリは、例えばＳＤＲＡＭ等の揮発性のメモリである。このメモリは、ＣＰＵがプログラム実行時にプログラムを展開するためのワークメモリや、データを一時的に記録するためのバッファメモリとして使用される。   The control device 102 includes a CPU, a memory, and other peripheral circuits, and controls the entire nasal stenosis diagnostic device 100. In addition, the memory which comprises the control apparatus 102 is volatile memories, such as SDRAM, for example. This memory is used as a work memory for the CPU to expand the program when the program is executed and a buffer memory for temporarily recording data.

記録装置１０３は、鼻弁狭窄診断装置１００が蓄える種々のデータや、制御装置１０２が実行するためのプログラムのデータ等を記録するための記憶媒体で構成される記録装置であり、例えばＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等が用いられる。なお、記録装置１０３に記録されるプログラムのデータは、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの記録媒体に記録されて提供されたり、ネットワークを介して提供され、操作者が取得したプログラムのデータを記録装置１０３にインストールすることによって、制御装置１０２がプログラムを実行できるようになる。本実施の形態では、接続インターフェース１０１を介して接続された３Ｄカメラから入力される３Ｄ画像データは、記録装置１０３に記録される。   The recording device 103 is a recording device composed of a storage medium for recording various data stored in the nasal stenosis diagnosis device 100, data of a program to be executed by the control device 102, and the like, for example, an HDD (Hard). Disk Drive) or SSD (Solid State Drive) is used. The program data recorded in the recording device 103 is provided by being recorded on a recording medium such as a CD-ROM or a DVD-ROM, or provided via a network, and records the program data acquired by the operator. By installing in the device 103, the control device 102 can execute the program. In the present embodiment, 3D image data input from a 3D camera connected via the connection interface 101 is recorded in the recording device 103.

表示装置１０４は、例えば液晶ディスプレイなどであって、制御装置１０２によって出力された表示用データを表示するための装置である。   The display device 104 is a liquid crystal display, for example, and is a device for displaying display data output by the control device 102.

本実施の形態における鼻弁狭窄診断装置１００では、記録装置１０３には、人物の鼻タイプごとに、安静時における鼻腔内容積と、吸気時における鼻腔内容積と、安静時と吸気時の鼻全体容積の減少量に基づく鼻弁狭窄の発生を判定するために用いる第一の閾値と、安静時と吸気時の鼻腔内容積の減少量に基づく鼻弁狭窄の発生を判定するために用いる第二の閾値とを関連付けた鼻タイプ情報があらかじめ記録されている。ここで、人物の鼻タイプは、鼻の大きさと、安静時の鼻全体容積と、吸気時の鼻全体容積とに基づいて分類されている。すなわち、本実施の形態では、鼻タイプ情報は、鼻の大きさと、安静時の鼻全体容積と、吸気時の鼻全体容積に対して、安静時における鼻腔内容積と、吸気時における鼻腔内容積と、第一の閾値と、第二の閾値とが関連付けられたデータとなっている。   In nasal stenosis diagnostic apparatus 100 according to the present embodiment, recording apparatus 103 includes, for each human nose type, nasal cavity volume at rest, nasal cavity volume at inspiration, and entire nose at rest and inspiration. A first threshold used to determine the occurrence of nasal valve stenosis based on the amount of volume decrease, and a second threshold used to determine the occurrence of nasal valve stenosis based on the amount of decrease in intranasal volume at rest and inspiration Nose type information that is associated with the threshold value is recorded in advance. Here, the nose type of a person is classified based on the size of the nose, the total volume of the nose at rest, and the total volume of the nose during inspiration. That is, in the present embodiment, the nasal type information includes the size of the nose, the total volume of the nose at rest, and the total volume of the nose at inspiration, and the intranasal volume at rest and the intranasal volume at inspiration. The first threshold value and the second threshold value are associated with each other.

なお、人物の鼻の大きさの特定方法は様々な方法が考えられるが、本実施の形態では、安静時３Ｄ画像に基づいて鼻の高さ、鼻の長さ、鼻の幅を鼻の大きさとして特定する。例えば、図２（ａ）は、人物の鼻を正面から見た場合を模式的に示しているが、この図２（ａ）において、鼻の上端から鼻の下端までの長さ２ａを鼻の長さとし、鼻の横幅の最も長い部分の長さ２ｂを鼻の幅とすればよい。図２（ｂ）は、人物の鼻を右側から見た場合を模式的に示しているが、この図２（ｂ）において、鼻の最も高い部分の長さ２ｃを鼻の高さとすればよい。   Various methods can be considered for specifying the size of the person's nose. In this embodiment, the height of the nose, the length of the nose, and the width of the nose are determined based on the resting 3D image. Identified as For example, FIG. 2 (a) schematically shows the case where a person's nose is viewed from the front. In FIG. 2 (a), the length 2a from the upper end of the nose to the lower end of the nose is represented by the length of the nose. The length 2b of the longest width of the nose may be the nose width. FIG. 2B schematically shows the case where the nose of a person is viewed from the right side. In FIG. 2B, the length 2c of the highest part of the nose may be the height of the nose. .

鼻タイプ情報として記録されるデータの一例を挙げると、鼻の高さ３．４ｃｍ、鼻の長さ７．４ｃｍ、鼻の幅２．２ｃｍ、安静時の鼻全体容積６０００ｃｃ、吸気時の鼻全体容積４５００ｃｃ、安静時における鼻腔内容積３１００ｃｃ、吸気時における鼻腔内容積２１７０ｃｃ、第一の閾値２３％、第二の閾値３０％となる。本実施の形態では、このように、鼻の高さ、鼻の長さ、鼻の幅、安静時の鼻全体容積、吸気時の鼻全体容積、安静時における鼻腔内容積、吸気時における鼻腔内容積、第一の閾値、第二の閾値とからなるデータを複数含んだ鼻タイプ情報があらかじめ記録装置１０３に記録されている。なお、鼻タイプ情報は、過去のＣＴ撮影画像などに基づいて、一般的に想定される鼻タイプごとの安静時における鼻腔内容積、吸気時における鼻腔内容積、第一の閾値、第二の閾値が算出されているものとする。   As an example of data recorded as nose type information, the height of the nose is 3.4 cm, the length of the nose is 7.4 cm, the width of the nose is 2.2 cm, the total volume of the nose at rest is 6000 cc, the whole nose when inhaled The volume is 4,500 cc, the intranasal volume 3100 cc at rest, the nasal volume 2170 cc at inspiration, the first threshold 23%, and the second threshold 30%. In this embodiment, the height of the nose, the length of the nose, the width of the nose, the total volume of the nose at rest, the total volume of the nose at inspiration, the intranasal volume at rest, the contents of the nasal cavity at inspiration Nose type information including a plurality of data including the product, the first threshold value, and the second threshold value is recorded in the recording device 103 in advance. The nasal type information is based on past CT images and the like, and the nasal cavity volume during rest, the nasal cavity volume during inspiration, the first threshold value, and the second threshold value for each generally assumed nasal type Is calculated.

本実施の形態では、対象者である患者の鼻弁狭窄の発生有無を診断するために、病院内に鼻弁狭窄診断装置１００が設置されている場合を想定する。これによって、診断を行う人物、例えば医師などは、鼻弁狭窄診断装置１００を用いて患者に鼻弁狭窄の症状が認められるか否かを診断することができる。なお、本実施の形態では、接続インターフェース１０１を介して接続されている３Ｄカメラは、患者の鼻部分の３Ｄ画像を撮影できるように、あらかじめ設置および設定が完了しているものとする。なお、３Ｄカメラは、左右方向に２つのレンズが設けられた公知の二眼式のものを用いればよい。また、３Ｄカメラを用いた３Ｄ画像の撮影方法に関しては、公知の技術のため説明を省略する。   In the present embodiment, it is assumed that a nasal stenosis diagnostic apparatus 100 is installed in a hospital in order to diagnose the occurrence of nasal stenosis in a patient who is a subject. Thereby, a person who performs diagnosis, for example, a doctor or the like, can diagnose whether or not a symptom of nasal stenosis is observed in the patient using the nasal stenosis diagnostic apparatus 100. In the present embodiment, it is assumed that the 3D camera connected via the connection interface 101 has been installed and set in advance so that a 3D image of the patient's nose can be captured. The 3D camera may be a known twin-lens camera provided with two lenses in the left-right direction. In addition, since a 3D image capturing method using a 3D camera is a known technique, a description thereof will be omitted.

医師などの鼻弁狭窄診断装置１００の操作者は、対象者をあらかじめ決められた場所に位置させ、３Ｄカメラを用いた鼻部の撮影を開始する。このとき、操作者は、対象者に息を止めた状態から大きく息を吸うように促し、３Ｄカメラで対象者が息を止めた状態と息を大きく吸った状態の３Ｄ画像を撮影する。操作者は、これを複数回、例えば４〜５回程度繰り返す。   An operator of the nasal stenosis diagnostic apparatus 100 such as a doctor places the subject at a predetermined location and starts photographing the nose using a 3D camera. At this time, the operator urges the subject to take a large breath from the state where the subject has stopped breathing, and takes a 3D image of the state in which the subject has stopped breathing and the state in which the subject has breathed greatly with the 3D camera. The operator repeats this several times, for example, about 4 to 5 times.

制御装置１０２は、接続インターフェース１０１を介して入力される３Ｄカメラで撮影された画像を記録装置１０３に記録する。また、制御装置１０２は、３Ｄカメラから取得した３Ｄ画像の中から、鼻全体の容積が最大となる状態で撮影された３Ｄ画像を対象者の安静時の３Ｄ画像として特定し、鼻全体の容積が最小となる状態で撮影された３Ｄ画像を対象者の吸気時の３Ｄ画像として特定する。なお、本実施の形態では、鼻全体の容積が最大となる状態で撮影された３Ｄ画像を対象者の安静時の３Ｄ画像とし、鼻全体の容積が最小となる状態で撮影された３Ｄ画像を対象者の吸気時の３Ｄ画像とする例について説明するが、必ずしも鼻全体容積が最大、最小のものでなくてもよく、他の判定基準に基づいて対象者の安静時の３Ｄ画像と対象者の吸気時の３Ｄ画像を特定するようにしてもよい。   The control device 102 records an image taken by the 3D camera input via the connection interface 101 in the recording device 103. In addition, the control device 102 specifies a 3D image captured in a state where the volume of the entire nose is maximized from among 3D images acquired from the 3D camera as a 3D image when the subject is at rest, and the volume of the entire nose. The 3D image captured in a state where the image is minimized is specified as the 3D image when the subject inhales. In the present embodiment, a 3D image captured in a state where the volume of the entire nose is maximized is taken as a 3D image when the subject is at rest, and a 3D image captured in a state where the volume of the entire nose is minimized. Although an example of a 3D image at the time of inspiration of the subject will be described, the total volume of the nose may not necessarily be the maximum or minimum, and the 3D image at the time of the subject's rest and the subject based on other criteria A 3D image at the time of inhalation may be specified.

ここで、対象者の鼻部を撮影した画像に基づいて鼻全体の容積を算出する方法について説明する。本実施の形態では、制御装置１０２は、３Ｄ画像内の対象者の鼻部を含む領域を対象として、３Ｄカメラから被写体までの距離を各画素ごとに算出する。具体的には、次のように算出する。   Here, a method for calculating the volume of the entire nose based on an image obtained by photographing the subject's nose will be described. In the present embodiment, the control device 102 calculates the distance from the 3D camera to the subject for each pixel for a region including the nose of the subject in the 3D image. Specifically, it is calculated as follows.

３Ｄカメラは、上述したように、左右方向に２つのレンズが設けられた公知の二眼式であるため、左側のカメラによる撮影画像と右側のカメラによる撮影画像では、左側カメラと右側カメラの視差により、それぞれの画像内における同一被写体の位置が異なる。図３は、左側カメラと右側カメラによる撮影画像を模式的に示した図である。図３では、画像内の三角形の被写体が人物の鼻を模している。図３においては、図３（ａ）に示す左側カメラで撮影された左側画像と、図３（ｂ）に示す右側カメラで撮影された右側画像は、視差があるため同一被写体の画像内における位置がずれる。本実施の形態では、この両画像間での同一部位のずれ量に基づいて３Ｄカメラから被写体までの距離を３Ｄ画像内の各画素ごとに算出する。   As described above, since the 3D camera is a known twin-lens system in which two lenses are provided in the left-right direction, the parallax between the left camera and the right camera is taken between the image taken by the left camera and the image taken by the right camera. Therefore, the position of the same subject in each image is different. FIG. 3 is a diagram schematically showing images taken by the left camera and the right camera. In FIG. 3, a triangular subject in the image imitates a human nose. In FIG. 3, the left image taken by the left camera shown in FIG. 3A and the right image taken by the right camera shown in FIG. Shifts. In the present embodiment, the distance from the 3D camera to the subject is calculated for each pixel in the 3D image based on the amount of deviation of the same part between the two images.

制御装置１０２は、左側画像と右側画像との間でパターンマッチング処理を行うことにより、右側画像と左側画像の対応する画素を特定する。例えば、左側画像の画素Ｉ１（ｘＬ,ｙＬ）と、右側画素のＩ２（ｘＲ,ｙＲ）を対象として、次式（１）によりＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）を算出し、この値が最小になる画素同士を両画像間の対応する画素として特定する。この処理を右側画像と左側画像の全画素ｗを対象として行うことにより、右側画像と左側画像との間で対応する画素をすべて特定することができる。

Figure 0006456461
The control device 102 specifies corresponding pixels in the right image and the left image by performing pattern matching processing between the left image and the right image. For example, for the pixel I 1 (x L , y L ) of the left image and the pixel I 2 (x R , y R ) of the right pixel, an SSD (Sum of Squared Difference) is calculated by the following equation (1): The pixels having the minimum value are specified as the corresponding pixels between the two images. By performing this process for all the pixels w in the right image and the left image, it is possible to specify all corresponding pixels between the right image and the left image.
Figure 0006456461

これによって、例えば、図３（ａ）に示す左側画像における画素Ｉ１と図３（ｂ）に示す右側画像における画素Ｉ２とが対応する画素として特定される。なお、右側画像と左側画像では、画像の中心画素を原点とし、水平方向をｘ軸、垂直方向をｙ軸として画素位置を特定している。 Thus, for example, and the pixel I 2 in the right image illustrated in pixels I 1 and FIG. 3 (b) in the left image shown in FIG. 3 (a) is identified as the corresponding pixel. In the right and left images, the pixel position is specified with the center pixel of the image as the origin, the horizontal direction as the x axis, and the vertical direction as the y axis.

制御装置１０２は、右側画像と左側画像との間で対応する画素同士で、次式（２）により、ｘ軸方向の差分ｄｘを算出する。
ｄｘ＝ｘＬ−ｘＲ ・・・（２）
なお、３Ｄカメラのキャリブレーションが正確に行われていれば、左側カメラと右側カメラの垂直方向にずれはないため、ｙ軸方向の差分ｄｙは０となることから、本実施の形態ではｄｘのみを算出する。 The control device 102 calculates a difference dx in the x-axis direction between the corresponding pixels between the right image and the left image by the following equation (2).
dx = x L −x R (2)
If the calibration of the 3D camera is accurately performed, there is no deviation in the vertical direction between the left camera and the right camera, and the difference dy in the y-axis direction is 0. Therefore, in this embodiment, only dx is used. Is calculated.

制御装置１０２は、式（２）で算出したｘ軸方向の差分ｄｘと、３Ｄカメラの焦点距離ｆと、左側カメラのレンズ中心からと右側カメラのレンズ中心までの距離Ｌとに基づいて、次式（３）により、３Ｄカメラから被写体までの距離、すなわちｚ軸方向の距離ｚｐを各画素ごとに算出する。
ｚｐ＝ｆ×（Ｔ／ｄｘ） ・・・（３） Based on the difference dx in the x-axis direction calculated by Expression (2), the focal length f of the 3D camera, and the distance L from the lens center of the left camera to the lens center of the right camera, the control device 102 The distance from the 3D camera to the subject, that is, the distance z p in the z-axis direction is calculated for each pixel by Expression (3).
z p = f × (T / dx) (3)

制御装置１０２は、３Ｄ画像内から対象者の鼻部に対応する領域を抽出し、抽出した鼻部領域を対象として、式（３）で算出したｚｐに基づいて、対象者の鼻の全体容積を算出する。例えば、記録装置１０３には、あらかじめ人物の鼻の形状を模したマッチング用画像が記録されており、制御装置１０２は、取得した３Ｄ画像内を対象として、上記のマッチング用画像を用いたパターンマッチング処理を行うことにより、３Ｄ画像内から対象者の鼻部領域Ａｎｏｓｅを抽出する。制御装置１０２は、抽出した鼻部領域Ａｎｏｓｅ内で、式（３）で算出したｚｐの最大値をｚｍａｘとして、次式（４）により対象者の鼻の全体容積Ｖｎｏｓｅを算出する。

Figure 0006456461
The control device 102 extracts a region corresponding to the subject's nose from the 3D image, and uses the extracted nose region as a target, based on z p calculated by Expression (3), the entire subject's nose Calculate the volume. For example, a matching image imitating the shape of a person's nose is recorded in the recording device 103 in advance, and the control device 102 performs pattern matching using the above-described matching image for the acquired 3D image. By performing the process, the nose region Anose of the subject is extracted from the 3D image. In the extracted nasal region region Anose, the control device 102 calculates the total volume Vnose of the subject's nose according to the following equation (4), with the maximum value of z p calculated by the equation (3) as z max .
Figure 0006456461

制御装置１０２は、上述したように、３Ｄカメラから入力された画像のうち、鼻の全体容積Ｖｎｏｓｅが最大となる３Ｄ画像を対象者の安静時の３Ｄ画像とし、鼻の全体容積Ｖｎｏｓｅが最小となる３Ｄ画像を対象者の吸気時の３Ｄ画像とする。また、制御装置１０２は、対象者の安静時の３Ｄ画像における鼻の全体容積Ｖｎｏｓｅを対象者の安静時の鼻全体容積として特定し、対象者の吸気時の３Ｄ画像における鼻の全体容積Ｖｎｏｓｅを対象者の吸気時の鼻全体容積として特定する。   As described above, the control device 102 sets a 3D image in which the total nose volume Vnose is maximum among the images input from the 3D camera as a 3D image when the subject is at rest, and the total nose volume Vnose is minimum. This 3D image is set as a 3D image when the subject inhales. In addition, the control device 102 specifies the total nose volume Vnose in the 3D image of the subject at rest as the total nose volume of the subject in rest, and determines the total nose volume Vnose in the 3D image of the subject inhalation. It is specified as the total volume of the nose when the subject inhales.

次に、制御装置１０２は、３Ｄ画像内の対象者の鼻部に対応する領域内の画像に基づいて、対象者の鼻の高さ、長さ、幅を特定する。対象者の鼻の高さは、対象者の鼻部のうち、上述したように算出した３Ｄカメラから各画素までの距離が最も遠い画素と、３Ｄカメラからの距離が最も近い画素との距離の差を対象者の鼻の高さとして算出する。また、制御装置１０２は、３Ｄカメラの設定パラメータなどの撮影条件を加味して、３Ｄ画像内の鼻部の上端から下端までの実空間上における長さを求め、これを対象者の鼻の長さとする。また、３Ｄカメラの設定パラメータなどの撮影条件を加味して、３Ｄ画像内の鼻部の左右幅が最も長い部分の実空間上における長さを求め、これを対象者の鼻の幅とする。   Next, the control device 102 specifies the height, length, and width of the subject's nose based on the image in the region corresponding to the subject's nose in the 3D image. The height of the subject's nose is the distance between the pixel that is farthest from the 3D camera to each pixel and the pixel that is closest to the 3D camera, as calculated above, in the subject's nose. The difference is calculated as the height of the subject's nose. In addition, the control device 102 obtains the length in the real space from the upper end to the lower end of the nose in the 3D image in consideration of shooting conditions such as setting parameters of the 3D camera, and this is calculated as the length of the subject's nose. Say it. In addition, taking into account shooting conditions such as setting parameters of the 3D camera, the length of the portion of the 3D image in which the left and right width of the nose is the longest in the real space is obtained, and this is used as the width of the subject's nose.

制御装置１０２は、記録装置１０３に記録されている鼻タイプ情報を参照して、上述した処理で算出した対象者の鼻の高さ、鼻の長さ、鼻の幅、安静時の鼻全体容積、吸気時の鼻全体容積に関連付けられている安静時における鼻腔内容積と、吸気時における鼻腔内容積と、第一の閾値と、第二の閾値とを特定する。このとき、制御装置１０２は、鼻タイプ情報の中に上述した処理で算出した対象者の鼻の高さ、鼻の長さ、鼻の幅、安静時の鼻全体容積、吸気時の鼻全体容積と同一の情報を含むデータが存在しない場合には、対象者の鼻の高さ、鼻の長さ、鼻の幅、安静時の鼻全体容積、吸気時の鼻全体容積に最も類似する鼻タイプに関連付けられている安静時における鼻腔内容積と、吸気時における鼻腔内容積と、第一の閾値と、第二の閾値とを特定する。   The control device 102 refers to the nose type information recorded in the recording device 103 and calculates the subject's nose height, nose length, nose width, and rest total nose volume calculated by the above-described processing. The nasal cavity volume at rest, the nasal cavity volume at the time of inhalation, the first threshold value, and the second threshold value, which are associated with the entire nose volume during inspiration, are specified. At this time, the control device 102 includes the subject's nose height, nose length, nose width, rest total nose volume, and total nose volume during inspiration calculated in the above-described processing in the nose type information. If no data containing the same information exists, the nose type that most closely resembles the subject's nose height, nose length, nose width, resting nose volume, and inhalation nose volume The intranasal volume at rest, the intranasal volume at inspiration, the first threshold value, and the second threshold value are identified.

制御装置１０２は、上述した処理で算出した安静時の鼻全体容積に対する吸気時の鼻全体容積の減少量が、鼻タイプ情報を参照して特定した第一の閾値以上である場合に、対象者に鼻弁狭窄の症状が認められると判定する。また、制御装置１０２は、鼻タイプ情報を参照して安静時における鼻腔内容積に対する吸気時における鼻腔内容積の減少量が第二の閾値以上である場合に、対象者に鼻弁狭窄の症状が認められると判定する。   When the amount of decrease in the total nose volume during inspiration relative to the total nose volume at rest calculated by the above-described processing is equal to or greater than the first threshold specified with reference to the nose type information, the control device 102 Is determined to have symptoms of nasal stenosis. Further, the control device 102 refers to the nasal type information, and when the amount of decrease in the nasal cavity volume during inhalation with respect to the nasal cavity volume during rest is equal to or greater than the second threshold, the subject has symptoms of nasal valve stenosis. Judge that it is recognized.

例えば、上述したように、安静時の鼻全体容積６０００ｃｃ、吸気時の鼻全体容積４５００ｃｃ、安静時における鼻腔内容積３１００ｃｃ、吸気時における鼻腔内容積２１７０ｃｃ、第一の閾値２３％、第二の閾値３０％の場合について説明する。この場合、安静時の鼻全体容積６０００ｃｃに対する吸気時の鼻全体容積４５００ｃｃの減少量は２５％であり、第一の閾値２３％以上であるため、対象者に鼻弁狭窄の症状が認められると判定する。また、安静時における鼻腔内容積３１００ｃｃに対する吸気時における鼻腔内容積２１７０ｃｃの減少量は３０％であり、第二の閾値３０％以上であるため、対象者に鼻弁狭窄の症状が認められると判定する。   For example, as described above, the total nose volume at rest 6000 cc, the total nose volume 4500 cc at inspiration, the intranasal volume 3100 cc at rest, the intranasal volume 2170 cc at inspiration, the first threshold 23%, the second threshold The case of 30% will be described. In this case, the amount of decrease in the total nose volume of 4500 cc during inhalation relative to the total nose volume of 6000 cc at rest is 25%, which is equal to or greater than the first threshold of 23%. judge. Further, since the amount of decrease in the nasal volume 2170 cc during inhalation is 30% with respect to the nasal volume 3100 cc at rest, and the second threshold is 30% or more, it is determined that the subject has symptoms of nasal valve stenosis. To do.

制御装置１０２は、対象者に鼻弁狭窄の症状が認められるか否かの判定結果を表示装置１０４に出力して表示する。これによって、医師などの操作者は、対象者である患者の鼻弁狭窄の診断結果を把握することができる。   The control device 102 outputs a determination result on whether or not the subject has symptoms of nasal valve stenosis to the display device 104 and displays the result. Thereby, an operator such as a doctor can grasp the diagnosis result of the nasal valve stenosis of the patient who is the subject.

図４は、本実施の形態における鼻弁狭窄診断装置１００で実行される処理の流れを示すフローチャートである。図４に示す処理は、鼻弁狭窄診断装置１００の操作者によって診断処理の開始が指示されると起動するプログラムとして、制御装置１０２によって実行される。なお、図４においては、あらかじめ記録装置１０３に鼻タイプ情報が記録されているものとする。また、対象者の診断のために必要な鼻部を撮影した３Ｄ画像は、３Ｄカメラを用いて撮影され、記録装置１０３に記録されているものとする。   FIG. 4 is a flowchart showing the flow of processing executed by nasal valve stenosis diagnostic apparatus 100 in the present embodiment. The processing shown in FIG. 4 is executed by the control device 102 as a program that is activated when the operator of the nasal stenosis diagnostic device 100 is instructed to start diagnostic processing. In FIG. 4, it is assumed that nose type information is recorded in the recording device 103 in advance. In addition, it is assumed that a 3D image obtained by photographing the nose necessary for diagnosis of the subject is photographed using a 3D camera and recorded in the recording device 103.

ステップＳ１０において、制御装置１０２は、記録装置１０３に記録されている対象者の鼻部を撮影した３Ｄ画像に対して、上述した鼻全体容積を算出するための処理を実行して、３Ｄカメラから取得した３Ｄ画像の中から、鼻全体の容積が最大となる状態で撮影された３Ｄ画像を対象者の安静時の３Ｄ画像として特定し、鼻全体の容積が最小となる状態で撮影された３Ｄ画像を対象者の吸気時の３Ｄ画像として特定する。その後、ステップＳ２０へ進む。   In step S <b> 10, the control device 102 executes the above-described process for calculating the entire nose volume on the 3D image obtained by photographing the subject's nose recorded in the recording device 103, and executes the process from the 3D camera. From the acquired 3D images, a 3D image captured in a state where the volume of the entire nose is maximized is identified as a 3D image when the subject is at rest, and the 3D image captured in a state where the volume of the entire nose is minimized. The image is specified as a 3D image when the subject is inhaling. Then, it progresses to step S20.

ステップＳ２０では、制御装置１０２は、対象者の安静時の３Ｄ画像における鼻の全体容積Ｖｎｏｓｅを対象者の安静時の鼻全体容積として特定し、対象者の吸気時の３Ｄ画像における鼻の全体容積Ｖｎｏｓｅを対象者の吸気時の鼻全体容積として特定する。その後、ステップＳ３０へ進む。   In step S20, the control device 102 specifies the total nose volume Vnose in the 3D image of the subject at rest as the total nose volume of the subject in rest, and the total volume of the nose in the 3D image of the subject inspiration. Vnose is specified as the total volume of the nose when the subject inhales. Then, it progresses to step S30.

ステップＳ３０では、制御装置１０２は、上述したように、制御装置１０２は、３Ｄ画像内の対象者の鼻部に対応する領域内の画像に基づいて、対象者の鼻の高さ、長さ、幅を特定する。その後、ステップＳ４０へ進む。   In step S30, as described above, the control device 102 controls the height, length, and length of the subject's nose based on the image in the region corresponding to the subject's nose in the 3D image. Specify the width. Thereafter, the process proceeds to step S40.

ステップＳ４０では、制御装置１０２は、記録装置１０３に記録されている鼻タイプ情報を参照して、上述した処理で算出した対象者の鼻の高さ、鼻の長さ、鼻の幅、安静時の鼻全体容積、吸気時の鼻全体容積に関連付けられている安静時における鼻腔内容積と、吸気時における鼻腔内容積と、第一の閾値と、第二の閾値とを特定する。その後、ステップＳ５０へ進む。   In step S <b> 40, the control device 102 refers to the nose type information recorded in the recording device 103, and calculates the subject's nose height, nose length, nose width, resting state calculated by the above-described processing. Nasal volume, resting nasal volume associated with inhalation total volume, inhalation intranasal volume, first threshold value, and second threshold value. Thereafter, the process proceeds to step S50.

ステップＳ５０では、制御装置１０２は、上述したように、安静時の鼻全体容積に対する吸気時の鼻全体容積の減少量が第一の閾値以上であるか否か、また、安静時における鼻腔内容積に対する吸気時における鼻腔内容積の減少量が第二の閾値以上であるか否かを判定することにより、対象者の鼻弁狭窄の発生有無を判定する。その後、ステップＳ６０へ進む。   In step S50, as described above, the control device 102 determines whether or not the amount of decrease in the total nose volume during inspiration relative to the total nose volume during rest is equal to or greater than a first threshold, and the intranasal volume during rest. It is determined whether or not the nasal valve stenosis has occurred in the subject by determining whether or not the amount of decrease in the volume of the nasal cavity during inhalation is greater than or equal to the second threshold. Thereafter, the process proceeds to step S60.

ステップＳ６０では、制御装置１０２は、対象者に鼻弁狭窄の症状が認められるか否かの判定結果を表示装置１０４に出力して表示する。その後、処理を終了する。   In step S60, the control device 102 outputs and displays the determination result on whether or not the subject has symptoms of nasal stenosis on the display device 104. Thereafter, the process ends.

以上説明した本実施の形態によれば、以下のような作用効果を得ることができる。
（１）制御装置１０２は、対象者の安静時の鼻の状態を撮影した安静時３Ｄ画像のデータと、対象者の吸気時の鼻の状態を撮影した吸気時３Ｄ画像のデータを取得し、取得した安静時３Ｄ画像と吸気時３Ｄ画像とに基づいて、対象者の鼻の大きさ特定し、取得した安静時３Ｄ画像と吸気時３Ｄ画像とに基づいて、安静時の鼻全体容積と吸気時の鼻全体容積を算出し、対象者の鼻の大きさ、安静時の鼻全体容積、吸気時の鼻全体容積に基づいて、対象者の安静時における鼻腔内容積と吸気時における鼻腔内容積とを特定し、安静時の鼻全体容積に対する吸気時の鼻全体容積の減少量があらかじめ設定された閾値以上である場合、または安静時における鼻腔内容積に対する吸気時における鼻腔内容積の減少量があらかじめ設定された閾値以上である場合に、対象者に鼻弁狭窄の症状が認められると判定するようにした。これによって、ＣＴ撮影を行うことなく、３Ｄ画像に基づいて対象者に鼻弁狭窄が発生しているかを診断することができる。ＣＴ検査は、放射線被爆、動作する鼻腔の撮影タイミングの難しさ、撮影費用、鼻腔容積の計測の画一的なものがないといった問題があり、従来は、鼻弁狭窄の診療が困難であったが、本発明により、これらの問題を解消して診断を行うことが可能となる。 According to the present embodiment described above, the following operational effects can be obtained.
(1) The control device 102 acquires data of a resting 3D image obtained by photographing the subject's resting nose state, and data of a breathing 3D image obtained by photographing the subject's nose state during inhalation, The size of the subject's nose is specified based on the acquired resting 3D image and inspiratory 3D image, and based on the acquired resting 3D image and inspiratory 3D image, the total nose volume and inhalation at rest The total volume of the nose at the time is calculated, and based on the subject's nose size, the total volume of the nose at rest, and the total volume of the nose at inspiration, the intranasal volume at the time of rest and the intranasal volume at the time of inspiration When the amount of decrease in the total volume of the nose during inspiration relative to the total volume of the nose at rest is greater than or equal to a preset threshold, or the amount of decrease in the volume of the nasal cavity during inspiration relative to the volume of the nasal cavity at rest It is more than the preset threshold If, and to determine that observed symptoms of nasal valve stenosis subject. This makes it possible to diagnose whether nasal stenosis has occurred in the subject based on the 3D image without performing CT imaging. CT examination has problems such as radiation exposure, difficulty in imaging of the operating nasal cavity, imaging cost, and lack of uniform measurement of nasal volume, and it has been difficult to treat nasal stenosis in the past. However, according to the present invention, it is possible to solve these problems and perform diagnosis.

（２）制御装置１０２は、鼻の大きさと、安静時の鼻全体容積と、吸気時の鼻全体容積に対して、安静時における鼻腔内容積と、吸気時における鼻腔内容積とが関連付けられた鼻タイプ情報があらかじめ記録装置１０３に記録されており、制御装置１０２は、鼻タイプ情報を参照して、対象者の鼻の大きさと安静時の鼻全体容積と吸気時の鼻全体容積に関連付けられている安静時における鼻腔内容積と吸気時における鼻腔内容積とを、対象者の安静時における鼻腔内容積と吸気時における鼻腔内容積として特定するようにした。これによって、過去のＣＴ撮影などによって蓄積されたデータに基づいて、一般的な鼻タイプごとに安静時における鼻腔内容積と吸気時における鼻腔内容積を関連付けて記録しておけば、複雑な計算を行わなくても対象者の安静時における鼻腔内容積と吸気時における鼻腔内容積を特定することができる。 (2) The control device 102 associates the nasal volume at rest and the nasal volume at inspiration with respect to the size of the nose, the total volume of the nose at rest, and the total volume of the nose at inspiration. The nose type information is recorded in the recording device 103 in advance, and the control device 102 refers to the nose type information and associates the subject's nose size, the resting nose total volume and the inhaling total nose volume. The nasal volume at rest and the nasal volume at inspiration were specified as the nasal volume at rest and the nasal volume at inspiration of the subject. Based on the data accumulated by past CT scans, etc., if the nasal cavity volume at rest and the nasal cavity volume at inspiration are recorded in association with each general nasal type, complicated calculations can be performed. Even if it is not performed, the volume of the nasal cavity when the subject is resting and the volume of the nasal cavity when inhaling can be specified.

（３）鼻タイプ情報では、鼻の大きさと、安静時の鼻全体容積と、吸気時の鼻全体容積に対して、鼻全体容積の減少量を判定するために用いる第一の閾値と、鼻腔内容積の減少量を判定するために用いる第二の閾値とがさらに関連付けられており、制御装置１０２は、鼻タイプ情報を参照して、対象者の鼻の大きさと安静時の鼻全体容積と吸気時の鼻全体容積に関連付けられている第一の閾値と第二の閾値を特定し、安静時の鼻全体容積に対する吸気時の鼻全体容積の減少量が第一の閾値以上である場合、または安静時における鼻腔内容積に対する吸気時における鼻腔内容積の減少量が第二の閾値以上である場合に、対象者に鼻弁狭窄の症状が認められると判定するようにした。これによって、精度高い鼻弁狭窄の診断が可能となる。また、データの蓄積に伴って適宜閾値を見直していくことによって、さらに診断精度を上げることが可能となる。 (3) In the nose type information, the first threshold value used for determining the amount of decrease in the total nose volume with respect to the size of the nose, the total nose volume at rest, and the total nose volume during inspiration, and the nasal cavity A second threshold value used for determining the amount of decrease in the internal volume is further associated, and the control device 102 refers to the nose type information, and determines the size of the subject's nose and the rest total nose volume. If the first and second threshold values associated with the total volume of the nose during inspiration are identified, and the amount of decrease in the total volume of the nose during inspiration relative to the total volume of the nose during rest is greater than or equal to the first threshold, Alternatively, when the amount of decrease in the volume of the nasal cavity during inspiration relative to the volume of the nasal cavity at rest is greater than or equal to the second threshold value, it is determined that the subject has symptoms of nasal valve stenosis. This makes it possible to diagnose nasal valve stenosis with high accuracy. In addition, it is possible to further improve the diagnostic accuracy by reviewing the threshold appropriately as data accumulates.

（４）制御装置１０２は、安静時３Ｄ画像に基づいて、対象者の鼻の高さ、長さ、幅を対象者の鼻の大きさとして特定するようにした。これによって、対象者の鼻の高さ、長さ、幅を精度高く特定することができる。 (4) The control device 102 specifies the height, length, and width of the subject's nose as the size of the subject's nose based on the resting 3D image. Thereby, the height, length, and width of the subject's nose can be specified with high accuracy.

（５）制御装置１０２は、鼻弁狭窄の有無の判定結果を表示装置１０４に出力して表示するようにした。これによって、鼻弁狭窄診断装置１００の操作者は、対象者に鼻弁狭窄の症状が認められるか否かを把握して、診断に利用することができる。 (5) The control device 102 outputs the determination result of the presence or absence of nasal valve stenosis to the display device 104 for display. Thus, the operator of the nasal stenosis diagnostic apparatus 100 can grasp whether or not the subject has symptoms of nasal stenosis and can use it for diagnosis.

―変形例―
なお、上述した実施の形態の鼻弁狭窄診断装置１００は、以下のように変形することもできる。 -Modification-
Note that the nasal stenosis diagnostic apparatus 100 according to the embodiment described above can be modified as follows.

（１）上述した実施の形態では、鼻弁狭窄診断装置１００としては、例えば、病院内に設置されたサーバ装置やパソコン等であり、接続インターフェース１０１を介して接続された３Ｄカメラから３Ｄ画像を取得する例について説明した。しかしながら、鼻弁狭窄診断装置１００は、インターネット上に配置され、通信回線経由で病院に設置された３Ｄカメラから３Ｄ画像を受信して取得する構成にしてもよい。この場合、接続インターフェース１０１は、通信回線に接続するためのインターフェースとなり、制御装置１０２は、接続インターフェース１０１を介して受信した３Ｄ画像データを記録装置１０３に記録して、上記の処理を行えばよい。そして、対象者の鼻弁狭窄の発生有無の判定結果を接続インターフェース１０１を介して病院の端末へ送信するようにすればよい。また、この場合は、表示装置１０４は設けなくてもよい。これによって、病院側には鼻弁狭窄診断装置１００の設置せずに、クラウドを利用した診断処理を可能にすることもできる。 (1) In the above-described embodiment, the nasal stenosis diagnosis device 100 is, for example, a server device or a personal computer installed in a hospital, and receives a 3D image from a 3D camera connected via the connection interface 101. The example to acquire was demonstrated. However, the nasal stenosis diagnostic apparatus 100 may be configured to receive and acquire a 3D image from a 3D camera disposed on the Internet and installed in a hospital via a communication line. In this case, the connection interface 101 serves as an interface for connecting to a communication line, and the control device 102 may record the 3D image data received via the connection interface 101 in the recording device 103 and perform the above processing. . Then, the determination result of whether or not the subject's nasal valve stenosis has occurred may be transmitted to the hospital terminal via the connection interface 101. In this case, the display device 104 is not necessarily provided. Accordingly, the diagnosis process using the cloud can be performed without installing the nasal stenosis diagnostic apparatus 100 on the hospital side.

（２）上述した実施の形態では、制御装置１０２は、安静時３Ｄ画像に基づいて、対象者の鼻の高さ、長さ、幅を対象者の鼻の大きさとして特定するようにした。しかしながら、制御装置１０２は、吸気時の３Ｄ画像に基づいて、対象者の鼻の高さ、長さ、幅を対象者の鼻の大きさとして特定するようにしてもよい。 (2) In the above-described embodiment, the control device 102 specifies the height, length, and width of the subject's nose as the size of the subject's nose based on the resting 3D image. However, the control device 102 may specify the height, length, and width of the subject's nose as the size of the subject's nose based on the 3D image during inspiration.

なお、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における構成に何ら限定されない。また、上述の実施の形態と複数の変形例を組み合わせた構成としてもよい。   Note that the present invention is not limited to the configurations in the above-described embodiments as long as the characteristic functions of the present invention are not impaired. Moreover, it is good also as a structure which combined the above-mentioned embodiment and a some modification.

１００ 鼻弁狭窄診断装置
１０１ 接続インターフェース
１０２ 制御装置
１０３ 記録装置
１０４ 表示装置 DESCRIPTION OF SYMBOLS 100 Nasal stenosis diagnostic apparatus 101 Connection interface 102 Control apparatus 103 Recording apparatus 104 Display apparatus

Claims (10)

対象者の安静時の鼻の状態を撮影した３Ｄ画像（以下、「安静時３Ｄ画像」と呼ぶ）のデータと、前記対象者の吸気時の鼻の状態を撮影した３Ｄ画像（以下、「吸気時３Ｄ画像」と呼ぶ）のデータを取得する画像取得手段と、
前記画像取得手段によって取得された前記安静時３Ｄ画像と前記吸気時３Ｄ画像とに基づいて、前記対象者の鼻の大きさ特定する大きさ特定手段と、
前記画像取得手段によって取得された前記安静時３Ｄ画像と前記吸気時３Ｄ画像とに基づいて、安静時の鼻全体容積と吸気時の鼻全体容積を算出する鼻全体容積算出手段と、
前記大きさ特定手段によって特定された前記対象者の鼻の大きさ、および前記鼻全体容積算出手段によって算出された安静時の鼻全体容積と吸気時の鼻全体容積に基づいて、前記対象者の安静時における鼻腔内容積と吸気時における鼻腔内容積とを特定する鼻腔内容積特定手段と、
前記鼻全体容積算出手段によって算出された安静時の鼻全体容積に対する、前記鼻全体容積算出手段によって算出された吸気時の鼻全体容積の減少量があらかじめ設定された閾値以上である場合、または前記鼻腔内容積特定手段によって特定された安静時における鼻腔内容積に対する、前記鼻腔内容積特定手段によって算出された吸気時における鼻腔内容積の減少量があらかじめ設定された閾値以上である場合に、前記対象者に鼻弁狭窄の症状が認められると判定する判定手段とを備えることを特徴とする鼻弁狭窄診断装置。 Data of a 3D image (hereinafter referred to as “resting 3D image”) of the subject's resting nose and a 3D image (hereinafter referred to as “inspiration” of the subject's nose during inhalation) Image acquisition means for acquiring data of “time 3D image”;
A size specifying means for specifying the size of the subject's nose based on the resting 3D image and the inspiratory 3D image acquired by the image acquiring means;
Based on the resting 3D image and the inhalation 3D image acquired by the image acquisition unit, a total nose volume calculation unit that calculates a total nose volume at rest and an entire nose volume during inspiration;
Based on the size of the subject's nose specified by the size specifying means, and the total volume of the nose at rest and the total volume of nose at the time of inspiration calculated by the total volume of nose A nasal volume specifying means for specifying a nasal volume at rest and an nasal volume at inspiration;
When the amount of decrease in the total nose volume during inspiration calculated by the total nose volume calculation means is greater than or equal to a preset threshold with respect to the total nose volume at rest calculated by the total nose volume calculation means, or When the amount of decrease in intranasal volume during inspiration calculated by the intranasal volume specifying means with respect to the resting intranasal volume specified by the intranasal volume specifying means is greater than or equal to a preset threshold, A nasal stenosis diagnostic apparatus comprising: determination means for determining that a person has symptoms of nasal stenosis. 請求項１に記載の鼻弁狭窄診断装置において、
鼻の大きさと、安静時の鼻全体容積と、吸気時の鼻全体容積に対して、安静時における鼻腔内容積と、吸気時における鼻腔内容積とが関連付けられた鼻タイプ情報があらかじめ記憶媒体に記録されており、
前記鼻腔内容積特定手段は、前記鼻タイプ情報を参照して、前記大きさ特定手段によって特定された前記対象者の鼻の大きさと、前記鼻全体容積算出手段によって算出された安静時の鼻全体容積と、前記鼻全体容積算出手段によって算出された吸気時の鼻全体容積に関連付けられている安静時における鼻腔内容積と吸気時における鼻腔内容積とを、前記対象者の安静時における鼻腔内容積と吸気時における鼻腔内容積として特定することを特徴とする鼻弁狭窄診断装置。 The nasal stenosis diagnostic apparatus according to claim 1,
The nasal type information in which the nasal volume at rest and the nasal volume at inspiration are associated with the nose size, the rest nasal volume, and the inhalation whole nose volume is previously stored in the storage medium. Recorded,
The intranasal volume specifying means refers to the nose type information, the size of the subject's nose specified by the size specifying means, and the entire rest nose calculated by the total nose volume calculating means The volume and the intranasal volume at rest and the intranasal volume at inspiration associated with the total nose volume at inspiration calculated by the total nose volume calculating means are the intranasal volume at rest of the subject. And a nasal stenosis diagnostic apparatus characterized by being identified as the volume in the nasal cavity during inspiration. 請求項２に記載の鼻弁狭窄診断装置において、
前記鼻タイプ情報では、鼻の大きさと、安静時の鼻全体容積と、吸気時の鼻全体容積に対して、鼻全体容積の減少量を判定するために用いる第一の閾値と、鼻腔内容積の減少量を判定するために用いる第二の閾値とがさらに関連付けられており、
前記判定手段は、前記鼻タイプ情報を参照して、前記大きさ特定手段によって特定された前記対象者の鼻の大きさと、前記鼻全体容積算出手段によって算出された安静時の鼻全体容積と、前記鼻全体容積算出手段によって算出された吸気時の鼻全体容積に関連付けられている前記第一の閾値と前記第二の閾値を特定し、前記鼻全体容積算出手段によって算出された安静時の鼻全体容積に対する、前記鼻全体容積算出手段によって算出された吸気時の鼻全体容積の減少量が前記第一の閾値以上である場合、または前記鼻腔内容積特定手段によって特定された安静時における鼻腔内容積に対する、前記鼻腔内容積特定手段によって算出された吸気時における鼻腔内容積の減少量が前記第二の閾値以上である場合に、前記対象者に鼻弁狭窄の症状が認められると判定することを特徴とする鼻弁狭窄診断装置。 In the nasal stenosis diagnostic apparatus according to claim 2,
In the nose type information, the first threshold used to determine the amount of decrease in the total nose volume relative to the nose size, the total nose volume at rest, and the total nose volume during inspiration, and the intranasal volume Further associated with a second threshold used to determine the amount of decrease in
The determining means refers to the nose type information, the size of the subject's nose specified by the size specifying means, and the total nose volume at rest calculated by the total nose volume calculating means, The first threshold and the second threshold associated with the total nose volume during inspiration calculated by the total nose volume calculating means are specified, and the resting nose calculated by the total nose volume calculating means The nasal cavity contents at rest when the decrease amount of the total nasal volume during inspiration calculated by the total nasal volume calculating means with respect to the total volume is greater than or equal to the first threshold, or at rest specified by the intranasal volume specifying means When the amount of decrease in intranasal volume during inspiration calculated by the intranasal volume specifying means relative to the product is equal to or greater than the second threshold, the subject has symptoms of nasal valve stenosis Nasal valve stenosis diagnostic apparatus and determines that is fit. 請求項１〜３のいずれか一項に記載の鼻弁狭窄診断装置において、
前記大きさ特定手段は、前記画像取得手段によって取得された前記安静時３Ｄ画像に基づいて、前記対象者の鼻の高さ、長さ、幅を前記対象者の鼻の大きさとして特定することを特徴とする鼻弁狭窄診断装置。 In the nasal valve stenosis diagnostic device according to any one of claims 1 to 3,
The size specifying unit specifies the height, length, and width of the subject's nose as the size of the subject's nose based on the resting 3D image acquired by the image acquisition unit. A nasal stenosis diagnostic apparatus characterized by the above. 請求項１〜４のいずれか一項に記載の鼻弁狭窄診断装置において、
前記判定手段による判定結果を出力して表示する表示手段をさらに備えることを特徴とする鼻弁狭窄診断装置。 In the nasal stenosis diagnostic apparatus according to any one of claims 1 to 4,
A nasal stenosis diagnostic apparatus, further comprising display means for outputting and displaying a determination result by the determination means. 対象者の安静時の鼻の状態を撮影した３Ｄ画像（以下、「安静時３Ｄ画像」と呼ぶ）のデータと、前記対象者の吸気時の鼻の状態を撮影した３Ｄ画像（以下、「吸気時３Ｄ画像」と呼ぶ）のデータを取得する画像取得手段と、
前記画像取得手段によって取得された前記安静時３Ｄ画像と前記吸気時３Ｄ画像とに基づいて、前記対象者の鼻の大きさ特定する大きさ特定手段と、
前記画像取得手段によって取得された前記安静時３Ｄ画像と前記吸気時３Ｄ画像とに基づいて、安静時の鼻全体容積と吸気時の鼻全体容積を算出する鼻全体容積算出手段と、
前記大きさ特定手段によって特定された前記対象者の鼻の大きさ、および前記鼻全体容積算出手段によって算出された安静時の鼻全体容積と吸気時の鼻全体容積に基づいて、前記対象者の安静時における鼻腔内容積と吸気時における鼻腔内容積とを特定する鼻腔内容積特定手段と、
前記鼻全体容積算出手段によって算出された安静時の鼻全体容積に対する、前記鼻全体容積算出手段によって算出された吸気時の鼻全体容積の減少量があらかじめ設定された閾値以上である場合、または前記鼻腔内容積特定手段によって特定された安静時における鼻腔内容積に対する、前記鼻腔内容積特定手段によって算出された吸気時における鼻腔内容積の減少量があらかじめ設定された閾値以上である場合に、前記対象者に鼻弁狭窄の症状が認められると判定する判定手段とを備えることを特徴とする鼻弁狭窄診断システム。 Data of a 3D image (hereinafter referred to as “resting 3D image”) of the subject's resting nose and a 3D image (hereinafter referred to as “inspiration” of the subject's nose during inhalation) Image acquisition means for acquiring data of “time 3D image”;
A size specifying means for specifying the size of the subject's nose based on the resting 3D image and the inspiratory 3D image acquired by the image acquiring means;
Based on the resting 3D image and the inhalation 3D image acquired by the image acquisition unit, a total nose volume calculation unit that calculates a total nose volume at rest and an entire nose volume during inspiration;
Based on the size of the subject's nose specified by the size specifying means, and the total volume of the nose at rest and the total volume of nose at the time of inspiration calculated by the total volume of nose A nasal volume specifying means for specifying a nasal volume at rest and an nasal volume at inspiration;
When the amount of decrease in the total nose volume during inspiration calculated by the total nose volume calculation means is greater than or equal to a preset threshold with respect to the total nose volume at rest calculated by the total nose volume calculation means, or When the amount of decrease in intranasal volume during inspiration calculated by the intranasal volume specifying means with respect to the resting intranasal volume specified by the intranasal volume specifying means is greater than or equal to a preset threshold, A nasal stenosis diagnostic system, comprising: determination means for determining that a person has symptoms of nasal stenosis. 請求項６に記載の鼻弁狭窄診断システムにおいて、
鼻の大きさと、安静時の鼻全体容積と、吸気時の鼻全体容積に対して、安静時における鼻腔内容積と、吸気時における鼻腔内容積とが関連付けられた鼻タイプ情報があらかじめ記憶媒体に記録されており、
前記鼻腔内容積特定手段は、前記鼻タイプ情報を参照して、前記大きさ特定手段によって特定された前記対象者の鼻の大きさと、前記鼻全体容積算出手段によって算出された安静時の鼻全体容積と、前記鼻全体容積算出手段によって算出された吸気時の鼻全体容積に関連付けられている安静時における鼻腔内容積と吸気時における鼻腔内容積とを、前記対象者の安静時における鼻腔内容積と吸気時における鼻腔内容積として特定することを特徴とする鼻弁狭窄診断システム。 The nasal stenosis diagnostic system according to claim 6,
The nasal type information in which the nasal volume at rest and the nasal volume at inspiration are associated with the nose size, the rest nasal volume, and the inhalation whole nose volume is previously stored in the storage medium. Recorded,
The intranasal volume specifying means refers to the nose type information, the size of the subject's nose specified by the size specifying means, and the entire rest nose calculated by the total nose volume calculating means The volume and the intranasal volume at rest and the intranasal volume at inspiration associated with the total nose volume at inspiration calculated by the total nose volume calculating means are the intranasal volume at rest of the subject. And a nasal stenosis diagnostic system characterized by specifying the volume in the nasal cavity during inspiration. 請求項７に記載の鼻弁狭窄診断システムにおいて、
前記鼻タイプ情報では、鼻の大きさと、安静時の鼻全体容積と、吸気時の鼻全体容積に対して、鼻全体容積の減少量を判定するために用いる第一の閾値と、鼻腔内容積の減少量を判定するために用いる第二の閾値とがさらに関連付けられており、
前記判定手段は、前記鼻タイプ情報を参照して、前記大きさ特定手段によって特定された前記対象者の鼻の大きさと、前記鼻全体容積算出手段によって算出された安静時の鼻全体容積と、前記鼻全体容積算出手段によって算出された吸気時の鼻全体容積に関連付けられている前記第一の閾値と前記第二の閾値を特定し、前記鼻全体容積算出手段によって算出された安静時の鼻全体容積に対する、前記鼻全体容積算出手段によって算出された吸気時の鼻全体容積の減少量が前記第一の閾値以上である場合、または前記鼻腔内容積特定手段によって特定された安静時における鼻腔内容積に対する、前記鼻腔内容積特定手段によって算出された吸気時における鼻腔内容積の減少量が前記第二の閾値以上である場合に、前記対象者に鼻弁狭窄の症状が認められると判定することを特徴とする鼻弁狭窄診断システム。 In the nasal stenosis diagnostic system according to claim 7,
In the nose type information, the first threshold used to determine the amount of decrease in the total nose volume relative to the nose size, the total nose volume at rest, and the total nose volume during inspiration, and the intranasal volume Further associated with a second threshold used to determine the amount of decrease in
The determining means refers to the nose type information, the size of the subject's nose specified by the size specifying means, and the total nose volume at rest calculated by the total nose volume calculating means, The first threshold and the second threshold associated with the total nose volume during inspiration calculated by the total nose volume calculating means are specified, and the resting nose calculated by the total nose volume calculating means The nasal cavity contents at rest when the decrease amount of the total nasal volume during inspiration calculated by the total nasal volume calculating means with respect to the total volume is greater than or equal to the first threshold, or at rest specified by the intranasal volume specifying means When the amount of decrease in intranasal volume during inspiration calculated by the intranasal volume specifying means relative to the product is equal to or greater than the second threshold, the subject has symptoms of nasal valve stenosis Nasal valve stenosis diagnosis system and determining that is fit. 請求項６〜８のいずれか一項に記載の鼻弁狭窄診断システムにおいて、
前記大きさ特定手段は、前記画像取得手段によって取得された前記安静時３Ｄ画像に基づいて、前記対象者の鼻の高さ、長さ、幅を前記対象者の鼻の大きさとして特定することを特徴とする鼻弁狭窄診断システム。 In the nasal stenosis diagnostic system according to any one of claims 6 to 8,
The size specifying unit specifies the height, length, and width of the subject's nose as the size of the subject's nose based on the resting 3D image acquired by the image acquisition unit. A nasal stenosis diagnostic system characterized by 請求項６〜９のいずれか一項に記載の鼻弁狭窄診断システムにおいて、
前記判定手段による判定結果を出力して表示する表示手段をさらに備えることを特徴とする鼻弁狭窄診断システム。
In the nasal stenosis diagnostic system according to any one of claims 6 to 9,
A nasal stenosis diagnosis system, further comprising display means for outputting and displaying a determination result by the determination means.
JP2017221691A 2017-11-17 2017-11-17 Nasal stenosis diagnostic device and nasal stenosis diagnostic system Active JP6456461B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017221691A JP6456461B1 (en) 2017-11-17 2017-11-17 Nasal stenosis diagnostic device and nasal stenosis diagnostic system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017221691A JP6456461B1 (en) 2017-11-17 2017-11-17 Nasal stenosis diagnostic device and nasal stenosis diagnostic system

Publications (2)

Publication Number Publication Date
JP6456461B1 true JP6456461B1 (en) 2019-01-23
JP2019092531A JP2019092531A (en) 2019-06-20

Family

ID=65037111

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017221691A Active JP6456461B1 (en) 2017-11-17 2017-11-17 Nasal stenosis diagnostic device and nasal stenosis diagnostic system

Country Status (1)

Country Link
JP (1) JP6456461B1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0475639A (en) * 1990-07-19 1992-03-10 A T R Tsushin Syst Kenkyusho:Kk Face image model generating device
JPH08500498A (en) * 1992-08-12 1996-01-23 ユート，ヤン‐エリック Nasal stereometry and device
JP2002336204A (en) * 2001-03-14 2002-11-26 Johnson & Johnson Consumer Co Inc Method for measuring change in each part of human body
WO2016006633A1 (en) * 2014-07-10 2016-01-14 国立大学法人 鹿児島大学 Diagnosis device, diagnosis system, simulation method, and program
WO2016159255A1 (en) * 2015-03-31 2016-10-06 国立大学法人静岡大学 Mouth region detection device and mouth region detection method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0475639A (en) * 1990-07-19 1992-03-10 A T R Tsushin Syst Kenkyusho:Kk Face image model generating device
JPH08500498A (en) * 1992-08-12 1996-01-23 ユート，ヤン‐エリック Nasal stereometry and device
JP2002336204A (en) * 2001-03-14 2002-11-26 Johnson & Johnson Consumer Co Inc Method for measuring change in each part of human body
WO2016006633A1 (en) * 2014-07-10 2016-01-14 国立大学法人 鹿児島大学 Diagnosis device, diagnosis system, simulation method, and program
WO2016159255A1 (en) * 2015-03-31 2016-10-06 国立大学法人静岡大学 Mouth region detection device and mouth region detection method

Also Published As

Publication number Publication date
JP2019092531A (en) 2019-06-20

Similar Documents

Publication Publication Date Title
JP5404167B2 (en) Image processing apparatus, control method therefor, and program
US11176671B2 (en) Medical image processing apparatus, and method
JP2015178019A (en) Diagnosis support system using panoramic x-ray picture, and diagnosis support program using panoramic x-ray picture
JP5723093B2 (en) Image processing apparatus, image processing apparatus control method, and program
KR101978548B1 (en) Server and method for diagnosing dizziness using eye movement measurement, and storage medium storin the same
JP6131161B2 (en) Image registration apparatus, method, program, and three-dimensional deformation model generation method
KR20130082318A (en) Method for fetus modeling and image processing apparatus thereof
JP5730375B2 (en) Image processing apparatus, control method therefor, and program
Popat et al. Three‐dimensional motion analysis–an exploratory study. Part 1: Assessment of facial movement
JP6348842B2 (en) Method and apparatus for determining anatomic characteristics of a patient
KR100930594B1 (en) The system for capturing 2d facial image and extraction method of face feature points thereof
US20150087997A1 (en) Method and device for determining a breathing movement of an object under examination
JP6456461B1 (en) Nasal stenosis diagnostic device and nasal stenosis diagnostic system
US9569687B2 (en) Image analysis device, imaging system and non-transitory recording medium generating an index indicating a cardiac status with respect to frame images
KR101309013B1 (en) Diagnosis Device For Face Form Using Facial Image and Cephalometric Image
KR20100128605A (en) System for computing biodata using virtual marker technique and automatic processing method of thereof
WO2020209013A1 (en) Image processing device, image processing method, and program
KR101188476B1 (en) Apparatus and method for calculating photographing distance and correcting horizontality distance of subject
JP2007014435A (en) Image processing device, method and program
US10049480B2 (en) Image alignment device, method, and program
JP2021137344A (en) Medical image processing device, medical image processing device control method, and program
JP2015128679A (en) Ophthalmologic apparatus, imaging region determination method and program
Larsen et al. Pixel-based swallow measurements: Correcting nonsquare pixels
KR102247545B1 (en) Surgical Location Information Providing Method and Device Thereof
EP4187546A1 (en) Assisting subject positioning in medical imaging

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180926

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20180926

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20181005

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181016

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181120

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181218

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181218

R150 Certificate of patent or registration of utility model

Ref document number: 6456461

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250