JP7260115B2 - 携帯端末および撮影補助プログラム - Google Patents
携帯端末および撮影補助プログラム Download PDFInfo
- Publication number
- JP7260115B2 JP7260115B2 JP2019179833A JP2019179833A JP7260115B2 JP 7260115 B2 JP7260115 B2 JP 7260115B2 JP 2019179833 A JP2019179833 A JP 2019179833A JP 2019179833 A JP2019179833 A JP 2019179833A JP 7260115 B2 JP7260115 B2 JP 7260115B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- region
- guidance
- oral
- control unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Endoscopes (AREA)
- Studio Devices (AREA)
Description
(携帯端末の構成)
図1には、第1実施形態の携帯端末の構成を示す機能ブロック図を示しており、まず、各機能ブロックの概要を説明する。図1に示すように、携帯端末10は、頭部の少なくとも一部を含む対象部位(例えば、口腔付近、頭部全体など)を撮影するためのカメラ11と、撮影で得られた画像データに基づく画像を表示するための表示部12と、撮影で得られた画像データに基づいて、ユーザの撮影操作をガイドするためのガイド表示(例えば、口腔付近の基準枠、頭部全体をカバーする基準枠、顎のラインに沿った輪郭線など)を対象部位の画像に重畳させて表示部12に表示させる表示制御部13と、撮影で得られた画像データに基づいて、対象部位の画像の写り具合いに応じて、ユーザ向けのガイダンスを出力するガイダンス制御部14と、を備える。
本発明は、画像として静止画と動画の両方を対象とする。図2には、静止画を対象とする撮影補助に係る処理を示すフロー図を示し、例えば、口腔内の状態(歯肉の腫れ、歯周ポケット、口腔内の汚れ、歯肉の傷など)をチェックするための写真撮影を行うとき等に実行される。また、図3には、動画を対象とする撮影補助に係る処理を示すフロー図を示し、例えば、顎関節症などをチェックするための動画撮影を行うとき等に実行される。本実施形態では、口腔内の画像として、歯・歯肉の前面の画像のみならず、ユーザが口腔内チェック用のミラー等を用いて、歯・歯肉の後面の画像も撮影(写真撮影・動画撮影)する。以下、図2、図3を順に説明する。
図5に、ステップS3の領域判定の処理フローを示す。ガイダンス制御部14は、写っている対象部位の領域が適切か否かを判定する領域判定を行う(ステップS31)。ここでは、一例として、ガイダンス制御部14は、歯・歯肉・舌領域判定モデル記憶部14Aから、予め機械学習により構築した歯・歯肉・舌領域判定モデルを読み出し、対象部位の画像データを当該モデルと照合することで、歯領域・歯肉領域・舌領域をそれぞれ抽出して対象部位の領域が適切か否かを判定する。また、顎関節症チェック用の動画撮影を行う場合等では、ガイダンス制御部14は、顎関節特徴点抽出モデル記憶部14Bから、予め機械学習により構築した顎関節特徴点抽出モデルを読み出し、対象部位の画像データを当該モデルと照合することで、顎関節特徴点を抽出して対象部位の領域が適切か否かを判定する。
次に、第2実施形態として、カメラによる撮影で得られた口腔領域の画像データから口腔状態を判断し、予め記憶した口腔領域別疾患の相関関係情報を参照して、上記判断で得られたある口腔領域の口腔疾患と相関する別の口腔領域別疾患が有るか否かを判定し、相関する別の口腔領域別疾患が有ると判定された場合に当該別の口腔領域別疾患の口腔領域の撮影を促すガイダンスを出力する携帯端末の発展的機能に関する実施形態を説明する。なお、「口腔状態」とは、口腔内部の状態のみならず、口腔の動作に影響する顎関節等の状態も広く含む。
図12には、第2実施形態の携帯端末10Sの構成を示す機能ブロック図を示しており、この図12に示すように、携帯端末10Sは、第1実施形態と同様の機能を有する、カメラ11、表示部12、表示制御部13およびガイダンス制御部14に加え、口腔状態判断部15と相関判定部16とを備える。口腔状態判断部15は、カメラ11による撮影で得られた口腔領域の画像データから口腔状態を判断する機能を有する。この口腔状態判断機能の一例は後述する。相関判定部16は、予め記憶した口腔領域別疾患の相関関係情報を参照し、口腔状態判断部15による判断で得られた口腔領域別疾患と相関する別の口腔領域別疾患が有るか否かを判定する機能を有する。さらに、第2実施形態におけるガイダンス制御部14は、相関判定部16により相関する別の口腔領域別疾患が有ると判定された場合に当該別の口腔領域別疾患の口腔領域の撮影を促すガイダンスを出力する機能を有する。
図14に示す第2実施形態の処理は、口腔付近の写真撮影が行われた後、実行される。まず、図14のステップS70では、口腔状態判断部15が、撮影で得られた口腔領域の画像データおよび所定の基準情報(例えば、予め定めた基準値、過去の判断結果の情報など)に基づいて、口腔状態を判断するための口腔状態判断処理を実行する。この口腔状態判断処理の一例として、歯肉の腫れを対象とした処理が挙げられる。同処理では、例えば、撮影で得られた口腔領域の画像データを歯・歯肉・舌領域判定モデルと照合することで歯肉領域の画像データを抽出し、抽出された歯肉領域の画像データを、予め歯肉の腫れレベルごとに色・模様・形状を機械学習させて構築した歯肉の腫れ推定(色・模様・形状)モデルと照合することで、撮影で得られた口腔領域における歯肉の腫れ箇所・度合いを判定する。その際、判定対象となる歯肉領域を、歯からの距離に応じて複数の領域に分割して、分割領域ごとに歯肉の腫れ箇所・度合いを判定し、さらに、歯に近い分割領域ほど重み係数が高くなるように設定された重み係数に基づく重み付けをして、腫れ箇所・度合いを算出してもよい。また、歯肉の腫れには時系列的な進行性が有るため、今回の腫れ箇所・度合い判定結果を予め記憶した過去の腫れ箇所・度合い判定結果と比較することで腫れ度合い差分を算出してもよい。以上のようにして得られた腫れ箇所・度合い又は腫れ度合い差分を、例えば予め定めた基準値と比較することで、口腔領域別疾患の存在を判断することができ、存在すると判断された口腔領域別疾患の情報が得られる。なお、口腔状態判断処理の別の例としては、歯周ポケットを対象とした処理、口腔内の汚れを対象とした処理、歯肉の傷を対象とした処理などが挙げられる。
次に、コンピュータを、第1、第2実施形態の携帯端末が有する機能を実現するための撮影補助プログラムについて説明する。
なお、上記実施形態の説明に用いたブロック図は、機能単位のブロックを示している。これらの機能ブロック(構成部)は、ハードウェア及びソフトウェアの少なくとも一方の任意の組み合わせによって実現される。また、各機能ブロックの実現方法は特に限定されない。すなわち、各機能ブロックは、物理的又は論理的に結合した1つの装置を用いて実現されてもよいし、物理的又は論理的に分離した2つ以上の装置を直接的又は間接的に(例えば、有線、無線などを用いて)接続し、これら複数の装置を用いて実現されてもよい。機能ブロックは、上記1つの装置又は上記複数の装置にソフトウェアを組み合わせて実現されてもよい。
Claims (6)
- 頭部の少なくとも一部を含む対象部位を撮影するためのカメラと、
前記カメラによる撮影で得られた画像データに基づく画像を表示するための表示部と、
前記カメラによる撮影で得られた画像データに基づいて、ユーザの撮影操作をガイドするためのガイド表示を対象部位の画像に重畳させて、前記表示部に表示させる表示制御部と、
前記カメラによる撮影で得られた画像データに基づいて、前記対象部位の画像の写り具合いに応じて、ユーザ向けのガイダンスを出力するガイダンス制御部と、
前記カメラによる撮影で得られた口腔領域の画像データ、および、所定の基準情報に基づいて、口腔状態を判断する口腔状態判断部と、
予め記憶した口腔領域別疾患の相関関係情報を参照し、前記口腔状態判断部による判断で得られた口腔領域別疾患と相関する別の口腔領域別疾患が有るか否かを判定する相関判定部と、
を備え、
前記相関判定部により前記相関する別の口腔領域別疾患が有ると判定された場合、前記ガイダンス制御部は、当該別の口腔領域別疾患の口腔領域の撮影を促すガイダンスを出力する、
携帯端末。 - 前記ガイダンス制御部は、
予め機械学習により構築し記憶した対象部位の画像の領域判定モデルに基づいて、前記対象部位の画像の写り具合いとして、写っている領域の適否を判定し、適切でない場合は、写っている領域が所定の領域となるように導くためのガイダンスを出力する、
請求項1に記載の携帯端末。 - 前記ガイダンス制御部は、
前記対象部位の画像の写り具合いとして、前記対象部位の画像の光量を検出し、前記対象部位の画像の光量が所定の範囲内でない場合は前記対象部位の画像の光量を前記所定の範囲内に収めるためのガイダンスを出力する、
請求項1又は2に記載の携帯端末。 - 前記ガイダンス制御部は、
予め機械学習により構築し記憶した対象部位の画像の反射判定モデルに基づいて、前記対象部位の画像の写り具合いとして、前記対象部位の画像における反射の有無を判定し、反射が有る場合は当該反射を無くすためのガイダンスを出力する、
請求項1~3の何れか一項に記載の携帯端末。 - 前記ガイダンス制御部は、
前記対象部位の画像の写り具合いとして、慣性センサにより加速度値又はジャイロセンサ値を検出し、得られた検出値が所定の閾値を超える場合は振動有りと判定して振動を減らすためのガイダンスを出力する、
請求項1~4の何れか一項に記載の携帯端末。 - 頭部の少なくとも一部を含む対象部位を撮影するためのカメラを備えた携帯端末、に設けられたコンピュータを、
前記カメラによる撮影で得られた画像データに基づく画像を表示するための表示部と、
前記カメラによる撮影で得られた画像データに基づいて、ユーザの撮影操作をガイドするためのガイド表示を、対象部位の画像に重畳させて、前記表示部に表示させる表示制御部と、
前記カメラによる撮影で得られた画像データに基づいて、前記対象部位の画像の写り具合いに応じて、ユーザ向けのガイダンスを出力するガイダンス制御部と、
前記カメラによる撮影で得られた口腔領域の画像データ、および、所定の基準情報に基づいて、口腔状態を判断する口腔状態判断部と、
予め記憶した口腔領域別疾患の相関関係情報を参照し、前記口腔状態判断部による判断で得られた口腔領域別疾患と相関する別の口腔領域別疾患が有るか否かを判定する相関判定部、
として機能させるための撮影補助プログラムであり、
前記相関判定部により前記相関する別の口腔領域別疾患が有ると判定された場合、前記ガイダンス制御部は、当該別の口腔領域別疾患の口腔領域の撮影を促すガイダンスを出力する、
撮影補助プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019179833A JP7260115B2 (ja) | 2019-09-30 | 2019-09-30 | 携帯端末および撮影補助プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019179833A JP7260115B2 (ja) | 2019-09-30 | 2019-09-30 | 携帯端末および撮影補助プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021053174A JP2021053174A (ja) | 2021-04-08 |
JP7260115B2 true JP7260115B2 (ja) | 2023-04-18 |
Family
ID=75271724
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019179833A Active JP7260115B2 (ja) | 2019-09-30 | 2019-09-30 | 携帯端末および撮影補助プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7260115B2 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7539694B2 (ja) | 2020-10-30 | 2024-08-26 | 国立大学法人大阪大学 | コンピュータプログラム、学習モデルの生成方法、情報出力装置、及び情報出力方法 |
JP2023053733A (ja) * | 2021-10-01 | 2023-04-13 | パナソニックIpマネジメント株式会社 | 撮像誘導装置、撮像誘導方法及びプログラム |
JP7140932B1 (ja) | 2022-03-25 | 2022-09-21 | 株式会社モリタ製作所 | データ処理装置、データ処理方法、およびデータ処理プログラム |
JP7260699B1 (ja) * | 2022-03-25 | 2023-04-18 | 株式会社モリタ製作所 | データ処理装置、データ処理方法、およびデータ処理プログラム |
WO2024004100A1 (ja) * | 2022-06-29 | 2024-01-04 | 株式会社スクリエ | 口腔内撮影支援システム、口腔内撮影支援方法及びプログラム |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017162055A (ja) | 2016-03-08 | 2017-09-14 | 株式会社Nttドコモ | 画像評価装置及び画像評価プログラム |
JP2019022733A (ja) | 2014-05-07 | 2019-02-14 | アライン テクノロジー, インコーポレイテッド | 口内走査の結果を改善するための命令を格納するコンピュータ読み取り可能な記録媒体 |
JP2019155026A (ja) | 2018-03-16 | 2019-09-19 | 株式会社Nttドコモ | 腔内写真生成装置及び腔内写真生成プログラム |
JP2019155027A (ja) | 2018-03-16 | 2019-09-19 | 株式会社Nttドコモ | 口腔疾患診断システム及び口腔疾患診断プログラム |
-
2019
- 2019-09-30 JP JP2019179833A patent/JP7260115B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019022733A (ja) | 2014-05-07 | 2019-02-14 | アライン テクノロジー, インコーポレイテッド | 口内走査の結果を改善するための命令を格納するコンピュータ読み取り可能な記録媒体 |
JP2017162055A (ja) | 2016-03-08 | 2017-09-14 | 株式会社Nttドコモ | 画像評価装置及び画像評価プログラム |
JP2019155026A (ja) | 2018-03-16 | 2019-09-19 | 株式会社Nttドコモ | 腔内写真生成装置及び腔内写真生成プログラム |
JP2019155027A (ja) | 2018-03-16 | 2019-09-19 | 株式会社Nttドコモ | 口腔疾患診断システム及び口腔疾患診断プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2021053174A (ja) | 2021-04-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7260115B2 (ja) | 携帯端末および撮影補助プログラム | |
JP4702418B2 (ja) | 撮影装置、画像領域の存否判定方法及びプログラム | |
WO2019100756A1 (zh) | 图像采集方法、装置和电子设备 | |
JP4739870B2 (ja) | サングラス検出装置及び顔中心位置検出装置 | |
JP2005223902A (ja) | エッジ検出を使用してデジタルカメラにおいてパノラマ(合成)画像に画像位置合わせフィードバックを提供する方法 | |
JPWO2012002069A1 (ja) | 形状抽出方法及び装置、並びに寸法測定装置及び距離測定装置 | |
JP7067743B2 (ja) | 口腔癌診断システム及び口腔癌診断プログラム | |
JP6938409B2 (ja) | 腔内写真生成装置及び腔内写真生成プログラム | |
JP4840978B2 (ja) | 撮像装置及びその制御方法及びプログラム及び記憶媒体 | |
KR102433702B1 (ko) | 치아 우식증 검출 방법, 치아 우식증 검출 프로그램 및 엑스선 영상 촬영장치 | |
JP2005234765A (ja) | 画像取得装置及び捜索装置 | |
JP4717445B2 (ja) | 画像処理システム、画像処理装置、ゲーム装置、プログラム、情報記憶媒体および画像処理方法 | |
CN112036319B (zh) | 一种图片处理方法、装置、设备及存储介质 | |
JP4565273B2 (ja) | 被写体追跡装置、およびカメラ | |
JP2002008041A (ja) | 動作検出装置、動作検出方法および情報記憶媒体 | |
JP5386880B2 (ja) | 撮像装置、携帯電話端末、撮像方法、プログラム及び記録媒体 | |
JPWO2005065798A1 (ja) | 情報処理システム、エンタテインメントシステム、および情報処理システムの入力受け付け方法 | |
JP5267136B2 (ja) | 電子カメラ | |
JP2010178158A (ja) | 電子カメラ | |
JP3400961B2 (ja) | 人物像の姿勢推定装置および人物像の姿勢推定プログラムを記録した記録媒体 | |
JP7103156B2 (ja) | 画像データ処理装置、画像データ処理システム、画像データ処理方法、およびプログラム | |
WO2005055144A1 (ja) | 人物顔のあご検出方法及びあご検出システム並びにあご検出プログラム | |
JP5995610B2 (ja) | 被写体認識装置及びその制御方法、撮像装置、表示装置、並びにプログラム | |
JP2005181033A (ja) | カメラ撮影装置およびプログラム | |
JP5374612B2 (ja) | 画像データの識別方法及び撮像装置、プログラム、及び記憶媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7426 Effective date: 20191218 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20191218 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220302 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221220 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230104 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230208 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230307 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230328 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7260115 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |