JP7439807B2 - 電子機器、判定方法及びプログラム - Google Patents
電子機器、判定方法及びプログラム Download PDFInfo
- Publication number
- JP7439807B2 JP7439807B2 JP2021145595A JP2021145595A JP7439807B2 JP 7439807 B2 JP7439807 B2 JP 7439807B2 JP 2021145595 A JP2021145595 A JP 2021145595A JP 2021145595 A JP2021145595 A JP 2021145595A JP 7439807 B2 JP7439807 B2 JP 7439807B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- finger
- nail
- specific portion
- placement table
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 36
- 238000007639 printing Methods 0.000 claims description 103
- 238000004140 cleaning Methods 0.000 claims description 33
- 230000004044 response Effects 0.000 claims description 5
- 210000000282 nail Anatomy 0.000 description 88
- 238000004891 communication Methods 0.000 description 22
- 238000012545 processing Methods 0.000 description 20
- 238000013461 design Methods 0.000 description 19
- 230000008569 process Effects 0.000 description 18
- 230000006870 function Effects 0.000 description 17
- 230000008859 change Effects 0.000 description 16
- 230000007246 mechanism Effects 0.000 description 10
- 230000007423 decrease Effects 0.000 description 7
- 239000000463 material Substances 0.000 description 7
- 238000005286 illumination Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 210000004905 finger nail Anatomy 0.000 description 4
- 239000003595 mist Substances 0.000 description 4
- 230000001681 protective effect Effects 0.000 description 4
- NIXOWILDQLNWCW-UHFFFAOYSA-N acrylic acid group Chemical group C(C=C)(=O)O NIXOWILDQLNWCW-UHFFFAOYSA-N 0.000 description 3
- 230000000052 comparative effect Effects 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 210000002374 sebum Anatomy 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000011109 contamination Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 229920005989 resin Polymers 0.000 description 2
- 239000011347 resin Substances 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000012733 comparative method Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 238000007641 inkjet printing Methods 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000000284 resting effect Effects 0.000 description 1
- 238000005507 spraying Methods 0.000 description 1
- 229920003002 synthetic resin Polymers 0.000 description 1
- 239000000057 synthetic resin Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B41—PRINTING; LINING MACHINES; TYPEWRITERS; STAMPS
- B41J—TYPEWRITERS; SELECTIVE PRINTING MECHANISMS, i.e. MECHANISMS PRINTING OTHERWISE THAN FROM A FORME; CORRECTION OF TYPOGRAPHICAL ERRORS
- B41J3/00—Typewriters or selective printing or marking mechanisms characterised by the purpose for which they are constructed
- B41J3/407—Typewriters or selective printing or marking mechanisms characterised by the purpose for which they are constructed for marking on special material
- B41J3/4073—Printing on three-dimensional objects not being in sheet or web form, e.g. spherical or cubic objects
-
- A—HUMAN NECESSITIES
- A45—HAND OR TRAVELLING ARTICLES
- A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
- A45D29/00—Manicuring or pedicuring implements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/107—Static hand or arm
-
- A—HUMAN NECESSITIES
- A45—HAND OR TRAVELLING ARTICLES
- A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
- A45D29/00—Manicuring or pedicuring implements
- A45D2029/005—Printing or stamping devices for applying images or ornaments to nails
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30144—Printing quality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Manufacturing & Machinery (AREA)
- Quality & Reliability (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
- Ink Jet (AREA)
- Accessory Devices And Overall Control Thereof (AREA)
Description
このような印刷装置では、印刷対象である爪等を含む指を特定の位置に配置させ、適切に位置合わせした上で印刷を行う必要がある。
印刷対象である爪と、前記爪の指を配置する配置台を含む像を反射可能な補助反射部と、
前記配置台及び前記補助反射部を含む特定部分を前記配置台に前記爪を含む前記指が配置されていない状態で撮影した第1の撮影画像を取得するとともに、前記第1の撮影画像の撮影方向とは異なる方向から前記補助反射部を介して前記配置台を前記配置台に前記爪を含む前記指が配置されていない状態で撮影した第2の撮影画像を取得する画像取得手段と、
第1状態の前記特定部分を含む範囲を撮影して得た比較用画像と、前記第1の撮影画像及び前記第2の撮影画像のそれぞれと、を比較することにより、前記特定部分のうちの前記配置台及び/又は前記補助反射部が経時的に変化しているかを判定する判定手段と、
を備えることを特徴としている。
なお、以下に述べる実施形態には、本発明を実施するために技術的に好ましい種々の限定が付されているが、本発明の範囲を以下の実施形態及び図示例に限定するものではない。
また、以下の実施形態では、電子機器が手の指の爪等を印刷対象とする印刷装置(ネイルプリント装置)である場合を例に説明する。なお、本発明における電子機器は、手の指の爪を印刷対象とする印刷装置に限定されるものではない。
なお、以下の実施形態において、上下、左右及び前後は、図1等に示した向きをいうものとする。また、X方向、Y方向は、図1等に示した方向をいうものとする。
筐体2の前面側(印刷装置1の正面側、図1において前側)の下側部分には、左右方向(印刷装置1の横方向、図1において左右方向、X方向)のほぼ中央部に広く開口する開口部21が形成されている。開口部21は、少なくとも装置内に指を出し入れできる幅を有している。開口部21は、装置内に手を出し入れできる程度の幅を有していてもよい。
操作部22は、例えば印刷装置1の電源をONする電源スイッチボタン、動作を停止させる停止スイッチボタン等であり、操作部22が操作されると操作に応じた指示信号が後述の制御部11に出力される。
なお、図示例では、操作部22が1つのボタンで構成されている場合を示しているが、操作部22は筐体2の上面等に設けられた複数のボタン等で構成されていてもよい。
また、後述の表示部6の表面にタッチパネルが一体的に構成されている場合には、タッチパネルも操作部22として機能する。
表示部6は、後述する制御部11から出力された画像データ等に基づいて各種の表示画面を表示させる表示手段である。表示部6の大きさや設けられる具体的な位置等は図示例に限定されない。
表示部6は、例えば液晶ディスプレイ(LCD:Liquid Crystal Display)、有機エレクトロルミネッセンスディスプレイその他のフラットディスプレイ等で構成されている。なお、表示部6の表面に、タッチパネルが一体的に構成されていてもよい。この場合には当該タッチパネルも操作部22として機能する。
また本実施形態では、後述するように、判定手段としての制御部11が「特定部分」の状態(本実施形態では汚れ具合)について判定するようになっており、表示部6は、判定結果に応じて、ユーザに対応等を報知する報知手段としても機能する。
指配置部3は、指Uが載置される部分である配置部本体31を有している。配置部本体31の幅方向の中央部は長手方向に沿って多少窪んでおり、指Uが安定して配置されるようになっている。なお、配置部本体31には、例えば樹脂等の柔軟性を有する材料で形成されたクッション部材が設けられていてもよい。
指配置部3の奥側(図1におけるY方向の奥側)は上方が開放されており、開口部21から挿入され指配置部3内に配置された指Uの爪Tの表面が露出するようになっている。
また、指配置部3の奥側には、突当て部33が設けられている。突当て部33には、指配置部3に配置された指Uの先端部が突き当てられる。指Uの先端よりも爪Tが伸びている場合には、爪Tの先端部分が突当て部33に引っ掛けられるようになっており、爪載置部としても機能する。
なお、枠状部32や突当て部33を設けることは必須ではない。枠状部32や突当て部33を備えない構成としてもよい。
ミラー35は、例えば基材にアクリル等を用いた合成樹脂製のものが用いられる。なお、ミラー35の材質等は特に限定されず、例えば基材にガラスを用いたガラス製のミラー等でもよい。
ミラー35は、指配置部3に配置された指Uを後述するカメラ51で撮影する際に、撮影を補助する補助反射部である。具体的には、ミラー35は、カメラ51が直接撮影することのできる一方向(例えば上方向)とは異なる方向(例えば横方向)からの指画像をカメラ51の撮影可能範囲内に収めることが可能な光学素子である。
ミラー35を介してカメラ51が横方向から爪Tを含む指Uを見た画像を取得できることで、爪Tの高さ方向の位置を検出することができる。
「特定部分」の状態とは、例えば「特定部分」の汚れ具合である。後述するように、本実施形態では、電子機器である印刷装置1がインクを吐出させて印刷を行う印刷ヘッド41を備えており、印刷時にインク(インクミスト等)が飛散する。
「特定部分」である指配置部3やミラー35の状態は、装置の使用に伴って、このようなインク(印刷対象である爪Tに着弾しなかったインクミスト等)や、装置内に配置される指Uの皮脂、各種の埃等が付着することにより経時的に変化する(なお、図5、図6では、汚れDが付着している様子を点描で示している。)。なお、「特定部分」の状態が経時的に変化する要因はここに示したものに限定されない。例えば、印刷ヘッド41を交換するため等に装置から着脱する際、インクを吐出させる面が指配置部3やミラー35と接触することでインクが付着する場合も想定される。
このため、指配置部3、特に、指Uが載置される配置部本体31やその周辺は、爪T等とのコントラストが明確となるように、黒色等、肌色と識別しやすい色の部材で形成されている(図3~図6参照)。
例えば「特定部分」である指配置部3がインク等によって汚れると、黒色の部材が次第に白っぽくなってコントラストが低下してしまい、爪Tの領域を画する輪郭が識別しにくくなる。
また例えばミラー35がインク等によって汚れると、ミラー35に映し出される画像が不鮮明となり、ミラー35を撮影して得た画像(後述の指画像PI(第2の指画像PIs)、図3参照)から印刷対象である爪Tを識別(検出)することが難しくなる。
そこで、指配置部3やミラー35等の「特定部分」が汚れた場合には、汚れD(図5、図6参照)を除去することが好ましい。
図2に示すように、印刷装置1は前述の操作部22、表示部6を備える他、印刷機構4、撮影部5、通信部25等を備えている。
カメラ51及び光源52の周囲は、例えばアクリル板等の透明な樹脂材料で形成された図示しない保護部材で囲まれており、カメラ51のレンズ等に直接インク(インクミスト)等の汚れが付着しないようになっている。
なお保護部材の形状や設けられる範囲等は特に限定されないが、少なくともカメラ51及び光源52における指配置部3と対向する側に配置されることが好ましい。また、保護部材を形成する材料は、アクリル板に限定されない。保護部材は、カメラ51による撮影、光源52による照明を阻害しないものであればよく、例えばガラス等で形成されていてもよい。
撮影部5は、指配置部3に載置された指Uや爪Tや「特定部分」等の撮影対象を光源52によって照明する。そして、カメラ51によってその指Uや「特定部分」等を撮影して指画像PI(爪画像を含む指Uの画像、図3参照)、撮影画像PT(「特定部分」を含み、指Uや爪Tを含まない画像、図5,図6参照)等(撮影対象の画像)を得る。
本実施形態では、カメラ51は、印刷装置1の上面内側等に配置されており、図3に示すように、上方向から指Uを見たときの指画像PI(上面画像、第1の指画像PIt、図3の右側参照)を取得可能となっている。
またカメラ51は、補助反射部であるミラー35を介して撮影可能範囲内に収められる指画像PI(本実施形態では横方向から指Uを見たときの指画像、側面画像、第2の指画像PIs、図3の左側参照)を取得可能に構成されている。
また、1つの画像から第1の指画像PIt(上面画像)と第2の指画像PIs(側面画像)とをそれぞれ切り出して、表示部6等に別個に表示させてもよい。さらに、第1の指画像PIt(上面画像)と第2の指画像PIs(側面画像)とを、それぞれ別画像として取得し、表示部6にそれぞれ別個に表示させるようにしてもよい。
撮影画像PTは「特定部分」の汚れ具合の判定(診断)を行うのに必要な画像である。撮影画像PTを取得するタイミングとしては、例えば各日の使用開始時(例えば電源がONとなったとき)や、印刷装置1を使用するユーザが切り替わったとき、印刷装置1が一定の累積使用時間を超えた場合等が考えられる。
なお、撮影部5によって得られた指画像PI、撮影画像PT等の画像データは、後述する記憶部12に記憶されてもよい。
ここで「第1状態」とは、例えば、印刷装置1の工場出荷時における初期状態等、ユーザによる装置使用前の状態である。比較用画像PSは、例えば工場出荷前の段階で取得され、記憶部12等に記憶される。
比較用画像PSは、撮影画像PTと比較するものであるため、撮影画像PTが撮影される際の条件と同等の条件(例えば照度や撮影を行う際の角度等)の下で撮影されることが好ましい。
本実施形態の印刷ヘッド41は、爪表面に対向する面(下側の面)が、インクを吐出させる複数のノズル口を備えたインク吐出面(いずれも図示せず)となっており、インクを微滴化し、インク吐出面から爪表面に直接にインクを吹き付けて(吐出させて)印刷を行うインクジェット方式の印刷手段である。なお、具体的なインクの吐出方式等は特に限定されない。また印刷ヘッド41の構成は特に限定されないが、例えばインク吐出面等の吐出機構部とインクを貯留するインクカートリッジとが一体となったカートリッジ一体型のヘッドである。
印刷ヘッド41は、例えば、シアン(C;CYAN)、マゼンタ(M;MAGENTA)、イエロー(Y;YELLOW)等の色インクを吐出可能となっている。なお、印刷ヘッド41の種類や数は特に限定はされない。例えば上記のような色インクを吐出する印刷ヘッドの他に、デザインを印刷する前に下地となる液剤(例えば白色のインク等)を印刷する下地用の印刷ヘッド等を備えていてもよい。
また、印刷機構4は、印刷ヘッド41の位置を検出するための位置検出センサ48を有している。位置検出センサ48は、例えば印刷ヘッド41のX方向,Y方向の原点位置を検出する原点センサ、印刷ヘッド41の移動状況を把握するエンコーダセンサ等である。
なお、位置検出センサ48の具体的な種類や構成は、特に限定されない。
印刷装置1と外部機器との間での通信は、例えば無線LAN等により行われる。なお、印刷装置1と外部機器との間での通信はこれに限定されず、いかなる方式によるものでもよい。例えば、インターネット等のネットワーク回線を使うものであってもよいし、Bluetooth(登録商標)やWi-Fi等の近距離無線通信規格に基づく無線通信を行うものであってもよい。また、この通信は無線接続方式に限定されず、有線接続により両者間で各種データの送受信が可能な構成としてもよい。通信部25は通信することが想定される各種外部機器の通信方式、通信規格に対応するアンテナチップ等を備えている。
記憶部12のROM等には、印刷装置1を動作させるための各種プログラムや各種データ等が格納されている。
特に本実施形態では、工場出荷時等に撮影された比較用画像PS(上方向から指配置部3の周辺を見た比較用画像PSである第1の比較用画像PStと、横方向から指配置部3の周辺を見た比較用画像PSである第2の比較用画像PSs、図4参照)のデータが、記憶部12のうち、電源をOFFしてもリセットされない不揮発性のメモリに記憶されている。
ROM等に格納された各種プログラムを制御部11がRAMの作業領域に展開して実行することによって、印刷装置1の各部の動作を統合的に制御する。
なお、制御部11の各機能は、制御部11がプログラム(ソフトウェア)を実行することにより実現されてもよいし、専用のモジュール(ハードウェア)によって実現されていてもよい。
本実施形態において制御部11は、主として印刷機構4各部の動作を制御する印刷制御手段、撮影部5各部の動作を制御する撮影制御手段、表示部6の動作を制御する表示制御手段等として機能する他、画像から「特定部分」の状態(汚れ具合等)を判定する判定手段として機能する。
また、表示制御手段としての制御部11は、判定手段としての制御部11による判定結果に応じて、各種のメッセージや警告等を表示部6に表示させるようになっており、表示部6を判定結果に応じた対応をユーザに報知する報知手段として機能させる。
なお、指配置部3やミラー35等の「特定部分」に付着した各種の汚れD(図5、図6参照)は、照度が高い方が見えやすくなるもの、多少照度を落とした方が見えやすくなるもの等、様々な見え方、照り返しの仕方をするものが想定される。このため、撮影制御手段としての制御部11は、撮影画像PTを撮影する際、各汚れDに応じた最適な撮影条件で画像を取得できるように、光源52の照明照度(照度具合)等の撮影条件を変えて複数回の撮影を行うように、撮影部5を制御する。
判定手段としての制御部11による「特定部分」の汚れ具合の判定手法は特に限定されないが、例えば、現状の画像である撮影画像PT(第1の撮影画像PTt,第2の撮影画像PTs)と、正常状態(使用により汚れる前のきれいな状態)の画像である比較用画像PS(第1の比較用画像PSt,第2の比較用画像PSs)とを比較して、その差分を評価する差分法(比較法)を用いる。
なお、指配置部3やミラー35等の「特定部分」ごとに最適な画像処理条件等が異なることが考えられる。このため、制御部11は各「特定部分」を画像から切り取って同じ部分同士で比較することが好ましい。
例えば、比較用画像PS及び撮影画像PTのRGBの各値を1ドットずつ比較していき、階調差(RGB各色の濃さや明るさの差)のあるドットの差分を抽出する。なお、図4~図6では、図示の都合上、画像同士を比較する際の最小単位(例えば1ピクセル、1ドット等)を方眼(マス目)で模式的に示しているが、実際の比較対象はさらに細かいマス目単位となっている。
このようにして比較用画像PSと撮影画像PTとの差分を抽出することで、第1状態(初期状態)から変化した箇所を識別することができる。
すなわち、例えば、画像全体(総面積、総ドット)のうち、差分が検出された領域の面積が、閾値を超えるような、ある一定以上の面積値になった場合に、制御部11は清掃(クリーニング)が必要な程度の汚れ具合であると判定する。
なお、判定手段としての制御部11による汚れ具合の判定基準は、差分が検出された面積の大小に限定されない。例えば差分の大きさ(すなわち、汚れの濃さ)等を判断基準としてもよいし、面積の大きさと差分の大きさの双方を考慮して汚れ具合の判定を行ってもよい。
なお、どの程度の面積値、差分の大きさとなったときに清掃が必要と判断するかの閾値は適宜設定される。また、閾値は、指配置部3周辺を撮影した第1の撮影画像PTtと、ミラー35を撮影した第2の撮影画像PTsとで異なる値が設定されていてもよい。
具体的には、制御部11は、ユーザによって選択されたデザイン(ネイルデザイン)の画像データを切り出し、適宜拡大縮小、配置の調整等を行うとともに、指画像から取得された爪輪郭内にフィッティングする。
なお、爪Tの曲率等の情報が取得された場合には、制御部11は、この爪Tの曲率等に基づいて、印刷データに適宜曲面補正等を行ってもよい。曲面補正等を行った場合には、より爪の形状に合った印刷データを生成することができる。
本実施形態において端末装置8は、例えばスマートフォンやタブレット端末等の携帯端末装置が想定される。なお、端末装置8は、印刷装置1と通信可能なものであればよく、スマートフォン等に限定されない。例えばゲーム用の端末装置等であってもよい。
なお、各種の入力・設定等の操作を行う操作部83はタッチパネルである場合に限定されない。例えば各種の操作ボタンやキーボード、ポインティングデバイス等が操作部83として設けられていてもよい。
また端末装置8の操作部83を操作することで、印刷装置1において各種の入力・設定等が行われてもよい。例えばユーザが操作部83を操作することで、印刷装置1の印刷動作をスタートさせることができてもよい。
通信部84は、印刷装置1の通信部25との間で通信可能な無線通信モジュール等を備えている。
なお、通信部84は、印刷装置1との間で通信を行うことのできるものであればよく、印刷装置1の通信部25の通信規格と合致するものが適用される。
表示部85は、制御部81の制御にしたがって、例えば各種画像データに基づく画像や、ユーザに対するメッセージ画面、各種の案内画面、警告表示画面等を表示可能となっている。
ユーザに対するメッセージ画面、警告表示画面等は、印刷装置1の表示部6に表示されるとともに、又は表示部6に表示されるのに代えて、端末装置8の表示部85に表示させてもよい。
例えば、判定手段としての制御部11が汚れ具合について判定した場合に、この判定結果に応じて、ユーザに対応を報知する報知画面が端末装置8の表示部85に表示されてもよい。この場合には、端末装置8の表示部85が報知手段として機能する。
なお、前述のように、表示部85の表面に各種の入力を行うためのタッチパネルが一体的に構成されていてもよい。この場合にはタッチパネルが操作部83としても機能する。
具体的には、本実施形態のROM等には、端末装置8の各部を統括制御するための動作プログラムの他、印刷装置1を用いた印刷処理を行うための印刷処理アプリケーションプログラム、表示制御処理アプリケーションプログラム等の各種プログラム(いずれも図示せず)等が格納されており、制御装置80がこれらのプログラムを例えばRAMの作業領域に展開して実行することによって、端末装置8が制御されるようになっている。
また記憶部82には、印刷装置1において爪Tに印刷されるデザイン(ネイルデザイン)のデータが記憶されていてもよい。
図7は、本実施形態における判定処理を示すフローチャートである。
本実施形態では、前述のように、1日の印刷動作開始前や電源投入時、印刷装置1を使用するユーザが切り替わったとき、1日の印刷動作が終了した際等に、指配置部3やミラー35等の「特定部分」の状態(汚れ具合)を判定する判定処理が行われる。
撮影画像PTは、光源52の照度度合い等の撮影条件を変えながら数回の撮影を行い、異なる条件で撮影された複数の撮影画像PTを得ることが好ましい。どのような条件で何回の撮影を行うか等は適宜設定される。撮影された撮影画像PTは、制御部11に取得される。
撮影画像PTが取得されると、判定手段としての制御部11は、記憶部12から比較用画像PS(第1の比較用画像PSt,第2の比較用画像PSs)を読み出し、この比較用画像PSと撮影画像PTとを、その対応部分ごとに比較して、その差分を求める(ステップS2、判定工程)。
具体的には、各撮影画像PTについて、上方向から見た第1の撮影画像PTtについては、同じ方向から見た第1の比較用画像PStと比較し、横方向から見た第2の撮影画像PTsについては、同じ方向から見た第2の比較用画像PSsと比較する。
そして、制御部11は、第1の撮影画像PTt、第2の撮影画像PTsについて、それぞれ第1の比較用画像PSt、第2の比較用画像PSsとの比較で差分が検出されたドットの総面積等を取得する。
例えば、各撮影画像PT(第1の撮影画像PTt,第2の撮影画像PTs)が、図5に示すように、わずかに汚れている程度である場合には、差分が検出されるドットの総面積も少なく、閾値を超えない(ステップS3;NO)。この場合には、ユーザに清掃を促すほどではなく、このまま印刷装置1の使用を続行できる。
例えば、各撮影画像PT(第1の撮影画像PTt,第2の撮影画像PTs)が、図6に示すように、本来黒い部材である指配置部3の周辺がインクで白くなっている場合(図6の「第1の撮影画像PTt」参照)や、指配置部3の周辺が不明瞭にしか映らないほどミラー35が汚れている場合(図6の「第2の撮影画像PTs」参照)には、このままの状態で指画像PIを撮影しても、指画像PIから正しく爪輪郭を検出することができない可能性がある。また、このような状態の指配置部3にユーザが指Uを配置すると、指Uや爪Tにインク等が付着して汚れてしまうおそれもある。このような場合には、ユーザに清掃を促すべき汚れ具合であり、差分が検出されるドットの総面積も多くなる。
なお、第1の撮影画像PTt、第2の撮影画像PTsのどちらがどの程度閾値を超えているかについても表示部6等に表示させてもよい。
例えば第1の撮影画像PTtはそれほど閾値を超えていないが、第2の撮影画像PTsは大きく閾値を超えている場合、特にミラー35が汚れている旨をユーザに報知してもよい。このようにすることで、ユーザは特にどこを清掃する必要があるかを知ることができる。
清掃が完了した旨の入力操作(例えば「清掃完了ボタン」の操作)が行われると、入力に応じた信号が制御部11に出力される。
制御部11は、清掃が完了した旨の入力があったか否かを判断し(ステップS7)、入力が確認されない場合(ステップS7;NO)には、ステップS6に戻ってメッセージの表示処理を繰り返す。
判定手段としての制御部11は、現状を撮影した撮影画像PTが取得されると、記憶部12から比較用画像PS(第1の比較用画像PSt,第2の比較用画像PSs)を読み出し、この比較用画像PSと撮影画像PTとを再度比較して、その差分を求める(ステップS9)。
そして、制御部11は、撮影画像PTに生じていた閾値以上の変化が解消された否かを判断する(ステップS10)。
一方、撮影画像PTに生じていた閾値以上の変化がなお解消されていない場合(ステップS10;NO)には、制御部11は、清掃の回数(ステップS7からステップS10をループした回数)を「n」としたとき、「n」が3回よりも少ないか否かを判断する(ステップS11)。
「n」が1回又は2回である場合(ステップS11;YES)には、撮影部5も汚れている可能性がある旨を表示部6等に表示させてユーザに報知した上で(ステップS12)、ユーザに清掃を促すメッセージを表示部6等に表示させ(ステップS6)、以降の処理を繰り返す。
ユーザが指配置部3等を清掃したにもかかわらず、閾値以上の変化が解消されない場合(汚れDが残っている状態の場合)には、清掃対象ではなかった撮影部5に原因がある可能性がある。このため、ユーザに撮影部5が汚れている可能性を示して、さらに清掃を促す表示を行う。
このため、例えば正しい清掃の仕方や、ミラー35の交換方法等、清掃以外の対処法をユーザに対して提案し、さらにユーザに対応を求める報知を行う。
なお、任意の回数(例えば6回等)繰り返しても状況が改善されない場合には、例えばサービス部門への連絡先等を示して処理を中止する等の設定となっていてもよい。
また、指配置部3等、指Uが配置される部分やその周辺にインクが付着していると、次に使用する際にユーザの指Uや爪Tにインクが付着して指U等を汚してしまうおそれもある。本実施形態のように、指配置部3等の汚れ具合を把握して清掃を促すようにすれば、指U等が汚れるのを回避することもできる。
指画像PIから正確に爪Tの領域を認識するためには、指Uや爪Tに対してコントラストに優れた指配置部3に指や爪を配置して爪Tの上面画像(第1の指画像PIt)を取得するとともに、ミラー35を介して爪Tの側面画像(第2の指画像PIs)を取得し、爪Tの高さ方向の位置も正確に把握することが必要である。
本実施形態では、使用前の第1状態(初期状態)を撮影した比較用画像PSと「特定部分」の現状を撮影した撮影画像PTとを比較して、その変化(汚れ具合)を判定する。このため、爪T等の認識精度が低下する状態を事前に適切に把握することができる。そしてこのような変化(汚れ具合)の判定を制御部11による画像の比較処理により行うため、ユーザ等が目視で汚れD等の有無を判断する場合と比べて、正確な判断を行うことができる。
また指配置部3等が汚れたまま使用を続けるのを防いで、指U等が汚れるのを回避することもできる。
さらに本実施形態では、印刷装置1が本来有しているカメラ51によって取得された画像に基づいて判定処理を行うため、新たな装置構成を追加する必要がなく、簡易に爪T等の認識精度の低下を防ぐことができる。
指配置部3やミラー35が汚れていると、指画像PIから正しく爪Tの輪郭等を認識でない可能性が高くなる。
この点、「特定部分」として指配置部3やミラー35の状態の変化具合(汚れ具合)を見ることができるため、印刷対象である爪Tの認識精度の低下を抑えることができる。
「特定部分」が使用に伴って経時的に汚れていく場合に、この汚れ具合を判定できるようにすることで、爪T等の認識精度が低下する状態を事前に把握することができる。
これにより、客観的に状態(汚れ具合、程度)を判断することができ、適切に対応することができる。
具体的には、表示部6や端末装置の表示部85に、「特定部分」の汚れ具合や、対処の仕方等を表示させる等により、ユーザによる清掃等の対処を求める。
これにより、「特定部分」の汚れ具合がひどい場合(例えば閾値を超える場合)には、清掃等を行うことができ、爪Tの認識に影響のある状態を解消することができる。このため、爪T等の認識精度が低下する状態を事前に把握することができる。
インクを吐出させて印刷を行う場合には、印刷時等にインク(インクミスト)が飛散して爪Tの周辺にある物(例えば指配置部3等)に付着するおそれがある。
このようなインク汚れのある状態で爪認識や印刷を行うと、爪Tの輪郭を誤認識したり、インクで指Uや爪Tを汚してしまうおそれもある。
この点、本実施形態では、このようなインク汚れによる指配置部3等の経時変化を把握して、対処することができる。このため、爪T等の認識精度が低下するのを抑え、インクにより指U等が汚れることも防ぐことができる。
指Uや爪Tが配置される周辺部分であれば、広く「特定部分」に含めることができる。
例えば、ミラー35の割れや欠け、各種要因による変形等が生じている場合にも、正常な爪認識を妨げる可能性がある。これらの場合も「特定部分」の状態の変化として判定されてもよい。
例えば、印刷装置1や端末装置8に音声出力部を備える場合には、アラート音の出力や、メッセージ等の音声案内によってユーザに報知してもよい。また、ランプの点灯等によって清掃等の対応が必要であることを報知してもよい。
これらの場合、音声出力部やランプ等が報知手段となる。
例えばユーザにより「特定部分」の清掃が行われ、清掃が完了した旨の入力が行われた場合には、再度現状の「特定部分」の状態を確認するための撮影画像PTを撮影し、この撮影画像PTと、清掃前の撮影画像PTとを比較してもよい。清掃前の撮影画像PTと比較することで、清掃によってどの分の汚れDが解消され、どの分の汚れDが残っているのかを比較することができる。このような比較画像を表示部6等に表示させれば、ユーザがどこを清掃するのか判断しやすくなる。
例えば、印刷装置1における判定処理の開始指示や印刷処理の開始指示の入力、ネイルデザイン(デザイン)の選択等を端末装置8の操作部83等から行ってもよい。
また、印刷データの生成等の画像処理等、各種のデータ処理を用いた処理を端末装置8等の外部機器で行ってもよい。この場合には、印刷装置1のカメラ51で撮影された指画像PI等が端末装置8側に送信される。
この場合、印刷装置1のカメラ51で撮影された撮影画像PT、比較用画像PSのデータが端末装置8側に送信され、これらのデータに基づいて、端末装置8側の制御部81が判定処理を行う。なお、比較用画像PSのデータについては、端末装置8側の記憶部82に予め記憶されていてもよい。
このように、端末装置8等の外部装置に各種の処理を担当させた場合には、印刷装置1の制御部11をより簡易な構成で実現することができる。
また、ネットワーク回線等を介して接続可能なサーバ装置等にネイルデザインの画像データを記憶させておき、サーバ装置等にアクセスしてネイルデザインのデータを参照可能に構成してもよい。
このようにすることで、記憶部12等の容量を大きくしなくても、より多くのネイルデザインの中から印刷するデザインを選択することが可能となる。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
<請求項1>
印刷対象である爪を含む指画像及び経時的に状態が変化する特定部分を含む撮影画像を取得する画像取得手段と、
第1状態の前記特定部分を含む範囲を撮影して得た比較用画像と、前記撮影画像とを比較することにより、前記特定部分の状態を判定する判定手段と、
を備えることを特徴とする電子機器。
<請求項2>
前記特定部分は、前記爪に対応する指を配置する指配置部及び前記指配置部に配置された指の撮影を補助する補助反射部のうち少なくとも一部を含んでいることを特徴とする請求項1に記載の電子機器。
<請求項3>
前記特定部分の状態は、前記特定部分の汚れ具合であることを特徴とする請求項1又は請求項2に記載の電子機器。
<請求項4>
前記判定手段は、予め定められた閾値に基づいて前記特定部分の状態を判断することを特徴とする請求項1から請求項3のいずれか一項に記載の電子機器。
<請求項5>
前記判定手段による判定結果に応じて、ユーザに対応を報知する報知手段をさらに備えていることを特徴とする請求項1から請求項4のいずれか一項に記載の電子機器。
<請求項6>
インクを吐出させて印刷を行う印刷手段を備え、
前記特定部分の状態は、前記インクが付着することにより経時的に変化することを特徴とする請求項1から請求項5のいずれか一項に記載の電子機器。
<請求項7>
印刷対象である爪を含む指画像及び経時的に状態が変化する特定部分を含む撮影画像を取得する画像取得工程と、
第1状態の前記特定部分を含む範囲を撮影して得た比較用画像と、前記撮影画像とを比較することにより、前記特定部分の状態を判定する判定工程と、
を含むことを特徴とする判定方法。
<請求項8>
コンピュータに、
印刷対象である爪を含む指画像及び経時的に状態が変化する特定部分を含む撮影画像を取得する画像取得機能と、
第1状態の前記特定部分を含む範囲を撮影して得た比較用画像と、前記撮影画像とを比較することにより、前記特定部分の状態を判定する判定機能と、
を実現させることを特徴とするプログラム。
2 筐体
11 制御部
12 記憶部
3 指配置部
35 ミラー
4 印刷機構
41 印刷ヘッド
5 撮影部
51 カメラ
6 表示部
8 端末装置
Claims (7)
- 印刷対象である爪と、前記爪の指を配置する配置台を含む像を反射可能な補助反射部と、
前記配置台及び前記補助反射部を含む特定部分を前記配置台に前記爪を含む前記指が配置されていない状態で撮影した第1の撮影画像を取得するとともに、前記第1の撮影画像の撮影方向とは異なる方向から前記補助反射部を介して前記配置台を前記配置台に前記爪を含む前記指が配置されていない状態で撮影した第2の撮影画像を取得する画像取得手段と、
第1状態の前記特定部分を含む範囲を撮影して得た比較用画像と、前記第1の撮影画像及び前記第2の撮影画像のそれぞれと、を比較することにより、前記特定部分のうちの前記配置台及び/又は前記補助反射部が経時的に変化しているかを判定する判定手段と、
を備えることを特徴とする電子機器。 - 前記判定手段は、予め定められた閾値に基づいて前記特定部分と前記補助反射部とのいずれかが経時的に変化しているかを判定することを特徴とする請求項1に記載の電子機器。
- 前記判定手段による判定結果に応じて、ユーザに対応を報知する報知手段をさらに備えていることを特徴とする請求項1又は請求項2に記載の電子機器。
- ユーザによる清掃が完了した旨の入力操作を行う入力手段を更に備え、
前記判定手段は、前記入力手段によって清掃が完了した旨の入力があったときに前記判定を行い、
前記報知手段は、前記判定手段によって前記特定部分と前記補助反射部とのいずれかが経時的に変化していると判定された場合に、前記画像取得手段が汚れている旨を報知する、
ことを特徴とする請求項3に記載の電子機器。 - インクを吐出させて印刷を行う印刷手段を備え、
前記特定部分の状態は、前記インクが付着することにより経時的に変化することを特徴とする請求項1から請求項4のいずれか一項に記載の電子機器。 - 配置台及び補助反射部を含む特定部分を前記配置台に爪を含む指が配置されていない状態で撮影した第1の撮影画像を取得するとともに、前記第1の撮影画像の撮影方向とは異なる方向から前記補助反射部を介して前記配置台を前記配置台に前記爪を含む前記指が配置されていない状態で撮影した第2の撮影画像を取得する画像取得工程と、
第1状態の前記特定部分を含む範囲を撮影して得た比較用画像と、前記第1の撮影画像及び前記第2の撮影画像のそれぞれと、を比較することにより、前記特定部分のうちの前記配置台及び/又は前記補助反射部が経時的に変化しているかを判定する判定工程と、
を含むことを特徴とする判定方法。 - コンピュータに、
配置台及び補助反射部を含む特定部分を前記配置台に爪を含む指が配置されていない状態で撮影した第1の撮影画像を取得するとともに、前記第1の撮影画像の撮影方向とは異なる方向から前記補助反射部を介して前記配置台を前記配置台に前記爪を含む前記指が配置されていない状態で撮影した第2の撮影画像を取得する画像取得機能と、
第1状態の前記特定部分を含む範囲を撮影して得た比較用画像と、前記第1の撮影画像及び前記第2の撮影画像のそれぞれと、を比較することにより、前記特定部分のうちの前記配置台及び/又は前記補助反射部が経時的に変化しているかを判定する判定機能と、
を実現させることを特徴とするプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021145595A JP7439807B2 (ja) | 2021-09-07 | 2021-09-07 | 電子機器、判定方法及びプログラム |
CN202211036916.3A CN115771339A (zh) | 2021-09-07 | 2022-08-26 | 电子设备、判定方法以及记录介质 |
US17/903,609 US20230070806A1 (en) | 2021-09-07 | 2022-09-06 | Electronic device, determination method, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021145595A JP7439807B2 (ja) | 2021-09-07 | 2021-09-07 | 電子機器、判定方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023038725A JP2023038725A (ja) | 2023-03-17 |
JP7439807B2 true JP7439807B2 (ja) | 2024-02-28 |
Family
ID=85385331
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021145595A Active JP7439807B2 (ja) | 2021-09-07 | 2021-09-07 | 電子機器、判定方法及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20230070806A1 (ja) |
JP (1) | JP7439807B2 (ja) |
CN (1) | CN115771339A (ja) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006103155A (ja) | 2004-10-05 | 2006-04-20 | Canon Inc | 記録装置 |
JP2018107665A (ja) | 2016-12-27 | 2018-07-05 | グローリー株式会社 | 撮像装置、汚れ検知システム、及び、汚れ検知方法 |
JP2020103448A (ja) | 2018-12-26 | 2020-07-09 | 船井電機株式会社 | プリンタ |
JP2021035745A (ja) | 2019-08-30 | 2021-03-04 | 船井電機株式会社 | プリンタ |
JP2021081149A (ja) | 2019-11-21 | 2021-05-27 | 株式会社パロマ | ガスコンロシステム |
-
2021
- 2021-09-07 JP JP2021145595A patent/JP7439807B2/ja active Active
-
2022
- 2022-08-26 CN CN202211036916.3A patent/CN115771339A/zh active Pending
- 2022-09-06 US US17/903,609 patent/US20230070806A1/en active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006103155A (ja) | 2004-10-05 | 2006-04-20 | Canon Inc | 記録装置 |
JP2018107665A (ja) | 2016-12-27 | 2018-07-05 | グローリー株式会社 | 撮像装置、汚れ検知システム、及び、汚れ検知方法 |
JP2020103448A (ja) | 2018-12-26 | 2020-07-09 | 船井電機株式会社 | プリンタ |
JP2021035745A (ja) | 2019-08-30 | 2021-03-04 | 船井電機株式会社 | プリンタ |
JP2021081149A (ja) | 2019-11-21 | 2021-05-27 | 株式会社パロマ | ガスコンロシステム |
Also Published As
Publication number | Publication date |
---|---|
JP2023038725A (ja) | 2023-03-17 |
CN115771339A (zh) | 2023-03-10 |
US20230070806A1 (en) | 2023-03-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109123989B (zh) | 描绘系统、终端装置及记录介质 | |
US11007777B2 (en) | Printer | |
US9485372B2 (en) | Image forming apparatus | |
JP7439807B2 (ja) | 電子機器、判定方法及びプログラム | |
CN111728344B (zh) | 印刷装置以及印刷方法 | |
CN114193941B (zh) | 印刷装置、指甲姿势确认方法以及记录介质 | |
JP6958336B2 (ja) | 描画システム、描画装置及び端末装置 | |
US20080079956A1 (en) | Hand-Held Printer Having An Integrated Digital Camera Scanner | |
CN113370667B (zh) | 印刷装置、印刷方法以及记录程序的记录介质 | |
JP7173256B2 (ja) | 描画システム及び描画制御方法 | |
JP7160069B2 (ja) | 印刷装置 | |
WO2020110340A1 (ja) | プリンタ | |
JP7484220B2 (ja) | 印刷装置、印刷装置の制御方法及び制御プログラム | |
CN114801489B (zh) | 印刷装置、印刷控制方法以及存储介质 | |
JP7151753B2 (ja) | 爪輪郭検出装置、印刷装置、爪輪郭検出方法及びプログラム | |
US11820159B2 (en) | Nail printing apparatus and control method | |
JP7468730B2 (ja) | 印刷装置、印刷制御方法及び制御プログラム | |
JP2022135250A (ja) | 印刷装置、印刷制御方法及びプログラム | |
WO2021053943A1 (ja) | 印刷装置、端末装置、印刷システム、印刷方法及びプログラム | |
US11827038B2 (en) | Nail printing apparatus and control method | |
JP7226412B2 (ja) | 表示装置、印刷装置、印刷システム、表示方法及びプログラム | |
JP7351163B2 (ja) | 印刷装置、端末装置及び印刷システム | |
JP2023033854A (ja) | 印刷装置、情報処理装置、印刷制御方法及びプログラム | |
JP6630612B2 (ja) | 画像形成装置 | |
CN115782415A (zh) | 判别装置、印刷装置、判别方法以及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220712 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230418 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230517 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230704 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230830 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20230919 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231206 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20231215 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240116 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240129 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7439807 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |