JP7439807B2 - 電子機器、判定方法及びプログラム - Google Patents

電子機器、判定方法及びプログラム Download PDF

Info

Publication number
JP7439807B2
JP7439807B2 JP2021145595A JP2021145595A JP7439807B2 JP 7439807 B2 JP7439807 B2 JP 7439807B2 JP 2021145595 A JP2021145595 A JP 2021145595A JP 2021145595 A JP2021145595 A JP 2021145595A JP 7439807 B2 JP7439807 B2 JP 7439807B2
Authority
JP
Japan
Prior art keywords
image
finger
nail
specific portion
placement table
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021145595A
Other languages
English (en)
Other versions
JP2023038725A (ja
Inventor
達也 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2021145595A priority Critical patent/JP7439807B2/ja
Priority to CN202211036916.3A priority patent/CN115771339A/zh
Priority to US17/903,609 priority patent/US20230070806A1/en
Publication of JP2023038725A publication Critical patent/JP2023038725A/ja
Application granted granted Critical
Publication of JP7439807B2 publication Critical patent/JP7439807B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B41PRINTING; LINING MACHINES; TYPEWRITERS; STAMPS
    • B41JTYPEWRITERS; SELECTIVE PRINTING MECHANISMS, i.e. MECHANISMS PRINTING OTHERWISE THAN FROM A FORME; CORRECTION OF TYPOGRAPHICAL ERRORS
    • B41J3/00Typewriters or selective printing or marking mechanisms characterised by the purpose for which they are constructed
    • B41J3/407Typewriters or selective printing or marking mechanisms characterised by the purpose for which they are constructed for marking on special material
    • B41J3/4073Printing on three-dimensional objects not being in sheet or web form, e.g. spherical or cubic objects
    • AHUMAN NECESSITIES
    • A45HAND OR TRAVELLING ARTICLES
    • A45DHAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D29/00Manicuring or pedicuring implements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/22Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107Static hand or arm
    • AHUMAN NECESSITIES
    • A45HAND OR TRAVELLING ARTICLES
    • A45DHAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D29/00Manicuring or pedicuring implements
    • A45D2029/005Printing or stamping devices for applying images or ornaments to nails
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30144Printing quality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Manufacturing & Machinery (AREA)
  • Quality & Reliability (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Ink Jet (AREA)
  • Accessory Devices And Overall Control Thereof (AREA)

Description

本発明は、電子機器、判定方法及びプログラムに関するものである。
近年、人の爪等の印刷対象に各種デザイン等を印刷する印刷装置(ネイルプリント装置)が知られている。
このような印刷装置では、印刷対象である爪等を含む指を特定の位置に配置させ、適切に位置合わせした上で印刷を行う必要がある。
例えば特許文献1には、印刷対象(例えば指の爪)の位置合わせ等を容易に行うことができるように、印刷対象が配置される配置部の近傍にミラーを設置する構成が記載されている。
特開2020-103448号公報
しかしながら、ミラーや、その他、印刷対象の配置部周辺は、印刷時のインクの飛散や指との接触等により、汚れが生じる場合がある。印刷対象の周辺が汚れると、印刷対象の識別等に影響を与えるおそれがある。
本発明は以上のような事情に鑑みてなされたものであり、印刷対象の識別精度の低下を抑制することのできる電子機器、判定方法及びプログラムを提供することを目的とするものである。
前記課題を解決するために、本発明の電子機器の一態様は、
印刷対象である爪と、前記爪の指を配置する配置台を含む像を反射可能な補助反射部と、
前記配置台及び前記補助反射部を含む特定部分を前記配置台に前記爪を含む前記指が配置されていない状態で撮影した第1の撮影画像を取得するとともに、前記第1の撮影画像の撮影方向とは異なる方向から前記補助反射部を介して前記配置台を前記配置台に前記爪を含む前記指が配置されていない状態で撮影した第2の撮影画像を取得する画像取得手段と、
第1状態の前記特定部分を含む範囲を撮影して得た比較用画像と、前記第1の撮影画像及び前記第2の撮影画像のそれぞれと、を比較することにより、前記特定部分のうちの前記配置台及び/又は前記補助反射部が経時的に変化しているかを判定する判定手段と、
を備えることを特徴としている。
本発明によれば、印刷対象の識別精度の低下を抑制することができるとの効果を奏する。
本実施形態に係る印刷装置の外観構成を示す要部斜視図である。 本実施形態に係る印刷装置及びこれと連携する端末装置の制御構成を示した要部ブロック図である。 爪を含む指を撮影した指画像の一例を示す平面図である。 比較用画像の一例を示す平面図である。 撮影画像の一例を示す平面図である。 撮影画像の一例を示す平面図である。 本実施形態における判定処理を示すフローチャートである。
図1から図7を参照しつつ、本発明に係る電子機器、判定方法及びプログラムの一実施形態について説明する。
なお、以下に述べる実施形態には、本発明を実施するために技術的に好ましい種々の限定が付されているが、本発明の範囲を以下の実施形態及び図示例に限定するものではない。
また、以下の実施形態では、電子機器が手の指の爪等を印刷対象とする印刷装置(ネイルプリント装置)である場合を例に説明する。なお、本発明における電子機器は、手の指の爪を印刷対象とする印刷装置に限定されるものではない。
図1は、本実施形態における電子機器である印刷装置の要部外観構成を示す斜視図である。図2は、本実施形態における印刷装置及びこれと連携する端末装置の機能的構成を示すブロック図である。
なお、以下の実施形態において、上下、左右及び前後は、図1等に示した向きをいうものとする。また、X方向、Y方向は、図1等に示した方向をいうものとする。
図1に示すように、印刷装置1は、ほぼ箱形に形成された筐体2を有している。
筐体2の前面側(印刷装置1の正面側、図1において前側)の下側部分には、左右方向(印刷装置1の横方向、図1において左右方向、X方向)のほぼ中央部に広く開口する開口部21が形成されている。開口部21は、少なくとも装置内に指を出し入れできる幅を有している。開口部21は、装置内に手を出し入れできる程度の幅を有していてもよい。
筐体2の上面(天板)や側面等には、操作部22が設けられている。操作部22は、ユーザが各種入力を行う機能部である。本実施形態では、筐体2の上面に操作部22が設けられている例を図示している。
操作部22は、例えば印刷装置1の電源をONする電源スイッチボタン、動作を停止させる停止スイッチボタン等であり、操作部22が操作されると操作に応じた指示信号が後述の制御部11に出力される。
なお、図示例では、操作部22が1つのボタンで構成されている場合を示しているが、操作部22は筐体2の上面等に設けられた複数のボタン等で構成されていてもよい。
また、後述の表示部6の表面にタッチパネルが一体的に構成されている場合には、タッチパネルも操作部22として機能する。
また、筐体2には、表示部6が設けられている。図示例では筐体2の上面(天板)に表示部6が配置されている。
表示部6は、後述する制御部11から出力された画像データ等に基づいて各種の表示画面を表示させる表示手段である。表示部6の大きさや設けられる具体的な位置等は図示例に限定されない。
表示部6は、例えば液晶ディスプレイ(LCD:Liquid Crystal Display)、有機エレクトロルミネッセンスディスプレイその他のフラットディスプレイ等で構成されている。なお、表示部6の表面に、タッチパネルが一体的に構成されていてもよい。この場合には当該タッチパネルも操作部22として機能する。
本実施形態では、印刷装置1内に配置された爪Tを含む指Uを撮影して得た指画像PI(後述する第1の指画像PIt、第2の指画像PIs、図3参照)等を表示部6に表示させる。なお、後述のように本実施形態ではカメラ51により「特定部分」を含む範囲が撮影され、撮影画像PT(後述する第1の撮影画像PTt、第2の撮影画像PTs、図5、図6参照)が取得される。表示部6には、この撮影画像PTが表示されてもよい。また初期状態(第1状態)の「特定部分」を含む範囲を撮影して得た比較用画像PS(後述する第1の比較用画像PSt、第2の比較用画像PSs、図4参照)と撮影画像PTとの比較が目視にて確認できるように、並べて表示されてもよい。
表示部6に表示される内容は、指画像PI等の画像に限定されない。例えば表示部6には、ユーザが操作部22等から入力・選択したネイルデザインやユーザに対する各種の指示、案内、警告等が表示されてもよい。
また本実施形態では、後述するように、判定手段としての制御部11が「特定部分」の状態(本実施形態では汚れ具合)について判定するようになっており、表示部6は、判定結果に応じて、ユーザに対応等を報知する報知手段としても機能する。
筐体2の内部であって、開口部21に対応する位置には、開口部21から挿入された指Uが配置される指配置部3が設けられている。
指配置部3は、指Uが載置される部分である配置部本体31を有している。配置部本体31の幅方向の中央部は長手方向に沿って多少窪んでおり、指Uが安定して配置されるようになっている。なお、配置部本体31には、例えば樹脂等の柔軟性を有する材料で形成されたクッション部材が設けられていてもよい。
指配置部3の手前側(図1におけるY方向の手前側)は枠状部32で囲われており、枠状部32の天面は、指配置部3に配置された指Uの上側が突き当てられ指Uの上方向の位置を規制する指押えとして機能する。
指配置部3の奥側(図1におけるY方向の奥側)は上方が開放されており、開口部21から挿入され指配置部3内に配置された指Uの爪Tの表面が露出するようになっている。
また、指配置部3の奥側には、突当て部33が設けられている。突当て部33には、指配置部3に配置された指Uの先端部が突き当てられる。指Uの先端よりも爪Tが伸びている場合には、爪Tの先端部分が突当て部33に引っ掛けられるようになっており、爪載置部としても機能する。
なお、枠状部32や突当て部33を設けることは必須ではない。枠状部32や突当て部33を備えない構成としてもよい。
また、指Uの配置位置の近傍には、ミラー35が配置されている。本実施形態では、配置部本体31の左側部にミラー35が設けられている。なお、ミラー35の数や配置位置はこれに限定されず、配置部本体31の右側部や指Uの先端側等にもミラーが設けられていてもよい。
ミラー35は、例えば基材にアクリル等を用いた合成樹脂製のものが用いられる。なお、ミラー35の材質等は特に限定されず、例えば基材にガラスを用いたガラス製のミラー等でもよい。
ミラー35は、指配置部3に配置された指Uを後述するカメラ51で撮影する際に、撮影を補助する補助反射部である。具体的には、ミラー35は、カメラ51が直接撮影することのできる一方向(例えば上方向)とは異なる方向(例えば横方向)からの指画像をカメラ51の撮影可能範囲内に収めることが可能な光学素子である。
ミラー35を介してカメラ51が横方向から爪Tを含む指Uを見た画像を取得できることで、爪Tの高さ方向の位置を検出することができる。
指配置部3及びミラー35は、本実施形態における「特定部分」である。「特定部分」である指配置部3及びミラー35は、経時的に状態が変化する。
「特定部分」の状態とは、例えば「特定部分」の汚れ具合である。後述するように、本実施形態では、電子機器である印刷装置1がインクを吐出させて印刷を行う印刷ヘッド41を備えており、印刷時にインク(インクミスト等)が飛散する。
「特定部分」である指配置部3やミラー35の状態は、装置の使用に伴って、このようなインク(印刷対象である爪Tに着弾しなかったインクミスト等)や、装置内に配置される指Uの皮脂、各種の埃等が付着することにより経時的に変化する(なお、図5、図6では、汚れDが付着している様子を点描で示している。)。なお、「特定部分」の状態が経時的に変化する要因はここに示したものに限定されない。例えば、印刷ヘッド41を交換するため等に装置から着脱する際、インクを吐出させる面が指配置部3やミラー35と接触することでインクが付着する場合も想定される。
本実施形態では、指配置部3に配置された爪Tを含む指Uを後述のカメラ51によって撮影し、撮影された画像(後述の指画像PI、図3参照)から印刷対象である爪Tの形状や位置を識別(検出)する。
このため、指配置部3、特に、指Uが載置される配置部本体31やその周辺は、爪T等とのコントラストが明確となるように、黒色等、肌色と識別しやすい色の部材で形成されている(図3~図6参照)。
例えば「特定部分」である指配置部3がインク等によって汚れると、黒色の部材が次第に白っぽくなってコントラストが低下してしまい、爪Tの領域を画する輪郭が識別しにくくなる。
また例えばミラー35がインク等によって汚れると、ミラー35に映し出される画像が不鮮明となり、ミラー35を撮影して得た画像(後述の指画像PI(第2の指画像PIs)、図3参照)から印刷対象である爪Tを識別(検出)することが難しくなる。
そこで、指配置部3やミラー35等の「特定部分」が汚れた場合には、汚れD(図5、図6参照)を除去することが好ましい。
図2は、本実施形態の印刷装置及びこれと連携する端末装置の制御構成を示す要部ブロック図である。
図2に示すように、印刷装置1は前述の操作部22、表示部6を備える他、印刷機構4、撮影部5、通信部25等を備えている。
撮影部5は、カメラ51と、光源52とを備えている。
カメラ51及び光源52の周囲は、例えばアクリル板等の透明な樹脂材料で形成された図示しない保護部材で囲まれており、カメラ51のレンズ等に直接インク(インクミスト)等の汚れが付着しないようになっている。
なお保護部材の形状や設けられる範囲等は特に限定されないが、少なくともカメラ51及び光源52における指配置部3と対向する側に配置されることが好ましい。また、保護部材を形成する材料は、アクリル板に限定されない。保護部材は、カメラ51による撮影、光源52による照明を阻害しないものであればよく、例えばガラス等で形成されていてもよい。
カメラ51は、例えば、200万画素程度以上の画素を有する固体撮影素子とレンズ等を備えて構成された小型の撮影装置であり、印刷装置1内に配置された爪Tを含む指Uや、「特定部分」である指配置部3やミラー35等を撮影して各種の画像を取得する画像取得手段である。また、光源52は、例えば白色LED等の照明灯である。
撮影部5は、指配置部3に載置された指Uや爪Tや「特定部分」等の撮影対象を光源52によって照明する。そして、カメラ51によってその指Uや「特定部分」等を撮影して指画像PI(爪画像を含む指Uの画像、図3参照)、撮影画像PT(「特定部分」を含み、指Uや爪Tを含まない画像、図5,図6参照)等(撮影対象の画像)を得る。
図3は、カメラによって撮影された指画像の一例を示す図である。
本実施形態では、カメラ51は、印刷装置1の上面内側等に配置されており、図3に示すように、上方向から指Uを見たときの指画像PI(上面画像、第1の指画像PIt、図3の右側参照)を取得可能となっている。
またカメラ51は、補助反射部であるミラー35を介して撮影可能範囲内に収められる指画像PI(本実施形態では横方向から指Uを見たときの指画像、側面画像、第2の指画像PIs、図3の左側参照)を取得可能に構成されている。
このように、カメラ51の配置位置から直接得られる画像の他、ミラー35を介した画像を撮影可能とすることにより、カメラ51自体の位置や角度を変えることなく、一方向(本実施形態では上方向)からの撮影で複数の方向から指Uを見たときの指画像を取得することが可能となる。なお、撮影自体は1回で行われてもよいし、例えば光源52の照度やフォーカス等を変えて複数回に分けて行われてもよい。
第1の指画像PIt(上面画像)と第2の指画像PIs(側面画像)とを1つの画像に含むような画像データが得られる場合には、例えば図3に示すように、第1の指画像PIt(上面画像)と第2の指画像PIs(側面画像)とを並べて1枚の画像として表示部6等に表示させてもよい。
また、1つの画像から第1の指画像PIt(上面画像)と第2の指画像PIs(側面画像)とをそれぞれ切り出して、表示部6等に別個に表示させてもよい。さらに、第1の指画像PIt(上面画像)と第2の指画像PIs(側面画像)とを、それぞれ別画像として取得し、表示部6にそれぞれ別個に表示させるようにしてもよい。
また、本実施形態では、図5及び図6に示すように、爪Tを含む指Uが配置されていない状態で、撮影部5が指配置部3やその周辺を撮影して「特定部分」を含む撮影画像PTを取得するようになっている。すなわち、上方向から指配置部3の周辺を見た撮影画像PT(上面画像、第1の撮影画像PTt、図5,図6の右側参照)と、ミラー35を介して横方向から指配置部3の周辺を見た撮影画像PT(側面画像、第2の撮影画像PTs、図5,図6の左側参照)とが取得可能となっている。
撮影画像PTは「特定部分」の汚れ具合の判定(診断)を行うのに必要な画像である。撮影画像PTを取得するタイミングとしては、例えば各日の使用開始時(例えば電源がONとなったとき)や、印刷装置1を使用するユーザが切り替わったとき、印刷装置1が一定の累積使用時間を超えた場合等が考えられる。
なお、撮影部5によって得られた指画像PI、撮影画像PT等の画像データは、後述する記憶部12に記憶されてもよい。
なお、本実施形態では、撮影部5のカメラ51により、第1状態の「特定部分」を含む範囲を撮影して得た比較用画像PS(上方向から指配置部3の周辺を見た比較用画像PSである第1の比較用画像PStと、横方向から指配置部3の周辺を見た比較用画像PSである第2の比較用画像PSs、図4参照)が、後述の記憶部12等に記憶されている。
ここで「第1状態」とは、例えば、印刷装置1の工場出荷時における初期状態等、ユーザによる装置使用前の状態である。比較用画像PSは、例えば工場出荷前の段階で取得され、記憶部12等に記憶される。
なお、比較用画像PSは、指配置部3等の「特定部分」に汚れDが付着していない状態の画像であればよく、第1状態の「特定部分」を含む範囲を撮影して比較用画像PSを取得するタイミングは工場出荷段階(工場出荷前、工場出荷時)に限定されない。例えば印刷装置1がユーザの手元に届いた後、印刷動作が行われる前等に比較用画像PSを取得してもよい。
比較用画像PSは、撮影画像PTと比較するものであるため、撮影画像PTが撮影される際の条件と同等の条件(例えば照度や撮影を行う際の角度等)の下で撮影されることが好ましい。
印刷機構4は、図2に示すように、印刷ヘッド41と、ヘッド移動手段としてのX方向移動モータ45、Y方向移動モータ47(図2参照)等を備えている。
本実施形態の印刷ヘッド41は、爪表面に対向する面(下側の面)が、インクを吐出させる複数のノズル口を備えたインク吐出面(いずれも図示せず)となっており、インクを微滴化し、インク吐出面から爪表面に直接にインクを吹き付けて(吐出させて)印刷を行うインクジェット方式の印刷手段である。なお、具体的なインクの吐出方式等は特に限定されない。また印刷ヘッド41の構成は特に限定されないが、例えばインク吐出面等の吐出機構部とインクを貯留するインクカートリッジとが一体となったカートリッジ一体型のヘッドである。
印刷ヘッド41は、例えば、シアン(C;CYAN)、マゼンタ(M;MAGENTA)、イエロー(Y;YELLOW)等の色インクを吐出可能となっている。なお、印刷ヘッド41の種類や数は特に限定はされない。例えば上記のような色インクを吐出する印刷ヘッドの他に、デザインを印刷する前に下地となる液剤(例えば白色のインク等)を印刷する下地用の印刷ヘッド等を備えていてもよい。
X方向移動モータ45は、印刷ヘッド41を装置の左右方向(X方向)に移動させるX方向移動機構を構成し、Y方向移動モータ47は、印刷ヘッド41を装置の前後方向(Y方向)に移動させる方向移動機構を構成する。X方向移動モータ45、Y方向移動モータ47は、例えばステッピングモータであり、適宜印刷ヘッド41をXY方向に移動させる。
また、印刷機構4は、印刷ヘッド41の位置を検出するための位置検出センサ48を有している。位置検出センサ48は、例えば印刷ヘッド41のX方向,Y方向の原点位置を検出する原点センサ、印刷ヘッド41の移動状況を把握するエンコーダセンサ等である。
なお、位置検出センサ48の具体的な種類や構成は、特に限定されない。
また本実施形態では、爪Tに印刷するデザイン(ネイルデザイン)のデータ等を印刷装置1が外部機器を介して取得するようになっており、印刷装置1は、外部機器との間で情報の送受信を行う通信部25を有している。ここで外部機器とは、例えば後述の端末装置8や各種サーバ等である。
印刷装置1と外部機器との間での通信は、例えば無線LAN等により行われる。なお、印刷装置1と外部機器との間での通信はこれに限定されず、いかなる方式によるものでもよい。例えば、インターネット等のネットワーク回線を使うものであってもよいし、Bluetooth(登録商標)やWi-Fi等の近距離無線通信規格に基づく無線通信を行うものであってもよい。また、この通信は無線接続方式に限定されず、有線接続により両者間で各種データの送受信が可能な構成としてもよい。通信部25は通信することが想定される各種外部機器の通信方式、通信規格に対応するアンテナチップ等を備えている。
印刷装置1に搭載される制御装置10は、図示しないCPU(Central Processing Unit)等のプロセッサを有する制御部11と、ROM(Read Only Memory)及びRAM(Random Access Memory)等(いずれも図示せず)を有する記憶部12(いずれも図示せず)とを備えるコンピュータである。
記憶部12のROM等には、印刷装置1を動作させるための各種プログラムや各種データ等が格納されている。
特に本実施形態では、工場出荷時等に撮影された比較用画像PS(上方向から指配置部3の周辺を見た比較用画像PSである第1の比較用画像PStと、横方向から指配置部3の周辺を見た比較用画像PSである第2の比較用画像PSs、図4参照)のデータが、記憶部12のうち、電源をOFFしてもリセットされない不揮発性のメモリに記憶されている。
ROM等に格納された各種プログラムを制御部11がRAMの作業領域に展開して実行することによって、印刷装置1の各部の動作を統合的に制御する。
すなわち、制御部11はプログラム(例えば印刷処理アプリケーションプログラム、判定処理アプリケーションプログラム等)との協働により、印刷装置1が印刷や本実施形態における判定処理等を行うための各種機能を実現する。
なお、制御部11の各機能は、制御部11がプログラム(ソフトウェア)を実行することにより実現されてもよいし、専用のモジュール(ハードウェア)によって実現されていてもよい。
本実施形態において制御部11は、主として印刷機構4各部の動作を制御する印刷制御手段、撮影部5各部の動作を制御する撮影制御手段、表示部6の動作を制御する表示制御手段等として機能する他、画像から「特定部分」の状態(汚れ具合等)を判定する判定手段として機能する。
印刷制御手段としての制御部11は、印刷機構4の印刷ヘッド41及び各モータ(X方向移動モータ45,Y方向移動モータ47)等を動作させ、指配置部3に配置された指Uの爪Tに印刷データにしたがって各種のデザイン(ネイルデザイン)を印刷させる。なお、印刷データは、制御部11において生成してもよいし、通信部25を介して端末装置8等の外部装置から受信してもよい。
表示制御手段としての制御部11は、表示部6の動作を制御して、各種の画像データにしたがった表示を行わせる。
また、表示制御手段としての制御部11は、判定手段としての制御部11による判定結果に応じて、各種のメッセージや警告等を表示部6に表示させるようになっており、表示部6を判定結果に応じた対応をユーザに報知する報知手段として機能させる。
また、撮影制御手段としての制御部11は、撮影部5のカメラ51及び光源52の動作を制御して、指画像PI、撮影画像PT等を取得させる。
なお、指配置部3やミラー35等の「特定部分」に付着した各種の汚れD(図5、図6参照)は、照度が高い方が見えやすくなるもの、多少照度を落とした方が見えやすくなるもの等、様々な見え方、照り返しの仕方をするものが想定される。このため、撮影制御手段としての制御部11は、撮影画像PTを撮影する際、各汚れDに応じた最適な撮影条件で画像を取得できるように、光源52の照明照度(照度具合)等の撮影条件を変えて複数回の撮影を行うように、撮影部5を制御する。
判定手段としての制御部11は、第1状態(初期状態)の「特定部分」を含む範囲を撮影して得た比較用画像PS(第1の比較用画像PSt,第2の比較用画像PSs)と、「特定部分」を含む撮影画像PT(指Uが配置されていない状態の指配置部3周辺の現状を撮影した画像、第1の撮影画像PTt及び第2の撮影画像PTs)とを比較することにより、「特定部分」の状態(本実施形態では汚れ具合)を判定する。
判定手段としての制御部11による「特定部分」の汚れ具合の判定手法は特に限定されないが、例えば、現状の画像である撮影画像PT(第1の撮影画像PTt,第2の撮影画像PTs)と、正常状態(使用により汚れる前のきれいな状態)の画像である比較用画像PS(第1の比較用画像PSt,第2の比較用画像PSs)とを比較して、その差分を評価する差分法(比較法)を用いる。
なお、指配置部3やミラー35等の「特定部分」ごとに最適な画像処理条件等が異なることが考えられる。このため、制御部11は各「特定部分」を画像から切り取って同じ部分同士で比較することが好ましい。
差分法(比較法)の具体的な処理手法は特に限定されないが、例えば比較用画像PSと撮影画像PTとを重ね合わせて得られた階調差の差分画像を出力する差分フィルタを用いて、撮影画像PTのうち、第1状態(初期状態)状態の画像である比較用画像PSから変化した箇所を抽出する。
例えば、比較用画像PS及び撮影画像PTのRGBの各値を1ドットずつ比較していき、階調差(RGB各色の濃さや明るさの差)のあるドットの差分を抽出する。なお、図4~図6では、図示の都合上、画像同士を比較する際の最小単位(例えば1ピクセル、1ドット等)を方眼(マス目)で模式的に示しているが、実際の比較対象はさらに細かいマス目単位となっている。
このようにして比較用画像PSと撮影画像PTとの差分を抽出することで、第1状態(初期状態)から変化した箇所を識別することができる。
本実施形態では、予め汚れ具合を判定するための閾値が定められており、判定手段としての制御部11は、この閾値に基づいて「特定部分」の状態を判断する。
すなわち、例えば、画像全体(総面積、総ドット)のうち、差分が検出された領域の面積が、閾値を超えるような、ある一定以上の面積値になった場合に、制御部11は清掃(クリーニング)が必要な程度の汚れ具合であると判定する。
なお、判定手段としての制御部11による汚れ具合の判定基準は、差分が検出された面積の大小に限定されない。例えば差分の大きさ(すなわち、汚れの濃さ)等を判断基準としてもよいし、面積の大きさと差分の大きさの双方を考慮して汚れ具合の判定を行ってもよい。
なお、どの程度の面積値、差分の大きさとなったときに清掃が必要と判断するかの閾値は適宜設定される。また、閾値は、指配置部3周辺を撮影した第1の撮影画像PTtと、ミラー35を撮影した第2の撮影画像PTsとで異なる値が設定されていてもよい。
その他、制御部11は、指画像PIについて画像処理を行うことで、指画像PIから指配置部3に配置された指Uの爪Tの領域を画する爪輪郭を検出し、この爪輪郭の内側領域に所望のデザイン(ネイルデザイン)を合わせ込む等により印刷データを生成する印刷データ生成手段としても機能してもよい。この場合、爪の湾曲形状等に応じて印刷データに各種の補正を行ってもよい。
具体的には、制御部11は、ユーザによって選択されたデザイン(ネイルデザイン)の画像データを切り出し、適宜拡大縮小、配置の調整等を行うとともに、指画像から取得された爪輪郭内にフィッティングする。
なお、爪Tの曲率等の情報が取得された場合には、制御部11は、この爪Tの曲率等に基づいて、印刷データに適宜曲面補正等を行ってもよい。曲面補正等を行った場合には、より爪の形状に合った印刷データを生成することができる。
また本実施形態の印刷装置1は、外部機器としての端末装置8と連携するようになっている。
本実施形態において端末装置8は、例えばスマートフォンやタブレット端末等の携帯端末装置が想定される。なお、端末装置8は、印刷装置1と通信可能なものであればよく、スマートフォン等に限定されない。例えばゲーム用の端末装置等であってもよい。
図2に示すように、端末装置8は、操作部83、通信部84、表示部85、制御装置80等を備えている。
操作部83は、ユーザの操作に応じて各種の入力・設定等を行うことができるようになっており、操作部83が操作されると、当該操作に対応する入力信号が制御装置80に送信される。なお、本実施形態では表示部85の表面にタッチパネルが一体的に設けられており、ユーザはタッチパネルへのタッチ操作によっても各種の入力・設定等の操作を行うことができるようになっている。
なお、各種の入力・設定等の操作を行う操作部83はタッチパネルである場合に限定されない。例えば各種の操作ボタンやキーボード、ポインティングデバイス等が操作部83として設けられていてもよい。
また端末装置8の操作部83を操作することで、印刷装置1において各種の入力・設定等が行われてもよい。例えばユーザが操作部83を操作することで、印刷装置1の印刷動作をスタートさせることができてもよい。
通信部84は、印刷装置1の通信部25との間で通信を行う通信手段である。例えば通信部84は、印刷装置1内に配置された爪を含む指をカメラ51によって撮影して得られた、指画像PIや撮影画像PTのデータ等を印刷装置1から受信する。
通信部84は、印刷装置1の通信部25との間で通信可能な無線通信モジュール等を備えている。
なお、通信部84は、印刷装置1との間で通信を行うことのできるものであればよく、印刷装置1の通信部25の通信規格と合致するものが適用される。
表示部85は、例えば液晶ディスプレイ(LCD:Liquid Crystal Display)、有機エレクトロルミネッセンスディスプレイその他のフラットディスプレイ等で構成されている。
表示部85は、制御部81の制御にしたがって、例えば各種画像データに基づく画像や、ユーザに対するメッセージ画面、各種の案内画面、警告表示画面等を表示可能となっている。
ユーザに対するメッセージ画面、警告表示画面等は、印刷装置1の表示部6に表示されるとともに、又は表示部6に表示されるのに代えて、端末装置8の表示部85に表示させてもよい。
例えば、判定手段としての制御部11が汚れ具合について判定した場合に、この判定結果に応じて、ユーザに対応を報知する報知画面が端末装置8の表示部85に表示されてもよい。この場合には、端末装置8の表示部85が報知手段として機能する。
なお、前述のように、表示部85の表面に各種の入力を行うためのタッチパネルが一体的に構成されていてもよい。この場合にはタッチパネルが操作部83としても機能する。
制御装置80は、図示しないCPU(Central Processing Unit)等により構成される制御部81と、図示しないROM(Read Only Memory)及びRAM(Random Access Memory)等で構成される記憶部82とを備えるコンピュータである。
記憶部82には、端末装置8の各部を動作させるための各種プログラムや各種データ等が格納されている。
具体的には、本実施形態のROM等には、端末装置8の各部を統括制御するための動作プログラムの他、印刷装置1を用いた印刷処理を行うための印刷処理アプリケーションプログラム、表示制御処理アプリケーションプログラム等の各種プログラム(いずれも図示せず)等が格納されており、制御装置80がこれらのプログラムを例えばRAMの作業領域に展開して実行することによって、端末装置8が制御されるようになっている。
また記憶部82には、印刷装置1において爪Tに印刷されるデザイン(ネイルデザイン)のデータが記憶されていてもよい。
制御部81は、端末装置8の各部の動作を統合的に制御する。制御部81は、記憶部82に記憶されたプログラム(印刷処理アプリケーションプログラム等)との協働により、印刷装置1による印刷処理や表示部85に表示用画像等を表示させる処理等を行うための各種機能を実現する。
次に、図7等を参照しつつ、本実施形態の判定方法について説明する。
図7は、本実施形態における判定処理を示すフローチャートである。
本実施形態では、前述のように、1日の印刷動作開始前や電源投入時、印刷装置1を使用するユーザが切り替わったとき、1日の印刷動作が終了した際等に、指配置部3やミラー35等の「特定部分」の状態(汚れ具合)を判定する判定処理が行われる。
具体的には、まず、撮影部5のカメラ51によって「特定部分」である指配置部3の周辺(指Uが配置されていない状態の指配置部3周辺)を撮影し、撮影画像PT(第1の撮影画像PTt,第2の撮影画像PTs)を取得する(ステップS1、画像取得工程)。
撮影画像PTは、光源52の照度度合い等の撮影条件を変えながら数回の撮影を行い、異なる条件で撮影された複数の撮影画像PTを得ることが好ましい。どのような条件で何回の撮影を行うか等は適宜設定される。撮影された撮影画像PTは、制御部11に取得される。
撮影画像PTが取得されると、判定手段としての制御部11は、記憶部12から比較用画像PS(第1の比較用画像PSt,第2の比較用画像PSs)を読み出し、この比較用画像PSと撮影画像PTとを、その対応部分ごとに比較して、その差分を求める(ステップS2、判定工程)。
条件を変えて複数回の撮影が行われた場合には、取得されたすべての撮影画像PTについて比較用画像PSとの比較が行われる。
具体的には、各撮影画像PTについて、上方向から見た第1の撮影画像PTtについては、同じ方向から見た第1の比較用画像PStと比較し、横方向から見た第2の撮影画像PTsについては、同じ方向から見た第2の比較用画像PSsと比較する。
そして、制御部11は、第1の撮影画像PTt、第2の撮影画像PTsについて、それぞれ第1の比較用画像PSt、第2の比較用画像PSsとの比較で差分が検出されたドットの総面積等を取得する。
制御部11は、比較用画像PSとの比較において撮影画像PTに閾値以上の変化があるか否か、すなわち、比較用画像PSと比較して、差分が生じているドット数が、予め定めた閾値よりも多いか否かを判断する(ステップS3)。そして、閾値以上の変化がない場合(ステップS3;NO)には、ここで判定処理を終了し、待機モードに移行する(ステップS4)。具体的には、このあと印刷動作指示があれば印刷機構4による印刷動作を開始し、電源がOFFされた場合にはこの状態ですべての動作を停止させる。
例えば、各撮影画像PT(第1の撮影画像PTt,第2の撮影画像PTs)が、図5に示すように、わずかに汚れている程度である場合には、差分が検出されるドットの総面積も少なく、閾値を超えない(ステップS3;NO)。この場合には、ユーザに清掃を促すほどではなく、このまま印刷装置1の使用を続行できる。
他方、撮影画像PTに閾値以上の変化がある場合(ステップS3;YES)には、制御部11は、「特定部分」である指配置部3やその周辺が汚れていると判定し(ステップS5)、ユーザに対して清掃(クリーニング)を促すメッセージを印刷装置1の表示部6に表示させ、判定結果に応じた対応をユーザに報知する(ステップS6)。なお、このとき端末装置の表示部85にも同様の表示をしてもよい。
例えば、各撮影画像PT(第1の撮影画像PTt,第2の撮影画像PTs)が、図6に示すように、本来黒い部材である指配置部3の周辺がインクで白くなっている場合(図6の「第1の撮影画像PTt」参照)や、指配置部3の周辺が不明瞭にしか映らないほどミラー35が汚れている場合(図6の「第2の撮影画像PTs」参照)には、このままの状態で指画像PIを撮影しても、指画像PIから正しく爪輪郭を検出することができない可能性がある。また、このような状態の指配置部3にユーザが指Uを配置すると、指Uや爪Tにインク等が付着して汚れてしまうおそれもある。このような場合には、ユーザに清掃を促すべき汚れ具合であり、差分が検出されるドットの総面積も多くなる。
なお本実施形態では、指配置部3の周辺を上方向から見た第1の撮影画像PTtと横方向から見た第2の撮影画像PTsについてそれぞれ閾値以上の変化があるか否かを判定している。第1の撮影画像PTtに変化がある場合には、指配置部3及びその周辺自体が汚れていることが考えられる。これに対して、第2の撮影画像PTsに変化がある場合には、指配置部3の側面を映しているミラー35が汚れていることが考えられる。
本実施形態において制御部11は、第1の撮影画像PTtに現れる指配置部3等の汚れD、第2の撮影画像PTsに現れるミラー35の汚れDのいずれか一方でもあれば、「特定部分」である指配置部3の周辺が汚れていると判定する。
なお、第1の撮影画像PTt、第2の撮影画像PTsのどちらがどの程度閾値を超えているかについても表示部6等に表示させてもよい。
例えば第1の撮影画像PTtはそれほど閾値を超えていないが、第2の撮影画像PTsは大きく閾値を超えている場合、特にミラー35が汚れている旨をユーザに報知してもよい。このようにすることで、ユーザは特にどこを清掃する必要があるかを知ることができる。
ユーザが報知された内容に応じて清掃を行うと、操作部22等から清掃が完了した旨の入力を行う。例えば、タッチパネル等に「清掃完了ボタン」を設けておき、ユーザは清掃を行ったらこの「清掃完了ボタン」を操作する。
清掃が完了した旨の入力操作(例えば「清掃完了ボタン」の操作)が行われると、入力に応じた信号が制御部11に出力される。
制御部11は、清掃が完了した旨の入力があったか否かを判断し(ステップS7)、入力が確認されない場合(ステップS7;NO)には、ステップS6に戻ってメッセージの表示処理を繰り返す。
他方、清掃が完了した旨の入力があった場合(ステップS7;YES)には、撮影部5のカメラ51によって「特定部分」である指配置部3の周辺を再度撮影し、撮影画像PT(第1の撮影画像PTt,第2の撮影画像PTs)を取得する(ステップS8)。
判定手段としての制御部11は、現状を撮影した撮影画像PTが取得されると、記憶部12から比較用画像PS(第1の比較用画像PSt,第2の比較用画像PSs)を読み出し、この比較用画像PSと撮影画像PTとを再度比較して、その差分を求める(ステップS9)。
そして、制御部11は、撮影画像PTに生じていた閾値以上の変化が解消された否かを判断する(ステップS10)。
ユーザによる清掃が正しく行われていれば、「特定部分」である指配置部3の周辺の汚れDは取り除かれるはずであり、比較用画像PSに対する差分は解消される。撮影画像PTに生じていた閾値以上の変化が解消されている場合(ステップS10;YES)には、ステップS4に進み、判定処理を終了する。
一方、撮影画像PTに生じていた閾値以上の変化がなお解消されていない場合(ステップS10;NO)には、制御部11は、清掃の回数(ステップS7からステップS10をループした回数)を「n」としたとき、「n」が3回よりも少ないか否かを判断する(ステップS11)。
本実施形態では、閾値以上の変化が解消されるまでユーザによる清掃と汚れ具合の判定を繰り返すようになっており、何回この判定が繰り返されたかを記憶するようになっている。
「n」が1回又は2回である場合(ステップS11;YES)には、撮影部5も汚れている可能性がある旨を表示部6等に表示させてユーザに報知した上で(ステップS12)、ユーザに清掃を促すメッセージを表示部6等に表示させ(ステップS6)、以降の処理を繰り返す。
ユーザが指配置部3等を清掃したにもかかわらず、閾値以上の変化が解消されない場合(汚れDが残っている状態の場合)には、清掃対象ではなかった撮影部5に原因がある可能性がある。このため、ユーザに撮影部5が汚れている可能性を示して、さらに清掃を促す表示を行う。
他方、「n」が3回以上である場合(ステップS11;NO)には、対処法に関する説明や参照すべき取扱説明書の説明ページ等を示すメッセージ等を表示部6に表示させるとともに(ステップS13)、撮影部5も汚れている可能性がある旨を表示部6等に表示させてユーザに報知し(ステップS12)、ユーザに清掃を促すメッセージを表示部6等に表示させて(ステップS6)、以降の処理を繰り返す。
撮影部5が汚れている可能性も示した上で3回以上清掃を繰り返しても閾値以上の汚れDが残っている場合には、ユーザによる清掃の仕方が誤っている場合や、ミラー35等が割れて傷ついている場合のように、清掃を行っても解消されない状態となっていることが想定される。
このため、例えば正しい清掃の仕方や、ミラー35の交換方法等、清掃以外の対処法をユーザに対して提案し、さらにユーザに対応を求める報知を行う。
なお、任意の回数(例えば6回等)繰り返しても状況が改善されない場合には、例えばサービス部門への連絡先等を示して処理を中止する等の設定となっていてもよい。
指配置部3やミラー35等の「特定部分」が汚れている状態のまま、印刷動作が行われると、指画像PIを撮影しても正しく爪輪郭が認識されず、適切なネイルプリントを行うことができない可能性がある。この点、本実施形態のように、「特定部分」の状態を判定して、必要に応じてユーザに対応を求めることで、指配置部3やミラー35等の「特定部分」が汚れDのない適切な状態に保たれ、印刷対象である爪Tの識別精度の低下を抑制することができる。
また、指配置部3等、指Uが配置される部分やその周辺にインクが付着していると、次に使用する際にユーザの指Uや爪Tにインクが付着して指U等を汚してしまうおそれもある。本実施形態のように、指配置部3等の汚れ具合を把握して清掃を促すようにすれば、指U等が汚れるのを回避することもできる。
以上のように、本実施形態の電子機器である印刷装置1は、印刷対象である爪及び経時的に状態が変化する「特定部分」(例えば指配置部3やミラー35等)を含む撮影画像PTを取得する画像取得手段としてのカメラ51と、第1状態(初期状態)の「特定部分」を含む範囲を撮影して得た比較用画像PSと、撮影画像PTとを比較することにより、「特定部分」の状態を判定する判定手段としての制御部11と、を備えている。
爪T等の印刷対象に印刷を行う印刷装置1は、印刷対象(爪T)の範囲や形状、位置等を正確に把握するために、印刷対象(爪T)を撮影するカメラ51を有し、指画像PIを取得して印刷対象(爪T)の認識を行うようになっている。
指画像PIから正確に爪Tの領域を認識するためには、指Uや爪Tに対してコントラストに優れた指配置部3に指や爪を配置して爪Tの上面画像(第1の指画像PIt)を取得するとともに、ミラー35を介して爪Tの側面画像(第2の指画像PIs)を取得し、爪Tの高さ方向の位置も正確に把握することが必要である。
この点、指配置部3にインクが付着したり、指Uの皮脂等が付着すると、本来黒色の背景であるべき指配置部3が白っぽくなり、指Uや爪Tとのコントラストが悪くなる(図6の第1の撮影画像PTt参照)。また汚れDの付き方によっては汚れDの部分までが爪Tと認識されてしまうおそれもある。この状態で指画像PI(第1の指画像PIt、図3参照)が撮影されると、爪輪郭について誤認識を生じるおそれがある。また、ミラー35にインクが付着したり、指Uの皮脂等が付着すると、ミラー35が曇ってしまい(図6の第1の撮影画像PTt参照)、鮮明な画像を映すことができなくなる。この場合にも、この状態で指画像PI(第2の指画像PIs、図3参照)が撮影されると、誤認識を生じるおそれがある。
本実施形態では、使用前の第1状態(初期状態)を撮影した比較用画像PSと「特定部分」の現状を撮影した撮影画像PTとを比較して、その変化(汚れ具合)を判定する。このため、爪T等の認識精度が低下する状態を事前に適切に把握することができる。そしてこのような変化(汚れ具合)の判定を制御部11による画像の比較処理により行うため、ユーザ等が目視で汚れD等の有無を判断する場合と比べて、正確な判断を行うことができる。
また指配置部3等が汚れたまま使用を続けるのを防いで、指U等が汚れるのを回避することもできる。
さらに本実施形態では、印刷装置1が本来有しているカメラ51によって取得された画像に基づいて判定処理を行うため、新たな装置構成を追加する必要がなく、簡易に爪T等の認識精度の低下を防ぐことができる。
また本実施形態によれば、「特定部分」は、印刷対象である爪Tに対応する指Uを配置する指配置部3及び指配置部3に配置された指U及び爪Tの撮影を補助する補助反射部としてのミラー35を含んでいる。
指配置部3やミラー35が汚れていると、指画像PIから正しく爪Tの輪郭等を認識でない可能性が高くなる。
この点、「特定部分」として指配置部3やミラー35の状態の変化具合(汚れ具合)を見ることができるため、印刷対象である爪Tの認識精度の低下を抑えることができる。
また本実施形態によれば、「特定部分」の状態は、「特定部分」の汚れ具合である。
「特定部分」が使用に伴って経時的に汚れていく場合に、この汚れ具合を判定できるようにすることで、爪T等の認識精度が低下する状態を事前に把握することができる。
また本実施形態によれば、判定手段である制御部11は、予め定められた閾値に基づいて「特定部分」の状態を判断する。
これにより、客観的に状態(汚れ具合、程度)を判断することができ、適切に対応することができる。
また本実施形態によれば、判定手段である制御部11による判定結果に応じて、ユーザに対応を報知する報知手段をさらに備えている。
具体的には、表示部6や端末装置の表示部85に、「特定部分」の汚れ具合や、対処の仕方等を表示させる等により、ユーザによる清掃等の対処を求める。
これにより、「特定部分」の汚れ具合がひどい場合(例えば閾値を超える場合)には、清掃等を行うことができ、爪Tの認識に影響のある状態を解消することができる。このため、爪T等の認識精度が低下する状態を事前に把握することができる。
また本実施形態によれば、インクを吐出させて印刷を行う印刷手段を備え、「特定部分」の状態は、インクが付着することにより経時的に変化する。
インクを吐出させて印刷を行う場合には、印刷時等にインク(インクミスト)が飛散して爪Tの周辺にある物(例えば指配置部3等)に付着するおそれがある。
このようなインク汚れのある状態で爪認識や印刷を行うと、爪Tの輪郭を誤認識したり、インクで指Uや爪Tを汚してしまうおそれもある。
この点、本実施形態では、このようなインク汚れによる指配置部3等の経時変化を把握して、対処することができる。このため、爪T等の認識精度が低下するのを抑え、インクにより指U等が汚れることも防ぐことができる。
なお、以上本発明の実施形態について説明したが、本発明は、かかる実施形態に限定されず、その要旨を逸脱しない範囲で、種々変形が可能であることは言うまでもない。
例えば、本実施形態では、「特定部分」が指配置部3やミラー35等である場合を例示したが、「特定部分」はこれに限定されない。
指Uや爪Tが配置される周辺部分であれば、広く「特定部分」に含めることができる。
また、本実施形態では、「特定部分」の状態が、「特定部分」の汚れ具合である場合を例示したが、「特定部分」の状態は、汚れ具合に限定されない。
例えば、ミラー35の割れや欠け、各種要因による変形等が生じている場合にも、正常な爪認識を妨げる可能性がある。これらの場合も「特定部分」の状態の変化として判定されてもよい。
また、本実施形態では、「特定部分」の状態が一定の閾値以上変化した場合に表示部6(又は表示部85)に表示させることでユーザに報知するとしたが、報知手段は、表示部6(又は表示部85)に限定されない。
例えば、印刷装置1や端末装置8に音声出力部を備える場合には、アラート音の出力や、メッセージ等の音声案内によってユーザに報知してもよい。また、ランプの点灯等によって清掃等の対応が必要であることを報知してもよい。
これらの場合、音声出力部やランプ等が報知手段となる。
また実施形態では、ユーザに対して清掃するよう促したのち、清掃完了の入力があったときには、工場出荷時等に撮影された比較用画像PSを現状の撮影画像PTと比較する場合を例示したが、撮影画像PTと比較する対象の画像は、工場出荷時等に撮影された比較用画像PSに限定されない。
例えばユーザにより「特定部分」の清掃が行われ、清掃が完了した旨の入力が行われた場合には、再度現状の「特定部分」の状態を確認するための撮影画像PTを撮影し、この撮影画像PTと、清掃前の撮影画像PTとを比較してもよい。清掃前の撮影画像PTと比較することで、清掃によってどの分の汚れDが解消され、どの分の汚れDが残っているのかを比較することができる。このような比較画像を表示部6等に表示させれば、ユーザがどこを清掃するのか判断しやすくなる。
また、本実施形態では、補助反射部がミラー35である場合を例示したが、補助反射部はミラーに限定されない。補助反射部は、カメラ51が直接取得することのできる、一方向から指Uを見たときの指画像とは別に、一方向とは異なる方向から指Uを見たときの指画像をカメラ51に取得させることのできる手段であればよく、例えばプリズム等、各種の光学素子であってもよい。
また、本実施形態では、印刷装置1が単体として動作するものである場合を例示したが、印刷装置1は端末装置8等、各種外部機器と連携して判定処理や印刷処理等を行ってもよい。
例えば、印刷装置1における判定処理の開始指示や印刷処理の開始指示の入力、ネイルデザイン(デザイン)の選択等を端末装置8の操作部83等から行ってもよい。
また、印刷データの生成等の画像処理等、各種のデータ処理を用いた処理を端末装置8等の外部機器で行ってもよい。この場合には、印刷装置1のカメラ51で撮影された指画像PI等が端末装置8側に送信される。
さらに、本実施形態における判定処理についても端末装置8等の外部装置で行ってもよい。この場合には例えば端末装置8の記憶部82に判定処理を行うためのプログラム等を格納しておき、端末装置8の制御部81が、このプログラムと協働することで、判定手段として機能する。
この場合、印刷装置1のカメラ51で撮影された撮影画像PT、比較用画像PSのデータが端末装置8側に送信され、これらのデータに基づいて、端末装置8側の制御部81が判定処理を行う。なお、比較用画像PSのデータについては、端末装置8側の記憶部82に予め記憶されていてもよい。
このように、端末装置8等の外部装置に各種の処理を担当させた場合には、印刷装置1の制御部11をより簡易な構成で実現することができる。
またネイルデザインのデータは印刷装置1の記憶部12に記憶されていなくてもよく、例えば端末装置8等の各種外部機器の記憶部に保存されているものを利用できてもよい。
また、ネットワーク回線等を介して接続可能なサーバ装置等にネイルデザインの画像データを記憶させておき、サーバ装置等にアクセスしてネイルデザインのデータを参照可能に構成してもよい。
このようにすることで、記憶部12等の容量を大きくしなくても、より多くのネイルデザインの中から印刷するデザインを選択することが可能となる。
以上本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
<請求項1>
印刷対象である爪を含む指画像及び経時的に状態が変化する特定部分を含む撮影画像を取得する画像取得手段と、
第1状態の前記特定部分を含む範囲を撮影して得た比較用画像と、前記撮影画像とを比較することにより、前記特定部分の状態を判定する判定手段と、
を備えることを特徴とする電子機器。
<請求項2>
前記特定部分は、前記爪に対応する指を配置する指配置部及び前記指配置部に配置された指の撮影を補助する補助反射部のうち少なくとも一部を含んでいることを特徴とする請求項1に記載の電子機器。
<請求項3>
前記特定部分の状態は、前記特定部分の汚れ具合であることを特徴とする請求項1又は請求項2に記載の電子機器。
<請求項4>
前記判定手段は、予め定められた閾値に基づいて前記特定部分の状態を判断することを特徴とする請求項1から請求項3のいずれか一項に記載の電子機器。
<請求項5>
前記判定手段による判定結果に応じて、ユーザに対応を報知する報知手段をさらに備えていることを特徴とする請求項1から請求項4のいずれか一項に記載の電子機器。
<請求項6>
インクを吐出させて印刷を行う印刷手段を備え、
前記特定部分の状態は、前記インクが付着することにより経時的に変化することを特徴とする請求項1から請求項5のいずれか一項に記載の電子機器。
<請求項7>
印刷対象である爪を含む指画像及び経時的に状態が変化する特定部分を含む撮影画像を取得する画像取得工程と、
第1状態の前記特定部分を含む範囲を撮影して得た比較用画像と、前記撮影画像とを比較することにより、前記特定部分の状態を判定する判定工程と、
を含むことを特徴とする判定方法。
<請求項8>
コンピュータに、
印刷対象である爪を含む指画像及び経時的に状態が変化する特定部分を含む撮影画像を取得する画像取得機能と、
第1状態の前記特定部分を含む範囲を撮影して得た比較用画像と、前記撮影画像とを比較することにより、前記特定部分の状態を判定する判定機能と、
を実現させることを特徴とするプログラム。
1 印刷装置
2 筐体
11 制御部
12 記憶部
3 指配置部
35 ミラー
4 印刷機構
41 印刷ヘッド
5 撮影部
51 カメラ
6 表示部
8 端末装置

Claims (7)

  1. 印刷対象である爪と、前記爪の指を配置する配置台を含む像を反射可能な補助反射部と、
    前記配置台及び前記補助反射部を含む特定部分を前記配置台に前記爪を含む前記指が配置されていない状態で撮影した第1の撮影画像を取得するとともに、前記第1の撮影画像の撮影方向とは異なる方向から前記補助反射部を介して前記配置台を前記配置台に前記爪を含む前記指が配置されていない状態で撮影した第2の撮影画像を取得する画像取得手段と、
    第1状態の前記特定部分を含む範囲を撮影して得た比較用画像と、前記第1の撮影画像及び前記第2の撮影画像のそれぞれと、を比較することにより、前記特定部分のうちの前記配置台及び/又は前記補助反射部が経時的に変化しているかを判定する判定手段と、
    を備えることを特徴とする電子機器。
  2. 前記判定手段は、予め定められた閾値に基づいて前記特定部分と前記補助反射部とのいずれかが経時的に変化しているかを判定することを特徴とする請求項1に記載の電子機器。
  3. 前記判定手段による判定結果に応じて、ユーザに対応を報知する報知手段をさらに備えていることを特徴とする請求項1又は請求項2に記載の電子機器。
  4. ユーザによる清掃が完了した旨の入力操作を行う入力手段を更に備え、
    前記判定手段は、前記入力手段によって清掃が完了した旨の入力があったときに前記判定を行い、
    前記報知手段は、前記判定手段によって前記特定部分と前記補助反射部とのいずれかが経時的に変化していると判定された場合に、前記画像取得手段が汚れている旨を報知する、
    ことを特徴とする請求項3に記載の電子機器。
  5. インクを吐出させて印刷を行う印刷手段を備え、
    前記特定部分の状態は、前記インクが付着することにより経時的に変化することを特徴とする請求項1から請求項4のいずれか一項に記載の電子機器。
  6. 配置台及び補助反射部を含む特定部分を前記配置台に爪を含む指が配置されていない状態で撮影した第1の撮影画像を取得するとともに、前記第1の撮影画像の撮影方向とは異なる方向から前記補助反射部を介して前記配置台を前記配置台に前記爪を含む前記指が配置されていない状態で撮影した第2の撮影画像を取得する画像取得工程と、
    第1状態の前記特定部分を含む範囲を撮影して得た比較用画像と、前記第1の撮影画像及び前記第2の撮影画像のそれぞれと、を比較することにより、前記特定部分のうちの前記配置台及び/又は前記補助反射部が経時的に変化しているかを判定する判定工程と、
    を含むことを特徴とする判定方法。
  7. コンピュータに、
    配置台及び補助反射部を含む特定部分を前記配置台に爪を含む指が配置されていない状態で撮影した第1の撮影画像を取得するとともに、前記第1の撮影画像の撮影方向とは異なる方向から前記補助反射部を介して前記配置台を前記配置台に前記爪を含む前記指が配置されていない状態で撮影した第2の撮影画像を取得する画像取得機能と、
    第1状態の前記特定部分を含む範囲を撮影して得た比較用画像と、前記第1の撮影画像及び前記第2の撮影画像のそれぞれと、を比較することにより、前記特定部分のうちの前記配置台及び/又は前記補助反射部が経時的に変化しているかを判定する判定機能と、
    を実現させることを特徴とするプログラム。
JP2021145595A 2021-09-07 2021-09-07 電子機器、判定方法及びプログラム Active JP7439807B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021145595A JP7439807B2 (ja) 2021-09-07 2021-09-07 電子機器、判定方法及びプログラム
CN202211036916.3A CN115771339A (zh) 2021-09-07 2022-08-26 电子设备、判定方法以及记录介质
US17/903,609 US20230070806A1 (en) 2021-09-07 2022-09-06 Electronic device, determination method, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021145595A JP7439807B2 (ja) 2021-09-07 2021-09-07 電子機器、判定方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2023038725A JP2023038725A (ja) 2023-03-17
JP7439807B2 true JP7439807B2 (ja) 2024-02-28

Family

ID=85385331

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021145595A Active JP7439807B2 (ja) 2021-09-07 2021-09-07 電子機器、判定方法及びプログラム

Country Status (3)

Country Link
US (1) US20230070806A1 (ja)
JP (1) JP7439807B2 (ja)
CN (1) CN115771339A (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006103155A (ja) 2004-10-05 2006-04-20 Canon Inc 記録装置
JP2018107665A (ja) 2016-12-27 2018-07-05 グローリー株式会社 撮像装置、汚れ検知システム、及び、汚れ検知方法
JP2020103448A (ja) 2018-12-26 2020-07-09 船井電機株式会社 プリンタ
JP2021035745A (ja) 2019-08-30 2021-03-04 船井電機株式会社 プリンタ
JP2021081149A (ja) 2019-11-21 2021-05-27 株式会社パロマ ガスコンロシステム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006103155A (ja) 2004-10-05 2006-04-20 Canon Inc 記録装置
JP2018107665A (ja) 2016-12-27 2018-07-05 グローリー株式会社 撮像装置、汚れ検知システム、及び、汚れ検知方法
JP2020103448A (ja) 2018-12-26 2020-07-09 船井電機株式会社 プリンタ
JP2021035745A (ja) 2019-08-30 2021-03-04 船井電機株式会社 プリンタ
JP2021081149A (ja) 2019-11-21 2021-05-27 株式会社パロマ ガスコンロシステム

Also Published As

Publication number Publication date
JP2023038725A (ja) 2023-03-17
CN115771339A (zh) 2023-03-10
US20230070806A1 (en) 2023-03-09

Similar Documents

Publication Publication Date Title
CN109123989B (zh) 描绘系统、终端装置及记录介质
US11007777B2 (en) Printer
US9485372B2 (en) Image forming apparatus
JP7439807B2 (ja) 電子機器、判定方法及びプログラム
CN111728344B (zh) 印刷装置以及印刷方法
CN114193941B (zh) 印刷装置、指甲姿势确认方法以及记录介质
JP6958336B2 (ja) 描画システム、描画装置及び端末装置
US20080079956A1 (en) Hand-Held Printer Having An Integrated Digital Camera Scanner
CN113370667B (zh) 印刷装置、印刷方法以及记录程序的记录介质
JP7173256B2 (ja) 描画システム及び描画制御方法
JP7160069B2 (ja) 印刷装置
WO2020110340A1 (ja) プリンタ
JP7484220B2 (ja) 印刷装置、印刷装置の制御方法及び制御プログラム
CN114801489B (zh) 印刷装置、印刷控制方法以及存储介质
JP7151753B2 (ja) 爪輪郭検出装置、印刷装置、爪輪郭検出方法及びプログラム
US11820159B2 (en) Nail printing apparatus and control method
JP7468730B2 (ja) 印刷装置、印刷制御方法及び制御プログラム
JP2022135250A (ja) 印刷装置、印刷制御方法及びプログラム
WO2021053943A1 (ja) 印刷装置、端末装置、印刷システム、印刷方法及びプログラム
US11827038B2 (en) Nail printing apparatus and control method
JP7226412B2 (ja) 表示装置、印刷装置、印刷システム、表示方法及びプログラム
JP7351163B2 (ja) 印刷装置、端末装置及び印刷システム
JP2023033854A (ja) 印刷装置、情報処理装置、印刷制御方法及びプログラム
JP6630612B2 (ja) 画像形成装置
CN115782415A (zh) 判别装置、印刷装置、判别方法以及存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220712

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230418

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230517

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230704

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230830

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230919

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231206

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20231215

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240116

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240129

R150 Certificate of patent or registration of utility model

Ref document number: 7439807

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150