JP2024089338A - Information processing device, printing system, method and program - Google Patents

Information processing device, printing system, method and program

Info

Publication number
JP2024089338A
JP2024089338A JP2022204634A JP2022204634A JP2024089338A JP 2024089338 A JP2024089338 A JP 2024089338A JP 2022204634 A JP2022204634 A JP 2022204634A JP 2022204634 A JP2022204634 A JP 2022204634A JP 2024089338 A JP2024089338 A JP 2024089338A
Authority
JP
Japan
Prior art keywords
printing
nail
data
information processing
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022204634A
Other languages
Japanese (ja)
Inventor
菜摘 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of JP2024089338A publication Critical patent/JP2024089338A/en
Pending legal-status Critical Current

Links

Abstract

【課題】印刷対象上での印刷データの欠落を防ぐ情報処理装置を提供する。
【解決手段】情報処理装置は、印刷データを複数階層の構造で保持する保持手段と、前記印刷データの複数階層それぞれについて、前記印刷データに基づいて印刷を実行する印刷対象上の印刷領域からのはみ出し量を設定する設定手段とを備える。前記複数階層のうちの第1階層において前記設定手段により設定可能な第1のはみ出し量と、前記第1階層と異なる第2階層において前記設定手段により設定可能な第2のはみ出し量とは異なる。
【選択図】図10

An information processing device that prevents loss of print data on a print target is provided.
[Solution] An information processing device includes a storage unit that stores print data in a multi-layer structure, and a setting unit that sets, for each of the multiple layers of the print data, an amount of overflow from a print area on a print target on which printing is performed based on the print data. A first overflow amount that can be set by the setting unit in a first layer of the multiple layers is different from a second overflow amount that can be set by the setting unit in a second layer different from the first layer.
[Selected figure] Figure 10

Description

本発明は、情報処理装置、印刷システム、方法およびプログラムに関する。 The present invention relates to an information processing device, a printing system, a method, and a program.

近年、プリンターを使用して爪にネイルアートを印刷することが可能になっている。以下、爪にネイルアートを印刷するためのプリンタをネイルプリンタと称する。ユーザの爪に対してネイルアートを印刷するにあたり、爪の位置やサイズに基づき印刷領域を設定する必要がある。そこで、印刷領域を設定する方法の一例として、学習モデルを使用した爪検出処理を実行して印刷領域を設定する方法がある。尚、このようにして検出する対象は爪に限らず、顔などを検出する場合がある。特許文献1には、印刷データのはみ出し量を可変にすることで余白なし印刷を実施することが記載されている。 In recent years, it has become possible to print nail art on nails using a printer. Hereinafter, a printer for printing nail art on nails will be referred to as a nail printer. When printing nail art on a user's nails, it is necessary to set a print area based on the position and size of the nail. As an example of a method for setting a print area, there is a method of setting a print area by executing a nail detection process using a learning model. Note that the object detected in this way is not limited to nails, and faces and the like may also be detected. Patent Document 1 describes a method of performing marginless printing by varying the amount of overflow of print data.

特開2009-176320号公報JP 2009-176320 A

印刷対象によっては、はみ出し量を調整することが困難な場合があり、その結果、印刷データの一部が欠落してしまうことがある。 Depending on what you are printing, it may be difficult to adjust the amount of overprinting, which may result in part of the print data being lost.

本発明は、印刷対象上での印刷データの欠落を防ぐ情報処理装置、印刷システム、方法およびプログラムを提供することを目的とする。 The present invention aims to provide an information processing device, printing system, method, and program that prevent loss of print data on the print target.

上記課題を解決するため、本発明に係る情報処理装置は、印刷データを複数階層の構造で保持する保持手段と、前記印刷データの複数階層それぞれについて、前記印刷データに基づいて印刷を実行する印刷対象上の印刷領域からのはみ出し量を設定する設定手段と、を備え、前記複数階層のうちの第1階層において前記設定手段により設定可能な第1のはみ出し量と、前記第1階層と異なる第2階層において前記設定手段により設定可能な第2のはみ出し量とは異なることを特徴とする。 In order to solve the above problem, the information processing device according to the present invention comprises a storage means for storing print data in a multi-layer structure, and a setting means for setting, for each of the multiple layers of the print data, an amount of overflow from a print area on a print target on which printing is performed based on the print data, and is characterized in that a first amount of overflow that can be set by the setting means in a first layer of the multiple layers is different from a second amount of overflow that can be set by the setting means in a second layer different from the first layer.

本発明によれば、印刷対象上での印刷データの欠落を防ぐことができる。 This invention makes it possible to prevent loss of print data on the print target.

情報処理装置およびプリンタを含むシステムの構成を示す図である。FIG. 1 is a diagram showing a configuration of a system including an information processing device and a printer. GUI画面を示す図である。FIG. 13 is a diagram showing a GUI screen. GUI画面を示す図である。FIG. 13 is a diagram showing a GUI screen. GUI画面を示す図である。FIG. 13 is a diagram showing a GUI screen. GUI画面を示す図である。FIG. 13 is a diagram showing a GUI screen. 情報処理装置のソフトウェアのブロック構成を示す図である。FIG. 2 is a diagram illustrating a software block configuration of the information processing device. ネイルプリント処理を示すシーケンス図である。FIG. 11 is a sequence diagram showing a nail print process. 2層階層のネイル画像データを説明するための図である。FIG. 13 is a diagram for explaining two-layer hierarchical nail image data. 3層階層のネイル画像データを説明するための図である。FIG. 13 is a diagram for explaining three-layer hierarchical nail image data. はみ出し量調整データを生成する処理を示すフローチャートである。13 is a flowchart showing a process for generating overflow amount adjustment data. GUI画面を示す図である。FIG. 13 is a diagram showing a GUI screen.

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。 The following embodiments are described in detail with reference to the attached drawings. Note that the following embodiments do not limit the invention according to the claims. Although the embodiments describe multiple features, not all of these multiple features are necessarily essential to the invention, and multiple features may be combined in any manner. Furthermore, in the attached drawings, the same reference numbers are used for the same or similar configurations, and duplicate explanations are omitted.

[第1実施形態]
本実施形態における印刷システムは、情報処理装置101とプリンタ(印刷装置)151とを含む。本実施形態では、情報処理装置101としてタブレット端末を例に挙げて説明する。尚、情報処理装置101は、タブレット端末に限定されるものではない。情報処理装置101として、携帯端末、ノートPC、スマートフォン、PDA(Personal Digital Assistant)、デジタルカメラなど、種々のものを適用可能である。また、本実施形態では、プリンタとして、例えば、インクジェットプリンタ、3Dプリンタなどを適用することができる。その他、本実施形態のプリンタは、複写機能、FAX機能、印刷機能などの複数の機能を備える複合機であってもよい。本実施形態のプリンタは、例えば人の手の爪に直接描画する機能を持つものである。尚、本実施形態では、情報処理装置101とプリンタ151とを別の装置として説明するが、両者の機能を一体的に含む装置を用いる構成でもよい。
[First embodiment]
The printing system in this embodiment includes an information processing device 101 and a printer (printing device) 151. In this embodiment, a tablet terminal is used as an example of the information processing device 101. The information processing device 101 is not limited to a tablet terminal. As the information processing device 101, various devices such as a mobile terminal, a notebook PC, a smartphone, a PDA (Personal Digital Assistant), and a digital camera can be applied. In this embodiment, an inkjet printer, a 3D printer, and the like can be applied as the printer. In addition, the printer in this embodiment may be a multifunction device having multiple functions such as a copying function, a FAX function, and a printing function. The printer in this embodiment has a function of directly drawing on the nails of a person's hand, for example. In this embodiment, the information processing device 101 and the printer 151 are described as separate devices, but a configuration using a device that includes the functions of both devices integrally may be used.

図1は、本実施形態の情報処理装置101およびプリンタ151を含む印刷システムの構成の一例を示す図である。図1(a)には、情報処理装置101およびプリンタ151のブロック構成が示されている。図1(b)には、プリンタ151の外観が示されている。以下、図1(a)及び図1(b)を用いて情報処理装置101およびプリンタ151のシステム構成を説明する。図1(a)に示すように、情報処理装置101は、入力インターフェース102、CPU103、ROM104、RAM105、外部記憶装置106、出力インタフェース107、通信部109、及びGPU110を有する。これらはシステムバスを介して互いに通信可能に接続されている。入力インタフェース102は、物理キーボード、ボタン、およびタッチパネルなどの操作部(不図示)を介して、ユーザからのデータ入力や操作指示を受け付けるためのインタフェースである。尚、本実施形態では、後述の表示部108と操作部との少なくとも一部が一体であり、例えば、画面の出力とユーザからの操作の受付けとを同一の画面において行うような構成を一例として説明する。 1 is a diagram showing an example of the configuration of a printing system including an information processing device 101 and a printer 151 according to the present embodiment. FIG. 1(a) shows a block configuration of the information processing device 101 and the printer 151. FIG. 1(b) shows the external appearance of the printer 151. Below, the system configuration of the information processing device 101 and the printer 151 will be described with reference to FIG. 1(a) and FIG. 1(b). As shown in FIG. 1(a), the information processing device 101 has an input interface 102, a CPU 103, a ROM 104, a RAM 105, an external storage device 106, an output interface 107, a communication unit 109, and a GPU 110. These are connected to each other so as to be able to communicate with each other via a system bus. The input interface 102 is an interface for receiving data input and operation instructions from a user via an operation unit (not shown) such as a physical keyboard, a button, and a touch panel. In this embodiment, at least a portion of the display unit 108 and the operation unit, which will be described later, are integrated, and a configuration will be described in which, for example, screen output and reception of operations from the user are performed on the same screen.

CPU103は、システム制御部であり、プログラムの実行やハードウェアの起動などのように情報処理装置101の全体を制御する。ROM104は、CPU103が実行する制御プログラム、データテーブル、組み込みオペレーティングシステム(以下、OSという)、およびプログラムなどのデータを記憶する。本実施形態では、ROM104に記憶されている各制御プログラムは、ROM104に記憶されている組み込みOSの管理下で、例えば、スケジューリング、タスクスイッチ、および割込み処理などのソフトウェア実行制御を行う。RAM105は、SRAM(Static Random Access Memory)またはDRAM(Dinamic Random Access Memory)などで構成される。尚、RAM105は、不図示のデータバックアップ用の1次電池によってデータが保持されていてもよい。その場合、RAM105は、プログラム制御変数などのデータを揮発させずに格納することができる。また、RAM105には、情報処理装置101の設定情報および情報処理装置101の管理データなどを記憶するメモリエリアが設けられている。また、RAM105は、CPU103の主メモリおよびワークメモリとしても用いられる。 The CPU 103 is a system control unit, and controls the entire information processing device 101, such as executing programs and starting hardware. The ROM 104 stores data such as a control program executed by the CPU 103, a data table, an embedded operating system (hereinafter referred to as OS), and programs. In this embodiment, each control program stored in the ROM 104 performs software execution control such as scheduling, task switching, and interrupt processing under the management of the embedded OS stored in the ROM 104. The RAM 105 is composed of an SRAM (Static Random Access Memory) or a DRAM (Dynamic Random Access Memory). The RAM 105 may hold data by a primary battery for data backup (not shown). In that case, the RAM 105 can store data such as program control variables without volatilizing them. The RAM 105 also has a memory area for storing setting information for the information processing device 101 and management data for the information processing device 101. The RAM 105 is also used as the main memory and work memory for the CPU 103.

外部記憶装置106は、印刷実行機能を提供するアプリケーション、および、プリンタ151が解釈可能な印刷情報を生成する印刷情報生成プログラムなどを記憶している。また、外部記憶装置106は、通信部109を介して接続しているプリンタ151との間で情報を送受信する情報送受信制御プログラムなどの各種プログラム、および、これらのプログラムが使用する各種情報を保存している。出力インタフェース107は、表示部108によるデータの表示および情報処理装置101の状態の通知などの制御を行うインタフェースである。表示部108は、LED(発光ダイオード)またはLCD(液晶ディスプレイ)などから構成され、データの表示および情報処理装置101の状態の通知などを行う。尚、表示部108上に、数値入力キー、モード設定キー、決定キー、取り消しキー、電源キーなどのキーを備えるソフトキーボードを設けることで、表示部108を介してユーザからの入力を受け付けてもよい。また、表示部108は、前述のように、タッチパネルディスプレイとして構成されていてもよい。表示部108は、出力インタフェース107を介してシステムバスと接続されている。 The external storage device 106 stores an application that provides a print execution function, a print information generation program that generates print information that can be interpreted by the printer 151, and the like. The external storage device 106 also stores various programs, such as an information transmission/reception control program that transmits and receives information to and from the printer 151 connected via the communication unit 109, and various information used by these programs. The output interface 107 is an interface that controls the display of data by the display unit 108 and the notification of the status of the information processing device 101. The display unit 108 is composed of an LED (light-emitting diode) or an LCD (liquid crystal display), and performs the display of data and the notification of the status of the information processing device 101. Note that a soft keyboard having keys such as numeric input keys, mode setting keys, a decision key, a cancel key, and a power key may be provided on the display unit 108 to accept input from the user via the display unit 108. The display unit 108 may also be configured as a touch panel display, as described above. The display unit 108 is connected to the system bus via the output interface 107.

通信部109は、プリンタ151などの外部装置と接続して、データ通信を実行するように構成されている。通信部109は、例えば、プリンタ151内のアクセスポイント(不図示)に接続可能である。通信部109とプリンタ151内のアクセスポイントとが接続されることで、情報処理装置101およびプリンタ151は、相互に無線通信可能となる。尚、通信部109は、無線通信でプリンタ151とダイレクトに通信してもよいし、外部に存在する外部アクセスポイント(例えばアクセスポイント131)を介して通信してもよい。無線通信方式としては、例えば、Wi-Fi(WirelessFidelity)(登録商標)およびBluetooth(登録商標)などが挙げられる。また、アクセスポイント131としては、例えば、無線LANルータなどの機器などが挙げられる。本実施形態において、情報処理装置101とプリンタ151とが外部アクセスポイント131を介さずにダイレクトに接続する方式をダイレクト接続方式という。また、情報処理装置101とプリンタ151とが外部アクセスポイント131を介して接続する方式をインフラストラクチャ接続方式という。尚、情報処理装置101とプリンタ151とは、USBケーブルなどにより有線接続される構成でもよい。 The communication unit 109 is configured to connect to an external device such as the printer 151 and perform data communication. The communication unit 109 can be connected to, for example, an access point (not shown) in the printer 151. By connecting the communication unit 109 to the access point in the printer 151, the information processing device 101 and the printer 151 can wirelessly communicate with each other. The communication unit 109 may directly communicate with the printer 151 by wireless communication, or may communicate via an external access point (for example, the access point 131) located outside. Examples of wireless communication methods include Wi-Fi (Wireless Fidelity) (registered trademark) and Bluetooth (registered trademark). Examples of the access point 131 include devices such as a wireless LAN router. In this embodiment, a method in which the information processing device 101 and the printer 151 are directly connected without going through the external access point 131 is called a direct connection method. A method in which the information processing device 101 and the printer 151 are connected via the external access point 131 is called an infrastructure connection method. Note that the information processing device 101 and the printer 151 may also be connected by wire using a USB cable or the like.

GPU110は、データをより多く並列処理することで効率的な演算を行うことができるので、ディープラーニングのような学習モデルを処理する場合にはGPU110で処理を実行しても良い。本実施形態では、学習モデルを使用する処理に関してCPU103に加えてGPU110を用いるようにしても良い。具体的には、学習モデルを含む学習プログラムを実行する場合に、CPU103とGPU110が協働して演算を行うことで学習モデルを使用する処理を実行する。尚、学習モデルを使用する処理は、CPU103またはGPU110のみにより演算が行われても良い。 Since GPU 110 can perform efficient calculations by processing more data in parallel, when processing a learning model such as deep learning, the processing may be performed by GPU 110. In this embodiment, GPU 110 may be used in addition to CPU 103 for processing using the learning model. Specifically, when executing a learning program including a learning model, CPU 103 and GPU 110 cooperate to perform calculations to execute the processing using the learning model. Note that the processing using the learning model may be calculated only by CPU 103 or GPU 110.

本実施形態では、ROM104または外部記憶装置106などには、所定のアプリケーションが記憶されているものとする。所定のアプリケーションとは、例えば、ユーザからの操作に応じて、ネイルアートデータを印刷させるための印刷ジョブを、プリンタ151に送信するためのアプリケーションプログラムである。このような機能を有するアプリケーションを、以降、ネイルアプリという。尚、ネイルアプリは、印刷機能以外に、他の機能を備えていてもよい。例えば、本実施形態におけるネイルアプリは、プリンタ151と通信して、プリンタ151の撮影部157のカメラを起動する機能を備えていてもよい。すなわち、ネイルアプリは、印刷ジョブ以外に、カメラ起動ジョブをプリンタ151に送信する機能等を有していてもよい。また、ROM104または外部記憶装置106などに記憶されている所定のアプリケーションは、ネイルアプリに限定されず、印刷以外の機能を備えているアプリケーションプログラムであってもよい。 In this embodiment, it is assumed that a predetermined application is stored in the ROM 104 or the external storage device 106. The predetermined application is, for example, an application program for sending a print job to the printer 151 to print nail art data in response to an operation from a user. An application having such a function is hereinafter referred to as a nail app. Note that the nail app may have other functions in addition to the print function. For example, the nail app in this embodiment may have a function of communicating with the printer 151 and activating the camera of the photographing unit 157 of the printer 151. That is, the nail app may have a function of sending a camera activation job to the printer 151 in addition to the print job. Also, the predetermined application stored in the ROM 104 or the external storage device 106 is not limited to the nail app, and may be an application program having a function other than printing.

プリンタ151は、ROM152、RAM153、CPU154、プリントエンジン155、通信部156、および撮影部157を有する。これらは、システムバスを介して互いに接続されている。図1(b)は、プリンタ151の外観を示す概略図である。図1(b)に示すように、プリンタ151には、印刷対象を挿入するための空間である印刷対象挿入部158が設けられている。図1(b)では、印刷対象挿入部158に、ユーザが自身の手を入れている様子を示している。このように、本実施形態において、印刷対象挿入部158には、人間の手が挿入されることを想定している。また、本実施形態において印刷対象は、例えば爪である。印刷対象挿入部158には指を載せるための4本レールが搭載されており、ユーザは1~4本の指を挿入することができる。4本のレールは各々独立しており、各レールが昇降することで印刷に最適な高さに爪の高さを調整することが可能である。この昇降動作は、ネイルアプリからの指示で実行され、ネイルアプリから受け取ったレール番号に基づいて対象のレールの昇降動作を行う。尚、本実施形態では手の爪を印刷対象とする例を示すが、手に限らず足の爪であっても良い。 The printer 151 has a ROM 152, a RAM 153, a CPU 154, a print engine 155, a communication unit 156, and a photographing unit 157. These are connected to each other via a system bus. FIG. 1B is a schematic diagram showing the appearance of the printer 151. As shown in FIG. 1B, the printer 151 is provided with a print object insertion section 158, which is a space for inserting a print object. FIG. 1B shows a state in which a user inserts his or her own hand into the print object insertion section 158. Thus, in this embodiment, it is assumed that a human hand is inserted into the print object insertion section 158. In addition, in this embodiment, the print object is, for example, a nail. The print object insertion section 158 is equipped with four rails for placing fingers, and the user can insert one to four fingers. Each of the four rails is independent, and it is possible to adjust the height of the nail to the optimal height for printing by raising and lowering each rail. This raising and lowering operation is performed in response to an instruction from the nail app, and the target rail is raised and lowered based on the rail number received from the nail app. In this embodiment, an example is shown in which fingernails are printed, but the printing can also be done on toenails.

ROM152は、CPU154が実行する制御プログラム、データテーブル、およびOSプログラムなどのデータを記憶する。本実施形態では、ROM152に記憶されている各制御プログラムは、ROM152に記憶されている組込みOSの管理下で、スケジューリング、タスクスイッチ、および割込み処理などのソフトウェア実行制御を行う。RAM153は、SRAMまたはDRAMなどで構成される。尚、RAM153は、不図示のデータバックアップ用の1次電池によってデータが保持されていてもよい。この場合、RAM153には、プログラム制御変数などデータを揮発させずに記憶させることができる。また、プリンタ151の設定情報およびプリンタ151の管理データなどを格納するメモリエリアもRAM153に設けられている。また、RAM153は、CPU154の主メモリおよびワークメモリとしても用いられ、情報処理装置101から受信した印刷情報および各種情報などを一旦記憶することができる。 The ROM 152 stores data such as control programs, data tables, and OS programs executed by the CPU 154. In this embodiment, each control program stored in the ROM 152 performs software execution control such as scheduling, task switching, and interrupt processing under the management of the embedded OS stored in the ROM 152. The RAM 153 is composed of an SRAM or a DRAM. The RAM 153 may hold data using a primary battery for data backup (not shown). In this case, the RAM 153 can store data such as program control variables without volatilizing them. The RAM 153 also has a memory area for storing setting information for the printer 151 and management data for the printer 151. The RAM 153 is also used as the main memory and work memory of the CPU 154, and can temporarily store print information and various information received from the information processing device 101.

CPU154は、システム制御部であり、プログラムの実行やハードウェアの起動により、プリンタ151の全体を制御する。プリントエンジン155は、RAM153に記憶された情報または情報処理装置101から受信した印刷ジョブに基づき、インクなどの記録剤を用いて、印刷対象挿入部158に挿入されている爪などの被記録媒体上に画像を形成する。通信部156は、プリンタ151内部のアクセスポイントとして、情報処理装置101などの外部装置と接続するためのアクセスポイントを有している。このアクセスポイントは、情報処理装置101の通信部109に接続可能である。通信部156は、無線通信で情報処理装置101とダイレクトに通信してもよいし、外部のアクセスポイント131を介して通信してもよい。また、通信部156は、アクセスポイントとして機能するハードウェアを備えていてもよいし、アクセスポイントとして機能させるためのソフトウェアによりアクセスポイントとして動作してもよい。 The CPU 154 is a system control unit, and controls the entire printer 151 by executing a program and starting up hardware. The print engine 155 forms an image on a recording medium such as a nail inserted in the print target insertion unit 158 using a recording agent such as ink based on information stored in the RAM 153 or a print job received from the information processing device 101. The communication unit 156 has an access point for connecting to an external device such as the information processing device 101 as an access point inside the printer 151. This access point can be connected to the communication unit 109 of the information processing device 101. The communication unit 156 may communicate directly with the information processing device 101 by wireless communication, or may communicate via an external access point 131. The communication unit 156 may also be provided with hardware that functions as an access point, or may operate as an access point by software for functioning as an access point.

撮影部157は、撮影機能を有するデバイスである。撮影機能をもつデバイスは、プリンタ151に付属及び設置されている。撮影部157は、印刷対象挿入部158に挿入される印刷対象(例えば爪)を含む所定の領域を撮影し、撮影した画像(静止画像または動画像)をリアルタイムに情報処理装置101に送信する機能を有する。本実施形態では、撮影部157は、動画像および静止画像を撮影するものである。撮影機能を有するデバイスは、少なくともレンズおよびイメージセンサにより構成されるカメラモジュールである。レンズは、印刷対象挿入部158に挿入される印刷対象を写してイメージセンサ上に結像する。イメージセンサは、レンズが写した光をCPU154が処理可能な電気信号に変換する。このような機能を有するのであれば、撮影機能を有するデバイスとしてスマートフォン、携帯端末、またはデジタルカメラなどが用いられてもよい。プリントエンジン155は、印刷対象挿入部158に挿入された印刷対象上に印刷を行う。尚、プリンタ151には、外付けHDDまたはSDカードなどのメモリが装着されてもよく、プリンタ151に保存される情報は、当該メモリに保存されてもよい。また、情報処理装置101、プリンタ151の構成は、図1に示す構成に限られず、各装置が実行可能な機能に応じた構成を適宜含み得る。 The photographing unit 157 is a device having a photographing function. The device having the photographing function is attached to and installed in the printer 151. The photographing unit 157 has a function of photographing a predetermined area including a printing object (e.g., a nail) inserted into the printing object insertion unit 158, and transmitting the photographed image (still image or moving image) to the information processing device 101 in real time. In this embodiment, the photographing unit 157 photographs moving images and still images. The device having the photographing function is a camera module composed of at least a lens and an image sensor. The lens photographs the printing object inserted into the printing object insertion unit 158 and forms an image on the image sensor. The image sensor converts the light photographed by the lens into an electrical signal that can be processed by the CPU 154. If it has such a function, a smartphone, a mobile terminal, a digital camera, or the like may be used as the device having the photographing function. The print engine 155 prints on the printing object inserted into the printing object insertion unit 158. Note that the printer 151 may be equipped with a memory such as an external HDD or SD card, and the information stored in the printer 151 may be stored in the memory. Furthermore, the configurations of the information processing device 101 and the printer 151 are not limited to those shown in FIG. 1, and may include appropriate configurations according to the functions that each device can execute.

次に、本実施形態で使用する用語を説明する。本実施形態では、主に爪に対してネイルアートが印刷される。また、本実施形態では、片方の手の各爪にネイルアートが印刷される。一般的に、各爪に印刷されるネイルアートは、同一のコンセプトであるが、個々の爪に印刷されるネイルアートは、完全に同一のネイルアートではない場合がある。例えば、デザインAのネイルアートセットには、10個のネイルアート(10本の各爪に対応するネイルアート)が含まれており、その10個のネイルアートは、相互に共通のデザインコンセプトのものであるが、完全に同一の模様などになっていない場合がある。以上の点を踏まえて、本実施形態では、以下のように用語を定義する。 Next, the terms used in this embodiment will be explained. In this embodiment, nail art is printed mainly on the nails. Also, in this embodiment, nail art is printed on each nail of one hand. Generally, the nail art printed on each nail has the same concept, but the nail art printed on each nail may not be completely the same. For example, a nail art set of design A includes 10 pieces of nail art (nail art corresponding to each of the 10 nails), and although the 10 pieces of nail art have a common design concept, they may not have completely the same pattern. In light of the above, the terms are defined as follows in this embodiment.

・「ネイル画像データ」:1つの爪に実行されるネイルアートの画像データを指す。 - "Nail image data": Refers to image data of nail art to be performed on one nail.

・「ネイルアートデータ」:複数のネイル画像データの集合体を指す。つまり、ネイルアートデータは、複数のネイル画像データのデータセットともいえる。典型的には、右手、左手合わせて10本の爪のネイルアートに対応する各ネイル画像データの画像を集約した画像データである。ネイルアートデータは、10本の各ネイル画像データが集まったデータ(つまり、10個の画像データのセット)でもよいし、10本の各ネイル画像データを合成して1つの画像とした画像データでもよい。このように、「ネイル画像データ」と称する場合、個別の爪のネイルアートの画像のデータを指し、「ネイルアートデータ」と称する場合、10本分のネイルアートの画像のデータのセットのことを指すものとする。 - "Nail art data": refers to a collection of multiple nail image data. In other words, nail art data can also be considered a data set of multiple nail image data. Typically, it is image data that aggregates images of each nail image data corresponding to the nail art of 10 nails on a total of right and left hands. The nail art data may be data of image data of 10 nails (i.e., a set of 10 image data), or it may be image data of 10 nails combined into a single image. In this way, when referred to as "nail image data," it refers to data of images of nail art for individual nails, and when referred to as "nail art data," it refers to a set of data of images of nail art for 10 nails.

本実施形態では、情報処理装置101のCPU103が、ROM104または外部記憶装置106に記憶されているネイルアプリのプログラムを実行することで、ネイルアプリを起動する。そして、ネイルアプリを用いることで、ユーザは、自身が選択したネイルアートデータのネイル画像データを印刷領域に反映して、爪にネイルアートを印刷することができる。つまり、以下の一例の動作がネイルアプリを用いて行われる。 In this embodiment, the CPU 103 of the information processing device 101 executes a program of the nail app stored in the ROM 104 or the external storage device 106 to start up the nail app. Then, by using the nail app, the user can print nail art on the nail by reflecting the nail image data of the nail art data selected by the user in the print area. That is, the following example operation is performed using the nail app.

(1)アプリケーションは、ネイル画像データを複数階層構造で保持する。 (1) The application stores nail image data in a multi-hierarchical structure.

(2)ユーザは、アプリケーション上でネイルアートデータを選択する。 (2) The user selects nail art data on the application.

(3)アプリケーションは、プリンタ151の内部にあるカメラを起動する。 (3) The application activates the camera inside the printer 151.

(4)アプリケーションは、プリンタ151から送信されたカメラ画像(撮影データ)を表示可能とする。 (4) The application makes it possible to display camera images (capture data) sent from the printer 151.

(5)ユーザは、プリンタ151に手を挿入する。 (5) The user inserts his/her hand into the printer 151.

(6)アプリケーションは、カメラ画像から爪の領域を検出し、ネイルアートを印刷する爪の領域を設定する。 (6) The application detects the nail area from the camera image and sets the nail area on which to print the nail art.

(7)アプリケーションは、ユーザが選択したネイル画像データと検出した爪の領域とに基づいて印刷データを生成する。 (7) The application generates print data based on the nail image data selected by the user and the detected nail area.

(8)アプリケーションは、設定した印刷領域に、印刷データを反映させる。 (8) The application reflects the print data in the specified print area.

(9)ユーザは、設定した印刷領域を調整する場合、印刷領域を編集する。 (9) If the user wants to adjust the set print area, he or she edits the print area.

(10)アプリケーションは、印刷領域に反映された印刷データに基づいてプリンタ151に印刷を実行させる。 (10) The application causes the printer 151 to print based on the print data reflected in the print area.

本実施形態では、上記の(1)と(7)の工程において、ネイルアートデータを複数階層構造で保持し、ユーザが選択したネイルアートデータと、検出した爪の領域とに基づいて印刷データを生成する構成を説明する。尚、プリンタ151に手を入れるユーザと、アプリケーションを操作するユーザは、同一のユーザであっても良いし、異なるユーザであっても良い。 In this embodiment, in steps (1) and (7) above, a configuration is described in which nail art data is stored in a multi-layered structure, and print data is generated based on the nail art data selected by the user and the detected nail area. Note that the user who places his or her hand in the printer 151 and the user who operates the application may be the same user or different users.

ネイルアプリで表示されるグラフィカルユーザインタフェース(以下、GUIという)画面を先に説明する。以下で説明するGUI画面は、ネイルアプリを実行するCPU103によって、表示部108に表示されるものである。また、入力インタフェース102は、表示部108と一体となった操作部として機能するものとして説明する。本実施形態におけるネイルアプリのGUI画面は、大きく4種類存在し、第1~第4GUI画面とする。図2は、第1GUI画面の一例であり、ネイルアートデータの選択画面である。図5は、第2GUI画面の一例であり、ネイル画像データの設定画面である。図3は、第3GUI画面の一例であり、印刷データ作成画面である。図11は、第4GUI画面の一例であり、ネイル画像データの編集画面である。以下、各画面を用いてネイルアプリのGUI画面を説明する。 The graphical user interface (hereinafter referred to as GUI) screen displayed by the nail app will be described first. The GUI screen described below is displayed on the display unit 108 by the CPU 103 that executes the nail app. The input interface 102 will be described as functioning as an operation unit integrated with the display unit 108. There are four main types of GUI screens for the nail app in this embodiment, which are referred to as first to fourth GUI screens. FIG. 2 is an example of the first GUI screen, which is a nail art data selection screen. FIG. 5 is an example of the second GUI screen, which is a nail image data setting screen. FIG. 3 is an example of the third GUI screen, which is a print data creation screen. FIG. 11 is an example of the fourth GUI screen, which is a nail image data editing screen. Below, the GUI screens of the nail app will be described using each screen.

図2は、第1GUI画面の一例として、ネイルアートデータの選択画面201を示す図である。図2に示すように、ネイルアートデータの選択画面201は、ネイルアートデータ表示領域202と、決定ボタン204とを有する。ネイルアートデータ表示領域202には、各爪に印刷するネイルアートの各デザインコンセプトに対応したネイルアートデータが複数表示される。具体的には、図2の画面上では、ネイルアートデータ203が4つ表示されている。1つのネイルアートデータ203には、親指、人差し指、中指、薬指、小指のそれぞれの左手、右手の爪に対応する10種類のネイル画像データが含まれている。ユーザは、1つもしくは複数のネイルアートデータ203を選択でき、また、選択したネイルアートデータ203を解除することもできる。ユーザがネイルアートデータ203を選択または解除する方法の一例として、ユーザがネイルアートデータ203を1回タップすることでネイルアートデータ203を選択することができる。また、選択済みのネイルアートデータ203をユーザがもう1回タップすると、選択状態を解除することができる。 2 is a diagram showing a nail art data selection screen 201 as an example of the first GUI screen. As shown in FIG. 2, the nail art data selection screen 201 has a nail art data display area 202 and a decision button 204. In the nail art data display area 202, a plurality of nail art data corresponding to each design concept of the nail art to be printed on each nail is displayed. Specifically, four nail art data 203 are displayed on the screen in FIG. 2. One nail art data 203 includes ten types of nail image data corresponding to the nails of the thumb, index finger, middle finger, ring finger, and little finger of the left hand and right hand. The user can select one or more nail art data 203, and can also cancel the selected nail art data 203. As an example of a method in which the user selects or cancels the nail art data 203, the user can select the nail art data 203 by tapping the nail art data 203 once. In addition, the user can cancel the selection state by tapping the selected nail art data 203 once more.

ユーザがネイルアートデータ表示領域202から1つもしくは複数のネイルアートデータ203を選択した後に決定ボタン204を押下した場合、ネイルアートデータ選択画面201に替えて図5に示すネイル画像データ設定画面501が表示される。尚、本実施形態では、各種のボタンを操作する際には「押下」と称し、各領域を操作するときは、タッチパネルの操作であるとして、「タップ」、「タッチ」、「ピンチイン」、「ピンチアウト」等と説明するが、これらは例示に過ぎない。例えば、タッチパネル上の各種のボタンをタッチすることで各種のボタンの押下動作が実現されてもよい。また、例えば、マウス等を用いたカーソル操作によって各領域の操作が行われてもよい。また、入力インタフェース102が各種の方向指示ボタンを備えており、その方向指示ボタンによって各領域の操作が行われてもよい。 When the user selects one or more nail art data 203 from the nail art data display area 202 and then presses the confirm button 204, the nail art data selection screen 201 is replaced with a nail image data setting screen 501 shown in FIG. 5. In this embodiment, the operation of various buttons is referred to as "pressing", and the operation of each area is described as a touch panel operation, such as "tapping", "touching", "pinch in", and "pinch out", but these are merely examples. For example, the pressing of various buttons may be realized by touching various buttons on a touch panel. Furthermore, each area may be operated by cursor operation using a mouse or the like. Furthermore, the input interface 102 may be provided with various directional buttons, and each area may be operated by the directional buttons.

図5は、第2GUI画面の一例として、ネイル画像データの設定画面501を示す図である。図5に示すネイル画像データの設定画面501は、ネイルアートデータ表示領域502と、左手プレビュー領域503と、右手プレビュー領域504と、選択モード切り替えスイッチ505と、選択解除ボタン506と、設定完了ボタン507とを有している。ネイルアートデータ表示領域502は、ユーザがネイルアートデータの選択画面201で選択したネイルアートデータを表示する領域である。 Figure 5 is a diagram showing a nail image data setting screen 501 as an example of a second GUI screen. The nail image data setting screen 501 shown in Figure 5 has a nail art data display area 502, a left hand preview area 503, a right hand preview area 504, a selection mode change switch 505, a deselect button 506, and a setting completion button 507. The nail art data display area 502 is an area that displays the nail art data selected by the user on the nail art data selection screen 201.

左手プレビュー領域503には左手の親指から小指まで計5つの爪領域508が含まれている。右手プレビュー領域504には右手の親指から小指まで計5つの爪領域508が含まれている。ユーザは、ネイルアートデータ表示領域502からネイルアートデータもしくはネイル画像データを選択する。これにより、選択したネイルアートデータもしくはネイル画像データが、左手プレビュー領域503および右手プレビュー領域504の爪領域508に反映される。 The left hand preview area 503 includes a total of five nail areas 508, from the thumb to the little finger of the left hand. The right hand preview area 504 includes a total of five nail areas 508, from the thumb to the little finger of the right hand. The user selects nail art data or nail image data from the nail art data display area 502. As a result, the selected nail art data or nail image data is reflected in the nail areas 508 in the left hand preview area 503 and right hand preview area 504.

選択モード切り替えスイッチ505は、左手プレビュー領域503および右手プレビュー領域504に含まれる爪領域508に反映させるネイルアートデータもしくはネイル画像データを選択する方法を切り替えるためのスイッチである。一括選択モードがONになっている場合、ユーザがネイルアートデータ表示領域502から選択したネイルアートデータを、左手プレビュー領域503と右手プレビュー領域504とのそれぞれに含まれる爪領域508に一括で反映することができる。一括選択モードがOFFになっている場合、ユーザがネイルアートデータ表示領域502から選択したネイル画像データを、左手プレビュー領域503もしくは右手プレビュー領域504に含まれる爪領域508の何れかに反映することができる。 The selection mode changeover switch 505 is a switch for switching the method of selecting nail art data or nail image data to be reflected in the nail area 508 included in the left hand preview area 503 and the right hand preview area 504. When the bulk selection mode is ON, the nail art data selected by the user from the nail art data display area 502 can be reflected collectively in the nail areas 508 included in both the left hand preview area 503 and the right hand preview area 504. When the bulk selection mode is OFF, the nail image data selected by the user from the nail art data display area 502 can be reflected in either the nail area 508 included in the left hand preview area 503 or the right hand preview area 504.

選択解除ボタン506は、既に左手プレビュー領域503および右手プレビュー領域504に含まれる爪領域508に1つでもネイル画像データを反映させている場合に選択可能なボタンである。ユーザが選択解除ボタン506を押下した場合、反映されている全てのネイル画像データの選択が解除され、ネイル画像データが未選択の状態に戻る。設定完了ボタン507は、左手プレビュー領域503および右手プレビュー領域504に含まれる1つ以上の爪領域508に、ネイル画像データが反映されている場合に選択可能なボタンである。ユーザが設定完了ボタン507を押下した場合、ネイル画像データの設定画面501に替えて、図3に示す印刷データ作成画面301が表示される。 The deselect button 506 is a button that can be selected when nail image data has already been reflected in at least one nail area 508 included in the left hand preview area 503 and the right hand preview area 504. When the user presses the deselect button 506, the selection of all reflected nail image data is deselected and the nail image data returns to an unselected state. The setting completion button 507 is a button that can be selected when nail image data has been reflected in one or more nail areas 508 included in the left hand preview area 503 and the right hand preview area 504. When the user presses the setting completion button 507, the print data creation screen 301 shown in FIG. 3 is displayed instead of the nail image data setting screen 501.

図3は、第3GUI画面の一例として、印刷データ作成画面301を示す図である。図3に示す印刷データ作成画面301は、設定データ表示領域302と、印刷対象表示領域303とを有している。また、印刷データ作成画面301は、プリンタ検索ボタン304と、プリンタ名表示領域305と、撮影ボタン306と、プレビュー領域307と、印刷領域設定ボタン308と、印刷ボタン310とを有している。プレビュー領域307は、指の撮影画像を撮影する前の動画像や、撮影後の撮影画像が表示される。そして、その撮影画像において後述する図4の画面において印刷領域309が設定された場合には、プレビュー領域307には、印刷領域309を示す表示アイテムが合成された指の撮影画像が表示される。 Figure 3 is a diagram showing a print data creation screen 301 as an example of a third GUI screen. The print data creation screen 301 shown in Figure 3 has a setting data display area 302 and a print target display area 303. The print data creation screen 301 also has a printer search button 304, a printer name display area 305, a capture button 306, a preview area 307, a print area setting button 308, and a print button 310. The preview area 307 displays a moving image of the finger before the image is captured, and the captured image after the image is captured. Then, when a print area 309 is set in the captured image on the screen of Figure 4 described later, the preview area 307 displays the captured image of the finger combined with a display item indicating the print area 309.

設定データ表示領域302は、図5に示すネイル画像データの設定画面501で設定されたネイル画像データを左手、右手の最大4つのデータに分けて表示する領域である。図3では、設定データの分け方の一例として、左手の人差し指、中指、薬指、小指の4本で1つのデータ、左手の親指で1つのデータ、右手の人差し指、中指、薬指、小指の4本で1つのデータ、右手の親指で1つのデータの組み合わせで表示される。図3の設定データ表示領域302では、左手、右手の全ての爪にネイル画像データが設定されている場合を示している。図3に示されるように、設定データ表示領域302には、左手の人差し指、中指、薬指、小指の設定データ302a、および、左手の親指の設定データ302bが表示されている。また、設定データ表示領域302には、右手の人差し指、中指、薬指、小指の設定データ302c、および、右手の親指の設定データ302dが表示されている。設定データ302a~302dの各領域には、ネイル画像データ用のスロットが4つ設けられている。 The set data display area 302 is an area where the nail image data set on the setting screen 501 of the nail image data shown in FIG. 5 is displayed divided into up to four pieces of data for the left and right hands. In FIG. 3, as an example of how to divide the set data, one piece of data is displayed for the index finger, middle finger, ring finger, and little finger of the left hand, one piece of data for the thumb of the left hand, one piece of data for the index finger, middle finger, ring finger, and little finger of the right hand, and one piece of data for the thumb of the right hand. The set data display area 302 in FIG. 3 shows a case where nail image data is set for all the nails on the left and right hands. As shown in FIG. 3, the set data display area 302 displays set data 302a for the index finger, middle finger, ring finger, and little finger of the left hand, and set data 302b for the thumb of the left hand. In addition, the set data display area 302 displays set data 302c for the index finger, middle finger, ring finger, and little finger of the right hand, and set data 302d for the thumb of the right hand. Each area of setting data 302a-302d has four slots for nail image data.

印刷対象表示領域303には、設定データ302a~302dのそれぞれが、どの爪に対応する設定データかを示すアイコンが4つ表示される。つまり、設定データ表示領域302と同様に、左手の人差し指、中指、薬指、小指の4本で1つのデータ、左手の親指で1つのデータ、右手の人差し指、中指、薬指、小指の4本で1つのデータ、右手の親指で1つのデータの組み合わせで表示される。尚、前述したように、図3に示す印刷対象表示領域303では、左手、右手の全ての爪にネイル画像データが設定されていた場合の表示を示している。アイコン303aは、設定データ302aが左手の人差し指、中指、薬指、小指に対応していることを示し、アイコン303bは、設定データ302bが左手の親指に対応することを示す。アイコン303cは、設定データ302cが右手の人差し指、中指、薬指、小指に対応することを示し、アイコン303dは、設定データ302dが右手の親指に対応することを示す。 In the print target display area 303, four icons are displayed to indicate which nail each of the setting data 302a to 302d corresponds to. That is, as in the setting data display area 302, one data is displayed for the index finger, middle finger, ring finger, and little finger of the left hand, one data for the thumb of the left hand, one data for the index finger, middle finger, ring finger, and little finger of the right hand, and one data for the thumb of the right hand. As mentioned above, the print target display area 303 shown in FIG. 3 shows a display when nail image data is set for all the nails on the left and right hands. Icon 303a indicates that the setting data 302a corresponds to the index finger, middle finger, ring finger, and little finger of the left hand, and icon 303b indicates that the setting data 302b corresponds to the thumb of the left hand. Icon 303c indicates that setting data 302c corresponds to the index finger, middle finger, ring finger, and little finger of the right hand, and icon 303d indicates that setting data 302d corresponds to the thumb of the right hand.

プリンタ検索ボタン304は、ユーザによって押下されると、ネイルアプリと通信可能なプリンタを検索する処理が実行される。検索の結果、プリンタ151を含む1つまたは複数のプリンタが発見された場合、ネイルアプリは、該発見したプリンタのそれぞれを特定する情報を表示する。発見したプリンタを特定する情報は、リスト表示され、ユーザはリストから任意のプリンタを1つ選択することができる。本実施形態では、ユーザは、プリンタ151を選択したものとする。選択されたプリンタ151を一意に識別するためのプリンタ名がプリンタ名表示領域305に表示される。尚、ネイルアプリは、ユーザがプリンタ検索ボタン304を押下したときだけでなく、プリンタが未登録の状態で印刷データ作成画面301に遷移したときにも自動的にプリンタを検索し、プリンタのリストを表示することができる。 When the user presses the printer search button 304, a process is executed to search for a printer that can communicate with the nail app. If one or more printers, including printer 151, are found as a result of the search, the nail app displays information identifying each of the discovered printers. The information identifying the discovered printers is displayed in a list, and the user can select any one of the printers from the list. In this embodiment, it is assumed that the user selects printer 151. A printer name for uniquely identifying the selected printer 151 is displayed in the printer name display area 305. Note that the nail app can automatically search for a printer and display a list of printers not only when the user presses the printer search button 304, but also when the screen transitions to the print data creation screen 301 in a state where a printer is not registered.

撮影ボタン306は、ユーザによって押下されることでプリンタ名表示領域305に表示されたプリンタ151と通信し、プリンタ151の撮影部157で撮影された動画像をリアルタイムで受信してプレビュー領域307に表示させるためのボタンである。本実施形態では、印刷対象挿入部158に人間の手が入ることを想定している。このため、例えば、ユーザが片方の手を入れて、他方の手で、撮影ボタン306を押下することで、爪を含むユーザの手先の画像がプレビュー領域307にリアルタイムで表示される。尚、プレビュー領域307に動画像等を表示するのは撮影ボタン306を押下したときに限られない。例えば、プリンタ151が既に登録されている状態で印刷データ作成画面301に遷移したときにプリンタ151と通信可能である場合が考えられる。この場合、ネイルアプリは、印刷データ作成画面301への遷移時に自動的にプリンタ151と通信し、プリンタ151の撮影部157で撮影された動画像を受信することができる。 The capture button 306 is a button for communicating with the printer 151 displayed in the printer name display area 305 by being pressed by the user, receiving a moving image captured by the capture unit 157 of the printer 151 in real time and displaying it in the preview area 307. In this embodiment, it is assumed that a human hand is inserted into the print target insertion section 158. For this reason, for example, when a user inserts one hand and presses the capture button 306 with the other hand, an image of the user's fingertips including nails is displayed in real time in the preview area 307. Note that the display of moving images, etc. in the preview area 307 is not limited to when the capture button 306 is pressed. For example, it is possible that communication with the printer 151 is possible when transitioning to the print data creation screen 301 in a state where the printer 151 has already been registered. In this case, the nail app automatically communicates with the printer 151 when transitioning to the print data creation screen 301, and can receive a moving image captured by the capture unit 157 of the printer 151.

尚、前述のプリンタ151の使い方は一例であり、他の使い方でも良い。例えば、ネイル画像データの設定画面501が撮影ボタンを有する構成とし、ネイルサロンの利用客が片方の手を入れて、ネイルサロンの従業員がネイル画像データの設定画面501上で該撮影ボタンを押下しても良い。印刷領域設定ボタン308は、プレビュー領域307に動画像が表示されているときにユーザによって押下されることで、印刷領域309を設定する領域設定モードに遷移するためのボタンである。 The above-mentioned use of the printer 151 is just one example, and other uses are also possible. For example, the setting screen 501 for nail image data may have a capture button, and a customer of the nail salon may insert one hand into the setting screen 501 for the nail salon, and an employee of the nail salon may press the capture button on the setting screen 501 for the nail image data. The print area setting button 308 is a button that, when pressed by the user while a moving image is displayed in the preview area 307, transitions to an area setting mode in which the print area 309 is set.

図3に示す印刷領域設定ボタン308が押下されたことに応じて、印刷領域309を設定可能な領域設定モードに遷移する。図4は、爪の領域を自動検出する方法の一例として、静止画像から爪の領域を自動的に検出して印刷領域309を設定する例を説明するための図である。尚、図4に示すプレビュー領域307および印刷設定ボタン308は、図3のプレビュー領域307、印刷領域設定ボタン308の代わりに表示される。或いは、図3に示す印刷領域設定ボタン308が押下されたことに応じて、図4に示すプレビュー領域307および印刷設定ボタン308が、図3に示す画面全体に重なって、もしくは図3に示す画面全体の代わりに表示されるようにしても良い。 When the print area setting button 308 shown in FIG. 3 is pressed, the mode transitions to an area setting mode in which the print area 309 can be set. FIG. 4 is a diagram for explaining an example of a method for automatically detecting the nail area from a still image and setting the print area 309. Note that the preview area 307 and the print setting button 308 shown in FIG. 4 are displayed instead of the preview area 307 and the print area setting button 308 in FIG. 3. Alternatively, when the print area setting button 308 shown in FIG. 3 is pressed, the preview area 307 and the print setting button 308 shown in FIG. 4 may be displayed overlapping the entire screen shown in FIG. 3 or instead of the entire screen shown in FIG. 3.

まず、ユーザは、図4の印刷領域設定ボタン308を押下してプレビュー領域307を領域設定モードにする。なお、図4の印刷領域設定ボタン308が押下されると、指が静止画像として撮影される。或いは、撮影中の動画像の、印刷領域設定ボタン308が押下されたときに表示されたフレームが、指の静止画像として生成される。このようにネイルアプリは、撮影部157により撮影されることで取得されたユーザの爪を含む手の静止画像をプリンタ151から取得して、その静止画像から爪の領域を自動的に検出して印刷領域309を設定する。自動的に爪の領域を検出する方法の一例として、機械学習で生成した学習モデルを使用してもよい。ここで使用する学習モデルは爪を含む静止画像を入力すると、爪の領域を検出した結果を出力するように学習された学習モデルである。出力された爪の領域は、図4に示すように自動的に印刷領域309として設定される。そして、図4に示すように、印刷領域309を示す表示アイテムが表示される。尚、図4では、表示アイテムとして、爪に印刷される画像および該画像を明示する点線の枠を含む表示アイテムが表示される。しかしながら、図4に限られず、表示アイテムが該画像のみを含んでもよいし、該枠のみを含んでもよい。なお、該画像および該枠はそれぞれ、印刷領域309のサイズおよび位置に対応するサイズおよび位置に表示される。 First, the user presses the print area setting button 308 in FIG. 4 to set the preview area 307 to the area setting mode. When the print area setting button 308 in FIG. 4 is pressed, the finger is captured as a still image. Alternatively, a frame of the moving image being captured, which is displayed when the print area setting button 308 is pressed, is generated as a still image of the finger. In this way, the nail app acquires from the printer 151 a still image of the user's hand including the nail, which is captured by the imaging unit 157, and automatically detects the nail area from the still image to set the print area 309. As an example of a method for automatically detecting the nail area, a learning model generated by machine learning may be used. The learning model used here is a learning model that has been trained to output the result of detecting the nail area when a still image including the nail is input. The output nail area is automatically set as the print area 309 as shown in FIG. 4. Then, a display item indicating the print area 309 is displayed as shown in FIG. 4. In FIG. 4, a display item including an image to be printed on the nail and a dotted frame clearly indicating the image is displayed as a display item. However, this is not limited to FIG. 4, and the display item may include only the image, or may include only the frame. Note that the image and the frame are displayed at a size and position corresponding to the size and position of the print area 309, respectively.

また、爪の領域の検出は指ごとに行われ、例えば4本の指の場合、爪領域の検出は4回行われる。検出結果である印刷領域309を示す表示アイテムを表示する際は、プレビュー領域307に指ごとに画像(指画像)が表示され、例えば4本の指の場合は、4つの指画像がプレビュー領域307に表示される。印刷領域309は指画像上に表示され、1つの指画像につき、1つの印刷領域309が表示され、設定された印刷領域309を示す表示アイテムが表示される。 Furthermore, detection of the nail area is performed for each finger; for example, in the case of four fingers, detection of the nail area is performed four times. When displaying a display item indicating the print area 309, which is the detection result, an image (finger image) is displayed for each finger in the preview area 307; for example, in the case of four fingers, four finger images are displayed in the preview area 307. The print area 309 is displayed on the finger images, one print area 309 is displayed for each finger image, and a display item indicating the set print area 309 is displayed.

このように、印刷領域309の設定後に、設定データ表示領域302からユーザが選択した設定データに対応する画像(爪に印刷される画像)が自動的に印刷領域309に反映される。印刷領域309は、ユーザが大きさを自由に変更することができる。また、ユーザは、設定した印刷領域309を削除することもできる。ユーザがネイルアートを印刷したい爪は、手の全ての指の爪である場合もあれば、一部の指の爪である場合もあり得る。このため、本実施形態では、ユーザが、所望する印刷領域309を設定することが可能となっている。また、本実施形態において画像を反映する印刷対象として、ユーザの爪を想定しているため、設定されている印刷領域309のサイズは、各々異なる可能性がある。従って、本実施形態では、プリンタ151内にユーザが手を挿入して、実際の爪の画像を確認しながら、印刷領域309を設定することで爪の適切な位置にネイルアートを印刷することができる。尚、一度設定した印刷領域309は、後続の画像認識処理等において追従させてもよい。例えば、ユーザが印刷領域309を設定した後に、プリンタ151内で指(または爪)の位置がずれた場合には、設定された印刷領域309の画像領域を追従させることで、自動的に印刷領域309が変わるようにしてもよい。 In this way, after the print area 309 is set, an image (image to be printed on the nail) corresponding to the setting data selected by the user from the setting data display area 302 is automatically reflected in the print area 309. The user can freely change the size of the print area 309. The user can also delete the set print area 309. The nails on which the user wants to print nail art may be all the nails of the finger of the hand, or may be only some of the finger nails. For this reason, in this embodiment, the user can set the desired print area 309. In addition, since the user's nails are assumed to be the printing target on which the image is reflected in this embodiment, the size of the set print area 309 may differ from one another. Therefore, in this embodiment, the user can insert his/her hand into the printer 151 and set the print area 309 while checking the image of the actual nail, thereby printing the nail art at an appropriate position on the nail. In addition, the print area 309 once set may be followed in subsequent image recognition processing, etc. For example, if the position of the finger (or nail) shifts within the printer 151 after the user sets the print area 309, the print area 309 may be automatically changed by making the image area of the set print area 309 follow it.

また、図3のプレビュー領域307の4つの指の画像のいずれかを選択すると、図11に示す第4GUI画面の一例であるネイル画像データ編集画面1101に遷移する。図11に示すネイル画像データ編集画面1101は、完了ボタン1102と、設定データ編集領域1103と、ネイル画像データの各階層表示領域1104と、各階層の編集を実行するボタン1105と、各階層の表示・非表示ボタン1106とを有する。設定データ編集領域1103には、選択した指のネイル画像データが表示される。図11に示すように、ネイル画像データの各階層表示領域1104には、ネイル画像データの第1の階層のデータを表示する表示領域1104aが表示されている。また、各階層表示領域1104には、ネイル画像データの第2の階層のデータを表示する表示領域1104b、ネイル画像データの第3の階層のデータを表示する表示領域1104cが表示されている。例えば第2の階層や第3の階層のネイル画像データを保持しない場合は、表示しなくてもよい。ネイル画像データを予め複数階層構造で保持する処理については後述する。 When any of the four finger images in the preview area 307 in FIG. 3 is selected, the screen transitions to a nail image data editing screen 1101, which is an example of a fourth GUI screen shown in FIG. 11. The nail image data editing screen 1101 shown in FIG. 11 has a completion button 1102, a setting data editing area 1103, a nail image data layer display area 1104, a button 1105 for executing editing of each layer, and a display/non-display button 1106 for each layer. The setting data editing area 1103 displays the nail image data of the selected finger. As shown in FIG. 11, the nail image data layer display area 1104 displays a display area 1104a for displaying data of the first layer of the nail image data. Also, the layer display area 1104 displays a display area 1104b for displaying data of the second layer of the nail image data and a display area 1104c for displaying data of the third layer of the nail image data. For example, if the nail image data of the second layer or the third layer is not held, it may not be displayed. The process of storing nail image data in a multi-hierarchical structure in advance will be described later.

表示領域1104a~1104cの各領域には、各階層の編集を実行するボタン1105a~1105cと、各階層の表示・非表示ボタン1106a~1106cが表示されている。各階層の編集を実行するボタン1105a~1105cは、例えば、ユーザがタップすることで、「編集中」と「編集する」との間で切り替わる。「編集中」となっている階層のネイル画像データは、ユーザが自由に編集することができる。各階層の表示・非表示ボタン1106は、例えば、ユーザがタップすることで、アイコン表示が〇印から×印に切り替わる。アイコンが〇印である階層のネイル画像データが設定データ編集領域1103に表示される。例えば、図11に示すネイル画像データの編集画面1101の例では、第1の階層の編集を実行するボタン1105aは「編集中」と表示されている。そして、第1の階層の表示・非表示ボタン1106aと、第2の階層の表示・非表示ボタン1106bが〇印となっている。そのため、設定データ編集領域1103には、第1の階層と第2の階層のネイル画像データが表示され、第1の階層のネイル画像データの編集が可能となっている。この場合、ユーザは第1の階層のネイル画像データの大きさをある一定の制限範囲内で、自由に設定することができる。制限の内容については、後述する。ユーザは編集を完了すると、完了ボタン1102を押下し、再び印刷データ作成画面301に遷移する。なお、図4に示すプレビュー領域307および領域設定ボタン308が、図3に示した画面全体に重なって、もしくは図3に示した画面全体の代わりに表示されていたとする。その場合に、図4に示す表示状態でユーザが終了の指示を行うことで、領域設定モードが終了し、図3に示す印刷データ作成画面301に移行する。 In each of the display areas 1104a to 1104c, buttons 1105a to 1105c for executing editing of each layer and display/hide buttons 1106a to 1106c for each layer are displayed. For example, when the user taps the buttons 1105a to 1105c for executing editing of each layer, the buttons switch between "editing" and "edit". The user can freely edit the nail image data of the layer that is "editing". For example, when the user taps the display/hide button 1106 for each layer, the icon display switches from a circle to a cross. The nail image data of the layer with the circle icon is displayed in the setting data editing area 1103. For example, in the example of the editing screen 1101 of the nail image data shown in FIG. 11, the button 1105a for executing editing of the first layer is displayed as "editing". And the display/hide button 1106a for the first layer and the display/hide button 1106b for the second layer are circled. Therefore, the setting data editing area 1103 displays the nail image data of the first and second layers, and allows editing of the nail image data of the first layer. In this case, the user can freely set the size of the nail image data of the first layer within a certain limited range. The contents of the restrictions will be described later. When the user completes the editing, he/she presses the completion button 1102 and transitions back to the print data creation screen 301. It should be noted that the preview area 307 and the area setting button 308 shown in FIG. 4 are assumed to be displayed overlapping the entire screen shown in FIG. 3 or in place of the entire screen shown in FIG. 3. In that case, if the user gives an instruction to end in the display state shown in FIG. 4, the area setting mode ends and the screen transitions to the print data creation screen 301 shown in FIG. 3.

図3の印刷データ作成画面301における印刷ボタン310は、印刷開始を指示するボタンである。印刷ボタン310が押下されると、ネイルアプリは、爪に印刷するための印刷データを、印刷領域309に反映された、設定データ表示領域302からユーザが選択した設定データに基づいて作成する。そして、ネイルアプリは、作成した印刷データをプリンタ名表示領域305に表示されたプリンタ151に送信する。尚、図3に示す例では、印刷データは、プレビュー領域307から4つの印刷領域309を抽出して作成される。プリンタ151は、ネイルアプリから送信された印刷データに基づいて、爪への印刷を実行する。 The print button 310 on the print data creation screen 301 in FIG. 3 is a button that instructs the user to start printing. When the print button 310 is pressed, the nail app creates print data for printing on the nails based on the setting data selected by the user from the setting data display area 302, which is reflected in the print area 309. The nail app then sends the created print data to the printer 151 displayed in the printer name display area 305. In the example shown in FIG. 3, the print data is created by extracting four print areas 309 from the preview area 307. The printer 151 executes printing on the nails based on the print data sent from the nail app.

図6は、前述した機能を実現するための情報処理装置101のソフトウェアのブロック構成の一例を示す図である。情報処理装置101は、ネイルアプリ600を有している。情報処理装置101のCPU103が、ROM104または外部記憶装置106に記憶されているネイルアプリ600のプログラムを実行することで、CPU103にネイルアプリ600の各機能を実行させることが可能となる。ネイルアプリ600は、表示制御部610を有する。表示制御部610は、図2に示すネイルアートデータの選択画面201、図5に示すネイル画像データの設定画面501、および図3に示す印刷データ作成画面301を含むGUI画面を表示部108に表示させる機能を有する。また、表示制御部610は、入力インタフェース102の機能を有しており、ユーザから入力される操作指示に応じて各種の制御を行う。表示制御部610は、ネイルアートデータ選択受付部611、ネイル画像データ設定部612、撮影指示部613、画像表示制御部614、爪検出部615、印刷領域設定部616、反映データ受付部617、反映実行部618、および印刷指示部619を有する。 Figure 6 is a diagram showing an example of a block configuration of software of the information processing device 101 for realizing the above-mentioned functions. The information processing device 101 has a nail app 600. The CPU 103 of the information processing device 101 executes the program of the nail app 600 stored in the ROM 104 or the external storage device 106, thereby making it possible for the CPU 103 to execute each function of the nail app 600. The nail app 600 has a display control unit 610. The display control unit 610 has a function of displaying a GUI screen including the nail art data selection screen 201 shown in Figure 2, the nail image data setting screen 501 shown in Figure 5, and the print data creation screen 301 shown in Figure 3 on the display unit 108. In addition, the display control unit 610 has the function of the input interface 102, and performs various controls in response to operation instructions input by the user. The display control unit 610 has a nail art data selection receiving unit 611, a nail image data setting unit 612, a photography instruction unit 613, an image display control unit 614, a nail detection unit 615, a print area setting unit 616, a reflection data receiving unit 617, a reflection execution unit 618, and a print instruction unit 619.

ネイルアートデータ選択受付部611は、図2に示すように、ユーザからのネイルアートデータ203の選択を受け付け、選択されたネイルアートデータ203を取得する。ネイル画像データ設定部612は、図5に示すように、ユーザが左手プレビュー領域503および右手プレビュー領域504の爪領域508に設定したネイル画像データを取得する。撮影指示部613は、図3の撮影ボタン306の押下もしくはプリンタ151が登録されている状態での印刷データ作成画面301への遷移を検知し、該検出に応じてプリンタ151に動画像の撮影を指示する。画像表示制御部614は、プリンタ151から送信された動画像の画像データに基づくプレビュー領域307への表示を制御する。爪検出部615は、撮影画像の解析により爪検出を行い、該爪検出の結果に基づいて印刷領域309を出力する。印刷領域設定部616は、ユーザからの指示に従って、プレビュー領域307上に印刷領域309を設定する。反映データ受付部617は、設定データ表示領域302からユーザが選択した設定データを受け付け、該選択した設定データと印刷領域309との対応付けを行う。反映実行部618は、設定データ表示領域302からユーザが選択した設定データを、対応する印刷領域309に反映させる。印刷指示部619は、印刷領域309に反映された設定データに基づいて、プリンタ151が印刷するための印刷データを作成し、該作成した印刷データをプリンタ151に送信する。 The nail art data selection receiving unit 611 receives the selection of the nail art data 203 from the user as shown in FIG. 2, and acquires the selected nail art data 203. The nail image data setting unit 612 acquires the nail image data set by the user in the nail area 508 of the left hand preview area 503 and the right hand preview area 504 as shown in FIG. 5. The shooting instruction unit 613 detects the pressing of the shooting button 306 in FIG. 3 or the transition to the print data creation screen 301 in a state in which the printer 151 is registered, and instructs the printer 151 to shoot a moving image in response to the detection. The image display control unit 614 controls the display in the preview area 307 based on the image data of the moving image transmitted from the printer 151. The nail detection unit 615 performs nail detection by analyzing the captured image, and outputs the print area 309 based on the result of the nail detection. The print area setting unit 616 sets the print area 309 on the preview area 307 according to the instruction from the user. The reflection data receiving unit 617 receives setting data selected by the user from the setting data display area 302, and associates the selected setting data with the print area 309. The reflection execution unit 618 reflects the setting data selected by the user from the setting data display area 302 in the corresponding print area 309. The print instruction unit 619 creates print data for printing by the printer 151 based on the setting data reflected in the print area 309, and transmits the created print data to the printer 151.

図7は、本実施形態のネイルプリント処理の一例を示すシーケンス図である。図7のネイルアプリ600の処理は、情報処理装置101のCPU103がROM104または外部記憶装置106に記憶されているプログラムコードをRAM105に展開し実行することにより行われる。或いは、図7における一部または全部の処理をASICや電子回路などのハードウェアで実行してもよい。以下、図7を用いて、ユーザがネイルアプリ600を起動し、ネイルアプリ600の制御の下、印刷対象挿入部158に挿入された爪にプリントエンジン155がネイルアートを印刷する流れを説明する。 Figure 7 is a sequence diagram showing an example of the nail print process of this embodiment. The processing of the nail app 600 in Figure 7 is performed by the CPU 103 of the information processing device 101 expanding the program code stored in the ROM 104 or the external storage device 106 into the RAM 105 and executing it. Alternatively, some or all of the processing in Figure 7 may be performed by hardware such as an ASIC or electronic circuit. Below, using Figure 7, a flow will be described in which the user starts the nail app 600 and, under the control of the nail app 600, the print engine 155 prints nail art on a nail inserted into the print target insertion section 158.

まず、ユーザは、ネイルアプリ600を起動する。S701において、表示制御部610は、図2に示す選択画面201を表示部108に表示させる。ここで表示されるネイルアートデータは、ネイルアートの種類によって、予めネイルアプリ600が複数階層構造で保持する。また、ネイルアプリ600がネイルアートデータを複数階層構造に分離してもよい。ネイルアートの種類は、単一色のみのデザイン、柄や模様を含むデザイン、3Dデータを含むデザインに分類される。なお、単一色のデザインは、複数階層構造で保持するデータに該当しない。柄や模様を含むデザインは、柄や模様の一部が欠けてしまうことを防ぐために、柄や模様のデータを含む階層と、柄や模様のデータを含まないベースとなる階層とに分け、階層ごとにそれぞれはみ出し量の調整を行う。階層ごとにそれぞれはみ出し量の調整を行う処理は後述で説明する。 First, the user starts the nail app 600. In S701, the display control unit 610 causes the display unit 108 to display the selection screen 201 shown in FIG. 2. The nail art data displayed here is stored in advance by the nail app 600 in a multi-layered structure depending on the type of nail art. The nail app 600 may also separate the nail art data into a multi-layered structure. The types of nail art are classified into designs with only a single color, designs with patterns or patterns, and designs with 3D data. Note that single-color designs do not fall under the category of data stored in a multi-layered structure. Designs with patterns or patterns are separated into a layer that includes data on the pattern or pattern and a base layer that does not include data on the pattern or pattern in order to prevent parts of the pattern or pattern from being missing, and the amount of overflow is adjusted for each layer. The process of adjusting the amount of overflow for each layer will be described later.

図8(a)及び図8(b)は、柄や模様を含むデザインの一例であり、2層階層でネイル画像データを保持する。図8(a)は、柄や模様を含むデザインのネイル画像データの例示であり、図8(b)は、図8(a)を2層の階層で保持する例を示している。第1の階層800は、ネイル画像データのベースとなるデータ、つまり、単色であり、かつ柄や模様を含まないデザインデータを保持する階層である。第2の階層801は、柄や模様を含む2Dデザインデータを保持する階層である。図9(a)は3Dデータを含むデザインのネイル画像データの例を示している。図9(b)は、図9(a)を3層の階層で保持する例を示している。第1の階層800は、ネイル画像データのベースとなるデータ、つまり、単色であり、かつ柄や模様を含まないデザインデータを保持する階層である。第2の階層801は、柄や模様を含む2Dデザインデータを保持する階層である。第3の階層900は、3Dデータを含むデザインデータを保持する階層である。さらに第3の階層900は、図9(c)に示す3Dデータ901と図9(d)に示す3Dデータの接着面領域902を保持する。それぞれの階層ごとに行うはみ出し量の調整については、S717の設定データ反映の際に説明する。 Figures 8(a) and 8(b) are examples of designs including patterns and patterns, and the nail image data is stored in a two-layer hierarchy. Figure 8(a) is an example of nail image data of a design including patterns and patterns, and Figure 8(b) shows an example of storing Figure 8(a) in a two-layer hierarchy. The first layer 800 is a layer that stores data that is the base of the nail image data, that is, design data that is monochromatic and does not include patterns or patterns. The second layer 801 is a layer that stores 2D design data that includes patterns and patterns. Figure 9(a) shows an example of nail image data of a design including 3D data. Figure 9(b) shows an example of storing Figure 9(a) in a three-layer hierarchy. The first layer 800 is a layer that stores data that is the base of the nail image data, that is, design data that is monochromatic and does not include patterns or patterns. The second layer 801 is a layer that stores 2D design data that includes patterns and patterns. The third layer 900 is a layer that stores design data that includes 3D data. Furthermore, the third layer 900 holds the 3D data 901 shown in FIG. 9(c) and the adhesive surface area 902 of the 3D data shown in FIG. 9(d). The adjustment of the overhang amount for each layer will be explained when reflecting the setting data in S717.

S702において、ユーザは、ネイルアートデータ選択画面201上で印刷したい1または複数のネイルアートデータ203を選択する。ネイルアートデータ選択受付部611は、ネイルアートデータ選択画面201のネイルアートデータ表示領域202を介して、ユーザによる1つまたは複数のネイルアートデータ203の選択を受け付ける。ユーザが、1つまたは複数のネイルアートデータ203を選択後、決定ボタン204を押下した場合、表示制御部610は、該押下を検出し、図5に示すネイル画像データ設定画面501を表示部108に表示させる。 In S702, the user selects one or more nail art data 203 to be printed on the nail art data selection screen 201. The nail art data selection receiving unit 611 receives the user's selection of one or more nail art data 203 via the nail art data display area 202 of the nail art data selection screen 201. When the user presses the confirm button 204 after selecting one or more nail art data 203, the display control unit 610 detects the press and causes the display unit 108 to display the nail image data setting screen 501 shown in FIG. 5.

ネイル画像データ設定画面501のネイルアートデータ表示領域502には、S702でユーザが選択した1つまたは複数のネイルアートデータ203が表示される。S703において、ユーザは、ネイルアートデータ表示領域502に表示されているネイルアートデータの中から1つのネイルアートデータを選択する。S704において、ネイル画像データ設定部612は、爪領域508に対して、S703で選択されたネイルアートデータに含まれるネイル画像データを設定する。 The nail art data display area 502 of the nail image data setting screen 501 displays one or more nail art data 203 selected by the user in S702. In S703, the user selects one nail art data from the nail art data displayed in the nail art data display area 502. In S704, the nail image data setting unit 612 sets the nail image data included in the nail art data selected in S703 to the nail area 508.

その後、ユーザが設定完了ボタン507を押下した場合、表示制御部610は、該押下を検出し、図3に示す印刷データ作成画面301を表示部108に表示させる。この時の印刷データ作成画面301の設定データ表示領域302には、S704で設定された1つまたは複数のネイル画像データである設定データが表示されている。 After that, when the user presses the setting completion button 507, the display control unit 610 detects the pressing and causes the display unit 108 to display the print data creation screen 301 shown in FIG. 3. At this time, the setting data display area 302 of the print data creation screen 301 displays the setting data, which is one or more nail image data set in S704.

プリンタ151が登録されていない場合は、ネイルアプリ600は、ネイルアプリ600と通信可能なプリンタを検索する検索処理を実行する。この検索処理実行後、表示制御部610は、検索結果として、ネイルアプリ600と通信可能なプリンタリストを表示部108に表示させる。プリンタリストが表示部108に表示されると、S705において、ユーザは、リストの中から使用するプリンタを指定する。尚、ここでは、ユーザがプリンタ151を指定したものとする。すると、表示制御部610は、ユーザによるプリンタ151の指定指示を受け付ける。 If printer 151 is not registered, nail app 600 executes a search process to search for a printer that can communicate with nail app 600. After executing this search process, display control unit 610 causes display unit 108 to display a list of printers that can communicate with nail app 600 as the search results. When the printer list is displayed on display unit 108, in S705, the user specifies the printer to be used from the list. Note that it is assumed here that the user specifies printer 151. Then, display control unit 610 accepts an instruction from the user to specify printer 151.

S706において、撮影指示部613は、選択されたプリンタ151に対する通信処理を実行し、プリンタ151に対して、撮影部157による撮影を指示する。尚、S706において、撮影指示部613が、プリンタ151に対してカメラ起動ジョブを送信し、プリンタ151は、このカメラ起動ジョブの受信に応じて、撮影部157を起動して撮影を開始しても良い。 In S706, the photographing instruction unit 613 executes communication processing for the selected printer 151 and instructs the printer 151 to photograph using the photographing unit 157. Note that in S706, the photographing instruction unit 613 may transmit a camera start-up job to the printer 151, and in response to receiving this camera start-up job, the printer 151 may start up the photographing unit 157 and begin photographing.

S707において、プリンタ151は、撮影部157で撮影している動画像を情報処理装置101に送信する。この動画像は、図3に示す印刷データ作成画面301のプレビュー領域307に表示される。撮影部157で撮影された動画像は、ほぼリアルタイムでプレビュー領域307に表示される。印刷対象挿入部158にユーザの手が挿入されると、プレビュー領域307に、印刷対象挿入部158に挿入されたユーザの指先の動画像が表示されている状態となる。 In S707, the printer 151 transmits the moving image captured by the image capture unit 157 to the information processing device 101. This moving image is displayed in the preview area 307 of the print data creation screen 301 shown in FIG. 3. The moving image captured by the image capture unit 157 is displayed in the preview area 307 almost in real time. When the user's hand is inserted into the print object insertion unit 158, the preview area 307 displays a moving image of the user's fingertip inserted into the print object insertion unit 158.

S708において、ユーザは、設定データ表示領域302に表示されている設定データの中から、爪に印刷する設定データを1つ選択する。S709において、ネイルアートデータ選択受付部611は、ユーザによる1つの設定データの選択指示を受け付ける。表示制御部610は、ユーザによって選択された設定データをハイライト表示する。 In S708, the user selects one piece of setting data to be printed on the nail from the setting data displayed in the setting data display area 302. In S709, the nail art data selection receiving unit 611 receives an instruction from the user to select one piece of setting data. The display control unit 610 highlights the setting data selected by the user.

S710において、ユーザは、印刷を行うプリンタ151に設けられた印刷対象挿入部158にユーザの手を挿入する。このとき、S708で設定したネイル画像データをより精彩に印刷するために、予めユーザの爪にジェル状の液体を塗布しておく。以下、この液体をベースコートと呼ぶ。このベースコートの色は、複数存在し、例えば白、半透明等がある。また、画像表示制御部614は、S709の後のタイミングで、プリンタ151に手を挿入することをユーザに促すメッセージを表示しても良い。ベースコートの塗布後、後述するS722の印刷実行時にインクが皮膚に付着することを防ぐために、予めユーザの爪の周りに皮膚の保護剤の液体を塗布しておく。以下、この液体を保護剤と呼ぶ。この保護剤の色は、ベースコートと異なる色であれば良い。理由については、S716の爪検出および保護剤検出で後述する。 In S710, the user inserts the user's hand into the print object insertion section 158 provided in the printer 151 that will perform printing. At this time, in order to print the nail image data set in S708 more vividly, a gel-like liquid is applied to the user's nails in advance. Hereinafter, this liquid is referred to as the base coat. There are multiple colors for this base coat, such as white and translucent. In addition, the image display control section 614 may display a message prompting the user to insert the hand into the printer 151 at a timing after S709. After the application of the base coat, in order to prevent ink from adhering to the skin when printing is performed in S722, which will be described later, a skin protective agent liquid is applied around the user's nails in advance. Hereinafter, this liquid is referred to as the protective agent. The color of this protective agent may be any color different from that of the base coat. The reason for this will be described later in the nail detection and protective agent detection in S716.

S711において、ユーザは、S707で送信開始された動画像がプレビュー領域307に表示されている状態において、印刷領域309を設定する。具体的には、ユーザは、印刷領域設定ボタン308を押下する。尚、後述するS716の爪検出では、印刷領域設定ボタン308の押下に応じて、爪検出部615によって、プレビュー領域307上において印刷領域309を示す表示アイテムが自動的に表示される。本実施形態では、設定可能な印刷領域309の数が予め所定値に規定されているものとする。例えば、図3に示すケースでは、片手の人差し指、中指、薬指、小指の爪の数に対応しているので、所定値は、「4」として規定されている。この所定値は、印刷対象挿入部158に搭載されたレールの本数および設定データに含まれるネイル画像データの数に対応する。以下では、ユーザが、この所定値と同じ数の印刷領域309を設定する形態、つまり、4つの印刷領域309を設定する形態を例に挙げて説明する。ここで設定された印刷領域309の数は、第1の所定値としてRAM105に保存される。つまり、本例では、第1の所定値は、「4」である。 In S711, the user sets the print area 309 while the video image started to be transmitted in S707 is displayed in the preview area 307. Specifically, the user presses the print area setting button 308. In the nail detection in S716 described later, the nail detection unit 615 automatically displays a display item indicating the print area 309 in the preview area 307 in response to pressing the print area setting button 308. In this embodiment, the number of print areas 309 that can be set is set to a predetermined value in advance. For example, in the case shown in FIG. 3, since the number of nails corresponds to the number of nails of the index finger, middle finger, ring finger, and little finger of one hand, the predetermined value is set to "4". This predetermined value corresponds to the number of rails mounted on the print object insertion unit 158 and the number of nail image data included in the setting data. In the following, a form in which the user sets the same number of print areas 309 as this predetermined value, that is, a form in which four print areas 309 are set, is described as an example. The number of print areas 309 set here is stored in the RAM 105 as a first predetermined value. That is, in this example, the first predetermined value is "4."

S712において、撮影指示部613は、プリンタ151に対して静止画像の撮影指示を送信する。プリンタ151に送信される撮影指示には、撮影対象となる爪に対応するレール番号も含まれている。例えば4本のレールを左から1~4の番号とした場合、左手の小指を撮影する際は「1」、左手の人差し指を撮影する際は「4」、右手の人差し指を撮影する際は「1」、右手の小指を撮影する際は「4」の番号が送信される。 In S712, the photography instruction unit 613 transmits a photography instruction to the printer 151 to capture a still image. The photography instruction transmitted to the printer 151 also includes the rail number corresponding to the nail to be photographed. For example, if the four rails are numbered 1 to 4 from the left, the number "1" is transmitted when photographing the little finger of the left hand, the number "4" is transmitted when photographing the index finger of the left hand, the number "1" is transmitted when photographing the index finger of the right hand, and the number "4" is transmitted when photographing the little finger of the right hand.

S713において、プリンタ151は、受信したレール番号に対応したレールを上昇させ、爪がプリンタ151の記録ヘッドと近接する高さとなるように調整する。爪の高さを記録ヘッドに近接する高さにすることで、インクジェットプリンタであれば、記録ヘッドから吐出されるインク滴が確実に爪に着弾できるようにする。高さ調整には、プリンタ151に搭載された可動型のレーザーセンサを用いる。レーザーセンサを記録ヘッドと近接した高さに設置し、レーザーが遮断されないぎりぎりの高さまで爪の高さを上げるようにする。爪の高さ調整では、爪のおおよその位置を把握した上でレーザーセンサの可動範囲を爪の範囲に絞った方が指全体に基づいてレーザーセンサの可動範囲を決定するよりも効率的に高さ調整を行える。そのため、爪の高さ調整を行う前に事前に爪検出を行い、S712の撮影指示と合わせて爪の位置情報をネイルアプリ600からプリンタ151に送信しても良い。本実施形態では、このような事前の爪検出のことをプレ爪検出と呼ぶことにする。プレ爪検出を行う場合は、S712の前に、ネイルアプリ600は、プリンタ151に撮影指示を送信する。尚、プレ爪検出では爪の高さ調整は行わないため、プレ爪検出のために送信する撮影指示には、前述したレール番号を含めなくてよい。撮影指示を受信したプリンタ151は、撮影部157で静止画像の撮影を行う。静止画像の撮影が終了すると、プリンタ151は、撮影画像を情報処理装置101に送信する。ネイルアプリ600は、受信した撮影画像から爪を検出し、検出した全ての爪の位置を示す情報(爪位置情報)を保持しておく。そして、ネイルアプリ600は、S712で撮影指示する際にレール番号と合わせて撮影対象の爪の爪位置情報をプリンタ151に送信する。プリンタ151は、受信した爪の爪位置情報を用いて、レーザーセンサの可動範囲を絞って対象の爪の高さを調整する。 In S713, the printer 151 raises the rail corresponding to the received rail number and adjusts the height of the nail so that it is close to the recording head of the printer 151. By adjusting the height of the nail to a height close to the recording head, if it is an inkjet printer, ink droplets ejected from the recording head can be reliably landed on the nail. A movable laser sensor mounted on the printer 151 is used for height adjustment. The laser sensor is installed at a height close to the recording head, and the height of the nail is raised to the maximum height where the laser is not blocked. In adjusting the height of the nail, it is more efficient to narrow the movable range of the laser sensor to the range of the nail after grasping the approximate position of the nail than to determine the movable range of the laser sensor based on the entire finger. Therefore, before adjusting the height of the nail, nail detection may be performed in advance, and the nail position information may be sent from the nail app 600 to the printer 151 together with the shooting instruction in S712. In this embodiment, such advance nail detection is called pre-nail detection. When performing pre-nail detection, the nail app 600 sends a shooting instruction to the printer 151 before S712. Since the nail height is not adjusted in pre-nail detection, the image capture instruction sent for pre-nail detection does not need to include the rail number described above. Upon receiving the image capture instruction, the printer 151 captures a still image with the image capture unit 157. When the still image capture is completed, the printer 151 transmits the captured image to the information processing device 101. The nail app 600 detects the nails from the received captured image and stores information indicating the positions of all detected nails (nail position information). Then, when issuing an image capture instruction in S712, the nail app 600 transmits nail position information of the nail to be captured together with the rail number to the printer 151. The printer 151 adjusts the height of the target nail by narrowing the movable range of the laser sensor using the received nail position information of the nail.

爪の高さ調整が終了すると、S714において、撮影部157は、静止画の撮影を行う。撮影が終了すると、プリンタ151は、対象のレールの高さを初期値に戻し、S715において、プリンタ151は、情報処理装置101に撮影データを送信する。 When the claw height adjustment is complete, in S714, the image capture unit 157 captures a still image. When the image capture is complete, the printer 151 returns the height of the target rail to the initial value, and in S715, the printer 151 transmits the captured image data to the information processing device 101.

S716において、ネイルアプリ600は、受信した撮影画像から、爪の領域および保護剤の領域を検出する。S716で検出した爪領域と保護剤領域から、印刷データ作成画面301の印刷領域309が設定される。爪の検出の一手法として、爪に塗布したベースコートの白色を画像処理で検出する方法がある。具体的には、撮影画像のRGB値から所定の閾値(例えばR>200、G>200、B>200)を超える画素を検出し、該検出した画素を爪領域の画素と判定する。爪検出の際に指の下にあるレールを爪と誤検出しないように、レールは黒などの白以外の色にする。また、ライトの反射で撮影画像が白飛びした部分を誤検知しないように、例えば、光が乱反射する素材でレールを構成する。また、画像処理による検出では、ベースコートが半透明の場合に検出が困難になるため、別の検出方法として機械学習を用いてもよい。機械学習で学習させる画像として、白や半透明のベースコートが塗布された爪を含んだ指画像を用いることで、白だけでなく半透明のベースコートであっても爪領域の検出が可能になる。機械学習では、用意した学習画像のどこに爪があるかを学習させていき、学習モデルを構築する。構築した学習モデルはネイルアプリ600に組み込まれ、CPU103やGPU110によって処理されて撮影画像から爪領域を検出するのに用いられる。肌の色や爪の形は人によって異なるため、学習画像に多くの手のパターンを用意して学習させていくことで、あらゆる爪を検出できるようになる。機械学習には数多くのフレームワークが存在しており、既存のフレームワークを用いることで、機械学習を実現することができる。また、保護剤検出の一手法として、爪の周りに塗布した皮膚の保護剤の色を画像処理で検出する方法がある。具体的には、前述の爪検出方法と同様である。ただし、前述の爪検出において、爪に塗布したベースコートの白色を画像処理で検出する場合は、爪の領域と保護剤の領域を識別するために、皮膚の保護剤の色は白色以外の色を用いる。また、皮膚の保護剤の色が半透明の場合は、機械学習を用いてもよい。また、皮膚の保護剤検出を行わない場合は、予め設定した閾値に基づいて皮膚の保護剤領域を判定してもよい。S716で検出した爪の領域と保護剤の領域に応じて、後述のS717ではみ出し量の制限を行う。 In S716, the nail app 600 detects the nail area and the protective agent area from the received captured image. The print area 309 of the print data creation screen 301 is set from the nail area and protective agent area detected in S716. One method of detecting nails is to detect the white color of the base coat applied to the nail by image processing. Specifically, pixels exceeding a predetermined threshold value (e.g., R>200, G>200, B>200) are detected from the RGB values of the captured image, and the detected pixels are determined to be pixels of the nail area. In order to prevent the rail under the finger from being erroneously detected as a nail during nail detection, the rail is made of a color other than white, such as black. In addition, in order to prevent erroneous detection of whiteout parts of the captured image due to light reflection, for example, the rail is made of a material that diffuses light. In addition, since detection by image processing is difficult when the base coat is translucent, machine learning may be used as another detection method. By using finger images including nails coated with a white or translucent base coat as images to be trained by machine learning, it becomes possible to detect nail regions even when the base coat is not only white but also translucent. In machine learning, a learning model is constructed by learning where the nails are in the prepared training images. The constructed learning model is incorporated into the nail app 600, processed by the CPU 103 and the GPU 110, and used to detect nail regions from captured images. Since skin color and nail shape vary from person to person, by preparing many hand patterns in the training images and training them, it becomes possible to detect all kinds of nails. There are many frameworks for machine learning, and machine learning can be realized by using existing frameworks. In addition, as one method of detecting a protective agent, there is a method of detecting the color of a skin protective agent applied around the nail by image processing. Specifically, it is the same as the above-mentioned nail detection method. However, in the above-mentioned nail detection, when the white color of the base coat applied to the nail is detected by image processing, the color of the skin protective agent is a color other than white in order to distinguish the nail region from the protective agent region. In addition, when the color of the skin protective agent is translucent, machine learning may be used. Furthermore, if skin protective agent detection is not performed, the skin protective agent area may be determined based on a preset threshold value. Depending on the nail area and protective agent area detected in S716, the amount of overflow is limited in S717, which will be described later.

尚、S712からS716までの処理は、撮影対象の爪の数だけ繰り返し行われる。例えば、左手の小指から人差し指の4つの爪が対象になる場合、指ごとに指上昇~撮影~撮影データの送信~爪検出および保護剤検出を繰り返し行う。この場合、撮影画像は、合計4枚になる。 The processes from S712 to S716 are repeated for the number of nails to be photographed. For example, if the four nails from the pinky finger to the index finger of the left hand are to be photographed, the process of lifting the finger, photographing, sending the photographed data, and detecting the nail and protective agent is repeated for each finger. In this case, a total of four images are photographed.

S717において、印刷領域設定部616は、印刷領域309を設定する際、各撮影画像から対象の爪が撮影された部分を切り出してプレビュー領域307に表示する。つまり、プレビュー領域307には切り出された4枚の指画像が並べられて表示され、各指画像の爪領域上に印刷領域309が設定される。さらに、ネイルアプリ600は、S716で検出された爪の領域と保護剤の領域に応じて、はみ出し量の調整を行う。 In S717, when setting the print area 309, the print area setting unit 616 cuts out the part of each captured image in which the target nail is captured, and displays it in the preview area 307. In other words, the four cut-out finger images are displayed side by side in the preview area 307, and the print area 309 is set on the nail area of each finger image. Furthermore, the nail app 600 adjusts the amount of overhang depending on the nail area and protective agent area detected in S716.

図10は、はみ出し量調整データを生成する処理を示すフローチャートである。図10の処理は、情報処理装置101のCPU103がROM104または外部記憶装置106に記憶されているプログラムコードをRAM105に展開し実行することにより行われる。S1001において、ネイルアプリ600は、S703で選択されたネイルアートデータに含まれるネイル画像データが階層構造になっているデータであるか否かを判定する。階層構造になっているデータでないと判定された場合、何も行わず、S1007において、ネイルアプリ600は、当該データを設定データとして置き換える。階層構造になっているデータであると判定された場合、S1002において、ネイルアプリ600は、第1の階層800のはみ出し量をありに設定する。ここで、はみ出し量をありに設定するとは、第1の階層800を、S716で検出された爪の領域より大きく、且つ、S716で検出された保護剤の領域に達しないように小さく設定することである。尚、S716で検出された保護剤の領域に達しないように小さく制限することで、インクが皮膚に付着することを防ぐことができる。 FIG. 10 is a flowchart showing a process for generating overflow amount adjustment data. The process of FIG. 10 is performed by the CPU 103 of the information processing device 101 expanding the program code stored in the ROM 104 or the external storage device 106 into the RAM 105 and executing it. In S1001, the nail application 600 determines whether the nail image data included in the nail art data selected in S703 is data with a hierarchical structure. If it is determined that the data is not hierarchically structured, nothing is done, and in S1007, the nail application 600 replaces the data as setting data. If it is determined that the data is hierarchically structured, in S1002, the nail application 600 sets the overflow amount of the first layer 800 to yes. Here, setting the overflow amount to yes means setting the first layer 800 to a value larger than the nail area detected in S716 and smaller so as not to reach the protective agent area detected in S716. Furthermore, by limiting the area to be covered by the protective agent detected in S716, it is possible to prevent the ink from coming into contact with the skin.

次に、S1003において、ネイルアプリ600は、第2の階層801のはみ出し量をなしに設定する。第2の階層801は、柄や模様を含む2Dデザインデータのため、はみ出し量をなしにすることで、柄や模様が欠けてしまうことを防ぐことができる。次に、S1004において、ネイルアプリ600は、ネイル画像データが第3の階層900を保持しているか否かを判定する。第3の階層900を保持していないと判定された場合、S1006において、ネイルアプリ600は、第1の階層800と第2の階層801の結合を行い、S1007において、結合したデータを設定データとして置換える。一方、第3の階層900を保持していると判定された場合、S1005において、ネイルアプリ600は、3Dデータの接着面領域902を、S716で検出された爪の領域より小さくなるように設定する。そして、S1006において、ネイルアプリ600は、第1の階層800と第2の階層801と第3の階層802の結合を行い、S1007において、結合したデータを設定データとして置換える。 Next, in S1003, the nail app 600 sets the overhang amount of the second layer 801 to none. Since the second layer 801 is 2D design data including patterns and designs, by setting the overhang amount to none, it is possible to prevent the patterns and designs from being missing. Next, in S1004, the nail app 600 determines whether the nail image data holds the third layer 900. If it is determined that the third layer 900 is not held, in S1006, the nail app 600 combines the first layer 800 and the second layer 801, and in S1007, replaces the combined data as the setting data. On the other hand, if it is determined that the third layer 900 is held, in S1005, the nail app 600 sets the adhesive surface area 902 of the 3D data to be smaller than the nail area detected in S716. Then, in S1006, the nail app 600 combines the first layer 800, the second layer 801, and the third layer 802, and in S1007, replaces the combined data as the setting data.

印刷領域設定部616によって印刷領域309が設定された後、S717において、反映データ受付部617は、設定データとして設定されているネイル画像データと、設定された印刷領域309との対応付けを行う。そして、反映実行部618は、この対応付けに基づいて印刷領域309に設定データを反映する。尚、図3に示すケースでは、設定データ302cに含まれる4種類のネイル画像データのそれぞれと、設定された4つの印刷領域309のそれぞれとの間での対応付けが行われることになる。 After the print area 309 is set by the print area setting unit 616, in S717, the reflection data receiving unit 617 associates the nail image data set as the setting data with the set print area 309. The reflection execution unit 618 then reflects the setting data in the print area 309 based on this association. In the case shown in FIG. 3, a correspondence is created between each of the four types of nail image data included in the setting data 302c and each of the four set print areas 309.

S718において、ユーザは、必要に応じて印刷領域309の編集を行う。具体的には、ユーザがプレビュー領域307の編集を行いたい指を選択すると、図11に示すネイル画像データ編集画面1101に遷移し、選択した指のネイル画像データ各階層の編集が可能となる。ユーザは、表示したい階層の表示・非表示ボタン1106を選択する。次に、ユーザが編集を行いたい階層の編集実行ボタン1105を選択することで、設定データ編集領域1103に選択された階層のネイル画像データが表示される。ユーザは、表示されている階層のネイル画像データの大きさを調整することができる。ただし、それぞれの階層における編集は、上述の制限の下、実行可能である。例えば、第1の階層においては、S716で検出された爪の領域より大きく、S716で検出された保護剤の領域に達しない範囲で調整が可能である。第2の階層においては、S716で検出された爪の領域より小さい範囲で調整が可能である。第3の階層においては、3Dデータの接着面領域902をS716で検出された爪の領域より小さい範囲で調整が可能である。このとき、編集の受付は反映データ受付部617が行い、編集した結果の反映は反映実行部618が行う。 In S718, the user edits the print area 309 as necessary. Specifically, when the user selects the finger for which the user wants to edit the preview area 307, the screen transitions to the nail image data editing screen 1101 shown in FIG. 11, and each layer of the nail image data of the selected finger can be edited. The user selects the display/hide button 1106 of the layer to be displayed. Next, the user selects the edit execution button 1105 of the layer for which the user wants to edit, and the nail image data of the selected layer is displayed in the setting data editing area 1103. The user can adjust the size of the nail image data of the displayed layer. However, editing in each layer can be performed under the above-mentioned restrictions. For example, in the first layer, adjustment is possible within a range larger than the nail area detected in S716 and not reaching the protective agent area detected in S716. In the second layer, adjustment is possible within a range smaller than the nail area detected in S716. In the third layer, the adhesive surface area 902 of the 3D data can be adjusted within a range smaller than the nail area detected in S716. At this time, the edits are accepted by the reflection data acceptance unit 617, and the edit results are reflected by the reflection execution unit 618.

S719において、ユーザは、印刷ボタン310を押下する。印刷ボタン310の押下に応じて、印刷指示部619は、設定データ表示領域302に表示されている設定データの中からユーザによって選択された設定データが印刷領域309に反映された画像を印刷するための印刷データを作成する。具体的には、ユーザは、印刷領域309に対して設定データ表示領域302に表示されている設定データの中からユーザが選択した設定データを反映し、ユーザは、表示内容を確認した後に、印刷ボタン310を押下する。印刷指示部619は、印刷ボタン310の押下に応じて印刷データを生成する。この際、ネイルアプリ600は、「印刷対象挿入部158に挿入されている手を動かさないでください」という主旨のメッセージを表示しても良い。 In S719, the user presses the print button 310. In response to the pressing of the print button 310, the print instruction unit 619 creates print data for printing an image in which the setting data selected by the user from the setting data displayed in the setting data display area 302 is reflected in the print area 309. Specifically, the user reflects the setting data selected by the user from the setting data displayed in the setting data display area 302 in the print area 309, and after checking the displayed content, the user presses the print button 310. The print instruction unit 619 generates print data in response to the pressing of the print button 310. At this time, the nail app 600 may display a message to the effect that "Please do not move the hand inserted in the print target insertion section 158."

S720において、ネイルアプリ600は、生成された印刷データをプリンタ151に送信する。S718において、ネイルアプリ600は、S719で生成された印刷データをプリンタ151に送信する。なお、この印刷データには、図3に示す画面により設定された印刷領域309が反映されている。例えば、印刷データにおいて、爪に印刷される印刷対象の画像の位置及び大きさが、図3で設定された印刷領域309の位置及び大きさに対応する。そのため、後述するS722においてプリンタ151により、指の中で、印刷領域309に対応する部分に印刷が実行される。 In S720, the nail app 600 sends the generated print data to the printer 151. In S718, the nail app 600 sends the print data generated in S719 to the printer 151. Note that this print data reflects the print area 309 set on the screen shown in FIG. 3. For example, in the print data, the position and size of the image to be printed on the nail correspond to the position and size of the print area 309 set in FIG. 3. Therefore, in S722, which will be described later, the printer 151 prints on the part of the finger that corresponds to the print area 309.

S721において、プリンタ151は、S713でレールを上昇させた時と同じ高さにレールを上昇させる。これにより、爪の位置が印刷に適した位置に再度設定される。S722において、プリンタ151は、送信された印刷データに基づいて、印刷を行う。S722の結果、ネイル画像データにより表現されるネイルアートがユーザの爪に印刷されることになる。S720からS722までの処理は、印刷対象の爪の数だけ繰り返し行われる。例えば、左手の小指から人差し指の4つの爪が対象になる場合、指ごとに印刷データ送信~指上昇~印刷が繰り返し行われる。尚、プリンタ151は、印刷中も爪の撮影を継続しており、印刷が完了する前に手がプリンタ151の印刷対象挿入部158から離れたことを検出した場合、印刷を停止しても良い。また、印刷が完了する前に手がプリンタ151の印刷対象挿入部158から離れたことをネイルアプリ600が検出し、ネイルアプリ600がプリンタ151に印刷の停止を指示しても良い。 In S721, the printer 151 raises the rail to the same height as when the rail was raised in S713. This resets the position of the nail to a position suitable for printing. In S722, the printer 151 performs printing based on the transmitted print data. As a result of S722, the nail art represented by the nail image data is printed on the user's nail. The processes from S720 to S722 are repeated as many times as the number of nails to be printed. For example, when the four nails from the little finger to the index finger of the left hand are the targets, the process of transmitting print data, raising the finger, and printing is repeated for each finger. Note that the printer 151 continues to photograph the nails during printing, and may stop printing if it detects that the hand has left the print object insertion section 158 of the printer 151 before printing is completed. Also, the nail app 600 may detect that the hand has left the print object insertion section 158 of the printer 151 before printing is completed, and the nail app 600 may instruct the printer 151 to stop printing.

以上説明したように、本実施形態によれば、被印刷領域が各指の爪といったような個人差が大きく且つ小さな領域の場合でも、データの各階層ごとにはみ出し量の調整を行うことができる。そのため、印刷データの一部の欠落を防ぐことができ、印刷精度を向上させることができる。 As described above, according to this embodiment, even when the printing area is a small area with large individual differences, such as the nails of each finger, it is possible to adjust the amount of overflow for each layer of data. This makes it possible to prevent parts of the print data from being lost, improving printing accuracy.

本実施形態では、印刷対象挿入部158に片手の手を入れる形態のプリンタ151を例に挙げて説明したが、この形態に限られない。例えば、店舗等に設置されるようなプリンタで、印刷対象挿入部158に両手を入れるようなものでもよい。この場合、ネイルアプリのGUI操作は、店員等が行えばよい。また、本実施形態では、主に、ネイルアートとして画像(模様)を印刷する例を挙げて説明したが、3次元構造物等を示す形状データと画像データとを用いて、模様を含む構造物をネイルアートとして形成するような形態でもよい。また、本実施形態では、手をプリンタ151の印刷対象挿入部158に挿入し、爪に直接印刷する形態を説明したが、別の形態でも良い。例えば、シール等の爪に装着するオブジェクトに対して印刷を行うプリンタを使って印刷する場合に、本実施形態を適用できる。また、本実施形態では、検出対象として手の爪を例に挙げて説明したが、検出対象として手の爪以外のものを採用しても良い。例えば、検出対象として顔や足の爪を採用しても良い。また、本実施形態では、4枚の指画像において爪を検出する形態を示したが、2以上の任意の整数の何れかの枚数の指画像において爪を検出する形態であれば、本実施形態を適用できる。 In this embodiment, the printer 151 is described as an example in which one hand is inserted into the print object insertion section 158, but this is not limited to this. For example, it may be a printer installed in a store or the like in which both hands are inserted into the print object insertion section 158. In this case, the GUI operation of the nail app may be performed by a store clerk or the like. In addition, in this embodiment, an example of printing an image (pattern) as nail art has been mainly described, but a structure including a pattern may be formed as nail art using shape data and image data indicating a three-dimensional structure or the like. In addition, in this embodiment, a form in which a hand is inserted into the print object insertion section 158 of the printer 151 and printing is performed directly on the nail has been described, but another form may be used. For example, this embodiment can be applied when printing is performed using a printer that prints objects to be attached to the nail, such as stickers. In addition, in this embodiment, the fingernails have been described as an example of the detection target, but something other than the fingernails may be used as the detection target. For example, the face or toenails may be used as the detection target. Additionally, in this embodiment, nails are detected in four finger images, but this embodiment can be applied as long as nails are detected in any integer number of finger images equal to or greater than two.

本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。 The present invention can also be realized by supplying a program that realizes one or more of the functions of the above-mentioned embodiments to a system or device via a network or a storage medium, and having one or more processors in the computer of the system or device read and execute the program. It can also be realized by a circuit (e.g., an ASIC) that realizes one or more functions.

本実施形態の開示は、以下の情報処理装置、方法およびプログラム、印刷システムを含む。
(項目1)
印刷データを複数階層の構造で保持する保持手段と、
前記印刷データの複数階層それぞれについて、前記印刷データに基づいて印刷を実行する印刷対象上の印刷領域からのはみ出し量を設定する設定手段と、
を備え、
前記複数階層のうちの第1階層において前記設定手段により設定可能な第1のはみ出し量と、前記第1階層と異なる第2階層において前記設定手段により設定可能な第2のはみ出し量とは異なる、
ことを特徴とする情報処理装置。
(項目2)
前記印刷対象の画像データを取得する取得手段と、
前記取得手段により取得された前記印刷対象の画像データを解析する解析手段と、をさらに備え、
前記設定手段は、前記解析手段による解析の結果に基づいて、前記印刷対象上の印刷領域からのはみ出し量を設定する、
ことを特徴とする項目1に記載の情報処理装置。
(項目3)
前記解析手段は、前記印刷対象上の印刷領域と、前記印刷対象上で印刷を制限する領域とを特定することを特徴とする項目2に記載の情報処理装置。
(項目4)
前記解析手段は、前記印刷対象に塗布された色を解析することにより、前記印刷領域と前記印刷を制限する領域とを特定することを特徴とする項目3に記載の情報処理装置。
(項目5)
前記印刷を制限する領域は、前記印刷領域の周りに位置する領域であることを特徴とする項目3又は4に記載の情報処理装置。
(項目6)
前記第1のはみ出し量および前記第2のはみ出し量は、前記印刷を制限する領域に達しない量であることを特徴とする項目5に記載の情報処理装置。
(項目7)
前記第2のはみ出し量は、前記第1のはみ出し量よりも小さいことを特徴とする項目6に記載の情報処理装置。
(項目8)
前記第2のはみ出し量は、前記第2階層におけるはみ出しをなしとするように定められている量であることを特徴とする項目7に記載の情報処理装置。
(項目9)
前記第2階層は、前記第1階層よりも上に位置する層であることを特徴とする項目7又は8に記載の情報処理装置。
(項目10)
前記第1階層は、前記複数階層のうち最も下に位置する層であることを特徴とする項目9に記載の情報処理装置。
(項目11)
前記設定手段によりはみ出し量が設定された印刷データに基づいて、前記印刷対象に対する印刷を実行するよう印刷装置を制御する第1制御手段、をさらに備えることを特徴とする項目2乃至10のいずれか1項に記載の情報処理装置。
(項目12)
前記印刷対象は、爪であることを特徴とする項目11に記載の情報処理装置。
(項目13)
前記印刷装置の撮影手段により前記印刷対象に対する撮影を実行するよう前記印刷装置を制御する第2制御手段、をさらに備え、
前記取得手段は、前記撮影手段により撮影された画像データを取得する、
ことを特徴とする項目11又は12に記載の情報処理装置。
(項目14)
前記印刷データは、ネイルアートのデータであることを特徴とする項目1乃至13のいずれか1項に記載の情報処理装置。
(項目15)
前記第1階層の印刷データは、前記ネイルアートのデータのうちベースとなるデータであることを特徴とする項目14に記載の情報処理装置。
(項目16)
前記第2階層の印刷データは、柄、模様の少なくともいずれかを含むデザインデータであることを特徴とする項目14又は15に記載の情報処理装置。
(項目17)
情報処理装置と印刷装置とを含む印刷システムであって、
前記情報処理装置は、
印刷データを複数階層の構造で保持する保持手段と、
前記印刷データの複数階層それぞれについて、前記印刷データに基づいて印刷を実行する印刷対象上の印刷領域からのはみ出し量を設定する設定手段と、
前記設定手段によりはみ出し量が設定された印刷データを前記印刷装置に送信し、前記印刷対象に対する印刷を実行するよう印刷装置を制御する制御手段と、を備え、
前記印刷装置は、
前記情報処理装置から送信された前記印刷データに基づいて、前記印刷対象上に印刷を実行する印刷手段、を備え、
前記複数階層のうちの第1階層において前記設定手段により設定可能な第1のはみ出し量と、前記第1階層と異なる第2階層において前記設定手段により設定可能な第2のはみ出し量とは異なる、
ことを特徴とする印刷システム。
(項目18)
情報処理装置において実行される方法であって、
印刷データを複数階層の構造で保持する保持工程と、
前記印刷データの複数階層それぞれについて、前記印刷データに基づいて印刷を実行する印刷対象上の印刷領域からのはみ出し量を設定する設定工程と、
を有し、
前記複数階層のうちの第1階層において前記設定工程において設定可能な第1のはみ出し量と、前記第1階層と異なる第2階層において前記設定工程において設定可能な第2のはみ出し量とは異なる、
ことを特徴とする方法。
(項目19)
項目1乃至16のいずれか1項に記載の情報処理装置の各手段としてコンピュータを機能させるためのプログラム。
The disclosure of the present embodiment includes the following information processing device, method, program, and printing system.
(Item 1)
A storage means for storing print data in a multi-layer structure;
a setting unit for setting an amount of overflow from a printing area on a printing target for which printing is performed based on the print data for each of the plurality of layers of the print data;
Equipped with
a first protrusion amount that can be set by the setting means in a first hierarchical level among the plurality of hierarchical levels is different from a second protrusion amount that can be set by the setting means in a second hierarchical level that is different from the first hierarchical level;
23. An information processing apparatus comprising:
(Item 2)
An acquisition means for acquiring image data to be printed;
and an analysis unit that analyzes the image data of the print target acquired by the acquisition unit,
The setting means sets an amount of protrusion from a printing area on the printing object based on a result of the analysis by the analysis means.
2. The information processing device according to item 1,
(Item 3)
3. The information processing apparatus according to item 2, wherein the analysis means identifies a print area on the print object and an area on the print object where printing is restricted.
(Item 4)
4. The information processing apparatus according to claim 3, wherein the analysis means identifies the printing area and an area in which the printing is restricted by analyzing a color applied to the printing object.
(Item 5)
5. The information processing device according to item 3 or 4, wherein the area in which printing is restricted is an area located around the print area.
(Item 6)
6. The information processing apparatus according to item 5, wherein the first protrusion amount and the second protrusion amount are amounts that do not reach an area that restricts the printing.
(Item 7)
7. The information processing device according to item 6, wherein the second protrusion amount is smaller than the first protrusion amount.
(Item 8)
8. The information processing device according to item 7, wherein the second overflow amount is an amount determined so as to cause no overflow in the second layer.
(Item 9)
9. The information processing device according to item 7 or 8, wherein the second layer is a layer located above the first layer.
(Item 10)
10. The information processing device according to item 9, wherein the first layer is the layer located at the lowest position among the multiple layers.
(Item 11)
11. The information processing device according to any one of claims 2 to 10, further comprising a first control means for controlling a printing device to execute printing on the printing object based on the printing data in which the overhang amount is set by the setting means.
(Item 12)
Item 12. The information processing device according to item 11, wherein the printing target is a nail.
(Item 13)
A second control unit controls the printing device so that the printing device captures an image of the printing target by the image capture unit of the printing device,
The acquisition means acquires image data captured by the imaging means.
13. The information processing device according to item 11 or 12.
(Item 14)
14. The information processing device according to any one of items 1 to 13, wherein the print data is nail art data.
(Item 15)
15. The information processing device according to item 14, wherein the first layer print data is base data of the nail art data.
(Item 16)
16. The information processing device according to item 14 or 15, wherein the second layer print data is design data including at least one of a pattern and a design.
(Item 17)
A printing system including an information processing device and a printing device,
The information processing device includes:
A storage means for storing print data in a multi-layer structure;
a setting unit for setting an amount of overflow from a printing area on a printing target on which printing is performed based on the print data for each of the plurality of layers of the print data;
a control unit that transmits the print data in which the overflow amount is set by the setting unit to the printing device and controls the printing device to execute printing on the printing target,
The printing device includes:
a printing unit that executes printing on the printing target based on the print data transmitted from the information processing device,
a first protrusion amount that can be set by the setting means in a first hierarchical level among the plurality of hierarchical levels is different from a second protrusion amount that can be set by the setting means in a second hierarchical level different from the first hierarchical level;
A printing system comprising:
(Item 18)
A method executed in an information processing device, comprising:
A storage step of storing the print data in a multi-layer structure;
a setting step of setting an amount of overflow from a printing area on a printing target on which printing is performed based on the print data for each of a plurality of layers of the print data;
having
a first overhang amount that can be set in the setting step in a first hierarchical level among the plurality of hierarchical levels is different from a second overhang amount that can be set in the setting step in a second hierarchical level different from the first hierarchical level;
A method comprising:
(Item 19)
17. A program for causing a computer to function as each of the means of the information processing device according to any one of items 1 to 16.

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。 The invention is not limited to the above-described embodiment, and various modifications and variations are possible without departing from the spirit and scope of the invention. Therefore, the following claims are appended to disclose the scope of the invention.

101 情報処理装置: 103、154 CPU: 104、152 ROM: 105、152 RAM: 151 プリンタ 101 Information processing device: 103, 154 CPU: 104, 152 ROM: 105, 152 RAM: 151 Printer

Claims (19)

印刷データを複数階層の構造で保持する保持手段と、
前記印刷データの複数階層それぞれについて、前記印刷データに基づいて印刷を実行する印刷対象上の印刷領域からのはみ出し量を設定する設定手段と、
を備え、
前記複数階層のうちの第1階層において前記設定手段により設定可能な第1のはみ出し量と、前記第1階層と異なる第2階層において前記設定手段により設定可能な第2のはみ出し量とは異なる、
ことを特徴とする情報処理装置。
A storage means for storing print data in a multi-layer structure;
a setting unit for setting an amount of overflow from a printing area on a printing target for which printing is performed based on the print data for each of the plurality of layers of the print data;
Equipped with
a first protrusion amount that can be set by the setting means in a first hierarchical level among the plurality of hierarchical levels is different from a second protrusion amount that can be set by the setting means in a second hierarchical level that is different from the first hierarchical level;
23. An information processing apparatus comprising:
前記印刷対象の画像データを取得する取得手段と、
前記取得手段により取得された前記印刷対象の画像データを解析する解析手段と、をさらに備え、
前記設定手段は、前記解析手段による解析の結果に基づいて、前記印刷対象上の印刷領域からのはみ出し量を設定する、
ことを特徴とする請求項1に記載の情報処理装置。
An acquisition means for acquiring image data to be printed;
and an analysis unit that analyzes the image data of the print target acquired by the acquisition unit,
The setting means sets an amount of overflow from a printing area on the printing object based on a result of the analysis by the analysis means.
2. The information processing apparatus according to claim 1,
前記解析手段は、前記印刷対象上の印刷領域と、前記印刷対象上で印刷を制限する領域とを特定することを特徴とする請求項2に記載の情報処理装置。 The information processing device according to claim 2, characterized in that the analysis means identifies a printing area on the printing object and an area on the printing object where printing is restricted. 前記解析手段は、前記印刷対象に塗布された色を解析することにより、前記印刷領域と前記印刷を制限する領域とを特定することを特徴とする請求項3に記載の情報処理装置。 The information processing device according to claim 3, characterized in that the analysis means identifies the printing area and the area in which the printing is restricted by analyzing the color applied to the printing object. 前記印刷を制限する領域は、前記印刷領域の周りに位置する領域であることを特徴とする請求項3に記載の情報処理装置。 The information processing device according to claim 3, characterized in that the area in which printing is restricted is an area located around the printing area. 前記第1のはみ出し量および前記第2のはみ出し量は、前記印刷を制限する領域に達しない量であることを特徴とする請求項5に記載の情報処理装置。 The information processing device according to claim 5, characterized in that the first overhang amount and the second overhang amount are amounts that do not reach the area that restricts the printing. 前記第2のはみ出し量は、前記第1のはみ出し量よりも小さいことを特徴とする請求項6に記載の情報処理装置。 The information processing device according to claim 6, characterized in that the second overhang amount is smaller than the first overhang amount. 前記第2のはみ出し量は、前記第2階層におけるはみ出しをなしとするように定められている量であることを特徴とする請求項7に記載の情報処理装置。 The information processing device according to claim 7, characterized in that the second overhang amount is an amount that is determined so that there is no overhang in the second layer. 前記第2階層は、前記第1階層よりも上に位置する層であることを特徴とする請求項7に記載の情報処理装置。 The information processing device according to claim 7, characterized in that the second layer is a layer located above the first layer. 前記第1階層は、前記複数階層のうち最も下に位置する層であることを特徴とする請求項9に記載の情報処理装置。 The information processing device according to claim 9, characterized in that the first layer is the lowest layer among the multiple layers. 前記設定手段によりはみ出し量が設定された印刷データに基づいて、前記印刷対象に対する印刷を実行するよう印刷装置を制御する第1制御手段、をさらに備えることを特徴とする請求項2に記載の情報処理装置。 The information processing device according to claim 2, further comprising a first control means for controlling the printing device to execute printing on the printing target based on the print data in which the overhang amount is set by the setting means. 前記印刷対象は、爪であることを特徴とする請求項11に記載の情報処理装置。 The information processing device according to claim 11, characterized in that the printing object is a nail. 前記印刷装置の撮影手段により前記印刷対象に対する撮影を実行するよう前記印刷装置を制御する第2制御手段、をさらに備え、
前記取得手段は、前記撮影手段により撮影された画像データを取得する、
ことを特徴とする請求項11に記載の情報処理装置。
A second control unit controls the printing device so that the printing device captures an image of the printing target by the image capture unit of the printing device,
The acquisition means acquires image data captured by the imaging means.
12. The information processing apparatus according to claim 11 .
前記印刷データは、ネイルアートのデータであることを特徴とする請求項1に記載の情報処理装置。 The information processing device according to claim 1, characterized in that the print data is nail art data. 前記第1階層の印刷データは、前記ネイルアートのデータのうちベースとなるデータであることを特徴とする請求項14に記載の情報処理装置。 The information processing device according to claim 14, characterized in that the first layer of print data is base data of the nail art data. 前記第2階層の印刷データは、柄、模様の少なくともいずれかを含むデザインデータであることを特徴とする請求項14に記載の情報処理装置。 The information processing device according to claim 14, characterized in that the second layer of print data is design data including at least one of a pattern and a design. 情報処理装置と印刷装置とを含む印刷システムであって、
前記情報処理装置は、
印刷データを複数階層の構造で保持する保持手段と、
前記印刷データの複数階層それぞれについて、前記印刷データに基づいて印刷を実行する印刷対象上の印刷領域からのはみ出し量を設定する設定手段と、
前記設定手段によりはみ出し量が設定された印刷データを前記印刷装置に送信し、前記印刷対象に対する印刷を実行するよう印刷装置を制御する制御手段と、を備え、
前記印刷装置は、
前記情報処理装置から送信された前記印刷データに基づいて、前記印刷対象上に印刷を実行する印刷手段、を備え、
前記複数階層のうちの第1階層において前記設定手段により設定可能な第1のはみ出し量と、前記第1階層と異なる第2階層において前記設定手段により設定可能な第2のはみ出し量とは異なる、
ことを特徴とする印刷システム。
A printing system including an information processing device and a printing device,
The information processing device includes:
A storage means for storing print data in a multi-layer structure;
a setting unit for setting an amount of overflow from a printing area on a printing target for which printing is performed based on the print data for each of the plurality of layers of the print data;
a control unit that transmits the print data in which the overflow amount is set by the setting unit to the printing device and controls the printing device to execute printing on the printing target,
The printing device includes:
a printing unit that executes printing on the printing target based on the print data transmitted from the information processing device,
a first protrusion amount that can be set by the setting means in a first hierarchical level among the plurality of hierarchical levels is different from a second protrusion amount that can be set by the setting means in a second hierarchical level that is different from the first hierarchical level;
A printing system comprising:
情報処理装置において実行される方法であって、
印刷データを複数階層の構造で保持する保持工程と、
前記印刷データの複数階層それぞれについて、前記印刷データに基づいて印刷を実行する印刷対象上の印刷領域からのはみ出し量を設定する設定工程と、
を有し、
前記複数階層のうちの第1階層において前記設定工程において設定可能な第1のはみ出し量と、前記第1階層と異なる第2階層において前記設定工程において設定可能な第2のはみ出し量とは異なる、
ことを特徴とする方法。
A method executed in an information processing device, comprising:
A storage step of storing the print data in a multi-layer structure;
a setting step of setting an amount of overflow from a printing area on a printing target on which printing is performed based on the print data for each of a plurality of layers of the print data;
having
a first overhang amount that can be set in the setting step in a first hierarchical level among the plurality of hierarchical levels is different from a second overhang amount that can be set in the setting step in a second hierarchical level different from the first hierarchical level;
A method comprising:
請求項1乃至16のいずれか1項に記載の情報処理装置の各手段としてコンピュータを機能させるためのプログラム。 A program for causing a computer to function as each of the means of an information processing device according to any one of claims 1 to 16.
JP2022204634A 2022-12-21 Information processing device, printing system, method and program Pending JP2024089338A (en)

Publications (1)

Publication Number Publication Date
JP2024089338A true JP2024089338A (en) 2024-07-03

Family

ID=

Similar Documents

Publication Publication Date Title
US9639264B2 (en) Image projector device
US11494065B2 (en) Storage medium, control method of information processing apparatus, and information processing apparatus
JP2015174298A (en) Image formation device, system, information processing method and program
JP4991614B2 (en) Layout determining method, program and apparatus
US8699039B2 (en) Document generating apparatus, display control apparatus, document generating method, display control method and computer readable medium
JP5019474B2 (en) Image processing apparatus, image processing method, program, and recording medium
JP2011154533A (en) Device and program for controlling display
JP2006352670A (en) Digital camera
WO2006054484A1 (en) Screen edit apparatus, screen edit method, and screen edit program
JP2009033530A (en) Image forming apparatus
JP2024089338A (en) Information processing device, printing system, method and program
US20210386178A1 (en) Storage medium, computer control method, and information processing apparatus
US11961288B2 (en) Storage medium, control method of information processing apparatus, and information processing apparatus
JP2010033363A (en) Object operation device, method and program
JP2024085779A (en) Information processing device, method and program
JP2024088468A (en) Processing device, processing device control method, and program
JP2021108010A (en) Information processing apparatus, control method of information processing apparatus, method of generating learning model, and program
JP2024085778A (en) Information processing device, printing device, method, and program
US11494136B2 (en) Storage medium having fingernail image processing, information processing apparatus, and control method of information processing apparatus
JP2023165553A (en) Information processing device, information processing method, and program
JP7237614B2 (en) Information processing device, control method for information processing device, and program
JP2022026867A (en) Information processing device, control method for information processing device, and program
JP2022026875A (en) Program, information processing device, printing system, and control method
JP2005225025A (en) Face image processing system
JP7070105B2 (en) Control system and control program