JP6478796B2 - Self-print terminal - Google Patents

Self-print terminal Download PDF

Info

Publication number
JP6478796B2
JP6478796B2 JP2015098782A JP2015098782A JP6478796B2 JP 6478796 B2 JP6478796 B2 JP 6478796B2 JP 2015098782 A JP2015098782 A JP 2015098782A JP 2015098782 A JP2015098782 A JP 2015098782A JP 6478796 B2 JP6478796 B2 JP 6478796B2
Authority
JP
Japan
Prior art keywords
touch operation
self
unit
coordinates
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2015098782A
Other languages
Japanese (ja)
Other versions
JP2016218497A (en
Inventor
尚之 阿部
尚之 阿部
吉邦 西村
吉邦 西村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2015098782A priority Critical patent/JP6478796B2/en
Publication of JP2016218497A publication Critical patent/JP2016218497A/en
Application granted granted Critical
Publication of JP6478796B2 publication Critical patent/JP6478796B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Accessory Devices And Overall Control Thereof (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明はセルフプリント端末に関し、特にジェスチャーによる操作が可能なセルフプリント端末に関する。   The present invention relates to a self-print terminal, and more particularly to a self-print terminal that can be operated by a gesture.

記憶メディアから画像を読み込み、使用者がタッチパネルを操作して、画像の編集やプリントを行うセルフプリント端末が知られている。記憶メディアに記憶された画像は、例えばデジタルカメラや携帯電話で撮影した画像である。近年では、セルフプリント端末に、画像を編集するスタンプ機能、お絵かき機能などが備わり多機能化が進んでいる。セルフプリント端末の多機能化に伴い、操作が複雑化している(例えば、特許文献1を参照)。   There is known a self-printing terminal that reads an image from a storage medium and a user operates a touch panel to edit and print the image. The image stored in the storage medium is, for example, an image taken with a digital camera or a mobile phone. In recent years, self-printing terminals are equipped with a stamp function for editing images, a drawing function, and the like, and the number of functions has been increasing. As multifunctional functions of self-printing terminals are used, operations become complicated (see, for example, Patent Document 1).

また、使用者のジェスチャー操作を検知して動作を行うセルフプリント端末が知られている。ジェスチャーにより操作を行うことで、使用者が直観的で効率よく操作が行うことが可能となる(例えば、特許文献2を参照)。   There is also known a self-printing terminal that operates by detecting a user's gesture operation. By performing the operation using the gesture, the user can perform the operation intuitively and efficiently (see, for example, Patent Document 2).

特開2008−293513号公報JP 2008-293513 A 特開2009−42796号公報JP 2009-42796 A

しかしながら、特許文献2に記載の技術では、セルフプリント端末の利用を開始する際に、使用者が、ジェスチャー操作に対応付けられた座標系をタッチパネルの座標系に精度良く変換するための校正操作を実施する必要があった。つまり、使用者は、セルフプリント処理のための操作に加えて、校正のための操作を行う必要があり、使用者の利便性が損なわれていた。   However, in the technique described in Patent Document 2, when starting to use the self-print terminal, the user performs a calibration operation for accurately converting the coordinate system associated with the gesture operation into the coordinate system of the touch panel. It was necessary to carry out. That is, the user needs to perform an operation for proofreading in addition to the operation for the self-print process, and the convenience for the user is impaired.

また、セルフプリント端末の使用中に、振動などの影響でジェスチャー操作を検出するセンサーの設置位置や角度が変化すると、ジェスチャー操作の認識精度が低下する問題があった。   In addition, when the installation position or angle of a sensor that detects a gesture operation is changed due to the influence of vibration or the like while using the self-printing terminal, there is a problem that the recognition accuracy of the gesture operation decreases.

本発明は以上のような課題を解決するためになされたものであり、使用者の利便性を損なうことなく、精度の高いジェスチャー操作の認識を可能とするセルフプリント端末の提供を目的とする。   SUMMARY An advantage of some aspects of the invention is that it provides a self-printing terminal that can recognize gesture operations with high accuracy without impairing user convenience.

本発明に係るセルフプリント端末は、画像データが入力される画像データ入力部と、画像データを表示する表示部と、画像データを印刷する印刷部と、タッチ操作を認識するタッチ操作認識部と、ジェスチャー操作を認識するジェスチャー操作認識部と、校正データが記憶された記憶部と、制御部と、を備え、タッチ操作認識部に規定されたタッチ操作座標は表示部の座標と一致しており、ジェスチャー操作認識部に規定されたジェスチャー操作座標は、タッチ操作座標と、校正データを介して対応付けられており、制御部は、タッチ操作認識部が認識したセルフプリント処理のためのタッチ操作座標上の位置と、タッチ操作認識部がセルフプリント処理のためのタッチ操作を認識した際にジェスチャー操作認識部が認識したジェスチャー操作座標上の位置と、に基づいて校正データを更新する処理を行い、校正データを更新する処理において、制御部は、校正データに基づいてタッチ操作座標上に座標変換されたジェスチャー操作座標上の位置と、タッチ操作認識部が認識したセルフプリント処理のためのタッチ操作座標上の位置との差が小さくなるように、校正データを更新する

A self-printing terminal according to the present invention includes an image data input unit to which image data is input, a display unit that displays image data, a printing unit that prints image data, a touch operation recognition unit that recognizes a touch operation, A gesture operation recognition unit that recognizes a gesture operation, a storage unit that stores calibration data, and a control unit, and the touch operation coordinates defined in the touch operation recognition unit match the coordinates of the display unit, The gesture operation coordinates defined in the gesture operation recognition unit are associated with the touch operation coordinates via the calibration data, and the control unit is on the touch operation coordinates for self-print processing recognized by the touch operation recognition unit. The gesture operation recognized by the gesture operation recognition unit when the touch operation recognition unit recognizes the touch operation for self-print processing. A position on the coordinate, have rows process of updating the calibration data based on, in the process of updating the calibration data, the control unit, on the gesture operation coordinates are coordinate transformation on the touch operation coordinates based on calibration data The calibration data is updated so that the difference between the position and the position on the touch operation coordinates for self-print processing recognized by the touch operation recognition unit is small .

本発明に係るセルフプリント端末は、セルフプリント処理のためのタッチ操作を行う際に、校正データを更新する処理を自動的に行う。つまり、使用者に校正データ更新のための余計な操作を行わせることなく、校正データの更新が可能である。校正データを更新することにより、その後の使用者のジェスチャー操作を高い精度で画面上に反映させることが可能となる。   The self-printing terminal according to the present invention automatically performs processing for updating calibration data when performing a touch operation for self-printing processing. That is, the calibration data can be updated without requiring the user to perform an extra operation for updating the calibration data. By updating the calibration data, it is possible to reflect the subsequent gesture operation of the user on the screen with high accuracy.

また、本発明に係るセルフプリント端末によれば、使用者がセルフプリント端末を利用している途中で、振動等の影響により、ジェスチャー操作を検出するためのセンサーの位置や角度がずれた場合でも、使用者がタッチ操作を行うたびに校正データの更新処理を行うことにより、使用者のジェスチャー操作を高い精度で画面上に反映させることが可能となる。   Further, according to the self-printing terminal according to the present invention, even when the position or angle of the sensor for detecting the gesture operation is shifted due to the influence of vibration or the like while the user is using the self-printing terminal. By performing calibration data update processing each time the user performs a touch operation, the user's gesture operation can be reflected on the screen with high accuracy.

実施の形態1に係るセルフプリント端末の模式図である。2 is a schematic diagram of a self-printing terminal according to Embodiment 1. FIG. 実施の形態1に係るセルフプリント端末の機能ブロック図である。3 is a functional block diagram of the self-printing terminal according to Embodiment 1. FIG. 実施の形態1に係るセルフプリント端末のプリント処理を示すフローチャートである。3 is a flowchart showing print processing of the self-printing terminal according to the first embodiment. 実施の形態1に係るセルフプリント端末のサービス選択処理における詳しい動作を示すフローチャートである。6 is a flowchart showing detailed operations in service selection processing of the self-printing terminal according to the first embodiment. 実施の形態1に係るセルフプリント端末におけるサービス選択画面を示す図である。6 is a diagram showing a service selection screen in the self-print terminal according to Embodiment 1. FIG. 実施の形態1に係るセルフプリント端末における校正データの更新処理を示すフローチャートである。4 is a flowchart showing calibration data update processing in the self-printing terminal according to the first embodiment. 実施の形態1に係るセルフプリント端末における画像データの表示、選択、編集処理を示すフローチャートである。6 is a flowchart showing image data display, selection, and editing processing in the self-printing terminal according to the first embodiment. 実施の形態1に係るセルフプリント端末におけるサムネイル表示画面を示す図である。6 is a diagram showing a thumbnail display screen in the self-print terminal according to Embodiment 1. FIG. 実施の形態1に係るセルフプリント端末における画像編集画面を示す図である。3 is a diagram showing an image editing screen in the self-printing terminal according to Embodiment 1. FIG. 実施の形態1に係るセルフプリント端末における画像の拡大動作を示す図である。6 is a diagram illustrating an image enlargement operation in the self-printing terminal according to Embodiment 1. FIG. 実施の形態2に係るセルフプリント端末における異なる指によるタッチ操作を説明する図である。10 is a diagram for explaining a touch operation with different fingers in the self-printing terminal according to Embodiment 2. FIG. 実施の形態2に係るセルフプリント端末における校正データの更新処理を示すフローチャートである。6 is a flowchart showing calibration data update processing in the self-printing terminal according to the second embodiment. 実施の形態3に係るセルフプリント端末における画像データの表示、選択、編集処理を示すフローチャートである。14 is a flowchart showing display, selection, and editing processing of image data in the self-print terminal according to the third embodiment. 実施の形態3に係るセルフプリント端末におけるサムネイル表示画面を示す図である。FIG. 10 is a diagram showing a thumbnail display screen in the self-print terminal according to the third embodiment.

<実施の形態1>
<構成>
図1は、本実施の形態1におけるセルフプリント端末1の模式図である。図2は、セルフプリント端末1の機能ブロック図である。セルフプリント端末1は、画像データ入力部5と、表示部13と、印刷部12と、タッチ操作認識部2と、ジェスチャー操作認識部3と、記憶部6とを備える。
<Embodiment 1>
<Configuration>
FIG. 1 is a schematic diagram of the self-printing terminal 1 according to the first embodiment. FIG. 2 is a functional block diagram of the self-print terminal 1. The self-print terminal 1 includes an image data input unit 5, a display unit 13, a printing unit 12, a touch operation recognition unit 2, a gesture operation recognition unit 3, and a storage unit 6.

画像データ入力部5は、記憶メディア4から画像データを読み込むためのインターフェースである。画像データ入力部5は例えば、SDカードやメモリースティックなどのカード類を読み込むカードリーダーと、CD/DVDを読み込むCD/DVDドライブと、USBを読み込むUSBポートと、携帯電話から赤外線通信によりデータを受信する赤外線通信装置と、近距離無線通信(例えばBluetooth(登録商標))によりデータを受信する近距離無線通信装置と、スマートフォンとデータ通信を行うWi−Fiと、スマートフォンと直接接続しデータ通信を行うケーブル等と、スキャナー装置などのことをいう。   The image data input unit 5 is an interface for reading image data from the storage medium 4. The image data input unit 5 receives data by infrared communication from a card reader for reading cards such as an SD card and a memory stick, a CD / DVD drive for reading a CD / DVD, a USB port for reading USB, and a mobile phone, for example. An infrared communication device, a short-range wireless communication device that receives data by short-range wireless communication (for example, Bluetooth (registered trademark)), Wi-Fi that performs data communication with a smartphone, and a cable that directly connects to the smartphone and performs data communication And so on, such as a scanner device.

表示部13は、例えば液晶ディスプレイ、CRT等である。表示部13の画面の前面にはタッチパネル21が重ねて配置されている。タッチパネル21はマルチタッチ対応のタッチパネルであっても良い。印刷部12は、高解像度のカラープリンタである。印刷方式は、例えば昇華型、インクジェット型などである。   The display unit 13 is a liquid crystal display, a CRT, or the like, for example. On the front surface of the screen of the display unit 13, a touch panel 21 is disposed so as to overlap. The touch panel 21 may be a multi-touch compatible touch panel. The printing unit 12 is a high-resolution color printer. The printing method is, for example, a sublimation type or an ink jet type.

タッチ操作認識部2は、タッチパネル21と、図示しないプロセッサーまたは座標検出回路を備える。タッチ操作認識部2にはタッチ操作座標が規定されている。タッチ操作認識部2による認識は、タッチパネル21に対してなされたタッチ操作に応じて、プロセッサーまたは座標検出回路がタッチ操作座標上の位置を特定することで実現される。表示部13の画面の前面にはタッチパネル21が重ねて配置されており、表示部13の画面に規定された座標と、タッチ操作座標とは一致している。   The touch operation recognition unit 2 includes a touch panel 21 and a processor or coordinate detection circuit (not shown). Touch operation coordinates are defined in the touch operation recognition unit 2. The recognition by the touch operation recognition unit 2 is realized by the processor or the coordinate detection circuit specifying the position on the touch operation coordinates in accordance with the touch operation performed on the touch panel 21. A touch panel 21 is placed on the front surface of the screen of the display unit 13 so that the coordinates defined on the screen of the display unit 13 coincide with the touch operation coordinates.

ジェスチャー操作認識部3は、動作検知センサー31と、図示しないプロセッサーを備える。ジェスチャー操作認識部3にはジェスチャー操作座標が規定されている。ジェスチャー操作認識部3による認識は、動作検知センサー31が検知したジェスチャー操作に応じて、プロセッサーがジェスチャー操作座標上の位置を特定することで実現される。動作検知センサー31とは、例えばカメラ、深度センサーなどである。   The gesture operation recognition unit 3 includes an operation detection sensor 31 and a processor (not shown). Gesture operation coordinates are defined in the gesture operation recognition unit 3. Recognition by the gesture operation recognition unit 3 is realized by the processor specifying the position on the gesture operation coordinates in accordance with the gesture operation detected by the motion detection sensor 31. The motion detection sensor 31 is, for example, a camera or a depth sensor.

記憶部6には、予め校正データが記憶されている。校正データは、ジェスチャー操作座標をタッチ操作座標に変換するためのデータを補正するデータである。記憶部6は、ハードディスクなどの大容量記憶装置である。この記憶部6には、各構成部分を制御するプログラム、例えば、記憶メディア4より画像を読込み記憶部6に一時保存するプログラム、画面に表示する画像を制御するプログラム、画像の編集や加工を行うプログラム、使用者のプリント注文情報を保持するプログラム等が格納されている。   The storage unit 6 stores calibration data in advance. The calibration data is data for correcting data for converting gesture operation coordinates to touch operation coordinates. The storage unit 6 is a mass storage device such as a hard disk. In the storage unit 6, a program for controlling each component, for example, a program for reading an image from the storage medium 4 and temporarily storing it in the storage unit 6, a program for controlling an image displayed on the screen, and editing and processing of the image are performed. A program and a program for holding user print order information are stored.

制御部9は、セルフプリント端末1の各部の動作を制御するものであり、パソコンのCPUなどに相当するものである。なお、制御部9が、タッチ操作認識部2に備わるプロセッサーを兼ねてもよい。同様に、制御部9が、ジェスチャー操作認識部3に備わるプロセッサーを兼ねてもよい。   The control unit 9 controls the operation of each unit of the self-print terminal 1, and corresponds to a CPU of a personal computer. Note that the control unit 9 may also serve as a processor provided in the touch operation recognition unit 2. Similarly, the control unit 9 may also serve as a processor provided in the gesture operation recognition unit 3.

<動作>
図3は、本実施の形態1におけるセルフプリント端末1のプリント処理を示すフローチャートである。まず、セルフプリント端末1はサービス選択処理を行う(ステップS101)。サービス選択処理については後述する。次に、セルフプリント端末1は画像データの読み込み処理を行う(ステップS102)。使用者は画像データが記憶された記憶メディア4を、セルフプリント端末1の画像データ入力部5に接続する。制御部9は、画像データ入力部5を制御して記憶メディア4から画像データおよび画像に付加された情報を読み込む。読み込んだ画像データ7および画像に付加された情報は記憶部6に記憶される。
<Operation>
FIG. 3 is a flowchart showing the printing process of the self-printing terminal 1 according to the first embodiment. First, the self-print terminal 1 performs a service selection process (step S101). The service selection process will be described later. Next, the self-print terminal 1 performs image data reading processing (step S102). The user connects the storage medium 4 storing the image data to the image data input unit 5 of the self-print terminal 1. The control unit 9 controls the image data input unit 5 to read image data and information added to the image from the storage medium 4. The read image data 7 and information added to the image are stored in the storage unit 6.

次に、セルフプリント端末1は、画像データの表示、選択、編集処理を行う(ステップS103)。画像データの表示、選択、編集処理については後述する。   Next, the self-printing terminal 1 performs image data display, selection, and editing processing (step S103). Image data display, selection, and editing processing will be described later.

その後、セルフプリント端末1は料金支払い処理を行う(ステップS104)。制御部9は、使用者が選択したサービス、印刷枚数などに基づいてプリント料金を算出して表示部13に表示させる。制御部9は、料金が正しく決済されたことを確認後、印刷部12に画像データを転送し、プリント処理を開始する(ステップS105)。セルフプリント端末1は全てのプリントが正常に完了したことを確認後、プリントサービスを終了する。   Thereafter, the self-printing terminal 1 performs a fee payment process (step S104). The control unit 9 calculates a print fee based on the service selected by the user, the number of prints, and the like, and causes the display unit 13 to display the print fee. After confirming that the fee has been correctly settled, the control unit 9 transfers the image data to the printing unit 12 and starts the printing process (step S105). The self-printing terminal 1 ends the print service after confirming that all printing has been normally completed.

図4は、図3におけるサービス選択処理(ステップS102)における詳しい動作を示すフローチャートである。図5は、サービス選択処理において表示部13に表示されるサービス選択画面13aを示す図である。   FIG. 4 is a flowchart showing detailed operations in the service selection process (step S102) in FIG. FIG. 5 is a diagram showing a service selection screen 13a displayed on the display unit 13 in the service selection process.

サービス選択処理において、制御部9は、表示部13にサービス選択画面13aを表示させる(ステップS201)。図5に示すようにサービス選択画面13aにおいて、セルフプリント端末1が提供する各プリントサービスに対応した画像131,132,133が表示される。セルフプリント端末1が提供するプリントサービスは、例えば「1枚プリント」(画像131)、「マルチプリント」(画像132)、「証明写真プリント」(画像133)である。「1枚プリント」は1枚の印画紙に1つの画像データを印刷するサービスである。「マルチプリント」は1枚の印画紙に複数の画像データを印刷するサービスである。「証明写真プリント」は画像データを証明写真に対応した大きさに印刷するサービスである。   In the service selection process, the control unit 9 displays the service selection screen 13a on the display unit 13 (step S201). As shown in FIG. 5, images 131, 132, and 133 corresponding to each print service provided by the self-print terminal 1 are displayed on the service selection screen 13a. The print services provided by the self-print terminal 1 are, for example, “single print” (image 131), “multi-print” (image 132), and “ID photo print” (image 133). “Single print” is a service for printing one image data on one photographic paper. “Multi-print” is a service for printing a plurality of image data on one photographic paper. “ID photo print” is a service for printing image data in a size corresponding to the ID photo.

サービス選択画面13aが表示部13に表示された状態において、使用者は表示部13に表示されたいずれかの画像131,132,133に対してタッチ操作を行うことで所望のプリントサービスを選択する。タッチ操作認識部2が使用者のタッチ操作を認識することにより、制御部9はどのサービスが選択されたか決定を行う(ステップS202)。次に、制御部9は、校正データの更新処理を行う(ステップS203)。校正データの更新処理については後述する。   In a state where the service selection screen 13a is displayed on the display unit 13, the user selects a desired print service by performing a touch operation on any of the images 131, 132, and 133 displayed on the display unit 13. . When the touch operation recognition unit 2 recognizes the user's touch operation, the control unit 9 determines which service has been selected (step S202). Next, the control unit 9 performs a calibration data update process (step S203). The calibration data update process will be described later.

図6は、校正データの更新処理を示すフローチャートである。まず、制御部9は、タッチ操作認識部2が認識したタッチ操作座標上の位置を取得する(ステップS301)。ここで、タッチ操作座標上の位置は、図4のステップS202において例えば図5に示すように画像131がタッチされた際にタッチ操作認識部2が認識したタッチ操作座標上の位置である。さらに、制御部9は、図4のステップS202において画像131がタッチされた際にジェスチャー操作認識部3が認識したジェスチャー操作座標上の位置を取得する(ステップS302)。   FIG. 6 is a flowchart showing the calibration data update process. First, the control unit 9 acquires the position on the touch operation coordinates recognized by the touch operation recognition unit 2 (step S301). Here, the position on the touch operation coordinate is a position on the touch operation coordinate recognized by the touch operation recognition unit 2 when the image 131 is touched in step S202 of FIG. 4, for example, as shown in FIG. Furthermore, the control unit 9 acquires the position on the gesture operation coordinates recognized by the gesture operation recognition unit 3 when the image 131 is touched in step S202 of FIG. 4 (step S302).

そして、制御部9は、記憶部6に記憶されている校正データを使用して、ジェスチャー操作座標上の位置を、タッチ操作座標上の位置に変換する。制御部9は、変換後のジェスチャー操作座標上の位置が、ステップS301において取得したタッチ操作座標上の位置に近づくように校正データを修正する(ステップS303)。修正後の校正データを新しい校正データと呼ぶ。そして、制御部9は、古い校正データを新しい校正データで更新する(ステップS304)。   Then, the control unit 9 uses the calibration data stored in the storage unit 6 to convert the position on the gesture operation coordinates to the position on the touch operation coordinates. The control unit 9 corrects the calibration data so that the position on the gesture operation coordinate after conversion approaches the position on the touch operation coordinate acquired in step S301 (step S303). The corrected calibration data is called new calibration data. Then, the control unit 9 updates the old calibration data with new calibration data (step S304).

図7は、図3における画像データの表示、選択、編集処理(ステップS103)における詳しい動作を示すフローチャートである。画像データの表示、選択、編集処理において、まず、制御部9は表示部13を制御してサムネイル表示画面13bを表示させる(ステップ401)。図8は、サムネイル表示画面13bを示す図である。サムネイル表示画面13bには画像データを縮小した複数のサムネイル画像134が一覧表示される。   FIG. 7 is a flowchart showing detailed operations in the image data display, selection, and editing process (step S103) in FIG. In the display, selection, and editing process of image data, first, the control unit 9 controls the display unit 13 to display the thumbnail display screen 13b (step 401). FIG. 8 is a diagram showing a thumbnail display screen 13b. A plurality of thumbnail images 134 obtained by reducing the image data are displayed in a list on the thumbnail display screen 13b.

サムネイル表示画面13bが表示部13に表示された状態において、使用者は表示部13に表示されたいずれかのサムネイル画像134に対してタッチ操作を行うことで所望の画像データを選択する。タッチ操作認識部2が使用者のタッチ操作を認識することにより、制御部9はどの画像データが選択されたか決定を行う(ステップS402)。   In a state where the thumbnail display screen 13 b is displayed on the display unit 13, the user selects desired image data by performing a touch operation on any thumbnail image 134 displayed on the display unit 13. When the touch operation recognition unit 2 recognizes the user's touch operation, the control unit 9 determines which image data has been selected (step S402).

次に、制御部9は、校正データの更新処理を行う(ステップS403)。校正データの更新処理を図6のフローチャートを用いて説明する。まず、制御部9は、タッチ操作認識部2が認識したタッチ操作座標上の位置を取得する(ステップS301)。ここで、タッチ操作座標上の位置は、図7のステップS402においてサムネイル画像134がタッチされた際にタッチ操作認識部2が認識したタッチ操作座標上の位置である。   Next, the controller 9 performs calibration data update processing (step S403). The calibration data update process will be described with reference to the flowchart of FIG. First, the control unit 9 acquires the position on the touch operation coordinates recognized by the touch operation recognition unit 2 (step S301). Here, the position on the touch operation coordinates is the position on the touch operation coordinates recognized by the touch operation recognition unit 2 when the thumbnail image 134 is touched in step S402 in FIG.

さらに、制御部9は、図7のステップS402においてサムネイル画像134がタッチされた際にジェスチャー操作認識部3が認識したジェスチャー操作座標上の位置を取得する(S302)。   Further, the control unit 9 acquires the position on the gesture operation coordinates recognized by the gesture operation recognition unit 3 when the thumbnail image 134 is touched in step S402 in FIG. 7 (S302).

そして、制御部9は、記憶部6に記憶されている校正データを使用して、ジェスチャー操作座標上の位置を、タッチ操作座標上の位置に変換する。制御部9は、変換後のジェスチャー操作座標上の位置が、ステップS301において取得したタッチ操作座標上の位置に近づくように校正データを修正する(ステップS303)。修正後の校正データを新しい校正データと呼ぶ。そして、制御部9は、古い校正データを新しい校正データで更新する(ステップS304)。   Then, the control unit 9 uses the calibration data stored in the storage unit 6 to convert the position on the gesture operation coordinates to the position on the touch operation coordinates. The control unit 9 corrects the calibration data so that the position on the gesture operation coordinate after conversion approaches the position on the touch operation coordinate acquired in step S301 (step S303). The corrected calibration data is called new calibration data. Then, the control unit 9 updates the old calibration data with new calibration data (step S304).

図7のステップS403の後、使用者は選択した画像データに対して編集を行うかを決める(ステップS404)。使用者が編集を行うと決めた場合、制御部9は、表示部13に画像編集画面13cを表示させて画像データ編集処理に移行する(ステップS405)。図9は、画像編集画面13cを示す図である。   After step S403 in FIG. 7, the user determines whether to edit the selected image data (step S404). When the user decides to perform editing, the control unit 9 displays the image editing screen 13c on the display unit 13 and shifts to image data editing processing (step S405). FIG. 9 is a diagram showing the image editing screen 13c.

図9において、使用者が画像編集画面13c上のジェスチャーによる操作を有効にするアイコン137をタッチすることで、ジェスチャーによる操作とタッチパネルによる操作が併用可能となる。使用者はタッチパネルを操作する場合、通常1本の指を用いて操作を行う。よって、使用者が1本の指を用いてタッチ操作を行う場合は、ジェスチャー操作を無効にする。また、例えば、図9に示すように、使用者が2本の指を揃えてジェスチャーを行う場合にジェスチャー操作を有効にする。使用者はジェスチャー操作による「お絵かき機能」を利用して画像データの編集を行う。例えば、図9に示すように、任意の方向へ2本の揃えた指を動かすことで、画面に表示されたペン135を動かして画像の任意の位置に線136を描くことができる。   In FIG. 9, when the user touches the icon 137 for enabling the operation by the gesture on the image editing screen 13c, the operation by the gesture and the operation by the touch panel can be used together. When the user operates the touch panel, the user usually operates with one finger. Therefore, when the user performs a touch operation using one finger, the gesture operation is invalidated. Also, for example, as shown in FIG. 9, when the user performs a gesture with two fingers aligned, the gesture operation is enabled. The user uses the “drawing function” by gesture operation to edit the image data. For example, as shown in FIG. 9, by moving two aligned fingers in an arbitrary direction, the pen 135 displayed on the screen can be moved to draw a line 136 at an arbitrary position in the image.

制御部9は、ジェスチャー操作認識部3がジェスチャー操作を認識すると、ジェスチャー操作座標上の位置を取得する。そして、記憶部6に記憶されている校正データを使用してジェスチャー操作座標上の位置をタッチ操作座標上の位置に変換する。そして、変換後のタッチ操作座標上の位置(即ち、表示部13の画面に規定された座標上の位置)にジェスチャー操作による編集(例えばペン135による線136の描画)を反映させる。   When the gesture operation recognizing unit 3 recognizes the gesture operation, the control unit 9 acquires a position on the gesture operation coordinates. Then, the calibration data stored in the storage unit 6 is used to convert the position on the gesture operation coordinates to the position on the touch operation coordinates. Then, editing by the gesture operation (for example, drawing of the line 136 by the pen 135) is reflected on the position on the touch operation coordinates after conversion (that is, the position on the coordinates defined on the screen of the display unit 13).

また、例えば、ジェスチャー操作により、図9の右側に表示されたスタンプを選択して、画像の任意の位置に貼り付けることも可能である。なお、お絵かき機能はこれに限るものではなく、指の本数や手の形状及び手の動作によってお絵かきペンの色やスタンプ機能などを切り替えてもよい。   Further, for example, a stamp displayed on the right side of FIG. 9 can be selected and pasted at an arbitrary position of the image by a gesture operation. The drawing function is not limited to this, and the color of the drawing pen, the stamp function, and the like may be switched depending on the number of fingers, the shape of the hand, and the movement of the hand.

従来は、タッチパネルの操作は人や条件によって接触検知感度が悪くなることがあり、操作性が悪いという問題があった。本実施形態1では、ジェスチャー操作によりタッチパネルを触れることなく画像編集操作が可能なため、使用者の操作性が向上する。   Conventionally, touch panel operation has a problem that contact detection sensitivity may be deteriorated depending on a person and conditions, and operability is poor. In the first embodiment, since the image editing operation can be performed without touching the touch panel by a gesture operation, the operability for the user is improved.

画像データの編集が完了した後、使用者は画像データの選択を終了するか、さらに画像データの選択を行うかを選択する(ステップS406)。使用者が画像データの選択を終了した場合、制御部9は、画像データの表示、選択、編集処理(図3のステップS103)を終了する。一方、使用者がさらに画像データの選択を行うことを選択した場合、ステップS401に戻り、制御部9は表示部13を制御してサムネイル表示画面13bを表示させる。   After the editing of the image data is completed, the user selects whether to end the selection of the image data or to further select the image data (step S406). When the user finishes selecting the image data, the control unit 9 ends the display, selection, and editing process (step S103 in FIG. 3) of the image data. On the other hand, when the user selects to further select image data, the process returns to step S401, and the control unit 9 controls the display unit 13 to display the thumbnail display screen 13b.

図7のステップS401において、表示部13にサムネイル表示画面13bを表示しているときに、サムネイル画像134を見づらいと感じた使用者が表示部13に顔を近づけることが想定される。そこで、本実施の形態1では、ジェスチャー操作認識部3は、使用者の顔と表示部13の画面との距離(図10中の矢印D)を認識し、制御部9は、この距離に応じて表示部13に表示するサムネイル画像134の大きさを調整する。具体的には、例えば、使用者の顔と表示部13の画面との距離が小さいほど、サムネイル画像134をより大きく表示する。この動作により、サムネイル表示画面13bの視認性が向上する。なお、以上で説明した画像拡大の機能は、サムネイル表示画面13bだけでなく、他の画面(即ち、サービス選択画面13a、画像編集画面13c)に適用してもよい。   In step S <b> 401 of FIG. 7, it is assumed that the user who feels it is difficult to see the thumbnail image 134 when the thumbnail display screen 13 b is displayed on the display unit 13 brings his face closer to the display unit 13. Therefore, in the first embodiment, the gesture operation recognition unit 3 recognizes the distance (arrow D in FIG. 10) between the user's face and the screen of the display unit 13, and the control unit 9 responds to this distance. The size of the thumbnail image 134 displayed on the display unit 13 is adjusted. Specifically, for example, the smaller the distance between the user's face and the screen of the display unit 13, the larger the thumbnail image 134 is displayed. This operation improves the visibility of the thumbnail display screen 13b. The image enlargement function described above may be applied not only to the thumbnail display screen 13b but also to other screens (that is, the service selection screen 13a and the image editing screen 13c).

なお、本実施の形態1では、サービス選択画面13aおよびサムネイル表示画面13bに対するタッチ操作時において、校正データの更新処理を説明したが、校正データの更新処理を実施する機会はこれに限定されない。校正データの更新処理は、セルフプリント端末1におけるタッチ操作全般に対して適用可能であり、タッチ操作が行われるたびに校正データの更新処理を行うことにより、校正データの精度を向上させることができる。   In the first embodiment, the calibration data update process is described in the touch operation on the service selection screen 13a and the thumbnail display screen 13b. However, the opportunity to perform the calibration data update process is not limited to this. The calibration data update process can be applied to all touch operations in the self-printing terminal 1, and the calibration data update process is performed each time the touch operation is performed, thereby improving the accuracy of the calibration data. .

<効果>
本実施の形態1におけるセルフプリント端末1は、画像データが入力される画像データ入力部5と、画像データを表示する表示部13と、画像データを印刷する印刷部12と、タッチ操作を認識するタッチ操作認識部2と、ジェスチャー操作を認識するジェスチャー操作認識部3と、校正データが記憶された記憶部6と、制御部9と、を備え、タッチ操作認識部2に規定されたタッチ操作座標は表示部13の座標と一致しており、ジェスチャー操作認識部3に規定されたジェスチャー操作座標は、タッチ操作座標と、校正データを介して対応付けられており、制御部9は、タッチ操作認識部2が認識したセルフプリント処理のためのタッチ操作座標上の位置と、タッチ操作認識部2がセルフプリント処理のためのタッチ操作を認識した際にジェスチャー操作認識部3が認識したジェスチャー操作座標上の位置と、に基づいて校正データを更新する処理を行う。
<Effect>
The self-print terminal 1 according to the first embodiment recognizes an image data input unit 5 to which image data is input, a display unit 13 that displays image data, a printing unit 12 that prints image data, and a touch operation. Touch operation coordinates defined by the touch operation recognition unit 2, including a touch operation recognition unit 2, a gesture operation recognition unit 3 that recognizes a gesture operation, a storage unit 6 that stores calibration data, and a control unit 9. Corresponds to the coordinates of the display unit 13, the gesture operation coordinates defined in the gesture operation recognition unit 3 are associated with the touch operation coordinates through the calibration data, and the control unit 9 recognizes the touch operation. The position on the touch operation coordinates for the self-print processing recognized by the unit 2 and the position when the touch operation recognition unit 2 recognizes the touch operation for the self-print processing. And position on the gesture operation coordinates Sucha operation recognition section 3 recognizes, the process of updating the calibration data based on the performed.

従って、本実施の形態1のセルフプリント端末1においては、セルフプリント処理のためのタッチ操作を行う際に、ジェスチャー操作認識部3が使用者の指示体(指)を認識して、校正データを更新する処理を自動的に行う。つまり、本実施の形態1によれば、使用者に校正データ更新のための余計な操作を行わせることなく、校正データの更新が可能である。校正データを更新することにより、その後の使用者のジェスチャー操作を高い精度で画面上に反映させることが可能となる。   Therefore, in the self-printing terminal 1 according to the first embodiment, when performing a touch operation for the self-printing process, the gesture operation recognizing unit 3 recognizes the user's indicator (finger) and generates calibration data. The update process is performed automatically. That is, according to the first embodiment, the calibration data can be updated without causing the user to perform an extra operation for updating the calibration data. By updating the calibration data, it is possible to reflect the subsequent gesture operation of the user on the screen with high accuracy.

また、使用者がセルフプリント端末1を利用している途中で、振動等の影響により、動作検知センサー31の位置や角度がずれた場合でも、使用者がタッチ操作を行うたびに校正データの更新処理を行うことにより、使用者のジェスチャー操作を高い精度で画面上に反映させることが可能となる。   Further, even when the position or angle of the motion detection sensor 31 is shifted due to the influence of vibration or the like while the user is using the self-printing terminal 1, the calibration data is updated every time the user performs a touch operation. By performing the processing, it is possible to reflect the user's gesture operation on the screen with high accuracy.

また、本実施の形態1におけるセルフプリント端末1の校正データを更新する処理において、制御部9は、校正データに基づいてタッチ操作座標上に座標変換されたジェスチャー操作座標上の位置と、タッチ操作認識部2が認識したセルフプリント処理のためのタッチ操作座標上の位置との差が小さくなるように、校正データを更新する。   In the process of updating the calibration data of the self-printing terminal 1 according to the first embodiment, the control unit 9 determines the position on the gesture operation coordinates that have been converted to the touch operation coordinates based on the calibration data, and the touch operation. The calibration data is updated so that the difference from the position on the touch operation coordinates for self-print processing recognized by the recognition unit 2 becomes small.

ジェスチャー操作認識部3が認識したジェスチャー操作座標上の位置を校正データに基づいて座標変換したときに、タッチ操作認識部2が認識したタッチ操作座標上の位置と一致する校正データが理想的である。従って、2つの座標上の位置の差が小さくなるように校正データを更新することにより、理想的な校正データに近づけることが可能である。   Calibration data that matches the position on the touch operation coordinate recognized by the touch operation recognition unit 2 when the position on the gesture operation coordinate recognized by the gesture operation recognition unit 3 is coordinate-converted based on the calibration data is ideal. . Therefore, by updating the calibration data so that the difference between the positions on the two coordinates becomes small, it is possible to approach the ideal calibration data.

また、本実施の形態1におけるセルフプリント端末1において、制御部9は、セルフプリント端末1が提供するサービス一覧を示す画像を表示部13に表示させ、タッチ操作認識部2が認識したセルフプリント処理のためのタッチ操作座標上の位置とは、表示部13に表示されたサービス一覧を示す画像のいずれかに対するタッチ操作をタッチ操作認識部2が認識した際のタッチ操作座標上の位置である。   In the self-print terminal 1 according to the first embodiment, the control unit 9 causes the display unit 13 to display an image indicating a list of services provided by the self-print terminal 1, and the self-print processing recognized by the touch operation recognition unit 2. The position on the touch operation coordinates for is the position on the touch operation coordinates when the touch operation recognition unit 2 recognizes the touch operation on any of the images indicating the service list displayed on the display unit 13.

セルフプリント端末の利用開始時において、使用者に対してサービス一覧を提示するのが一般的である。サービス一覧に対するタッチ操作による選択を利用して校正データの更新処理を行うことで、その後に実施される使用者のジェスチャー操作を高い精度で画面上に反映させることが可能となる。   It is common to present a service list to the user at the start of use of the self-print terminal. By performing calibration data update processing using selection by touch operation on the service list, it is possible to reflect the user's gesture operation performed thereafter on the screen with high accuracy.

また、本実施の形態1におけるセルフプリント端末1において、制御部9は、画像データ入力部5に入力された複数の画像データの画像を表示部13の画面上の異なる位置に同時に表示させ、タッチ操作認識部2が認識したセルフプリント処理のためのタッチ操作座標上の位置とは、表示部13に表示された複数の画像データの画像のいずれかに対するタッチ操作をタッチ操作認識部2が認識した際のタッチ操作座標上の位置である。   In the self-print terminal 1 according to the first embodiment, the control unit 9 simultaneously displays images of a plurality of image data input to the image data input unit 5 at different positions on the screen of the display unit 13 and touches them. The position on the touch operation coordinates for the self-print processing recognized by the operation recognition unit 2 is the touch operation recognition unit 2 that recognizes the touch operation on any of the plurality of image data images displayed on the display unit 13. This is the position on the touch operation coordinates.

本実施の形態1では、画像データのサムネイルを表示するサムネイル表示画面13bにおける画像データを選択する際のタッチ操作を利用して校正データの更新処理を行う。画像データを選択する際に校正データの更新処理を行うことにより、その後の画像編集処理において実施されるジェスチャー操作を高い精度で画面上に反映させることが可能となる。   In the first embodiment, the calibration data is updated using a touch operation when selecting image data on the thumbnail display screen 13b for displaying thumbnails of the image data. By performing calibration data update processing when selecting image data, it is possible to reflect gesture operations performed in subsequent image editing processing on the screen with high accuracy.

また、本実施の形態1におけるセルフプリント端末1において、ジェスチャー操作認識部3は、使用者の顔と表示部13の画面との距離を認識し、制御部9は、距離に応じて表示部13に表示する画像の大きさを調整する。   In the self-print terminal 1 according to the first embodiment, the gesture operation recognition unit 3 recognizes the distance between the user's face and the screen of the display unit 13, and the control unit 9 displays the display unit 13 according to the distance. Adjust the size of the image displayed on the screen.

従って、例えば使用者が表示部13の画面に顔を近づけた場合に、表示部13に表示する画像を拡大することにより、視認性を向上させて、使用者に対する利便性を向上させることが可能である。   Therefore, for example, when the user brings his / her face close to the screen of the display unit 13, the image displayed on the display unit 13 can be enlarged, thereby improving the visibility and improving the convenience for the user. It is.

<実施の形態2>
本実施の形態2におけるセルフプリント端末1において、ジェスチャー操作認識部3は、左右どちらの手のどの指でジェスチャー操作が行われたかを認識可能であるとする。認識方法は、例えば特許文献2に記載の方法を採用する。つまり、ジェスチャー操作認識部3は、動作検知センサー31が取得した画像から肌色領域を抽出し、指先と手の重心位置を算出する。そして、予め用意した各手の形状毎の指先と手の重心位置との比較を行い、どちらの手のどの指でジェスチャー操作が行われたかを推定する。
<Embodiment 2>
In the self-printing terminal 1 according to the second embodiment, it is assumed that the gesture operation recognizing unit 3 can recognize which finger of the left or right hand is used for the gesture operation. As a recognition method, for example, the method described in Patent Document 2 is adopted. That is, the gesture operation recognition unit 3 extracts a skin color region from the image acquired by the motion detection sensor 31, and calculates the center of gravity of the fingertip and the hand. Then, the fingertip for each hand shape prepared in advance and the center of gravity position of the hand are compared, and it is estimated which finger of which hand is used for the gesture operation.

本実施の形態2では、左右の手の指ごとに校正データが対応付けられている。つまり、記憶部6には、左右の手の各指に対応した複数の校正データが記憶されている。   In the second embodiment, calibration data is associated with the fingers of the left and right hands. That is, the storage unit 6 stores a plurality of calibration data corresponding to the fingers of the left and right hands.

図11に示すように、サービス選択画面13aにおいて左手の人差し指10aによりタッチ操作が行われた場合の校正データの校正処理を説明する。図12は、実施の形態2における校正データの更新処理を示すフローチャートである。まず、制御部9は、タッチ操作認識部2が認識したタッチ操作座標上の位置を取得する(ステップS501)。ここで、タッチ操作座標上の位置は、図11に示すように画像131がタッチされた際にタッチ操作認識部2が認識したタッチ操作座標上の位置である。さらに、制御部9は、画像131がタッチされた際にジェスチャー操作認識部3が認識したジェスチャー操作座標上の位置を取得する(ステップS502)。このとき、制御部9は、左右どちらの手のどの指でタッチ操作が行われたかも同時に取得する。図11の例では、使用者は左手の人差し指10aでタッチ操作を行っているため、制御部9は左手の人差し指によりタッチ操作が行われたことを取得する。   As shown in FIG. 11, a calibration process of calibration data when a touch operation is performed with the index finger 10a of the left hand on the service selection screen 13a will be described. FIG. 12 is a flowchart showing calibration data update processing according to the second embodiment. First, the control unit 9 acquires the position on the touch operation coordinates recognized by the touch operation recognition unit 2 (step S501). Here, the position on the touch operation coordinates is a position on the touch operation coordinates recognized by the touch operation recognition unit 2 when the image 131 is touched as shown in FIG. Further, the control unit 9 acquires the position on the gesture operation coordinates recognized by the gesture operation recognition unit 3 when the image 131 is touched (step S502). At this time, the control unit 9 simultaneously acquires which finger of the left or right hand is used for the touch operation. In the example of FIG. 11, since the user is performing a touch operation with the left index finger 10a, the control unit 9 acquires that the touch operation has been performed with the left index finger.

そして、制御部9は、記憶部6に記憶されている左手の人差し指に対応した校正データを使用して、ジェスチャー操作座標上の位置を、タッチ操作座標上の位置に変換する。制御部9は、変換後のジェスチャー操作座標上の位置が、ステップS501において取得したタッチ操作座標上の位置に近づくように校正データを修正する(ステップS503)。修正後の校正データを新しい校正データと呼ぶ。そして、制御部9は、左手の人差し指に対応した古い校正データを新しい校正データで更新する(ステップS504)。   Then, using the calibration data corresponding to the index finger of the left hand stored in the storage unit 6, the control unit 9 converts the position on the gesture operation coordinates to the position on the touch operation coordinates. The control unit 9 corrects the calibration data so that the position on the gesture operation coordinate after conversion approaches the position on the touch operation coordinate acquired in step S501 (step S503). The corrected calibration data is called new calibration data. Then, the control unit 9 updates the old calibration data corresponding to the left index finger with new calibration data (step S504).

また、図11に示すように、サービス選択画面13aにおいて右手の人差し指10bによりタッチ操作が行われた場合は、以上で説明した校正データの更新処理において、右手の人差し指に対応した校正データに対して更新処理を行う。なお、以上では左右の手の人差し指に関して、校正データの更新処理を説明したが、他の指でタッチ操作が行われた場合でも同様に、各指の校正データに対して更新処理を行う。   Further, as shown in FIG. 11, when a touch operation is performed with the right index finger 10b on the service selection screen 13a, the calibration data corresponding to the right index finger is corrected in the calibration data update process described above. Perform update processing. Although the calibration data update process has been described above with respect to the index fingers of the left and right hands, the update process is similarly performed on the calibration data of each finger even when a touch operation is performed with another finger.

<効果>
本実施の形態2におけるセルフプリント端末1において、ジェスチャー操作認識部3は、指示体である使用者の左右の手の各指を区別して認識可能であり、使用者の左右の手の各指のそれぞれに複数の校正データが対応付けられている。
<Effect>
In the self-printing terminal 1 according to the second embodiment, the gesture operation recognizing unit 3 can recognize and recognize each finger of the left and right hands of the user as the indicator, and recognizes each finger of the left and right hands of the user. A plurality of calibration data is associated with each.

従って、セルフプリント端末1は複数の使用者が操作するため、右利きや左利きなどの条件が統一されていない。そのため、例えば、右手の人差し指のタッチ操作を利用して更新処理を行った校正データを、左手の人差し指によるジェスチャー操作の認識に使用すると、精度が悪くなる問題があった。本実施の形態2におけるセルフプリント端末1は、ジェスチャー操作を行う使用者の左右の手の各指を区別可能であり、使用者の左右の手の各指に対して校正データを対応付けている。従って、使用者の左右の手の各指ごとに校正データの更新処理が可能となり、使用者が左右の手のどの指を用いてジェスチャー操作を行ったとしても、ジェスチャー操作を高い精度で画面上に反映させることが可能となる。   Accordingly, since the self-print terminal 1 is operated by a plurality of users, conditions such as right-handed and left-handed are not unified. For this reason, for example, when calibration data that has been updated using the touch operation of the index finger of the right hand is used for recognition of a gesture operation by the index finger of the left hand, there is a problem that accuracy is deteriorated. The self-printing terminal 1 according to the second embodiment can distinguish between the fingers of the user's left and right hands performing the gesture operation, and associates calibration data with the fingers of the user's left and right hands. . Therefore, it is possible to update the calibration data for each finger of the left and right hands of the user, and even if the user performs the gesture operation using any finger of the left and right hands, the gesture operation can be performed on the screen with high accuracy. It is possible to reflect on.

<実施の形態3>
本実施の形態3におけるセルフプリント端末1は、サムネイル表示画面13bにおいて類似した画像を近接して配置する。図13は、画像データの表示、選択、編集処理を示すフローチャートである。ここで、画像データの表示、選択、編集処理とは、実施の形態1における図3のステップS103に対応する。
<Embodiment 3>
The self-print terminal 1 according to the third embodiment arranges similar images close to each other on the thumbnail display screen 13b. FIG. 13 is a flowchart showing image data display, selection, and editing processing. Here, the display, selection, and editing processing of image data corresponds to step S103 in FIG. 3 in the first embodiment.

まず、制御部9は、読み込んだ画像データの類似性を判定する(ステップS601)。類似性の判定は予め定められた条件に基づいて行われる。予め定められた条件とは、例えば、デジタルカメラで撮影した画像データに付与されているexif(Exchangeable image file format)情報の位置情報が互いに近い場合にそれらの画像データに類似性があると判定する。また、画像データの撮影日時が互いに近い場合に画像データに類似性があると判定してもよい。あるいは、制御部9が画像に対して顔認識を行い、特定の人物が共通して映っている場合に類似性があると判定してもよい。なお、類似性の判定条件は、ここに挙げる条件に限るものではない。   First, the control unit 9 determines the similarity of the read image data (step S601). The similarity is determined based on a predetermined condition. For example, when the positional information of exif (Exchangeable image file format) information added to image data captured by a digital camera is close to each other, the predetermined condition is determined to be similar to the image data. . Alternatively, it may be determined that the image data is similar when the image data shooting dates and times are close to each other. Alternatively, the control unit 9 may perform face recognition on the image and determine that there is similarity when a specific person is shown in common. Note that the similarity determination conditions are not limited to the conditions listed here.

次に、制御部9は、類似性があると判定された画像が近接して配置されるように、サムネイル画像134の表示位置を並べ替える(ステップS602)。並べ替え前後のサムネイル表示画面13bを図8、図14にそれぞれ示す。   Next, the control unit 9 rearranges the display positions of the thumbnail images 134 so that the images determined to have similarities are arranged close to each other (step S602). Thumbnail display screens 13b before and after rearrangement are shown in FIGS. 8 and 14, respectively.

そして、制御部9は表示部13にサムネイル画像134を並べ替えた後のサムネイル表示画面13b(図14)を表示部13に表示させる(ステップS603)。以降の処理(ステップS604からS608)は、図7のステップS402からS406と同じため、説明を省略する。   And the control part 9 displays the thumbnail display screen 13b (FIG. 14) after rearranging the thumbnail image 134 on the display part 13 on the display part 13 (step S603). The subsequent processing (steps S604 to S608) is the same as steps S402 to S406 in FIG.

<効果>
本実施の形態3におけるセルフプリント端末1において、制御部9は、予め定められた条件に基づいて複数の画像データの類似性を判定し、類似していると判定した画像データの画像を表示部13の画面上の互いに近い位置に配置する。
<Effect>
In the self-print terminal 1 according to the third embodiment, the control unit 9 determines the similarity of a plurality of image data based on a predetermined condition, and displays an image of the image data determined to be similar to the display unit. 13 are arranged at positions close to each other on the screen.

近年、セルフプリント端末の表示画面は大画面化しており、解像度が大きくなってきている。そのため、より高い精度でジェスチャー操作を画面上に反映させることが要求されている。本実施の形態3では、類似画像を近接して配置する。このため、使用者が複数種類の画像(即ち互いに類似しない複数の画像)を選択する場合は、タッチパネル上の離れた座標をタッチ操作することになる。この時、使用者がタッチ操作にて画像を選択する度に校正データの更新処理が行われる(図14のステップS605)。校正データの更新処理は、タッチパネル上の近接した座標で複数回実施するよりも、離れた座標で複数回実施する方が、校正データの精度が向上する。以上から、本実施の形態3では、実施の形態1と比較して、使用者のジェスチャー操作をより高い精度で画面上に反映させることが可能となる。   In recent years, the display screen of a self-print terminal has become larger and the resolution has become larger. Therefore, it is required to reflect the gesture operation on the screen with higher accuracy. In the third embodiment, similar images are arranged close to each other. For this reason, when the user selects a plurality of types of images (that is, a plurality of images that are not similar to each other), a touch operation is performed on the coordinates on the touch panel. At this time, every time the user selects an image by a touch operation, calibration data update processing is performed (step S605 in FIG. 14). The accuracy of the calibration data is improved when the calibration data update process is performed a plurality of times at a distant coordinate rather than a plurality of times at a close coordinate on the touch panel. From the above, in the third embodiment, it is possible to reflect the user's gesture operation on the screen with higher accuracy than in the first embodiment.

なお、本発明は、その発明の範囲内において、各実施の形態を自由に組み合わせたり、各実施の形態を適宜、変形、省略することが可能である。   It should be noted that the present invention can be freely combined with each other within the scope of the invention, and each embodiment can be appropriately modified or omitted.

1 セルフプリント端末、2 タッチ操作認識部、3 ジェスチャー操作認識部、4 記憶メディア、5 画像データ入力部、6 記憶部、9 制御部、12 印刷部、13 表示部、13a サービス選択画面、13b サムネイル表示画面、13c 画像編集画面、21 タッチパネル、31 動作検知センサー、131,132,133 画像、134 サムネイル画像、135 ペン、136 線、137 アイコン。   DESCRIPTION OF SYMBOLS 1 Self-print terminal, 2 Touch operation recognition part, 3 Gesture operation recognition part, 4 Storage media, 5 Image data input part, 6 Storage part, 9 Control part, 12 Printing part, 13 Display part, 13a Service selection screen, 13b Thumbnail Display screen, 13c image editing screen, 21 touch panel, 31 motion detection sensor, 131, 132, 133 image, 134 thumbnail image, 135 pen, 136 line, 137 icon.

Claims (6)

画像データが入力される画像データ入力部と、
画像データを表示する表示部と、
前記画像データを印刷する印刷部と、
タッチ操作を認識するタッチ操作認識部と、
ジェスチャー操作を認識するジェスチャー操作認識部と、
校正データが記憶された記憶部と、
制御部と、
を備え、
前記タッチ操作認識部に規定されたタッチ操作座標は前記表示部の座標と一致しており、
前記ジェスチャー操作認識部に規定されたジェスチャー操作座標は、前記タッチ操作座標と、前記校正データを介して対応付けられており、
前記制御部は、前記タッチ操作認識部が認識したセルフプリント処理のための前記タッチ操作座標上の位置と、当該タッチ操作認識部が前記セルフプリント処理のためのタッチ操作を認識した際に前記ジェスチャー操作認識部が認識した前記ジェスチャー操作座標上の位置と、に基づいて前記校正データを更新する処理を行い、
前記校正データを更新する処理において、前記制御部は、前記校正データに基づいて前記タッチ操作座標上に座標変換された前記ジェスチャー操作座標上の位置と、前記タッチ操作認識部が認識したセルフプリント処理のための前記タッチ操作座標上の位置との差が小さくなるように、前記校正データを更新する
セルフプリント端末。
An image data input unit for inputting image data;
A display for displaying image data;
A printing unit for printing the image data;
A touch operation recognition unit that recognizes a touch operation;
A gesture operation recognition unit for recognizing a gesture operation;
A storage unit storing calibration data; and
A control unit;
With
The touch operation coordinates defined in the touch operation recognition unit coincide with the coordinates of the display unit,
Gesture operation coordinates defined in the gesture operation recognition unit are associated with the touch operation coordinates via the calibration data,
The control unit includes the position on the touch operation coordinates for self-print processing recognized by the touch operation recognition unit, and the gesture when the touch operation recognition unit recognizes the touch operation for self-print processing. and position on the gesture operation coordinates operation recognition portion has recognized, have rows a process of updating the calibration data on the basis of,
In the process of updating the calibration data, the control unit performs a self-print process recognized by the touch operation recognition unit and the position on the gesture operation coordinate that has been transformed into the touch operation coordinate based on the calibration data. Updating the calibration data so that the difference from the position on the touch operation coordinates for
Self-printing terminal.
前記ジェスチャー操作認識部は、指示体である使用者の左右の手の各指を区別して認識可能であり、
使用者の左右の手の各指のそれぞれに複数の前記校正データが対応付けられている、
請求項1に記載のセルフプリント端末。
The gesture operation recognizing unit is capable of distinguishing and recognizing each finger of the left and right hands of the user as an indicator
A plurality of calibration data is associated with each finger of the left and right hands of the user,
The self-printing terminal according to claim 1 .
前記制御部は、前記セルフプリント端末が提供するサービス一覧を示す画像を前記表示部の画面上に表示させ、
前記タッチ操作認識部が認識したセルフプリント処理のための前記タッチ操作座標上の位置とは、前記表示部に表示された前記サービス一覧を示す画像のいずれかに対するタッチ操作を前記タッチ操作認識部が認識した際の前記タッチ操作座標上の位置である、
請求項1または請求項2に記載のセルフプリント端末。
The control unit displays an image showing a list of services provided by the self-print terminal on the screen of the display unit,
The position on the touch operation coordinates for self-print processing recognized by the touch operation recognition unit means that the touch operation recognition unit performs a touch operation on any of the images indicating the service list displayed on the display unit. It is the position on the touch operation coordinates when recognized.
The self-printing terminal according to claim 1 or 2 .
前記制御部は、画像データ入力部に入力された複数の画像データの画像を前記表示部の画面上の異なる位置に同時に表示させ、
前記タッチ操作認識部が認識したセルフプリント処理のための前記タッチ操作座標上の位置とは、前記表示部に表示された複数の画像データの画像のいずれかに対するタッチ操作を前記タッチ操作認識部が認識した際の前記タッチ操作座標上の位置である、
請求項1から請求項のいずれか一項に記載のセルフプリント端末。
The control unit simultaneously displays images of a plurality of image data input to the image data input unit at different positions on the screen of the display unit,
The position on the touch operation coordinates for the self-print processing recognized by the touch operation recognition unit means that the touch operation recognition unit performs a touch operation on any of a plurality of image data images displayed on the display unit. It is the position on the touch operation coordinates when recognized.
The self-printing terminal according to any one of claims 1 to 3 .
前記制御部は、予め定められた条件に基づいて前記複数の画像データの類似性を判定し、類似していると判定した画像データの画像を前記表示部の画面上の互いに近い位置に配置する、
請求項に記載のセルフプリント端末。
The control unit determines the similarity of the plurality of image data based on a predetermined condition, and arranges the images of the image data determined to be similar to each other on the screen of the display unit. ,
The self-printing terminal according to claim 4 .
前記ジェスチャー操作認識部は、使用者の顔と前記表示部の画面との距離を認識し、
前記制御部は、前記距離に応じて前記表示部に表示する画像の大きさを調整する、
請求項1から請求項のいずれか一項に記載のセルフプリント端末。
The gesture operation recognition unit recognizes a distance between a user's face and the screen of the display unit,
The control unit adjusts a size of an image displayed on the display unit according to the distance.
The self-printing terminal according to any one of claims 1 to 5 .
JP2015098782A 2015-05-14 2015-05-14 Self-print terminal Expired - Fee Related JP6478796B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015098782A JP6478796B2 (en) 2015-05-14 2015-05-14 Self-print terminal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015098782A JP6478796B2 (en) 2015-05-14 2015-05-14 Self-print terminal

Publications (2)

Publication Number Publication Date
JP2016218497A JP2016218497A (en) 2016-12-22
JP6478796B2 true JP6478796B2 (en) 2019-03-06

Family

ID=57581092

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015098782A Expired - Fee Related JP6478796B2 (en) 2015-05-14 2015-05-14 Self-print terminal

Country Status (1)

Country Link
JP (1) JP6478796B2 (en)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004252715A (en) * 2003-02-20 2004-09-09 Dainippon Printing Co Ltd Image outputting device, program, recording medium and picture display method
JP2009042796A (en) * 2005-11-25 2009-02-26 Panasonic Corp Gesture input device and method
JP5433935B2 (en) * 2007-07-24 2014-03-05 日本電気株式会社 Screen display control method, screen display control method, electronic device, and program
JP5033580B2 (en) * 2007-10-31 2012-09-26 株式会社リコー Image processing apparatus and image processing method
DE102011015806A1 (en) * 2011-04-01 2012-10-04 Ident Technology Ag display device
JP5658500B2 (en) * 2010-07-26 2015-01-28 キヤノン株式会社 Information processing apparatus and control method thereof
JP6115256B2 (en) * 2013-03-29 2017-04-19 ブラザー工業株式会社 Image display control device, image display control method, and image display control program

Also Published As

Publication number Publication date
JP2016218497A (en) 2016-12-22

Similar Documents

Publication Publication Date Title
US9674448B2 (en) Mobile terminal and method for controlling the same
KR102147935B1 (en) Method for processing data and an electronic device thereof
US20130286435A1 (en) Image processing apparatus, method for controlling the same, and recording medium
JP5962465B2 (en) Image processing program, image processing apparatus, and image processing method
JP5533837B2 (en) Handwriting input device and handwriting input control program
US9176683B2 (en) Image information processing method, image information processing apparatus and computer-readable recording medium storing image information processing program
US9378427B2 (en) Displaying handwritten strokes on a device according to a determined stroke direction matching the present direction of inclination of the device
US9557904B2 (en) Information processing apparatus, method for controlling display, and storage medium
US8577148B2 (en) Image combining apparatus and image combining program
JP5925957B2 (en) Electronic device and handwritten data processing method
CN103248814A (en) Moving image recording device, control method therefor
JP6206581B2 (en) Terminal device, display control method, and program
JP6053291B2 (en) Image processing apparatus, image processing apparatus control method, and program
US20140104639A1 (en) Information processing apparatus and control method therefor, and print apparatus and control method therefor
JP6080461B2 (en) Operation receiving apparatus and method, and program
KR102105492B1 (en) Information processing apparatus, control method of information processing apparatus, and storage medium
JP4871226B2 (en) Recognition device and recognition method
JP6478796B2 (en) Self-print terminal
US20150009534A1 (en) Operation apparatus, image forming apparatus, method for controlling operation apparatus, and storage medium
US9253346B2 (en) Image processing apparatus, image forming apparatus, mobile terminal apparatus, and image processing system
US10148832B2 (en) Image forming apparatus with projector to display an image to be printed and related method
JP5943743B2 (en) Display control apparatus, control method thereof, and program
JP6362110B2 (en) Display control device, control method therefor, program, and recording medium
JP2017010470A (en) Electronic equipment
JP2020155070A (en) Information processing apparatus and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180216

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181017

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181023

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181207

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190108

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190205

R150 Certificate of patent or registration of utility model

Ref document number: 6478796

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees