JP6989769B2 - Information processing systems, information processing system control methods, and programs - Google Patents

Information processing systems, information processing system control methods, and programs Download PDF

Info

Publication number
JP6989769B2
JP6989769B2 JP2017246477A JP2017246477A JP6989769B2 JP 6989769 B2 JP6989769 B2 JP 6989769B2 JP 2017246477 A JP2017246477 A JP 2017246477A JP 2017246477 A JP2017246477 A JP 2017246477A JP 6989769 B2 JP6989769 B2 JP 6989769B2
Authority
JP
Japan
Prior art keywords
image
category
designation
information processing
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017246477A
Other languages
Japanese (ja)
Other versions
JP2019114018A (en
Inventor
建志 入江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Marketing Japan Inc
Canon IT Solutions Inc
Original Assignee
Canon Marketing Japan Inc
Canon IT Solutions Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Marketing Japan Inc, Canon IT Solutions Inc filed Critical Canon Marketing Japan Inc
Priority to JP2017246477A priority Critical patent/JP6989769B2/en
Publication of JP2019114018A publication Critical patent/JP2019114018A/en
Application granted granted Critical
Publication of JP6989769B2 publication Critical patent/JP6989769B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、情報処理システム、情報処理システムの制御方法、およびプログラムに関し、特に、画像データに含まれる検出物体のカテゴリを分類する際の正確性及び作業効率を向上させることが可能な仕組みに関する。 The present invention relates to an information processing system, a control method of the information processing system, and a program, and more particularly to a mechanism capable of improving accuracy and work efficiency when classifying categories of detected objects included in image data.

近年、ディープラーニングと呼ばれる機械学習技術を応用した画像認識技術が発展しており、画像に写っている物体(カテゴリ)が何か、またその位置(画像中座標)はどこにあるのか、を検出する手法が数多く提案されている。 In recent years, image recognition technology that applies machine learning technology called deep learning has been developed, and it detects what the object (category) in the image is and where its position (coordinates in the image) is. Many methods have been proposed.

ディープラーニング技術を用いた物体検出器を構築するためには、大量の画像と教師データ(画像中のどこに、何のカテゴリの物体があるかを示すアノテーションデータ)が必要となる。 In order to construct an object detector using deep learning technology, a large amount of images and teacher data (annotation data indicating where and what category of objects are in the image) are required.

また、当該教師データの品質も担保される必要があり、教師データの質が低いと、正しく学習が行われず、検出精度の低い物体検出器が構築されてしまう。 In addition, the quality of the teacher data must be guaranteed, and if the quality of the teacher data is low, learning will not be performed correctly and an object detector with low detection accuracy will be constructed.

したがって、1枚の画像に写っている検出対象の物体(以下、検出物体や、検出対象物とも呼ぶ)を精度よくラベル付け(検出物体が写っている領域の指定と、その物体が属するカテゴリの指定)することが、非常に重要となっている。 Therefore, the object to be detected (hereinafter, also referred to as a detection object or a detection object) shown in one image is accurately labeled (designation of the area in which the detection object is shown and the category to which the object belongs). It is very important to specify).

ラベル付けの精度を向上させるために、すでにラベル付けを完了した各カテゴリの画像データを表示して、今回ラベル付けを行う画像データをどのカテゴリにラベル付けすべきかの判断を容易にする技術がある。 In order to improve the accuracy of labeling, there is a technology that displays the image data of each category that has already been labeled and makes it easy to determine which category the image data to be labeled this time should be labeled. ..

特許文献1には、カテゴリが未分類の画像データをユーザが指定すると、カテゴリ候補を表示する技術が開示されている。 Patent Document 1 discloses a technique for displaying category candidates when a user specifies image data whose category is not classified.

特開2001-156135号公報Japanese Unexamined Patent Publication No. 2001-156135

しかしながら、カテゴリ毎の画像データを表示するだけの場合、ユーザは全てのカテゴリの画像データと今回ラベル付けする画像データとを見比べる必要があるため、ユーザの作業効率が落ちてしまうという問題がある。 However, when only displaying the image data for each category, the user needs to compare the image data of all categories with the image data to be labeled this time, so that there is a problem that the work efficiency of the user is lowered.

本発明は、画像データに含まれる検出物体のカテゴリを分類する際の正確性及び作業効率を向上させることが可能な仕組みを提供することを目的とする。 An object of the present invention is to provide a mechanism capable of improving accuracy and work efficiency when classifying categories of detected objects included in image data.

本発明は、画像データに含まれる複数の検出物体の領域の指定および当該検出物体のカテゴリの指定を受け付ける受付手段と、前記受付手段により、領域の指定を受け付けた前記検出物体を、カテゴリごとに分けた画面を表示するように制御する表示制御手段とを備え、前記表示制御手段は、更に、他の画像において、前記カテゴリに指定された検出物体をカテゴリごとに分けた前記画面を表示することを特徴とする。 In the present invention, the receiving means that accepts the designation of the area of a plurality of detected objects included in the image data and the designation of the category of the detected object, and the detected object that has received the designation of the area by the receiving means are classified for each category. The display control means is provided with a display control means for controlling the display of the divided screens, and the display control means further displays the screen in which the detected objects specified in the categories are divided into categories in other images. It is characterized by.

また、本発明は、情報処理システムの制御方法であって、画像データに含まれる複数の検出物体の領域の指定および当該検出物体のカテゴリの指定を受け付ける受付工程と、前記受付工程で、領域の指定を受け付けた前記検出物体を、カテゴリごとに分けた画面を表示するように制御する表示制御工程とを備え、前記表示制御工程は、更に、他の画像において、前記カテゴリに指定された検出物体をカテゴリごとに分けた前記画面を表示することを特徴とする。 Further, the present invention is a control method of an information processing system, in which a reception step of receiving a designation of a region of a plurality of detected objects included in image data and a designation of a category of the detected object, and a reception step of the region. The detection object that has received the designation is provided with a display control step that controls to display a screen divided into categories, and the display control step further comprises a detection object designated in the category in another image. Is characterized by displaying the screen divided into categories.

また、本発明は、情報処理システムで読み取り実行可能なプログラムであって、前記情報処理システムを、画像データに含まれる複数の検出物体の領域の指定および当該検出物体のカテゴリの指定を受け付ける受付手段と、前記受付手段により、領域の指定を受け付けた前記検出物体を、カテゴリごとに分けた画面を表示するように制御する表示制御手段として機能させ、前記表示制御手段は、更に、他の画像において、前記カテゴリに指定された検出物体をカテゴリごとに分けた前記画面を表示することを特徴とする。 Further, the present invention is a program that can be read and executed by an information processing system, and the information processing system is a receiving means that accepts designation of a region of a plurality of detected objects included in image data and designation of a category of the detected object. The receiving means causes the detected object that has received the designation of the area to function as a display controlling means for controlling the display of screens divided by category, and the display controlling means is further used in other images. , The screen is characterized in that the detected objects specified in the categories are divided into categories.

本発明によると、画像データに含まれる検出物体のカテゴリを分類する際の正確性及び作業効率を向上させることができる。
According to the present invention, it is possible to improve the accuracy and work efficiency when classifying the categories of detected objects included in the image data.

本発明における情報処理システムの構成の一例を示す図The figure which shows an example of the structure of the information processing system in this invention. 本発明の情報処理装置(クライアント端末101、サーバ装置102)のハードウェア構成の一例を示すブロック図A block diagram showing an example of the hardware configuration of the information processing device (client terminal 101, server device 102) of the present invention. ラベル付け作業をする画面の一例を示す図A diagram showing an example of a screen for labeling work 基本画面の一例を示す図Diagram showing an example of the basic screen 基本画面の一例を示す図Diagram showing an example of the basic screen ラベル付け処理のフローチャートの一例を示す図The figure which shows an example of the flowchart of a labeling process. ラベル付け処理のフローチャートの一例を示す図The figure which shows an example of the flowchart of a labeling process. ラベル付け処理のフローチャートの一例を示す図The figure which shows an example of the flowchart of a labeling process. ラベル付け処理のフローチャートの一例を示す図The figure which shows an example of the flowchart of a labeling process. 各種データテーブルの一例を示す図Diagram showing an example of various data tables 周辺領域の座標を計算するイメージを示す図A diagram showing an image that calculates the coordinates of the surrounding area

以下、図面を参照して、本発明の実施形態を詳細に説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載した構成の具体的な実施形態の1つである。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. The embodiment described below is an example of a specific embodiment of the present invention, and is one of the specific embodiments of the configuration described in the claims.

図1は、本発明における情報処理システムの構成の一例を示す図である。図1に示すように、本発明における情報処理システムは、クライアント端末101とサーバ装置102が通信可能に接続された構成となっている。 FIG. 1 is a diagram showing an example of the configuration of the information processing system in the present invention. As shown in FIG. 1, the information processing system of the present invention has a configuration in which a client terminal 101 and a server device 102 are communicably connected.

クライアント端末101は、検出物体に対してラベル付け作業をするユーザが利用する端末であり、俯瞰画像や拡大画像等を表示し、ラベル付けの指示を受け付ける。 The client terminal 101 is a terminal used by a user who performs labeling work on a detected object, displays a bird's-eye view image, an enlarged image, and the like, and receives a labeling instruction.

ラベル付け作業は、表示された画像において、検出物体が写っている領域の指定と、当該検出物体の属するカテゴリ(ラベル)の指定を受け付ける作業である。なお、後述する検出物体矩形とは、検出物体が写っているとして指定された領域を囲む矩形のことである。 The labeling work is a work of accepting the designation of the area in which the detected object appears and the designation of the category (label) to which the detected object belongs in the displayed image. The detection object rectangle, which will be described later, is a rectangle that surrounds the area designated as the detection object.

例えば、図3に示す画面では、画像に写っている人物の顔が男性であるか女性であるか、およびおおよその年齢(例えば、10代か20代か等)のラベル付けをした例を示している。人間の顔に相当する領域を矩形で囲み、その矩形内の顔が男性であるか女性であるか、およびおおよその年齢のラベル付けを行う。 For example, the screen shown in FIG. 3 shows an example in which the face of the person in the image is labeled as male or female, and the approximate age (for example, teens or twenties, etc.). ing. Enclose the area corresponding to the human face with a rectangle and label whether the face in the rectangle is male or female and the approximate age.

サーバ装置102は、ラベル付けの結果を管理したり、後述する図4等の画面をクライアント端末101に送信する機能を有する。 The server device 102 has a function of managing the labeling result and transmitting a screen such as FIG. 4, which will be described later, to the client terminal 101.

クライアント端末101、サーバ装置102が実行する処理の詳細は、図6以降の図面を用いて後述する。 Details of the processing executed by the client terminal 101 and the server device 102 will be described later with reference to the drawings of FIGS. 6 and later.

次に、図2を用いて、図1に示したクライアント端末101とサーバ装置102に適用可能な情報処理装置のハードウェア構成について説明する。 Next, the hardware configuration of the information processing device applicable to the client terminal 101 and the server device 102 shown in FIG. 1 will be described with reference to FIG.

図2において、201はCPUで、システムバス204に接続される各デバイスやコントローラを統括的に制御する。また、ROM202あるいは外部メモリ211には、CPU201の制御プログラムであるBIOS(Basic Input / Output System)やオペレーティングシステムプログラム(以下、OS)や、PCの実行する機能を実現するために必要な後述する各種プログラム等が記憶されている。 In FIG. 2, 201 is a CPU that comprehensively controls each device and controller connected to the system bus 204. Further, in the ROM 202 or the external memory 211, a BIOS (Basic Input / Output System) which is a control program of the CPU 201, an operating system program (hereinafter, OS), and various functions necessary for realizing a function executed by the PC, which will be described later, are used. The program etc. are stored.

203はRAMで、CPU201の主メモリ、ワークエリア等として機能する。CPU201は、処理の実行に際して必要なプログラム等をROM202あるいは外部メモリ211からRAM203にロードして、ロードしたプログラムを実行することで各種動作を実現するものである。 Reference numeral 203 denotes a RAM, which functions as a main memory, a work area, and the like of the CPU 201. The CPU 201 realizes various operations by loading a program or the like necessary for executing a process from the ROM 202 or the external memory 211 into the RAM 203 and executing the loaded program.

また、205は入力コントローラで、キーボード(KB)209等のポインティングデバイス等からの入力を制御する。206はビデオコントローラで、ディスプレイ210(液晶、ブラウン管を問わない)等の表示器への表示を制御する。 Further, 205 is an input controller, which controls input from a pointing device such as a keyboard (KB) 209. Reference numeral 206 denotes a video controller, which controls the display on a display such as a display 210 (whether a liquid crystal display or a cathode ray tube).

207はメモリコントローラで、ブートプログラム、各種のアプリケーション、フォントデータ、ユーザファイル、編集ファイル、各種データ等を記憶する外部記憶装置(ハードディスク(HD))や、フレキシブルディスク(FD)、或いはPCMCIAカードスロットにアダプタを介して接続されるコンパクトフラッシュ(登録商標)メモリ等の外部メモリ211へのアクセスを制御する。 The 207 is a memory controller that can be used in an external storage device (hard disk (HD)) that stores boot programs, various applications, font data, user files, edit files, various data, etc., a flexible disk (FD), or a PCMCIA card slot. It controls access to an external memory 211 such as a CompactFlash® memory connected via an adapter.

208は通信I/Fコントローラで、ネットワークを介して外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、TCP/IPを用いた通信等が可能である。 Reference numeral 208 denotes a communication I / F controller, which connects and communicates with an external device via a network, and executes communication control processing on the network. For example, communication using TCP / IP is possible.

なお、CPU201は、例えばRAM203内の表示情報用領域へアウトラインフォントの展開(ラスタライズ)処理を実行することにより、ディスプレイ210上での表示を可能としている。また、CPU201は、ディスプレイ210上の不図示のマウスカーソル等でのユーザ指示を可能とする。 The CPU 201 enables display on the display 210 by, for example, executing an outline font expansion (rasterization) process in the display information area in the RAM 203. Further, the CPU 201 enables a user instruction with a mouse cursor or the like (not shown) on the display 210.

本発明を実現するための後述する各種プログラムは、外部メモリ211に記録されており、必要に応じてRAM203にロードされることによりCPU201によって実行されるものである。さらに、上記プログラムの実行時に用いられる設定ファイル等も外部メモリ211に格納されており、これらについての詳細な説明も後述する。以上で、図2の説明を終了する。 Various programs described later for realizing the present invention are recorded in the external memory 211, and are executed by the CPU 201 by being loaded into the RAM 203 as needed. Further, a setting file or the like used when executing the above program is also stored in the external memory 211, and detailed description of these will be described later. This is the end of the description of FIG.

次に、図4、図5を用いて、図3の画面上で、ある画像についてラベル付け作業を行った結果を確認するための画面(基本画面)について説明する。 Next, a screen (basic screen) for confirming the result of labeling an image on the screen of FIG. 3 will be described with reference to FIGS. 4 and 5.

図4、図5は、本発明における、基本画面の一例を示す図である。 4 and 5 are views showing an example of a basic screen in the present invention.

401は、今回のラベル付け作業によりラベル付けされた検出物体が表示される表示エリアを示す。 Reference numeral 401 denotes a display area in which the detected object labeled by this labeling operation is displayed.

402は、カテゴリ(ラベル)の名前を示し、図4の例では、男性20代というカテゴリと、男性30代というカテゴリにラベル付けされた検出物体の切り出し画像(検出物体を元画像から切り出した画像)403が各カテゴリ402の下に表示されている。カテゴリ402は、ドラッグ&ドロップで、表示順を変更することが可能(例えば、男性20代を男性30代の右に移動することが可能)である。また、「×」ボタンが選択されると、対象のカテゴリが表示エリア401から消去されるため、分類が完了したカテゴリを容易に画面から消すことができる。 Reference numeral 402 denotes a category (label), and in the example of FIG. 4, a cutout image of the detected object labeled in the category of male 20s and the category of male 30s (image obtained by cutting out the detected object from the original image). ) 403 is displayed below each category 402. In category 402, the display order can be changed by dragging and dropping (for example, it is possible to move a male 20's to the right of a male 30's). Further, when the "x" button is selected, the target category is deleted from the display area 401, so that the category for which the classification has been completed can be easily deleted from the screen.

403は、画像から検出物体を切り出した、切り出し画像である。切り出し画像403のカテゴリ402を変更したい場合には、変更先のカテゴリ402の下に、切り出し画像403をドラッグ&ドロップすることにより、他のカテゴリ402に変更することが可能である。つまり、わざわざ元画像の画面(図3)に戻ってカテゴリを変更しなおす必要がないため、ユーザのラベル付け作業の効率が向上する。 Reference numeral 403 is a cut-out image obtained by cutting out the detected object from the image. If you want to change the category 402 of the cutout image 403, you can change it to another category 402 by dragging and dropping the cutout image 403 under the change destination category 402. That is, since it is not necessary to return to the screen of the original image (FIG. 3) and change the category again, the efficiency of the labeling work of the user is improved.

切り出し画像403上でマウスオーバーを所定時間以上行うと、図5の501に示すとおり、検出物体の周辺の画像(周辺領域画像)が表示される。その際、検出物体矩形も表示されるため、矩検出物体矩形の位置やサイズを修正することも可能である。 When the mouse over is performed on the cutout image 403 for a predetermined time or longer, an image (peripheral area image) around the detected object is displayed as shown in 501 of FIG. At that time, since the detected object rectangle is also displayed, it is possible to correct the position and size of the rectangular detected object rectangle.

検出物体の周辺の画像が表示されることにより、切り出し画像403を見るだけではカテゴリの判断がしづらい場合に、判断を容易にする効果がある。 By displaying the image around the detected object, there is an effect of facilitating the judgment when it is difficult to judge the category only by looking at the cutout image 403.

例えば、植物の花のラベル付け(桜の枝についているのが、つぼみであるか、開花しているかのラベル付け)等において、切り出し画像403に花が映っているが、1つの花なのか、2つの花なのか切り出し画像だけではわかりにくい場合があるため、そのような場合に、検出物体の周辺の画像が表示されることにより、1つの花なのか否かの判断を容易に行うことができる。 For example, in the labeling of the flowers of a plant (labeling whether the buds are attached to the branches of the cherry blossoms or whether they are in bloom), the flowers are reflected in the cutout image 403, but is it one flower? Since it may be difficult to tell whether it is one flower or not from the cut-out image alone, in such a case, it is possible to easily determine whether or not it is one flower by displaying the image around the detected object. ..

404は、ページング要素であり、切り出し画像403が多い場合に表示される。なお、ページングではなく縦にスクロールバーを表示しても良い。 Reference numeral 404 is a paging element, which is displayed when there are many cutout images 403. The scroll bar may be displayed vertically instead of paging.

405は、リストボックスであり、最上部はテキストが入力可能になっており、入力されたテキストと、前方一致するカテゴリ名のみ表示される。 Reference numeral 405 is a list box, and text can be input at the uppermost part, and only the category name that matches the input text at the beginning is displayed.

リストボックス405に入力がされていないときは、すべてのカテゴリ名が表示される。表示されたカテゴリ名を選択して、リストボックス405の右隣の追加ボタンが選択されることにより、追加されたカテゴリの切り出し画像403が表示エリア401や、表示エリア407に表示される。 If no entry is made in the list box 405, all category names are displayed. By selecting the displayed category name and selecting the add button on the right side of the list box 405, the cutout image 403 of the added category is displayed in the display area 401 or the display area 407.

つまり、リストボックス405により、ユーザは見比べたいカテゴリを容易に表示エリアに表示できるため、ユーザのラベル付け作業の効率が向上する。 That is, the list box 405 allows the user to easily display the category to be compared in the display area, which improves the efficiency of the user's labeling work.

406は、表示エリア407に表示する切り出し画像403の対象を切り替えるラジオボタンであり、「全画像の切り出し画像を表示」が選択されると、現在ラベル付けを行っている画像を除く、ラベル付けが完了しているすべての画像の切り出し画像403が時系列順に表示され、「全切り出し画像からランダムに表示」が選択されると、表示エリアに所定枚数(例えば5枚等)の切り出し画像403がランダムで表示される。その場合、ページング要素404は表示されない。「現在作業中の画像から切り出した画像のみ表示」が選択されると、表示エリア407に切り出し画像が表示されない。 Reference numeral 406 is a radio button for switching the target of the cutout image 403 to be displayed in the display area 407. When "Display cutout image of all images" is selected, the labeling is performed except for the image currently being labeled. Cut-out images 403 of all completed images are displayed in chronological order, and when "Display randomly from all cut-out images" is selected, a predetermined number of cut-out images 403 (for example, 5 images) are randomly displayed in the display area. It is displayed in. In that case, the paging element 404 is not displayed. When "Display only the image cut out from the image currently being worked on" is selected, the cutout image is not displayed in the display area 407.

「全切り出し画像からランダムに表示」を選択するメリットは、当該選択がされると、異なる時間に撮影された複数の画像からランダムに切り出し画像がピックアップされ表示エリア407に表示されるため、ある1つの画像の切り出し画像が表示されるよりも、色々な画像の切り出し画像と比較することができる点である。 The merit of selecting "Randomly display from all cropped images" is that when the selection is made, the cropped images are randomly picked up from a plurality of images taken at different times and displayed in the display area 407. Rather than displaying a cropped image of one image, it is possible to compare it with cropped images of various images.

上述したメリットは、たとえば、植物の花のラベル付け(桜の枝についているのが、つぼみであるか、開花しているかのラベル付け)等の、時系列的に変化の少ない画像のラベル付けにおいて、より顕著である。 The advantages mentioned above are in the labeling of images that do not change over time, such as the labeling of plant flowers (labeling whether the branches of cherry blossoms are buds or flowers). More prominent.

407は、今回のラベル付け作業の対象となっている画像とは異なる他の画像の切り出し画像が表示される表示エリアである。 407 is a display area in which a cut-out image of another image different from the image targeted for the labeling work this time is displayed.

表示エリア401に複数のカテゴリ402を並列して表示したり、表示エリア407に他の画像の同一カテゴリ切り出し画像を表示したりすることで、ユーザは現在ラベル付け作業中の検出物体と過去の画像の検出物体とを比較できるため、より適切なカテゴリにラベル付けし直しやすくなる。以上で、図4、図5の説明を終了する。 By displaying a plurality of categories 402 in parallel in the display area 401, or displaying the same category cutout image of another image in the display area 407, the user can display the detected object currently being labeled and the past image. It is easier to relabel to a more appropriate category because it can be compared with the detected object of. This is the end of the explanation of FIGS. 4 and 5.

次に、図6~図9を用いて、本発明の、ラベル付け処理について説明する。図6~10は、本発明における、ラベル付け処理のフローチャートの一例を示す図である。 Next, the labeling process of the present invention will be described with reference to FIGS. 6 to 9. 6 to 10 are diagrams showing an example of a flowchart of the labeling process in the present invention.

各フローチャートに示す処理は、クライアント端末101、またはサーバ装置102のCPU201が実行する。まず、図6について説明する。 The process shown in each flowchart is executed by the client terminal 101 or the CPU 201 of the server device 102. First, FIG. 6 will be described.

ステップS601において、クライアント端末101は、ラベル付けを行うユーザから、これからラベル付けを行う画像の選択を受け付け、選択を受け付けた画像をサーバ装置102から取得する。 In step S601, the client terminal 101 accepts the selection of the image to be labeled from the user who performs the labeling, and acquires the image for which the selection is accepted from the server device 102.

ステップS602において、クライアント端末101は、ステップS601で取得した画像に対するラベル付けを、クライアント端末101のディスプレイ210に表示される図3の画面上で受け付ける。 In step S602, the client terminal 101 accepts the labeling of the image acquired in step S601 on the screen of FIG. 3 displayed on the display 210 of the client terminal 101.

ステップS602は、本発明における、画像データに含まれる複数の検出物体の領域の指定および当該検出物体のカテゴリの指定を受け付ける受付手段の一例である。 Step S602 is an example of the receiving means in the present invention that accepts the designation of the area of a plurality of detected objects included in the image data and the designation of the category of the detected object.

ステップS603において、クライアント端末101は、ステップS602でラベル付けを受け付けた後に、図4の基本画面ボタン301がユーザにより選択されることで、クライアント端末101のディスプレイ210に、図4の基本画面を表示する処理を実行する。ステップS603の処理の詳細は、図7を用いて後ほど説明する。 In step S603, after receiving the labeling in step S602, the client terminal 101 displays the basic screen of FIG. 4 on the display 210 of the client terminal 101 by selecting the basic screen button 301 of FIG. 4 by the user. Execute the process to be performed. The details of the process of step S603 will be described later with reference to FIG. 7.

ステップS603は、本発明における、前記受付手段により、領域の指定を受け付けた前記検出物体を、カテゴリごとに分けた画面を表示するように制御し、更に、他の画像において、前記カテゴリに指定された検出物体をカテゴリごとに分けた前記画面を表示する表示制御手段の一例である。 In step S603, the receiving means in the present invention controls the detected object that has received the designation of the area so as to display a screen divided into categories, and is further designated as the category in other images. This is an example of a display control means for displaying the screen in which the detected objects are divided into categories.

なお、他の実施形態として、「次の画像へ」ボタンや「前の画像へ」ボタンが選択されることで、基本画面を表示する処理を実行しても良いし、すべてのラベル付け作業が完了したタイミングで基本画面を表示する処理を実行しても良い。 As another embodiment, the process of displaying the basic screen may be executed by selecting the "Next image" button or the "Previous image" button, and all the labeling work can be performed. You may execute the process of displaying the basic screen at the timing of completion.

ステップS604において、クライアント端末101は、基本画面上でユーザから操作を受け付ける。 In step S604, the client terminal 101 receives an operation from the user on the basic screen.

ステップS605において、クライアント端末101は、図4の基本画面を介して、ユーザによりリストボックス405の右隣の追加ボタンが選択されたかを判定する。クライアント端末101は、追加ボタンが選択されたならば、ステップS606に処理を移行し、追加ボタンが選択されたのでなければステップS607に処理を移行する。 In step S605, the client terminal 101 determines whether the add button on the right side of the list box 405 has been selected by the user via the basic screen of FIG. If the add button is selected, the client terminal 101 shifts the process to step S606, and if the add button is not selected, the client terminal 101 shifts the process to step S607.

ステップS606において、クライアント端末101は、カテゴリ追加処理を行う。ステップS606の処理の詳細は、図8を用いて後ほど説明する。 In step S606, the client terminal 101 performs a category addition process. The details of the process of step S606 will be described later with reference to FIG.

ステップS607において、クライアント端末101は、図4の基本画面を介して、ユーザによりラジオボタン406が選択されたかを判定する。クライアント端末101は、ラジオボタン406が選択されたならば、ステップS608に処理を移行し、ラジオボタン406が選択されたのでなければステップS609に処理を移行する。 In step S607, the client terminal 101 determines whether the radio button 406 has been selected by the user via the basic screen of FIG. If the radio button 406 is selected, the client terminal 101 shifts the process to step S608, and if the radio button 406 is not selected, the process shifts to step S609.

ステップS608において、クライアント端末101は、基本画面の表示(更新)処理を行う。ステップS608の処理の詳細は、図7を用いて後ほど説明する。 In step S608, the client terminal 101 performs a display (update) process of the basic screen. The details of the process of step S608 will be described later with reference to FIG. 7.

ステップS609において、クライアント端末101は、図4の基本画面の切り出し画像403上で所定時間以上マウスオーバーされたかを判定する。クライアント端末101は、所定時間以上マウスオーバーされたならば、ステップS610に処理を移行し、所定時間以上マウスオーバーされたのでなければステップS611に処理を移行する。 In step S609, the client terminal 101 determines whether the mouse is over for a predetermined time or more on the cutout image 403 of the basic screen of FIG. The client terminal 101 shifts the process to step S610 if the mouse is over for a predetermined time or longer, and shifts the process to step S611 if the mouse is over for a predetermined time or longer.

ステップS610において、クライアント端末101は、所定時間以上マウスオーバーされた切り出し画像403の周辺画像を表示する処理を実行する。ステップS610の処理の詳細は、図9を用いて後ほど説明する。 In step S610, the client terminal 101 executes a process of displaying a peripheral image of the cutout image 403 that has been moused over for a predetermined time or longer. The details of the process of step S610 will be described later with reference to FIG.

ステップS611において、クライアント端末101は、図4の基本画面を介して、ユーザによりカテゴリ変更指示がされたかを判定する。クライアント端末101は、カテゴリ変更指示がされたならば、ステップS612に処理を移行し、カテゴリ変更指示がされたのでなければステップS613に処理を移行する。カテゴリ変更指示は、変更先のカテゴリ402の下に、切り出し画像403をドラッグ&ドロップする操作をユーザから受け付けることによりなされる。 In step S611, the client terminal 101 determines whether the category change instruction has been given by the user via the basic screen of FIG. If the category change instruction is given, the client terminal 101 shifts the process to step S612, and if the category change instruction is not given, the client terminal 101 shifts the process to step S613. The category change instruction is given by accepting from the user an operation of dragging and dropping the cutout image 403 under the category 402 of the change destination.

ステップS612において、クライアント端末101は、カテゴリ変更指示を受け付け切り出し画像403のカテゴリを変更する。具体的には、切り出し画像テーブル1003中の、ステップS611でカテゴリ変更指示を受け付けた切り出し画像403の「カテゴリ名」を変更する。 In step S612, the client terminal 101 receives the category change instruction and changes the category of the cutout image 403. Specifically, the "category name" of the cutout image 403 that received the category change instruction in step S611 in the cutout image table 1003 is changed.

ステップS613において、クライアント端末101は、ユーザから終了指示を受け付けたかを判定する。クライアント端末101は、終了指示を受け付けたならば、本処理を終了し、終了指示を受け付けなければ、ステップS601に処理を戻す。 In step S613, the client terminal 101 determines whether the end instruction has been received from the user. If the client terminal 101 receives the end instruction, it ends this process, and if it does not receive the end instruction, it returns the process to step S601.

以上で図6の説明を終了し、次に図7について説明する。 This is the end of the description of FIG. 6, and then FIG. 7 will be described.

ステップS701において、クライアント端末101は、サーバ装置102に対して、基本画面の取得要求を送信する。 In step S701, the client terminal 101 transmits a basic screen acquisition request to the server device 102.

なお、図6のステップS607本処理に移行する場合、クライアント端末101からは、現在の表示設定(どのラジオボタン406が選択されたかの情報を含む)、カテゴリ402に表示しているカテゴリのリスト(ステップS606で追加されたカテゴリ含む)、現在ラベル付け作業中の画像の画像ID、表示エリア401の1エリアに表示可能な切り出し画像403の枚数も送信される。また、図6のステップS602から本処理に移行する場合には、ステップS602で受け付けたラベル付けの結果(図10の切り出し画像テーブル1003に記憶される情報)を送信する。 When shifting to the process of step S607 in FIG. 6, from the client terminal 101, the current display setting (including information on which radio button 406 was selected) and the list of categories displayed in the category 402 (step). (Including the category added in S606), the image ID of the image currently being labeled, and the number of cutout images 403 that can be displayed in one area of the display area 401 are also transmitted. Further, when shifting from step S602 in FIG. 6 to this processing, the labeling result (information stored in the cutout image table 1003 in FIG. 10) received in step S602 is transmitted.

ステップS702において、サーバ装置102は、ステップS701でクライアント端末101から送信された基本画面の取得要求を受信し、ステップS703~ステップS707までの各処理を、基本画面に表示するカテゴリごとに実行する。 In step S702, the server device 102 receives the acquisition request of the basic screen transmitted from the client terminal 101 in step S701, and executes each process from step S703 to step S707 for each category displayed on the basic screen.

サーバ装置102は、図6のステップS607から本処理に移行する場合には、クライアント端末101から送信されたリストに含まれるカテゴリごとにステップS703~ステップS707までの各処理を実行する。一方、図6のステップS602から本処理に移行する場合には、ステップS602のラベル付け作業で指定されたすべてのカテゴリに対して、ステップS703~ステップS707までの各処理を実行するとしても良いし、ステップS703~ステップS707までの各処理を実行することなく、表示エリア401や、表示エリア407に何も表示しないとしても良い。表示エリア401や、表示エリア407に何も表示しない場合には、ステップS606でカテゴリが追加されて始めて、表示エリア401や、表示エリア407に切り出し画像403を表示する。 When shifting from step S607 of FIG. 6 to this process, the server device 102 executes each process from step S703 to step S707 for each category included in the list transmitted from the client terminal 101. On the other hand, when shifting from step S602 of FIG. 6 to this process, each process from step S703 to step S707 may be executed for all the categories specified in the labeling operation of step S602. , Nothing may be displayed in the display area 401 or the display area 407 without executing each process from step S703 to step S707. When nothing is displayed in the display area 401 or the display area 407, the cutout image 403 is displayed in the display area 401 or the display area 407 only after the category is added in step S606.

ステップS703において、サーバ装置102は、図6のステップS602で受け付けたラベル付け作業の結果、処理対象のカテゴリにラベル付けされた検出物体の切り出し画像(表示エリア401に表示する切り出し画像)を取得する。 In step S703, the server device 102 acquires a cut-out image (cut-out image to be displayed in the display area 401) of the detected object labeled in the category to be processed as a result of the labeling work received in step S602 of FIG. ..

ステップS704において、サーバ装置102は、図4の基本画面上で、「現在作業中の画像から切り出した画像のみ表示」のラジオボタン406が選択されていたかを判定する。サーバ装置102は、「現在作業中の画像から切り出した画像のみ表示」のラジオボタン406が選択されていなければ、ステップS705に処理を移行する。なお、図6のステップS602から本処理に移行する場合には、デフォルトの設定が「現在作業中の画像から切り出した画像のみ表示」になっているか否か判定する。「現在作業中の画像から切り出した画像のみ表示」のラジオボタン406が選択されている場合とは、例えば、表示エリア407に切り出し画像を表示しない場合である。 In step S704, the server device 102 determines whether the radio button 406 of "display only the image cut out from the image currently being worked on" is selected on the basic screen of FIG. If the radio button 406 of "display only the image cut out from the image currently being worked" is not selected, the server device 102 shifts the process to step S705. When shifting to this process from step S602 of FIG. 6, it is determined whether or not the default setting is "display only the image cut out from the image currently being worked". The case where the radio button 406 of "display only the image cut out from the image currently being worked" is selected is the case where the cut out image is not displayed in the display area 407, for example.

ステップS705において、サーバ装置102は、今回のラベル付け作業の対象となっている画像とは異なる他の画像において、処理対象のカテゴリにラベル付けされた検出物体の切り出し画像を取得する。 In step S705, the server device 102 acquires a cut-out image of the detected object labeled in the category to be processed in another image different from the image targeted for the labeling work this time.

ステップS706において、サーバ装置102は、図4の基本画面上で、「全切り出し画像からランダムに表示」のラジオボタン406が選択されていたかを判定する。サーバ装置102は、「全切り出し画像からランダムに表示」のラジオボタン406が選択されていれば、ステップS707に処理を移行する。なお、図6のステップS602から本処理に移行する場合には、デフォルトの設定が「全切り出し画像からランダムに表示」になっているか否か判定する。 In step S706, the server device 102 determines whether the radio button 406 of "randomly display from all cropped images" is selected on the basic screen of FIG. If the radio button 406 of "randomly display from all cropped images" is selected, the server device 102 shifts the process to step S707. When shifting to this process from step S602 of FIG. 6, it is determined whether or not the default setting is "randomly display from all cropped images".

ステップS706で、「全切り出し画像からランダムに表示」のラジオボタン406が選択されていない場合とは、図4の基本画面上で、「全画像の切り出し画像を表示」のラジオボタン406が選択されていた場合であるため、ステップS706-1で、サーバ装置102は、現在ラベル付けを行っている画像を除く、ラベル付けが完了しているすべての画像の切り出し画像を取得する。 When the radio button 406 of "display randomly from all cropped images" is not selected in step S706, the radio button 406 of "display cropped images of all images" is selected on the basic screen of FIG. Therefore, in step S706-1, the server device 102 acquires a cut-out image of all the images for which labeling has been completed, except for the image currently being labeled.

ステップS707において、サーバ装置102は、ステップS705で取得した切り出し画像からランダムで表示エリア407に表示可能な枚数分取得する。 In step S707, the server device 102 randomly acquires the number of images that can be displayed in the display area 407 from the cutout image acquired in step S705.

なお、ステップS705、ステップS706-1、ステップS707で取得する切り出し画像は、サーバ装置102の外部メモリ211で記憶する切り出し画像テーブル1003に記憶される情報をもとに、画像テーブル1002に記憶する画像データから切り出した画像である。どの切り出し画像が表示対象カテゴリに該当するのかは、切り出し画像テーブル1003の「カテゴリ名」を参照することで特定可能である。 The cut-out image acquired in step S705, step S706-1, and step S707 is an image stored in the image table 1002 based on the information stored in the cut-out image table 1003 stored in the external memory 211 of the server device 102. It is an image cut out from the data. Which cutout image corresponds to the display target category can be specified by referring to the "category name" of the cutout image table 1003.

ステップS708において、サーバ装置102は、ステップS703、ステップS705、ステップS706-1、ステップS707で取得した切り出し画像を含む基本画面を生成し、クライアント端末101に送信する。 In step S708, the server device 102 generates a basic screen including the cutout image acquired in step S703, step S705, step S706-1, and step S707, and transmits the basic screen to the client terminal 101.

ステップS709において、クライアント端末101は、ステップS708でサーバ装置102から送信された基本画面を受信し、ステップS710で、クライアント端末101のディスプレイ210に表示する。 In step S709, the client terminal 101 receives the basic screen transmitted from the server device 102 in step S708, and displays it on the display 210 of the client terminal 101 in step S710.

以上で図7の説明を終了し、次に図8について説明する。 This is the end of the description of FIG. 7, and then FIG. 8 will be described.

ステップS801において、クライアント端末101は、リストボックス405に表示されたカテゴリの中で、ステップS605で追加ボタンが選択されたときに、選択されていたカテゴリの切り出し画像の取得要求をサーバ装置102に送信する。 In step S801, the client terminal 101 transmits a request for acquiring a cutout image of the selected category to the server device 102 when the add button is selected in the category displayed in the list box 405. do.

また、このとき、クライアント端末101からは、現在の表示設定、現在ラベル付け作業中の画像の画像ID、表示エリア401の1エリアに表示可能な切り出し画像403の枚数も送信される。 At this time, the client terminal 101 also transmits the current display setting, the image ID of the image currently being labeled, and the number of cutout images 403 that can be displayed in one area of the display area 401.

ステップS802において、サーバ装置102は、ステップS801でクライアント端末101から送信された切り出し画像の取得要求を受信し、追加するカテゴリ(表示対象カテゴリ)に関して、ステップS803~ステップS807の処理を実行する。ステップS803~ステップS807までの各処理は、図7のステップS703~ステップS707までの各処理と同様の処理であるため説明を省略する。 In step S802, the server device 102 receives the acquisition request of the cutout image transmitted from the client terminal 101 in step S801, and executes the processes of steps S803 to S807 with respect to the category to be added (display target category). Since each process from step S803 to step S807 is the same process as each process from step S703 to step S707 in FIG. 7, description thereof will be omitted.

ステップS808において、サーバ装置102は、ステップS803、ステップS805で取得した切り出し画像をクライアント端末101に送信する。 In step S808, the server device 102 transmits the cutout image acquired in step S803 and step S805 to the client terminal 101.

ステップS809において、クライアント端末101は、ステップS808でサーバ装置102から送信された切り出し画像を受信し、基本画面に反映させて表示する。 In step S809, the client terminal 101 receives the cut-out image transmitted from the server device 102 in step S808, reflects it on the basic screen, and displays it.

以上で図8の説明を終了し、次に図9について説明する。 This is the end of the description of FIG. 8, and then FIG. 9 will be described.

ステップS901において、クライアント端末101は、所定時間以上マウスオーバーされてた切り出し画像403の画像IDをサーバ装置102に送信することで、切り出し元画像の取得要求を行う。 In step S901, the client terminal 101 requests the acquisition of the cutout source image by transmitting the image ID of the cutout image 403 that has been moused over for a predetermined time or longer to the server device 102.

ステップS902において、サーバ装置102は、クライアント端末101から送信された元画像の取得要求を受信する。 In step S902, the server device 102 receives the original image acquisition request transmitted from the client terminal 101.

ステップS903において、サーバ装置102は、クライアント端末101から送信された元画像の取得要求に含まれる画像IDをもとに元画像を取得する。 In step S903, the server device 102 acquires the original image based on the image ID included in the acquisition request of the original image transmitted from the client terminal 101.

具体的には、切り出し画像テーブル1003の「ID」のうち、切り出し画像403の画像IDと一致したIDと同じ行の画像パスを特定する。次に、画像テーブル1002の「画像パス」の中から、特定した画像パスと一致する画像を特定することで、元画像を特定し、取得する。 Specifically, among the "IDs" of the cutout image table 1003, the image path in the same row as the ID that matches the image ID of the cutout image 403 is specified. Next, the original image is specified and acquired by specifying an image that matches the specified image path from the "image path" of the image table 1002.

ステップS904において、サーバ装置102は、切り出し画像の座標(切り出し画像テーブル1003の「切り出し画像位置」)と、元画像の解像度(画像テーブル1002の「解像度」)とを用いて、表示する周辺領域の座標を計算する。具体的には、例えば、図11を一例とすると、切り出し画像を中心に、切り出し画像の9倍のサイズになるような元画像の座標を計算する(はみ出す場合にはカット)。 In step S904, the server device 102 uses the coordinates of the cut-out image (“cut-out image position” of the cut-out image table 1003) and the resolution of the original image (“resolution” of the image table 1002) to display the peripheral area. Calculate the coordinates. Specifically, for example, taking FIG. 11 as an example, the coordinates of the original image so as to be 9 times the size of the cut-out image are calculated around the cut-out image (cut if it protrudes).

ステップS905において、サーバ装置102は、元画像と周辺領域座標、切り出し画像の切り出し位置をクライアント端末101に送信する。 In step S905, the server device 102 transmits the original image, the coordinates of the peripheral area, and the cutout position of the cutout image to the client terminal 101.

ステップS906において、クライアント端末101は、元画像と周辺領域座標、切り出し画像の切り出し位置(検出物体矩形の位置)をサーバ装置102から受信する。 In step S906, the client terminal 101 receives the original image, the peripheral area coordinates, and the cutout position (position of the detection object rectangle) of the cutout image from the server device 102.

ステップS907において、クライアント端末101は、元画像から周辺領域を切り出し、切り出し画像位置に枠(検出物体矩形)を描画する。 In step S907, the client terminal 101 cuts out a peripheral area from the original image and draws a frame (detection object rectangle) at the cutout image position.

ステップS908において、クライアント端末101は、図5の501に示す切り出し位置編集用の周辺領域画像を表示する。 In step S908, the client terminal 101 displays a peripheral area image for editing the cutout position shown in 501 of FIG.

以上で図9の説明を終了し、次に図10について説明する。 This is the end of the description of FIG. 9, and then FIG. 10 will be described.

図10は、各種データテーブルの一例を示す図である。図10の各種データテーブルは、サーバ装置102の外部メモリ211に記憶される。ただし、切り出し画像テーブル1003については、クライアント端末101の外部メモリ211にも記憶される。 FIG. 10 is a diagram showing an example of various data tables. The various data tables of FIG. 10 are stored in the external memory 211 of the server device 102. However, the cutout image table 1003 is also stored in the external memory 211 of the client terminal 101.

カテゴリテーブル1001は、検出物体のカテゴリ(何であるかを示す情報)が登録されたテーブルである。登録するカテゴリ名は、何を検出する物体検出器を構築するかにより異なるものである。本実施例のように画像に含まれる人物の性別および年代を検出する検出器を構築する場合には、男性・女性、10代・20代といったカテゴリを登録する。 The category table 1001 is a table in which the category of the detected object (information indicating what it is) is registered. The category name to be registered differs depending on what the object detector to be detected is constructed. When constructing a detector that detects the gender and age of a person included in an image as in this embodiment, categories such as male / female, teens / 20s are registered.

画像テーブル1002は、ラベル付けを行う元画像を管理するテーブルであり、画像テーブル1002は、画像を識別するためのID(画像ID),画像の保管先を示す画像パス、画像の解像度を含む。 The image table 1002 is a table for managing the original image to be labeled, and the image table 1002 includes an ID (image ID) for identifying the image, an image path indicating the storage destination of the image, and an image resolution.

切り出し画像テーブル1003は、どの画像のどの領域にどのカテゴリの検出物体が存在するのかを示す情報が登録されるテーブルである。例えば、ID:1で特定される検出物体は、画像:1.jpgの(14,20,30,50)で特定される領域(切り出し画像位置)に30代の男性の顔が存在することを示す。以上で図10の説明を終了する。 The cut-out image table 1003 is a table in which information indicating which category of detected object exists in which region of which image is registered. For example, the detected object specified by ID: 1 is image: 1. It shows that the face of a man in his thirties exists in the region (cutout image position) specified by (14, 20, 30, 50) of jpg. This is the end of the description of FIG.

以上、本発明によると、画像データに含まれる検出物体のカテゴリを分類する際の正確性及び作業効率を向上させることができる。 As described above, according to the present invention, it is possible to improve the accuracy and work efficiency when classifying the categories of the detected objects included in the image data.

本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、1つの機器からなる装置に適用してもよい。 The present invention can be, for example, an embodiment as a system, an apparatus, a method, a program, a storage medium, or the like, and specifically, may be applied to a system composed of a plurality of devices, or 1 It may be applied to a device consisting of two devices.

なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システム或いは装置に直接、或いは遠隔から供給するものを含む。そして、そのシステム或いは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合も本発明に含まれる。 The present invention includes a software program that realizes the functions of the above-described embodiment, which is directly or remotely supplied to a system or an apparatus. The present invention also includes cases where the computer of the system or apparatus can also read and execute the supplied program code.

したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。 Therefore, in order to realize the functional processing of the present invention on a computer, the program code itself installed in the computer also realizes the present invention. That is, the present invention also includes the computer program itself for realizing the functional processing of the present invention.

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等の形態であってもよい。 In that case, as long as it has a program function, it may be in the form of an object code, a program executed by an interpreter, script data supplied to the OS, or the like.

プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、MO、CD-ROM、CD-R、CD-RWなどがある。また、磁気テープ、不揮発性のメモリカード、ROM、DVD(DVD-ROM,DVD-R)などもある。 Examples of the recording medium for supplying the program include a flexible disk, a hard disk, an optical disk, a magneto-optical disk, MO, a CD-ROM, a CD-R, a CD-RW, and the like. There are also magnetic tapes, non-volatile memory cards, ROMs, DVDs (DVD-ROM, DVD-R) and the like.

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、前記ホームページから本発明のコンピュータプログラムそのもの、若しくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。 In addition, as a method of supplying the program, the browser of the client computer is used to connect to the homepage of the Internet. Then, it can also be supplied by downloading the computer program of the present invention itself or a compressed file including an automatic installation function to a recording medium such as a hard disk from the homepage.

また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるWWWサーバも、本発明に含まれるものである。 It can also be realized by dividing the program code constituting the program of the present invention into a plurality of files and downloading each file from different homepages. That is, the present invention also includes a WWW server that causes a plurality of users to download a program file for realizing the functional processing of the present invention on a computer.

また、本発明のプログラムを暗号化してCD-ROM等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、ダウンロードした鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。 In addition, the program of the present invention is encrypted, stored in a storage medium such as a CD-ROM, and distributed to users, and the key information for decrypting the encryption is downloaded from the homepage to the user who clears the predetermined conditions. Let me. Then, by using the downloaded key information, it is also possible to execute an encrypted program and install it on a computer.

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。その他、そのプログラムの指示に基づき、コンピュータ上で稼動しているOSなどが、実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。 Further, the function of the above-described embodiment is realized by the computer executing the read program. In addition, based on the instruction of the program, the OS or the like running on the computer performs a part or all of the actual processing, and the function of the above-described embodiment can be realized by the processing.

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現される。 Further, the program read from the recording medium is written to the memory provided in the function expansion board inserted in the computer or the function expansion unit connected to the computer. After that, based on the instruction of the program, the function expansion board, the CPU provided in the function expansion unit, or the like performs a part or all of the actual processing, and the function of the above-described embodiment is also realized by the processing.

なお、前述した実施形態は、本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。 It should be noted that the above-described embodiments are merely examples of embodiment of the present invention, and the technical scope of the present invention should not be construed in a limited manner by these. That is, the present invention can be implemented in various forms without departing from the technical idea or its main features.

101 クライアント端末
102 サーバ装置
101 Client terminal 102 Server device

Claims (8)

画像データに含まれる複数の検出物体の領域の指定および当該検出物体のカテゴリの指定を受け付ける受付手段と、
前記受付手段により、領域の指定を受け付けた前記検出物体を、カテゴリごとに分けた画面を表示するように制御する表示制御手段と
を備え、
前記表示制御手段は、更に、他の画像において、前記カテゴリに指定された検出物体をカテゴリごとに分けた前記画面を表示することを特徴とする情報処理システム。
A reception means that accepts the designation of the area of a plurality of detected objects included in the image data and the designation of the category of the detected object.
The receiving means is provided with a display controlling means for controlling the detected object that has received the designation of the area so as to display a screen divided into categories.
The display control means is an information processing system characterized in that, in another image, the screen in which the detected objects designated in the categories are divided into categories is displayed.
前記表示制御手段で表示するように制御される前記画面を介して、前記検出物体のカテゴリの変更を受け付ける変更受付手段を備えることを特徴とする請求項1に記載の情報処理システム。 The information processing system according to claim 1, further comprising a change receiving means for receiving a change in the category of the detected object via the screen controlled to be displayed by the display control means. 前記画面上で、前記検出物体の指定を受け付ける指定受付手段を備え、
前記表示制御手段は、前記指定受付手段で指定を受け付けた前記検出物体の前記受付手段で受け付けた領域の周辺の領域を含む前記画像データを表示するように制御することを特徴とする請求項1または2に記載の情報処理システム。
A designated receiving means for receiving the designation of the detected object on the screen is provided.
The display control means is characterized in that it controls to display the image data including the area around the area of the detection object that has been designated by the designated reception means. Or the information processing system according to 2.
前記画面に表示するカテゴリの指定を受け付けるカテゴリ指定受付手段を備え、
前記表示制御手段は、前記受付手段によりカテゴリの指定を受け付けた前記検出物体のうち、前記カテゴリ指定受付手段により指定を受け付けたカテゴリの検出物体を表示するように制御することを特徴とする請求項1乃至3のいずれか1項に記載の情報処理システム。
It is equipped with a category designation receiving means that accepts the designation of the category to be displayed on the screen.
The display control means is characterized in that, among the detected objects whose category designation is accepted by the reception means, the detection object of the category whose designation is accepted by the category designation reception means is controlled to be displayed. The information processing system according to any one of 1 to 3.
前記表示制御手段は、前記他の画像において、前記カテゴリに指定された検出物体のうち、所定の数の検出物体をランダムで抽出した前記画面を表示するように制御することを特徴とする請求項1乃至4のいずれか1項に記載の情報処理システム。 The display control means is characterized in that it controls to display the screen in which a predetermined number of detected objects are randomly extracted from the detected objects designated in the category in the other image. The information processing system according to any one of 1 to 4. 前記他の画像は、撮像された時間が異なる複数の画像であることを特徴とする請求項1乃至5のいずれか1項に記載の情報処理システム。 The information processing system according to any one of claims 1 to 5, wherein the other image is a plurality of images captured at different times. 情報処理システムの制御方法であって、
画像データに含まれる複数の検出物体の領域の指定および当該検出物体のカテゴリの指定を受け付ける受付工程と、
前記受付工程で、領域の指定を受け付けた前記検出物体を、カテゴリごとに分けた画面を表示するように制御する表示制御工程と
を備え、
前記表示制御工程は、更に、他の画像において、前記カテゴリに指定された検出物体をカテゴリごとに分けた前記画面を表示することを特徴とする情報処理システムの制御方法。
It is a control method for information processing systems.
The reception process that accepts the designation of the area of multiple detected objects included in the image data and the designation of the category of the detected object,
The reception process includes a display control process for controlling the detected object that has received the designation of the area so as to display a screen divided by category.
The display control step is a control method of an information processing system, further comprising displaying the screen in which the detected objects designated in the categories are divided into categories in another image.
情報処理システムで読み取り実行可能なプログラムであって、
前記情報処理システムを、
画像データに含まれる複数の検出物体の領域の指定および当該検出物体のカテゴリの指定を受け付ける受付手段と、
前記受付手段により、領域の指定を受け付けた前記検出物体を、カテゴリごとに分けた画面を表示するように制御する表示制御手段として機能させ、
前記表示制御手段は、更に、他の画像において、前記カテゴリに指定された検出物体をカテゴリごとに分けた前記画面を表示することを特徴とするプログラム。
A program that can be read and executed by an information processing system
The information processing system
A reception means that accepts the designation of the area of a plurality of detected objects included in the image data and the designation of the category of the detected object.
By the receiving means, the detected object that has received the designation of the area is made to function as a display control means for controlling to display a screen divided by category.
The display control means is a program further characterized in that, in another image, the screen in which the detected objects designated in the categories are divided into categories is displayed.
JP2017246477A 2017-12-22 2017-12-22 Information processing systems, information processing system control methods, and programs Active JP6989769B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017246477A JP6989769B2 (en) 2017-12-22 2017-12-22 Information processing systems, information processing system control methods, and programs

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017246477A JP6989769B2 (en) 2017-12-22 2017-12-22 Information processing systems, information processing system control methods, and programs

Publications (2)

Publication Number Publication Date
JP2019114018A JP2019114018A (en) 2019-07-11
JP6989769B2 true JP6989769B2 (en) 2022-01-12

Family

ID=67222681

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017246477A Active JP6989769B2 (en) 2017-12-22 2017-12-22 Information processing systems, information processing system control methods, and programs

Country Status (1)

Country Link
JP (1) JP6989769B2 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005174308A (en) 2003-11-14 2005-06-30 Fuji Photo Film Co Ltd Method and apparatus for organizing digital media by face recognition
JP2013025745A (en) 2011-07-26 2013-02-04 Olympus Corp Method for creating teacher data, program for creating teacher data, and teacher data creation device
JP2013196067A (en) 2012-03-16 2013-09-30 Casio Comput Co Ltd Image display device, image display system, and program

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005174308A (en) 2003-11-14 2005-06-30 Fuji Photo Film Co Ltd Method and apparatus for organizing digital media by face recognition
JP2013025745A (en) 2011-07-26 2013-02-04 Olympus Corp Method for creating teacher data, program for creating teacher data, and teacher data creation device
JP2013196067A (en) 2012-03-16 2013-09-30 Casio Comput Co Ltd Image display device, image display system, and program

Also Published As

Publication number Publication date
JP2019114018A (en) 2019-07-11

Similar Documents

Publication Publication Date Title
US10757374B2 (en) Medical support system
JP2008226061A (en) Image tag designating device, image searching device, operation control method therefor and program for controlling those computers
US20160140715A1 (en) Information processing apparatus, information processing system, and information processing method
JP7104292B2 (en) Information processing equipment, information processing method, program
WO2011001945A1 (en) Image processing device, image processing method, and storage medium
US20140229809A1 (en) Electronic magazine generation system, electronic magazine generation method, and electronic magazine generation program
JP6989769B2 (en) Information processing systems, information processing system control methods, and programs
JP2017118913A (en) Information processing device, control method and program thereof, server, control method and program thereof, information processing system, and control method and program thereof
JP2015046937A (en) Information processing apparatus, information processing system, control method, information processing method, and program thereof
US10942623B2 (en) Information processing apparatus, information processing method, and non-transitory computer readable medium for resuming an interrupted process
JP2018060426A (en) Image processing device and image processing program
US10394413B2 (en) Information processing apparatus, information processing method, and recording medium
JP6481204B2 (en) Information processing apparatus, processing method thereof, and program
JP2009163455A (en) Business form system, business form server, information processor, method for controlling business form server, and method for controlling information processor, and program
JP5541868B2 (en) Image search command system and operation control method thereof
JP6361770B2 (en) Information processing apparatus, processing method thereof, and program
JP5907101B2 (en) Document management apparatus and program
US11462014B2 (en) Information processing apparatus and non-transitory computer readable medium
JP2013088777A (en) Viewer device, server device, display control method, electronic comic editing method and program
JP2009176164A (en) Image processing device and image processing method
JP2007293655A (en) Document processor, output processing method for electronic document and program
JP2016126763A (en) Information processing system, and information processing method and program thereof
JP2019101560A (en) Information processing apparatus, information processing method and program
JP2015111413A (en) Information processing system, method for controlling information processing system, and program
JP2017010101A (en) Page recording and task management device and object management device

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20180703

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20181031

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190115

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201208

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211020

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211102

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211115

R151 Written notification of patent or utility model registration

Ref document number: 6989769

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250