JP6989769B2 - Information processing systems, information processing system control methods, and programs - Google Patents
Information processing systems, information processing system control methods, and programs Download PDFInfo
- Publication number
- JP6989769B2 JP6989769B2 JP2017246477A JP2017246477A JP6989769B2 JP 6989769 B2 JP6989769 B2 JP 6989769B2 JP 2017246477 A JP2017246477 A JP 2017246477A JP 2017246477 A JP2017246477 A JP 2017246477A JP 6989769 B2 JP6989769 B2 JP 6989769B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- category
- designation
- information processing
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
本発明は、情報処理システム、情報処理システムの制御方法、およびプログラムに関し、特に、画像データに含まれる検出物体のカテゴリを分類する際の正確性及び作業効率を向上させることが可能な仕組みに関する。 The present invention relates to an information processing system, a control method of the information processing system, and a program, and more particularly to a mechanism capable of improving accuracy and work efficiency when classifying categories of detected objects included in image data.
近年、ディープラーニングと呼ばれる機械学習技術を応用した画像認識技術が発展しており、画像に写っている物体(カテゴリ)が何か、またその位置(画像中座標)はどこにあるのか、を検出する手法が数多く提案されている。 In recent years, image recognition technology that applies machine learning technology called deep learning has been developed, and it detects what the object (category) in the image is and where its position (coordinates in the image) is. Many methods have been proposed.
ディープラーニング技術を用いた物体検出器を構築するためには、大量の画像と教師データ(画像中のどこに、何のカテゴリの物体があるかを示すアノテーションデータ)が必要となる。 In order to construct an object detector using deep learning technology, a large amount of images and teacher data (annotation data indicating where and what category of objects are in the image) are required.
また、当該教師データの品質も担保される必要があり、教師データの質が低いと、正しく学習が行われず、検出精度の低い物体検出器が構築されてしまう。 In addition, the quality of the teacher data must be guaranteed, and if the quality of the teacher data is low, learning will not be performed correctly and an object detector with low detection accuracy will be constructed.
したがって、1枚の画像に写っている検出対象の物体(以下、検出物体や、検出対象物とも呼ぶ)を精度よくラベル付け(検出物体が写っている領域の指定と、その物体が属するカテゴリの指定)することが、非常に重要となっている。 Therefore, the object to be detected (hereinafter, also referred to as a detection object or a detection object) shown in one image is accurately labeled (designation of the area in which the detection object is shown and the category to which the object belongs). It is very important to specify).
ラベル付けの精度を向上させるために、すでにラベル付けを完了した各カテゴリの画像データを表示して、今回ラベル付けを行う画像データをどのカテゴリにラベル付けすべきかの判断を容易にする技術がある。 In order to improve the accuracy of labeling, there is a technology that displays the image data of each category that has already been labeled and makes it easy to determine which category the image data to be labeled this time should be labeled. ..
特許文献1には、カテゴリが未分類の画像データをユーザが指定すると、カテゴリ候補を表示する技術が開示されている。
しかしながら、カテゴリ毎の画像データを表示するだけの場合、ユーザは全てのカテゴリの画像データと今回ラベル付けする画像データとを見比べる必要があるため、ユーザの作業効率が落ちてしまうという問題がある。 However, when only displaying the image data for each category, the user needs to compare the image data of all categories with the image data to be labeled this time, so that there is a problem that the work efficiency of the user is lowered.
本発明は、画像データに含まれる検出物体のカテゴリを分類する際の正確性及び作業効率を向上させることが可能な仕組みを提供することを目的とする。 An object of the present invention is to provide a mechanism capable of improving accuracy and work efficiency when classifying categories of detected objects included in image data.
本発明は、画像データに含まれる複数の検出物体の領域の指定および当該検出物体のカテゴリの指定を受け付ける受付手段と、前記受付手段により、領域の指定を受け付けた前記検出物体を、カテゴリごとに分けた画面を表示するように制御する表示制御手段とを備え、前記表示制御手段は、更に、他の画像において、前記カテゴリに指定された検出物体をカテゴリごとに分けた前記画面を表示することを特徴とする。 In the present invention, the receiving means that accepts the designation of the area of a plurality of detected objects included in the image data and the designation of the category of the detected object, and the detected object that has received the designation of the area by the receiving means are classified for each category. The display control means is provided with a display control means for controlling the display of the divided screens, and the display control means further displays the screen in which the detected objects specified in the categories are divided into categories in other images. It is characterized by.
また、本発明は、情報処理システムの制御方法であって、画像データに含まれる複数の検出物体の領域の指定および当該検出物体のカテゴリの指定を受け付ける受付工程と、前記受付工程で、領域の指定を受け付けた前記検出物体を、カテゴリごとに分けた画面を表示するように制御する表示制御工程とを備え、前記表示制御工程は、更に、他の画像において、前記カテゴリに指定された検出物体をカテゴリごとに分けた前記画面を表示することを特徴とする。 Further, the present invention is a control method of an information processing system, in which a reception step of receiving a designation of a region of a plurality of detected objects included in image data and a designation of a category of the detected object, and a reception step of the region. The detection object that has received the designation is provided with a display control step that controls to display a screen divided into categories, and the display control step further comprises a detection object designated in the category in another image. Is characterized by displaying the screen divided into categories.
また、本発明は、情報処理システムで読み取り実行可能なプログラムであって、前記情報処理システムを、画像データに含まれる複数の検出物体の領域の指定および当該検出物体のカテゴリの指定を受け付ける受付手段と、前記受付手段により、領域の指定を受け付けた前記検出物体を、カテゴリごとに分けた画面を表示するように制御する表示制御手段として機能させ、前記表示制御手段は、更に、他の画像において、前記カテゴリに指定された検出物体をカテゴリごとに分けた前記画面を表示することを特徴とする。 Further, the present invention is a program that can be read and executed by an information processing system, and the information processing system is a receiving means that accepts designation of a region of a plurality of detected objects included in image data and designation of a category of the detected object. The receiving means causes the detected object that has received the designation of the area to function as a display controlling means for controlling the display of screens divided by category, and the display controlling means is further used in other images. , The screen is characterized in that the detected objects specified in the categories are divided into categories.
本発明によると、画像データに含まれる検出物体のカテゴリを分類する際の正確性及び作業効率を向上させることができる。
According to the present invention, it is possible to improve the accuracy and work efficiency when classifying the categories of detected objects included in the image data.
以下、図面を参照して、本発明の実施形態を詳細に説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載した構成の具体的な実施形態の1つである。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. The embodiment described below is an example of a specific embodiment of the present invention, and is one of the specific embodiments of the configuration described in the claims.
図1は、本発明における情報処理システムの構成の一例を示す図である。図1に示すように、本発明における情報処理システムは、クライアント端末101とサーバ装置102が通信可能に接続された構成となっている。 FIG. 1 is a diagram showing an example of the configuration of the information processing system in the present invention. As shown in FIG. 1, the information processing system of the present invention has a configuration in which a client terminal 101 and a server device 102 are communicably connected.
クライアント端末101は、検出物体に対してラベル付け作業をするユーザが利用する端末であり、俯瞰画像や拡大画像等を表示し、ラベル付けの指示を受け付ける。 The client terminal 101 is a terminal used by a user who performs labeling work on a detected object, displays a bird's-eye view image, an enlarged image, and the like, and receives a labeling instruction.
ラベル付け作業は、表示された画像において、検出物体が写っている領域の指定と、当該検出物体の属するカテゴリ(ラベル)の指定を受け付ける作業である。なお、後述する検出物体矩形とは、検出物体が写っているとして指定された領域を囲む矩形のことである。 The labeling work is a work of accepting the designation of the area in which the detected object appears and the designation of the category (label) to which the detected object belongs in the displayed image. The detection object rectangle, which will be described later, is a rectangle that surrounds the area designated as the detection object.
例えば、図3に示す画面では、画像に写っている人物の顔が男性であるか女性であるか、およびおおよその年齢(例えば、10代か20代か等)のラベル付けをした例を示している。人間の顔に相当する領域を矩形で囲み、その矩形内の顔が男性であるか女性であるか、およびおおよその年齢のラベル付けを行う。 For example, the screen shown in FIG. 3 shows an example in which the face of the person in the image is labeled as male or female, and the approximate age (for example, teens or twenties, etc.). ing. Enclose the area corresponding to the human face with a rectangle and label whether the face in the rectangle is male or female and the approximate age.
サーバ装置102は、ラベル付けの結果を管理したり、後述する図4等の画面をクライアント端末101に送信する機能を有する。 The server device 102 has a function of managing the labeling result and transmitting a screen such as FIG. 4, which will be described later, to the client terminal 101.
クライアント端末101、サーバ装置102が実行する処理の詳細は、図6以降の図面を用いて後述する。 Details of the processing executed by the client terminal 101 and the server device 102 will be described later with reference to the drawings of FIGS. 6 and later.
次に、図2を用いて、図1に示したクライアント端末101とサーバ装置102に適用可能な情報処理装置のハードウェア構成について説明する。 Next, the hardware configuration of the information processing device applicable to the client terminal 101 and the server device 102 shown in FIG. 1 will be described with reference to FIG.
図2において、201はCPUで、システムバス204に接続される各デバイスやコントローラを統括的に制御する。また、ROM202あるいは外部メモリ211には、CPU201の制御プログラムであるBIOS(Basic Input / Output System)やオペレーティングシステムプログラム(以下、OS)や、PCの実行する機能を実現するために必要な後述する各種プログラム等が記憶されている。
In FIG. 2, 201 is a CPU that comprehensively controls each device and controller connected to the
203はRAMで、CPU201の主メモリ、ワークエリア等として機能する。CPU201は、処理の実行に際して必要なプログラム等をROM202あるいは外部メモリ211からRAM203にロードして、ロードしたプログラムを実行することで各種動作を実現するものである。
また、205は入力コントローラで、キーボード(KB)209等のポインティングデバイス等からの入力を制御する。206はビデオコントローラで、ディスプレイ210(液晶、ブラウン管を問わない)等の表示器への表示を制御する。
Further, 205 is an input controller, which controls input from a pointing device such as a keyboard (KB) 209.
207はメモリコントローラで、ブートプログラム、各種のアプリケーション、フォントデータ、ユーザファイル、編集ファイル、各種データ等を記憶する外部記憶装置(ハードディスク(HD))や、フレキシブルディスク(FD)、或いはPCMCIAカードスロットにアダプタを介して接続されるコンパクトフラッシュ(登録商標)メモリ等の外部メモリ211へのアクセスを制御する。
The 207 is a memory controller that can be used in an external storage device (hard disk (HD)) that stores boot programs, various applications, font data, user files, edit files, various data, etc., a flexible disk (FD), or a PCMCIA card slot. It controls access to an
208は通信I/Fコントローラで、ネットワークを介して外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、TCP/IPを用いた通信等が可能である。
なお、CPU201は、例えばRAM203内の表示情報用領域へアウトラインフォントの展開(ラスタライズ)処理を実行することにより、ディスプレイ210上での表示を可能としている。また、CPU201は、ディスプレイ210上の不図示のマウスカーソル等でのユーザ指示を可能とする。
The
本発明を実現するための後述する各種プログラムは、外部メモリ211に記録されており、必要に応じてRAM203にロードされることによりCPU201によって実行されるものである。さらに、上記プログラムの実行時に用いられる設定ファイル等も外部メモリ211に格納されており、これらについての詳細な説明も後述する。以上で、図2の説明を終了する。
Various programs described later for realizing the present invention are recorded in the
次に、図4、図5を用いて、図3の画面上で、ある画像についてラベル付け作業を行った結果を確認するための画面(基本画面)について説明する。 Next, a screen (basic screen) for confirming the result of labeling an image on the screen of FIG. 3 will be described with reference to FIGS. 4 and 5.
図4、図5は、本発明における、基本画面の一例を示す図である。 4 and 5 are views showing an example of a basic screen in the present invention.
401は、今回のラベル付け作業によりラベル付けされた検出物体が表示される表示エリアを示す。
402は、カテゴリ(ラベル)の名前を示し、図4の例では、男性20代というカテゴリと、男性30代というカテゴリにラベル付けされた検出物体の切り出し画像(検出物体を元画像から切り出した画像)403が各カテゴリ402の下に表示されている。カテゴリ402は、ドラッグ&ドロップで、表示順を変更することが可能(例えば、男性20代を男性30代の右に移動することが可能)である。また、「×」ボタンが選択されると、対象のカテゴリが表示エリア401から消去されるため、分類が完了したカテゴリを容易に画面から消すことができる。
403は、画像から検出物体を切り出した、切り出し画像である。切り出し画像403のカテゴリ402を変更したい場合には、変更先のカテゴリ402の下に、切り出し画像403をドラッグ&ドロップすることにより、他のカテゴリ402に変更することが可能である。つまり、わざわざ元画像の画面(図3)に戻ってカテゴリを変更しなおす必要がないため、ユーザのラベル付け作業の効率が向上する。
切り出し画像403上でマウスオーバーを所定時間以上行うと、図5の501に示すとおり、検出物体の周辺の画像(周辺領域画像)が表示される。その際、検出物体矩形も表示されるため、矩検出物体矩形の位置やサイズを修正することも可能である。
When the mouse over is performed on the
検出物体の周辺の画像が表示されることにより、切り出し画像403を見るだけではカテゴリの判断がしづらい場合に、判断を容易にする効果がある。
By displaying the image around the detected object, there is an effect of facilitating the judgment when it is difficult to judge the category only by looking at the
例えば、植物の花のラベル付け(桜の枝についているのが、つぼみであるか、開花しているかのラベル付け)等において、切り出し画像403に花が映っているが、1つの花なのか、2つの花なのか切り出し画像だけではわかりにくい場合があるため、そのような場合に、検出物体の周辺の画像が表示されることにより、1つの花なのか否かの判断を容易に行うことができる。
For example, in the labeling of the flowers of a plant (labeling whether the buds are attached to the branches of the cherry blossoms or whether they are in bloom), the flowers are reflected in the
404は、ページング要素であり、切り出し画像403が多い場合に表示される。なお、ページングではなく縦にスクロールバーを表示しても良い。
405は、リストボックスであり、最上部はテキストが入力可能になっており、入力されたテキストと、前方一致するカテゴリ名のみ表示される。
リストボックス405に入力がされていないときは、すべてのカテゴリ名が表示される。表示されたカテゴリ名を選択して、リストボックス405の右隣の追加ボタンが選択されることにより、追加されたカテゴリの切り出し画像403が表示エリア401や、表示エリア407に表示される。
If no entry is made in the
つまり、リストボックス405により、ユーザは見比べたいカテゴリを容易に表示エリアに表示できるため、ユーザのラベル付け作業の効率が向上する。
That is, the
406は、表示エリア407に表示する切り出し画像403の対象を切り替えるラジオボタンであり、「全画像の切り出し画像を表示」が選択されると、現在ラベル付けを行っている画像を除く、ラベル付けが完了しているすべての画像の切り出し画像403が時系列順に表示され、「全切り出し画像からランダムに表示」が選択されると、表示エリアに所定枚数(例えば5枚等)の切り出し画像403がランダムで表示される。その場合、ページング要素404は表示されない。「現在作業中の画像から切り出した画像のみ表示」が選択されると、表示エリア407に切り出し画像が表示されない。
「全切り出し画像からランダムに表示」を選択するメリットは、当該選択がされると、異なる時間に撮影された複数の画像からランダムに切り出し画像がピックアップされ表示エリア407に表示されるため、ある1つの画像の切り出し画像が表示されるよりも、色々な画像の切り出し画像と比較することができる点である。
The merit of selecting "Randomly display from all cropped images" is that when the selection is made, the cropped images are randomly picked up from a plurality of images taken at different times and displayed in the
上述したメリットは、たとえば、植物の花のラベル付け(桜の枝についているのが、つぼみであるか、開花しているかのラベル付け)等の、時系列的に変化の少ない画像のラベル付けにおいて、より顕著である。 The advantages mentioned above are in the labeling of images that do not change over time, such as the labeling of plant flowers (labeling whether the branches of cherry blossoms are buds or flowers). More prominent.
407は、今回のラベル付け作業の対象となっている画像とは異なる他の画像の切り出し画像が表示される表示エリアである。 407 is a display area in which a cut-out image of another image different from the image targeted for the labeling work this time is displayed.
表示エリア401に複数のカテゴリ402を並列して表示したり、表示エリア407に他の画像の同一カテゴリ切り出し画像を表示したりすることで、ユーザは現在ラベル付け作業中の検出物体と過去の画像の検出物体とを比較できるため、より適切なカテゴリにラベル付けし直しやすくなる。以上で、図4、図5の説明を終了する。
By displaying a plurality of
次に、図6~図9を用いて、本発明の、ラベル付け処理について説明する。図6~10は、本発明における、ラベル付け処理のフローチャートの一例を示す図である。 Next, the labeling process of the present invention will be described with reference to FIGS. 6 to 9. 6 to 10 are diagrams showing an example of a flowchart of the labeling process in the present invention.
各フローチャートに示す処理は、クライアント端末101、またはサーバ装置102のCPU201が実行する。まず、図6について説明する。
The process shown in each flowchart is executed by the client terminal 101 or the
ステップS601において、クライアント端末101は、ラベル付けを行うユーザから、これからラベル付けを行う画像の選択を受け付け、選択を受け付けた画像をサーバ装置102から取得する。 In step S601, the client terminal 101 accepts the selection of the image to be labeled from the user who performs the labeling, and acquires the image for which the selection is accepted from the server device 102.
ステップS602において、クライアント端末101は、ステップS601で取得した画像に対するラベル付けを、クライアント端末101のディスプレイ210に表示される図3の画面上で受け付ける。
In step S602, the client terminal 101 accepts the labeling of the image acquired in step S601 on the screen of FIG. 3 displayed on the
ステップS602は、本発明における、画像データに含まれる複数の検出物体の領域の指定および当該検出物体のカテゴリの指定を受け付ける受付手段の一例である。 Step S602 is an example of the receiving means in the present invention that accepts the designation of the area of a plurality of detected objects included in the image data and the designation of the category of the detected object.
ステップS603において、クライアント端末101は、ステップS602でラベル付けを受け付けた後に、図4の基本画面ボタン301がユーザにより選択されることで、クライアント端末101のディスプレイ210に、図4の基本画面を表示する処理を実行する。ステップS603の処理の詳細は、図7を用いて後ほど説明する。
In step S603, after receiving the labeling in step S602, the client terminal 101 displays the basic screen of FIG. 4 on the
ステップS603は、本発明における、前記受付手段により、領域の指定を受け付けた前記検出物体を、カテゴリごとに分けた画面を表示するように制御し、更に、他の画像において、前記カテゴリに指定された検出物体をカテゴリごとに分けた前記画面を表示する表示制御手段の一例である。 In step S603, the receiving means in the present invention controls the detected object that has received the designation of the area so as to display a screen divided into categories, and is further designated as the category in other images. This is an example of a display control means for displaying the screen in which the detected objects are divided into categories.
なお、他の実施形態として、「次の画像へ」ボタンや「前の画像へ」ボタンが選択されることで、基本画面を表示する処理を実行しても良いし、すべてのラベル付け作業が完了したタイミングで基本画面を表示する処理を実行しても良い。 As another embodiment, the process of displaying the basic screen may be executed by selecting the "Next image" button or the "Previous image" button, and all the labeling work can be performed. You may execute the process of displaying the basic screen at the timing of completion.
ステップS604において、クライアント端末101は、基本画面上でユーザから操作を受け付ける。 In step S604, the client terminal 101 receives an operation from the user on the basic screen.
ステップS605において、クライアント端末101は、図4の基本画面を介して、ユーザによりリストボックス405の右隣の追加ボタンが選択されたかを判定する。クライアント端末101は、追加ボタンが選択されたならば、ステップS606に処理を移行し、追加ボタンが選択されたのでなければステップS607に処理を移行する。
In step S605, the client terminal 101 determines whether the add button on the right side of the
ステップS606において、クライアント端末101は、カテゴリ追加処理を行う。ステップS606の処理の詳細は、図8を用いて後ほど説明する。 In step S606, the client terminal 101 performs a category addition process. The details of the process of step S606 will be described later with reference to FIG.
ステップS607において、クライアント端末101は、図4の基本画面を介して、ユーザによりラジオボタン406が選択されたかを判定する。クライアント端末101は、ラジオボタン406が選択されたならば、ステップS608に処理を移行し、ラジオボタン406が選択されたのでなければステップS609に処理を移行する。
In step S607, the client terminal 101 determines whether the
ステップS608において、クライアント端末101は、基本画面の表示(更新)処理を行う。ステップS608の処理の詳細は、図7を用いて後ほど説明する。 In step S608, the client terminal 101 performs a display (update) process of the basic screen. The details of the process of step S608 will be described later with reference to FIG. 7.
ステップS609において、クライアント端末101は、図4の基本画面の切り出し画像403上で所定時間以上マウスオーバーされたかを判定する。クライアント端末101は、所定時間以上マウスオーバーされたならば、ステップS610に処理を移行し、所定時間以上マウスオーバーされたのでなければステップS611に処理を移行する。
In step S609, the client terminal 101 determines whether the mouse is over for a predetermined time or more on the
ステップS610において、クライアント端末101は、所定時間以上マウスオーバーされた切り出し画像403の周辺画像を表示する処理を実行する。ステップS610の処理の詳細は、図9を用いて後ほど説明する。
In step S610, the client terminal 101 executes a process of displaying a peripheral image of the
ステップS611において、クライアント端末101は、図4の基本画面を介して、ユーザによりカテゴリ変更指示がされたかを判定する。クライアント端末101は、カテゴリ変更指示がされたならば、ステップS612に処理を移行し、カテゴリ変更指示がされたのでなければステップS613に処理を移行する。カテゴリ変更指示は、変更先のカテゴリ402の下に、切り出し画像403をドラッグ&ドロップする操作をユーザから受け付けることによりなされる。
In step S611, the client terminal 101 determines whether the category change instruction has been given by the user via the basic screen of FIG. If the category change instruction is given, the client terminal 101 shifts the process to step S612, and if the category change instruction is not given, the client terminal 101 shifts the process to step S613. The category change instruction is given by accepting from the user an operation of dragging and dropping the
ステップS612において、クライアント端末101は、カテゴリ変更指示を受け付け切り出し画像403のカテゴリを変更する。具体的には、切り出し画像テーブル1003中の、ステップS611でカテゴリ変更指示を受け付けた切り出し画像403の「カテゴリ名」を変更する。
In step S612, the client terminal 101 receives the category change instruction and changes the category of the
ステップS613において、クライアント端末101は、ユーザから終了指示を受け付けたかを判定する。クライアント端末101は、終了指示を受け付けたならば、本処理を終了し、終了指示を受け付けなければ、ステップS601に処理を戻す。 In step S613, the client terminal 101 determines whether the end instruction has been received from the user. If the client terminal 101 receives the end instruction, it ends this process, and if it does not receive the end instruction, it returns the process to step S601.
以上で図6の説明を終了し、次に図7について説明する。 This is the end of the description of FIG. 6, and then FIG. 7 will be described.
ステップS701において、クライアント端末101は、サーバ装置102に対して、基本画面の取得要求を送信する。 In step S701, the client terminal 101 transmits a basic screen acquisition request to the server device 102.
なお、図6のステップS607本処理に移行する場合、クライアント端末101からは、現在の表示設定(どのラジオボタン406が選択されたかの情報を含む)、カテゴリ402に表示しているカテゴリのリスト(ステップS606で追加されたカテゴリ含む)、現在ラベル付け作業中の画像の画像ID、表示エリア401の1エリアに表示可能な切り出し画像403の枚数も送信される。また、図6のステップS602から本処理に移行する場合には、ステップS602で受け付けたラベル付けの結果(図10の切り出し画像テーブル1003に記憶される情報)を送信する。
When shifting to the process of step S607 in FIG. 6, from the client terminal 101, the current display setting (including information on which
ステップS702において、サーバ装置102は、ステップS701でクライアント端末101から送信された基本画面の取得要求を受信し、ステップS703~ステップS707までの各処理を、基本画面に表示するカテゴリごとに実行する。 In step S702, the server device 102 receives the acquisition request of the basic screen transmitted from the client terminal 101 in step S701, and executes each process from step S703 to step S707 for each category displayed on the basic screen.
サーバ装置102は、図6のステップS607から本処理に移行する場合には、クライアント端末101から送信されたリストに含まれるカテゴリごとにステップS703~ステップS707までの各処理を実行する。一方、図6のステップS602から本処理に移行する場合には、ステップS602のラベル付け作業で指定されたすべてのカテゴリに対して、ステップS703~ステップS707までの各処理を実行するとしても良いし、ステップS703~ステップS707までの各処理を実行することなく、表示エリア401や、表示エリア407に何も表示しないとしても良い。表示エリア401や、表示エリア407に何も表示しない場合には、ステップS606でカテゴリが追加されて始めて、表示エリア401や、表示エリア407に切り出し画像403を表示する。
When shifting from step S607 of FIG. 6 to this process, the server device 102 executes each process from step S703 to step S707 for each category included in the list transmitted from the client terminal 101. On the other hand, when shifting from step S602 of FIG. 6 to this process, each process from step S703 to step S707 may be executed for all the categories specified in the labeling operation of step S602. , Nothing may be displayed in the
ステップS703において、サーバ装置102は、図6のステップS602で受け付けたラベル付け作業の結果、処理対象のカテゴリにラベル付けされた検出物体の切り出し画像(表示エリア401に表示する切り出し画像)を取得する。 In step S703, the server device 102 acquires a cut-out image (cut-out image to be displayed in the display area 401) of the detected object labeled in the category to be processed as a result of the labeling work received in step S602 of FIG. ..
ステップS704において、サーバ装置102は、図4の基本画面上で、「現在作業中の画像から切り出した画像のみ表示」のラジオボタン406が選択されていたかを判定する。サーバ装置102は、「現在作業中の画像から切り出した画像のみ表示」のラジオボタン406が選択されていなければ、ステップS705に処理を移行する。なお、図6のステップS602から本処理に移行する場合には、デフォルトの設定が「現在作業中の画像から切り出した画像のみ表示」になっているか否か判定する。「現在作業中の画像から切り出した画像のみ表示」のラジオボタン406が選択されている場合とは、例えば、表示エリア407に切り出し画像を表示しない場合である。
In step S704, the server device 102 determines whether the
ステップS705において、サーバ装置102は、今回のラベル付け作業の対象となっている画像とは異なる他の画像において、処理対象のカテゴリにラベル付けされた検出物体の切り出し画像を取得する。 In step S705, the server device 102 acquires a cut-out image of the detected object labeled in the category to be processed in another image different from the image targeted for the labeling work this time.
ステップS706において、サーバ装置102は、図4の基本画面上で、「全切り出し画像からランダムに表示」のラジオボタン406が選択されていたかを判定する。サーバ装置102は、「全切り出し画像からランダムに表示」のラジオボタン406が選択されていれば、ステップS707に処理を移行する。なお、図6のステップS602から本処理に移行する場合には、デフォルトの設定が「全切り出し画像からランダムに表示」になっているか否か判定する。
In step S706, the server device 102 determines whether the
ステップS706で、「全切り出し画像からランダムに表示」のラジオボタン406が選択されていない場合とは、図4の基本画面上で、「全画像の切り出し画像を表示」のラジオボタン406が選択されていた場合であるため、ステップS706-1で、サーバ装置102は、現在ラベル付けを行っている画像を除く、ラベル付けが完了しているすべての画像の切り出し画像を取得する。
When the
ステップS707において、サーバ装置102は、ステップS705で取得した切り出し画像からランダムで表示エリア407に表示可能な枚数分取得する。
In step S707, the server device 102 randomly acquires the number of images that can be displayed in the
なお、ステップS705、ステップS706-1、ステップS707で取得する切り出し画像は、サーバ装置102の外部メモリ211で記憶する切り出し画像テーブル1003に記憶される情報をもとに、画像テーブル1002に記憶する画像データから切り出した画像である。どの切り出し画像が表示対象カテゴリに該当するのかは、切り出し画像テーブル1003の「カテゴリ名」を参照することで特定可能である。
The cut-out image acquired in step S705, step S706-1, and step S707 is an image stored in the image table 1002 based on the information stored in the cut-out image table 1003 stored in the
ステップS708において、サーバ装置102は、ステップS703、ステップS705、ステップS706-1、ステップS707で取得した切り出し画像を含む基本画面を生成し、クライアント端末101に送信する。 In step S708, the server device 102 generates a basic screen including the cutout image acquired in step S703, step S705, step S706-1, and step S707, and transmits the basic screen to the client terminal 101.
ステップS709において、クライアント端末101は、ステップS708でサーバ装置102から送信された基本画面を受信し、ステップS710で、クライアント端末101のディスプレイ210に表示する。
In step S709, the client terminal 101 receives the basic screen transmitted from the server device 102 in step S708, and displays it on the
以上で図7の説明を終了し、次に図8について説明する。 This is the end of the description of FIG. 7, and then FIG. 8 will be described.
ステップS801において、クライアント端末101は、リストボックス405に表示されたカテゴリの中で、ステップS605で追加ボタンが選択されたときに、選択されていたカテゴリの切り出し画像の取得要求をサーバ装置102に送信する。
In step S801, the client terminal 101 transmits a request for acquiring a cutout image of the selected category to the server device 102 when the add button is selected in the category displayed in the
また、このとき、クライアント端末101からは、現在の表示設定、現在ラベル付け作業中の画像の画像ID、表示エリア401の1エリアに表示可能な切り出し画像403の枚数も送信される。
At this time, the client terminal 101 also transmits the current display setting, the image ID of the image currently being labeled, and the number of
ステップS802において、サーバ装置102は、ステップS801でクライアント端末101から送信された切り出し画像の取得要求を受信し、追加するカテゴリ(表示対象カテゴリ)に関して、ステップS803~ステップS807の処理を実行する。ステップS803~ステップS807までの各処理は、図7のステップS703~ステップS707までの各処理と同様の処理であるため説明を省略する。 In step S802, the server device 102 receives the acquisition request of the cutout image transmitted from the client terminal 101 in step S801, and executes the processes of steps S803 to S807 with respect to the category to be added (display target category). Since each process from step S803 to step S807 is the same process as each process from step S703 to step S707 in FIG. 7, description thereof will be omitted.
ステップS808において、サーバ装置102は、ステップS803、ステップS805で取得した切り出し画像をクライアント端末101に送信する。 In step S808, the server device 102 transmits the cutout image acquired in step S803 and step S805 to the client terminal 101.
ステップS809において、クライアント端末101は、ステップS808でサーバ装置102から送信された切り出し画像を受信し、基本画面に反映させて表示する。 In step S809, the client terminal 101 receives the cut-out image transmitted from the server device 102 in step S808, reflects it on the basic screen, and displays it.
以上で図8の説明を終了し、次に図9について説明する。 This is the end of the description of FIG. 8, and then FIG. 9 will be described.
ステップS901において、クライアント端末101は、所定時間以上マウスオーバーされてた切り出し画像403の画像IDをサーバ装置102に送信することで、切り出し元画像の取得要求を行う。
In step S901, the client terminal 101 requests the acquisition of the cutout source image by transmitting the image ID of the
ステップS902において、サーバ装置102は、クライアント端末101から送信された元画像の取得要求を受信する。 In step S902, the server device 102 receives the original image acquisition request transmitted from the client terminal 101.
ステップS903において、サーバ装置102は、クライアント端末101から送信された元画像の取得要求に含まれる画像IDをもとに元画像を取得する。 In step S903, the server device 102 acquires the original image based on the image ID included in the acquisition request of the original image transmitted from the client terminal 101.
具体的には、切り出し画像テーブル1003の「ID」のうち、切り出し画像403の画像IDと一致したIDと同じ行の画像パスを特定する。次に、画像テーブル1002の「画像パス」の中から、特定した画像パスと一致する画像を特定することで、元画像を特定し、取得する。
Specifically, among the "IDs" of the cutout image table 1003, the image path in the same row as the ID that matches the image ID of the
ステップS904において、サーバ装置102は、切り出し画像の座標(切り出し画像テーブル1003の「切り出し画像位置」)と、元画像の解像度(画像テーブル1002の「解像度」)とを用いて、表示する周辺領域の座標を計算する。具体的には、例えば、図11を一例とすると、切り出し画像を中心に、切り出し画像の9倍のサイズになるような元画像の座標を計算する(はみ出す場合にはカット)。 In step S904, the server device 102 uses the coordinates of the cut-out image (“cut-out image position” of the cut-out image table 1003) and the resolution of the original image (“resolution” of the image table 1002) to display the peripheral area. Calculate the coordinates. Specifically, for example, taking FIG. 11 as an example, the coordinates of the original image so as to be 9 times the size of the cut-out image are calculated around the cut-out image (cut if it protrudes).
ステップS905において、サーバ装置102は、元画像と周辺領域座標、切り出し画像の切り出し位置をクライアント端末101に送信する。 In step S905, the server device 102 transmits the original image, the coordinates of the peripheral area, and the cutout position of the cutout image to the client terminal 101.
ステップS906において、クライアント端末101は、元画像と周辺領域座標、切り出し画像の切り出し位置(検出物体矩形の位置)をサーバ装置102から受信する。 In step S906, the client terminal 101 receives the original image, the peripheral area coordinates, and the cutout position (position of the detection object rectangle) of the cutout image from the server device 102.
ステップS907において、クライアント端末101は、元画像から周辺領域を切り出し、切り出し画像位置に枠(検出物体矩形)を描画する。 In step S907, the client terminal 101 cuts out a peripheral area from the original image and draws a frame (detection object rectangle) at the cutout image position.
ステップS908において、クライアント端末101は、図5の501に示す切り出し位置編集用の周辺領域画像を表示する。 In step S908, the client terminal 101 displays a peripheral area image for editing the cutout position shown in 501 of FIG.
以上で図9の説明を終了し、次に図10について説明する。 This is the end of the description of FIG. 9, and then FIG. 10 will be described.
図10は、各種データテーブルの一例を示す図である。図10の各種データテーブルは、サーバ装置102の外部メモリ211に記憶される。ただし、切り出し画像テーブル1003については、クライアント端末101の外部メモリ211にも記憶される。
FIG. 10 is a diagram showing an example of various data tables. The various data tables of FIG. 10 are stored in the
カテゴリテーブル1001は、検出物体のカテゴリ(何であるかを示す情報)が登録されたテーブルである。登録するカテゴリ名は、何を検出する物体検出器を構築するかにより異なるものである。本実施例のように画像に含まれる人物の性別および年代を検出する検出器を構築する場合には、男性・女性、10代・20代といったカテゴリを登録する。 The category table 1001 is a table in which the category of the detected object (information indicating what it is) is registered. The category name to be registered differs depending on what the object detector to be detected is constructed. When constructing a detector that detects the gender and age of a person included in an image as in this embodiment, categories such as male / female, teens / 20s are registered.
画像テーブル1002は、ラベル付けを行う元画像を管理するテーブルであり、画像テーブル1002は、画像を識別するためのID(画像ID),画像の保管先を示す画像パス、画像の解像度を含む。 The image table 1002 is a table for managing the original image to be labeled, and the image table 1002 includes an ID (image ID) for identifying the image, an image path indicating the storage destination of the image, and an image resolution.
切り出し画像テーブル1003は、どの画像のどの領域にどのカテゴリの検出物体が存在するのかを示す情報が登録されるテーブルである。例えば、ID:1で特定される検出物体は、画像:1.jpgの(14,20,30,50)で特定される領域(切り出し画像位置)に30代の男性の顔が存在することを示す。以上で図10の説明を終了する。 The cut-out image table 1003 is a table in which information indicating which category of detected object exists in which region of which image is registered. For example, the detected object specified by ID: 1 is image: 1. It shows that the face of a man in his thirties exists in the region (cutout image position) specified by (14, 20, 30, 50) of jpg. This is the end of the description of FIG.
以上、本発明によると、画像データに含まれる検出物体のカテゴリを分類する際の正確性及び作業効率を向上させることができる。 As described above, according to the present invention, it is possible to improve the accuracy and work efficiency when classifying the categories of the detected objects included in the image data.
本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、1つの機器からなる装置に適用してもよい。 The present invention can be, for example, an embodiment as a system, an apparatus, a method, a program, a storage medium, or the like, and specifically, may be applied to a system composed of a plurality of devices, or 1 It may be applied to a device consisting of two devices.
なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システム或いは装置に直接、或いは遠隔から供給するものを含む。そして、そのシステム或いは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合も本発明に含まれる。 The present invention includes a software program that realizes the functions of the above-described embodiment, which is directly or remotely supplied to a system or an apparatus. The present invention also includes cases where the computer of the system or apparatus can also read and execute the supplied program code.
したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。 Therefore, in order to realize the functional processing of the present invention on a computer, the program code itself installed in the computer also realizes the present invention. That is, the present invention also includes the computer program itself for realizing the functional processing of the present invention.
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等の形態であってもよい。 In that case, as long as it has a program function, it may be in the form of an object code, a program executed by an interpreter, script data supplied to the OS, or the like.
プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、MO、CD-ROM、CD-R、CD-RWなどがある。また、磁気テープ、不揮発性のメモリカード、ROM、DVD(DVD-ROM,DVD-R)などもある。 Examples of the recording medium for supplying the program include a flexible disk, a hard disk, an optical disk, a magneto-optical disk, MO, a CD-ROM, a CD-R, a CD-RW, and the like. There are also magnetic tapes, non-volatile memory cards, ROMs, DVDs (DVD-ROM, DVD-R) and the like.
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、前記ホームページから本発明のコンピュータプログラムそのもの、若しくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。 In addition, as a method of supplying the program, the browser of the client computer is used to connect to the homepage of the Internet. Then, it can also be supplied by downloading the computer program of the present invention itself or a compressed file including an automatic installation function to a recording medium such as a hard disk from the homepage.
また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるWWWサーバも、本発明に含まれるものである。 It can also be realized by dividing the program code constituting the program of the present invention into a plurality of files and downloading each file from different homepages. That is, the present invention also includes a WWW server that causes a plurality of users to download a program file for realizing the functional processing of the present invention on a computer.
また、本発明のプログラムを暗号化してCD-ROM等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、ダウンロードした鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。 In addition, the program of the present invention is encrypted, stored in a storage medium such as a CD-ROM, and distributed to users, and the key information for decrypting the encryption is downloaded from the homepage to the user who clears the predetermined conditions. Let me. Then, by using the downloaded key information, it is also possible to execute an encrypted program and install it on a computer.
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。その他、そのプログラムの指示に基づき、コンピュータ上で稼動しているOSなどが、実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。 Further, the function of the above-described embodiment is realized by the computer executing the read program. In addition, based on the instruction of the program, the OS or the like running on the computer performs a part or all of the actual processing, and the function of the above-described embodiment can be realized by the processing.
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現される。 Further, the program read from the recording medium is written to the memory provided in the function expansion board inserted in the computer or the function expansion unit connected to the computer. After that, based on the instruction of the program, the function expansion board, the CPU provided in the function expansion unit, or the like performs a part or all of the actual processing, and the function of the above-described embodiment is also realized by the processing.
なお、前述した実施形態は、本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。 It should be noted that the above-described embodiments are merely examples of embodiment of the present invention, and the technical scope of the present invention should not be construed in a limited manner by these. That is, the present invention can be implemented in various forms without departing from the technical idea or its main features.
101 クライアント端末
102 サーバ装置
101 Client terminal 102 Server device
Claims (8)
前記受付手段により、領域の指定を受け付けた前記検出物体を、カテゴリごとに分けた画面を表示するように制御する表示制御手段と
を備え、
前記表示制御手段は、更に、他の画像において、前記カテゴリに指定された検出物体をカテゴリごとに分けた前記画面を表示することを特徴とする情報処理システム。 A reception means that accepts the designation of the area of a plurality of detected objects included in the image data and the designation of the category of the detected object.
The receiving means is provided with a display controlling means for controlling the detected object that has received the designation of the area so as to display a screen divided into categories.
The display control means is an information processing system characterized in that, in another image, the screen in which the detected objects designated in the categories are divided into categories is displayed.
前記表示制御手段は、前記指定受付手段で指定を受け付けた前記検出物体の前記受付手段で受け付けた領域の周辺の領域を含む前記画像データを表示するように制御することを特徴とする請求項1または2に記載の情報処理システム。 A designated receiving means for receiving the designation of the detected object on the screen is provided.
The display control means is characterized in that it controls to display the image data including the area around the area of the detection object that has been designated by the designated reception means. Or the information processing system according to 2.
前記表示制御手段は、前記受付手段によりカテゴリの指定を受け付けた前記検出物体のうち、前記カテゴリ指定受付手段により指定を受け付けたカテゴリの検出物体を表示するように制御することを特徴とする請求項1乃至3のいずれか1項に記載の情報処理システム。 It is equipped with a category designation receiving means that accepts the designation of the category to be displayed on the screen.
The display control means is characterized in that, among the detected objects whose category designation is accepted by the reception means, the detection object of the category whose designation is accepted by the category designation reception means is controlled to be displayed. The information processing system according to any one of 1 to 3.
画像データに含まれる複数の検出物体の領域の指定および当該検出物体のカテゴリの指定を受け付ける受付工程と、
前記受付工程で、領域の指定を受け付けた前記検出物体を、カテゴリごとに分けた画面を表示するように制御する表示制御工程と
を備え、
前記表示制御工程は、更に、他の画像において、前記カテゴリに指定された検出物体をカテゴリごとに分けた前記画面を表示することを特徴とする情報処理システムの制御方法。 It is a control method for information processing systems.
The reception process that accepts the designation of the area of multiple detected objects included in the image data and the designation of the category of the detected object,
The reception process includes a display control process for controlling the detected object that has received the designation of the area so as to display a screen divided by category.
The display control step is a control method of an information processing system, further comprising displaying the screen in which the detected objects designated in the categories are divided into categories in another image.
前記情報処理システムを、
画像データに含まれる複数の検出物体の領域の指定および当該検出物体のカテゴリの指定を受け付ける受付手段と、
前記受付手段により、領域の指定を受け付けた前記検出物体を、カテゴリごとに分けた画面を表示するように制御する表示制御手段として機能させ、
前記表示制御手段は、更に、他の画像において、前記カテゴリに指定された検出物体をカテゴリごとに分けた前記画面を表示することを特徴とするプログラム。 A program that can be read and executed by an information processing system
The information processing system
A reception means that accepts the designation of the area of a plurality of detected objects included in the image data and the designation of the category of the detected object.
By the receiving means, the detected object that has received the designation of the area is made to function as a display control means for controlling to display a screen divided by category.
The display control means is a program further characterized in that, in another image, the screen in which the detected objects designated in the categories are divided into categories is displayed.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017246477A JP6989769B2 (en) | 2017-12-22 | 2017-12-22 | Information processing systems, information processing system control methods, and programs |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017246477A JP6989769B2 (en) | 2017-12-22 | 2017-12-22 | Information processing systems, information processing system control methods, and programs |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019114018A JP2019114018A (en) | 2019-07-11 |
JP6989769B2 true JP6989769B2 (en) | 2022-01-12 |
Family
ID=67222681
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017246477A Active JP6989769B2 (en) | 2017-12-22 | 2017-12-22 | Information processing systems, information processing system control methods, and programs |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6989769B2 (en) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005174308A (en) | 2003-11-14 | 2005-06-30 | Fuji Photo Film Co Ltd | Method and apparatus for organizing digital media by face recognition |
JP2013025745A (en) | 2011-07-26 | 2013-02-04 | Olympus Corp | Method for creating teacher data, program for creating teacher data, and teacher data creation device |
JP2013196067A (en) | 2012-03-16 | 2013-09-30 | Casio Comput Co Ltd | Image display device, image display system, and program |
-
2017
- 2017-12-22 JP JP2017246477A patent/JP6989769B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005174308A (en) | 2003-11-14 | 2005-06-30 | Fuji Photo Film Co Ltd | Method and apparatus for organizing digital media by face recognition |
JP2013025745A (en) | 2011-07-26 | 2013-02-04 | Olympus Corp | Method for creating teacher data, program for creating teacher data, and teacher data creation device |
JP2013196067A (en) | 2012-03-16 | 2013-09-30 | Casio Comput Co Ltd | Image display device, image display system, and program |
Also Published As
Publication number | Publication date |
---|---|
JP2019114018A (en) | 2019-07-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10757374B2 (en) | Medical support system | |
JP2008226061A (en) | Image tag designating device, image searching device, operation control method therefor and program for controlling those computers | |
US20160140715A1 (en) | Information processing apparatus, information processing system, and information processing method | |
JP7104292B2 (en) | Information processing equipment, information processing method, program | |
WO2011001945A1 (en) | Image processing device, image processing method, and storage medium | |
US20140229809A1 (en) | Electronic magazine generation system, electronic magazine generation method, and electronic magazine generation program | |
JP6989769B2 (en) | Information processing systems, information processing system control methods, and programs | |
JP2017118913A (en) | Information processing device, control method and program thereof, server, control method and program thereof, information processing system, and control method and program thereof | |
JP2015046937A (en) | Information processing apparatus, information processing system, control method, information processing method, and program thereof | |
US10942623B2 (en) | Information processing apparatus, information processing method, and non-transitory computer readable medium for resuming an interrupted process | |
JP2018060426A (en) | Image processing device and image processing program | |
US10394413B2 (en) | Information processing apparatus, information processing method, and recording medium | |
JP6481204B2 (en) | Information processing apparatus, processing method thereof, and program | |
JP2009163455A (en) | Business form system, business form server, information processor, method for controlling business form server, and method for controlling information processor, and program | |
JP5541868B2 (en) | Image search command system and operation control method thereof | |
JP6361770B2 (en) | Information processing apparatus, processing method thereof, and program | |
JP5907101B2 (en) | Document management apparatus and program | |
US11462014B2 (en) | Information processing apparatus and non-transitory computer readable medium | |
JP2013088777A (en) | Viewer device, server device, display control method, electronic comic editing method and program | |
JP2009176164A (en) | Image processing device and image processing method | |
JP2007293655A (en) | Document processor, output processing method for electronic document and program | |
JP2016126763A (en) | Information processing system, and information processing method and program thereof | |
JP2019101560A (en) | Information processing apparatus, information processing method and program | |
JP2015111413A (en) | Information processing system, method for controlling information processing system, and program | |
JP2017010101A (en) | Page recording and task management device and object management device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20180703 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20181031 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190115 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201208 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211020 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211102 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211115 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6989769 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |