JP6538574B2 - Recognition device, recognition system, recognition method and program - Google Patents

Recognition device, recognition system, recognition method and program Download PDF

Info

Publication number
JP6538574B2
JP6538574B2 JP2016005369A JP2016005369A JP6538574B2 JP 6538574 B2 JP6538574 B2 JP 6538574B2 JP 2016005369 A JP2016005369 A JP 2016005369A JP 2016005369 A JP2016005369 A JP 2016005369A JP 6538574 B2 JP6538574 B2 JP 6538574B2
Authority
JP
Japan
Prior art keywords
unit
recognition
buffer
display
instruction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016005369A
Other languages
Japanese (ja)
Other versions
JP2017126210A (en
Inventor
美佳 峰松
美佳 峰松
俊一 権藤
俊一 権藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2016005369A priority Critical patent/JP6538574B2/en
Publication of JP2017126210A publication Critical patent/JP2017126210A/en
Application granted granted Critical
Publication of JP6538574B2 publication Critical patent/JP6538574B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明の実施形態は認識装置、認識システム、認識方法及びプログラムに関する。   Embodiments of the present invention relate to a recognition device, a recognition system, a recognition method, and a program.

動画像に含まれる監視対象の人物及び物体等を、認識対象物として認識する画像認識技術が従来から知られている。また、認識対象物として、動画像内で移動する移動物体を認識し、当該移動物体の領域を明示する矩形等の付加情報を、動画像に合成する画像合成技術が知られている。   2. Description of the Related Art An image recognition technology for recognizing a person to be monitored, an object or the like included in a moving image as a recognition target is conventionally known. In addition, there is known an image combining technology that recognizes a moving object moving in a moving image as a recognition target object, and combines additional information such as a rectangle that clearly indicates the area of the moving object with the moving image.

特許第３８７３０００号公報Patent No. 387 3000

［平成２７年１１月３０日検索］、インターネット＜ＵＲＬ：ｈｔｔｐ：／／ｌｉｂｃｃｖ．ｏｒｇ／＞[Search on November 30, 2015], Internet <URL: http: // libccv. org />

しかしながら従来の技術では、動画像を描画する描画処理と、動画像から認識対象物を認識する認識処理と、動画像に付加情報を合成する合成処理と、を連携させることが難しかった。例えば描画処理、認識処理及び合成処理を、複数の既存のアプリケーションを連携させることにより実現する場合、既存のアプリケーションを改変しなければならなかった。   However, in the related art, it is difficult to cooperate drawing processing for drawing a moving image, recognition processing for recognizing an object to be recognized from the moving image, and combining processing for combining additional information with the moving image. For example, in the case of realizing drawing processing, recognition processing and composition processing by linking a plurality of existing applications, the existing applications have to be modified.

実施形態の認識装置は、第１のバッファと、描画部と、第１の通知部と、認識部と、第２の通知部と、付加部とを備える。第１のバッファは、動画像を構成するフレームの記憶と、前記フレームに含まれる認識対象物に前記認識対象物を明示する付加情報が付加された表示情報の記憶と、を行う。描画部は、前記フレームを前記第１のバッファに描画する第１の描画処理を実行する第１の描画命令を受け付けたときに、前記第１の描画命令をフックし、フックされた前記第１の描画命令を実行する。第１の通知部は、フックされた前記第１の描画命令が実行されたことによって、前記第１の描画処理が完了したことが検出されたときに、第１の描画完了通知を通知する。認識部は、前記第１の描画完了通知を受け付けたときに、前記フレームから認識対象物を認識する。第２の通知部は、前記認識対象物の認識が完了したときに、認識結果を含む認識完了通知を通知する。付加部は、前記認識完了通知を受信したときに、前記付加情報を生成し、前記第１のバッファに記憶されたフレームに、前記付加情報を付加する描画を行うことにより前記表示情報を生成する第２の描画処理を実行する第２の描画命令を、前記描画部に入力する。前記描画部は、前記第２の描画命令を受け付けたときに、前記第２の描画命令をフックし、フックされた前記第２の描画命令を実行する。 The recognition device according to the embodiment includes a first buffer, a drawing unit, a first notification unit, a recognition unit, a second notification unit, and an addition unit. The first buffer performs storage of a frame forming a moving image, and storage of display information in which additional information specifying the recognition target is added to the recognition target included in the frame. The drawing unit hooks the first drawing instruction when it receives a first drawing instruction for executing a first drawing process of drawing the frame in the first buffer, and the hooked first Execute the drawing command of . The first notification unit notifies a first drawing completion notification when it is detected that the first drawing processing has been completed by execution of the hooked first drawing command . When the recognition unit receives the first drawing completion notification, the recognition unit recognizes a recognition target object from the frame. The second notification unit notifies a recognition completion notification including a recognition result when the recognition of the recognition target is completed. The addition unit generates the additional information when receiving the recognition completion notification, and generates the display information by performing drawing in which the additional information is added to the frame stored in the first buffer. A second drawing command for executing a second drawing process is input to the drawing unit. When the drawing unit receives the second drawing instruction, the drawing unit hooks the second drawing instruction and executes the hooked second drawing instruction.

第１実施形態の認識装置の機能構成の例を示す図。FIG. 2 is a diagram showing an example of a functional configuration of a recognition device of the first embodiment. 第１実施形態の表示情報の例を示す図。FIG. 7 is a view showing an example of display information of the first embodiment. 第１実施形態の認識処理方法の例を示すフローチャート。3 is a flowchart showing an example of a recognition processing method of the first embodiment. 第２実施形態の認識システムの構成の例を示す図。The figure which shows the example of a structure of the recognition system of 2nd Embodiment. 第２実施形態の認識処理方法の例を示すフローチャート。6 is a flowchart illustrating an example of a recognition processing method according to a second embodiment. 第３実施形態の認識装置の機能構成の例を示す図。The figure which shows the example of a function structure of the recognition apparatus of 3rd Embodiment. 第３実施形態の描画処理及び表示制御処理の例を説明するための図。The figure for demonstrating the example of the drawing process of 3rd Embodiment, and a display control process. 第３実施形態の認識処理方法の例を示すフローチャート。The flowchart which shows the example of the recognition processing method of 3rd Embodiment. 第４実施形態の認識システムの構成の例を示す図。The figure which shows the example of a structure of the recognition system of 4th Embodiment. 第４実施形態の認識処理方法の例を示すフローチャート。The flowchart which shows the example of the recognition processing method of 4th Embodiment. 第１及び第３実施形態の認識装置のハードウェア構成の例を示す図。The figure which shows the example of the hardware constitutions of the recognition apparatus of 1st and 3rd embodiment. 第２及び第４実施形態の認識装置のハードウェア構成の例を示す図。The figure which shows the example of the hardware constitutions of the recognition apparatus of 2nd and 4th embodiment.

以下に添付図面を参照して、認識装置、認識システム、認識方法及びプログラムの実施形態を詳細に説明する。   Hereinafter, embodiments of a recognition device, a recognition system, a recognition method, and a program will be described in detail with reference to the attached drawings.

（第１実施形態）
図１は第１実施形態の認識装置１００の機能構成の例を示す図である。第１実施形態の認識装置１００は、指示部１、描画部２、第１のバッファ３、第１の通知部４、認識部５、第２の通知部６、付加部７、コピー部８、第２のバッファ９、表示制御部１０及び表示部１１を備える。 First Embodiment
FIG. 1 is a diagram showing an example of a functional configuration of the recognition device 100 of the first embodiment. The recognition device 100 according to the first embodiment includes an instruction unit 1, a drawing unit 2, a first buffer 3, a first notification unit 4, a recognition unit 5, a second notification unit 6, an addition unit 7, a copy unit 8, A second buffer 9, a display control unit 10 and a display unit 11 are provided.

指示部１は、動画像を構成するフレームを描画する第１の描画命令を発行し、当該第１の描画命令を描画部２に入力する。   The instruction unit 1 issues a first drawing command for drawing a frame constituting a moving image, and inputs the first drawing command to the drawing unit 2.

描画部２は、指示部１から第１の描画命令を受け付けると、当該第１の描画命令に基づく描画処理を行うことにより、動画像を構成するフレームを生成する。描画処理は、例えば描画対象の動画像データのデコード処理等である。   When the drawing unit 2 receives the first drawing instruction from the instruction unit 1, the drawing unit 2 performs a drawing process based on the first drawing instruction to generate a frame that constitutes a moving image. The drawing process is, for example, a decoding process of moving image data to be drawn.

描画部２は、動画像を構成するフレームを第１のバッファ３に記憶すると、当該フレームを第１のバッファ３に記憶したことを示す第１の描画完了通知を、第１の通知部４に入力する。なお第１の描画完了通知の通知方法は任意でよい。   When the drawing unit 2 stores the frame forming the moving image in the first buffer 3, the first drawing completion notification indicating that the frame is stored in the first buffer 3 is sent to the first notification unit 4. input. Note that the notification method of the first drawing completion notification may be arbitrary.

例えば、描画部２をＸサーバにより実現する場合、Ｘ拡張機能モジュールを用いることにより、Ｘサーバを改変せずに、Ｘサーバへの描画命令をフックすることが可能である。Ｘサーバへの描画命令をフックすることにより、描画命令が発行されたタイミング、描画命令の種類、描画領域、及び、描画処理の完了のタイミング等を検出すること、並びに、描画の実行を待たせること等が可能である。描画部２は、描画命令をフックすることにより、動画像を構成するフレームを描画する第１の描画命令に基づく描画処理の完了を検出した場合、第１の描画完了通知を、第１の通知部４に入力してもよい。なお描画部２が、描画命令の種類を検出する方法は任意でよい。描画部２は、例えば描画命令が、閾値ｔよりも大きい描画領域に対するＸＰｕｔＩｍａｇｅ描画命令である場合、当該描画命令が、動画像のフレームを描画する第１の描画命令であることを検出する。   For example, when the drawing unit 2 is realized by an X server, it is possible to hook a drawing instruction to the X server without modifying the X server by using the X extension function module. By hooking a drawing command to the X server, detection of timing when drawing command is issued, type of drawing command, drawing area, timing of completion of drawing processing, etc., and waiting for drawing execution It is possible. When the drawing unit 2 detects completion of drawing processing based on a first drawing instruction for drawing a frame that constitutes a moving image by hooking a drawing instruction, the first drawing completion notification is a first notification. You may input into the part 4. Note that the method for the drawing unit 2 to detect the type of drawing command may be arbitrary. For example, when the drawing command is an XPutImage drawing command for a drawing area larger than the threshold t, the drawing unit 2 detects that the drawing command is a first drawing command for drawing a moving image frame.

第１の通知部４は、描画部２から第１の描画完了通知を受け付けると、当該第１の描画完了通知を、認識部５に通知する。   When the first notification unit 4 receives the first drawing completion notification from the drawing unit 2, the first notification unit 4 notifies the recognition unit 5 of the first drawing completion notification.

認識部５は、第１の通知部４から第１の描画完了通知を受け付けると、第１のバッファ３に記憶された動画像を構成するフレームから、所定の対象物を認識する認識処理を行う。なお所定の対象物は任意でよい。所定の対象物は、例えば人物、物体及び文字等である。物体は、例えば監視対象の車両等である。認識部５は、認識処理が終わると、当該認識処理の認識結果を含む認識完了通知を第２の通知部６に入力する。   When the recognition unit 5 receives the first drawing completion notification from the first notification unit 4, the recognition unit 5 performs a recognition process of recognizing a predetermined target object from the frames constituting the moving image stored in the first buffer 3. . The predetermined target may be arbitrary. The predetermined target is, for example, a person, an object, a character or the like. The object is, for example, a vehicle to be monitored. When the recognition process ends, the recognition unit 5 inputs a recognition completion notification including the recognition result of the recognition process to the second notification unit 6.

なお認識完了通知のデータ形式は任意でよい。認識完了通知は、例えば座標情報、及び、認識対象物を示す情報を含む。座標情報は、１０２４×７６８ピクセルの画像の場合、例えば画像左上を（０，０）とし、画像右下を（１０２３，７６７）とする座標系により表される。認識部５は、認識完了通知を、例えば矩形領域の位置と大きさを示す情報と、当該矩形領域に含まれる認識対象物を示す情報と、により示される認識結果を複数含むリスト形式により、第２の通知部６に入力してもよい。具体的には、リスト形式の認識完了通知は、例えば（３０，３０）から幅１００ピクセル、高さ２０ピクセルの矩形領域に監視対象の車両Ａが認識されたことを示す第１の認識結果、及び、（１００，１００）から幅１００ピクセル、高さ２０ピクセルの矩形領域に監視対象の車両Ｂが認識されたことを示す第２の認識結果等を含む。   The data format of the recognition completion notification may be arbitrary. The recognition completion notification includes, for example, coordinate information and information indicating an object to be recognized. In the case of an image of 1024 × 768 pixels, the coordinate information is represented, for example, by a coordinate system where the upper left of the image is (0, 0) and the lower right of the image is (1023, 767). The recognition unit 5 uses a list format including a plurality of recognition results indicated by the recognition completion notification, for example, information indicating the position and size of the rectangular area, and information indicating the recognition target object included in the rectangular area. It may be input to the second notification unit 6. Specifically, the recognition completion notification in the form of a list is, for example, a first recognition result indicating that the vehicle A to be monitored is recognized in a rectangular area having a width of 100 pixels and a height of 20 pixels from (30, 30). And a second recognition result indicating that the vehicle B to be monitored is recognized in a rectangular area having a width of 100 pixels and a height of 20 pixels from (100, 100).

第２の通知部６は、認識部５から認識完了通知を受け付けると、当該認識完了通知を、付加部７に通知する。   When the second notification unit 6 receives the recognition completion notification from the recognition unit 5, the second notification unit 6 notifies the addition unit 7 of the recognition completion notification.

付加部７は、第２の通知部６から認識完了通知を受け付けると、動画像を構成するフレームに付加される付加情報を生成する付加処理を行う。付加情報は、動画像を構成するフレームに含まれる認識対象物を明示する情報である。なお付加情報は任意でよい。付加情報は、例えば認識対象物の近傍に付加されることにより、当該認識対象物を明示する吹き出しキャプションである。また例えば、付加情報は、認識対象物を囲むように付与することにより、当該認識対象物を明示する矩形等である。付加部７は、付加処理が終わると、生成された付加情報を、動画像を構成するフレームに付加する第２の描画命令を発行し、当該第２の描画命令を描画部２に入力する。   When the addition unit 7 receives the recognition completion notification from the second notification unit 6, the addition unit 7 performs an addition process of generating additional information to be added to a frame that constitutes a moving image. The additional information is information that specifies a recognition target object included in a frame that constitutes a moving image. The additional information may be arbitrary. The additional information is, for example, a balloon caption that specifies the recognition target by being added in the vicinity of the recognition target. Further, for example, the additional information is a rectangle or the like that clearly indicates the recognition target by giving it so as to surround the recognition target. When the addition processing is completed, the addition unit 7 issues a second drawing instruction for adding the generated additional information to a frame forming a moving image, and inputs the second drawing instruction to the drawing unit 2.

描画部２は、付加部７から第２の描画命令を受け付けると、当該第２の描画命令に基づく描画処理を行う。具体的には、描画部２は、第１のバッファ３に記憶されている動画像を構成するフレームに付加情報を付加する描画処理（合成処理）を行うことにより、表示情報を生成する。   When the drawing unit 2 receives the second drawing instruction from the adding unit 7, the drawing unit 2 performs a drawing process based on the second drawing instruction. Specifically, the drawing unit 2 generates display information by performing drawing processing (composition processing) for adding additional information to the frames making up the moving image stored in the first buffer 3.

図２は第１実施形態の表示情報２１０の例を示す図である。図２の例は、描画部２が、車両Ａを含む動画像を構成するフレームに、付加情報２０１として、吹き出しキャプションを付加することにより、表示情報２１０を生成した場合を示す。   FIG. 2 is a diagram showing an example of the display information 210 of the first embodiment. The example in FIG. 2 shows the case where the drawing unit 2 generates the display information 210 by adding a balloon caption as the additional information 201 to a frame that constitutes a moving image including the vehicle A.

なお描画部２は、ちらつきを防ぐために、動画像は背景として、付加情報はオーバーレイとして、第１のバッファ３に描画する。例えば付加部７をブラウザアプリケーションにより実現し、描画部２をＸサーバにより実現する場合、ＣＳＳ（Ｃａｓｃａｄｉｎｇ Ｓｔｙｌｅ Ｓｈｅｅｔｓ）を使用することができる。ＣＳＳは、ウェブコンテンツの見た目を定義するためのスタイルシートである。描画部２は、例えば動画像を構成するフレームをフルスクリーン表示で描画し、ｐｏｓｉｔｉｏｎをｆｉｘｅｄ、ｚ−ｉｎｄｅｘを−１００等とすることにより、付加情報をオーバーレイ表示で描画することができる。付加情報は、例えばＣＳＳのｂｏｘクラスと、ｂｅｆｏｒｅおよびａｆｔｅｒ疑似要素と、を用いることにより、動画像を構成するフレームに付加することができる。   The drawing unit 2 draws the moving image as a background and the additional information as an overlay in the first buffer 3 to prevent flicker. For example, when the addition unit 7 is realized by a browser application and the drawing unit 2 is realized by an X server, CSS (Cascading Style Sheets) can be used. CSS is a style sheet for defining the appearance of web content. The drawing unit 2 can draw additional information by overlay display, for example, by drawing a frame constituting a moving image in full screen display, setting the position to fixed, and setting the z-index to -100 or the like. The additional information can be added to a frame constituting a moving image by using, for example, the box class of CSS and the before and after pseudo elements.

図１に戻り、描画部２は、表示情報２１０を第１のバッファ３に記憶すると、当該表示情報２１０を第１のバッファ３に記憶したことを示す第２の描画完了通知を、第１の通知部４に入力する。なお表示情報生成完了通知の通知方法は任意でよい。   Returning to FIG. 1, when the display unit 2 stores the display information 210 in the first buffer 3, the second drawing completion notification indicating that the display information 210 has been stored in the first buffer 3 is a first notification. Input to the notification unit 4. The notification method of the display information generation completion notification may be arbitrary.

例えば、描画部２をＸサーバにより実現する場合、描画部２は、描画命令をフックすることにより検出された描画命令の種類に基づいて、第２の描画完了通知を、第１の通知部４に入力してもよい。   For example, when the drawing unit 2 is realized by an X server, the drawing unit 2 generates a second drawing completion notification based on the type of the drawing command detected by hooking the drawing command, to the first notification unit 4. You may enter

第１の通知部４は、描画部２から第２の描画完了通知を受け付けると、当該第２の描画完了通知を、コピー部８に通知する。   When the first notification unit 4 receives the second drawing completion notification from the drawing unit 2, the first notification unit 4 notifies the copying unit 8 of the second drawing completion notification.

コピー部８は、第１の通知部４から第２の描画完了通知を受け付けると、第１のバッファ３から第２のバッファ９に表示情報２１０をコピーする。なお描画部２をＸサーバにより実現する場合、コピー部８をＸ拡張機能モジュールに含めることにより、直接、第１のバッファ３から表示情報２１０を取得してもよい。また、コピー部８をＸ拡張機能モジュールに含めない場合は、Ｘサーバにより実現された描画部２を介して、第１のバッファ３に記憶された表示情報２１０を取得してもよい。   When the copy unit 8 receives the second drawing completion notification from the first notification unit 4, the copy unit 8 copies the display information 210 from the first buffer 3 to the second buffer 9. When the drawing unit 2 is realized by the X server, the display information 210 may be obtained directly from the first buffer 3 by including the copy unit 8 in the X extension function module. When the copy unit 8 is not included in the X extension function module, the display information 210 stored in the first buffer 3 may be acquired via the drawing unit 2 realized by the X server.

表示制御部１０は、コピー部８により第１のバッファ３から第２のバッファ９にコピーされた表示情報２１０を、表示部１１に表示する制御を行う。表示部１１は表示情報２１０を表示する。   The display control unit 10 controls the display unit 11 to display the display information 210 copied from the first buffer 3 to the second buffer 9 by the copying unit 8. The display unit 11 displays the display information 210.

なお上述の第１のバッファ３、及び、第２のバッファ９は、任意の記憶媒体でよい。第１のバッファ３、及び、第２のバッファ９は、例えばＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、光ディスク及びメモリカード等である。   The first buffer 3 and the second buffer 9 described above may be any storage medium. The first buffer 3 and the second buffer 9 are, for example, a random access memory (RAM), a hard disk drive (HDD), an optical disc, a memory card, and the like.

次に第１実施形態の認識処理方法の例について説明する。   Next, an example of the recognition processing method of the first embodiment will be described.

図３は第１実施形態の認識処理方法の例を示すフローチャートである。はじめに、指示部１が、動画像を構成するフレームを描画する第１の描画命令を発行する（ステップＳ１）。次に、描画部２が、第１の描画命令に基づく描画処理を行うことにより、動画像を構成するフレームを生成する（ステップＳ２）。次に、描画部２は、動画像を構成するフレームを第１のバッファ３に記憶する（ステップＳ３）。   FIG. 3 is a flowchart showing an example of the recognition processing method according to the first embodiment. First, the instruction unit 1 issues a first drawing command for drawing a frame constituting a moving image (step S1). Next, the drawing unit 2 performs a drawing process based on the first drawing command to generate a frame that constitutes a moving image (step S2). Next, the drawing unit 2 stores the frames constituting the moving image in the first buffer 3 (step S3).

次に、第１の通知部４が、第１の描画完了通知を、認識部５に通知する（ステップＳ４）。次に、認識部５は、第１の通知部４から第１の描画完了通知を受け付けると、第１のバッファ３に記憶された動画像を構成するフレームから、所定の対象物を認識する認識処理を行う（ステップＳ５）。   Next, the first notification unit 4 notifies the first drawing completion notification to the recognition unit 5 (step S4). Next, when the recognition unit 5 receives the first drawing completion notification from the first notification unit 4, the recognition unit 5 recognizes a predetermined target object from the frames constituting the moving image stored in the first buffer 3. A process is performed (step S5).

次に、第２の通知部６が、認識部５の認識処理が完了すると、認識完了通知を、付加部７に通知する（ステップＳ６）。次に、付加部７が、第２の通知部６から認識完了通知を受け付けると、動画像を構成するフレームに付加される付加情報を生成する付加処理を行う（ステップＳ７）。次に、付加部７は、ステップＳ７の処理により生成された付加情報を、動画像を構成するフレームに付加する第２の描画命令を発行する（ステップＳ８）。描画部２は、第２の描画命令に基づく描画処理（合成処理）を行うことにより、表示情報２１０を生成する（ステップＳ９）。   Next, when the recognition process of the recognition unit 5 is completed, the second notification unit 6 notifies the addition unit 7 of a notification of recognition completion (step S6). Next, when the adding unit 7 receives the notification of recognition completion from the second notifying unit 6, the adding unit 7 performs addition processing for generating additional information to be added to a frame constituting a moving image (step S7). Next, the adding unit 7 issues a second drawing instruction to add the additional information generated by the process of step S7 to the frame forming the moving image (step S8). The drawing unit 2 generates display information 210 by performing drawing processing (composition processing) based on the second drawing command (step S9).

次に、第１の通知部４が、第２の描画完了通知を、コピー部８に通知する（ステップＳ１０）。次に、コピー部８が、第１の通知部４から第２の描画完了通知を受け付けると、第１のバッファ３から第２のバッファ９に表示情報２１０をコピーする（ステップＳ１１）。   Next, the first notification unit 4 notifies the copy unit 8 of a second drawing completion notification (step S10). Next, when the copying unit 8 receives the second drawing completion notification from the first notification unit 4, the copying unit 8 copies the display information 210 from the first buffer 3 to the second buffer 9 (step S11).

次に、表示制御部１０が、コピー部８により第１のバッファ３から第２のバッファ９にコピーされた表示情報２１０を、表示部１１に表示する制御を行う（ステップＳ１２）。   Next, the display control unit 10 controls the display unit 11 to display the display information 210 copied from the first buffer 3 to the second buffer 9 by the copying unit 8 (step S12).

以上説明したように、第１実施形態の認識装置１００では、第１の通知部４が、第１の描画命令に基づく描画処理が完了したときに、第１の描画完了通知を通知する。また、認識部５が、第１の描画完了通知を受け付けたときに、フレームから認識対象物を認識する。また、第２の通知部６が、認識対象物の認識が完了したときに、認識結果を含む認識完了通知を通知する。また、付加部７が、認識完了通知を受信したときに、付加情報を生成する。   As described above, in the recognition device 100 of the first embodiment, the first notification unit 4 notifies the first drawing completion notification when the drawing process based on the first drawing command is completed. Further, when the recognition unit 5 receives the first drawing completion notification, the recognition unit 5 recognizes a recognition target object from the frame. Further, when the recognition of the object to be recognized is completed, the second notification unit 6 notifies the notification of the recognition completion including the recognition result. Further, when the addition unit 7 receives the notification of recognition completion, the addition unit 7 generates additional information.

これにより第１実施形態の認識装置１００によれば、描画部２、認識部５及び付加部７を改変せずに、連携させることができる。   Thereby, according to the recognition apparatus 100 of the first embodiment, the drawing unit 2, the recognition unit 5 and the addition unit 7 can be cooperated without being modified.

また、第１実施形態の認識装置１００では、第１のバッファ３が、動画像を構成するフレームの記憶と、フレームに含まれる認識対象物に認識対象物を明示する付加情報が付加された表示情報２１０の記憶と、を行う。また、コピー部８が、第１の通知部４から、第２の描画完了通知を受け付けたときに、第１のバッファ３に記憶された表示情報２１０を、第２のバッファ９にコピーする。また、表示制御部１０が、第２のバッファ９に記憶された表示情報２１０を、表示部１１に表示する制御を行う。   Further, in the recognition device 100 according to the first embodiment, the first buffer 3 stores the frame constituting the moving image, and displays the additional information for specifying the recognition object to the recognition object included in the frame. And storing the information 210. When the copy unit 8 receives the second drawing completion notification from the first notification unit 4, the copy unit 8 copies the display information 210 stored in the first buffer 3 to the second buffer 9. Further, the display control unit 10 performs control to display the display information 210 stored in the second buffer 9 on the display unit 11.

すなわち第１実施形態の認識装置１００では、描画処理に使用される第１のバッファ３と、表示処理に使用される第２のバッファ９と、が分けられている。   That is, in the recognition device 100 of the first embodiment, the first buffer 3 used for drawing processing and the second buffer 9 used for display processing are divided.

これにより第１実施形態の認識装置１００によれば、付加情報が認識対象物に重なることにより、監視対象の認識対象物が見えなくなったり、画面のちらつきが発生したりする問題を防ぐことができる。   Thereby, according to the recognition apparatus 100 of the first embodiment, it is possible to prevent the problem that the recognition target object of the monitoring target disappears or the flickering of the screen occurs because the additional information overlaps the recognition target object. .

なお上述の認識装置１００の機能は、ソフトウェアにより実現してもハードウェアにより実現してもよいし、ソフトウェアとハードウェアとを組み合わせることにより実現してもよい。具体的には、例えば指示部１及び付加部７は、ブラウザアプリケーションにより実現してもよい。また、例えば描画部２は、Ｘサーバにより実現してもよい。また、例えば認識部５は、画像認識アプリケーションにより実現してもよい。   The function of the recognition device 100 described above may be realized by software or hardware, or may be realized by combining software and hardware. Specifically, for example, the instruction unit 1 and the addition unit 7 may be realized by a browser application. Also, for example, the drawing unit 2 may be realized by an X server. Also, for example, the recognition unit 5 may be realized by an image recognition application.

第１実施形態の認識装置１００によれば、例えば、画像認識アプリケーションを用いて高速かつ高精度に動画像を解析しつつ、ブラウザアプリケーションを用いてＨＴＭＬ５によりデザインされた高度な情報を付加することが可能になる。これにより性能とデザイン性の両立を実現することが可能となる。   According to the recognition apparatus 100 of the first embodiment, for example, while analyzing a moving image at high speed and with high accuracy using an image recognition application, adding advanced information designed by HTML 5 using a browser application It will be possible. This makes it possible to achieve both performance and design.

（第２実施形態）
次に第２実施形態について説明する。第２実施形態の説明では、認識装置１００及び表示装置１１０を備える認識システム２００について説明する。第２実施形態の説明では、第１実施形態の説明と同様の説明については省略する。 Second Embodiment
Next, a second embodiment will be described. In the description of the second embodiment, a recognition system 200 including the recognition device 100 and the display device 110 will be described. In the description of the second embodiment, the same descriptions as those of the first embodiment will be omitted.

図４は第２実施形態の認識システム２００の構成の例を示す図である。第２実施形態の認識システム２００は、認識装置１００及び表示装置１１０を備える。認識装置１００及び表示装置１１０は、有線又は無線により接続されている。   FIG. 4 is a view showing an example of the configuration of a recognition system 200 according to the second embodiment. The recognition system 200 of the second embodiment includes a recognition device 100 and a display device 110. The recognition device 100 and the display device 110 are connected by wire or wirelessly.

第２実施形態の認識装置１００は、指示部１、描画部２、第１のバッファ３、第１の通知部４、認識部５、第２の通知部６、付加部７、コピー部８、第２のバッファ９及び通信制御部１２を備える。指示部１、描画部２、第１のバッファ３、第１の通知部４、認識部５、第２の通知部６、付加部７、コピー部８及び第２のバッファ９の説明は、第１実施形態の説明と同じなので省略する。   The recognition device 100 according to the second embodiment includes an instruction unit 1, a drawing unit 2, a first buffer 3, a first notification unit 4, a recognition unit 5, a second notification unit 6, an addition unit 7, a copy unit 8, The second buffer 9 and the communication control unit 12 are provided. The description of the instruction unit 1, the drawing unit 2, the first buffer 3, the first notification unit 4, the recognition unit 5, the second notification unit 6, the addition unit 7, the copy unit 8 and the second buffer 9 Since it is the same as the description of one embodiment, it is omitted.

通信制御部１２は、コピー部８により第１のバッファ３から第２のバッファ９にコピーされた表示情報２１０を、表示装置１１０に送信する制御を行う。表示装置１１０は、認識装置１００から表示情報２１０を受信すると、当該表示情報２１０を表示する。   The communication control unit 12 controls transmission of the display information 210 copied from the first buffer 3 to the second buffer 9 by the copying unit 8 to the display device 110. When the display device 110 receives the display information 210 from the recognition device 100, the display device 110 displays the display information 210.

次に第２実施形態の認識処理方法の例について説明する。   Next, an example of the recognition processing method of the second embodiment will be described.

図５は第２実施形態の認識処理方法の例を示すフローチャートである。ステップＳ２１〜ステップＳ３１の説明は、第１実施形態の認識処理方法のステップＳ１〜ステップＳ１１の説明（図３参照）と同じなので省略する。   FIG. 5 is a flowchart showing an example of the recognition processing method of the second embodiment. The description of steps S21 to S31 is the same as the description (see FIG. 3) of steps S1 to S11 of the recognition processing method according to the first embodiment.

通信制御部１２は、コピー部８により第１のバッファ３から第２のバッファ９にコピーされた表示情報２１０を、表示装置１１０に送信する制御を行う（ステップＳ３２）。次に、表示装置１１０が、認識装置１００から表示情報２１０を受信すると、当該表示情報２１０を表示する（ステップＳ３３）。   The communication control unit 12 performs control to transmit the display information 210 copied from the first buffer 3 to the second buffer 9 by the copying unit 8 to the display device 110 (step S32). Next, when the display device 110 receives the display information 210 from the recognition device 100, the display device 210 displays the display information 210 (step S33).

第２実施形態の認識システム２００は、第１実施形態と同様の効果を奏する。すなわち第２実施形態の認識システム２００によれば、描画部２、認識部５及び付加部７を改変せずに、連携させることができる。   The recognition system 200 of the second embodiment has the same effect as that of the first embodiment. That is, according to the recognition system 200 of the second embodiment, the drawing unit 2, the recognition unit 5 and the addition unit 7 can be cooperated without being modified.

また、第１実施形態の認識装置１００では、描画処理に使用される第１のバッファ３と、通信処理に使用される第２のバッファ９と、が分離されている。これにより第２実施形態の認識システム２００によれば、第１実施形態の場合と同様に、付加情報が認識対象物に重なることにより、監視対象の認識対象物が見えなくなったり、画面のちらつきが発生したりする問題を防ぐことができる。   Further, in the recognition device 100 of the first embodiment, the first buffer 3 used for drawing processing and the second buffer 9 used for communication processing are separated. Thus, according to the recognition system 200 of the second embodiment, as in the case of the first embodiment, the additional information overlaps the recognition target, so that the recognition target of the monitoring target disappears or the screen flickers. It can prevent problems that occur.

（第３実施形態）
次に第３実施形態について説明する。第３実施形態の説明では、認識装置１００がコピー部８及び第２のバッファ９を備えていない場合について説明する。 Third Embodiment
Next, a third embodiment will be described. In the description of the third embodiment, the case where the recognition apparatus 100 does not include the copy unit 8 and the second buffer 9 will be described.

図６は第３実施形態の認識装置１００の機能構成の例を示す図である。第３実施形態の認識装置１００は、指示部１、描画部２、第１のバッファ３、第１の通知部４、認識部５、第２の通知部６、付加部７、表示制御部１０及び表示部１１を備える。   FIG. 6 is a diagram showing an example of a functional configuration of the recognition device 100 of the third embodiment. The recognition device 100 according to the third embodiment includes an instruction unit 1, a drawing unit 2, a first buffer 3, a first notification unit 4, a recognition unit 5, a second notification unit 6, an addition unit 7, and a display control unit 10. And the display unit 11.

指示部１は、動画像を構成するフレームを描画する第１の描画命令を発行し、当該第１の描画命令を描画部２に入力する。   The instruction unit 1 issues a first drawing command for drawing a frame constituting a moving image, and inputs the first drawing command to the drawing unit 2.

描画部２は、指示部１から第１の描画命令を受け付けると、当該第１の描画命令に基づく描画処理を行うことにより、動画像を構成するフレームを生成する。   When the drawing unit 2 receives the first drawing instruction from the instruction unit 1, the drawing unit 2 performs a drawing process based on the first drawing instruction to generate a frame that constitutes a moving image.

描画部２は、動画像を構成するフレームを第１のバッファ３に記憶すると、当該フレームを第１のバッファ３に記憶したことを示す第１の描画完了通知を、第１の通知部４に入力する。   When the drawing unit 2 stores the frame forming the moving image in the first buffer 3, the first drawing completion notification indicating that the frame is stored in the first buffer 3 is sent to the first notification unit 4. input.

第１の通知部４は、描画部２から第１の描画完了通知を受け付けると、当該第１の描画完了通知を、認識部５に通知する。   When the first notification unit 4 receives the first drawing completion notification from the drawing unit 2, the first notification unit 4 notifies the recognition unit 5 of the first drawing completion notification.

認識部５は、第１の通知部４から第１の描画完了通知を受け付けると、第１のバッファ３に記憶された動画像を構成するフレームから、所定の対象物を認識する認識処理を行う。認識部５は、認識処理が終わると、当該認識処理の認識結果を含む認識完了通知を第２の通知部６に入力する。   When the recognition unit 5 receives the first drawing completion notification from the first notification unit 4, the recognition unit 5 performs a recognition process of recognizing a predetermined target object from the frames constituting the moving image stored in the first buffer 3. . When the recognition process ends, the recognition unit 5 inputs a recognition completion notification including the recognition result of the recognition process to the second notification unit 6.

第２の通知部６は、認識部５から認識完了通知を受け付けると、当該認識完了通知を、付加部７に通知する。   When the second notification unit 6 receives the recognition completion notification from the recognition unit 5, the second notification unit 6 notifies the addition unit 7 of the recognition completion notification.

付加部７は、第２の通知部６から認識完了通知を受け付けると、動画像を構成するフレームに付加される付加情報を生成する付加処理を行う。付加部７は、付加処理が終わると、生成された付加情報を、動画像を構成するフレームに付加する第２の描画命令を発行し、当該第２の描画命令を描画部２に入力する。   When the addition unit 7 receives the recognition completion notification from the second notification unit 6, the addition unit 7 performs an addition process of generating additional information to be added to a frame that constitutes a moving image. When the addition processing is completed, the addition unit 7 issues a second drawing instruction for adding the generated additional information to a frame forming a moving image, and inputs the second drawing instruction to the drawing unit 2.

描画部２は、付加部７から第２の描画命令を受け付けると、当該第２の描画命令に基づく描画処理（合成処理）を行うことにより、表示情報２１０を生成する。   When the drawing unit 2 receives the second drawing command from the adding unit 7, the drawing unit 2 generates display information 210 by performing drawing processing (composition processing) based on the second drawing command.

描画部２は、表示情報２１０を第１のバッファ３に記憶すると、当該表示情報２１０を第１のバッファ３に記憶したことを示す第２の描画完了通知を、第１の通知部４に入力する。   When the display unit 2 stores the display information 210 in the first buffer 3, the drawing unit 2 inputs, to the first notification unit 4, a second drawing completion notification indicating that the display information 210 has been stored in the first buffer 3. Do.

第１の通知部４は、描画部２から第２の描画完了通知を受け付けると、当該第２の描画完了通知を、表示制御部１０に通知する。   When the first notification unit 4 receives the second drawing completion notification from the drawing unit 2, the first notification unit 4 notifies the display control unit 10 of the second drawing completion notification.

表示制御部１０は、第１の通知部４から第２の描画完了通知を受け付けると、第１のバッファ３に記憶された表示情報２１０を、表示部１１に表示する表示制御処理を行う。このとき表示制御部１０は、描画部２により行われる第１及び第２の描画命令に基づく描画処理の頻度よりも、低い頻度で表示制御処理を行う。   When the display control unit 10 receives the second drawing completion notification from the first notification unit 4, the display control unit 10 performs display control processing to display the display information 210 stored in the first buffer 3 on the display unit 11. At this time, the display control unit 10 performs the display control process at a frequency lower than the frequency of the drawing process based on the first and second drawing commands performed by the drawing unit 2.

図７は第３実施形態の描画処理及び表示制御処理の例を説明するための図である。はじめに、動画像を構成するフレーム２０９ａが、描画部２により描画され、当該フレーム２０９ａに含まれる車両Ａが、認識部５により認識される。次に、付加情報２０１が、付加部７によりフレーム２０９ａに付加された表示情報２１０ａが、描画部２により描画されると、当該表示情報２１０ａが、表示制御部１０により表示部１１に表示される。   FIG. 7 is a diagram for explaining an example of the drawing process and the display control process of the third embodiment. First, the drawing unit 2 draws a frame 209a that constitutes a moving image, and the vehicle A included in the frame 209a is recognized by the recognition unit 5. Next, when the display information 210 a drawn by the drawing unit 2 is the display information 210 a added to the frame 209 a by the addition unit 7, the display control unit 10 displays the display information 210 a on the display unit 11. .

次に、動画像を構成するフレーム２０９ｂが、描画部２により描画され、当該フレーム２０９ｂに含まれる車両Ａが、認識部５により認識される。次に、付加情報２０１が、付加部７によりフレーム２０９ｂに付加された表示情報２１０ｂが、描画部２により描画されると、当該表示情報２１０ｂが、表示制御部１０により表示部１１に表示される。   Next, the drawing unit 2 draws a frame 209 b constituting a moving image, and the vehicle A included in the frame 209 b is recognized by the recognition unit 5. Next, when the display information 210 b drawn by the drawing unit 2 is the display information 210 b added to the frame 209 b by the addition unit 7, the display control unit 10 causes the display control unit 10 to display the display information 210 b. .

図７に示されるように、描画部２は、動画像を構成するフレーム２０９（２０９ａ及び２０９ｂ）の描画処理と、表示情報２１０（２１０ａ及び２１０ｂ）を生成する描画処理（合成処理）と、を行う。また認識部５による車両Ａの認識処理は、フレーム２０９に対して行われる。また表示制御部１０による表示制御処理は、表示情報２１０に対して行われる。   As illustrated in FIG. 7, the drawing unit 2 performs drawing processing of frames 209 (209 a and 209 b) that constitute a moving image, and drawing processing (composition processing) of generating display information 210 (210 a and 210 b). Do. The recognition process of the vehicle A by the recognition unit 5 is performed on the frame 209. The display control process by the display control unit 10 is performed on the display information 210.

すなわち表示制御部１０は、図７に示されるタイミングで表示制御処理を行うことにより、描画部２により行われる描画処理の頻度よりも、低い頻度で表示制御処理を行う。   That is, the display control unit 10 performs the display control process at a frequency lower than the frequency of the drawing process performed by the drawing unit 2 by performing the display control process at the timing illustrated in FIG. 7.

描画処理及び表示制御処理のタイミングは任意でよい。例えば、表示部１１のリフレッシュレートに合わせて、描画処理及び表示制御処理のタイミングを調整してもよい。具体的には、表示部１１のリフレッシュレートが６０Ｈｚの場合、表示部１１の表示は１秒間に６０回、更新される。この場合、例えば以下のようにタイミングを調整する。   The timing of the drawing process and the display control process may be arbitrary. For example, the timing of the drawing process and the display control process may be adjusted in accordance with the refresh rate of the display unit 11. Specifically, when the refresh rate of the display unit 11 is 60 Hz, the display of the display unit 11 is updated 60 times per second. In this case, for example, the timing is adjusted as follows.

（１）表示制御部１０は、表示部１１のリフレッシュのタイミングで表示情報を表示する制御を行うことにより、１秒間に６０回、表示制御処理を行う。
（２）描画部２は、動画像を構成するフレーム２０９の描画（第１の描画命令に基づく描画処理）を１秒間に６０回、行い、付加情報を付加することにより表示情報２１０を生成する描画（第２の描画命令に基づく描画処理）を１秒間に６０回、行う。すなわち描画部２は描画処理を１秒間に１２０回、行う。 (1) The display control unit 10 performs display control processing 60 times per second by performing control to display display information at the refresh timing of the display unit 11.
(2) The drawing unit 2 generates the display information 210 by performing drawing of the frame 209 constituting the moving image (drawing processing based on the first drawing command) 60 times a second and adding additional information. A drawing (drawing process based on a second drawing command) is performed 60 times per second. That is, the drawing unit 2 performs the drawing process 120 times per second.

これにより、描画部２により行われる描画処理の頻度よりも、低い頻度で表示制御処理を行うことができるので、付加情報が認識対象物に重なることにより、監視対象の認識対象物が見えなくなったり、画面のちらつきが発生したりする問題を防ぐことができる。   As a result, the display control process can be performed at a frequency lower than the frequency of the drawing process performed by the drawing unit 2, so that the additional information overlaps the recognition object, and the recognition object of the monitoring target disappears. Can prevent the problem of flickering on the screen.

次に第３実施形態の認識処理方法の例について説明する。   Next, an example of the recognition processing method of the third embodiment will be described.

図８は第３実施形態の認識処理方法の例を示すフローチャートである。図８の例では、表示部１１のリフレッシュレートが６０Ｈｚの場合を例にして説明する。はじめに、指示部１が、動画像を構成するフレームを描画する第１の描画命令を発行する（ステップＳ４１）。次に、描画部２が、第１の描画命令に基づく描画処理を行うことにより、動画像を構成するフレームを生成する（ステップＳ４２）。描画部２は、ステップＳ４２の処理を、１秒間に６０回の頻度で行う。   FIG. 8 is a flowchart showing an example of the recognition processing method of the third embodiment. In the example of FIG. 8, the case where the refresh rate of the display unit 11 is 60 Hz will be described as an example. First, the instruction unit 1 issues a first drawing command for drawing a frame constituting a moving image (step S41). Next, the drawing unit 2 performs a drawing process based on the first drawing command to generate a frame that constitutes a moving image (step S42). The drawing unit 2 performs the process of step S42 at a frequency of 60 times per second.

ステップＳ４３〜ステップＳ４８の説明は、第１実施形態の認識処理方法のステップＳ３〜ステップＳ８の説明（図３参照）と同じなので省略する。   The description of steps S43 to S48 is the same as the description (see FIG. 3) of steps S3 to S8 of the recognition processing method of the first embodiment, and thus the description thereof is omitted.

次に、描画部２が、第２の描画命令に基づく描画処理（合成処理）を行うことにより、表示情報２１０を生成する（ステップＳ４９）。描画部２は、ステップＳ４９の処理を、１秒間に６０回の頻度で行う。   Next, the drawing unit 2 generates display information 210 by performing drawing processing (composition processing) based on the second drawing command (step S49). The drawing unit 2 performs the process of step S49 at a frequency of 60 times per second.

次に、第１の通知部４が、第２の描画完了通知を、表示制御部１０に通知する（ステップＳ５０）。次に、表示制御部１０が、第１の通知部４から第２の描画完了通知を受け付けると、第１のバッファ３に記憶された表示情報２１０を、表示部１１に表示する制御を行う（ステップＳ５１）。表示制御部１０は、ステップＳ５１の処理を、１秒間に６０回の頻度で行う。   Next, the first notification unit 4 notifies the display control unit 10 of the second drawing completion notification (step S50). Next, when the display control unit 10 receives the second drawing completion notification from the first notification unit 4, the display control unit 10 performs control to display the display information 210 stored in the first buffer 3 on the display unit 11 ( Step S51). The display control unit 10 performs the process of step S51 at a frequency of 60 times per second.

第３実施形態の認識装置１００は、第１実施形態と同様の効果を奏する。すなわち第３実施形態の認識装置１００によれば、描画部２、認識部５及び付加部７を改変せずに、連携させることができる。   The recognition device 100 of the third embodiment has the same effect as that of the first embodiment. That is, according to the recognition device 100 of the third embodiment, the drawing unit 2, the recognition unit 5 and the addition unit 7 can be made to cooperate without being modified.

また、第３実施形態の認識装置１００では、表示制御部１０が、描画部２により行われる描画処理（第１及び第２の描画命令に基づく描画処理）の頻度よりも、低い頻度で第１のバッファ３に記憶された表示情報２１０を、表示部１１に表示する制御を行う。これにより、付加情報が認識対象物に重なることにより、監視対象の認識対象物が見えなくなったり、画面のちらつきが発生したりする問題を防ぐことができる。   Further, in the recognition device 100 of the third embodiment, the display control unit 10 performs the first process at a frequency lower than the frequency of the drawing process (drawing process based on the first and second drawing commands) performed by the drawing unit 2. The display information 210 stored in the buffer 3 is controlled to be displayed on the display unit 11. As a result, it is possible to prevent the problem that the recognition target object to be monitored becomes invisible or flickering of the screen occurs because the additional information overlaps the recognition target object.

（第４実施形態）
次に第４実施形態について説明する。第４実施形態の説明では、認識装置１００及び表示装置１１０を備える認識システム２００について説明する。第４実施形態の説明では、第３実施形態の説明と同様の説明については省略する。 Fourth Embodiment
Next, a fourth embodiment will be described. In the description of the fourth embodiment, a recognition system 200 provided with a recognition device 100 and a display device 110 will be described. In the description of the fourth embodiment, the same descriptions as those of the third embodiment will be omitted.

図９は第４実施形態の認識システム２００の構成の例を示す図である。第４実施形態の認識システム２００は、認識装置１００及び表示装置１１０を備える。認識装置１００及び表示装置１１０は、有線又は無線により接続されている。   FIG. 9 is a view showing an example of the configuration of a recognition system 200 according to the fourth embodiment. The recognition system 200 of the fourth embodiment includes a recognition device 100 and a display device 110. The recognition device 100 and the display device 110 are connected by wire or wirelessly.

第４実施形態の認識装置１００は、指示部１、描画部２、第１のバッファ３、第１の通知部４、認識部５、第２の通知部６、付加部７、及び通信制御部１２を備える。指示部１、描画部２、第１のバッファ３、第１の通知部４、認識部５、第２の通知部６及び付加部７の説明は、第３実施形態の説明と同じなので省略する。   The recognition device 100 according to the fourth embodiment includes an instruction unit 1, a drawing unit 2, a first buffer 3, a first notification unit 4, a recognition unit 5, a second notification unit 6, an addition unit 7, and a communication control unit. It has twelve. The descriptions of the instruction unit 1, the drawing unit 2, the first buffer 3, the first notification unit 4, the recognition unit 5, the second notification unit 6, and the addition unit 7 are the same as those of the third embodiment, and thus are omitted. .

通信制御部１２は、第１の通知部４から第２の描画完了通知を受け付けると、第１のバッファ３に記憶された表示情報２１０を、表示装置１１０に送信する送信制御処理を行う。このとき通信制御部１２は、描画部２により行われる第１及び第２の描画命令に基づく描画処理の頻度よりも、低い頻度で表示制御処理を行う。   When the communication control unit 12 receives the second drawing completion notification from the first notification unit 4, the communication control unit 12 performs transmission control processing for transmitting the display information 210 stored in the first buffer 3 to the display device 110. At this time, the communication control unit 12 performs the display control process at a frequency lower than the frequency of the drawing process based on the first and second drawing commands performed by the drawing unit 2.

次に第４実施形態の認識処理方法の例について説明する。   Next, an example of the recognition processing method of the fourth embodiment will be described.

図１０は第４実施形態の認識処理方法の例を示すフローチャートである。ステップＳ６１〜ステップＳ６９の説明は、第３実施形態の認識処理方法のステップＳ４１〜ステップＳ４９の説明（図８参照）と同じなので省略する。   FIG. 10 is a flowchart showing an example of the recognition processing method of the fourth embodiment. The description of steps S61 to S69 is the same as the description (see FIG. 8) of steps S41 to S49 of the recognition processing method according to the third embodiment, and thus the description thereof is omitted.

第１の通知部４が、第２の描画完了通知を、通信制御部１２に通知する（ステップＳ７０）。次に、通信制御部１２が、第１の通知部４から第２の描画完了通知を受け付けると、第１のバッファ３に記憶された表示情報２１０を、表示装置１１０に送信する制御を行う（ステップＳ７１）。通信制御部１０は、ステップＳ７１の処理を、１秒間に６０回の頻度で行う。次に、表示装置１１０が、認識装置１００から表示情報２１０を受信すると、当該表示情報２１０を表示する（ステップＳ７２）。   The first notification unit 4 notifies the communication control unit 12 of the second drawing completion notification (step S70). Next, when the communication control unit 12 receives the second drawing completion notification from the first notification unit 4, the communication control unit 12 performs control to transmit the display information 210 stored in the first buffer 3 to the display device 110 ( Step S71). The communication control unit 10 performs the process of step S71 at a frequency of 60 times per second. Next, when the display device 110 receives the display information 210 from the recognition device 100, the display device 210 displays the display information 210 (step S72).

第４実施形態の認識システム２００は、第３実施形態と同様の効果を奏する。すなわち第４実施形態の認識システム２００によれば、描画部２、認識部５及び付加部７を改変せずに、連携させることができる。   The recognition system 200 of the fourth embodiment has the same effect as that of the third embodiment. That is, according to the recognition system 200 of the fourth embodiment, the drawing unit 2, the recognition unit 5 and the addition unit 7 can be made to cooperate without being modified.

また、第４実施形態の認識装置１００では、通信制御部１２が、描画部２により行われる描画処理（第１及び第２の描画命令に基づく描画処理）の頻度よりも、低い頻度で第１のバッファ３に記憶された表示情報２１０を、表示装置１１０に送信する制御を行う。これにより第４実施形態の認識システム２００によれば、第３実施形態の場合と同様に、付加情報が認識対象物に重なることにより、監視対象の認識対象物が見えなくなったり、画面のちらつきが発生したりする問題を防ぐことができる。   Further, in the recognition device 100 of the fourth embodiment, the communication control unit 12 performs the first process at a frequency lower than the frequency of the drawing process (drawing process based on the first and second drawing commands) performed by the drawing unit 2. Control of transmitting the display information 210 stored in the buffer 3 to the display device 110. Thereby, according to the recognition system 200 of the fourth embodiment, as in the case of the third embodiment, when the additional information overlaps the recognition target object, the recognition target object of the monitoring target disappears or flickering of the screen occurs. It can prevent problems that occur.

最後に第１乃至第４実施形態の認識装置１００のハードウェア構成の例について説明する。   Finally, an example of the hardware configuration of the recognition device 100 according to the first to fourth embodiments will be described.

図１１は第１及び第３実施形態の認識装置１００のハードウェア構成の例を示す図である。第１及び第３実施形態の認識装置１００は、制御装置３０１、主記憶装置３０２、補助記憶装置３０３、入力装置３０４及び表示装置３０５を備える。制御装置３０１、主記憶装置３０２、補助記憶装置３０３、入力装置３０４及び表示装置３０５は、バス３１０を介して接続されている。   FIG. 11 is a diagram showing an example of the hardware configuration of the recognition device 100 according to the first and third embodiments. The recognition device 100 according to the first and third embodiments includes a control device 301, a main storage device 302, an auxiliary storage device 303, an input device 304, and a display device 305. The control device 301, the main storage device 302, the auxiliary storage device 303, the input device 304 and the display device 305 are connected via a bus 310.

制御装置３０１は補助記憶装置３０３から主記憶装置３０２に読み出されたプログラムを実行する。主記憶装置３０２はＲＯＭ及びＲＡＭ等のメモリである。補助記憶装置３０３はメモリカード及びＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等である。   The control device 301 executes the program read from the auxiliary storage device 303 to the main storage device 302. The main storage device 302 is a memory such as a ROM and a RAM. The auxiliary storage device 303 is a memory card, an SSD (Solid State Drive), or the like.

入力装置３０４は、情報の入力を受け付ける。入力装置３０４は、例えばキーボード及びマウス等である。表示装置３０５は情報を表示する。表示装置３０５は、例えば液晶ディスプレイである。なお入力装置３０４及び表示装置３０５は、入力機能と表示機能とを兼ねる液晶タッチパネル等でもよい。   The input device 304 receives input of information. The input device 304 is, for example, a keyboard and a mouse. The display device 305 displays the information. The display device 305 is, for example, a liquid crystal display. Note that the input device 304 and the display device 305 may be liquid crystal touch panels or the like that have both an input function and a display function.

図１２は第２及び第４実施形態の認識装置のハードウェア構成の例を示す図である。第２及び第４実施形態の認識装置１００は、制御装置３０１、主記憶装置３０２、補助記憶装置３０３、入力装置３０４及び通信装置３０６を備える。制御装置３０１、主記憶装置３０２、補助記憶装置３０３、入力装置３０４及び通信装置３０６は、バス３１０を介して接続されている。   FIG. 12 is a diagram showing an example of the hardware configuration of the recognition device of the second and fourth embodiments. The recognition device 100 according to the second and fourth embodiments includes a control device 301, a main storage device 302, an auxiliary storage device 303, an input device 304, and a communication device 306. The control device 301, the main storage device 302, the auxiliary storage device 303, the input device 304, and the communication device 306 are connected via a bus 310.

第２及び第４実施形態の制御装置３０１、主記憶装置３０２、補助記憶装置３０３及び入力装置３０４の説明は、第１及び第３実施形態の制御装置３０１、主記憶装置３０２、補助記憶装置３０３及び入力装置３０４の説明（図１１参照）と同じなので省略する。通信装置３０６は、表示装置１１０等の他の装置と通信する。   The control device 301, the main storage device 302, the auxiliary storage device 303, and the input device 304 of the second and fourth embodiments are the same as the control device 301, the main storage device 302, and the auxiliary storage device 303 of the first and third embodiments. Since the description is the same as the description of the input device 304 (see FIG. 11), the description is omitted. The communication device 306 communicates with other devices such as the display device 110.

第１乃至第４実施形態の認識装置１００で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、メモリカード、ＣＤ−Ｒ及びＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記憶媒体に記憶されてコンピュータ・プログラム・プロダクトとして提供される。   The program executed by the recognition device 100 according to the first to fourth embodiments is a file of an installable format or an executable format and a computer such as a CD-ROM, a memory card, a CD-R, and a DVD (Digital Versatile Disk). Stored on a readable storage medium and provided as a computer program product.

また第１乃至第４実施形態の認識装置１００で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また第１乃至第４実施形態の認識装置１００が実行するプログラムを、ダウンロードさせずにインターネット等のネットワーク経由で提供するように構成してもよい。   The program executed by the recognition device 100 according to the first to fourth embodiments may be stored on a computer connected to a network such as the Internet and provided by being downloaded via the network. The program executed by the recognition device 100 according to the first to fourth embodiments may be provided via a network such as the Internet without being downloaded.

また第１乃至第４実施形態の認識装置１００で実行されるプログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。   The program executed by the recognition device 100 according to the first to fourth embodiments may be provided by being incorporated in advance in a ROM or the like.

第１乃至第４実施形態の認識装置１００で実行されるプログラムは、上述の第１乃至第４実施形態の認識装置１００の機能構成のうち、プログラムにより実現可能な機能を含むモジュール構成となっている。   The program executed by the recognition device 100 according to the first to fourth embodiments has a module configuration including functions that can be realized by the program among the functional configurations of the recognition device 100 according to the first to fourth embodiments described above. There is.

プログラムにより実現される機能は、制御装置３０１が補助記憶装置３０３等の記憶媒体からプログラムを読み出して実行することにより、プログラムにより実現される機能が主記憶装置３０２にロードされる。すなわちプログラムにより実現される機能は、主記憶装置３０２上に生成される。   The functions realized by the program are loaded into the main storage device 302 by the control device 301 reading out the program from the storage medium such as the auxiliary storage device 303 and executing the program. That is, the functions implemented by the program are generated on the main storage device 302.

なお第１乃至第４実施形態の認識装置１００の機能の一部又は全部を、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等のハードウェアにより実現してもよい。   Note that part or all of the functions of the recognition device 100 according to the first to fourth embodiments may be realized by hardware such as an IC (Integrated Circuit).

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。   While certain embodiments of the present invention have been described, these embodiments have been presented by way of example only, and are not intended to limit the scope of the invention. These novel embodiments can be implemented in various other forms, and various omissions, substitutions, and modifications can be made without departing from the scope of the invention. These embodiments and modifications thereof are included in the scope and the gist of the invention, and are included in the invention described in the claims and the equivalent scope thereof.

１ 指示部
２ 描画部
３ 第１のバッファ
４ 第１の通知部
５ 認識部
６ 第２の通知部
７ 付加部
８ コピー部
９ 第２のバッファ
１０ 表示制御部
１１ 表示部
１２ 通信制御部
１００ 認識装置
１１０ 表示装置
２００ 認識システム
３０１ 制御装置
３０２ 主記憶装置
３０３ 補助記憶装置
３０４ 入力装置
３０５ 表示装置
３０６ 通信装置 DESCRIPTION OF SYMBOLS 1 instruction unit 2 drawing unit 3 first buffer 4 first notification unit 5 recognition unit 6 second notification unit 7 addition unit 8 copy unit 9 second buffer 10 display control unit 11 display unit 12 communication control unit 100 recognition Device 110 Display device 200 Recognition system 301 Control device 302 Main storage device 303 Auxiliary storage device 304 Input device 305 Display device 306 Communication device

Claims (9)

動画像を構成するフレームの記憶と、前記フレームに含まれる認識対象物に前記認識対象物を明示する付加情報が付加された表示情報の記憶と、を行う第１のバッファと、
前記フレームを前記第１のバッファに描画する第１の描画処理を実行する第１の描画命令を受け付けたときに、前記第１の描画命令をフックし、フックされた前記第１の描画命令を実行する描画部と、
フックされた前記第１の描画命令が実行されたことによって、前記第１の描画処理が完了したことが検出されたときに、第１の描画完了通知を通知する第１の通知部と、
前記第１の描画完了通知を受け付けたときに、前記フレームから認識対象物を認識する認識部と、
前記認識対象物の認識が完了したときに、認識結果を含む認識完了通知を通知する第２の通知部と、
前記認識完了通知を受信したときに、前記付加情報を生成し、前記第１のバッファに記憶されたフレームに、前記付加情報を付加する描画を行うことにより前記表示情報を生成する第２の描画処理を実行する第２の描画命令を、前記描画部に入力する付加部と、を備え、
前記描画部は、前記第２の描画命令を受け付けたときに、前記第２の描画命令をフックし、フックされた前記第２の描画命令を実行する、
認識装置。 A first buffer for storing a frame forming a moving image and storing display information in which additional information for specifying the recognition target is added to the recognition target included in the frame;
The first drawing instruction is hooked when the first drawing instruction for executing the first drawing process of drawing the frame in the first buffer is received, and the hooked first drawing instruction is received. A drawing unit to be executed ,
A first notification unit that notifies a first drawing completion notification when it is detected that the first drawing processing has been completed by execution of the hooked first drawing instruction ;
A recognition unit that recognizes a recognition target from the frame when the first drawing completion notification is received;
A second notification unit that notifies a recognition completion notification including a recognition result when the recognition of the recognition target is completed;
A second drawing for generating the display information by generating the additional information when the recognition completion notification is received, and performing drawing for adding the additional information to the frame stored in the first buffer And an addition unit for inputting a second drawing instruction to execute processing to the drawing unit ,
When the drawing unit receives the second drawing instruction, the drawing unit hooks the second drawing instruction and executes the hooked second drawing instruction.
Recognition device. 前記表示情報を記憶する第２のバッファと、
前記第１のバッファに記憶された前記表示情報を、前記第２のバッファにコピーするコピー部と、を更に備え、
前記第１の通知部は、
フックされた前記第２の描画命令が実行されたことによって、前記第２の描画処理が完了したことが検出されたときに、第２の描画完了通知を通知し、
前記コピー部は、前記第２の描画完了通知を受け付けたときに、前記第１のバッファに記憶された前記表示情報を、前記第２のバッファにコピーする、
請求項１に記載の認識装置。 A second buffer for storing the display information;
A copy unit that copies the display information stored in the first buffer to the second buffer;
The first notification unit is
When the completion of the second drawing process is detected by execution of the hooked second drawing instruction , a second drawing completion notification is notified;
The copy unit copies the display information stored in the first buffer to the second buffer when the second drawing completion notification is received.
The recognition device according to claim 1. 前記第２のバッファに記憶された前記表示情報を、表示部に表示する制御を行う表示制御部を更に備える、
請求項２に記載の認識装置。 And a display control unit that performs control to display the display information stored in the second buffer on a display unit.
The recognition device according to claim 2. 前記第２のバッファに記憶された前記表示情報を、表示装置に送信する制御を行う送信制御部を更に備える、
請求項２に記載の認識装置。 And a transmission control unit that performs control to transmit the display information stored in the second buffer to a display device.
The recognition device according to claim 2. 前記描画部により行われる描画処理の頻度よりも、低い頻度で前記第１のバッファに記憶された前記表示情報を、表示部に表示する制御を行う表示制御部、
を更に備える請求項１に記載の認識装置。 A display control unit that performs control of displaying on the display unit the display information stored in the first buffer at a frequency lower than the frequency of drawing processing performed by the drawing unit;
The recognition device according to claim 1, further comprising: 前記描画部により行われる描画処理の頻度よりも、低い頻度で前記第１のバッファに記憶された前記表示情報を、表示装置に送信する制御を行う送信制御部、
を更に備える請求項１に記載の認識装置。 A transmission control unit that performs control of transmitting the display information stored in the first buffer at a frequency lower than the frequency of drawing processing performed by the drawing unit to a display device;
The recognition device according to claim 1, further comprising: 認識装置と表示装置とを備える認識システムであって、
前記認識装置は、
動画像を構成するフレームの記憶と、前記フレームに含まれる認識対象物に前記認識対象物を明示する付加情報が付加された表示情報の記憶と、を行う第１のバッファと、
前記フレームを前記第１のバッファに描画する第１の描画処理を実行する第１の描画命令を受け付けたときに、前記第１の描画命令をフックし、フックされた前記第１の描画命令を実行する描画部と、
フックされた前記第１の描画命令が実行されたことによって、前記第１の描画処理が完了したことが検出されたときに、第１の描画完了通知を通知する第１の通知部と、
前記第１の描画完了通知を受け付けたときに、前記フレームから認識対象物を認識する認識部と、
前記認識対象物の認識が完了したときに、認識結果を含む認識完了通知を通知する第２の通知部と、
前記認識完了通知を受信したときに、前記付加情報を生成し、前記第１のバッファに記憶されたフレームに、前記付加情報を付加する描画を行うことにより前記表示情報を生成する第２の描画処理を実行する第２の描画命令を、前記描画部に入力する付加部と、
前記描画部により行われる描画処理の頻度よりも、低い頻度で前記第１のバッファに記憶された前記表示情報を、前記表示装置に送信する制御を行う送信制御部と、を備え、
前記描画部は、前記第２の描画命令を受け付けたときに、前記第２の描画命令をフックし、フックされた前記第２の描画命令を実行し、
前記表示装置は、前記認識装置から前記表示情報を受信すると、前記表示情報を表示する、
認識システム。 A recognition system comprising a recognition device and a display device, comprising:
The recognition device
A first buffer for storing a frame forming a moving image and storing display information in which additional information for specifying the recognition target is added to the recognition target included in the frame;
The first drawing instruction is hooked when the first drawing instruction for executing the first drawing process of drawing the frame in the first buffer is received, and the hooked first drawing instruction is received. A drawing unit to be executed ,
A first notification unit that notifies a first drawing completion notification when it is detected that the first drawing processing has been completed by execution of the hooked first drawing instruction ;
A recognition unit that recognizes a recognition target from the frame when the first drawing completion notification is received;
A second notification unit that notifies a recognition completion notification including a recognition result when the recognition of the recognition target is completed;
A second drawing for generating the display information by generating the additional information when the recognition completion notification is received, and performing drawing for adding the additional information to the frame stored in the first buffer An addition unit which inputs a second drawing command to execute processing to the drawing unit ;
A transmission control unit that performs control to transmit the display information stored in the first buffer at a frequency lower than the frequency of drawing processing performed by the drawing unit to the display device;
When the drawing unit receives the second drawing instruction, the drawing unit hooks the second drawing instruction and executes the hooked second drawing instruction.
When the display device receives the display information from the recognition device, the display device displays the display information.
Recognition system. 動画像を構成するフレームの記憶と、前記フレームに含まれる認識対象物に前記認識対象物を明示する付加情報が付加された表示情報の記憶と、を行う第１のバッファを備える認識装置の認識方法であって、
描画部が、前記フレームを前記第１のバッファに描画する第１の描画処理を実行する第１の描画命令を受け付けたときに、前記第１の描画命令をフックし、フックされた前記第１の描画命令を実行するステップと、
第１の通知部が、フックされた前記第１の描画命令が実行されたことによって、前記第１の描画処理が完了したことが検出されたときに、第１の描画完了通知を通知するステップと、
認識部が、前記第１の描画完了通知を受け付けたときに、前記フレームから認識対象物を認識するステップと、
第２の通知部が、前記認識対象物の認識が完了したときに、認識結果を含む認識完了通知を通知するステップと、
付加部が、前記認識完了通知を受信したときに、前記付加情報を生成し、前記第１のバッファに記憶されたフレームに、前記付加情報を付加する描画を行うことにより前記表示情報を生成する第２の描画処理を実行する第２の描画命令を、前記描画部に入力するステップと、
描画部が、前記第２の描画命令を受け付けたときに、前記第２の描画命令をフックし、フックされた前記第２の描画命令を実行するステップと、
を含む認識方法。 The recognition of a recognition device comprising a first buffer for storing a frame forming a moving image and storing display information in which additional information for specifying the recognition object is added to the recognition object included in the frame Method,
When the drawing unit receives a first drawing instruction for executing a first drawing process for drawing the frame in the first buffer, the drawing unit hooks the first drawing instruction, and the hooked first drawing instruction is performed. Executing a drawing command of
Step first notification unit, by said hooked first drawing instruction has been executed, that the first rendering process has been completed to notify when detected, the first drawing completion notification When,
Recognizing a recognition target object from the frame when the recognition unit receives the first drawing completion notification;
A second notification unit notifying a recognition completion notification including a recognition result when the recognition of the recognition object is completed;
When the addition unit receives the recognition completion notification, the addition unit generates the additional information, and generates the display information by performing drawing in which the additional information is added to the frame stored in the first buffer. Inputting a second drawing command for executing a second drawing process to the drawing unit ;
When the drawing unit receives the second drawing instruction, hooks the second drawing instruction and executes the hooked second drawing instruction;
Recognition method including . 動画像を構成するフレームの記憶と、前記フレームに含まれる認識対象物に前記認識対象物を明示する付加情報が付加された表示情報の記憶と、を行う第１のバッファを備えるコンピュータを、
前記フレームを前記第１のバッファに描画する第１の描画処理を実行する第１の描画命令を受け付けたときに、前記第１の描画命令をフックし、フックされた前記第１の描画命令を実行する描画部と、
フックされた前記第１の描画命令が実行されたことによって、前記第１の描画処理が完了したことが検出されたときに、第１の描画完了通知を通知する第１の通知部と、
前記第１の描画完了通知を受け付けたときに、前記フレームから認識対象物を認識する認識部と、
前記認識対象物の認識が完了したときに、認識結果を含む認識完了通知を通知する第２の通知部と、
前記認識完了通知を受信したときに、前記付加情報を生成し、前記第１のバッファに記憶されたフレームに、前記付加情報を付加する描画を行うことにより前記表示情報を生成する第２の描画処理を実行する第２の描画命令を、前記描画部に入力する付加部、として機能させ、
前記描画部は、前記第２の描画命令を受け付けたときに、前記第２の描画命令をフックし、フックされた前記第２の描画命令を実行する、
プログラム。 A computer comprising a first buffer for storing a frame forming a moving image and storing display information in which additional information specifying the recognition target is added to the recognition target contained in the frame;
The first drawing instruction is hooked when the first drawing instruction for executing the first drawing process of drawing the frame in the first buffer is received, and the hooked first drawing instruction is received. A drawing unit to be executed ,
A first notification unit that notifies a first drawing completion notification when it is detected that the first drawing processing has been completed by execution of the hooked first drawing instruction ;
A recognition unit that recognizes a recognition target from the frame when the first drawing completion notification is received;
A second notification unit that notifies a recognition completion notification including a recognition result when the recognition of the recognition target is completed;
A second drawing for generating the display information by generating the additional information when the recognition completion notification is received, and performing drawing for adding the additional information to the frame stored in the first buffer A second drawing instruction to execute processing is caused to function as an addition unit that inputs the drawing unit .
When the drawing unit receives the second drawing instruction, the drawing unit hooks the second drawing instruction and executes the hooked second drawing instruction.
program.
JP2016005369A 2016-01-14 2016-01-14 Recognition device, recognition system, recognition method and program Active JP6538574B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016005369A JP6538574B2 (en) 2016-01-14 2016-01-14 Recognition device, recognition system, recognition method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016005369A JP6538574B2 (en) 2016-01-14 2016-01-14 Recognition device, recognition system, recognition method and program

Publications (2)

Publication Number Publication Date
JP2017126210A JP2017126210A (en) 2017-07-20
JP6538574B2 true JP6538574B2 (en) 2019-07-03

Family

ID=59364529

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016005369A Active JP6538574B2 (en) 2016-01-14 2016-01-14 Recognition device, recognition system, recognition method and program

Country Status (1)

Country Link
JP (1) JP6538574B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107704221A (en) * 2017-08-24 2018-02-16 上海与德科技有限公司 Fillet display methods, mobile terminal and the storage medium of screen

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3893983B2 (en) * 2002-01-17 2007-03-14 ソニー株式会社 Information providing apparatus, information providing method, storage medium, and computer program
JP2007225925A (en) * 2006-02-23 2007-09-06 Sharp Corp Image display device
JP2010152817A (en) * 2008-12-26 2010-07-08 Sony Corp Electronic apparatus, image display method, computer program and imaging device
JP5343676B2 (en) * 2009-04-08 2013-11-13 ソニー株式会社 Image processing apparatus, image processing method, and computer program
JP6132719B2 (en) * 2013-09-18 2017-05-24 株式会社ソニー・インタラクティブエンタテインメント Information processing device

Also Published As

Publication number Publication date
JP2017126210A (en) 2017-07-20

Similar Documents

Publication Publication Date Title
WO2020155785A1 (en) Screen adaptive display method, electronic device and computer storage medium
CN107077274B (en) Method and apparatus for moving context tags in a strip
EP3832459A1 (en) Graphic drawing method and apparatus, device, and storage medium
JP2015005162A (en) Information display device, display control program, and display control method
US20170269815A1 (en) Object management and visualization using a computing device
US20150370524A1 (en) Content providing device, content providing method, and computer program product
CN103034686A (en) Method and device for loading picture toolbar window
JP6538574B2 (en) Recognition device, recognition system, recognition method and program
US10534505B2 (en) Technique for preventing unnecessary overlap of user interfaces
JP6339550B2 (en) Terminal program, terminal device, and terminal control method
US9953015B2 (en) Displaying a document file target area based on history of display settings
CN102981876A (en) Method and device for loading picture toolbar window
US20160170945A1 (en) Information processing device, information processing method, and computer program product
JP6161546B2 (en) A method, apparatus, and program for generating and displaying a specific area.
US9128613B2 (en) Positioning clickable hotspots on a touchscreen display
US10891021B2 (en) Dynamic variation for selection option information presentation
US20140331180A1 (en) Graphical user interface that presents selectable items in a user-traversable passageway
US10109091B2 (en) Image display apparatus, image display method, and storage medium
CN112115941B (en) Fire detection method, device, equipment and storage medium
US11645445B2 (en) Systems and methods for dynamic document viewing
JP2006178662A (en) Information processing method and information processor
US20130057564A1 (en) Image processing apparatus, image processing method, and image processing program
JP6597482B2 (en) Display device and display control program
JP6161569B2 (en) How to create a mirroring screen
JP6054508B2 (en) Display processing apparatus, display processing method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180223

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181002

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181003

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181130

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190507

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190606

R151 Written notification of patent or utility model registration

Ref document number: 6538574

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151