WO2017203981A1 - Ｇｕｉ装置 - Google Patents

Ｇｕｉ装置 Download PDF

Info

Publication number
WO2017203981A1
WO2017203981A1 PCT/JP2017/017702 JP2017017702W WO2017203981A1 WO 2017203981 A1 WO2017203981 A1 WO 2017203981A1 JP 2017017702 W JP2017017702 W JP 2017017702W WO 2017203981 A1 WO2017203981 A1 WO 2017203981A1
Authority
WO
WIPO (PCT)
Prior art keywords
wide area
area image
cursor
tracking
user
Prior art date
Application number
PCT/JP2017/017702
Other languages
English (en)
French (fr)
Inventor
友啓 田畑
優 高井
Original Assignee
株式会社エクスビジョン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社エクスビジョン filed Critical 株式会社エクスビジョン
Publication of WO2017203981A1 publication Critical patent/WO2017203981A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/56—Accessories
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof

Definitions

  • the present invention relates to a GUI (Graphical User Interface) device, and more particularly to a GUI device suitable for a user to specify a target to be tracked by a so-called tracking camera.
  • GUI Graphic User Interface
  • Non-Patent Document 1 In order to continuously shoot the target, it is necessary to keep the camera's line of sight toward the target. In many cases, this is done manually by the photographer, but it is difficult to perfectly follow a fast and irregular movement such as a jumping ball. For this reason, research is being conducted on a system (so-called active vision: see Non-Patent Document 1 below) that automatically controls the camera's line-of-sight direction with a machine.
  • a saccade mirror that changes the line of sight of a camera at high speed using a small driving mirror surface arranged in front of the camera
  • Non-patent Document 2 and Patent Document below a small driving mirror surface arranged in front of the camera
  • the line of sight can be changed at high speed by using a biaxial galvanometer mirror. If the line of sight can be controlled so that the object is always captured at the center of the screen in the control system, it is considered that unprecedented dynamic imaging is possible.
  • a camera that performs high-speed line-of-sight control is sometimes called a tracking camera, and an image (that is, an image of an object) acquired by the tracking camera is sometimes called a tracking image.
  • Non-Patent Document 2 also shows a method of keeping the tracking camera's line of sight toward an object using information (for example, color information) of an image taken by the tracking camera.
  • the present invention has been made in view of the above situation.
  • One of the main objects of the present invention is to provide a technique capable of improving the efficiency of the work of directing the line of sight of a tracking camera to an object.
  • a GUI device for designating an object to be tracked by a tracking camera A wide-area image display unit, a cursor generation unit, a position operation reception unit, and a target identification unit;
  • the wide area image display unit is configured to present a wide area image including the target to the user,
  • the cursor generation unit is configured to display a cursor in a wide area image presented to the user,
  • the position operation reception unit is configured to receive an instruction from the user for operating the position of the cursor in the wide area image,
  • the target specifying unit is configured to specify the target based on information on the position of the cursor.
  • the specific operation receiving unit is configured to receive an instruction from the user for specifying the object
  • the target specifying unit is configured to specify the target based on information on the position of the cursor at the time when the designation operation receiving unit receives an instruction from the user, or after that.
  • the GUI device according to 1 or 2.
  • the wide area image receiving unit is configured to receive the wide area image acquired by a wide area camera and send it to the wide area image display unit,
  • the GUI device according to any one of items 1 to 3, wherein the wide area camera is configured to acquire the wide area image by capturing an entire area to be captured by the tracking camera.
  • (Item 5) has a tracking image display, The GUI device according to any one of items 1 to 4, wherein the tracking image display unit is configured to display an image of the object photographed by the tracking camera.
  • a method for a user to specify an object to be tracked by a tracking camera by means of a device Presenting a user with a wide area image including the object; Displaying a cursor in the wide area image presented to the user; Receiving instructions from the user to manipulate the position of the cursor in the wide area image; Identifying the target based on information on the position of the cursor.
  • This computer program is stored in an appropriate recording medium (for example, an optical recording medium such as a CD-ROM or a DVD disk, a magnetic recording medium such as a hard disk or a flexible disk, or a magneto-optical recording medium such as an MO disk). Can be stored.
  • This computer program can be transmitted via a communication line such as the Internet.
  • This GUI device 10 is used to designate a target 3 to be tracked by the tracking camera 2 (see FIG. 1).
  • the GUI device 10 includes a wide area image display unit 11, a cursor generation unit 12, a position operation reception unit 13, and a target identification unit 14 (see FIG. 1). Further, the GUI device 10 of this example includes a designation operation receiving unit 15, a wide area image receiving unit 16, and a tracking image display unit 17 as additional elements.
  • the wide area image display unit 11 is configured to present a wide area image 110 (see FIG. 2) including the target 3 to the user 1 (see FIG. 1).
  • the entire image presented to the user 1 including the wide area image 110 (hereinafter referred to as “presented image”) is denoted by reference numeral 100 in FIG.
  • the wide area image display unit 11 may be a functional element that can display the wide area image 110 for the user, and may be configured as a part of a display (not shown), for example.
  • the wide area image 110 in this embodiment is a moving image in real time about the environment where the target 3 tracked by the tracking camera 2 exists.
  • the environment may include a table tennis table, a racket, a player, a floor surface, a wall surface, and the like.
  • the environment is not limited to these and may be any surrounding environment including the target.
  • the cursor generation unit 12 is configured to display a cursor 120 (see FIG. 2) in the wide area image 110 presented to the user 1.
  • the cursor 120 is a rectangular frame, but there are no particular restrictions on the shape and size of the cursor. In short, it may be set so that the target can be specified.
  • the position operation receiving unit 13 is configured to receive an instruction from the user 1 for operating the position of the cursor 120 in the wide area image 110.
  • the position operation accepting unit 13 is an input / output device such as a mouse, for example, but there is no particular limitation as long as the cursor 120 can be adjusted to a necessary position on the image.
  • the target specifying unit 14 is configured to specify the target 3 based on the position information of the cursor 120. More specifically, the target specifying unit 14 of the present embodiment selects the target 3 based on information on the position of the cursor at the time when the designation operation receiving unit 15 receives an instruction from the user, or at a later time. It has a specific configuration. Detailed operation of the target specifying unit 14 will be described later.
  • the designation operation receiving unit 15 is configured to receive an instruction from the user 1 for specifying the target 3.
  • the instruction from the user 1 for specifying the target 3 is, for example, the left click of the mouse in the wide-area image or the depression of the tracking button 220 (described later) in the presented image 100.
  • an appropriate instruction input method can be set according to the application.
  • the wide area image receiving unit 16 is configured to receive the wide area image 110 acquired by the wide area camera 4 (see FIG. 1) and send it to the wide area image display unit 11.
  • the wide area camera 4 is configured to acquire the wide area image 110 by photographing the entire area to be photographed by the tracking camera 2 (that is, the environment where the target 3 exists).
  • the tracking image display unit 17 is configured to display an image of the target 3 taken by the tracking camera 2. Similarly to the wide area image display unit 11, the tracking image display unit 17 can be configured as a part of a display (not shown), for example.
  • the tracking camera 2 includes a camera body that can acquire an image at a high frame rate, a biaxial galvanometer mirror (so-called saccade mirror) that can change the camera's viewing direction at high speed, and a pupil transfer optical system.
  • the biaxial galvanometer mirror includes a tilt mirror that rotates in the tilt direction and a pan mirror that rotates in the pan direction.
  • the pupil transfer optical system can transfer the pupil position of the camera body between the tilt mirror and the pan mirror.
  • a tracking camera 2 for example, the one shown in Non-Patent Document 2 can be used, and detailed description thereof is omitted.
  • Step SA-1 in FIG. 3 First, the wide area image 110 acquired by the wide area camera 4 and the line-of-sight direction of the tracking camera 2 are calibrated. That is, a state in which the coordinates on the image in the wide area image 110 and the line-of-sight direction of the tracking camera can be mutually converted is set. Thereby, in the present embodiment, for example, when a certain pixel in the wide area image 110 is designated on the image, the tracking camera 2 can be directed in the corresponding line-of-sight direction. Conversely, in the present embodiment, the cursor 120 can also be displayed at a pixel position corresponding to the direction of the tracking camera 2.
  • Step SA-2 in FIG. 3 the wide area camera 4 acquires the wide area image 110.
  • the wide area image 110 is usually a moving image for the environment including the target 3.
  • the acquired wide area image 110 is sent to the wide area image display unit 11.
  • Step SA-3 in FIG. 3 the wide area image display unit 11 displays the wide area image 110 on a user terminal (not shown) such as a display for the user (see FIG. 2).
  • Step SA-4 in FIG. 3 the user 1 designates a tracking target while viewing the wide area image 110. This tracking target designation operation will be described with further reference to FIG.
  • Step SB-1 in FIG. 4 First, the cursor generator 12 displays the cursor 120 in the wide area image 110 (see FIG. 2). In the initial state, the position of the cursor 120 in the wide area image 110 is arbitrary. For example, the cursor 120 can be displayed at the center of the wide area image 110.
  • Step SB-2 in FIG. 4 the user adjusts the position of the cursor 120 by the position operation receiving unit 13. For example, it is assumed that the object 3 enters the cursor 120 (see FIG. 2).
  • the user inputs an instruction for specifying the target 3 through the designation operation receiving unit 15.
  • This input is sometimes referred to herein as “cursor activation”.
  • a method of left-clicking the wide area image 110 or pressing down the tracking button 220 can be used as an instruction for specifying the target 3.
  • Steps SB-3 and SB-4 in FIG. 4 Next, when an instruction for specifying the target 3 is input (that is, when the cursor becomes active), the target specifying unit 14 determines whether or not a tracking target exists in the cursor at that time. This determination can be performed using color information, for example.
  • the center of the color area is set as the center of the target object (tracking position).
  • an algorithm for specifying a tracking target and a tracking position and a threshold condition for specification can be appropriately set according to the application. For example, when the table tennis ball is the target 3, the target 3 can be specified by placing the cursor 120 on the ball held by the player before serving.
  • the determination on the moving image is repeated at that position until the threshold condition is satisfied.
  • tracking can be started when the object 3 passes the cursor 120 in the wide area image.
  • This method is particularly effective when the target 3 has already started to move or when the target 3 is not visible at the present time and the trajectory of the target 3 can be predicted.
  • the cursor 120 is placed in a state of waiting for the ball by placing the cursor 120 near the net (see FIG. 2). Can do.
  • tracking can be disclosed from the start of play (the time when the ball is supplied forward). In this way, the actual tracking can be started by specifying the position of the object 3 after the activation.
  • Step SA-5 in FIG. 3 When the target is specified by the above procedure, a tracking command including the tracking position is sent from the target specifying unit 14 to the tracking camera 2, and tracking to the target is started.
  • image-based tracking can be performed using an image (tracking image) obtained by the tracking camera 2. That is, using the tracking image information (for example, the positional deviation information of the target with respect to the image obtained immediately before), the direction of the tracking camera 2 is controlled to track the target 3, and the image of the target 3 is continuously acquired. Can do.
  • the method described in Non-Patent Document 2 described above can be used, and detailed description thereof will be omitted.
  • Step SA-6 in FIG. 3 the cursor generation unit 12 changes the position of the cursor 120 according to the position of the target 3 so that the cursor 120 is always displayed at a position surrounding the target 3.
  • the cursor 120 can be displayed at a position surrounding the target 3 in the wide area image 110 using the correspondence relationship between the direction of the tracking camera 2 and the wide area image 110. Thereby, the user can easily recognize the position to be tracked and that the tracking is continued from the wide area image 110.
  • the color of the cursor is changed between when tracking is continued and when tracking is interrupted. Thereby, the user can recognize the tracking state more clearly. Further, in this embodiment, when the object is lost after the cursor is activated (the object no longer exists in the cursor), the movement of the cursor can be stopped and the color of the cursor can be changed.
  • Step SA-7 in FIG. 3 Furthermore, the tracking camera 2 of the present embodiment can send the tracking image to the tracking image display unit 17 and display the tracking image 130 in the presented image 100. Since this tracking image is an image from the tracking camera 2 that continues to capture the target, even if the target 3 continues to move, the target 3 is almost stopped on the tracking image.
  • Step SA-8 in FIG. 3 The user can specify the target again by clicking the wide area image 110 again. If it is designated again, the process returns to step SA-5 to repeat the above operation.
  • stopping the tracking for example, it can be stopped by an appropriate instruction means such as dragging the cursor 120 or pushing down the tracking button 220.
  • Binarized image 140 Real-time binarized image obtained by image processing on the tracking image.
  • Binarization threshold value input slider 150 A slider for adjusting a threshold value in a parameter for binarized image processing. This slider can be used to set a threshold value for specifying the target 3.
  • Frame rate 160 Frame rate of the tracking image input from the tracking camera 2 to the system side (GUI device side)
  • Image processing time 170 Image processing for one frame of the tracking image (image processing for calculating the tracking direction)
  • 190 biaxial galvanometer mirror (so-called saccade mirror) for controlling the viewing direction of the tracking camera Mirror angle in the tilt direction (indicates the object position in the tilt direction)
  • Pan direction mirror angle 200 Mirror angle in the pan direction in the biaxial galvanometer mirror for controlling the line-of-sight direction of the tracking camera (indicating the position of the object in the pan direction)
  • Screen lock button 210 Button for switching lock / unlock of screen operation
  • Tracking button 220 Button for instructing start and stop of tracking of target by tracking camera 2
  • Mirror control button 230 Control of saccade mirror Button for instructing start / stop of the target color information reset button 240: A button for resetting color information of
  • Recording button 250 Button for instructing start / stop of recording of tracking image (moving image).
  • Wide area view switching button 260 Real-time image acquired by the wide area camera 4 as an image displayed as the wide area image 110.
  • a background acquisition button 270 for switching between the background image acquired in advance and the background image acquired before the tracking is started, or an image of the environment where the object should exist (background image) is acquired or acquired by the wide-area camera Button to reset the selected image. This button is used when a background image is used to extract the target 3.
  • Server button 280 A button for displaying a communication state to the server to which a part of the functions of the GUI device 10 should be distributed or for instructing or shutting down the server.
  • Setup button 290 Operation of the GUI device 10 Button to transition to the setup screen (not shown) for setting
  • each part of the presentation image 100 can be displayed on a different display, or the presentation image 100 can be displayed in combination with other images.
  • the user 1 can efficiently perform the work of directing the line of sight of the tracking camera 2 toward the target 3 by operating the cursor 120.
  • the GUI device of this embodiment has an advantage that it can be easily known from the position of the cursor 120 in the wide area image 110 where the tracking camera 2 is looking in the environment.
  • the cursor 120 described above can have a distorted shape corresponding to the distortion of the wide area image 110. That is, the wide area image 110 has a certain amount of distortion corresponding to the angle of view of the wide area camera 4. Corresponding to this distortion, by making the cursor shape distorted, the specific work of the object 3 can be further facilitated.
  • the target 3 is specified based on the color information.
  • the target 3 is not limited to the color but can be specified using, for example, a shape or other feature amount.
  • one functional element in the present invention may be realized by a set of a plurality of functional elements, and a plurality of functional elements in the present invention may be realized by one functional element.
  • the functional elements may be arranged at physically separated positions.
  • the functional elements may be connected by a network. It is also possible to realize functions or configure functional elements by grid computing or cloud computing.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Accessories Of Cameras (AREA)
  • Studio Devices (AREA)

Abstract

本発明は、対象物にトラッキングカメラの視線を向ける作業の効率化を図ることができる技術を提供するものである。広域画像表示部１１は、対象３を含む広域画像１１０をユーザに呈示する。カーソル生成部１２は、ユーザ１に呈示される広域画像１１０の中にカーソルを表示させる。位置操作受付部１３は、広域画像１１０の中のカーソルについての位置を操作するための、ユーザ１からの指示を受け取る。対象特定部１４は、カーソルの位置の情報に基づいて、対象３を特定する。

Description

ＧＵＩ装置
　本発明は、ＧＵＩ（Graphical User Interface）装置に関するものであり、特に、いわゆるトラッキングカメラにより追跡されるべき対象をユーザが指定するために好適なＧＵＩ装置に関するものである。
　対象を継続的に撮影するためには、カメラの視線を対象に向け続ける必要がある。多くの場合この作業は撮影者が手動で行うが、ボールの跳躍のような高速かつ不規則な運動に完璧に追従するのは難しい。このため、カメラの視線方向を機械で自動制御するシステム（いわゆるアクティブビジョン：下記非特許文献１参照）の研究が行われている。
　通常のアクティブビジョンの技術では、カメラ自体を駆動雲台に取り付けて動かしているため、視線方向の移動についての応答速度が遅い。これでは、急激な加速度変化を含む運動対象（例えば球技で用いられているボール）をトラッキングすることは難しい。高速カメラのフレームレートが、速いものでは１００万ｆｐｓに達する事や、ＧＰＵによって画像処理が高速化されている現状を考えると、視線制御速度は、様々なトラッキングシステムにおいて速度面でのボトルネックとなっていると言える。
　この問題を解決するために、カメラ前方に配置した小型駆動鏡面によって高速にカメラの視線変更を行うサッカードミラー(Saccade Mirror)と呼ばれる光学系が提案されている（下記非特許文献２及び特許文献１参照）。この技術では、２軸のガルバノミラーを用いることによって、高速な視線変更ができるようになっている。制御系において、常に画面中心で対象物をとらえるように視線の制御ができれば、他に類を見ないダイナミックな撮像が可能になると考えられる。高速視線制御が行われるカメラをトラッキングカメラと呼び、トラッキングカメラで取得された画像（つまり対象物の画像）を、トラッキング画像と呼ぶことがある。
　また、下記非特許文献２は、トラッキングカメラで撮影された画像の情報（例えば色情報）を用いて、対象物にトラッキングカメラの視線を向け続ける手法も示している。
　ところで、前記した技術では、トラッキングの初期段階において、対象物にトラッキングカメラの視線を向けて、対象物を特定する必要がある。そのために、従来は、停止した対象物を用いて、この対象物にトラッキングカメラの視線を向け、その後に、トラッキングを開始する手順を行っていた。
　しかしながら、この手順の場合、トラッキングカメラの視線方向を対象物に向ける作業が煩雑であるという問題がある。また、この手順では、すでに移動を開始している対象物に対して、トラッキングカメラの視線を向ける作業が難しくなるという問題もある。例えば、球技開始後（例えば卓球のラリーが始まった後）に、動いている球にトラッキングカメラの視線を向けることは、前記の手順を前提にすると難しい。
特開２０１５－１４７３１号公報
J. Aloimonos, I. Weiss and A. Bandyopadhyay: "Active Vision", Int’l Journal of Computer Vision, vol. 1, no. 4, pp. 333 - 356 (1988). K. Okumura, H. Oku and M. Ishikawa: "High-Speed Gaze Controller for Millisecond-order Pan/tilt Camera", Proc. of IEEE Int’l Conf. on Robotics and Automation, pp. 6186 - 6191 (2011).
　本発明は、前記した状況に鑑みてなされたものである。本発明の主な目的の一つは、対象物にトラッキングカメラの視線を向ける作業の効率化を図ることができる技術を提供することである。
　前記した課題を解決する手段は、以下の項目のように記載できる。
　（項目１）
　トラッキングカメラにより追跡されるべき対象を指定するためのＧＵＩ装置であって、
　広域画像表示部と、カーソル生成部と、位置操作受付部と、対象特定部とを備えており、
　前記広域画像表示部は、前記対象を含む広域画像をユーザに呈示する構成となっており、
　前記カーソル生成部は、前記ユーザに呈示される広域画像の中にカーソルを表示させる構成となっており、
　前記位置操作受付部は、前記広域画像の中の前記カーソルについての位置を操作するための前記ユーザからの指示を受け取る構成となっており、
　前記対象特定部は、前記カーソルの位置の情報に基づいて、前記対象を特定する構成となっている
　ＧＵＩ装置。
　（項目２）
　前記広域画像は、前記トラッキングカメラで追跡されている対象が存在する環境についてのリアルタイムでの動画である
　項目１に記載のＧＵＩ装置。
　（項目３）
　さらに、指定操作受付部を備えており、
　前記特定操作受付部は、前記対象物を特定するための前記ユーザからの指示を受け取る構成となっており、
　前記対象特定部は、前記指定操作受付部が前記ユーザからの指示を受け取った時点、又はそれ以降の時点での前記カーソルの位置の情報に基づいて、前記対象を特定する構成となっている
　項目１又は２に記載のＧＵＩ装置。
　（項目４）
　さらに、広域画像受付部を備えており、
　前記広域画像受付部は、広域カメラで取得された前記広域画像を受け取って、前記広域画像表示部に送る構成となっており、
　前記広域カメラは、前記トラッキングカメラで撮影されるべき領域全体を撮影することにより、前記広域画像を取得する構成となっている
　項目１～３のいずれか１項に記載のＧＵＩ装置。
　（項目５）
　さらに、トラッキング画像表示部を備えており、
　前記トラッキング画像表示部は、前記トラッキングカメラで撮影された前記対象物の画像を表示する構成となっている
　項目１～４のいずれか１項に記載のＧＵＩ装置。
　（項目６）
　トラッキングカメラにより追跡されるべき対象を、装置によりユーザが指定するための方法であって、
　前記対象を含む広域画像をユーザに呈示するステップと、
　前記ユーザに呈示される広域画像の中にカーソルを表示するステップと、
　前記広域画像の中の前記カーソルについての位置を操作するための前記ユーザからの指示を受け取るステップと、
　前記カーソルの位置の情報に基づいて、前記対象を特定するステップと
　を備える方法。
　（項目７）
　項目６に記載の各ステップをコンピュータに実行させるためのコンピュータプログラム。
　このコンピュータプログラムは、適宜な記録媒体（例えばＣＤ－ＲＯＭやＤＶＤディスクのような光学的な記録媒体、ハードディスクやフレキシブルディスクのような磁気的記録媒体、あるいはＭＯディスクのような光磁気記録媒体）に格納することができる。このコンピュータプログラムは、インターネットなどの通信回線を介して伝送されることができる。
　本発明によれば、対象物にトラッキングカメラの視線を向ける作業を効率的に行うことが可能となる。
本発明の一実施形態に係るＧＵＩ装置の概略的な構成を説明するためのブロック図である。 図１のＧＵＩ装置においてユーザに呈示される呈示画像の一例を示す説明図である。 図１のＧＵＩ装置を用いてユーザがトラッキング対象を特定する手順を説明するためのフローチャートである。 図３の手順の一部をさらに詳しく説明するためのフローチャートである。
　以下、本発明の一実施形態に係るＧＵＩ装置１０を、添付の図面を参照しながら説明する。このＧＵＩ装置１０は、トラッキングカメラ２により追跡されるべき対象３を指定するために用いられるものである（図１参照）。
　（本実施形態の構成）
　本実施形態のＧＵＩ装置１０は、広域画像表示部１１と、カーソル生成部１２と、位置操作受付部１３と、対象特定部１４とを備えている（図１参照）。さらに、本例のＧＵＩ装置１０は、指定操作受付部１５と、広域画像受付部１６と、トラッキング画像表示部１７とを追加的な要素として備えている。
　（広域画像表示部）
　広域画像表示部１１は、対象３を含む広域画像１１０（図２参照）をユーザ１（図１参照）に呈示する構成となっている。ここで、広域画像１１０を含む、ユーザ１に呈示される画像全体（以下「呈示画像」という）を、図２において符号１００で示している。広域画像表示部１１としては、広域画像１１０をユーザのための表示できる機能要素であればよく、例えばディスプレイ（図示せず）の一部として構成することができる。
　ここで、本実施形態における広域画像１１０は、トラッキングカメラ２で追跡されている対象３が存在する環境についてのリアルタイムでの動画である。例えば、対象３が、卓球で用いられる球であるとすれば、環境としては、卓球台、ラケット、競技者、床面、壁面などを含むことができる。ただし、環境としては、これらに限るものではなく、要するに対象を含む周辺環境であればよい。
　（カーソル生成部）
　カーソル生成部１２は、ユーザ１に呈示される広域画像１１０の中に、カーソル１２０（図２参照）を表示させる構成となっている。カーソル１２０は、この実施形態では、四角形状の枠とされているが、カーソルの形状や大きさに特段の制約はない。要するに、対象を特定できるように設定されていればよい。
　（位置操作受付部）
　位置操作受付部１３は、広域画像１１０の中のカーソル１２０についての位置を操作するための、ユーザ１からの指示を受け取る構成となっている。ここで、位置操作受付部１３は、例えばマウスなどの入出力装置であるが、カーソル１２０を画像上で必要な位置に調整できるのであれば特段の制約はない。
　（対象特定部）
　対象特定部１４は、カーソル１２０の位置の情報に基づいて、対象３を特定する構成となっている。より具体的には、本実施形態の対象特定部１４は、指定操作受付部１５がユーザからの指示を受け取った時点、又はそれ以降の時点でのカーソルの位置の情報に基づいて、対象３を特定する構成となっている。対象特定部１４の詳しい動作は後述する。
　（指定操作受付部）
　指定操作受付部１５は、対象３を特定するためのユーザ１からの指示を受け取る構成となっている。ここで、対象３を特定するためのユーザ１からの指示とは、例えば、広域画像中でのマウスの左クリック、あるいは、呈示画像１００におけるトラッキングボタン２２０（後述）の押し下げであるが、これらに制約されるものではなく、用途に応じて適宜の指示入力方法を設定できる。
　（広域画像受付部）
　広域画像受付部１６は、広域カメラ４（図１参照）で取得された広域画像１１０を受け取って、広域画像表示部１１に送る構成となっている。
　広域カメラ４は、トラッキングカメラ２で撮影されるべき領域全体（すなわち、対象３が存在する環境）を撮影することにより、広域画像１１０を取得する構成となっている。
　（トラッキング画像表示部）
　トラッキング画像表示部１７は、トラッキングカメラ２で撮影された対象３の画像を表示する構成となっている。トラッキング画像表示部１７も、広域画像表示部１１と同様に、例えばディスプレイ（図示せず）の一部として構成することができる。
　ここで、トラッキングカメラ２は、高フレームレートで映像を取得できるカメラ本体と、高速でカメラの視線方向を変更できる二軸ガルバノミラー（いわゆるサッカードミラー）と、瞳転送光学系とを備えている（図示省略）。二軸ガルバノミラーは、チルト方向に回動するチルトミラーと、パン方向に回動するパンミラーとを備えている。瞳転送光学系は、カメラ本体の瞳位置をチルトミラーとパンミラーとの間に転送できるようになっている。このようなトラッキングカメラ２としては、例えば、前記非特許文献２に示されるものを用いることができるので、詳しい説明は省略する。
　（本実施形態の動作）
　次に、本実施形態に係るＧＵＩ装置の動作を、図３をさらに参照しながら説明する。
　（図３のステップＳＡ－１）
　まず、広域カメラ４で取得される広域画像１１０と、トラッキングカメラ２の視線方向とのキャリブレーションを行う。つまり、広域画像１１０における画像上の座標と、トラッキングカメラの視線方向との相互変換が可能な状態とする。これにより、本実施形態では、例えば、広域画像１１０におけるある画素を画像上で指定すると、それに対応する視線方向にトラッキングカメラ２を向けることができる。また逆に、本実施形態では、トラッキングカメラ２の方向に対応する画素位置にカーソル１２０を表示することもできる。
　（図３のステップＳＡ－２）
　ついで、広域カメラ４は、広域画像１１０を取得する。広域画像１１０は、通常、対象３を含む環境についての動画像である。取得された広域画像１１０は、広域画像表示部１１に送られる。
　（図３のステップＳＡ－３）
　ついで、広域画像表示部１１は、広域画像１１０を、ユーザ用のディスプレイなどのユーザ端末（図示せず）に表示する（図２参照）。
　（図３のステップＳＡ－４）
　ついで、ユーザ１は、広域画像１１０を見ながら、トラッキング対象を指定する。このトラッキング対象の指定動作を、図４をさらに参照しながら説明する。
　（図４のステップＳＢ－１）
　まず、カーソル生成部１２により、広域画像１１０の中にカーソル１２０を表示する（図２参照）。初期状態では、広域画像１１０中のカーソル１２０の位置は任意であり、例えば広域画像１１０の中央にカーソル１２０を表示することができる。
　（図４のステップＳＢ－２）
　ついで、ユーザは、位置操作受付部１３により、カーソル１２０の位置を調整する。例えば、カーソル１２０の中に対象３が入る状態とする（図２参照）。
　次いで、ユーザは、指定操作受付部１５により、対象３を特定するための指示を入力する。この入力を、この明細書では「カーソルのアクティブ化」と称することがある。対象３を特定するための指示としては、本実施形態では、例えば、広域画像１１０を左クリックする、あるいは、トラッキングボタン２２０を押し下げる手法を用いることができる。
　（図４のステップＳＢ－３及びＳＢ－４）
　ついで、対象特定部１４は、対象３を特定するための指示が入力されると（つまりカーソルがアクティブになると）、その時点で、カーソル内に、トラッキング対象が存在するかどうか判定する。この判定は、例えば、色情報を用いて行うことができる。
　より具体的には、例えば、対象物の色を黄色に設定していたとすると、カーソル内に黄色の領域が規定面積以上存在したとき、その色領域の重心を対象物の中心（トラッキング位置）として特定することができる。ただし、トラッキング対象やトラッキング位置を特定するアルゴリズムや、特定のための閾値条件は、用途に応じて適宜に設定することができる。例えば、卓球の球が対象３であった場合、サーブ前にプレーヤーが保持する球にカーソル１２０を置いて、対象３を特定することができる。
　ここで、本実施形態のＧＵＩ装置１０では、もし、カーソル内に、閾値条件を満たす対象が存在しないときは、その位置において、閾値条件を満たすまで、動画像（広域画像）に対する判定を繰り返す。このようにすると、広域画像内において対象３がカーソル１２０を通過した時から、トラッキングを開始することができる。この手法は、すでに対象３が動き始めている場合や、対象３が現時点では見えていない場合であって、かつ、対象３の軌跡が予想できる場合において特に有効である。例えば、卓球やテニスのように、球がネットを通過することが確実な場合には、ネットの近く（図２参照）にカーソル１２０を配置することにより、カーソル１２０が球を待ち受ける状態とすることができる。同様に、プレーヤーの手前にカーソル１２０を配置すれば、プレー開始時点（球が前方に供給された時点）からトラッキングを開示することができる。このようにすると、アクティブ化の後に対象３の位置を特定して実際のトラッキングを開始することができる。
　（図３のステップＳＡ－５）
　前記の手順により対象が特定されると、トラッキング位置を含むトラッキング指令が対象特定部１４からトラッキングカメラ２に送られて、対象へのトラッキングが開始される。トラッキングにおいては、トラッキングカメラ２で得た画像（トラッキング画像）を用いて、画像ベースでのトラッキングを行うことができる。すなわち、トラッキング画像の情報（例えば直前に得た画像に対する対象の位置ずれ情報）を用いて、トラッキングカメラ２の方向を、対象３を追跡するように制御し、対象３の画像を取得し続けることができる。このようなトラッキングの手法としては、例えば前記した非特許文献２に記載した手法を用いることができるので、これについての詳しい説明は省略する。
　（図３のステップＳＡ－６）
　一方、カーソル生成部１２は、対象３の位置に応じて、カーソル１２０の位置を変更し、常に、対象３を囲む位置にカーソル１２０が表示されるようにする。本実施形態では、トラッキングカメラ２の方向と広域画像１１０との対応関係を用いて、広域画像１１０において、対象３を囲む位置にカーソル１２０を表示することができる。これにより、ユーザは、トラッキング対象の位置、及び、トラッキングが継続していることを、広域画像１１０により簡単に認識することができる。
　なお、本実施形態では、トラッキングが継続しているときと、トラッキングが中断しているときとの間で、カーソルの色を変化させている。これにより、ユーザは、トラッキング状態を一層明瞭に認識することができる。また、本実施形態では、カーソルがアクティブ化した後に対象を見失った（カーソル内に対象が存在しなくなった）場合、カーソルの移動を停止させて、カーソルの色を変更することもできる。
　（図３のステップＳＡ－７）
　さらに、本実施形態のトラッキングカメラ２は、トラッキング画像を、トラッキング画像表示部１７に送り、呈示画像１００の中に、トラッキング画像１３０を表示することができる。このトラッキング画像は、対象をとらえ続けているトラッキングカメラ２からの画像なので、対象３が動き続けている場合であっても、トラッキング画像上では、対象３は、ほぼ停止した状態となる。
　（図３のステップＳＡ－８）
　また、ユーザは、広域画像１１０を再びクリックすることにより、対象を再度指定することができる。再度の指定があったときは、ステップＳＡ－５に戻り、前記の動作を繰り返す。トラッキングを停止するときは、例えば、カーソル１２０のドラッグ、トラッキングボタン２２０の押し下げなど、適宜の指示手段により停止が可能である。
　（呈示画像における他の箇所の説明）
　以下、本実施形態のＧＵＩ装置においてユーザに呈示される呈示画像の他の部分について、図２を参照しながら、補足して説明する。
・二値化画像１４０：トラッキング画像に対する画像処理により得られたリアルタイムの二値化画像
・二値化閾値入力スライダ１５０：二値化画像処理のためのパラメータにおける閾値を調整するスライダ。このスライダは、対象３を特定するための閾値の設定に使用することができる。
・フレームレート１６０：トラッキングカメラ２からシステム側（ＧＵＩ装置側）に入力されるトラッキング画像のフレームレート
・画像処理時間１７０：トラッキング画像の１フレームについての画像処理（トラッキング方向算出のための画像処理）に要した時間
・フレーム落ちカウンタ１８０：トラッキング画像の処理において、１秒間に欠損したフレーム数
・チルト方向ミラー角度１９０：トラッキングカメラの視線方向を制御するための二軸ガルバノミラー（いわゆるサッカードミラー）におけるチルト方向でのミラー角度（チルト方向での対象物位置を示す）
・パン方向ミラー角度２００：トラッキングカメラの視線方向を制御するための二軸ガルバノミラーにおけるパン方向でのミラー角度（パン方向での対象物位置を示す）
・画面ロックボタン２１０：画面操作のLock/Unlockを切り替えるためのボタン
・トラッキングボタン２２０：トラッキングカメラ２による対象の追跡の開始及び停止を指示するためのボタン
・ミラー制御ボタン２３０：サッカードミラーの制御の開始／停止を指示するためのボタン
・ターゲット色情報リセットボタン２４０：対象として特定されるターゲットの色情報をリセットするためのボタン。ボタン色を対象３の色に一致させることにより、ユーザ１は、トラッキング対象を容易に認識することができる。
・録画ボタン２５０：トラッキング画像（動画像）の録画の開始／停止を指示するためのボタン
・広域ビュー切替ボタン２６０：広域画像１１０として表示される画像として、広域カメラ４で取得されたリアルタイムの画像と、事前に取得された背景画像とを切り替えるためのボタン
・背景取得ボタン２７０：トラッキングの開始前に、対象物が存在すべき環境の画像（背景画像）を広域カメラにより取得し、あるいは、取得した画像をリセットするためのボタン。このボタンは、対象３の抽出のために背景画像を用いる場合に利用される。
・サーバボタン２８０：ＧＵＩ装置１０の一部の機能を分散して負担するべきサーバへの通信状態を表示し、あるいは、サーバのシャットダウンを指示するためのボタン
・セットアップボタン２９０：ＧＵＩ装置１０の動作を設定するためのセットアップ画面（図示せず）に遷移するためのボタン
　前記した呈示画像１００の構成はあくまで一例であり、ＧＵＩ機能を発揮できる限り、適宜の構成が可能である。また、呈示画像１００の各部分を異なるディスプレイに表示することができ、あるいは、呈示画像１００を他の画像と組み合わせて表示することもできる。
　前記した本実施形態のＧＵＩ装置によれば、ユーザ１は、カーソル１２０を操作することにより、対象３にトラッキングカメラ２の視線を向ける作業を効率的に行うことができるという利点がある。
　さらに、本実施形態のＧＵＩ装置では、トラッキングカメラ２が環境中のどこを見ているのかを、広域画像１１０中のカーソル１２０の位置により、簡単に知ることができるという利点もある。
　なお、本発明の内容は、前記実施形態に限定されるものではない。本発明は、特許請求の範囲に記載された範囲内において、具体的な構成に対して種々の変更を加えうるものである。
　例えば、前記したカーソル１２０は、広域画像１１０のゆがみに対応してゆがんだ形状とすることができる。すなわち、広域画像１１０は、広域カメラ４の画角に対応して、ある程度のゆがみを持つ。このゆがみに対応して、カーソル形状をゆがんだものにすることにより、対象３の特定作業を一層容易とすることができる。
　また、前記した実施形態では、色情報に基づいて対象３を特定したが、色に限らず、例えば形状や他の特徴量を用いて対象３を特定することができる。
　さらに、前記した機能要素は、機能ブロックとして存在していればよく、独立したハードウエアとして存在しなくても良い。また、実装方法としては、ハードウエアを用いてもコンピュータソフトウエアを用いても良い。さらに、本発明における一つの機能要素が複数の機能要素の集合によって実現されても良く、本発明における複数の機能要素が一つの機能要素により実現されても良い。
　また、前記機能要素は、物理的に離間した位置に配置されていてもよい。この場合、機能要素どうしがネットワークにより接続されていても良い。グリッドコンピューティング又はクラウドコンピューティングにより機能を実現し、あるいは機能要素を構成することも可能である。
　１　ユーザ
　２　トラッキングカメラ
　３　対象
　４　広域カメラ
　１０　ＧＵＩ装置
　１１　広域画像表示部
　１２　カーソル生成部
　１３　位置操作受付部
　１４　指定操作受付部
　１４　対象特定部
　１５　指定操作受付部
　１６　広域画像受付部
　１７　トラッキング画像表示部
　１００　呈示画像
　１１０　広域画像
　１２０　カーソル
　１３０　トラッキング画像
　１４０　二値化画像
　１５０　二値化閾値入力スライダ
　１６０　フレームレート
　１７０　画像処理時間
　１８０　フレーム落ちカウンタ
　１９０　チルト方向ミラー角度
　２００　パン方向ミラー角度
　２１０　画面ロックボタン
　２２０　トラッキングボタン
　２３０　ミラー制御ボタン
　２４０　ターゲット色情報リセットボタン
　２５０　録画ボタン
　２６０　広域ビュー切替ボタン
　２７０　背景取得ボタン
　２８０　サーバボタン
　２９０　セットアップボタン

Claims (7)

  1. 　トラッキングカメラにより追跡されるべき対象を指定するためのＧＵＩ装置で
    あって、
    　広域画像表示部と、カーソル生成部と、位置操作受付部と、対象特定部とを備えており、
    　前記広域画像表示部は、前記対象を含む広域画像をユーザに呈示する構成となっており、
    　前記カーソル生成部は、前記ユーザに呈示される広域画像の中にカーソルを表示させる構成となっており、
    　前記位置操作受付部は、前記広域画像の中の前記カーソルについての位置を操作するための前記ユーザからの指示を受け取る構成となっており、
    　前記対象特定部は、前記カーソルの位置の情報に基づいて、前記対象を特定する構成となっている
    　ＧＵＩ装置。
  2. 　前記広域画像は、前記トラッキングカメラで追跡されている対象が存在する環境についてのリアルタイムでの動画である
    　請求項１に記載のＧＵＩ装置。
  3. 　さらに、指定操作受付部を備えており、
    　前記特定操作受付部は、前記対象物を特定するための前記ユーザからの指示を受け取る構成となっており、
    　前記対象特定部は、前記指定操作受付部が前記ユーザからの指示を受け取った時点、又はそれ以降の時点での前記カーソルの位置の情報に基づいて、前記対象を特定する構成となっている
    　請求項１又は２に記載のＧＵＩ装置。
  4. 　さらに、広域画像受付部を備えており、
    　前記広域画像受付部は、広域カメラで取得された前記広域画像を受け取って、前記広域画像表示部に送る構成となっており、
    　前記広域カメラは、前記トラッキングカメラで撮影されるべき領域全体を撮影することにより、前記広域画像を取得する構成となっている
    　請求項１～３のいずれか１項に記載のＧＵＩ装置。
  5. 　さらに、トラッキング画像表示部を備えており、
    　前記トラッキング画像表示部は、前記トラッキングカメラで撮影された前記対象物の画像を表示する構成となっている
    　請求項１～４のいずれか１項に記載のＧＵＩ装置。
  6. 　トラッキングカメラにより追跡されるべき対象を、装置によりユーザが指定するための方法であって、
    　前記対象を含む広域画像をユーザに呈示するステップと、
    　前記ユーザに呈示される広域画像の中にカーソルを表示するステップと、
    　前記広域画像の中の前記カーソルについての位置を操作するための前記ユーザからの指示を受け取るステップと、
    　前記カーソルの位置の情報に基づいて、前記対象を特定するステップと
    　を備える方法。
  7. 　請求項６に記載の各ステップをコンピュータに実行させるためのコンピュータプログラム。
PCT/JP2017/017702 2016-05-26 2017-05-10 Ｇｕｉ装置 WO2017203981A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016105681A JP2017212654A (ja) 2016-05-26 2016-05-26 Ｇｕｉ装置
JP2016-105681 2016-05-26

Publications (1)

Publication Number Publication Date
WO2017203981A1 true WO2017203981A1 (ja) 2017-11-30

Family

ID=60412427

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/017702 WO2017203981A1 (ja) 2016-05-26 2017-05-10 Ｇｕｉ装置

Country Status (2)

Country Link
JP (1) JP2017212654A (ja)
WO (1) WO2017203981A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7301488B2 (ja) 2020-04-24 2023-07-03 株式会社ハーモニック・ドライブ・システムズ ロータリエンコーダ

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09265538A (ja) * 1996-03-29 1997-10-07 Matsushita Electric Works Ltd 自動追尾装置
WO2012001755A1 (ja) * 2010-07-02 2012-01-05 株式会社ソニー・コンピュータエンタテインメント 情報処理システム、情報処理装置および情報処理方法
JP2016059014A (ja) * 2014-09-12 2016-04-21 沖電気工業株式会社 監視システム、映像解析装置、映像解析方法およびプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09265538A (ja) * 1996-03-29 1997-10-07 Matsushita Electric Works Ltd 自動追尾装置
WO2012001755A1 (ja) * 2010-07-02 2012-01-05 株式会社ソニー・コンピュータエンタテインメント 情報処理システム、情報処理装置および情報処理方法
JP2016059014A (ja) * 2014-09-12 2016-04-21 沖電気工業株式会社 監視システム、映像解析装置、映像解析方法およびプログラム

Also Published As

Publication number Publication date
JP2017212654A (ja) 2017-11-30

Similar Documents

Publication Publication Date Title
US10395428B2 (en) HMD transitions for focusing on specific content in virtual-reality environments
JP7498209B2 (ja) 情報処理装置、情報処理方法およびコンピュータプログラム
US9789403B1 (en) System for interactive image based game
KR101566543B1 (ko) 공간 정보 증강을 이용하는 상호 인터랙션을 위한 방법 및 시스템
JP6090786B2 (ja) 背景差分抽出装置及び背景差分抽出方法
CN111586319B (zh) 视频的处理方法和装置
JP2015524951A (ja) 画像内で丸い物体を検出することによるコンピューティングデバイスの操作
WO2019059020A1 (ja) 制御装置、制御方法、及びプログラム
JP2019139673A (ja) 情報処理装置、情報処理方法およびコンピュータプログラム
CN110955329B (zh) 传输方法以及电子设备和计算机存储介质
JP2016151798A (ja) 情報処理装置および方法、並びにプログラム
JP6632681B2 (ja) 制御装置、制御方法、及びプログラム
US11477433B2 (en) Information processor, information processing method, and program
JP2023103265A (ja) 制御装置、制御方法、及びプログラム
US11847735B2 (en) Information processing apparatus, information processing method, and recording medium
US20190058828A1 (en) Electronic devices having multiple position cameras
WO2017203981A1 (ja) Ｇｕｉ装置
WO2018140397A1 (en) System for interactive image based game
CN111142660A (zh) 一种显示装置、画面显示方法和存储介质
JP2020021104A (ja) 情報処理装置、情報処理のシステム、およびそれらの制御方法、プログラム
CN116828131A (zh) 基于虚拟现实的拍摄处理方法、装置及电子设备
WO2022044357A1 (ja) 端末装置、方法、およびプログラム
JP7434385B2 (ja) 制御装置、制御方法、及びプログラム
JP2019179502A (ja) 動画を作成するためのシステム、方法、及びプログラム
US20230305793A1 (en) Control device, control method, and control program

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17802576

Country of ref document: EP

Kind code of ref document: A1

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205 DATED 28/02/2019)

122 Ep: pct application non-entry in european phase

Ref document number: 17802576

Country of ref document: EP

Kind code of ref document: A1