WO2015098251A1 - 情報処理装置、記録媒体および情報処理方法 - Google Patents

情報処理装置、記録媒体および情報処理方法 Download PDF

Info

Publication number
WO2015098251A1
WO2015098251A1 PCT/JP2014/077593 JP2014077593W WO2015098251A1 WO 2015098251 A1 WO2015098251 A1 WO 2015098251A1 JP 2014077593 W JP2014077593 W JP 2014077593W WO 2015098251 A1 WO2015098251 A1 WO 2015098251A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
angle
composition
view
unit
Prior art date
Application number
PCT/JP2014/077593
Other languages
English (en)
French (fr)
Inventor
木村　隆臣
卓 青木
功誠 山下
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to EP14873581.4A priority Critical patent/EP3089441B1/en
Priority to JP2015554626A priority patent/JP6447515B2/ja
Priority to CN201480068702.1A priority patent/CN105850109B/zh
Priority to US15/104,268 priority patent/US10083519B2/en
Publication of WO2015098251A1 publication Critical patent/WO2015098251A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30221—Sports video; Sports image
    • G06T2207/30224—Ball; Puck
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Definitions

  • the present disclosure relates to an information processing apparatus, a recording medium, and an information processing method.
  • the angle-of-view estimation unit that estimates the angle of view of the image based on the position in the image acquired by the imaging device of at least two points whose positional relationship in real space is known;
  • an information processing apparatus including a composition designation information output unit that outputs information for designating the composition of the image so that the positional relationship between the subject and the imaging device defined according to the angle of view is satisfied.
  • the processor estimates the angle of view of the image based on the positions in the image acquired by the imaging device of at least two points whose positional relationship in the real space is known.
  • an information processing method including outputting information specifying the composition of the image so that the positional relationship between the subject and the imaging device defined according to the angle of view is satisfied.
  • an image that can be effectively analyzed can be easily obtained by designating a composition of an image acquired by the imaging apparatus.
  • FIG. 1 is a block diagram illustrating a schematic device configuration of a system according to an embodiment of the present disclosure. It is a schematic block diagram which shows the structure of the process part in one Embodiment of this indication.
  • FIG. 6 is a diagram for describing angle of view estimation according to an embodiment of the present disclosure.
  • 5 is a flowchart illustrating an example of a view angle estimation process according to an embodiment of the present disclosure. 5 is a diagram for describing designation of a composition according to an embodiment of the present disclosure.
  • FIG. 12 is a flowchart illustrating an example of composition designation processing according to an embodiment of the present disclosure.
  • FIG. 5 is a diagram illustrating an example of an image displayed for composition designation in an embodiment of the present disclosure.
  • FIG. It is a schematic block diagram showing the further component of the treating part in one embodiment of this indication.
  • 5 is a diagram for describing an example of recording control according to an embodiment of the present disclosure.
  • FIG. FIG. 9 is a diagram for describing an example of image reproduction in a section different from an analysis section in an embodiment of the present disclosure.
  • FIG. 6 is a diagram illustrating a first example of image display during analysis according to an embodiment of the present disclosure. It is a figure showing the 2nd example of a screen display under analysis in one embodiment of this indication.
  • FIG. 9 is a diagram illustrating a third example of a screen display during analysis according to an embodiment of the present disclosure. It is a figure showing an example of hardware constitutions of a sensor device concerning an embodiment of this indication. It is a figure showing an example of hardware constitutions of an analysis device concerning an embodiment of this indication.
  • FIG. 1 is a diagram illustrating an example of a system configuration according to an embodiment of the present disclosure.
  • the system 10 includes a sensor device 100, a smartphone 200, and a server 300.
  • the sensor device 100 is mounted on a tennis racket R.
  • the sensor device 100 includes, for example, a vibration sensor, and detects vibration generated in the racket R when the ball collides with the racket R.
  • the vibration data acquired by the vibration sensor is transmitted to the smartphone 200 by wireless communication such as Bluetooth (registered trademark).
  • the sensor device 100 may include an acceleration sensor, an angular velocity sensor, a geomagnetic sensor, etc. (for example, a nine-axis motion sensor), and may detect the acceleration, angular velocity, inclination, etc. of the racket R. Data acquired by these sensors is also transmitted to the smartphone 200 by wireless communication.
  • the smartphone 200 receives data transmitted from the sensor device 100.
  • the smartphone 200 may perform analysis processing based on the received data.
  • the smartphone 200 may output the analysis result to the user and upload it to the server 300.
  • the smartphone 200 may transfer the received data to the server 300.
  • the smartphone 200 may receive the result of the analysis process executed by the server 300 and output it to the user.
  • the smartphone 200 includes a camera capable of acquiring an image including a user who is playing tennis as a subject.
  • information specifying the composition of an image acquired by the camera is output.
  • This output can be executed by the smartphone 200.
  • an image captured by a camera may be displayed as a through image, and information for specifying a composition may be superimposed on the through image. Specific examples of such information will be described later.
  • the smartphone 200 may be replaced by another device having an imaging function and an output function, such as a tablet terminal or a digital camera.
  • the smartphone 200 may generate information for designating the composition by analyzing the captured image itself, or may request the server 300 to perform processing for generating information for designating the composition.
  • a terminal device such as the smartphone 200 that outputs information specifying the composition of an image and an imaging device that acquires an image may be separate devices.
  • the system 10 may include a digital camera separately from the smartphone 200, and information specifying the composition of an image acquired by the digital camera may be generated via the smartphone 200.
  • data of the acquired image (for example, a through image) is transmitted from the digital camera to the smartphone 200, and the smartphone 200 generates information for specifying the composition by analyzing the image.
  • the smartphone 200 further transfers the image data to the server 300 and requests generation of information specifying the composition.
  • the generated information is output by the smartphone 200 or transmitted from the smartphone 200 to the digital camera and output from the digital camera.
  • the smartphone 200 itself can be replaced by a digital camera having an information processing function.
  • the server 300 communicates with the smartphone 200 via the network, and receives the analysis result of the data acquired by the sensor device 100 or the data itself. Further, the server 300 may receive image data captured from the smartphone 200. The server 300 stores the analysis result uploaded from the smartphone 200 or the analysis result calculated by itself, and transmits it to a terminal device used by a user such as the smartphone 200 as necessary. The server 300 may transmit the analysis result to a terminal device used by a user other than the user who provided the analysis result or data, and may allow the analysis result to be shared between users.
  • FIG. 2 is a block diagram illustrating a schematic device configuration of a system according to an embodiment of the present disclosure.
  • the system 10 includes a sensor device 100, a smartphone 200, and a server 300, and a hardware configuration example of an information processing device that realizes each device will be described later.
  • the sensor device 100 includes a sensor 110, a processing unit 120, and a transmission unit 130.
  • the sensor 110 includes, for example, a vibration sensor, an angular velocity sensor, an angular velocity sensor, and / or a geomagnetic sensor (for example, a nine-axis motion sensor).
  • the processing unit 120 is realized by a processor such as a CPU, for example, and processes data acquired by the sensor 110.
  • the processing by the processing unit 120 may be preprocessing such as sampling or noise removal, or may include analysis processing.
  • the transmission unit 130 is realized by a communication device, and transmits data to the smartphone 200 using wireless communication such as Bluetooth (registered trademark).
  • the smartphone 200 includes a receiving unit 210, a processing unit 220, a storage unit 230, a transmission unit 240, an imaging unit 250, an input unit 260, and an output unit 270.
  • the receiving unit 210 is realized by a communication device, and receives data transmitted from the sensor device 100 using wireless communication such as Bluetooth (registered trademark). Furthermore, the receiving unit 210 may receive data transmitted from the server 300 using network communication.
  • the processing unit 220 is realized by a processor such as a CPU, for example, and processes received data. For example, the processing unit 220 may temporarily store received data in the storage unit 230 and then transmit the data to the server 300 via the transmission unit 240. In addition, the processing unit 220 may perform analysis of received or acquired data.
  • the storage unit 230 is realized by a memory or a storage, for example.
  • the transmission unit 240 is realized by a communication device, and transmits voice data (or analyzed data) to the server 300 using network communication such as the Internet.
  • the imaging unit 250 is realized by, for example, a camera module in which an imaging device is combined with an optical system such as a lens, and acquires an image including a user playing tennis as a subject.
  • the imaging unit 250 continuously provides a captured image to the processing unit 220 during activation.
  • the processing unit 220 displays the provided image as a through image on a display included in the output unit 270, and stores image data in the storage unit 230 when a still image or a moving image is captured.
  • the input unit 260 receives a user operation input to the smartphone 200.
  • the input unit 260 may include an input device such as a touch panel and hardware buttons provided on a display, for example, a microphone for receiving a user's voice as an operation input, or a camera for receiving a user's gesture as an operation input Or a sensor etc. may be included.
  • the output unit 270 outputs various information to the smartphone 200 toward the user.
  • the output unit 270 includes, for example, a display and a speaker. For example, the output unit 270 outputs information specifying the composition of the image acquired by the imaging unit 250.
  • the server 300 includes a reception unit 310, a processing unit 320, a storage unit 330, and a transmission unit 340.
  • the receiving unit 310 is realized by a communication device, and receives data transmitted from the smartphone 200 using network communication such as the Internet.
  • the processing unit 320 is realized by a processor such as a CPU, and processes received data. For example, the processing unit 320 may execute an analysis process on the received data, and may further accumulate the analyzed data in the storage unit 330 or output the data via the transmission unit 340. Alternatively, the processing unit 320 may only execute accumulation and output control of data already analyzed in the smartphone 200 or the like.
  • FIG. 3 is a schematic block diagram illustrating a configuration of a processing unit according to an embodiment of the present disclosure.
  • the processing unit according to the present embodiment includes an angle of view estimation unit 510 and a composition designation information output unit 520.
  • the processing unit may further include an image analysis unit 530.
  • the angle-of-view estimation unit 510, the composition designation information output unit 520, and the image analysis unit 530 are, for example, the processing unit 220 of the smartphone 200 or the server 300 in the system 10 described above with reference to FIG. This is realized in the processing unit 320.
  • the entire processing unit may be realized in a single device, or one or a plurality of components may be distributed in different devices.
  • the angle-of-view estimation unit 510 estimates the angle of view of the image based on the positional relationship in the image acquired by the imaging device of at least two points whose positional relationship in the real space is known. This point will be further described with reference to FIG. 4 and FIG.
  • FIG. 4 is a diagram for explaining the estimation of the angle of view according to an embodiment of the present disclosure.
  • FIG. 4 shows an imaging unit 250 (imaging device) of the smartphone 200 and two angles of view A1 and A2 of an image acquired by the imaging unit 250.
  • the field angles A1 and A2 are different from each other, and the field angle A1 is wider than the field angle A2.
  • Such a difference in the angle of view is caused by, for example, the arrangement of an optical system including an imaging element and a lens constituting the imaging apparatus.
  • the angle of view changes if, for example, the image resolution is changed, the aspect ratio is changed, or the zoom operation is performed.
  • the angle-of-view estimation unit 510 can be realized by the processing unit 220 in the same smartphone 200 as the imaging unit 250, but even in that case, all of the setting information as described above is acquired internally from the imaging unit 250. Not easy to do. It is not easy to obtain all the setting information as described above that defines the angle of view, even when the device that implements the angle of view estimation unit 510 and the imaging device are separate.
  • the angle-of-view estimation unit 510 is based on the positions of the intersection points P1, P4 between the tennis court side line and the net and the intersection points P2, P3 between the singles side line and the net in the image.
  • the angle of view of the image is estimated. Since these points P1 to P4 are points on the tennis court defined according to the rules, the positional relationship is known. Therefore, for example, if an imaging device (imaging unit 250) is placed at a predetermined position (for example, on the center of the base line of the tennis court) and images in the directions of points P1 to P4 are taken, points P1 to Based on the position of P4, the angle of view of the image can be estimated.
  • the angle-of-view estimation unit 510 has the angle of view. It can be estimated that it is close to A1.
  • the angle of view estimation unit 510 has the angle of view. It can be estimated that it is close to A2. Since the distance between the point P2 and the point P3 is known, the angle of view can be estimated if at least the point P2 and the point P3 are included in the image. However, the accuracy of estimation is higher when all of the points P1 to P4 are included in the image.
  • FIG. 5 is a flowchart illustrating an example of a view angle estimation process according to an embodiment of the present disclosure.
  • the angle-of-view estimation unit 510 displays a through image on a display included in the output unit 270 of the smartphone 200 (S101).
  • the through image is a real space image acquired by the imaging unit 250 or another imaging device. Note that the through image may already be displayed prior to S101.
  • the angle-of-view estimation unit 510 displays a mark for angle-of-view estimation superimposed on the through image displayed on the display (S103).
  • the mark for estimating the angle of view is, for example, a figure such as a circle or a cross line corresponding to the points P1 to P4 in the above example.
  • the user places the imaging device at a predetermined position (S105).
  • the user places the imaging device (the smartphone 200 including the imaging unit 250 or another imaging device) with the net facing toward the center of the base line of the tennis court.
  • the user operates the touch panel on the display included in the input unit 260 of the smartphone 200 to move the mark superimposed and displayed in S103 to coincide with a predetermined point in the through image (S107).
  • the user matches the four marks displayed on the display with the four intersections of the side line, the singles side line, and the net, respectively.
  • the angle-of-view estimation unit 510 determines whether or not the position of the predetermined point in the through image matches the position of the mark moved by the user (S109).
  • the position of the predetermined point and the mark are determined based on the user's operation via the input unit 260 such as a touch panel. It may be determined that the position matches. If the angle of view estimation unit 510 can identify the position of the predetermined point in the through image by image analysis, the angle of view estimation unit 510 automatically confirms that the position of the predetermined point matches the position of the mark.
  • a dialog for confirming whether or not to confirm the angle of view may be output to the user when it is determined that they match.
  • the angle of view estimation unit 510 may perform the user operation in S107 and automatically move the mark. Good.
  • the user's imaging device is placed at a predetermined position in S105
  • a user operation for starting the view angle specification is executed via the input unit 260, and all the steps after S107 are automatically executed. May be.
  • the user confirms the relationship between the position of the mark automatically moved in S107 and the position of the predetermined point in the through image, and it is recognized that these positions match, the position is determined in S109. You may perform user operation which shows that it corresponded.
  • the angle-of-view estimation unit 510 calculates the distance in real space of the horizontal width of the image (S111). .
  • the distance in the real space between the points P1 to P4 with the distance between these points in the image.
  • the scale with respect to the real space of the image on the plane including the points P1 to P4 can be calculated.
  • the distance in the real space of the width of the image on the surface can be calculated.
  • This calculation result may be expressed, for example, as a coefficient for converting one pixel in the image into a distance unit (for example, meter) in real space.
  • the angle-of-view estimation unit 510 estimates the angle of view based on the distance from the position of the imaging device to a predetermined point (S113).
  • the imaging device is disposed at a predetermined position, more specifically, for example, at the center of the base line of the tennis court. Therefore, the distance between the surface including the points P1 to P4 and the imaging device is known. Therefore, the angle-of-view estimation unit 510 can estimate the angle of view of the image in the form of the angles of view A1 and A2 shown in FIG. When the angle of view is estimated, it is possible to determine how far the imaging apparatus can fit in the image in real space.
  • the angle-of-view estimation unit 510 estimates the angle of view of the image based on the positions in the image acquired by the imaging device of the two points whose real space positional relationship is known. To do.
  • the angle-of-view estimation unit 510 determines the image based on the position in the image of the first planar or stereoscopic object image including at least two points (for example, the image including the tennis court and the net in the above example).
  • the angle of view may be estimated.
  • the first planar or three-dimensional object may include a line defining a court, a field, or a course (for example, the tennis court in the above example).
  • the angle-of-view estimation unit 510 may estimate the angle of view of an image based on a position change in an image of an object (for example, a ball) falling through a trajectory including at least two points. .
  • an object for example, a ball
  • falling objects including those that are thrown up and appearing upward
  • the position change for each time is the same.
  • the scale of the image on the plane including the object's fall trajectory can be calculated, and the angle of view of the image is estimated based on the distance from the position of the imaging device to the object's fall trajectory can do.
  • the angle-of-view estimation unit 510 estimates the angle of view of an image acquired by the imaging device by capturing an image including at least two points in common from three or more different positions. Also good.
  • the angle of view is estimated from a single image by capturing an image including at least two points whose positional relationship is known from positions where the positional relationship with these points is known.
  • the positional relationship with at least two points whose positional relationship is known is unknown, if images including these points in common are taken from three or more different positions, triangulation Based on the principle, the relationship between the respective imaging positions can be calculated, and the angle of view of the image can be estimated.
  • composition designation information output unit 520 is configured so that the positional relationship between the subject and the imaging device defined according to the angle of view estimated by the angle of view estimation unit 510 is satisfied. Outputs information specifying the composition. This point will be further described with reference to FIGS.
  • FIG. 6 is a diagram for describing composition designation according to an embodiment of the present disclosure.
  • an imaging unit 250 (imaging device) of the smartphone 200 and the player P and the ball B included in the angle of view A of the image acquired by the imaging unit 250 are illustrated.
  • the image acquired by the imaging unit 250 is used to analyze a play in which the player P hits the ball B (for example, a tennis serve).
  • the composition designation information output unit 520 outputs information for capturing an image with a composition optimized for the analysis as described above.
  • the optimized composition will be described by taking the case of tennis serve as an example, but the composition can be similarly optimized for other operations other than play, other ball games, and sports.
  • the composition is optimized (1) so that the ball in the toss is reflected. More specifically, the player P is arranged as much as possible below the image so that the ball B tossed by the player P does not go out of the frame, and a space above the image is widened.
  • the composition is optimized so that (2) the impact point of the ball is reflected. More specifically, the vicinity of the player P where the player P is assumed to hit the ball B with a racket is included in the image.
  • the composition is optimized such that (3) the ball after impact is reflected over a certain period of time. More specifically, the player P is placed on the right side of the image (not shown) so that the distance that the ball B after impact moves within the angle of view (distance D shown in FIG. 6) is as long as possible or more than a predetermined distance. (When hitting from right to left as in the example). For example, when the velocity of the ball B after impact is calculated based on the analysis of the image, it is desirable that the ball after impact is reflected over a certain number of frames, so optimization from this viewpoint is important. .
  • the composition is optimized so that (4) the angle with respect to the moving direction of the ball after impact approaches a right angle. More specifically, the angle of the imaging unit 250 with respect to the expected average trajectory of the ball after impact is made to approach a right angle. For example, as the angle with respect to the moving direction of the ball B after impact becomes closer to a right angle, the tracking of the ball B between frames becomes easier and the accuracy of speed calculation is improved.
  • the composition optimized as described above may vary depending on the angle of view of the image.
  • the composition designation information output unit 520 designates the position where the player P is to be arranged in the image by superimposing display on the through image or the like, if the angle of view of the image is different, the above (1) Optimizations (4) to (4) are not always realized.
  • the composition in which the above (3) and (4) are realized with an image of a certain angle of view is applied to another image with a different angle of view as it is, for example, an image with a narrower width
  • the width of the image is reduced.
  • the distance D shown in FIG. 6 becomes small, and (3) may not be realized. In such a case, in the latter image, for example, it is desirable to realize (3) after sacrificing (4) to some extent (allowing an angle with respect to the moving direction of the ball). it is conceivable that.
  • the composition designation information output unit 520 determines the composition designated by the information to be output according to the angle of view estimated by the angle of view estimation unit 510.
  • the composition may be prepared in advance for each range of the angle of view (for example, set according to the horizontal distance of the image), or may be calculated according to the estimated angle of view.
  • the composition is expressed by, for example, the standing position of the player P in the image and the angle of the imaging unit 250 with respect to the ground.
  • FIG. 7 is a diagram for describing guide display according to an embodiment of the present disclosure.
  • FIG. 7 shows guides displayed in the through images PIC1 and PIC2.
  • the guide includes a guide line G (G1, G2) and a player standing position PS (PS1, PS2).
  • the guide line G and the player standing position PS are superimposed and displayed on the through image PIC displayed on the display included in the output unit 270 of the smartphone 200.
  • the composition designated by the composition designation information output unit 520 is realized.
  • the guide including the guide line G and the player standing position PS is an example of information for designating the composition of the image output by the composition designation information output unit 520.
  • the through image PIC1 and the through image PIC2 are images having different angles of view. Therefore, as described above, the composition to be realized in each image is different. Therefore, the guide line G1 and the standing position PS1 displayed in the through image PIC1 are different from the guide line G2 and the standing position PS2 displayed in the through image PIC2. More specifically, the coordinates based on the lower left corner of the image at the standing position PS1 are (100, 400), whereas the coordinates based on the lower left corner of the image at the standing position PS2 are (80, 380). . Further, the guide line G2 is inclined with respect to the horizontal direction of the image rather than the guide line G1.
  • the imaging unit 250 (imaging device)
  • the position and angle can vary.
  • the composition designation information output unit 520 can realize a more appropriate composition adapted to each angle of view in each case where the angle of view of the image is different.
  • FIG. 8 is a flowchart illustrating an example of composition designation processing according to an embodiment of the present disclosure.
  • the composition designation information output unit 520 first determines the composition according to the angle of view of the image estimated by the angle of view estimation unit 510 (S201).
  • the composition may be optimized from the viewpoints of (1) to (4) described above, for example, and may be selected from those prepared in advance for each angle of view, or each time depending on the angle of view. It may be calculated.
  • the composition designation information output unit 520 calculates the coordinates of the guide to be displayed superimposed on the through image based on the angle of view and the composition (S203).
  • the composition designation information output unit 520 displays a through image on the display included in the output unit 270 of the smartphone 200 (S205).
  • the through image is a real space image acquired by the imaging unit 250 or another imaging device. Note that the through image may already be displayed prior to S205.
  • the composition designation information output unit 520 displays the guide superimposed on the through image displayed on the display according to the coordinates calculated in S203 (S207).
  • the guide may include the standing position PS of the player and the guide line G as shown in the example of FIG.
  • the user places the imaging device at a predetermined position in accordance with the guide display (S209).
  • the optimal composition varies depending on the angle of view, but the approximate position where the imaging device is to be arranged is the same (for example, the position of the imaging unit 250 shown in FIG. 6). Therefore, as shown in the illustrated example, the user first places the imaging device at a predetermined position regardless of the angle of view, and then uses the guide displayed superimposed on the through image to determine the position of the imaging device.
  • a procedure for finely adjusting the posture (S211) may be adopted.
  • the user stands at the position of the imaging unit 250 shown in FIG. 6, the standing position PS on the display matches the player's feet, and the guide line G
  • the position and orientation of the imaging device may be finely adjusted so as to overlap the coat line.
  • the composition designation information output unit 520 determines whether or not the guide displayed in the through image overlaps with the object corresponding to the guide (S213).
  • the composition designation information output unit 520 cannot identify the position and shape of the object in the through image by image analysis, the guide and the object overlap based on the user operation via the input unit 260 such as a touch panel. It may be determined that Further, when the composition designation information output unit 520 can specify the position and shape of the object in the through image by image analysis, the composition designation information output unit 520 automatically determines that the guide and the object overlap each other, and overlaps them. If it is determined that the composition has been determined, a dialog for confirming whether the composition may be confirmed may be output to the user. If it is determined in step S213 that the guide and the object overlap, the composition designating process ends, and for example, image capturing and analysis processes are started.
  • FIG. 9 is a diagram illustrating an example of an image displayed for composition designation according to an embodiment of the present disclosure.
  • FIG. 9 shows an image 1100 displayed on a display included in the output unit 270 of the smartphone 200, for example.
  • a user interface for designating which side of the tennis court to pick up the player hitting the serve is displayed.
  • the composition designation information output unit 520 selects a composition to be designated and information to be displayed to realize the composition based on information input via such a user interface.
  • the left and right sides of the guide displayed by the composition designation information output unit 520 can be reversed when the left side (Left side) is selected and when the right side (Right side) is selected.
  • the composition designation information output unit 520 specifies the image composition so that the positional relationship between the subject and the imaging device is defined according to the angle of view of the image. Is output.
  • the composition designation information output unit 520 is superimposed on a second planar or three-dimensional object (for example, a player or a court line in the above example) visually recognized in the through image acquired by the imaging device (imaging unit 250). Information for displaying a guide that realizes the composition specified by the combination may be output.
  • the second planar or three-dimensional object is arranged at a predetermined position on the court, field, or course, with a line defining the court, field, or course (for example, the tennis court in the above example). And a subject (for example, the player in the above example).
  • the composition designation information output unit 520 may output information for designating the composition of the image so that at least three points near the subject are arranged at predetermined positions in the image.
  • the composition of the image can be specified by arranging two points at predetermined positions in the image. Further, even if the position of the imaging device (photographer) in the space is not specified, the position of the imaging device (photographer) in the space is specified by arranging three points at predetermined positions in the image. In addition, an appropriate image composition can be designated.
  • the composition designation information output unit 520 may output information that designates the composition of the image so that the ball is positioned within the angle of view of the image for a predetermined time after the play (for example, the above-described information). Optimization of composition shown in example (3)).
  • the composition designation information output unit 520 may output information for designating the composition of an image by a method other than display on the display.
  • the composition designation information output unit 520 may output information for designating the composition of an image by sound.
  • the composition designation information output unit 520 specifies the position and shape of the object in the through image by image analysis, and calculates the shift amount between the guide and the object.
  • the composition designation information output unit 520 gives instructions such as “move to the right a little” and “shake to the left a little” from the speaker included in the output unit 270 of the smartphone 200 based on the deviation amount, for example. You may output by an audio
  • the composition designation information output unit 520 may output information that designates the composition of an image when the imaging unit 250 (imaging device) is not fixed and moves.
  • the image includes a range necessary for the analysis, for example, in the case of a tennis serve, a space near and above the player and a space in which the ball is launched.
  • the imaging unit 250 is not necessarily fixed.
  • the image analysis unit 530 calculates a change in the spatial position and posture of the imaging unit 250 based on, for example, the standing position of the player and the tennis court line, and corrects the acquired image based on these changes. Can be used for analysis.
  • the composition designation information output unit 520 provides information for designating the composition of the image including a predetermined margin so that a necessary range of images can be acquired even if the imaging unit 250 moves to some extent. It may be output.
  • the image analysis unit 530 performs image analysis on the image acquired according to the composition designated by the information output by the composition designation information output unit 520.
  • image analysis for example, when the subject includes a flying object, the speed of the object is estimated.
  • the rotation speed of the object may be estimated.
  • the position change amount of the object may be estimated.
  • the object in these examples can be, for example, a ball that was released (struck, thrown, or kicked) in a sporting play. In the case of a ball, the above estimates may be interpreted as an estimate of ball speed, an estimate of ball spin, and an estimate of the height at which the ball was tossed.
  • an image acquired according to the optimized composition designated by the composition designation information output unit 520 according to the composition estimated by the angle-of-view estimation unit 510 is analyzed by the image analysis unit 530.
  • the search range can be narrowed down, and for example, processing such as tracking with high accuracy is possible.
  • composition of an image acquired by the imaging device for example, effective analysis can be performed using an image acquired by a digital camera or a camera mounted on a smartphone.
  • image analysis it is possible to apply a method that has been implemented for images having a sufficiently high frame rate and resolution so far, and detailed description thereof is omitted here. .
  • FIG. 10 is a schematic block diagram illustrating further components of the processing unit according to an embodiment of the present disclosure.
  • the processing unit according to the present embodiment may include, for example, the components described below in addition to or instead of the components described with reference to FIG.
  • the processing unit according to the present embodiment includes an image acquisition unit 540, a sensor data acquisition unit 550, a recording control unit 560, a storage unit 565, an analysis unit 570, and a display control unit 580. May be included.
  • the image acquisition unit 540, the sensor data acquisition unit 550, the recording control unit 560, the analysis unit 570, and the display control unit 580 are, for example, in the system 10 described above with reference to FIG. This is realized in the processing unit 220 of the smartphone 200 or the processing unit 320 of the server 300.
  • the entire processing unit may be realized in a single device, or one or a plurality of components may be distributed in different devices.
  • the image acquisition unit 540 acquires an image captured by the imaging unit 250 of the smartphone 200 or another imaging device.
  • the acquired image can be, for example, a moving image that captures a series of plays by the player.
  • Sensor data acquisition unit 550 acquires sensor data output from sensor 110 of sensor device 100.
  • the sensor data indicates, for example, a tool used by the player (for example, racket R) or vibration or motion (acceleration, angular velocity, direction, etc.) generated in the player itself.
  • the recording control unit 560 controls the recording of the image acquired by the image acquisition unit 540 in the storage unit 565 based on the user's operation and / or the sensor data acquired by the sensor data acquisition unit 550. For example, the recording control unit 560 may temporarily record the image acquired by the image acquisition unit 540 in the storage unit 565 and specify a portion to be analyzed by the analysis unit 570. The recording control unit 560 may temporarily record the image acquired by the image acquisition unit 540 in the storage unit 565 and generate an image displayed on the display by the display control unit 580 from this image.
  • the analysis unit 570 executes an analysis process based on the image acquired by the image acquisition unit 540 and / or the sensor data acquired by the sensor data acquisition unit 550.
  • the analysis unit 570 may include, for example, the image analysis unit 530 described above with reference to FIG.
  • the analysis unit 570 calculates the position at which the ball hits the racket R based on the vibration data acquired by the sensor data acquisition unit 550 and the natural vibration characteristics of the racket R measured in advance. Further, the analysis unit 570 may further calculate the speed and rotation of the ball after impact based on the speed of the racket R before impact.
  • the analysis unit 570 can calculate the speed, rotation, trajectory, and the like of the ball based on the image acquired by the image acquisition unit 540, as already described for the image analysis unit 530, for example.
  • the display control unit 580 displays an image on a display included in the output unit 270 of the smartphone 200, for example, using the image acquired by the image acquisition unit 540.
  • the display control unit 580 may display an image acquired in real time by the image acquisition unit 540 on the display as a through image.
  • the display control unit 580 may reproduce and display the image temporarily or continuously recorded in the storage unit 565 by the recording control unit 560 on the display.
  • the display control unit 580 may display various analysis results by the analysis unit 570 on a display.
  • the recording control unit 560 controls the recording of the image acquired by the image acquisition unit 540 (continuous recording in the storage unit 565) based on the sensor data acquired by the sensor data acquisition unit 550.
  • the recording control unit 560 may stop recording, for example, at the moment of impact or after a predetermined time has elapsed from the moment of impact.
  • the timing at which a specific play or a preliminary operation of play is started is specified based on motion data (acceleration, angular velocity, direction, etc.) acquired by the sensor data acquisition unit 550. It may also be possible. Therefore, for example, the recording control unit 560 may start recording when the player starts a preliminary operation for a specific play. Furthermore, if recording is stopped after a predetermined time has elapsed from the moment of impact or the moment of impact as described above, the start and end of recording can both be automated.
  • FIG. 11 is a diagram for describing an example of recording control according to an embodiment of the present disclosure.
  • the serve preliminary operation is performed based on the motion data acquired by the sensor data acquisition unit 550 at the time of the fifth frame of the moving image (captured continuously). It has been detected that it has started. Therefore, the recording control unit 560 starts image recording from here. Since the figure is schematic, the start of the preliminary operation and the start of recording are shown at the same timing, but in reality, it takes time to analyze the motion data and execute the recording control. Recording can be started when the above-mentioned time has elapsed since the motion data indicating the start of the preliminary operation is acquired.
  • the recording control unit 560 ends the recording until the 17th frame of the moving image, which is a time point one second after the impact.
  • a play section to be recorded as an image can be recorded without excess or deficiency, and the time and effort for subsequent user editing can be saved.
  • an image section identified in this way is provided as an analysis section to be analyzed by, for example, the analysis unit 570, a range for searching the analysis section can be reduced, and the processing load can be reduced. .
  • the recording control unit 560 can temporarily record the image acquired by the image acquisition unit 540 in the storage unit 565 and generate an image to be displayed on the display by the display control unit 580 from this image.
  • this image may be a moving image cut out from a specific play section by the user described in the example of the recording control.
  • the recording control unit 560 selects an analysis section to be analyzed by the analysis unit 570 from the images acquired by the image acquisition unit 540 based on the sensor data acquired by the sensor data acquisition unit 550.
  • the same section may be provided as a section that the display control unit 580 reproduces, but a section longer than the section may be provided as a section that the display control unit 580 reproduces.
  • FIG. 12 is a diagram for describing an example of image reproduction in a section different from the analysis section according to an embodiment of the present disclosure.
  • the recording control unit 560 identifies the fifth to the 17th frame of the moving image (continuously captured) as the analysis section by the analysis unit 570.
  • the recording control unit 560 specifies from the first frame to the 18th frame of the moving image as a section that the display control unit 580 reproduces during analysis.
  • the trajectory B of the ball may be displayed based on the result of analysis by the analysis unit 570.
  • the recording control unit 560 may specify the playback section by extending the section specified as the analysis section back and forth by a predetermined length. The length of the extension may be determined, for example, according to the time distance from the point of impact occurrence at each of the start point and end point of the analysis section.
  • FIG. 13 is a diagram illustrating a first example of image display during analysis according to an embodiment of the present disclosure.
  • the ball speed information 1301 and the in-analysis display 1303 are static images extracted from the image of the playback section. It is displayed superimposed on the image.
  • the ball speed information 1301 is displayed using, for example, an analysis processing result based on an image or sensor data in the analysis unit 570.
  • the ball speed information 1301 may be displayed together with an arrow 1301a indicating the moving direction of the ball and a graphic 1301b indicating the trajectory of the ball.
  • the traveling direction of the ball, the trajectory of the ball, and the speed of the ball can be specified sequentially as the analysis process proceeds. Therefore, the elements constituting the ball speed information 1301 may be displayed stepwise in order from, for example, those specified in the analysis process.
  • FIG. 14 is a diagram illustrating a second example of a screen display during analysis according to an embodiment of the present disclosure.
  • a rectangular area including the player that is cut out from the image in the playback section is displayed together with the analysis-in-progress display 1401. Arranged and displayed.
  • These images are extracted from a series of frame images at predetermined time intervals, for example. In the illustrated example, four images are arranged, but more images may be arranged. Further, for example, a number of cut images may be automatically scrolled and displayed, or the images may be scrolled and displayed according to a flick operation performed by the user via a touch panel or the like.
  • the composition of the image acquired by the image acquisition unit 540 is known by the function of the composition specifying information output unit 520, an area including a predetermined object, for example, a player, without performing image analysis, is selected.
  • the containing area can be cut out from the image. Therefore, the display like the image 1400 shown in FIG. 14 can be realized at an early stage after the analysis process is started.
  • FIG. 15 is a diagram illustrating a third example of a screen display during analysis according to an embodiment of the present disclosure.
  • the player image extracted from the image in the playback section is superimposed on the background together with the analysis in progress 1501. Displayed together.
  • the player image is obtained by cutting out a portion in which the player is shown from an image extracted from a series of frame images at predetermined time intervals. In the illustrated example, five images are overlaid, but more images may be overlaid. Further, as in the example described above with reference to FIG. 13, the position and speed of the ball may be further superimposed and displayed.
  • the display of the image 1500 takes more time than the display of the image 1400, for example.
  • the range for searching for the player's image by the image analysis is limited. The time taken to display can be reduced.
  • all the displays described above display images including still images. Accordingly, for example, compared to a case where a play section is repeatedly reproduced as a moving image, it is difficult for the user to feel the passage of time, and the waiting time for the sensible analysis process can be shortened.
  • the reproduction speed is changed during reproduction using the fact that the moment of impact is specified based on the sensor data. May be.
  • the display control unit 580 has a 1 ⁇ speed up to 1 second before the impact, a 1/2 speed up to the moment of the impact, a 1/10 speed up to 0.5 seconds after the impact, and 1 after that.
  • the playback speed may be changed such as double speed.
  • slow playback is automatically executed in an important section such as before and after impact.
  • the display control unit 580 may simultaneously output the result of image analysis and the result of sensor data analysis.
  • the analysis unit 570 can obtain various information regarding play based on the image acquired by the image acquisition unit 540 and the sensor data acquired by the sensor data acquisition unit 550. Therefore, for example, in addition to the position and speed of the ball obtained from the image analysis results, the shot power, racket trajectory, ball spin amount, etc. obtained by analyzing the sensor data are simultaneously displayed on the display. May be output.
  • the recording control unit 560 may generate a continuous photograph that captures a series of movements based on the moment of impact specified by the analysis of sensor data.
  • the recording control unit 560 may generate a continuous photograph by extracting frames of a moving image at a shorter interval as it approaches the impact and at a longer interval as it moves away from the impact, with the moment of impact as the center.
  • the display control unit 580 may output a statistical index extracted from the analysis result by the analysis unit 570.
  • the display control unit 580 may display and output a statistical index such as toss stability or progress based on the analysis result of the player's past play.
  • the display control unit 580 may output information obtained by comparing the analysis result of the analysis unit 570 with another player.
  • the display control unit 580 may play back in parallel images that capture the play of a plurality of players with reference to the moment of impact specified by the analysis of sensor data.
  • the parallel reproduction of the plurality of images may be, for example, reproduction by arranging the images vertically or horizontally, or may be reproduction by superimposing the images transparently.
  • a difference in play between a player and another player for example, a professional
  • advice based on the comparison result can be given.
  • the display control unit 580 may apply an effect using an analysis result based on sensor data when reproducing an image capturing a series of movements during play. More specifically, the display control unit 580 may apply different effects to the image or a part of the image (player or ball area) before impact, during impact, and after impact. Further, the display control unit 580 may change the expression of the effect according to the analysis result (for example, the speed of the racket or the ball) based on the sensor data.
  • the analysis result for example, the speed of the racket or the ball
  • FIG. 16 is a diagram illustrating an example of a hardware configuration of the sensor device according to the embodiment of the present disclosure.
  • the sensor device 100 includes a sensor 101, a CPU (Central Processing Unit) 103, a ROM (Read Only Memory) 105, a RAM (Random Access Memory) 107, a user interface 109, and an external storage device. 111, a communication device 113, and an output device 115. These elements are connected to each other by, for example, a bus.
  • a bus for example, a bus.
  • the sensor 101 includes, for example, an acceleration sensor, an angular velocity sensor, a vibration sensor, a geomagnetic sensor, a temperature sensor, a pressure sensor (including a push switch), or a GPS (Global Positioning System) receiver.
  • the sensor 101 may include a camera (image sensor) and a microphone (sound sensor).
  • the CPU 103, the ROM 105, and the RAM 107 implement various functions in software by reading and executing program instructions recorded in the external storage device 111, for example.
  • functions such as control of the entire sensor device 100 can be realized by the CPU 103, the ROM 105, and the RAM 107, for example.
  • the user interface 109 is an input device such as a button or a touch panel that accepts a user operation to the sensor device 100.
  • the user's operation can be, for example, an instruction to start or end transmission of sensor information from the sensor device.
  • the external storage device 111 stores various types of information regarding the sensor device 100.
  • the external storage device 111 may store, for example, program instructions for causing the CPU 103, the ROM 105, and the RAM 107 to realize functions in software, and the data acquired by the sensor 101 may be temporarily cached. Good.
  • program instructions for causing the CPU 103, the ROM 105, and the RAM 107 to realize functions in software, and the data acquired by the sensor 101 may be temporarily cached. Good.
  • the sensor device 100 is mounted on a hitting tool or the like, it is desirable to use an external storage device 111 that is resistant to impact, such as a semiconductor memory.
  • the communication device 113 communicates with an analysis device 600 described later by various wired or wireless communication methods. Further, the communication device 113 may directly communicate with the analysis device 600 through inter-device communication, or may communicate with the analysis device 600 via a network such as the Internet.
  • the output device 115 is configured by a device that can output information as light, sound, or an image.
  • the output device 115 may output, for example, information notifying the detection of the time or play event in the sensor device 100, or based on the analysis result received from the analysis device 600 or the analysis result calculated in the sensor device 100. Thus, a visual or audible notification for the user may be output.
  • the output device 115 includes, for example, a lamp such as an LED, a display such as an LCD, a speaker, or a vibrator.
  • FIG. 17 is a diagram illustrating an example of a hardware configuration of an analysis apparatus according to an embodiment of the present disclosure.
  • the analysis device 600 may realize the analysis device according to the embodiment of the present disclosure, for example, the smartphone 200 or the server 300 described above. As described above, the analysis device may be realized by the sensor device 100.
  • the analysis device 600 can include a CPU 601, a ROM 603, a RAM 605, a user interface 609, an external storage device 611, a communication device 613, and an output device 615. These elements are connected to each other by, for example, a bus.
  • the CPU 601, the ROM 603, and the RAM 605 realize various functions in software by reading and executing program instructions recorded in the external storage device 611, for example.
  • the CPU 601, the ROM 603, and the RAM 605 can realize, for example, control of the entire analysis apparatus 600 and functions of the processing unit in the functional configuration described above.
  • the user interface 609 is an input device such as a button or a touch panel that accepts a user operation to the analysis device 600.
  • the external storage device 611 stores various types of information related to the analysis device 600.
  • the CPU 601, the ROM 603, and the RAM 605 may store program instructions for realizing functions in software, and the sensor information received by the communication device 613 is temporarily cached in the external storage device 611. Also good.
  • the external storage device 611 may store analysis result logs.
  • the output device 615 is configured by a device capable of visually or audibly notifying information to the user.
  • the output device 615 can be, for example, a display device such as an LCD (Liquid Crystal Display), or an audio output device such as a speaker or headphones.
  • the output device 615 outputs the result obtained by the processing of the analysis device 600 as a video such as text or an image, or outputs it as a sound or sound.
  • each component described above may be configured using a general-purpose member, or may be configured by hardware specialized for the function of each component. Such a configuration can be appropriately changed according to the technical level at the time of implementation.
  • Embodiments of the present disclosure function, for example, an analysis apparatus (an information processing terminal such as a smartphone, a server, or a sensor apparatus), a system, an analysis apparatus or an information processing method executed by the system, and the analysis apparatus as described above And a non-transitory tangible medium on which the program is recorded.
  • an analysis apparatus an information processing terminal such as a smartphone, a server, or a sensor apparatus
  • a system an analysis apparatus or an information processing method executed by the system, and the analysis apparatus as described above
  • a non-transitory tangible medium on which the program is recorded for example, an analysis apparatus (an information processing terminal such as a smartphone, a server, or a sensor apparatus), a system, an analysis apparatus or an information processing method executed by the system, and the analysis apparatus as described above.
  • an angle-of-view estimation unit that estimates an angle of view of the image based on positions of at least two points whose real-space positional relationships are known in an image acquired by the imaging device;
  • An information processing apparatus comprising: a composition designation information output unit that outputs information for designating a composition of the image so that a positional relationship between the subject and the imaging device defined according to the angle of view is satisfied.
  • the angle of view estimation unit estimates the angle of view of the image based on a position of the first planar or stereoscopic object image including the at least two points in the image. ).
  • the information processing apparatus includes a line defining a court, a field, or a course.
  • the composition specifying information output unit provides a guide for realizing the specified composition by overlapping the second planar or stereoscopic object visually recognized in the through image acquired by the imaging device.
  • the information processing apparatus according to any one of (1) to (3), wherein information for display is output.
  • the second planar or three-dimensional object includes a line defining a court, a field, or a course, and the subject arranged at a predetermined position on the court, the field, or the course.
  • the information processing apparatus including: (6)
  • the composition specifying information output unit outputs information specifying the composition of the image so that at least three points in the vicinity of the subject are arranged at predetermined positions in the image.
  • the information processing apparatus according to any one of (5) to (5).
  • the information processing apparatus according to any one of (1) to (6), wherein the subject includes a player arranged on a court or a field and a ball released by the player's play.
  • the composition specifying information output unit outputs information specifying the composition of the image so that the ball is positioned within the angle of view of the image for a predetermined time after the play.
  • the angle of view estimation unit estimates the angle of view of the image based on a position change in the image of an object falling through a trajectory including the at least two points. ).
  • the subject includes a flying object, The information processing apparatus according to any one of (1) to (9), further including an image analysis unit that estimates a speed of the flying object based on an image acquired according to the composition. .
  • the subject includes an object that rotates. The information processing apparatus according to any one of (1) to (10), further including an image analysis unit that estimates a rotation speed of the object based on an image acquired according to the composition. .
  • the subject includes an object that performs a parabolic motion,
  • the information processing apparatus according to any one of (1) to (11), further including an image processing unit that estimates a positional change amount of the object that moves parabola based on an image acquired according to the composition.
  • the information processing apparatus described. (13) a function of estimating an angle of view of the image based on positions in an image acquired by an imaging device of at least two points whose positional relationship in real space is known; Stored is a program for causing a computer to realize a function of outputting information specifying the composition of the image so that the positional relationship between the subject and the imaging device defined according to the angle of view is satisfied. recoding media.
  • the processor estimates an angle of view of the image based on positions in an image acquired by the imaging device of at least two points whose positional relationship in the real space is known; Outputting information specifying the composition of the image so that the positional relationship between the subject and the imaging device defined according to the angle of view is satisfied.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)

Abstract

【課題】撮像装置によって取得される画像の構図を指定することによって、有効な解析が可能な画像を簡便に入手する。 【解決手段】実空間での位置関係が既知である少なくとも２つの点の、撮像装置によって取得された画像での位置に基づいて上記画像の画角を推定する画角推定部と、上記画角に応じて規定される、被写体と上記撮像装置との位置関係が満たされるように、上記画像の構図を指定する情報を出力する構図指定情報出力部とを備える情報処理装置が提供される。

Description

情報処理装置、記録媒体および情報処理方法
　本開示は、情報処理装置、記録媒体および情報処理方法に関する。
　これまでに、センシングや解析を利用して、ユーザの運動を支援する技術が多く開発されてきている。かかる技術として、例えば、テニス、バドミントン、卓球、ゴルフ、野球など、打具を用いてボールを打つスポーツにおいて、ボールが打具にヒットした回数やヒットした位置を検出し、ユーザに情報として呈示するものがある。このような技術の例として、例えば特許文献１には、テニスラケットの打面やその周辺にセンサを配置し、打面にボールがヒットしたことを検出してその回数や位置をユーザに通知する技術が記載されている。
特開昭５９－１９４７６１号公報
　上記の特許文献１に記載の技術では、テニスラケットの打面上の各位置に対応して多数のセンサが配置される。これによって、打面にボールがヒットした回数のみならず打面のどこにボールがヒットしたかをも検出することが可能である。しかしながら、このような多数のセンサは、ユーザが打具を購入後に取付けるには手間がかかりすぎる。予めセンサが組み込まれた打具を販売してもよいが、打具の価格が上昇し、またユーザは打具の買い替えがしづらくなる。また、数千分の１のフレームレートで撮影可能なハイスピードカメラを利用してボールが衝突する瞬間を撮影し、ボールがヒットした位置を画像から確認する方法も考えられるが、ハイスピードカメラは高価であり、また操作も煩雑であるため、ユーザが手軽に利用することは難しい。
　一方、デジタルカメラや、スマートフォンなどの端末装置に搭載されたカメラを使用して、プレー中の画像を撮影することも一般的になってきている。しかしながら、このようなカメラを使用した画像は、フレームレートが低く、またユーザやボールに対して一定した構図で撮影されるわけではないため、例えば上記のハイスピードカメラを用いて撮影された画像と同様の解析を実施することは困難である。
　そこで、本開示では、撮像装置によって取得される画像の構図を指定することによって、有効な解析が可能な画像を簡便に入手することを可能にする、新規かつ改良された情報処理装置、記録媒体および情報処理方法を提案する。
　本開示によれば、実空間での位置関係が既知である少なくとも２つの点の、撮像装置によって取得された画像での位置に基づいて上記画像の画角を推定する画角推定部と、上記画角に応じて規定される、被写体と上記撮像装置との位置関係が満たされるように、上記画像の構図を指定する情報を出力する構図指定情報出力部とを備える情報処理装置が提供される。
　また、本開示によれば、実空間での位置関係が既知である少なくとも２つの点の、撮像装置によって取得された画像での位置に基づいて上記画像の画角を推定する機能と、上記画角に応じて規定される、被写体と上記撮像装置との位置関係が満たされるように、上記画像の構図を指定する情報を出力する機能とをコンピュータに実現させるためのプログラムが格納された記録媒体が提供される。
　また、本開示によれば、プロセッサが、実空間での位置関係が既知である少なくとも２つの点の、撮像装置によって取得された画像での位置に基づいて上記画像の画角を推定することと、上記画角に応じて規定される、被写体と上記撮像装置との位置関係が満たされるように、上記画像の構図を指定する情報を出力することとを含む情報処理方法が提供される。
　以上説明したように本開示によれば、撮像装置によって取得される画像の構図を指定することによって、有効な解析が可能な画像を簡便に入手することができる。
　なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態に係るシステム構成の例を示す図である。 本開示の一実施形態に係るシステムの概略的な装置構成を示すブロック図である。 本開示の一実施形態における処理部の構成を示す概略的なブロック図である。 本開示の一実施形態における画角の推定について説明するための図である。 本開示の一実施形態における画角の推定の処理の例を示すフローチャートである。 本開示の一実施形態における構図の指定について説明するための図である。 本開示の一実施形態におけるガイドの表示について説明するための図である。 本開示の一実施形態における構図の指定の処理の例を示すフローチャートである。 本開示の一実施形態において、構図の指定のために表示される画像の例を示す図である。 本開示の一実施形態における処理部のさらなる構成要素を示す概略的なブロック図である。 本開示の一実施形態における録画の制御の例について説明するための図である。 本開示の一実施形態における解析区間とは異なる区間の画像再生の例について説明するための図である。 本開示の一実施形態における解析中の画像表示の第１の例を示す図である。 本開示の一実施形態における解析中の画面表示の第２の例を示す図である。 本開示の一実施形態における解析中の画面表示の第３の例を示す図である。 本開示の実施形態に係るセンサ装置のハードウェア構成の例を示す図である。 本開示の実施形態に係る解析装置のハードウェア構成の例を示す図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　なお、説明は以下の順序で行うものとする。
　１．システム構成
　２．処理部の構成
　　２－１．画角推定部
　　２－２．構図指定情報出力部
　　２－３．画像解析部
　３．処理部のさらなる構成要素
　　３－１．センサデータを利用した録画の制御
　　３－２．解析区間とは異なる区間の画像再生
　　３－３．解析中の画像表示
　　３－４．解析結果の表示
　４．ハードウェア構成
　５．補足
　（１．システム構成）
　図１は、本開示の一実施形態に係るシステム構成の例を示す図である。図１を参照すると、システム１０は、センサ装置１００と、スマートフォン２００と、サーバ３００とを含む。
　センサ装置１００は、テニスのラケットＲに装着される。センサ装置１００は、例えば振動センサを備え、ラケットＲにボールが衝突したことによってラケットＲに発生する振動を検出する。振動センサによって取得された振動データは、例えばＢｌｕｅｔｏｏｔｈ（登録商標）などの無線通信によってスマートフォン２００に送信される。また、センサ装置１００は、加速度センサや角速度センサ、地磁気センサなど（例えば９軸モーションセンサ）を備え、ラケットＲの加速度や角速度、傾きなどを検出してもよい。これらのセンサによって取得されたデータも、無線通信によってスマートフォン２００に送信される。
　スマートフォン２００は、センサ装置１００から送信されたデータを受信する。スマートフォン２００は、受信したデータに基づいて解析処理を実行してもよい。この場合、スマートフォン２００は、解析結果をユーザに向けて出力するとともに、サーバ３００にアップロードしてもよい。あるいは、スマートフォン２００は、受信したデータをサーバ３００に転送してもよい。この場合、スマートフォン２００は、サーバ３００で実行された解析処理の結果を受信し、ユーザに向けて出力してもよい。
　また、図示された例において、スマートフォン２００は、テニスをプレーしているユーザを被写体として含む画像を取得することが可能なカメラを備える。後述するように、本実施形態では、カメラによって取得される画像の構図を指定する情報が出力されるが、この出力はスマートフォン２００によって実行されうる。例えば、スマートフォン２００のディスプレイには、カメラによって撮像されている画像がスルー画像として表示され、スルー画像に構図を指定する情報が重畳表示されてもよい。このような情報の具体的な例については後述する。なお、スマートフォン２００は、撮像機能および出力機能を備える他の装置、例えばタブレット端末やデジタルカメラなどによって代替されてもよい。スマートフォン２００は、例えば自ら撮像画像を解析することによって構図を指定する情報を生成してもよいし、構図を指定する情報を生成するための処理をサーバ３００に依頼してもよい。
　なお、別の例では、画像の構図を指定する情報を出力するスマートフォン２００のような端末装置と、画像を取得する撮像装置とが別個の装置であってもよい。例えば、システム１０はスマートフォン２００とは別にデジタルカメラを含み、デジタルカメラによって取得される画像の構図を指定する情報がスマートフォン２００を介して生成されてもよい。この場合、デジタルカメラからは、取得された画像（例えばスルー画像）のデータがスマートフォン２００に送信され、スマートフォン２００は画像の解析によって構図を指定する情報を生成する。あるいは、スマートフォン２００は画像のデータをさらにサーバ３００に転送し、構図を指定する情報の生成を依頼する。生成された情報はスマートフォン２００によって出力されるか、スマートフォン２００からデジタルカメラに送信されてデジタルカメラから出力される。スマートフォン２００自体が、情報処理機能を有するデジタルカメラによって代替されうることは上述の通りである。
　サーバ３００は、スマートフォン２００とネットワークを介して通信し、センサ装置１００において取得されたデータの解析結果またはデータそのものを受信する。また、サーバ３００は、スマートフォン２００から撮像された画像のデータを受信してもよい。サーバ３００は、スマートフォン２００からアップロードされた解析結果、または自ら算出した解析結果を保存し、必要に応じてスマートフォン２００などのユーザが使用する端末装置に送信する。また、サーバ３００は、解析結果またはデータを提供したユーザ以外のユーザが使用する端末装置に解析結果を送信し、解析結果をユーザ間で共有することを可能にしてもよい。
　図２は、本開示の一実施形態に係るシステムの概略的な装置構成を示すブロック図である。図２を参照すると、システム１０は、センサ装置１００と、スマートフォン２００と、サーバ３００とを含む、なお、それぞれの装置を実現する情報処理装置のハードウェア構成例については後述する。
　センサ装置１００は、センサ１１０と、処理部１２０と、送信部１３０とを備える。センサ１１０は、例えば振動センサ、角速度センサ、角速度センサ、および／または地磁気センサなど（例えば９軸モーションセンサ）を含む。処理部１２０は、例えばＣＰＵなどのプロセッサによって実現され、センサ１１０によって取得されたデータを処理する。処理部１２０による処理は、例えばサンプリングやノイズ除去などの前処理であってもよいし、解析処理を含んでもよい。送信部１３０は、通信装置によって実現され、例えばＢｌｕｅｔｏｏｔｈ（登録商標）などの無線通信を利用してデータをスマートフォン２００に送信する。
　スマートフォン２００は、受信部２１０と、処理部２２０と、記憶部２３０と、送信部２４０と、撮像部２５０と、入力部２６０と、出力部２７０とを備える。受信部２１０は、通信装置によって実現され、センサ装置１００からＢｌｕｅｔｏｏｔｈ（登録商標）などの無線通信を利用して送信されたデータを受信する。さらに、受信部２１０は、ネットワーク通信を利用してサーバ３００から送信されたデータを受信してもよい。処理部２２０は、例えばＣＰＵなどのプロセッサによって実現され、受信されたデータを処理する。例えば、処理部２２０は、受信されたデータを一時的に記憶部２３０に蓄積した後に、送信部２４０を介してサーバ３００に送信してもよい。また、処理部２２０は、受信または取得されたデータの解析を実行してもよい。記憶部２３０は、例えばメモリやストレージによって実現される。送信部２４０は、通信装置によって実現され、例えばインターネットなどのネットワーク通信を利用して音声データ（または解析後のデータ）をサーバ３００に送信する。
　撮像部２５０は、例えば撮像素子にレンズなどの光学系を組み合わせたカメラモジュールによって実現され、テニスをプレーしているユーザを被写体として含む画像を取得する。撮像部２５０は、例えば撮像された画像を起動中は継続的に処理部２２０に提供する。処理部２２０は、提供された画像をスルー画像として出力部２７０に含まれるディスプレイに表示させ、静止画像または動画像の撮影が実行された場合には画像データを記憶部２３０に格納する。
　入力部２６０は、スマートフォン２００に対するユーザの操作入力を受け付ける。入力部２６０は、例えばディスプレイ上に設けられるタッチパネルやハードウェアボタンなどの入力装置を含んでもよいし、ユーザの音声を操作入力として受け付けるためのマイクロフォンや、ユーザのジェスチャを操作入力として受け付けるためのカメラまたはセンサなどを含んでもよい。出力部２７０は、スマートフォン２００にユーザに向けてさまざまな情報を出力する。出力部２７０は、例えばディスプレイやスピーカなどを含む。出力部２７０は、例えば、撮像部２５０によって取得される画像の構図を指定する情報を出力する。
　サーバ３００は、受信部３１０と、処理部３２０と、記憶部３３０と、送信部３４０とを備える。受信部３１０は、通信装置によって実現され、スマートフォン２００からインターネットなどのネットワーク通信を利用して送信されたデータを受信する。処理部３２０は、例えばＣＰＵなどのプロセッサによって実現され、受信されたデータを処理する。例えば、処理部３２０は、受信されたデータの処理の解析処理を実行し、解析後のデータをさらに記憶部３３０に蓄積したり、送信部３４０を介して出力したりしてもよい。あるいは、処理部３２０は、スマートフォン２００などにおいて既に解析されたデータの蓄積および出力の制御を実行するだけであってもよい。
　（２．処理部の構成）
　図３は、本開示の一実施形態における処理部の構成を示す概略的なブロック図である。図３を参照すると、本実施形態に係る処理部は、画角推定部５１０と、構図指定情報出力部５２０とを含む。処理部は、さらに、画像解析部５３０を含んでもよい。
　ここで、画角推定部５１０、構図指定情報出力部５２０、および画像解析部５３０は、例えば、上記で図２を参照して説明したシステム１０において、スマートフォン２００の処理部２２０、またはサーバ３００の処理部３２０において実現される。処理部の全体が単一の装置において実現されてもよいし、１または複数の構成要素がそれぞれ別の装置に分散して実現されてもよい。
　（２－１．画角推定部）
　画角推定部５１０は、実空間での位置関係が既知である少なくとも２つの点の、撮像装置によって取得された画像での位置関係に基づいて画像の画角を推定する。この点について、図４および図５を参照してさらに説明する。
　図４は、本開示の一実施形態における画角の推定について説明するための図である。図４には、スマートフォン２００の撮像部２５０（撮像装置）と、撮像部２５０によって取得される画像の２つの画角Ａ１，Ａ２とが示されている。画角Ａ１，Ａ２は互いに異なり、画角Ａ１の方が画角Ａ２よりも広い。このような画角の相違は、例えば撮像装置を構成する撮像素子やレンズを含む光学系の配置によって生じる。また、同じ撮像装置であっても、例えば画像の解像度を変更したり、アスペクト比を変更したり、ズーム操作をしたりすれば、画角は変化する。
　例えば、画角推定部５１０は、撮像部２５０と同じスマートフォン２００において処理部２２０によって実現されうるが、その場合であっても、上記のような設定情報のすべてを撮像部２５０から内部的に取得することが容易ではない。画角推定部５１０が実現される装置と撮像装置とが別個である場合はなおさら、画角を規定する上記のような設定情報のすべてを取得することは容易ではない。
　そこで、本実施形態では、画角推定部５１０が、テニスコートのサイドラインとネットとの交点Ｐ１，Ｐ４と、シングルス用のサイドラインとネットとの交点Ｐ２，Ｐ３の画像内での位置に基づいて、画像の画角を推定する。これらの点Ｐ１～Ｐ４は、ルールに従って規定されたテニスコート上の点であるため、その位置関係は既知である。それゆえ、例えば、撮像装置（撮像部２５０）を所定の位置（例えばテニスコートのベースラインの中央上）に配置した上で点Ｐ１～Ｐ４の方向の画像を撮像すれば、画像における点Ｐ１～Ｐ４の位置に基づいて、画像の画角を推定することができる。
　より具体的には、例えば、撮像された画像の右端に近い部分に点Ｐ１，Ｐ２が、左端に近い部分に点Ｐ３，Ｐ４がそれぞれ映っている場合、画角推定部５１０は、画角がＡ１に近いことを推定できる。また、撮像された画像の右端に近い部分に点Ｐ２が、左端に近い部分に点Ｐ３が映っていて、点Ｐ１，Ｐ４は画像に映っていない場合、画角推定部５１０は、画角がＡ２に近いことを推定できる。点Ｐ２と点Ｐ３との間の距離が既知であることから、少なくとも点Ｐ２と点Ｐ３とが画像に含まれれば、画角を推定することが可能である。ただし、点Ｐ１～Ｐ４のすべてが画像に含まれる方が、推定の精度は高くなる。
　図５は、本開示の一実施形態における画角の推定の処理の例を示すフローチャートである。図５を参照すると、まず、画角推定部５１０は、スマートフォン２００の出力部２７０に含まれるディスプレイに、スルー画像を表示させる（Ｓ１０１）。スルー画像は、撮像部２５０、または他の撮像装置によって取得された実空間の画像である。なお、スルー画像は、Ｓ１０１に先立って既に表示されていてもよい。次に、画角推定部５１０は、ディスプレイに表示されたスルー画像に、画角推定のためのマークを重畳表示させる（Ｓ１０３）。画角推定のためのマークは、例えば上記の例における点Ｐ１～Ｐ４に対応する円や十字線などの図形である。
　ここで、ユーザが、撮像装置を所定の位置に配置する（Ｓ１０５）。上記の例であれば、ユーザは、テニスコートのベースラインの中央で、ネットの方を向けて撮像装置（撮像部２５０を含むスマートフォン２００、または他の撮像装置）を配置する。さらに、ユーザは、スマートフォン２００の入力部２６０に含まれるディスプレイ上のタッチパネルを操作して、Ｓ１０３において重畳表示されたマークを移動させ、スルー画像内での所定の点に一致させる（Ｓ１０７）。例えば、上記の例における点Ｐ１～Ｐ４の場合であれば、ユーザは、ディスプレイに表示された４つのマークを、それぞれサイドラインおよびシングルス用のサイドラインとネットとの４つの交点に一致させる。
　次に、画角推定部５１０は、スルー画像における所定の点の位置と、ユーザによって移動されたマークの位置とが一致したか否かを判定する（Ｓ１０９）。ここで、画角推定部５１０がスルー画像における所定の点の位置を画像解析によって特定可能ではない場合、タッチパネルなどの入力部２６０を介したユーザの操作に基づいて、所定の点の位置とマークの位置とが一致したことが判定されてもよい。また、画角推定部５１０がスルー画像における所定の点の位置を画像解析によって特定可能である場合、画角推定部５１０は所定の点の位置とマークの位置とが一致したことを自動的に判定し、一致したと判定された場合にユーザに対して画角を確定してよいかを確認するダイアログなどを出力してもよい。
　あるいは、画角推定部５１０がスルー画像における所定の点の位置を画像解析によって特定可能である場合、画角推定部５１０はＳ１０７のユーザの操作を代行し、自動的にマークを移動させてもよい。この場合、例えば、Ｓ１０５でユーザの撮像装置を所定の位置に配置した時点で入力部２６０を介して画角特定を開始させるためのユーザ操作が実行され、Ｓ１０７以降のステップがすべて自動的に実行されてもよい。あるいは、Ｓ１０７において自動的に移動されたマークの位置とスルー画像における所定の点の位置との関係をユーザが確認し、これらの位置が一致していると認められた場合に、Ｓ１０９で位置が一致したことを示すユーザ操作を実行してもよい。
　Ｓ１０９において、スルー画像における所定の点の位置と重畳表示されたマークの位置とが一致したと判定された場合、画角推定部５１０は、画像の横幅の実空間における距離を算出する（Ｓ１１１）。例えば、上記の例における点Ｐ１～Ｐ４の場合であれば、点Ｐ１～Ｐ４の相互間の実空間での距離と、画像内でのこれらの点の相互間の距離とを比較することにより、点Ｐ１～Ｐ４を含む面における、画像の実空間に対する縮尺を算出することができる。これにより、当該面における画像の横幅の実空間における距離を算出することができる。この算出結果は、例えば、画像における１ピクセルを実空間の距離単位（例えばメートル）に換算するための係数として表現されてもよい。
　次に、画角推定部５１０は、撮像装置の位置から所定の点までの距離に基づいて画角を推定する（Ｓ１１３）。Ｓ１０５において、撮像装置は所定の位置、より具体的には例えばテニスコートのベースラインの中央に配置されている。従って、点Ｐ１～Ｐ４を含む面と撮像装置との間の距離は既知である。それゆえ、画角推定部５１０は、例えば図４に示された画角Ａ１，Ａ２のような形で画像の画角を推定することが可能になる。画角が推定されると、撮像装置が、実空間においてどこまでの範囲を画像に収めることができるかを判定することができる。
　以上、画角推定部５１０が画像の画角を推定する処理について説明した。本実施形態では、このようにして、画角推定部５１０が、実空間の位置関係が既知である２つの点の、撮像装置によって取得された画像での位置に基づいて画像の画角を推定する。画角推定部５１０は、少なくとも２つの点を含む第１の平面的または立体的なオブジェクトの像（例えば、上記の例におけるテニスコートとネットを含む像）の画像での位置に基づいて画像の画角を推定してもよい。ここで、第１の平面的または立体的なオブジェクトは、コート、フィールド、またはコース（例えば上記の例におけるテニスコート）を規定する線を含んでもよい。
　また、他の例として、画角推定部５１０は、少なくとも２つの点を含む軌道を通って落下するオブジェクト（例えばボール）の画像での位置変化に基づいて画像の画角を推定してもよい。よく知られている通り、落下するオブジェクト（投げ上げられて見かけ上は上に向かっているものを含む）には、オブジェクトの質量や形状に関わらず同じ重力加速度が作用しているため、同じ初速であれば時間ごとの位置変化は同じになる。従って、例えば、オブジェクトの初速が既知であれば落下中の２つの時点、初速が未知であれば落下中の３つの時点の間での画像におけるオブジェクトの位置の変化量を測定すれば、上記の例と同様にして、オブジェクトの落下軌道を含む面における画像の実空間に対する縮尺を算出することができ、さらに撮像装置の位置からのオブジェクトの落下軌道までの距離に基づいて画像の画角を推定することができる。
　さらに、他の例として、画角推定部５１０は、共通する少なくとも２つの点を含む画像を３つ以上の異なる位置から撮像することによって、撮像装置によって取得される画像の画角を推定してもよい。上記の例では、位置関係が既知である少なくとも２つの点を含む画像を、これらの点との位置関係が既知である位置から撮像することによって、単一の画像から画角が推定された。これに対して、位置関係が既知である少なくとも２つの点との位置関係が未知であっても、これらの点を共通して含む画像を３つ以上の異なる位置から撮像すれば、三角測量の原理により、それぞれの撮像位置の関係を算出することができ、さらに画像の画角を推定することができる。
　（２－２．構図指定情報出力部）
　再び図３を参照して、構図指定情報出力部５２０は、画角推定部５１０によって推定された画角に応じて規定される、被写体と撮像装置との位置関係が満たされるように、画像の構図を指定する情報を出力する。この点について、図６～図９を参照してさらに説明する。
　図６は、本開示の一実施形態における構図の指定について説明するための図である。図６には、スマートフォン２００の撮像部２５０（撮像装置）と、撮像部２５０によって取得される画像の画角Ａに含まれるプレーヤＰおよびボールＢとが示されている。図示された例において、撮像部２５０によって取得される画像は、プレーヤＰがボールＢを打つプレー（例えばテニスのサーブ）を解析するために利用される。
　構図指定情報出力部５２０は、上記のような解析のために最適化された構図で画像を撮像するための情報を出力する。以下、最適化された構図について、テニスのサーブの場合を例として説明するが、他のプレー、他の球技、およびスポーツ以外の他の動作についても同様に構図が最適化されうる。
　例えば、構図は、（１）トス中のボールが映るように最適化される。より具体的には、プレーヤＰによってトスされたボールＢがフレームアウトしないように、プレーヤＰをなるべく画像の下側に配置し、画像上方の空間を広くとる。
　また、例えば、構図は、（２）ボールのインパクトポイントが映るように最適化される。より具体的には、プレーヤＰがラケットでボールＢを打つことが想定されるプレーヤＰの近傍を画像に収める。
　また、例えば、構図は、（３）インパクト後のボールがある程度の時間にわたって映るように最適化される。より具体的には、インパクト後のボールＢが画角内を移動する距離（図６に示す距離Ｄ）がなるべく長く、または所定の距離以上になるように、プレーヤＰを画像の右側（図示された例のように右から左に打つ場合）に配置する。例えば、インパクト後のボールＢの速度などを画像の解析に基づいて算出する場合、ある程度の数のフレームにわたってインパクト後のボールが映っていることが望ましいため、この観点からの最適化は重要である。
　また、例えば、構図は、（４）インパクト後のボールの移動方向に対する角度が直角に近づくように最適化される。より具体的には、インパクト後のボールの予想される平均的な軌道に対する撮像部２５０の角度を直角に近づける。例えば、インパクト後のボールＢの移動方向に対する角度が直角に近づくほど、フレーム間でのボールＢのトラッキングがしやすくなり、速度の算出の精度も向上する。
　例えば上記のように最適化された構図は、画像の画角によって異なりうる。例えば、構図指定情報出力部５２０が、画像の中でプレーヤＰが配置されるべき位置をスルー画像への重畳表示などによって指定したとしても、画像の画角が異なれば、必ずしも上記の（１）～（４）のような最適化が実現されるとは限らない。例えば、ある画角の画像で上記の（３）および（４）を実現した構図を、そのまま画角が異なる他の画像、例えば横幅がより狭い画像に適用すると、画像の横幅が狭まったことによって図６に示す距離Ｄが小さくなり、（３）が実現されなくなってしまう可能性がある。このような場合、後者の画像では、例えば（４）をある程度犠牲にした上で（ボールの移動方向に対して角度がついてしまうことを容認した上で）、（３）を実現することが望ましいと考えられる。
　以上のような理由により、本実施形態において、構図指定情報出力部５２０は、出力する情報によって指定される構図を、画角推定部５１０によって推定された画角に応じて決定する。構図は、例えば、画角の範囲（例えば画像の横幅の距離に応じて設定される）ごとに予め用意されていてもよいし、推定された画角に応じて算出されてもよい。構図は、例えば、画像におけるプレーヤＰの立ち位置と、地面に対する撮像部２５０の角度によって表現される。
　図７は、本開示の一実施形態におけるガイドの表示について説明するための図である。図７には、スルー画像ＰＩＣ１，ＰＩＣ２においてそれぞれ表示されるガイドが示されている。図示された例において、ガイドは、ガイド線Ｇ（Ｇ１，Ｇ２）と、プレーヤの立ち位置ＰＳ（ＰＳ１，ＰＳ２）とを含む。
　上記のように、例えばスマートフォン２００の出力部２７０に含まれるディスプレイに表示されるスルー画像ＰＩＣには、ガイド線Ｇと、プレーヤ立ち位置ＰＳとが重畳表示される。ユーザがスマートフォンを移動させ、立ち位置ＰＳをプレーヤＰの足元に、ガイド線Ｇをテニスコートのラインにそれぞれ重ね合わせることによって、構図指定情報出力部５２０によって指定された構図が実現される。ガイド線Ｇとプレーヤ立ち位置ＰＳとを含むガイドは、構図指定情報出力部５２０によって出力される、画像の構図を指定する情報の一例である。
　ここで、図示された例において、スルー画像ＰＩＣ１とスルー画像ＰＩＣ２とは、それぞれ画角が異なる画像である。従って、上述のように、それぞれの画像において実現されるべき構図は異なる。それゆえ、スルー画像ＰＩＣ１において表示されるガイド線Ｇ１および立ち位置ＰＳ１と、スルー画像ＰＩＣ２において表示されるガイド線Ｇ２および立ち位置ＰＳ２とは、互いに異なる。より具体的には、立ち位置ＰＳ１の画像左下端を基準にした座標が（１００，４００）であるのに対し、立ち位置ＰＳ２の画像左下端を基準にした座標は（８０，３８０）である。また、ガイド線Ｇ１よりもガイド線Ｇ２の方が、画像の水平方向に対して傾いている。
　このように異なるガイドが表示されることによって、スルー画像ＰＩＣ１とスルー画像ＰＩＣ２とのそれぞれの場合において、プレーヤＰの立ち位置やコートのラインをガイドに合わせた場合、撮像部２５０（撮像装置）の位置および角度は異なりうる。このようにして、構図指定情報出力部５２０は、画像の画角が異なるそれぞれの場合において、それぞれの画角に適応したより適切な構図を実現することができる。
　図８は、本開示の一実施形態における構図の指定の処理の例を示すフローチャートである。図８を参照すると、まず、構図指定情報出力部５２０は、画角推定部５１０によって推定された画像の画角に応じて構図を決定する（Ｓ２０１）。構図は、例えば上述の（１）～（４）のような観点から最適化されたものでありえ、画角ごとに予め用意されたものから選択されてもよいし、画角に応じてその都度算出されてもよい。次に、構図指定情報出力部５２０は、画角と構図とに基づいて、スルー画像に重畳して表示させるガイドの座標を算出する（Ｓ２０３）。
　次に、構図指定情報出力部５２０は、スマートフォン２００の出力部２７０に含まれるディスプレイに、スルー画像を表示させる（Ｓ２０５）。スルー画像は、撮像部２５０、または他の撮像装置によって取得された実空間の画像である。なお、スルー画像は、Ｓ２０５に先立って既に表示されていてもよい。さらに、構図指定情報出力部５２０は、ディスプレイに表示されたスルー画像に、Ｓ２０３において算出された座標に従ってガイドを重畳表示させる（Ｓ２０７）。ガイドは、例えば上記の図７の例に示したように、プレーヤの立ち位置ＰＳと、ガイド線Ｇとを含んでもよい。
　ここで、ユーザが、ガイドの表示に従って、撮像装置を所定の位置に配置する（Ｓ２０９）。上記のように最適な構図は画角ごとに異なるが、撮像装置が配置されるべきおおよその位置は同じである（例えば、図６に示した撮像部２５０の位置）。そこで、図示された例のように、まずはユーザが撮像装置を画角に関わらず所定の位置に配置し、その後、スルー画像に重畳して表示されているガイドを利用して撮像装置の位置や姿勢を微調整する（Ｓ２１１）手順を採用してもよい。上記の図７の例であれば、ユーザ（撮影者）は、図６に示した撮像部２５０の位置に立った上で、ディスプレイに立ち位置ＰＳがプレーヤの足元に一致し、ガイド線Ｇがコートのラインに重なるように、撮像装置の位置および姿勢を微調整してもよい。
　次に、構図指定情報出力部５２０は、スルー画像に表示されたガイドと、ガイドに対応するオブジェクトとが重なり合ったか否かを判定する（Ｓ２１３）。ここで、構図指定情報出力部５２０がスルー画像におけるオブジェクトの位置や形状を画像解析によって特定可能ではない場合、タッチパネルなどの入力部２６０を介したユーザの操作に基づいて、ガイドとオブジェクトとが重なり合ったことが判定されてもよい。また、構図指定情報出力部５２０がスルー画像におけるオブジェクトの位置や形状を画像解析によって特定可能である場合、構図指定情報出力部５２０はガイドとオブジェクトとが重なり合ったことを自動的に判定し、重なり合ったと判定された場合にユーザに対して構図を確定してよいかを確認するダイアログなどを出力してもよい。Ｓ２１３において、ガイドとオブジェクトとが重なり合っていると判定された場合、構図を指定する処理は終了し、例えば画像の撮像および解析の処理が開始される。
　図９は、本開示の一実施形態において、構図の指定のために表示される画像の例を示す図である。図９には、例えばスマートフォン２００の出力部２７０に含まれるディスプレイに表示される画像１１００が示されている。画像１１００では、テニスコートのどちら側でサーブを打つプレーヤを撮像するかを指定するためのユーザインターフェースが表示されている。構図指定情報出力部５２０は、例えば、このようなユーザインターフェースを介して入力された情報に基づいて、指定する構図、および該構図を実現するために表示させる情報を選択する。なお、例えば、図示された例において、左側（Left　side）を選択した場合と右側（Right　side）を選択した場合とでは、構図指定情報出力部５２０によって表示されるガイドの左右が反転しうる。
　以上、構図指定情報出力部５２０が画像の構図を指定する情報を出力する処理について説明した。本実施形態では、このようにして、構図指定情報出力部５２０が、画像の画角に応じて規定される、被写体と撮像装置との位置関係が満たされるように、画像の構図を指定する情報を出力する。構図指定情報出力部５２０は、撮像装置（撮像部２５０）によって取得されるスルー画像において視認される第２の平面的または立体的なオブジェクト（例えば、上記の例におけるプレーヤやコートのライン）に重ね合わせることによって指定された構図が実現されるガイドを表示させるための情報を出力してもよい。ここで、第２の平面的または立体的なオブジェクトは、コート、フィールド、またはコース（例えば上記の例におけるテニスコート）を規定する線と、コート、フィールド、またはコース上の所定の位置に配置された被写体（例えば上記の例におけるプレーヤ）とを含んでもよい。
　また、構図指定情報出力部５２０は、被写体の近傍の少なくとも３つの点が画像で所定の位置に配置されるように、画像の構図を指定する情報を出力してもよい。上記の例のように、撮像装置（撮影者）の空間における位置が特定されている場合には、２つの点を画像で所定の位置に配置すれば画像の構図が指定できる。また、撮像装置（撮影者）の空間における位置が特定されていない場合であっても、３つの点を画像で所定の位置に配置させることによって、撮像装置（撮影者）の空間における位置を特定した上で、適切な画像の構図を指定することができる。また、被写体は、コートまたはフィールドに配置されたプレーヤと、該プレーヤのプレー（例えば上記の例におけるテニスのサーブ）によって放たれた（打たれた場合、投げられた場合、蹴られた場合などを含む）ボールとを含んでもよい。この場合、構図指定情報出力部５２０は、当該プレー後の所定の時間、ボールが画像の画角内に位置するように、画像の構図を指定する情報を出力してもよい（例えば、上記の例の（３）に示した構図の最適化）。
　また、他の例として、構図指定情報出力部５２０は、ディスプレイへの表示以外の方法によって、画像の構図を指定する情報を出力してもよい。例えば、構図指定情報出力部５２０は、音声によって、画像の構図を指定する情報を出力してもよい。この場合、例えば、構図指定情報出力部５２０は、スルー画像におけるオブジェクトの位置や形状を画像解析によって特定し、ガイドとオブジェクトとのずれ量を算出する。さらに、構図指定情報出力部５２０は、ずれ量に基づいて、「少し右に移動してください」「少し左に振ってください」などの指示を、例えばスマートフォン２００の出力部２７０に含まれるスピーカから音声によって出力させてもよい。また、例えば屋内などで撮影を実行する場合には、プロジェクタまたはレーザーポインタなどを使用して、実空間にガイドを投影させてもよい。
　また、さらに他の例として、構図指定情報出力部５２０は、撮像部２５０（撮像装置）が固定されておらず移動する場合に、画像の構図を指定する情報を出力してもよい。例えば、後述する画像解析部５３０による解析のためには、解析に必要な範囲、例えばテニスのサーブの場合であればプレーヤの近傍とその上方、およびボールが打ち出される方向の空間が画像に含まれていればよく、必ずしも撮像部２５０は固定されていなくてよい。この場合、画像解析部５３０は、例えばプレーヤの立ち位置やテニスコートのラインなどを基準にして撮像部２５０の空間位置や姿勢の変化を算出し、これらに基づいて取得された画像を補正して解析に使用することができる。撮像部２５０が移動する場合、構図指定情報出力部５２０は、撮像部２５０がある程度移動したとしても必要な範囲の画像が取得できるように、所定のマージンを含めて画像の構図を指定する情報を出力してもよい。
　（２－３．画像解析部）
　再び図３を参照して、画像解析部５３０は、構図指定情報出力部５２０が出力した情報によって指定された構図に従って取得された画像について画像解析を実行する。この画像解析によって、例えば、被写体が飛行するオブジェクトを含む場合には、オブジェクトの速度が推定される。また、被写体が自転するオブジェクトを含む場合には、オブジェクトの自転速度が推定されてもよい。被写体が放物運動するオブジェクトを含む場合には、オブジェクトの位置変化量が推定されてもよい。これらの例におけるオブジェクトは、例えばスポーツのプレーにおいて放たれた（打たれた、投げられた、または蹴られた）ボールでありうる。ボールの場合、上記の推定は、ボールスピードの推定、ボールスピンの推定、およびボールがトスされた高さの推定と解釈されてもよい。
　このような画像解析は、例えば、取得される画像のフレームレートや解像度が十分に高いような場合には可能であることが知られている。しかし、例えばデジタルカメラやスマートフォンに搭載されたカメラによって取得された画像を用いてこのような画像解析を実行することは困難である。例えば、オブジェクトがフレームレートに対して大きな速度で飛行している場合、少ないフレーム数でオブジェクトがフレームアウトしてしまうと、速度などを算出することは困難である。また、オブジェクトがどのような軌跡で飛行するかが未知であると、画像の全体でオブジェクトを探索しなければならないため、フレーム間でのトラッキングなどの処理が困難である。
　これに対して、本実施形態では、画角推定部５１０が推定した構図に応じて構図指定情報出力部５２０が指定した最適化された構図に従って取得された画像が、画像解析部５３０における解析の対象になる。それゆえ、例えば、プレーヤのプレーによって放たれたオブジェクト（ボール）が所定の時間（所定のフレーム数）にわたって画像の画角内に位置するように構図を設定することが可能であり、オブジェクトがインパクトの後早々にフレームアウトしてしまうことを防ぐことができる。また、構図が予め特定されていることによって、画像におけるオブジェクトの軌跡が予測可能であるため、探索の範囲を絞り込むことができ、例えば精度の高いトラッキングなどの処理が可能である。
　このように、本実施形態では、撮像装置によって取得される画像の構図を指定することによって、例えばデジタルカメラやスマートフォンに搭載されたカメラによって取得された画像を用いて有効な解析を実施することが可能になりうる。なお、画像解析の具体的な手法については、これまでフレームレートや解像度が十分に高い画像を対象にして実施されてきた手法を応用することが可能であるため、ここでは詳細な説明を省略する。
　（３．処理部のさらなる構成要素）
　図１０は、本開示の一実施形態における処理部のさらなる構成要素を示す概略的なブロック図である。本実施形態における処理部は、例えば、以下で説明する構成要素を、図３を参照して説明した構成要素に加えて、またはこれらに代えて含んでもよい。図１０を参照すると、本実施形態に係る処理部は、画像取得部５４０と、センサデータ取得部５５０と、記録制御部５６０と、記憶部５６５と、解析部５７０と、表示制御部５８０とを含みうる。
　ここで、画像取得部５４０と、センサデータ取得部５５０と、記録制御部５６０と、解析部５７０と、表示制御部５８０とは、例えば、上記で図２を参照して説明したシステム１０において、スマートフォン２００の処理部２２０、またはサーバ３００の処理部３２０において実現される。処理部の全体が単一の装置において実現されてもよいし、１または複数の構成要素がそれぞれ別の装置に分散して実現されてもよい。
　画像取得部５４０は、スマートフォン２００の撮像部２５０、または他の撮像装置において撮像された画像を取得する。取得される画像は、例えばプレーヤによる一連のプレーをとらえた動画像でありうる。
　センサデータ取得部５５０は、センサ装置１００のセンサ１１０から出力されたセンサデータを取得する。センサデータは、例えば、プレーヤが使用している用具（例えばラケットＲ）、またはプレーヤ自身に発生した振動やモーション（加速度、角速度、方位など）を示す。
　記録制御部５６０は、ユーザの操作、および／またはセンサデータ取得部５５０によって取得されたセンサデータに基づいて、画像取得部５４０によって取得された画像の記憶部５６５への記録を制御する。例えば、記録制御部５６０は、画像取得部５４０によって取得された画像を一時的に記憶部５６５に記録し、解析部５７０による解析の対象になる部分を特定してもよい。また、記録制御部５６０は、画像取得部５４０によって取得された画像を一時的に記憶部５６５に記録し、この画像から表示制御部５８０によってディスプレイに表示される画像を生成してもよい。
　解析部５７０は、画像取得部５４０によって取得された画像および／またはセンサデータ取得部５５０によって取得されたセンサデータに基づく解析処理を実行する。解析部５７０は、例えば上記で図３を参照して説明した画像解析部５３０を含んでもよい。解析部５７０は、例えば、センサデータ取得部５５０によって取得された振動データと、予め測定されたラケットＲの固有振動特性とに基づいて、ラケットＲにボールが当たった位置を算出する。また、解析部５７０は、さらにインパクト前のラケットＲの速度に基づいて、インパクト後のボールの速度や回転などを算出してもよい。解析部５７０は、例えば画像解析部５３０について既に説明したように、画像取得部５４０によって取得された画像に基づいて、ボールの速度や回転、軌跡などを算出することも可能である。
　表示制御部５８０は、画像取得部５４０によって取得された画像を用いて、例えばスマートフォン２００の出力部２７０に含まれるディスプレイに画像を表示させる。例えば、表示制御部５８０は、画像取得部５４０によってリアルタイムで取得されている画像を、スルー画像としてディスプレイに表示させてもよい。また、表示制御部５８０は、記録制御部５６０によって記憶部５６５に一時的または継続的に記録された画像を再生してディスプレイに表示させてもよい。また、表示制御部５８０は、解析部５７０による各種解析結果をディスプレイに表示させてもよい。
　（３－１．センサデータを利用した録画の制御）
　記録制御部５６０は、例えば、センサデータ取得部５５０によって取得されたセンサデータに基づいて、画像取得部５４０によって取得された画像の録画（記憶部５６５への持続的な記録）を制御する。本実施形態では、例えば、センサデータ取得部５５０によって取得される振動データに基づいて、ラケットＲとボールとのインパクトの瞬間を特定することが可能である。そこで、記録制御部５６０は、例えばインパクトの瞬間、またはインパクトの瞬間から所定時間経過後に録画を停止させてもよい。
　また、本実施形態では、例えば、センサデータ取得部５５０によって取得されるモーションデータ（加速度、角速度、方位など）に基づいて、特定のプレー、またはプレーの予備動作などが開始されたタイミングを特定することも可能でありうる。そこで、記録制御部５６０は、例えば、プレーヤが特定のプレーの予備動作を開始した場合に録画を開始させてもよい。さらに、上記のようにインパクトの瞬間やインパクトの瞬間から所定時間経過後に録画を停止させれば、録画の開始および終了をいずれも自動化することもできる。
　図１１は、本開示の一実施形態における録画の制御の例について説明するための図である。図１１に示された例では、動画像（継続的に撮像されている）の５番目のフレーム目の時点で、センサデータ取得部５５０によって取得されるモーションデータに基づいて、サーブの予備動作が開始されたことが検出されている。そこで、記録制御部５６０は、ここから画像の録画を開始する。なお、図は模式的なものであるため予備動作の開始と録画開始とが同じタイミングで示されているが、実際にはモーションデータの解析と記録制御の実行のための時間が必要であるため、予備動作の開始を示すモーションデータが取得されてから上記の時間が経過した時点で録画が開始されうる。
　また、図示された例では、動画像の１４番目のフレームの時点で、センサデータ取得部５５０によって取得される振動データに基づいて、ラケットとボールのインパクトが発生したことが検出されている。そこで、記録制御部５６０は、インパクトの１秒後の時点にあたる、動画像の１７番目のフレームまでで録画を終了する。このような録画の制御によって、例えば、画像として記録したいプレーの区間を過不足なく録画することができ、事後的なユーザの編集の手間を省くことができる。また、例えば、このようにして特定された画像の区間を、例えば解析部５７０による解析の対象になる解析区間として提供すれば、解析区間を探索する範囲が少なくて済み、処理負荷が低減されうる。
　（３－２．解析区間とは異なる区間の画像再生）
　記録制御部５６０は、上述のように、画像取得部５４０によって取得された画像を一時的に記憶部５６５に記録し、この画像から表示制御部５８０によってディスプレイに表示される画像を生成しうる。例えば、この画像は、上記の録画制御の例で説明された、ユーザによる特定のプレーの区間を切り出した動画像であってもよい。ここで、例えば、記録制御部５６０は、センサデータ取得部５５０によって取得されたセンサデータに基づいて、画像取得部５４０によって取得された画像の中から解析部５７０による解析の対象になる解析区間を特定した場合、同じ区間を表示制御部５８０が再生する区間として提供してもよいが、当該区間よりも長い区間を表示制御部５８０が再生する区間としてもよい。
　図１２は、本開示の一実施形態における解析区間とは異なる区間の画像再生の例について説明するための図である。図１２に示された例では、動画像（継続的に撮像されている）の５番目のフレームから１７番目のフレームまでが、解析部５７０による解析区間として記録制御部５６０によって特定されている。その一方で、記録制御部５６０は、表示制御部５８０が解析中に再生する区間として、動画像の１番目のフレームから１８番目のフレームまでを特定する。このとき、再生される画像では、解析部５７０による解析の結果に基づいて、ボールの軌跡Ｂが表示されてもよい。
　なお、図示された例において、動画像は図示された範囲の前後でも継続的に撮像されているため、１番目のフレームと１８番目のフレームは、必ずしも動画像の最初と最後のフレームを意味するわけではない。例えば、記録制御部５６０は、解析区間として特定した区間を所定の長さだけ前後に延長することによって再生区間を特定してもよい。延長の長さは、例えば、解析区間の始点および終点それぞれの、インパクト発生時点からの時間的距離に応じて決定されてもよい。
　動画像を画像解析する場合、動画像を構成する各フレームの画像を処理する必要があるため、処理時間が長くなってしまう傾向がある。そこで、上記の例のように、センサデータに基づいて動画像の解析区間を過不足なく設定するとともに、解析の実行中に再生される動画像の再生区間については解析区間よりも長い区間を設定し、ユーザの体感的な解析処理の待ち時間を低減させることができる。
　（３－３．解析中の画像表示）
　図１３は、本開示の一実施形態における解析中の画像表示の第１の例を示す図である。図１３に示された例では、例えばスマートフォン２００の出力部２７０に含まれるディスプレイに表示される画像１３００において、ボール速度情報１３０１と、解析中表示１３０３とが、再生区間の画像から抽出された静止画像に重畳して表示されている。ボール速度情報１３０１は、例えば、解析部５７０における画像またはセンサデータに基づく解析処理の結果を利用して表示される。また、ボール速度情報１３０１は、ボールの進行方向を示す矢印１３０１ａや、ボールの軌跡を示す図形１３０１ｂとともに表示されてもよい。ボールの進行方向や、ボールの軌跡、およびボールの速度は、解析処理の進行にともなって順次特定されうる。従って、ボール速度情報１３０１を構成する要素は、例えば、解析処理において特定されたものから順に段階的に表示されてもよい。
　図１４は、本開示の一実施形態における解析中の画面表示の第２の例を示す図である。図１４に示された例では、例えばスマートフォン２００の出力部２７０に含まれるディスプレイに表示される画像１４００において、解析中表示１４０１とともに、再生区間の画像から切り出された、プレーヤを含む矩形の領域が配列して表示される。これらの画像は、例えば所定の時間間隔で一連のフレーム画像から抽出される。図示された例では４つの画像が配列されているが、より多くの画像が配列されてもよい。また、例えば、多数の切り出された画像が自動的にスクロールして表示されたり、ユーザがタッチパネルなどを介して実行するフリック操作などに応じて画像がスクロールして表示されてもよい。
　例えば、上記の構図指定情報出力部５２０の機能によって、画像取得部５４０によって取得される画像の構図が既知である場合には、画像解析をしなくても所定のオブジェクトを含む領域、例えばプレーヤを含む領域を画像から切り出すことができる。従って、解析処理の開始後、早い段階で上記の図１４に示した画像１４００のような表示を実現することができる。
　図１５は、本開示の一実施形態における解析中の画面表示の第３の例を示す図である。図１５に示された例では、例えばスマートフォン２００の出力部２７０に含まれるディスプレイに表示される画像１５００において、解析中表示１５０１とともに、再生区間の画像から抽出された、プレーヤの画像が背景に重ね合わせて表示される。プレーヤの画像は、例えば所定の時間間隔で一連のフレーム画像から抽出された画像から、プレーヤが映っている部分を切り出すことによって取得される。図示された例では５つの画像が重ね合わされているが、より多くの画像が重ね合わされてもよい。また、上記で図１３を参照して説明した例のように、ボールの位置や速度などがさらに重畳して表示されてもよい。
　上記の画像１５００のような表示を実現するためには、各画像においてプレーヤが映っている領域を特定するための画像解析が必要である。従って、画像１５００の表示には、例えば画像１４００の表示よりも時間がかかる。しかし、例えば上記の構図指定情報出力部５２０の機能によって、画像取得部５４０によって取得される画像の構図が既知である場合、画像解析によってプレーヤの像を探索する範囲が限定されるため、画像１５００の表示にかかる時間が短縮されうる。
　以上で説明した表示は、例えば、いずれも、静止画像を含む画像を表示させている。これによって、例えばプレーの区間を繰り返し動画像で再生するような場合に比べて、ユーザが時間の経過を感じにくく、体感的な解析処理の待ち時間が短縮されうる。
　（３－４．解析結果の表示）
　また、本実施形態では、解析部５７０による解析結果を利用して、例えばプレーにおける一連の動きや、それによって実現された結果をより多面的に表現することが可能である。
　例えば、表示制御部５８０が、プレーにおける一連の動きを捉えた動画像を再生する場合、センサデータに基づいてインパクトの瞬間が特定されていることを利用して、再生の途中で再生速度を変更してもよい。例えば、表示制御部５８０は、インパクトの１秒前までは１倍速、そこからインパクトの瞬間までは１／２倍速、インパクトの瞬間から０．５秒後までは１／１０倍速、それ以降は１倍速、といったように再生速度を変更してもよい。これによって、例えばインパクトの前後などの重要な区間では、自動的にスロー再生が実行される。
　また、例えば、表示制御部５８０は、画像解析の結果とセンサデータの解析の結果とを同時に出力してもよい。上述のように、解析部５７０は、画像取得部５４０によって取得された画像やセンサデータ取得部５５０によって取得されたセンサデータに基づいて、プレーに関するさまざまな情報を得ることが可能である。そこで、例えば、画像解析の結果によって得られたボールの位置や速度に加えて、センサデータの解析によって得られたショットパワーやラケットの軌跡、ボールのスピン量などを、同時にディスプレイに表示させるなどして出力してもよい。
　また、例えば、記録制御部５６０は、センサデータの解析によって特定されるインパクトの瞬間を基準にして、一連の動きを捉えた連続写真を生成してもよい。例えば、記録制御部５６０は、インパクトの瞬間を中心にして、インパクトに近づくほど短い間隔で、インパクトから離れるほど長い間隔で動画像のフレームを抽出して、連続写真を生成してもよい。
　また、例えば、表示制御部５８０は、解析部５７０による解析結果から抽出される統計指標を出力してもよい。例えば、表示制御部５８０は、プレーヤの過去のプレーの解析結果に基づいて、トスの安定度や上達度といった統計指標をディスプレイに表示させるなどして出力してもよい。
　また、例えば、表示制御部５８０は、解析部５７０による解析結果を他のプレーヤと比較した情報を出力してもよい。例えば、表示制御部５８０は、センサデータの解析によって特定されるインパクトの瞬間を基準にして、複数のプレーヤのプレーをとらえた画像を並行的に再生させてもよい。複数の画像の並行的な再生は、例えば、画像を上下や左右に配列して再生することであってもよいし、画像を透過的に重畳させて再生することであってもよい。これによって、例えば、プレーヤと他のプレーヤ（例えばプロフェッショナル）とのプレーの相違をわかりやすく表現することができ、比較結果に基づくアドバイスをすることも可能になる。
　また、例えば、表示制御部５８０は、プレーにおける一連の動きを捉えた画像を再生するにあたり、センサデータに基づく解析結果を利用してエフェクトをかけてもよい。より具体的には、表示制御部５８０は、インパクト前、インパクト時、インパクト後でそれぞれ異なるエフェクトを画像または画像の一部（プレーヤやボールの領域）にかけてもよい。また、表示制御部５８０は、エフェクトの表現を、センサデータに基づく解析結果（例えばラケットやボールの速度）に応じて変化させてもよい。
　（４．ハードウェア構成）
　次に、図１６および図１７を参照して、本開示の実施形態に係るセンサ装置および解析装置（上述した例ではスマートフォンまたはサーバ）を実現するためのハードウェア構成の例について説明する。
　　（センサ装置）
　図１６は、本開示の実施形態に係るセンサ装置のハードウェア構成の例を示す図である。図１６を参照すると、センサ装置１００は、センサ１０１と、ＣＰＵ（Central　Processing　Unit）１０３と、ＲＯＭ（Read　Only　Memory）１０５と、ＲＡＭ（Random　Access　Memory）１０７と、ユーザインターフェース１０９と、外部記憶装置１１１と、通信装置１１３と、出力装置１１５とを含みうる。これらの要素は、例えばバスによって相互に接続される。
　センサ１０１は、例えば加速度センサ、角速度センサ、振動センサ、地磁気センサ、温度センサ、圧力センサ（押下スイッチを含む）、またはＧＰＳ（Global　Positioning　System）受信機などを含む。センサ１０１は、カメラ（イメージセンサ）やマイクロフォン（音センサ）を含んでもよい。
　ＣＰＵ１０３、ＲＯＭ１０５、およびＲＡＭ１０７は、例えば外部記憶装置１１１に記録されたプログラム命令を読み込んで実行することによって、様々な機能をソフトウェア的に実現する。本開示の実施形態では、ＣＰＵ１０３、ＲＯＭ１０５、およびＲＡＭ１０７によって、例えば、センサ装置１００全体の制御などの機能が実現されうる。
　ユーザインターフェース１０９は、センサ装置１００へのユーザ操作を受け付ける、例えばボタンやタッチパネルなどの入力装置である。ユーザの操作は、例えば、センサ装置からのセンサ情報の送信の開始や終了を指示するものでありうる。
　外部記憶装置１１１は、センサ装置１００に関する各種の情報を記憶する。外部記憶装置１１１には、例えば、ＣＰＵ１０３、ＲＯＭ１０５、およびＲＡＭ１０７にソフトウェア的に機能を実現させるためのプログラム命令が格納されてもよく、またセンサ１０１によって取得されたデータが一時的にキャッシュされてもよい。センサ装置１００が打具などに装着されることを考慮すると、外部記憶装置１１１としては、例えば半導体メモリなどの衝撃に強いものを使用することが望ましい。
　通信装置１１３は、有線または無線の各種通信方式によって後述する解析装置６００と通信する。また、通信装置１１３は、機器間通信によって直接的に解析装置６００と通信してもよいし、インターネットなどのネットワークを介して解析装置６００と通信してもよい。
　出力装置１１５は、情報を光、音声または画像として出力することが可能な装置で構成される。出力装置１１５は、例えばセンサ装置１００における時刻やプレーイベントの検出を通知する情報を出力してもよいし、解析装置６００から受信された解析結果、またはセンサ装置１００において算出された解析結果に基づいて、ユーザに対する視覚的または聴覚的な通知を出力してもよい。出力装置１１５は、例えば、例えばＬＥＤなどのランプ、ＬＣＤなどのディスプレイ、スピーカ、またはバイブレータなどを含む。
　　（解析装置）
　図１７は、本開示の実施形態に係る解析装置のハードウェア構成の例を示す図である。解析装置６００は、本開示の実施形態に係る解析装置、例えば上記で説明したスマートフォン２００またはサーバ３００を実現しうる。なお、上述のように、解析装置は、センサ装置１００によって実現されてもよい。
　解析装置６００は、ＣＰＵ６０１と、ＲＯＭ６０３と、ＲＡＭ６０５と、ユーザインターフェース６０９と、外部記憶装置６１１と、通信装置６１３と、出力装置６１５とを含みうる。これらの要素は、例えばバスによって相互に接続される。
　ＣＰＵ６０１、ＲＯＭ６０３、およびＲＡＭ６０５は、例えば外部記憶装置６１１に記録されたプログラム命令を読み込んで実行することによって、様々な機能をソフトウェア的に実現する。本開示の実施形態では、ＣＰＵ６０１、ＲＯＭ６０３、およびＲＡＭ６０５によって、例えば、解析装置６００全体の制御や、上記の機能構成における処理部の機能などが実現されうる。
　ユーザインターフェース６０９は、解析装置６００へのユーザ操作を受け付ける、例えばボタンやタッチパネルなどの入力装置である。
　外部記憶装置６１１は、解析装置６００に関する各種の情報を記憶する。外部記憶装置６１１には、例えば、ＣＰＵ６０１、ＲＯＭ６０３、およびＲＡＭ６０５にソフトウェア的に機能を実現させるためのプログラム命令が格納されてもよく、また通信装置６１３が受信したセンサ情報が一時的にキャッシュされてもよい。また、外部記憶装置６１１には、解析結果のログが蓄積されてもよい。
　出力装置６１５は、情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。出力装置６１５は、例えば、ＬＣＤ（Liquid　Crystal　Display）などの表示装置、またはスピーカやヘッドホンなどの音声出力装置などでありうる。出力装置６１５は、解析装置６００の処理により得られた結果を、テキストまたは画像などの映像として出力したり、音声または音響などの音声として出力したりする。
　以上、センサ装置１００および解析装置６００のハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。かかる構成は、実施する時々の技術レベルに応じて適宜変更されうる。
　（５．補足）
　本開示の実施形態は、例えば、上記で説明したような解析装置（スマートフォンなどの情報処理端末、サーバ、またはセンサ装置）、システム、解析装置またはシステムで実行される情報処理方法、解析装置を機能させるためのプログラム、およびプログラムが記録された一時的でない有形の媒体を含みうる。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）実空間での位置関係が既知である少なくとも２つの点の、撮像装置によって取得された画像での位置に基づいて前記画像の画角を推定する画角推定部と、
　前記画角に応じて規定される、被写体と前記撮像装置との位置関係が満たされるように、前記画像の構図を指定する情報を出力する構図指定情報出力部と
　を備える情報処理装置。
（２）前記画角推定部は、前記少なくとも２つの点を含む第１の平面的または立体的なオブジェクトの像の前記画像での位置に基づいて前記画像の画角を推定する、前記（１）に記載の情報処理装置。
（３）前記第１の平面的または立体的なオブジェクトは、コート、フィールド、またはコースを規定する線を含む、前記（２）に記載の情報処理装置。
（４）前記構図指定情報出力部は、前記撮像装置によって取得されるスルー画像において視認される第２の平面的または立体的なオブジェクトに重ね合わせることによって前記指定された構図が実現されるガイドを表示させるための情報を出力する、前記（１）～（３）のいずれか１項に記載の情報処理装置。
（５）前記第２の平面的または立体的なオブジェクトは、コート、フィールド、またはコースを規定する線と、前記コート、前記フィールド、または前記コース上の所定の位置に配置された前記被写体とを含む、前記（４）に記載の情報処理装置。
（６）前記構図指定情報出力部は、前記被写体の近傍の少なくとも３つの点が前記画像で所定の位置に配置されるように、前記画像の構図を指定する情報を出力する、前記（１）～（５）のいずれか１項に記載の情報処理装置。
（７）前記被写体は、コートまたはフィールドに配置されたプレーヤと該プレーヤのプレーによって放たれたボールとを含む、前記（１）～（６）のいずれか１項に記載の情報処理装置。
（８）前記構図指定情報出力部は、前記プレー後の所定の時間、前記ボールが前記画像の画角内に位置するように、前記画像の構図を指定する情報を出力する、前記（７）に記載の情報処理装置。
（９）前記画角推定部は、前記少なくとも２つの点を含む軌道を通って落下するオブジェクトの前記画像での位置変化に基づいて前記画像の画角を推定する、前記（１）または（２）に記載の情報処理装置。
（１０）前記被写体は、飛翔体を含み、
　前記情報処理装置は、前記構図に従って取得された画像に基づいて前記飛翔体の速度を推定する画像解析部をさらに備える、前記（１）～（９）のいずれか１項に記載の情報処理装置。
（１１）前記被写体は、自転するオブジェクトを含み、
　前記情報処理装置は、前記構図に従って取得された画像に基づいて前記オブジェクトの自転速度を推定する画像解析部をさらに備える、前記（１）～（１０）のいずれか１項に記載の情報処理装置。
（１２）前記被写体は、放物運動するオブジェクトを含み、
　前記情報処理装置は、前記構図に従って取得された画像に基づいて前記放物運動するオブジェクトの位置変化量を推定する画像処理部をさらに備える、前記（１）～（１１）のいずれか１項に記載の情報処理装置。
（１３）実空間での位置関係が既知である少なくとも２つの点の、撮像装置によって取得された画像での位置に基づいて前記画像の画角を推定する機能と、
　前記画角に応じて規定される、被写体と前記撮像装置との位置関係が満たされるように、前記画像の構図を指定する情報を出力する機能と
　をコンピュータに実現させるためのプログラムが格納された記録媒体。
（１４）プロセッサが、実空間での位置関係が既知である少なくとも２つの点の、撮像装置によって取得された画像での位置に基づいて前記画像の画角を推定することと、
　前記画角に応じて規定される、被写体と前記撮像装置との位置関係が満たされるように、前記画像の構図を指定する情報を出力することと
　を含む情報処理方法。
　１０　　システム
　１００　　センサ装置
　２００　　スマートフォン
　３００　　サーバ
　３１０　　受信部
　５１０　　画角推定部
　５２０　　構図指定情報出力部
　５３０　　画像解析部
　５４０　　画像取得部
　５５０　　センサデータ取得部
　５６０　　記録制御部
　５６５　　記憶部
　５７０　　解析部
　５８０　　表示制御部
 

Claims (14)

  1. 　実空間での位置関係が既知である少なくとも２つの点の、撮像装置によって取得された画像での位置に基づいて前記画像の画角を推定する画角推定部と、
    　前記画角に応じて規定される、被写体と前記撮像装置との位置関係が満たされるように、前記画像の構図を指定する情報を出力する構図指定情報出力部と
    　を備える情報処理装置。
  2. 　前記画角推定部は、前記少なくとも２つの点を含む第１の平面的または立体的なオブジェクトの像の前記画像での位置に基づいて前記画像の画角を推定する、請求項１に記載の情報処理装置。
  3. 　前記第１の平面的または立体的なオブジェクトは、コート、フィールド、またはコースを規定する線を含む、請求項２に記載の情報処理装置。
  4. 　前記構図指定情報出力部は、前記撮像装置によって取得されるスルー画像において視認される第２の平面的または立体的なオブジェクトに重ね合わせることによって前記指定された構図が実現されるガイドを表示させるための情報を出力する、請求項１に記載の情報処理装置。
  5. 　前記第２の平面的または立体的なオブジェクトは、コート、フィールド、またはコースを規定する線と、前記コート、前記フィールド、または前記コース上の所定の位置に配置された前記被写体とを含む、請求項４に記載の情報処理装置。
  6. 　前記構図指定情報出力部は、前記被写体の近傍の少なくとも３つの点が前記画像で所定の位置に配置されるように、前記画像の構図を指定する情報を出力する、請求項１に記載の情報処理装置。
  7. 　前記被写体は、コートまたはフィールドに配置されたプレーヤと該プレーヤのプレーによって放たれたボールとを含む、請求項１に記載の情報処理装置。
  8. 　前記構図指定情報出力部は、前記プレー後の所定の時間、前記ボールが前記画像の画角内に位置するように、前記画像の構図を指定する情報を出力する、請求項７に記載の情報処理装置。
  9. 　前記画角推定部は、前記少なくとも２つの点を含む軌道を通って落下するオブジェクトの前記画像での位置変化に基づいて前記画像の画角を推定する、請求項１に記載の情報処理装置。
  10. 　前記被写体は、飛行するオブジェクトを含み、
    　前記情報処理装置は、前記構図に従って取得された画像に基づいて前記オブジェクトの速度を推定する画像解析部をさらに備える、請求項１に記載の情報処理装置。
  11. 　前記被写体は、自転するオブジェクトを含み、
    　前記情報処理装置は、前記構図に従って取得された画像に基づいて前記オブジェクトの自転速度を推定する画像解析部をさらに備える、請求項１に記載の情報処理装置。
  12. 　前記被写体は、放物運動するオブジェクトを含み、
    　前記情報処理装置は、前記構図に従って取得された画像に基づいて前記放物運動するオブジェクトの位置変化量を推定する画像処理部をさらに備える、請求項１に記載の情報処理装置。
  13. 　実空間での位置関係が既知である少なくとも２つの点の、撮像装置によって取得された画像での位置に基づいて前記画像の画角を推定する機能と、
    　前記画角に応じて規定される、被写体と前記撮像装置との位置関係が満たされるように、前記画像の構図を指定する情報を出力する機能と
    　をコンピュータに実現させるためのプログラムが格納された記録媒体。
  14. 　プロセッサが、実空間での位置関係が既知である少なくとも２つの点の、撮像装置によって取得された画像での位置に基づいて前記画像の画角を推定することと、
    　前記画角に応じて規定される、被写体と前記撮像装置との位置関係が満たされるように、前記画像の構図を指定する情報を出力することと
    　を含む情報処理方法。
     
PCT/JP2014/077593 2013-12-24 2014-10-16 情報処理装置、記録媒体および情報処理方法 WO2015098251A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP14873581.4A EP3089441B1 (en) 2013-12-24 2014-10-16 Information processing device, recording medium, and information processing method
JP2015554626A JP6447515B2 (ja) 2013-12-24 2014-10-16 情報処理装置、記録媒体および情報処理方法
CN201480068702.1A CN105850109B (zh) 2013-12-24 2014-10-16 信息处理装置、记录介质和信息处理方法
US15/104,268 US10083519B2 (en) 2013-12-24 2014-10-16 Information processing apparatus and information processing method for specifying a composition of a picture

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013-265271 2013-12-24
JP2013265271 2013-12-24

Publications (1)

Publication Number Publication Date
WO2015098251A1 true WO2015098251A1 (ja) 2015-07-02

Family

ID=53478130

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/077593 WO2015098251A1 (ja) 2013-12-24 2014-10-16 情報処理装置、記録媒体および情報処理方法

Country Status (5)

Country Link
US (1) US10083519B2 (ja)
EP (1) EP3089441B1 (ja)
JP (1) JP6447515B2 (ja)
CN (1) CN105850109B (ja)
WO (1) WO2015098251A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105999666A (zh) * 2016-06-28 2016-10-12 任有恒 网络智能球拍
JP2017184043A (ja) * 2016-03-30 2017-10-05 キヤノン株式会社 制御装置、制御方法、撮像システム及びプログラム
JP2021128691A (ja) * 2020-02-17 2021-09-02 Kddi株式会社 マルチモーダル行動認識方法、装置およびプログラム
JP2022071710A (ja) * 2020-10-28 2022-05-16 Kddi株式会社 歪曲収差補正装置、方法及びプログラム

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9848129B2 (en) * 2015-07-08 2017-12-19 Chengdu Sioeye Technology Co., Ltd. Systems and methods for real-time integrating information into videos
US10771697B2 (en) * 2016-09-06 2020-09-08 Apple Inc. Still image stabilization/optical image stabilization synchronization in multi-camera image capture
JP7420377B2 (ja) * 2020-01-31 2024-01-23 真一 原 テニス技術上達支援データベースの作成方法、および、テニス技術上達支援システム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59194761A (ja) 1983-04-20 1984-11-05 松下電工株式会社 打撃用具
JP2002126147A (ja) * 2000-10-23 2002-05-08 Sumitomo Rubber Ind Ltd テニス挙動測定方法
JP2010063052A (ja) * 2008-09-08 2010-03-18 Sony Corp 撮影装置および方法、並びにプログラム
JP2010109567A (ja) * 2008-10-29 2010-05-13 Hitachi Ltd 情報処理装置および情報処理方法
JP2013074376A (ja) * 2011-09-27 2013-04-22 Sony Corp 撮像ガイド装置、撮像装置、撮像ガイド方法、プログラム
JP2013213872A (ja) * 2012-03-30 2013-10-17 Sony Corp 情報処理装置、情報処理方法、及びプログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5266985A (en) * 1990-07-16 1993-11-30 Nikon Corporation Camera with optimum composition determinator
JPH0473731A (ja) * 1990-07-16 1992-03-09 Nikon Corp 構図の変更を指示するカメラ
AU2002368117A1 (en) * 2002-07-26 2004-02-16 National Institute Of Information And Communications Technology Incorporated Administrative Agency Image recognition apparatus and image recognition program
GB2473059A (en) * 2009-08-28 2011-03-02 Sony Corp A method and apparatus for forming a composite image
JP2011151709A (ja) * 2010-01-25 2011-08-04 Olympus Corp 撮像装置
JP2013042250A (ja) * 2011-08-12 2013-02-28 Sony Corp 撮像装置および撮像方法
CN102509309B (zh) * 2011-11-04 2013-12-18 大连海事大学 一种基于图像匹配的目标点定位系统
GB2496428B (en) * 2011-11-11 2018-04-04 Sony Corp An apparatus, method and system for detecting the position of a sporting projectile
JP5994306B2 (ja) * 2012-03-15 2016-09-21 ソニー株式会社 情報処理装置、情報処理システムおよびプログラム
US9385324B2 (en) * 2012-05-07 2016-07-05 Samsung Electronics Co., Ltd. Electronic system with augmented reality mechanism and method of operation thereof

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59194761A (ja) 1983-04-20 1984-11-05 松下電工株式会社 打撃用具
JP2002126147A (ja) * 2000-10-23 2002-05-08 Sumitomo Rubber Ind Ltd テニス挙動測定方法
JP2010063052A (ja) * 2008-09-08 2010-03-18 Sony Corp 撮影装置および方法、並びにプログラム
JP2010109567A (ja) * 2008-10-29 2010-05-13 Hitachi Ltd 情報処理装置および情報処理方法
JP2013074376A (ja) * 2011-09-27 2013-04-22 Sony Corp 撮像ガイド装置、撮像装置、撮像ガイド方法、プログラム
JP2013213872A (ja) * 2012-03-30 2013-10-17 Sony Corp 情報処理装置、情報処理方法、及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3089441A4

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017184043A (ja) * 2016-03-30 2017-10-05 キヤノン株式会社 制御装置、制御方法、撮像システム及びプログラム
CN105999666A (zh) * 2016-06-28 2016-10-12 任有恒 网络智能球拍
JP2021128691A (ja) * 2020-02-17 2021-09-02 Kddi株式会社 マルチモーダル行動認識方法、装置およびプログラム
JP7283852B2 (ja) 2020-02-17 2023-05-30 Kddi株式会社 マルチモーダル行動認識方法、装置およびプログラム
JP2022071710A (ja) * 2020-10-28 2022-05-16 Kddi株式会社 歪曲収差補正装置、方法及びプログラム
JP7473449B2 (ja) 2020-10-28 2024-04-23 Kddi株式会社 歪曲収差補正装置、方法及びプログラム

Also Published As

Publication number Publication date
CN105850109B (zh) 2019-10-29
EP3089441A4 (en) 2017-08-02
US20160321822A1 (en) 2016-11-03
JPWO2015098251A1 (ja) 2017-03-23
US10083519B2 (en) 2018-09-25
EP3089441A1 (en) 2016-11-02
EP3089441B1 (en) 2020-01-22
CN105850109A (zh) 2016-08-10
JP6447515B2 (ja) 2019-01-09

Similar Documents

Publication Publication Date Title
JP6447515B2 (ja) 情報処理装置、記録媒体および情報処理方法
KR101385325B1 (ko) 복수의 카메라로 운동하는 피사체를 촬영하고 그 촬영 이미지에 기초하여 피사체의 실제의 운동 궤적을 획득하기 위한 방법 및 시스템
EP3323240B1 (en) Integrated sensor and video motion analysis method
JP6213146B2 (ja) 情報処理装置、記録媒体、および情報処理方法
US20080068463A1 (en) system and method for graphically enhancing the visibility of an object/person in broadcasting
US11850498B2 (en) Kinematic analysis of user form
KR101562319B1 (ko) 깊이 정보를 이용한 퍼팅 분석 시스템 및 방법
JP5811263B2 (ja) 仮想ゴルフシミュレーション装置及びその方法と、それに用いられるセンシング装置及びセンシング方法
JP5373744B2 (ja) ゲーム装置、ゲーム装置の制御方法、及びプログラム
JP6459979B2 (ja) 解析装置、記録媒体および解析方法
KR20210026483A (ko) 골프 공 타격을 감지하는 방법 및 이를 이용한 골프 스윙 모션 분석 장치
KR101348419B1 (ko) 영상컨텐츠를 제공하는 가상 골프 시뮬레이션 장치 및 그 방법
JP2018082770A (ja) 運動解析装置、運動解析方法及びプログラム
KR20160139634A (ko) 골프공 스핀 계산 방법 및 장치
KR20130001534A (ko) 공 궤적 추적 시스템
JP6710961B2 (ja) ゴルフスイングの解析方法
JP7513938B2 (ja) 情報処理方法、情報処理装置、及びプログラム
WO2015098303A1 (ja) 解析装置、記録媒体および解析方法
TW202305664A (zh) 用於感測移動的球的影像分析方法及利用該方法的感測裝置
CN116684651A (zh) 一种基于数字建模的体育赛事云展播和控制平台
JP2018152655A (ja) 映像処理装置、マルチカメラシステム、映像処理方法、及び映像処理プログラム
CA2559783A1 (en) A system and method for graphically enhancing the visibility of an object/person in broadcasting

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14873581

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2015554626

Country of ref document: JP

Kind code of ref document: A

REEP Request for entry into the european phase

Ref document number: 2014873581

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2014873581

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 15104268

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE