WO2016039155A1 - 画像処理システム、画像処理方法、プログラム及び情報記憶媒体 - Google Patents

画像処理システム、画像処理方法、プログラム及び情報記憶媒体 Download PDF

Info

Publication number
WO2016039155A1
WO2016039155A1 PCT/JP2015/074184 JP2015074184W WO2016039155A1 WO 2016039155 A1 WO2016039155 A1 WO 2016039155A1 JP 2015074184 W JP2015074184 W JP 2015074184W WO 2016039155 A1 WO2016039155 A1 WO 2016039155A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
user
play
distribution
game
Prior art date
Application number
PCT/JP2015/074184
Other languages
English (en)
French (fr)
Inventor
藤原 雅宏
朗 宮下
Original Assignee
株式会社ソニー・コンピュータエンタテインメント
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ソニー・コンピュータエンタテインメント filed Critical 株式会社ソニー・コンピュータエンタテインメント
Priority to US15/328,767 priority Critical patent/US10525336B2/en
Publication of WO2016039155A1 publication Critical patent/WO2016039155A1/ja

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/215Input arrangements for video game devices characterised by their sensors, purposes or types comprising means for detecting acoustic signals, e.g. using a microphone
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50Controlling the output signals based on the game progress
    • A63F13/53Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A63F13/655Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition by importing photos, e.g. of the player
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/85Providing additional services to players
    • A63F13/86Watching games played by other players
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor

Definitions

  • the present invention relates to an image processing system, an image processing method, a program, and an information storage medium.
  • some of the above-mentioned moving image distribution companies provide a service for live streaming distribution of moving images. Users have been able to easily perform live streaming distribution of moving images using such services.
  • a moving image representing the play content of the game or a moving image obtained by shooting the user during the play of the game is displayed in the game.
  • Some are transmitted from the apparatus to the moving image distribution system.
  • the moving image transmitted to the moving image distribution system in this way is distributed live-streamed or stored in the moving image distribution system and then distributed to the user who requested distribution of the moving image.
  • a technique for distributing a moving image composed of frame images in which an image of a user during play of the game is arranged in an area that occupies part of the image representing the game play content.
  • a technique for distributing a moving image including a frame image in which an image representing game play content and an image obtained by shooting a user during the game play are juxtaposed. Such a technique is convenient for a user who wants to distribute a moving image showing the state of the user during the game play along with the game play content.
  • the present invention has been made in view of the above problems, and one of its purposes is to generate an image generated based on an image representing the play content of a game and an image obtained by photographing the user during the game play.
  • an image processing method, a program, and an information storage medium capable of reducing the trouble of not including in the image an image of what is not desired to be included in the distributed image at the time of distribution. It is in.
  • an image processing system includes a play image acquisition unit that acquires a play image that is an image representing the play content of a game, and an image that is captured by a camera during the game play.
  • a captured image acquisition unit that acquires a captured image
  • a user image generation unit that generates a user image that occupies an area in the captured image in which a user image to be distributed is arranged, Based on the play image and the user image, a distribution image that is an image to be distributed is generated.
  • the image processing method includes a step of obtaining a play image that is an image representing the play content of a game, a step of obtaining a photographed image that is an image photographed by a camera during the play of the game, A step of generating a user image that is an image occupying an area in the captured image where a user image to be distributed is arranged, and a distribution that is an image to be distributed based on the play image and the user image Generating an image.
  • the program according to the present invention is a procedure for acquiring a play image that is an image representing the play content of a game, a procedure for acquiring a captured image that is an image captured by a camera during the game play, and a distribution target.
  • the image is distributed based on the play image and the user image by causing a computer to execute a procedure for generating a user image that is an image occupying an area in the captured image in which the user image is arranged.
  • a delivery image is generated.
  • the information storage medium includes a procedure for acquiring a play image that is an image representing the play content of a game, a procedure for acquiring a captured image that is an image captured by a camera during the game play, and a distribution target.
  • An image to be distributed based on the play image and the user image by causing a computer to execute a procedure for generating a user image that is an image that occupies an area in the captured image in which a user image is arranged
  • This is a computer-readable information storage medium storing a program for generating a distribution image.
  • the distribution image is generated by arranging the user image in an area that occupies a part of the play image.
  • the user image generation unit generates the user image that occupies an area in the captured image in which an image of a user who plays the game is arranged.
  • the user image generation unit occupies an area in the captured image in which an image specified based on the user image stored in the storage unit or information associated with the image is arranged Is generated.
  • the user image generation unit includes the image of the user logged in as the user who plays the game or the image of the user stored in the storage unit or the information associated with the image.
  • the user image that occupies an area in the captured image in which an image specified based on information associated with the image is arranged may be generated.
  • the user image generation unit includes the captured image in which an image of a user specified based on a position of an area in the captured image in which an image of a controller used for playing the game is disposed. The user image occupying the area inside is generated.
  • the user image generation unit generates the user image that occupies an area in the captured image in which an image of a subject whose distance from the camera is shorter than a reference distance is arranged. To do.
  • a distribution image generation unit that generates the distribution image in which the user image is arranged in an area that occupies a part of the play image is further included.
  • the distribution image generation unit may generate the distribution image in which the user image is arranged in an area corresponding to a play situation of the game that occupies a part of the play image.
  • FIG. 4B is a rear view of the controller shown in FIG. 4A. It is a figure which shows an example of a delivery image. It is a figure which shows another example of a delivery image. It is a figure which shows an example of a play image. It is a figure which shows an example of a picked-up image.
  • FIG. 1 is a diagram showing an example of the overall configuration of a computer network according to an embodiment of the present invention.
  • a computer network 16 such as the Internet includes a game system 10, a moving image distribution system 12, and a plurality of viewing user terminals 14 (14-1 to 14 -n), all of which are configured around a computer. ), Is connected.
  • the game system 10, the moving image distribution system 12, and the viewing user terminal 14 can communicate with each other.
  • the moving image distribution system 12 is a computer such as a server that provides a moving image distribution service such as a registered moving image distribution service or a moving image live streaming distribution service.
  • the viewing user terminal 14 is a computer such as a personal computer, a game console, a portable game device, or an information terminal used by a user who views a moving image distributed by the moving image distribution system 12. .
  • the game system 10 is an information processing system used by a user who provides a moving image distributed by the moving image distribution system 12 and viewed by the user of the viewing user terminal 14. As shown in FIG. 2, the game system 10 includes a game apparatus 20, a display 22, a camera microphone unit 24, and a controller 26.
  • the game apparatus 20 is a computer such as a game console, for example, and includes a control unit 30, a storage unit 32, a communication unit 34, and an input / output unit 36 as shown in FIG.
  • the control unit 30 is a program control device such as a CPU that operates according to a program installed in the game apparatus 20, for example.
  • the control unit 30 according to the present embodiment also includes a GPU (Graphics Processing Unit) that draws an image in a frame buffer based on graphics commands and data supplied from the CPU.
  • the storage unit 32 is, for example, a storage element such as a ROM or a RAM, a hard disk drive, or the like.
  • the storage unit 32 stores a program executed by the control unit 30.
  • the communication unit 34 is, for example, a communication interface such as a network board or a wireless LAN module.
  • the input / output unit 36 is an input / output port such as an HDMI (registered trademark) (High-Definition Multimedia Interface) port or a USB port.
  • the display 22 according to the present embodiment is a liquid crystal display or the like, and displays a screen generated by the game apparatus 20 or the like.
  • the display 22 according to the present embodiment also includes a speaker that outputs sound represented by sound data generated by the game apparatus 20.
  • the camera microphone unit 24 includes, for example, a camera 24a that outputs an image obtained by capturing a subject to the game apparatus 20, and a microphone that acquires surrounding sounds, converts the sounds into sound data, and outputs the sound data to the game apparatus 20. 24b is included.
  • the camera 24a according to the present embodiment is a stereo camera. Therefore, the camera 24a also has an image representing the distribution of the distance from the camera 24a to the subject corresponding to the pixel in the direction perpendicular to the projection plane of the captured image for each pixel included in the image of the subject. It can be generated.
  • the game apparatus 20 and the display 22 are connected via, for example, an AV cable, an HDMI cable, or the like.
  • the game apparatus 20 and the camera microphone unit 24 are connected via, for example, a USB cable, an AV cable, an HDMI cable, or the like.
  • the controller 26 according to the present embodiment is an operation input device for performing an operation input to the game apparatus 20.
  • FIG. 4A is a plan view of an example of the controller 26 according to the present embodiment.
  • FIG. 4B is a rear view of the controller 26.
  • a button SH for starting the distribution of moving images is arranged on the upper left side of the upper surface of the controller 26. Further, an indicator I, which is an LED that can emit any one of a predetermined number of colors, is provided at the lower center of the back surface of the controller 26.
  • controller 26 is also provided with direction keys, buttons, touch sensors, and operation sticks. Further, the controller 26 according to the present embodiment includes sensors such as a gyro sensor that detects angular velocity and an acceleration sensor that detects acceleration.
  • the controller 26 includes a jack J, and by inserting a plug included in the microphone into the jack J, voice input by the microphone can be performed.
  • the sound input to the microphone inserted into the controller 26 is converted into sound data by the controller 26 and output to the game apparatus 20.
  • the user can perform various operation inputs using the controller 26 by pressing a direction key or button or tilting an operation stick.
  • the controller 26 outputs input data associated with the operation input to the game apparatus 20.
  • the controller 26 includes a USB port.
  • the controller 26 can output input data to the game device 20 via a wire via the input / output unit 36 by connecting to the game device 20 with a USB cable.
  • the controller 26 according to the present embodiment includes a wireless communication module and the like, and can output input data to the game apparatus 20 wirelessly via the communication unit 34.
  • the controller 26 when the controller 26 transmits a signal indicating that the controller 26 is used to the game apparatus 20, the game apparatus 20 returns a signal indicating a color for causing the indicator I to emit light to the controller 26. Then, the controller 26 causes the indicator I to emit light in the color indicated by the signal.
  • the indicator I of the controller 26 that first transmitted the above signal emits light in blue
  • the indicator I of the controller 26 that transmitted the above signal next emits light in red.
  • the user can play the game by logging in to the game device 20 and executing a game program installed in the game device 20.
  • the moving image live using the moving image distribution system 12 is displayed. Streaming distribution starts. In this way, the user of the viewing user terminal 14 can view the moving image distributed live.
  • the moving image distribution system 12 performs live streaming distribution of the moving image and stores the moving image in the moving image distribution system 12. The moving image stored in this way is distributed to the viewing user terminal 14 in response to a request from the viewing user terminal 14.
  • FIG. 5 is a diagram illustrating an example of a distribution image 40 that is a frame image that configures a moving image distributed in live streaming in the present embodiment.
  • FIG. 6 is a diagram illustrating another example of the distribution image 40.
  • the distribution image 40 is a play image 42 that is an image representing the play content of the game illustrated in FIG. 7 and an image that is captured by the camera 24a during the game play illustrated in FIG. It is generated based on a certain captured image 44.
  • the game apparatus 20 generates a play image 42 at a predetermined frame rate, for example, every 1/60 seconds.
  • the camera 24a generates a captured image 44 at the predetermined frame rate.
  • the camera 24a is an image representing the distribution of the distance between the camera 24a and the subject in the direction perpendicular to the projection plane of the captured image 44 for each pixel included in the captured image 44 as described above.
  • a distribution image is also generated at the predetermined frame rate. Note that the generation timings of the play image 42, the captured image 44, and the distance distribution image are synchronized, and these images may be associated with each other according to the generation timing.
  • the distribution image 40 is produced
  • the distribution image 40 may be generated by arranging a user image 46 that is a part of the captured image 44 in which the generated frame is the same as the play image 42.
  • images of four users are arranged.
  • the right user is playing the game by operating the controller 26.
  • region which occupies a part of picked-up image 44 is specified by using a well-known face image recognition technique.
  • the region is referred to as a candidate region CR.
  • four candidate regions CR1 to CR4 are specified.
  • an image of any user is arranged at least at a part thereof.
  • At least one of the four candidate areas CR1 to CR4 is determined as a base area of the user image 46 based on a rule for determining a user to be distributed.
  • the region determined in this way is referred to as a selection region. For example, by determining the candidate area CR4 as the selection area, the user image 46 shown in FIGS. 5 and 6 is generated.
  • distribution target determination rule data indicating a rule for determining a user to be distributed is stored in the storage unit 32 of the game apparatus 20. Then, the selection area is determined based on the distribution target determination rule data.
  • the account data illustrated in FIG. 9 may be used in determining the selection area.
  • the account data illustrated in FIG. 9 includes a user ID that is an identifier of the user, a password used when the user logs in to the game apparatus 20, and the face of the user who is requested to register when the account data is generated.
  • a registered face image, which is an image, is included.
  • the value of the distribution target determination rule data is “login user”.
  • the user who is logged in to the game apparatus 20 is a user whose user ID is “a123”.
  • an area including the image most similar to the registered face image associated with the user ID “a123” is determined as the selection area among the candidate areas CR1 to CR4.
  • the candidate area CR4 is determined as the selection area.
  • the value of the distribution target determination rule data is “controller operation user”.
  • the image of the controller 26 arranged in the captured image 44 for example, the image of the indicator I is specified here.
  • the image of the indicator I of a specific color may be specified.
  • the selected area is determined based on the relationship between the position of the indicator I image arranged in the captured image 44 and the positions of the candidate areas CR1 to CR4. Specifically, for example, the distance from the center of gravity of the candidate regions CR1 to CR4 to the line L extending upward in FIG. 8 starting from the center of gravity G of the region occupied by the image of the indicator I is the shortest.
  • a thing may be determined as a selection area.
  • the candidate area CR4 is determined as the selection area.
  • the method of determining the selection area based on the image position of the controller 26 is not limited to the above.
  • the one having the shortest distance from the position of the center of gravity to the center of gravity of the region occupied by the image of the indicator I may be determined as the selection region.
  • the selection area determination process is executed as described above according to the voice input.
  • the given phrase is referred to as a first magic word.
  • the position of the selected area in the captured image 44 in each frame is not changed until the first magic word is input by the user.
  • the selection area may be determined for each frame as described above.
  • the determination of the selection process has a relatively high processing load, the determination of the selection area according to the voice input can lower the processing load of the game apparatus 20 than the determination of the selection area for each frame. it can.
  • a selection region determination process may be executed. Further, for example, the selection area determination process may be executed in accordance with a user operation such as a change in the setting of the camera 24a.
  • the user image 46 is generated based on the image occupying the selected area determined as described above.
  • a user image 46 as shown in FIG. 5 is arranged in the distribution image 40 in accordance with the voice input.
  • the user image 46 as shown in FIG. 6 is switched over to the distribution image 40.
  • the given phrase is referred to as a second magic word.
  • an image occupying the selected area is generated as the user image 46, and the user image 46 is arranged in the distribution image 40.
  • an image in which a part of the image is cut out is generated as a user image 46 by performing mask processing on the image occupying the selected region, and the user image 46 is arranged in the distribution image 40.
  • mask processing is performed based on a distance distribution image of the same frame as the captured image 44 generated by the camera 24a.
  • an image occupying the selected area is arranged as the user image 46 by the user's voice input, or an image obtained by performing mask processing on the image occupying the selected area is arranged as the user image 46. Can be switched.
  • FIG. 10 shows a selection area image SP in which the image SI of the subject S is arranged.
  • the gradation value of the color of each pixel included in the distance distribution image is associated with the distance between the camera 24a and the subject S, for example.
  • the distance distribution image is a gray scale image
  • the larger the value of z (x1, y1) the blacker the color of the pixel whose coordinate value in the distance distribution image is (x1, y1).
  • FIG. 10 illustrates the distance between the camera 24a and the subject S.
  • a mask image M in which pixels included in the distance distribution image are binarized depending on whether the color is white or black than the reference color is generated.
  • the reference color for example, a color having a gradation value as an average value of gradation values of pixels included in the distance distribution image can be cited. Note that, for example, the position of the face image in the selected area image SP is detected, and the color of the gradation value of the pixel in the position in the distance distribution image associated with the detected position becomes the reference. It is good also as a color.
  • an area occupied by the face image in the selected area image SP is detected, and an average value of the gradation values of pixels in the area in the distance distribution image associated with the detected area is determined as the gradation.
  • the value color may be the reference color.
  • the pixel in the mask image M that is associated with a pixel that is whiter than the reference color in the distance distribution image is white.
  • the pixels in the mask image M that are associated with pixels that are darker than the reference color in the distance distribution image are black.
  • the average value of the distance between the camera 24a and the subject S in the direction perpendicular to the projection plane of the captured image 44, which is associated with the reference color, is zs. Then, since z (x1, y1) ⁇ zs, the pixel whose coordinate value in the mask image M is (x1, y1) is white.
  • the mask image M may be generated based on the distance distribution image after the image processing.
  • the mask image M illustrated in FIG. 10 shows a subject region Rs occupied by pixels that have become white due to binarization and a background region Rb that has pixels that have become black. Then, by removing the pixel group associated with the background region Rb in the mask image M in the selected region image SP, the user image 46 illustrated in FIG. 6 is generated.
  • the color of the pixel group may be changed to a transparent color.
  • the subject area Rs other than the largest one may be changed to the background area Rb. In this way, for example, even in a situation where a plurality of user images are included in the selected area image SP, the user image occupying the largest area is cut out.
  • an image of something that the user does not want to include in the distribution image 40 such as an image of a family face, without the user appropriately adjusting the position and orientation of the camera 24a. Can be excluded from the distribution image 40.
  • an area in the photographed image 44 in which an image of a subject whose distance from the camera 24 a is shorter than a reference distance in a direction perpendicular to the projection plane of the photographed image 44 is arranged.
  • the occupied user image 46 may be arranged in the distribution image 40. In this way, it is possible to prevent the distribution image 40 from including an image of the background of the user such as the state of the room. Further, for example, by limiting the region in the captured image 44 that is the target of the above-described processing, the quality of the background image not being included in the distribution image 40, for example, the background image is not included in the distribution image 40. The possibility may be guaranteed to a certain degree or more.
  • an area in the distribution image 40 where the user's image is detected may be used for detecting a gesture. For example, a “decision” command may be input when a user image is detected in the lower right area of the screen, and a “cancel” command may be input when it is detected in the lower left area. In this way, it is possible to perform key input using gestures instead of operating members such as the controller 26.
  • a user near the controller 26 or a logged-in user is likely to be a user who is playing a game. Therefore, when it is desired that the image of the user who plays the game is included in the distribution image 40, it is preferable to set the value of the distribution target determination rule data to “login user” or “controller operation user”. .
  • the value of the distribution target determination rule data is not limited to the above.
  • the account data may further include permission data indicating whether or not the corresponding user image 46 can be included in the distribution image 40.
  • the candidate areas CR1 to CR4 an area including an image most similar to the registered face image associated with the user whose value indicating permission is set as the value of availability data is selected as the selection area. It may be determined.
  • a value indicating permission is set as the value of the permission data of the user whose user ID is “a123” and the user whose user ID is “b456”.
  • the value indicating permission is set as the value of the availability data.
  • the candidate areas CR2 and CR4 are determined as the selection areas.
  • a plurality of areas may be determined as the selection area.
  • a plurality of user images 46 are arranged in the distribution image 40 as shown in FIG. FIG. 12 shows an example in which candidate regions CR2 and CR4 are determined as selection regions.
  • the first user image 46-1 is a user image 46 associated with the candidate region CR2
  • the second user image 46-2 is a user image 46 associated with the candidate region CR4.
  • the distribution image 40 includes the user image 46 for the user for which the value indicating permission is set as the value of the availability data. As described above, in the present embodiment, what image is included in the distribution image 40 can be appropriately set by the distribution target determination rule data.
  • a plurality of users may be able to log in to the game apparatus 20.
  • a plurality of areas are determined as the selection areas.
  • an area in the photographed image 44 where the image of the user is arranged is determined as a selection area. May be.
  • the user and the controller 26 operated by the user may be associated with each other.
  • a moving image distribution start operation such as pressing the button SH is detected for the controller 26, the user who performed the operation is specified, and the image of the user in the captured image 44 is arranged.
  • the selected area may be determined as the selection area.
  • the user image 46 is arranged at the lower left or lower right of the distribution image 40, but the position and size of the area where the user image 46 is arranged are, for example, a game being played It may be determined according to the situation. For example, the user image 46 may not be arranged in an area where information about the game such as a score is arranged. Further, in an important scene in a game such as a scene where the stage is cleared, the user image 46 enlarged than usual may be arranged in the distribution image 40.
  • a moving image composed of a series of distribution images 40 may be displayed, or a moving image composed of a series of play images 42 may be displayed.
  • an image obtained by enlarging or reducing the image is arranged as the user image 46 in the distribution image 40. It doesn't matter if you do.
  • FIG. 13 is a functional block diagram showing an example of functions implemented in the game apparatus 20 according to the present embodiment. Note that not all of the functions shown in FIG. 13 need be implemented in the game apparatus 20 according to the present embodiment, and functions other than the functions shown in FIG. 13 may be implemented.
  • the game system 10 functionally includes, for example, a mask processing necessity data storage unit 50, a voice reception unit 52, a voice recognition unit 54, a game processing execution unit 56, and a play image.
  • Acquisition unit 58 captured image acquisition unit 60, candidate region specification unit 62, distribution target determination rule data storage unit 64, account data storage unit 66, selection region determination unit 68, selection region position data storage unit 70, distance distribution image acquisition unit 72, a mask image generation unit 74, a user image generation unit 76, a distribution image generation unit 78, a distribution image transmission unit 80, and a display control unit 82.
  • the mask processing necessity data storage unit 50, the distribution target determination rule data storage unit 64, the account data storage unit 66, and the selection area position data storage unit 70 are mainly implemented by the storage unit 32.
  • the voice receiving unit 52 is mainly mounted with the input / output unit 36.
  • the voice recognition unit 54, the game process execution unit 56, the play image acquisition unit 58, the candidate region specification unit 62, the selection region determination unit 68, the mask image generation unit 74, the user image generation unit 76, and the distribution image generation unit 78 are a control unit.
  • 30 is mainly implemented.
  • the captured image acquisition unit 60 and the distance distribution image acquisition unit 72 are mainly mounted with the input / output unit 36.
  • the distribution image transmission unit 80 is mainly implemented by the communication unit 34.
  • the display control unit 82 is mainly mounted with the control unit 30 and the input / output unit 36. In this way, the game apparatus 20 according to the present embodiment plays a role as an image processing system that can reduce the trouble of not including in the image an image of what is not desired to be included in the distributed image. It will be.
  • the above functions are implemented by causing the control unit 30 to execute a program that is installed in the game device 20 that is a computer and that includes instructions corresponding to the above functions.
  • This program is supplied to the game apparatus 20 via a computer-readable information storage medium such as an optical disk, a magnetic disk, a magnetic tape, a magneto-optical disk, or a flash memory, or via communication means such as the Internet. .
  • the mask processing necessity data storage unit 50 stores mask processing necessity data indicating whether or not to perform mask processing on an image occupying a selected area when generating the user image 46 illustrated in FIGS. 5 and 6. .
  • the mask process necessity data is 0, the mask process is not executed, and when it is 1, the mask process is executed.
  • the voice reception unit 52 receives voice.
  • the voice reception unit 52 receives voice input to the microphone 24b by the user.
  • the voice recognition unit 54 recognizes the voice received by the voice reception unit 52. In this embodiment, the voice recognition unit 54 determines whether or not a voice representing the first magic word or the second magic word is input. In this embodiment, every time the voice recognition unit 54 determines that a voice representing the second magic word has been input, the value of the mask processing necessity data stored in the mask processing necessity data storage unit 50 is set to 0 or 1 is changed from one to the other.
  • the game process execution unit 56 executes a game program installed in the game apparatus 20. In addition, the game process execution unit 56 changes the game situation according to the operation input received from the controller 26. Moreover, the game process execution part 56 produces
  • the play image acquisition unit 58 acquires the play image 42 generated by the game process execution unit 56.
  • the captured image acquisition unit 60 acquires a captured image 44 illustrated in FIG. 8 captured by the camera 24a at a predetermined frame rate.
  • the candidate area specifying unit 62 specifies at least one candidate area CR that occupies a part of the captured image 44 as described above.
  • the distribution target determination rule data storage unit 64 stores the above-described distribution target determination rule data.
  • the account data storage unit 66 stores the account data illustrated in FIGS. 9 and 11.
  • the selection area determination unit 68 determines a selection area as described above from at least one candidate area CR specified by the candidate area specification unit 62.
  • the selection area determination unit 68 generates selection area position data indicating the position of the determined selection area in the captured image 44 and stores the selection area position data in the selection area position data storage unit 70.
  • the selection area position data is, for example, data indicating coordinate values in the captured image 44 of each of the four vertices of the rectangular selection area.
  • the selection area determination unit 68 may determine the selection area based on a user image such as a registered face image included in the account data stored in the account data storage unit 66.
  • the selection area determination unit 68 may determine the selection area based on information associated with the user's image such as data indicating the feature amount of the image.
  • the selection area position data storage unit 70 stores selection area position data generated by the selection area determination unit 68.
  • the distance distribution image acquisition unit 72 acquires the above-described distance distribution image generated by the camera 24a at a predetermined frame rate.
  • the mask image generation unit 74 generates a mask image M illustrated in FIG. 10 based on the image occupying the selected area in the captured image 44 and the distance distribution image acquired by the distance distribution image acquisition unit 72.
  • the user image generation unit 76 generates a user image 46 that is an image that occupies a selection area in which the image of the user to be distributed is arranged in the captured image 44 illustrated in FIGS. 5 and 6. As described above, the user image generation unit 76 may generate the user image 46 that occupies a selection area where an image of a user who plays the game is arranged.
  • the user image generation unit 76 When the value of the mask processing necessity data stored in the mask processing necessity data storage unit 50 is 0, the user image generation unit 76 in this embodiment, as shown in FIG. An image that occupies a selected region in the captured image 44 determined by is generated as the user image 46.
  • the user image generation unit 76 when the value of the mask processing necessity data is 1, the user image generation unit 76 performs mask processing on the image occupying the selected area in the captured image 44 determined by the selection area determining unit 68. 6 is generated. In this case, the user image generation unit 76 performs mask processing based on the mask image M generated by the mask image generation unit 74, for example.
  • the user image generation unit 76 defines an area in the captured image 44 in which an object image shorter than a reference distance is set in the direction perpendicular to the projection plane of the captured image 44. The occupied user image 46 is generated.
  • the user image 46 is an image in the captured image 44 that occupies an area where the image of the user to be distributed is arranged.
  • the selection area in the captured image 44 corresponds to an area where an image of the user to be distributed is arranged.
  • a part of the selection region in the captured image 44 that is associated with the subject region Rs illustrated in FIG. 10 is the region where the image of the user to be distributed is arranged. Equivalent to.
  • the user image generation unit 76 has an image of the user specified based on the position of the area in the captured image 44 where the image of the controller 26 used for playing the game is arranged. A user image 46 occupying a certain area may be generated.
  • the user image generation unit 76 is based on the image or the information.
  • the user image 46 occupying an area in the captured image 44 where the image specified in this manner is arranged is generated.
  • a user image 46 occupying an area in the captured image 44 in which an image of a user who is logged in as a user who plays the game or an image specified based on information associated with the image is arranged. May be generated.
  • the distribution image generation unit 78 is illustrated in FIGS. 5 and 6 based on the play image 42 acquired by the play image acquisition unit 58 and the user image 46 generated by the user image generation unit 76.
  • a distribution image 40 is generated.
  • the distribution image generation unit 78 has the user image 46 generated by the user image generation unit 76 arranged in a region that occupies a part of the play image 42 acquired by the play image acquisition unit 58.
  • the delivery image 40 illustrated in FIG. 6 is produced
  • the delivery image generation part 78 may produce
  • the distribution image generation unit 78 may generate a distribution image 40 in which the user image 46 and the reduced play image 42 are juxtaposed.
  • the distribution image transmission unit 80 transmits the distribution image 40 generated by the distribution image generation unit 78 to the moving image distribution system 12.
  • the distribution image transmission unit 80 transmits a moving image including a series of distribution images 40 generated at a predetermined frame rate as a frame image to the moving image distribution system 12.
  • the moving image transmitted in this manner is distributed live-streamed from the moving image distribution system 12 to the viewing user terminal 14.
  • the moving image distribution system 12 stores the moving image in the moving image distribution system 12.
  • the moving image stored in this way is distributed to the viewing user terminal 14 in response to a request from the viewing user terminal 14.
  • the display control unit 82 displays the distribution image 40 illustrated in FIGS. 5 and 6 on the display 22.
  • the display control unit 82 causes the display 22 to display a moving image including a series of distribution images 40 generated at a predetermined frame rate as frame images.
  • the display control unit 82 may display the play image 42 illustrated in FIG. 7 on the display 22 instead of the distribution image 40.
  • the display control unit 82 causes the display 22 to display a moving image including a series of play images 42 generated at a predetermined frame rate as frame images.
  • FIG. 14 illustrates an example of the flow of the selection area determination process performed by the game device 20 according to the present embodiment when the voice recognition unit 54 determines that the voice representing the first magic word has been input. This will be described with reference to the flowchart.
  • the selection area determination unit 68 specifies the latest captured image 44 acquired by the captured image acquisition unit 60 (S101). Then, the selection area determination unit 68 specifies at least one candidate area CR in the captured image 44 specified by the process shown in S101 (S102). Then, the selection area determination unit 68 determines a selection area from among the candidate areas CR identified in the process shown in S102 based on the rules indicated by the distribution target rule data stored in the distribution target determination rule data storage unit 64. (S103). Here, when the value of the distribution target determination rule data is “login user” or “registration permitted user”, the selection area determination unit 68 stores the account data stored in the account data storage unit 66 as described above. The selection area may be determined based on the registered face image included. Then, the selection area determination unit 68 generates selection area position data indicating the position in the captured image 44 of the selection area determined in the process shown in S103 and stores it in the selection area position data storage unit 70 (S104).
  • the captured image acquisition unit 60 acquires the captured image 44 captured in the frame (S201). Then, the distance distribution image acquisition unit 72 acquires the distance distribution image generated in the frame (S202). And the game process execution part 56 produces
  • the user image generation unit 76 confirms the value of the mask processing necessity data stored in the mask processing necessity data storage unit 50 (S205).
  • the user image generation unit 76 when the value of the mask processing necessity data is 0, the user image generation unit 76 generates, as the user image 46, an image that occupies the selected area in the captured image 44 acquired in the process shown in S201 (S206). ).
  • the selected area can be specified based on the position indicated by the selected area position data stored in the selected area position data storage unit 70.
  • the user image generation unit 76 extracts the selection area image SP illustrated in FIG. 10 from the captured image 44 acquired in the process shown in S201 (S207). .
  • the selection area image SP occupying the selection area at the position indicated by the selection area position data stored in the selection area position data storage unit 70 is extracted.
  • the mask image generation unit 74 occupies a region associated with the selection region at the position indicated by the selection region position data stored in the selection region position data storage unit 70 from the distance distribution image acquired in the process shown in S202. An image is extracted (S208).
  • the mask image generation unit 74 performs image processing such as blurring, motion blur, and binarization on the image extracted in the processing shown in S208 to generate a mask image M illustrated in FIG. 10 ( S209).
  • the user image generation unit 76 generates the user image 46 illustrated in FIG. 6 based on the image extracted in the process shown in S207 and the mask image M generated in the process shown in S209 (S210).
  • one user image 46 or a plurality of user images 46 may be generated as described above.
  • the distribution image generation unit 78 arranges the user image 46 generated in the process shown in S206 or S210 in an area that occupies a part of the play image 42 acquired in the process shown in S204.
  • the distribution image 40 illustrated in FIG. 6 is generated (S211).
  • the process goes to S101 to S104.
  • the processing shown may be executed.
  • the game device 20 may transmit to the moving image distribution system 12 together with the user image 46 generated in the process shown in S206 or S210 and the play image 42 acquired in the process shown in S204. Then, the moving image distribution system 12 may generate the distribution image 40 based on the user image 46 and the play image 42.
  • the game apparatus 20 may be composed of a plurality of cases.
  • a personal computer for example, a personal computer, a portable game device, a smartphone, a tablet terminal, or the like may play the role of the above-described game system 10.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

 ゲームのプレイ内容を表す画像の一部を占める領域に当該ゲームのプレイ中にユーザを撮影した画像が配置された画像を配信する際における、配信される画像に含ませたくないものの像を当該画像に含ませないようにする手間を従来よりも低減できる画像処理システム、画像処理方法、プログラム及び情報記憶媒体を提供する。プレイ画像取得部(58)は、ゲームのプレイ内容を表す画像であるプレイ画像を取得する。撮影画像取得部(60)は、ゲームのプレイ中にカメラにより撮影される画像である撮影画像を取得する。ユーザ画像生成部(76)は、配信対象となるユーザの像が配置されている撮影画像内の領域を占める画像であるユーザ画像を生成する。プレイ画像とユーザ画像とに基づいて、配信される画像である配信画像が生成されることとなる。

Description

画像処理システム、画像処理方法、プログラム及び情報記憶媒体
 本発明は、画像処理システム、画像処理方法、プログラム及び情報記憶媒体に関する。
 近年、ユーザは、ゲームのプレイ内容を表す動画像や当該ゲームのプレイ中にユーザを撮影した動画像などを、動画像配信事業者によって運営される動画像配信システムに手軽に登録できるようになってきている。このようにして登録された動画像は当該動画像の配信を要求したユーザに配信されることとなる。
 また上述の動画像配信事業者のなかには、動画像のライブストリーミング配信のサービスを提供するものもある。ユーザはこのようなサービスを利用して動画像のライブストリーミング配信を手軽に行えるようになってきている。
 また例えばゲーム装置のなかには、当該ゲーム装置で実行されるゲームのプレイ中に所定の操作を行うと、当該ゲームのプレイ内容を表す動画像や当該ゲームのプレイ中にユーザを撮影した動画像がゲーム装置から動画像配信システムに送信されるものがある。そしてこのようにして動画像配信システムに送信された動画像は、ライブストリーミング配信されたり動画像配信システムに記憶された上で当該動画像の配信を要求したユーザに配信されたりすることとなる。
 また、ゲームのプレイ内容を表す画像の一部を占める領域に当該ゲームのプレイ中にユーザを撮影した画像が配置されたフレーム画像から構成される動画像を配信する技術が存在する。また、ゲームのプレイ内容を表す画像と当該ゲームのプレイ中にユーザを撮影した画像とが並置されたフレーム画像から構成される動画像を配信する技術が存在する。このような技術はゲームのプレイ内容とともに当該ゲームのプレイ中におけるユーザの様子が表された動画像を配信したいユーザにとっては便利である。
 ゲームのプレイ内容を表す画像と当該ゲームのプレイ中にユーザを撮影した画像とに基づいて生成される上述したような画像を配信するにあたって、部屋の様子や家族の顔などのように、その像を配信される動画像に含ませたくないものがある場合がある。しかしこのような場合に従来は、そのようなものが画角から外れるようユーザがカメラの位置や向きを適切に調整する必要があり手間がかかっていた。なおこのことは動画像を配信する場合に限らず静止画像を配信する場合にもあてはまる。
 本発明は上記課題に鑑みてなされたものであって、その目的の1つは、ゲームのプレイ内容を表す画像と当該ゲームのプレイ中にユーザを撮影した画像とに基づいて生成される画像を配信する際における、配信される画像に含ませたくないものの像を当該画像に含ませないようにする手間を従来よりも低減できる画像処理システム、画像処理方法、プログラム及び情報記憶媒体を提供することにある。
 上記課題を解決するために、本発明に係る画像処理システムは、ゲームのプレイ内容を表す画像であるプレイ画像を取得するプレイ画像取得部と、前記ゲームのプレイ中にカメラにより撮影される画像である撮影画像を取得する撮影画像取得部と、配信対象となるユーザの像が配置されている前記撮影画像内の領域を占める画像であるユーザ画像を生成するユーザ画像生成部と、を含み、前記プレイ画像と前記ユーザ画像とに基づいて、配信される画像である配信画像が生成されることとなる。
 また、本発明に係る画像処理方法は、ゲームのプレイ内容を表す画像であるプレイ画像を取得するステップと、前記ゲームのプレイ中にカメラにより撮影される画像である撮影画像を取得するステップと、配信対象となるユーザの像が配置されている前記撮影画像内の領域を占める画像であるユーザ画像を生成するステップと、前記プレイ画像と前記ユーザ画像とに基づいて、配信される画像である配信画像を生成するステップと、を含む。
 また、本発明に係るプログラムは、ゲームのプレイ内容を表す画像であるプレイ画像を取得する手順、前記ゲームのプレイ中にカメラにより撮影される画像である撮影画像を取得する手順、配信対象となるユーザの像が配置されている前記撮影画像内の領域を占める画像であるユーザ画像を生成する手順、をコンピュータに実行させ、前記プレイ画像と前記ユーザ画像とに基づいて、配信される画像である配信画像が生成されることとなる。
 また、本発明に係る情報記憶媒体は、ゲームのプレイ内容を表す画像であるプレイ画像を取得する手順、前記ゲームのプレイ中にカメラにより撮影される画像である撮影画像を取得する手順、配信対象となるユーザの像が配置されている前記撮影画像内の領域を占める画像であるユーザ画像を生成する手順、をコンピュータに実行させ、前記プレイ画像と前記ユーザ画像とに基づいて、配信される画像である配信画像が生成されることとなるプログラムを記憶したコンピュータ読み取り可能な情報記憶媒体である。
 本発明の一態様では、前記プレイ画像の一部を占める領域に前記ユーザ画像が配置されることで前記配信画像が生成されることとなる。
 また、本発明の一態様では、前記ユーザ画像生成部は、前記ゲームをプレイするユーザの像が配置されている前記撮影画像内の領域を占める前記ユーザ画像を生成する。
 あるいは、前記ユーザ画像生成部は、記憶部に記憶されているユーザの画像又は当該画像に対応付けられる情報に基づいて特定される像が配置されている前記撮影画像内の領域を占める前記ユーザ画像を生成する。
 この態様では、前記ユーザ画像生成部は、前記記憶部に記憶されているユーザの画像又は当該画像に対応付けられる情報のうち、前記ゲームをプレイするユーザとしてログインしているユーザの画像又は当該画像に対応付けられる情報に基づいて特定される像が配置されている前記撮影画像内の領域を占める前記ユーザ画像を生成してもよい。
 あるいは、前記ユーザ画像生成部は、前記ゲームのプレイに使用されるコントローラの像が配置されている前記撮影画像内の領域の位置に基づいて特定されるユーザの像が配置されている前記撮影画像内の領域を占める前記ユーザ画像を生成する。
 また、本発明の一態様では、前記ユーザ画像生成部は、前記カメラとの距離が基準となる距離よりも短い被写体の像が配置されている前記撮影画像内の領域を占める前記ユーザ画像を生成する。
 また、本発明の一態様では、前記プレイ画像の一部を占める領域に前記ユーザ画像が配置された前記配信画像を生成する配信画像生成部、をさらに含む。
 この態様では、前記配信画像生成部は、前記プレイ画像の一部を占める前記ゲームのプレイの状況に応じた領域に前記ユーザ画像が配置された前記配信画像を生成してもよい。
本発明の一実施形態に係るコンピュータネットワークの全体構成の一例を示す図である。 本発明の一実施形態に係るゲームシステムの全体構成の一例を示す図である。 本発明の一実施形態に係るゲーム装置のハードウェア構成の一例を示す図である。 本発明の一実施形態に係るコントローラの一例の平面図である。 図4Aに示すコントローラの背面図である。 配信画像の一例を示す図である。 配信画像の別の一例を示す図である。 プレイ画像の一例を示す図である。 撮影画像の一例を示す図である。 アカウントデータの一例を示す図である。 選択領域画像とマスク画像との関係の一例を示す図である。 アカウントデータの別の一例を示す図である。 配信画像のさらに別の一例を示す図である。 本発明の一実施形態に係るゲーム装置で実装される機能の一例を示す機能ブロック図である。 本実施形態に係るゲーム装置で行われる処理の流れの一例を示すフロー図である。 本実施形態に係るゲーム装置で行われる処理の流れの一例を示すフロー図である。
 以下、本発明の一実施形態について図面に基づき詳細に説明する。
 図1は、本発明の一実施形態に係るコンピュータネットワークの全体構成の一例を示す図である。図1に示すように、インターネットなどのコンピュータネットワーク16には、いずれもコンピュータを中心に構成された、ゲームシステム10、動画像配信システム12、複数の視聴ユーザ端末14(14-1~14-n)、が接続されている。そして、ゲームシステム10、動画像配信システム12、視聴ユーザ端末14は互いに通信可能となっている。
 本実施形態に係る動画像配信システム12は、登録されている動画像の配信サービスや、動画像のライブストリーミング配信サービスなどといった動画像配信サービスを提供するサーバ等のコンピュータである。
 本実施形態に係る視聴ユーザ端末14は、動画像配信システム12によって配信される動画像を視聴するユーザが利用する、例えばパーソナルコンピュータ、ゲームコンソール、携帯型ゲーム装置、情報端末、などのコンピュータである。
 本実施形態に係るゲームシステム10は、動画像配信システム12によって配信され視聴ユーザ端末14のユーザが視聴する動画像を提供するユーザが使用する情報処理システムである。ゲームシステム10は、図2に示すように、ゲーム装置20とディスプレイ22とカメラマイクユニット24とコントローラ26とを含んでいる。
 本実施形態に係るゲーム装置20は、例えばゲームコンソール等のコンピュータであり、例えば図3に示すように、制御部30、記憶部32、通信部34、入出力部36を含んでいる。制御部30は、例えばゲーム装置20にインストールされるプログラムに従って動作するCPU等のプログラム制御デバイスである。本実施形態に係る制御部30には、CPUから供給されるグラフィックスコマンドやデータに基づいてフレームバッファに画像を描画するGPU(Graphics Processing Unit)も含まれている。記憶部32は、例えばROMやRAM等の記憶素子やハードディスクドライブなどである。記憶部32には、制御部30によって実行されるプログラムなどが記憶される。また、本実施形態に係る記憶部32には、GPUにより画像が描画されるフレームバッファの領域が確保されている。通信部34は、例えばネットワークボードや無線LANモジュールなどの通信インタフェースなどである。入出力部36は、HDMI(登録商標)(High-Definition Multimedia Interface)ポートやUSBポートなどの入出力ポートである。
 本実施形態に係るディスプレイ22は、液晶ディスプレイ等であり、ゲーム装置20が生成する画面などを表示させる。また、本実施形態に係るディスプレイ22は、ゲーム装置20が生成する音声データが表す音声を出力するスピーカも備えている。
 本実施形態に係るカメラマイクユニット24は、例えば被写体を撮像した画像をゲーム装置20に出力するカメラ24a及び周囲の音声を取得して当該音声を音声データに変換してゲーム装置20に出力するマイク24bを含んでいる。本実施形態に係るカメラ24aはステレオカメラである。そのためカメラ24aは、被写体を撮影した画像に含まれる各画素についての、撮影した画像の投影面に対して垂直な方向における、カメラ24aから当該画素に対応する被写体までの距離の分布を表す画像も生成可能になっている。
 ゲーム装置20とディスプレイ22とは、例えば、AVケーブルや、HDMIケーブル等を介して接続されている。ゲーム装置20とカメラマイクユニット24とは、例えば、USBケーブルや、AVケーブルや、HDMIケーブル等を介して接続されている。
 本実施形態に係るコントローラ26は、ゲーム装置20に対する操作入力を行うための操作入力装置である。図4Aは、本実施形態に係るコントローラ26の一例の平面図である。図4Bは、当該コントローラ26の背面図である。
 コントローラ26の上面左側上方には、動画像の配信を開始するためのボタンSHが配置されている。また、コントローラ26の背面中央下側には、予め定められた所定数の色のうちのいずれかが発光可能なLEDであるインジケータIが設けられている。
 また、本実施形態に係るコントローラ26には、その他、方向キー、ボタン、タッチセンサ、操作スティックも設けられている。また、本実施形態に係るコントローラ26は、角速度を検出するジャイロセンサ、加速度を検出する加速度センサ等のセンサを備えている。
 また、本実施形態に係るコントローラ26はジャックJを備えており、当該ジャックJにマイクが備えるプラグを差し込むことにより、当該マイクによる音声入力も可能を行うことができるようになっている。コントローラ26に差し込まれたマイクに入力された音声はコントローラ26で音声データに変換されてゲーム装置20に出力される。
 またユーザは、方向キーやボタンを押下したり、操作スティックを傾けたりすることで、コントローラ26を用いて各種の操作入力を行うことができる。そして本実施形態では、コントローラ26は、操作入力に対応付けられる入力データをゲーム装置20に出力する。
 また、本実施形態に係るコントローラ26は、USBポートを備えている。コントローラ26は、USBケーブルでゲーム装置20と接続することで、入出力部36を介して有線で入力データをゲーム装置20に出力することができる。また、本実施形態に係るコントローラ26は、無線通信モジュール等を備えており、通信部34を介して無線で入力データをゲーム装置20に出力することができるようにもなっている。
 そして本実施形態では、コントローラ26が、当該コントローラ26を使用することを示す信号をゲーム装置20に送信すると、ゲーム装置20は、インジケータIを発光させる色を示す信号を当該コントローラ26に返信する。するとコントローラ26は、当該信号が示す色でインジケータIを発光させる。本実施形態では例えば、上述した信号を最初に送信したコントローラ26のインジケータIは青色で発光し、その次に上述した信号を送信したコントローラ26のインジケータIは赤色で発光する。
 本実施形態では、ユーザは、ゲーム装置20にログインした上で、ゲーム装置20にインストールされているゲームのプログラムを実行することで、ユーザは当該ゲームをプレイすることができる。
 ここで、当該ゲームをプレイするユーザが当該ゲームのプレイ前又はプレイ中に、ボタンSHを押下する操作を含む所定の一連の操作を行うことで、動画像配信システム12を利用した動画像のライブストリーミング配信が開始される。視聴ユーザ端末14のユーザはこのようにしてライブストリーミング配信される動画像を視聴することができることとなる。また本実施形態では動画像配信システム12は、当該動画像をライブストリーミング配信するとともに、動画像配信システム12に記憶させる。このようにして記憶された動画像は、視聴ユーザ端末14からの要求に応じて当該視聴ユーザ端末14に配信されることとなる。
 図5は、本実施形態においてライブストリーミング配信される動画像を構成するフレーム画像である配信画像40の一例を示す図である。図6は、配信画像40の別の一例を示す図である。本実施形態では、配信画像40は、図7に例示する、ゲームのプレイ内容を表す画像であるプレイ画像42と、図8に例示する、当該ゲームのプレイ中にカメラ24aにより撮影される画像である撮影画像44と、に基づいて生成されることとなる。
 本実施形態では、ゲーム装置20は、所定のフレームレートで、例えば1/60秒毎に、プレイ画像42を生成する。またカメラ24aは、当該所定のフレームレートで撮影画像44を生成する。またカメラ24aは、上述のように、撮影画像44に含まれる各画素についての、撮影画像44の投影面に対して垂直な方向における、カメラ24aと被写体までの距離の分布を表す画像である距離分布画像も上記所定のフレームレートで生成する。なおプレイ画像42、撮影画像44、距離分布画像の生成タイミングは同期がとられており、生成タイミングによってこれらの画像を互いに関連付けることができるようになっていてもよい。
 そして本実施形態では、プレイ画像42の一部を占める領域に、当該プレイ画像42に対応付けられる撮影画像44の一部であるユーザ画像46を配置することで、配信画像40が生成される。なおここで例えば、当該プレイ画像42と生成されたフレームが同一である撮影画像44の一部であるユーザ画像46を配置することで、配信画像40が生成されるようにしてもよい。
 以下、図8に例示する撮影画像44に基づいて、図5や図6に例示する配信画像40に配置されるユーザ画像46を生成する処理についてさらに説明する。
 図8に例示する撮影画像44には、4人のユーザの像が配置されている。図8に示す例では、これら4人のユーザのうち、コントローラ26を操作してゲームをプレイしているのは最も右のユーザである。
 そして本実施形態では、公知の顔画像認識技術を用いることで、撮影画像44の一部を占める方形の領域が特定される。以下当該領域を候補領域CRと呼ぶこととする。図8の例では、4つの候補領域CR1~CR4が特定されることとなる。候補領域CR1~CR4のそれぞれには、その少なくとも一部にいずれかのユーザの像が配置されている。
 そして本実施形態では、配信対象となるユーザを決定する規則に基づいて、これら4つの候補領域CR1~CR4のうちの少なくとも1つが、ユーザ画像46の基礎となる領域として決定される。以下、このようにして決定される領域を選択領域と呼ぶこととする。例えば候補領域CR4が選択領域として決定されることで、図5及び図6に示すユーザ画像46が生成されることとなる。
 本実施形態では、ゲーム装置20の記憶部32に、配信対象となるユーザを決定する規則を示す配信対象決定規則データが記憶されている。そして当該配信対象決定規則データに基づいて、選択領域が決定されることとなる。
 また選択領域の決定にあたって、図9に例示するアカウントデータが用いられてもよい。図9に例示するアカウントデータには、ユーザの識別子であるユーザID、当該ユーザがゲーム装置20にログインする際に用いられるパスワード、及び、アカウントデータの生成時に登録を要求される当該ユーザの顔の画像である登録顔画像が含まれている。
 ここで例えば、配信対象決定規則データの値が「ログインユーザ」であるとする。そしてゲーム装置20にログインしているユーザは、ユーザIDが「a123」であるユーザであるとする。この場合、公知の画像認識技術を用いることで、候補領域CR1~CR4のうち、ユーザID「a123」に関連付けられている登録顔画像に最も類似する画像を含む領域が選択領域として決定される。このようにして例えば候補領域CR4が選択領域として決定されることとなる。
 また例えば、配信対象決定規則データの値が「コントローラ操作ユーザ」であるとする。この場合は、公知の画像認識技術を用いることで、撮影画像44に配置されているコントローラ26の像、ここでは例えばインジケータIの像が特定される。なおここで特定の色のインジケータIの像が特定されるようにしてもよい。そして、撮影画像44に配置されているインジケータIの像の位置と、候補領域CR1~CR4の位置と、の関係に基づいて、選択領域が決定されることとなる。具体的には例えば、候補領域CR1~CR4のうち、その重心の位置から、インジケータIの像が占める領域の重心Gを始点として、図8における上方向に伸ばした線Lまでの距離が最も短いものが、選択領域として決定されるようにしてもよい。この場合も候補領域CR4が選択領域として決定されることとなる。なおコントローラ26の像の位置に基づく選択領域の決定方法は上述のものに限定されない。例えば候補領域CR1~CR4のうち、その重心の位置から、インジケータIの像が占める領域の重心までの距離が最も短いものが、選択領域として決定されるようにしてもよい。
 本実施形態では、所与の語句をユーザが音声入力した場合に、当該音声入力に応じて上述のようにして選択領域の決定処理が実行される。以下当該所与の語句を第1マジックワードと呼ぶこととする。そして次に第1マジックワードがユーザによって音声入力されるまでは、各フレームにおける、撮影画像44内における選択領域の位置は変更されない。もちろん毎フレーム、上述のようにして選択領域が決定されるようにしてもよい。ただし、選択処理の決定は処理負荷が比較的高いため、音声入力に応じて選択領域の決定を行った方が毎フレーム選択領域の決定を行うよりも、ゲーム装置20の処理負荷を下げることができる。また例えば、動画像の配信開始時に配信に関する設定を行うための画面でユーザがカメラ24aを初期化する際に、選択領域の決定処理が実行されてもよい。また例えばカメラ24aの設定の変更などといったユーザの操作に応じて選択領域の決定処理が実行されてもよい。
 そして本実施形態では、上述のようにして決定された選択領域を占める画像に基づいてユーザ画像46が生成される。本実施形態では、第1マジックワードとは別の所与の語句をユーザが音声入力すると、当該音声入力に応じて、図5に示すようなユーザ画像46が配信画像40に配置されるか図6に示すようなユーザ画像46が配信画像40に配置されるかが切り替わる。以下、当該所与の語句を第2マジックワードと呼ぶこととする。
 図5の例では、選択領域を占める画像がユーザ画像46として生成されて、当該ユーザ画像46が配信画像40に配置されている。一方、図6の例では、選択領域を占める画像にマスク処理を実行することで当該画像の一部が切り出された画像がユーザ画像46として生成されて、当該ユーザ画像46が配信画像40に配置されている。このようなマスク処理は例えば、カメラ24aが生成する、当該撮影画像44と同一フレームの距離分布画像に基づいて行われる。このようにして本実施形態では、ユーザは音声入力によって、選択領域を占める画像がユーザ画像46として配置されるか、選択領域を占める画像にマスク処理が実行された画像がユーザ画像46として配置されるかを切り替えることができる。
 ここで、図10を参照しながら、距離分布画像に基づいて、図6に例示するユーザ画像46を生成する処理についてさらに説明する。なお、以下の説明において、撮影画像44内の選択領域を占める画像を選択領域画像SPと呼ぶこととする。図10には、被写体Sの像SIが配置された選択領域画像SPが示されている。
 距離分布画像に含まれる各画素の色の階調値は、例えば、カメラ24aと被写体Sとの距離に対応付けられる。例えば、図10に示すように、撮影画像44の投影面に対して垂直な方向における、撮影画像44内における座標値が(x1,y1)である画素に対応付けられる被写体Sとカメラ24aとの距離をz(x1,y1)とする。ここで距離分布画像がグレースケールの画像である場合、z(x1,y1)の値が大きいほど、距離分布画像内における座標値が(x1,y1)である画素の色は黒くなる。そして例えば、図10に例示するように、基準となる色よりも白いか黒いかによって距離分布画像に含まれる画素を二値化したマスク画像Mが生成される。基準となる色の一例としては、例えば距離分布画像に含まれる画素の階調値の平均値を階調値とする色などが挙げられる。なお例えば、選択領域画像SP内における顔の像の位置が検出されるようにして、検出される位置に対応付けられる距離分布画像内の位置の画素の階調値の色を上述の基準となる色としてもよい。また例えば、選択領域画像SP内において顔の像が占める領域が検出されるようにして、検出される領域に対応付けられる距離分布画像内の領域内の画素の階調値の平均値を階調値とする色を上述の基準となる色としてもよい。ここでは例えば、距離分布画像において基準となる色よりも白い画素に対応付けられる、マスク画像Mにおける画素は白色となる。また、距離分布画像において基準となる色よりも黒い画素に対応付けられる、マスク画像Mにおける画素は黒色となる。
 図10に示すように、上述の基準となる色に対応付けられる、撮影画像44の投影面に対して垂直な方向における、カメラ24aと被写体Sとの距離の平均値をzsとする。すると、z(x1,y1)<zsであるので、マスク画像M内における座標値が(x1,y1)である画素は白色となる。
 なお距離分布画像に対して、ぼかし処理、モーションブラーなどの画像処理を行った上で、当該画像処理後の距離分布画像に基づいてマスク画像Mが生成されるようにしてもよい。
 図10に例示するマスク画像Mには、二値化により白となった画素が占める被写体領域Rsと、黒となった画素が占める背景領域Rbと、が示されている。そして選択領域画像SPにおける、マスク画像Mにおける背景領域Rbに対応付けられる画素群を除去することで、図6に例示するユーザ画像46が生成される。なおここで、選択領域画像SPにおける、マスク画像Mにおける背景領域Rbに対応付けられる画素群を除去する代わりに、当該画素群の色を透過色に変更するようにしてもよい。
 なお例えば、マスク画像M内に、互いに隣接する白色の画素群が占める被写体領域Rsが複数存在する場合に、最も大きなもの以外の被写体領域Rsが背景領域Rbに変更されるようにしてもよい。こうすれば例えば複数のユーザの像が選択領域画像SPに含まれているような状況でも、最も大きな領域を占めるユーザの像が切り出されることとなる。
 本実施形態によれば、配信画像40を配信する際に、ユーザがカメラ24aの位置や向きを適切に調整することなく、家族の顔の像などといった、配信画像40に含ませたくないものの像を配信画像40に含ませないようにすることができる。このようにして上述のような配信画像40を配信する際における、配信画像40に含ませたくないものの像を配信画像40に含ませないようにする手間が従来よりも低減される。
 また図6に示すように、撮影画像44の投影面に対して垂直な方向における、カメラ24aとの距離が基準となる距離よりも短い被写体の像が配置されている撮影画像44内の領域を占めるユーザ画像46が配信画像40に配置されるようにしてもよい。こうすれば、部屋の様子などといったユーザの背景の像を配信画像40に含ませないようにすることができる。また例えば上述の処理の対象となる、撮影画像44内の領域を制限することで、配信画像40に背景の像が含まれないことについての品質、例えば背景の像が配信画像40に含まれない可能性が一定程度以上に保証されるようにしてもよい。
 またユーザの像が検出された配信画像40内の領域がジェスチャの検出のために用いられてもよい。例えばユーザの像が画面の右下の領域に検出された場合は「決定」コマンドが入力され、左下の領域に検出された場合は「キャンセル」コマンドが入力されるようにしてもよい。このようにすればコントローラ26等の操作部材の代わりにジェスチャによるキー入力が可能となる。
 コントローラ26の近くにいるユーザやログインしているユーザはゲームをプレイしているユーザである可能性が高い。そのためゲームをプレイするユーザの像が配信画像40に含まれるようにしたい場合は、配信対象決定規則データの値を「ログインユーザ」又は「コントローラ操作ユーザ」に設定するのが好適であると思われる。
 また配信対象決定規則データの値は上述のものに限定されない。例えば、配信対象決定規則データの値が「登録許可ユーザ」であるとする。そして、図11に示すように、アカウントデータに、対応するユーザ画像46を配信画像40に含まれることの可否を示す可否データがさらに含まれていてもよい。そしてこの場合に、候補領域CR1~CR4のうち、許可することを表す値が可否データの値として設定されているユーザが関連付けられている登録顔画像に最も類似する画像を含む領域が選択領域として決定されるようにしてもよい。
 図11の例では、ユーザIDが「a123」であるユーザ及びユーザIDが「b456」であるユーザの可否データの値として、許可することを表す値が設定されている。このように、許可することを表す値が可否データの値として設定されているユーザが複数存在してもよい。この場合は、候補領域CR1~CR4のうち、当該複数のユーザのそれぞれが関連付けられている登録顔画像について、当該登録顔画像に最も類似する画像を含む領域が選択領域として決定される。ここでは候補領域CR2及びCR4が選択領域として決定されることとなる。このように、複数の領域が選択領域として決定されても構わない。
 そしてこの場合は、図12に示すように、複数のユーザ画像46が配信画像40に配置されることとなる。図12には、候補領域CR2及びCR4が選択領域として決定された例が示されている。そして第1のユーザ画像46-1が候補領域CR2に対応付けられるユーザ画像46であり、第2のユーザ画像46-2が候補領域CR4に対応付けられるユーザ画像46である。
 以上のようにすれば、許可することを表す値が可否データの値として設定されているユーザについてのユーザ画像46が配信画像40に含まれることとなる。このように本実施形態では、どのような画像が配信画像40に含まれるようにするかは配信対象決定規則データによって適宜設定することが可能である。
 なお複数のユーザがゲーム装置20にログイン可能となっていてもよい。この場合も複数の領域が選択領域として決定されることとなる。
 また例えば、撮影画像44に基づいて、手を挙げるなど所定のジェスチャを行ったユーザが検出された場合に、撮影画像44内の、当該ユーザの像が配置されている領域が選択領域として決定されてもよい。
 また例えば、ユーザがゲーム装置20にログインした際に、当該ユーザと当該ユーザが操作するコントローラ26とが関連付けられるようにしてもよい。そしてコントローラ26に対して、ボタンSHの押下などといった、動画像の配信開始操作が検出された際に、当該操作を行ったユーザを特定して、撮影画像44内の、当該ユーザの像が配置されている領域が選択領域として決定されるようにしてもよい。
 また以上の説明では、ユーザ画像46は、配信画像40の左下や右下に配置されているようにしたが、ユーザ画像46が配置される領域の位置や大きさは、例えばプレイされているゲームの状況に応じて決定されるようにしてもよい。例えばスコア等ゲームに関する情報が配置される領域にはユーザ画像46が配置されないようにしてもよい。またステージをクリアした場面などといったゲームにおける重要な場面では、通常よりも拡大されたユーザ画像46が配信画像40に配置されても構わない。
 またディスプレイ22には、一連の配信画像40から構成される動画像が表示されるようにしてもよいし、一連のプレイ画像42から構成される動画像が表示されるようにしてもよい。
 なお以上の説明における、撮影画像44内の選択領域を占める画像や当該画像にマスク処理を実行した画像の代わりに、当該画像を拡大あるいは縮小した画像がユーザ画像46として配信画像40に配置されるようにしても構わない。
 以下、本実施形態に係るゲーム装置20で実装される機能及びゲーム装置20で実行される処理についてさらに説明する。
 図13は、本実施形態に係るゲーム装置20で実装される機能の一例を示す機能ブロック図である。なお、本実施形態に係るゲーム装置20で、図13に示す機能のすべてが実装される必要はなく、また、図13に示す機能以外の機能が実装されていても構わない。
 図13に示すように、本実施形態に係るゲームシステム10は、機能的には例えば、マスク処理要否データ記憶部50、音声受付部52、音声認識部54、ゲーム処理実行部56、プレイ画像取得部58、撮影画像取得部60、候補領域特定部62、配信対象決定規則データ記憶部64、アカウントデータ記憶部66、選択領域決定部68、選択領域位置データ記憶部70、距離分布画像取得部72、マスク画像生成部74、ユーザ画像生成部76、配信画像生成部78、配信画像送信部80、表示制御部82、を含んでいる。マスク処理要否データ記憶部50、配信対象決定規則データ記憶部64、アカウントデータ記憶部66、選択領域位置データ記憶部70は、記憶部32を主として実装される。音声受付部52は、入出力部36を主として実装される。音声認識部54、ゲーム処理実行部56、プレイ画像取得部58、候補領域特定部62、選択領域決定部68、マスク画像生成部74、ユーザ画像生成部76、配信画像生成部78は、制御部30を主として実装される。撮影画像取得部60、距離分布画像取得部72は、入出力部36を主として実装される。配信画像送信部80は、通信部34を主として実装される。表示制御部82は、制御部30と入出力部36を主として実装される。このようにして本実施形態に係るゲーム装置20は、配信される画像に含ませたくないものの像を当該画像に含ませないようにする手間を従来よりも低減できる画像処理システムとしての役割を担うこととなる。
 以上の機能は、コンピュータであるゲーム装置20にインストールされた、以上の機能に対応する指令を含むプログラムを制御部30で実行することにより実装されている。このプログラムは、例えば、光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等のコンピュータ読み取り可能な情報記憶媒体を介して、あるいは、インターネットなどの通信手段を介してゲーム装置20に供給される。
 マスク処理要否データ記憶部50は、図5及び図6に例示するユーザ画像46を生成するにあたって、選択領域を占める画像にマスク処理を実行するか否かを示すマスク処理要否データを記憶する。本実施形態では例えば、マスク処理要否データの値が0である場合はマスク処理が実行されず、1である場合はマスク処理が実行されることとする。
 音声受付部52は、音声を受け付ける。音声受付部52は、本実施形態では例えば、ユーザによりマイク24bに入力される音声を受け付ける。
 音声認識部54は、音声受付部52が受け付ける音声を認識する。音声認識部54は、本実施形態では、上述の第1マジックワード又は第2マジックワードを表す音声が入力されたか否かを判定する。本実施形態では、音声認識部54は、第2マジックワードを表す音声が入力されたと判定する度に、マスク処理要否データ記憶部50に記憶されているマスク処理要否データの値を0又は1の一方から他方に変更する。
 ゲーム処理実行部56は、ゲーム装置20にインストールされたゲームのプログラムを実行する。またゲーム処理実行部56は、コントローラ26から受け付ける操作入力に応じてゲームの状況を変化させる。またゲーム処理実行部56は所定のフレームレートで、図7に例示する、当該ゲームのプレイ内容を表すプレイ画像42を生成する。
 プレイ画像取得部58は、ゲーム処理実行部56が生成するプレイ画像42を取得する。
 撮影画像取得部60は、所定のフレームレートでカメラ24aにより撮影される、図8に例示する撮影画像44を取得する。
 候補領域特定部62は、上述のようにして、それぞれ撮影画像44の一部を占める少なくとも1つの候補領域CRを特定する。
 配信対象決定規則データ記憶部64は、上述の配信対象決定規則データを記憶する。
 アカウントデータ記憶部66は、図9及び図11に例示するアカウントデータを記憶する。
 選択領域決定部68は、候補領域特定部62が特定する少なくとも1つの候補領域CRのうちから上述のようにして選択領域を決定する。また選択領域決定部68は、決定された選択領域の、撮影画像44内における位置を示す選択領域位置データを生成して、当該選択領域位置データを選択領域位置データ記憶部70に記憶させる。選択領域位置データは例えば、方形である選択領域の4つの頂点それぞれの撮影画像44内における座標値を示すデータである。
 また選択領域決定部68は、上述のように、アカウントデータ記憶部66に記憶されているアカウントデータに含まれる登録顔画像などといった、ユーザの画像に基づいて、選択領域を決定してもよい。また選択領域決定部68は、例えば画像の特徴量を示すデータなどといった、ユーザの画像に対応付けられる情報に基づいて、選択領域を決定してもよい。
 選択領域位置データ記憶部70は、選択領域決定部68が生成する選択領域位置データを記憶する。
 距離分布画像取得部72は、所定のフレームレートでカメラ24aにより生成される、上述の距離分布画像を取得する。
 マスク画像生成部74は、撮影画像44内の選択領域を占める画像と、距離分布画像取得部72が取得する距離分布画像に基づいて、図10に例示するマスク画像Mを生成する。
 ユーザ画像生成部76は、図5及び図6に例示する、撮影画像44内における、配信対象となるユーザの像が配置されている選択領域を占める画像であるユーザ画像46を生成する。ユーザ画像生成部76は、上述のように、ゲームをプレイするユーザの像が配置されている選択領域を占めるユーザ画像46を生成してもよい。
 マスク処理要否データ記憶部50に記憶されているマスク処理要否データの値が0である場合は、ユーザ画像生成部76は本実施形態では、図5に示すように、選択領域決定部68が決定する撮影画像44内の選択領域を占める画像をユーザ画像46として生成する。一方当該マスク処理要否データの値が1である場合は、ユーザ画像生成部76は、選択領域決定部68が決定する撮影画像44内の選択領域を占める画像にマスク処理を実行することで図6に例示するユーザ画像46を生成する。この場合、ユーザ画像生成部76は、例えばマスク画像生成部74が生成するマスク画像Mに基づいてマスク処理を実行する。またユーザ画像生成部76は、撮影画像44の投影面に対して垂直な方向における、カメラ24aとの距離が基準となる距離よりも短い被写体の像が配置されている撮影画像44内の領域を占めるユーザ画像46を生成することとなる。
 以上のようにユーザ画像46は、配信対象となるユーザの像が配置されている領域を占める撮影画像44内の画像であるといえる。ここで図5に例示するユーザ画像46では、撮影画像44内における選択領域が、配信対象となるユーザの像が配置されている領域に相当する。一方図6に例示するユーザ画像46では、図10に例示する被写体領域Rsに対応付けられる、撮影画像44内における選択領域の一部が、配信対象となるユーザの像が配置されている領域に相当する。
 またユーザ画像生成部76は、上述のように、ゲームのプレイに使用されるコントローラ26の像が配置されている撮影画像44内の領域の位置に基づいて特定されるユーザの像が配置されている領域を占めるユーザ画像46を生成してもよい。
 また例えば選択領域決定部68が登録顔画像や画像の特徴量等といったユーザの画像に対応付けられる情報に基づいて特定される場合には、ユーザ画像生成部76は、当該画像又は当該情報に基づいて特定される像が配置されている撮影画像44内の領域を占めるユーザ画像46を生成することとなる。この場合に例えば、ゲームをプレイするユーザとしてログインしているユーザの画像又は当該画像に対応付けられる情報に基づいて特定される像が配置されている撮影画像44内の領域を占めるユーザ画像46が生成されてもよい。
 配信画像生成部78は、本実施形態では、プレイ画像取得部58が取得するプレイ画像42と、ユーザ画像生成部76が生成するユーザ画像46と、に基づいて、図5及び図6に例示する配信画像40を生成する。配信画像生成部78は、本実施形態では例えば、プレイ画像取得部58が取得するプレイ画像42の一部を占める領域に、ユーザ画像生成部76が生成するユーザ画像46が配置された、図5及び図6に例示する配信画像40を生成する。また配信画像生成部78は、上述のように、プレイ画像42の一部を占める、ゲームのプレイの状況に応じた領域にユーザ画像46が配置された配信画像40を生成してもよい。また配信画像生成部78は、ユーザ画像46と縮小されたプレイ画像42とが並置された配信画像40を生成してもよい。
 配信画像送信部80は、配信画像生成部78が生成する配信画像40を動画像配信システム12に送信する。配信画像送信部80は、本実施形態では、所定のフレームレートで生成される一連の配信画像40をフレーム画像として含む動画像を動画像配信システム12に送信する。このようにして送信される動画像は、動画像配信システム12から視聴ユーザ端末14にライブストリーミング配信される。また動画像配信システム12は、当該動画像を動画像配信システム12に記憶させる。このようにして記憶された動画像は、視聴ユーザ端末14からの要求に応じて当該視聴ユーザ端末14に配信されることとなる。
 表示制御部82は、図5及び図6に例示する配信画像40をディスプレイ22に表示させる。表示制御部82は、本実施形態では、所定のフレームレートで生成される一連の配信画像40をフレーム画像として含む動画像をディスプレイ22に表示させる。なお表示制御部82が配信画像40の代わりに図7に例示するプレイ画像42をディスプレイ22に表示させてもよい。この場合は、表示制御部82は、所定のフレームレートで生成される一連のプレイ画像42をフレーム画像として含む動画像をディスプレイ22に表示させることとなる。
 ここで音声認識部54が第1のマジックワードを表す音声が入力されたと判定した際に本実施形態に係るゲーム装置20で行われる、選択領域の決定処理の流れの一例を、図14に例示するフロー図を参照しながら説明する。
 まず、選択領域決定部68は、撮影画像取得部60が取得した最新の撮影画像44を特定する(S101)。そして選択領域決定部68は、S101に示す処理で特定された撮影画像44内の少なくとも1つの候補領域CRを特定する(S102)。そして選択領域決定部68は、配信対象決定規則データ記憶部64に記憶されている配信対象規則データが示す規則に基づいてS102に示す処理で特定された候補領域CRのうちから選択領域を決定する(S103)。ここで配信対象決定規則データの値が「ログインユーザ」や「登録許可ユーザ」である場合には、上述のように、選択領域決定部68はアカウントデータ記憶部66に記憶されているアカウントデータに含まれる登録顔画像に基づいて選択領域を決定してもよい。そして選択領域決定部68は、S103に示す処理で決定された選択領域の撮影画像44内における位置を示す選択領域位置データを生成して、選択領域位置データ記憶部70に記憶させる(S104)。
 次に、本実施形態に係るゲーム装置20で所定のフレームレートで行われる、配信画像40の生成処理の流れの一例を、図15に例示するフロー図を参照しながら説明する。
 まず、撮影画像取得部60が、当該フレームに撮影された撮影画像44を取得する(S201)。そして距離分布画像取得部72が、当該フレームに生成された距離分布画像を取得する(S202)。そしてゲーム処理実行部56が、当該フレームにおけるプレイ画像を生成する(S203)。そしてプレイ画像取得部58が、S203に示す処理で生成されたプレイ画像を取得する(S204)。
 そしてユーザ画像生成部76が、マスク処理要否データ記憶部50に記憶されているマスク処理要否データの値を確認する(S205)。
 ここでマスク処理要否データの値が0である場合は、ユーザ画像生成部76は、S201に示す処理で取得された撮影画像44内の選択領域を占める画像をユーザ画像46として生成する(S206)。当該選択領域は、選択領域位置データ記憶部70に記憶されている選択領域位置データが示す位置に基づいて特定可能である。
 一方マスク処理要否データの値が1である場合は、ユーザ画像生成部76は、S201に示す処理で取得された撮影画像44から、図10に例示する選択領域画像SPを抽出する(S207)。ここでは例えば選択領域位置データ記憶部70に記憶されている選択領域位置データが示す位置の選択領域を占める選択領域画像SPが抽出されることとなる。そしてマスク画像生成部74は、S202に示す処理で取得された距離分布画像から、選択領域位置データ記憶部70に記憶されている選択領域位置データが示す位置の選択領域に対応付けられる領域を占める画像を抽出する(S208)。ここでは例えば、撮影画像44内における選択領域の4つの頂点の座標値の組合せと距離分布画像内における、当該距離分布画像から抽出される画像が占める領域の4つの頂点の座標値との組合せとは一致する。そしてマスク画像生成部74は、S208に示す処理で抽出された画像に対してぼかし処理、モーションブラー、二値化処理などの画像処理を行って、図10に例示するマスク画像Mを生成する(S209)。そしてユーザ画像生成部76は、S207に示す処理で抽出された画像と、S209に示す処理で生成されたマスク画像Mとに基づいて、図6に例示するユーザ画像46を生成する(S210)。
 なおS206及びS210に示す処理では、上述のように1のユーザ画像46が生成されても複数のユーザ画像46が生成されても構わない。
 そして、配信画像生成部78は、S206又はS210に示す処理で生成されたユーザ画像46を、S204に示す処理で取得されたプレイ画像42の一部を占める領域に配置することで、図5及び図6に例示する配信画像40を生成する(S211)。
 なお、本発明は上述の実施形態に限定されるものではない。
 例えば、音声認識部54が第1のマジックワードを表す音声が入力されたと判定したフレーム又はその次のフレームにおける例えば上述のS204に示す処理とS205に示す処理の間に、上述のS101~S104に示す処理が実行されるようにしてもよい。
 また例えば、ゲーム装置20は、S206又はS210に示す処理で生成されたユーザ画像46、S204に示す処理で取得されたプレイ画像42とともに動画像配信システム12に送信してもよい。そして動画像配信システム12が、ユーザ画像46とプレイ画像42とに基づいて配信画像40を生成するようにしてもよい。
 またゲーム装置20が複数の筐体から構成されていてもよい。
 また、ゲームシステム10の代わりに、例えばパーソナルコンピュータ、携帯型ゲーム装置、スマートフォン、タブレット端末、などが上述のゲームシステム10の役割を担っても構わない。
 また、上記の具体的な文字列や図面中の具体的な文字列は例示であり、これらの文字列には限定されない。

Claims (12)

  1.  ゲームのプレイ内容を表す画像であるプレイ画像を取得するプレイ画像取得部と、
     前記ゲームのプレイ中にカメラにより撮影される画像である撮影画像を取得する撮影画像取得部と、
     配信対象となるユーザの像が配置されている前記撮影画像内の領域を占める画像であるユーザ画像を生成するユーザ画像生成部と、を含み、
     前記プレイ画像と前記ユーザ画像とに基づいて、配信される画像である配信画像が生成されることとなる、
     ことを特徴とする画像処理システム。
  2.  前記プレイ画像の一部を占める領域に前記ユーザ画像が配置されることで前記配信画像が生成されることとなる、
     ことを特徴とする請求項1に記載の画像処理システム。
  3.  前記ユーザ画像生成部は、前記ゲームをプレイするユーザの像が配置されている前記撮影画像内の領域を占める前記ユーザ画像を生成する、
     ことを特徴とする請求項1又は2に記載の画像処理システム。
  4.  前記ユーザ画像生成部は、記憶部に記憶されているユーザの画像又は当該画像に対応付けられる情報に基づいて特定される像が配置されている前記撮影画像内の領域を占める前記ユーザ画像を生成する、
     ことを特徴とする請求項1又は2に記載の画像処理システム。
  5.  前記ユーザ画像生成部は、前記記憶部に記憶されているユーザの画像又は当該画像に対応付けられる情報のうち、前記ゲームをプレイするユーザとしてログインしているユーザの画像又は当該画像に対応付けられる情報に基づいて特定される像が配置されている前記撮影画像内の領域を占める前記ユーザ画像を生成する、
     ことを特徴とする請求項4に記載の画像処理システム。
  6.  前記ユーザ画像生成部は、前記ゲームのプレイに使用されるコントローラの像が配置されている前記撮影画像内の領域の位置に基づいて特定されるユーザの像が配置されている前記撮影画像内の領域を占める前記ユーザ画像を生成する、
     ことを特徴とする請求項1又は2に記載の画像処理システム。
  7.  前記ユーザ画像生成部は、前記カメラとの距離が基準となる距離よりも短い被写体の像が配置されている前記撮影画像内の領域を占める前記ユーザ画像を生成する、
     ことを特徴とする請求項1から6のいずれか一項に記載の画像処理システム。
  8.  前記プレイ画像の一部を占める領域に前記ユーザ画像が配置された前記配信画像を生成する配信画像生成部、をさらに含む、
     ことを特徴とする請求項1から7のいずれか一項に記載の画像処理システム。
  9.  前記配信画像生成部は、前記プレイ画像の一部を占める前記ゲームのプレイの状況に応じた領域に前記ユーザ画像が配置された前記配信画像を生成する、
     ことを特徴とする請求項8に記載の画像処理システム。
  10.  ゲームのプレイ内容を表す画像であるプレイ画像を取得するステップと、
     前記ゲームのプレイ中にカメラにより撮影される画像である撮影画像を取得するステップと、
     配信対象となるユーザの像が配置されている前記撮影画像内の領域を占める画像であるユーザ画像を生成するステップと、
     前記プレイ画像と前記ユーザ画像とに基づいて、配信される画像である配信画像を生成するステップと、
     を含むことを特徴とする画像処理方法。
  11.  ゲームのプレイ内容を表す画像であるプレイ画像を取得する手順、
     前記ゲームのプレイ中にカメラにより撮影される画像である撮影画像を取得する手順、
     配信対象となるユーザの像が配置されている前記撮影画像内の領域を占める画像であるユーザ画像を生成する手順、をコンピュータに実行させ、
     前記プレイ画像と前記ユーザ画像とに基づいて、配信される画像である配信画像が生成されることとなる、
     ことを特徴とするプログラム。
  12.  ゲームのプレイ内容を表す画像であるプレイ画像を取得する手順、
     前記ゲームのプレイ中にカメラにより撮影される画像である撮影画像を取得する手順、
     配信対象となるユーザの像が配置されている前記撮影画像内の領域を占める画像であるユーザ画像を生成する手順、をコンピュータに実行させ、
     前記プレイ画像と前記ユーザ画像とに基づいて、配信される画像である配信画像が生成されることとなる、
     ことを特徴とするプログラムを記憶したコンピュータ読み取り可能な情報記憶媒体。
PCT/JP2015/074184 2014-09-11 2015-08-27 画像処理システム、画像処理方法、プログラム及び情報記憶媒体 WO2016039155A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/328,767 US10525336B2 (en) 2014-09-11 2015-08-27 Image processing system, image processing method, program, and information storage medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-185257 2014-09-11
JP2014185257 2014-09-11

Publications (1)

Publication Number Publication Date
WO2016039155A1 true WO2016039155A1 (ja) 2016-03-17

Family

ID=55458909

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/074184 WO2016039155A1 (ja) 2014-09-11 2015-08-27 画像処理システム、画像処理方法、プログラム及び情報記憶媒体

Country Status (2)

Country Link
US (1) US10525336B2 (ja)
WO (1) WO2016039155A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4202357A1 (de) 2021-12-22 2023-06-28 CiTEX Holding GmbH Thz-messverfahren und thz-messvorrichtung zum vermessen eines wellrohres

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007300562A (ja) * 2006-05-02 2007-11-15 Sony Computer Entertainment Inc 画像処理装置および画像処理方法
JP2012174237A (ja) * 2011-02-24 2012-09-10 Nintendo Co Ltd 表示制御プログラム、表示制御装置、表示制御システム、及び表示制御方法
JP2012239719A (ja) * 2011-05-20 2012-12-10 Konami Digital Entertainment Co Ltd ゲーム装置、ゲーム制御方法、ならびに、プログラム
JP2014155564A (ja) * 2013-02-14 2014-08-28 Namco Bandai Games Inc ゲームシステム及びプログラム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6435969B1 (en) * 1998-11-03 2002-08-20 Nintendo Co., Ltd. Portable game machine having image capture, manipulation and incorporation
US7627139B2 (en) * 2002-07-27 2009-12-01 Sony Computer Entertainment Inc. Computer image and audio processing of intensity and input devices for interfacing with a computer program
US8745541B2 (en) * 2003-03-25 2014-06-03 Microsoft Corporation Architecture for controlling a computer using hand gestures
EP2050067A1 (en) * 2006-08-03 2009-04-22 Alterface S.A. Method and device for identifying and extracting images of multiple users, and for recognizing user gestures
ES2350028T3 (es) * 2007-03-29 2011-01-17 Cam-Trax Technologies Ltd Sistema y procedimiento para realizar un seguimiento de un dispositivo electrónico.
EP2263190A2 (en) * 2008-02-13 2010-12-22 Ubisoft Entertainment S.A. Live-action image capture
US8430750B2 (en) * 2008-05-22 2013-04-30 Broadcom Corporation Video gaming device with image identification
US20120057850A1 (en) * 2010-09-03 2012-03-08 Rovi Technologies Corporation Systems and methods for generating and embedding personalized media content
US20120060095A1 (en) * 2010-09-03 2012-03-08 Rovi Technologies Corporation Systems and methods for generating personalized media content embedding images of multiple users
US8296456B2 (en) * 2010-09-03 2012-10-23 United Video Properties, Inc. Systems and methods for displaying personalized media content
US9848106B2 (en) * 2010-12-21 2017-12-19 Microsoft Technology Licensing, Llc Intelligent gameplay photo capture
KR20130014774A (ko) * 2011-08-01 2013-02-12 삼성전자주식회사 디스플레이장치 및 그 제어방법
JP5822651B2 (ja) * 2011-10-26 2015-11-24 株式会社ソニー・コンピュータエンタテインメント 個体判別装置および個体判別方法
US9740294B2 (en) * 2013-06-28 2017-08-22 Samsung Electronics Co., Ltd. Display apparatus and method for controlling display apparatus thereof
CN105407992A (zh) * 2013-07-25 2016-03-16 史克威尔·艾尼克斯控股公司 图像处理程序、服务器装置、图像处理系统及图像处理方法
US9595146B2 (en) * 2013-11-18 2017-03-14 Microsoft Technology Licensing, Llc Persistent user identification
US10162955B2 (en) * 2014-03-13 2018-12-25 Lg Electronics Inc. Mobile terminal and method for controlling same

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007300562A (ja) * 2006-05-02 2007-11-15 Sony Computer Entertainment Inc 画像処理装置および画像処理方法
JP2012174237A (ja) * 2011-02-24 2012-09-10 Nintendo Co Ltd 表示制御プログラム、表示制御装置、表示制御システム、及び表示制御方法
JP2012239719A (ja) * 2011-05-20 2012-12-10 Konami Digital Entertainment Co Ltd ゲーム装置、ゲーム制御方法、ならびに、プログラム
JP2014155564A (ja) * 2013-02-14 2014-08-28 Namco Bandai Games Inc ゲームシステム及びプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4202357A1 (de) 2021-12-22 2023-06-28 CiTEX Holding GmbH Thz-messverfahren und thz-messvorrichtung zum vermessen eines wellrohres

Also Published As

Publication number Publication date
US20170209787A1 (en) 2017-07-27
US10525336B2 (en) 2020-01-07

Similar Documents

Publication Publication Date Title
US11697061B2 (en) Systems and methods for reducing hops associated with a head mounted system
US9918058B2 (en) Information processing to allow projector units to project images in cooperation
KR102413269B1 (ko) 정보 처리 장치
US9509907B2 (en) Information processing device, storage medium having moving image data stored thereon, information processing system, storage medium having moving image reproduction program stored thereon, and moving image reproduction method
JP6420077B2 (ja) ゲームシステム
US11331569B2 (en) Information processing device, information processing method, program, and information storage medium
US11082670B2 (en) Information processing apparatus, information processing method, and program
EP1928176A2 (en) Image display system
WO2018205878A1 (zh) 一种传输视频信息的方法、终端、服务器及存储介质
JPWO2019123509A1 (ja) 端末装置、システム、プログラム及び方法
WO2021095573A1 (ja) 情報処理システム、情報処理方法及びプログラム
CN108184130B (zh) 模拟器系统、直播方法、装置及存储介质
US11086587B2 (en) Sound outputting apparatus and method for head-mounted display to enhance realistic feeling of augmented or mixed reality space
US20210125399A1 (en) Three-dimensional video processing
WO2016039155A1 (ja) 画像処理システム、画像処理方法、プログラム及び情報記憶媒体
US11044419B2 (en) Image processing device, imaging processing method, and program
JP7364957B2 (ja) 情報処理装置、動画配信方法、及び動画配信プログラム
WO2022054453A1 (ja) 撮像装置、撮像システム、及び撮像装置の設定方法
CN110807826B (zh) 虚拟场景中的地图显示方法、装置、设备及存储介质
US20230037102A1 (en) Information processing system, information processing method, and program
US20240152311A1 (en) Information processing system, information processing method, and computer program
WO2023083169A1 (zh) 显示方法、装置、电子设备和存储介质
CN118250370A (zh) 用于标识内容呈现伴随设备端口的电子设备和对应方法
JP2024031114A (ja) 情報処理装置および画像生成方法
JP6489733B2 (ja) 画像出力装置、画像出力方法、およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15840455

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15328767

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15840455

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP