JP7409172B2

JP7409172B2 - image generation system

Info

Publication number: JP7409172B2
Application number: JP2020043322A
Authority: JP
Inventors: 賢人渡邊; 大輔宮本
Original assignee: Dai Nippon Printing Co Ltd
Current assignee: Dai Nippon Printing Co Ltd
Priority date: 2020-03-12
Filing date: 2020-03-12
Publication date: 2024-01-09
Anticipated expiration: 2040-03-12
Also published as: JP2021144529A

Description

本発明は、画像生成システムに関する。 The present invention relates to an image generation system.

デジタルカメラやスマートフォン等のカメラには、撮影画像の中にある人間の顔を認識する顔認識システムが搭載されている。例えば、顔認識システムは、顔情報のデータベースと、画面内にある顔と思われる物体を照合し、眉、目、鼻、口といったパーツと輪郭の位置関係からその物体が顔なのかどうかを判断している。 Cameras such as digital cameras and smartphones are equipped with facial recognition systems that recognize human faces in captured images. For example, a facial recognition system compares a facial information database with an object that appears to be a face on the screen, and determines whether the object is a face based on the positional relationship between parts such as eyebrows, eyes, nose, and mouth, and the outline. are doing.

従来、顔認識システムは、撮影時に顔を認識して顔に焦点を合わせる処理や、表情を認識して笑顔になった時にシャッターを切る処理などに活用されていた。 Traditionally, facial recognition systems have been used to recognize faces and focus on them when taking pictures, or to recognize facial expressions and release the shutter when a person smiles.

このような顔認識の機能を用いて、面白みのある画像を作成することが求められている。 There is a need to create interesting images using such face recognition functions.

特開２０１８－６８４７０号公報JP2018-68470A 特開２００４－４６５９１号公報Japanese Patent Application Publication No. 2004-46591

本発明は、被写体を撮影し、面白みのある画像を生成できる画像生成システムを提供することを課題とする。 An object of the present invention is to provide an image generation system that can photograph a subject and generate interesting images.

本発明による画像生成システムは、ユーザの顔を動画撮影した動画データを取得する画像取得部と、前記動画データにおいて前記ユーザの口又は鼻が物体により隠れたタイミングで前記動画データから静止画を切り出す切出部と、を備えるものである。 The image generation system according to the present invention includes an image acquisition unit that acquires video data of a user's face, and cuts out a still image from the video data at a timing when the user's mouth or nose is hidden by an object in the video data. A cutout portion.

本発明の一態様では、前記動画データに含まれる複数のフレーム画像の各々について、前記フレーム画像内の前記ユーザの口及び鼻の位置の情報を含む解析結果を取得する解析結果取得部をさらに備え、前記切出部は、前記解析結果を参照し、前記口及び鼻の位置の変化に基づいて、前記タイミングを決定する。 One aspect of the present invention further includes an analysis result acquisition unit that acquires, for each of the plurality of frame images included in the video data, an analysis result including information on the positions of the user's mouth and nose in the frame image. , the cutting section refers to the analysis result and determines the timing based on changes in the positions of the mouth and nose.

本発明の一態様では、前記解析結果は、前記ユーザの口の両端の位置の情報を含み、前記切出部は、鼻から口の両端までの距離、及び口の両端の間の距離の変化に基づいて、前記タイミングを決定する。 In one aspect of the present invention, the analysis result includes information on the positions of both ends of the user's mouth, and the cutout portion includes a distance from the nose to both ends of the mouth, and a change in the distance between both ends of the mouth. The timing is determined based on.

本発明の一態様では、前記解析結果は、前記ユーザの目の位置の情報を含み、前記切出部は、さらに、前記目の位置の変化に基づくタイミングで前記動画データから静止画を切り出す。 In one aspect of the present invention, the analysis result includes information on the position of the user's eyes, and the cutting unit further cuts out a still image from the video data at a timing based on a change in the position of the eyes.

本発明の一態様では、前記動画データは、ガムを膨らませる前記ユーザを動画撮影したものであり、前記解析結果は、前記フレーム画像内のガム領域の位置情報を含み、前記切出部は、前記ガム領域の位置情報からガム領域の大きさを算出し、算出した値が所定値以上となったタイミングで前記動画データからさらに静止画を切り出す。 In one aspect of the present invention, the video data is a video of the user inflating gum, the analysis result includes position information of a gum region within the frame image, and the cutout section includes: The size of the gum region is calculated from the position information of the gum region, and a still image is further cut out from the video data at the timing when the calculated value becomes equal to or greater than a predetermined value.

本発明によれば、被写体を撮影し、面白みのある画像を生成できる。 According to the present invention, it is possible to photograph a subject and generate an interesting image.

本発明の実施形態に係る画像生成システムの概略図である。1 is a schematic diagram of an image generation system according to an embodiment of the present invention. 図２ａ～図２ｆは画像の切り出しタイミングの例を示す図である。FIGS. 2a to 2f are diagrams showing examples of image cutout timing. 画像生成装置のブロック図である。FIG. 2 is a block diagram of an image generation device. 画像処理プログラムによる機能のブロック図である。FIG. 2 is a block diagram of functions provided by an image processing program. 鼻と口の座標を示す図である。FIG. 3 is a diagram showing the coordinates of a nose and a mouth. 膨らんだガムの大きさの算出例を示す図である。It is a figure which shows the calculation example of the size of swollen gum. 別の実施形態に係る画像生成システムの概略図である。FIG. 2 is a schematic diagram of an image generation system according to another embodiment.

以下、本発明の実施の形態を図面に基づいて説明する。 Embodiments of the present invention will be described below based on the drawings.

図１に示すように、本発明の実施形態に係る画像生成システムは、画像生成装置１と解析サーバ２とを備え、ユーザ５を動画撮影し、動画から面白い瞬間で画像（静止画）を切り出し、面白みのある画像を生成する。 As shown in FIG. 1, the image generation system according to the embodiment of the present invention includes an image generation device 1 and an analysis server 2, and captures a video of a user 5, and cuts out images (still images) at interesting moments from the video. , generates interesting images.

例えば、この画像生成システムをチューインガム（風船ガム）のキャンペーンで使用し、ユーザ５（顧客）に新製品のガムを配布して試食してもらい、ガムを膨らませる様子の動画を画像生成装置１で撮影する。画像生成装置１は、１又は複数のタイミングで動画から画像を切り出す。 For example, this image generation system is used in a campaign for chewing gum (bubble gum), and the user 5 (customer) is given a new product of gum and asked to try it, and the image generation device 1 creates a video of the process of blowing up the gum. Take a photo. The image generation device 1 cuts out images from a video at one or more timings.

図２ａは、ガムを膨らませる前の状態を示す。図２ｂに示すように、ガム７が膨らんで口が隠れたタイミングで１枚目の画像を切り出す。ガム７が大きく膨らみ、図２ｃに示すように、口及び鼻が隠れたタイミングで２枚目の画像を切り出す。 Figure 2a shows the state before the gum is expanded. As shown in FIG. 2b, the first image is cut out at the timing when the gum 7 expands and the mouth is hidden. The second image is cut out at the timing when the gum 7 expands to a large extent and the mouth and nose are hidden, as shown in FIG. 2c.

さらにガム７が大きく膨らみ、図２ｄに示すように、膨らんだガム７が所定サイズに達したタイミングで３枚目の画像を切り出す。次に、図２ｅに示すように、ガム７が破裂して形状が大きく変化したタイミングで４枚目の画像を切り出す。続いて、図２ｆに示すように、ガム７の破裂に驚き、ユーザが目をつぶるなどして表情が変化したタイミングで５枚目の画像を切り出す。 The gum 7 further swells to a large extent, and the third image is cut out at the timing when the swollen gum 7 reaches a predetermined size, as shown in FIG. 2d. Next, as shown in FIG. 2e, a fourth image is cut out at the timing when the gum 7 bursts and its shape changes significantly. Subsequently, as shown in FIG. 2f, the fifth image is cut out at the timing when the user's facial expression changes, such as when the user closes his eyes in surprise at the bursting of the gum 7.

このように、画像生成装置１は、ユーザ５を撮影した動画から面白い瞬間で画像を切り出し、面白みのある画像を生成する。切り出した画像は、ユーザ５のメールアドレス宛にデータ送信したり、キャンペーンサイトに投稿したり、プリント出力してプリント物Ｐをユーザ５に渡したりする。 In this way, the image generation device 1 cuts out images at interesting moments from the video of the user 5, and generates interesting images. The cut out image is sent as data to the user 5's e-mail address, posted on a campaign site, or printed out and given to the user 5 as a printout P.

図３に示すように、画像生成装置１は、演算制御部１０、記憶部１１、通信部１２、撮影部１３、タッチパネル１４及びプリンタ１５を備える。例えば、演算制御部１０はＣＰＵであり、記憶部１１はＲＡＭ、ＨＤＤ、ＳＳＤ等である。撮影部１３はデジタルカメラであり、ユーザ５を動画撮影し、動画データを生成する。画像生成装置１は、演算制御部１０、記憶部１１及び通信部１２を有するコンピュータと、撮影部１３と、タッチパネル１４と、プリンタ１５とが１つの筐体に収容されたものである。 As shown in FIG. 3, the image generation device 1 includes an arithmetic control section 10, a storage section 11, a communication section 12, a photographing section 13, a touch panel 14, and a printer 15. For example, the calculation control unit 10 is a CPU, and the storage unit 11 is a RAM, HDD, SSD, etc. The photographing unit 13 is a digital camera, and photographs a moving image of the user 5 to generate moving image data. The image generation device 1 includes a computer having a calculation control section 10, a storage section 11, and a communication section 12, a photographing section 13, a touch panel 14, and a printer 15 housed in one housing.

記憶部１１には画像処理プログラムが格納されている。演算制御部１０が画像処理プログラムを実行することで、図４に示すように、画像取得部１０１、画像送信部１０２、解析結果取得部１０３、切出部１０４、表示処理部１０５及びプリント処理部１０６の機能が実現される。 The storage unit 11 stores an image processing program. When the arithmetic control unit 10 executes the image processing program, as shown in FIG. 106 functions are realized.

画像取得部１０１は、撮影部１３から、ユーザ５を撮影した動画データを取得する。動画データは記憶部１１に格納される。 The image acquisition unit 101 acquires video data of the user 5 from the photography unit 13 . The video data is stored in the storage unit 11.

画像送信部１０２は、通信部１２を用いて、動画データを解析サーバ２へ送信する。 The image transmitting section 102 transmits the video data to the analysis server 2 using the communication section 12 .

解析サーバ２は、画像生成装置１から受信した動画データの画像解析を行うコンピュータである。画像解析では、撮影画像に写っているユーザ５の顔の目、鼻、口の位置を検出する。目の位置は両目（右目及び左目）の位置を含む。口の位置は、口の両端（右端及び左端）の位置を含む。また、解析サーバ２には、膨らんだガム７の色が事前に登録されており、解析サーバ２は、撮影画像内のガム領域を検出する。 The analysis server 2 is a computer that performs image analysis of video data received from the image generation device 1. In the image analysis, the positions of the eyes, nose, and mouth of the user's 5 face in the captured image are detected. The position of the eyes includes the positions of both eyes (right eye and left eye). The position of the mouth includes the positions of both ends (right end and left end) of the mouth. Furthermore, the color of the swollen gum 7 is registered in advance in the analysis server 2, and the analysis server 2 detects the gum region within the photographed image.

ガム７が膨らむことで口や鼻が隠れた場合、解析サーバ２は、ガム７で隠れた口や鼻について、不明（検出不能）と判定する場合と、目や耳など他のパーツの位置を用いて口や鼻の位置を推定する場合とがある。 If the mouth or nose is hidden by the expanding gum 7, the analysis server 2 determines whether the mouth or nose hidden by the gum 7 is unknown (undetectable) or the position of other parts such as eyes and ears. In some cases, the position of the mouth and nose can be estimated using this method.

解析サーバ２は、動画データを構成する複数のフレーム画像の各々について画像解析を行い、目、鼻、口の位置の検出や、ガム領域の検出を行い、解析結果を画像生成装置１へ送信する。 The analysis server 2 performs image analysis on each of the plurality of frame images constituting the video data, detects the positions of the eyes, nose, and mouth, and detects the gum area, and sends the analysis results to the image generation device 1. .

画像生成装置１の解析結果取得部１０３は、通信部１２を用いて、解析サーバ２から解析結果を取得する。解析結果には、動画データの各フレーム画像について、目、鼻、口の位置情報やガム領域の位置情報が含まれる。 The analysis result acquisition unit 103 of the image generation device 1 uses the communication unit 12 to acquire the analysis result from the analysis server 2. The analysis results include position information of the eyes, nose, and mouth and position information of the gum area for each frame image of the video data.

切出部１０４は、解析サーバ２による解析結果を用いて、動画から画像を切り出す。例えば、解析サーバ２が、口や鼻がガムで隠れた際に不明と判定する場合、切出部１０４は、解析結果で口が不明となったタイミングで動画から画像を切り出す。これにより、図２ｂに示すような画像が生成される。また、切出部１０４は、解析結果で鼻が不明となったタイミングで動画から画像を切り出す。これにより、図２ｃに示すような画像が生成される。 The cutting unit 104 cuts out images from the video using the analysis results by the analysis server 2. For example, if the analysis server 2 determines that the mouth or nose is unknown when it is hidden by gum, the cutting unit 104 cuts out an image from the video at the timing when the mouth becomes unclear as a result of the analysis. This produces an image as shown in Figure 2b. Furthermore, the cutting unit 104 cuts out an image from the video at the timing when the nose becomes unclear as a result of the analysis. This produces an image as shown in Figure 2c.

解析サーバ２が、ガムで隠れた口や鼻の位置を推定する場合、解析結果には口や鼻の位置が常に含まれている。切出部１０４は、鼻から口の両端までの距離、及び口の両端の間の距離を用いて、口や鼻がガムで隠れたか否か判断し、画像を切り出すタイミングを決定する。 When the analysis server 2 estimates the position of the mouth or nose hidden by gum, the analysis result always includes the position of the mouth or nose. The cutting unit 104 uses the distance from the nose to both ends of the mouth and the distance between both ends of the mouth to determine whether the mouth and nose are hidden by gum, and determines the timing to cut out the image.

例えば、解析結果には、図５に示すように、鼻の座標（Ｘ１、Ｙ１）、口の両端の座標（Ｘ２、Ｙ２）（Ｘ３、Ｙ３）が含まれている。口が隠れた場合、口の両端の座標は推定値となり、座標が変動する。また、鼻が隠れた場合、鼻の座標は推定値となり、座標が変動する。 For example, as shown in FIG. 5, the analysis result includes the coordinates of the nose (X1, Y1) and the coordinates of both ends of the mouth (X2, Y2) (X3, Y3). When the mouth is hidden, the coordinates of both ends of the mouth are estimated values, and the coordinates change. Furthermore, when the nose is hidden, the coordinates of the nose become estimated values and the coordinates change.

切出部１０４は、鼻から口の両端までの距離、及び口の両端の間の距離として、Ｘ方向、Ｙ方向にそれぞれ以下の評価値Ｅｘ、Ｅｙを算出する。
Ｅｘ＝（Ｘ１－Ｘ２）^２＋（Ｘ２－Ｘ３）^２＋（Ｘ３－Ｘ１）^２
Ｅｙ＝（Ｙ１－Ｙ２）^２＋（Ｙ２－Ｙ３）^２＋（Ｙ３－Ｙ１）^２ The cutting unit 104 calculates the following evaluation values Ex and Ey in the X direction and the Y direction, respectively, as the distance from the nose to both ends of the mouth and the distance between both ends of the mouth.
Ex=(X1-X2) ² +(X2-X3) ² +(X3-X1) ²
Ey=(Y1-Y2) ² +(Y2-Y3) ² +(Y3-Y1) ²

切出部１０４は、動画データの各フレーム画像について、時系列順に、解析結果を用いて評価値Ｅｘ、Ｅｙを算出する。切出部１０４は、動画データの初期のフレーム画像、すなわちガムを膨らます前の、鼻や口が見えているタイミングでの画像の評価値Ｅｘ、Ｅｙを基準値に設定する。 The cutting unit 104 calculates evaluation values Ex and Ey for each frame image of the video data in chronological order using the analysis results. The cutting unit 104 sets evaluation values Ex and Ey of an initial frame image of the video data, that is, an image at a timing when the nose and mouth are visible before the gum is inflated, as reference values.

切出部１０４は、算出した評価値Ｅｘ、Ｅｙと基準値との差異が、Ｘ方向、Ｙ方向の両方で所定の第１閾値を超えたときに、口が隠れたと判断し、このタイミングで動画から画像を切り出す。これにより、図２ｂに示すような画像が生成される。 The extraction unit 104 determines that the mouth is hidden when the difference between the calculated evaluation values Ex, Ey and the reference value exceeds a predetermined first threshold in both the X direction and the Y direction, and at this timing, the extraction unit 104 determines that the mouth is hidden. Extract images from videos. This produces an image as shown in Figure 2b.

また、切出部１０４は、算出した評価値Ｅｘ、Ｅｙと基準値との差異が、Ｘ方向、Ｙ方向の両方で所定の第２閾値（第２閾値＞第１閾値）を超えたときに、口及び鼻が隠れたと判断し、このタイミングで動画から画像を切り出す。これにより、図２ｃに示すような画像が生成される。 Furthermore, when the difference between the calculated evaluation values Ex, Ey and the reference value exceeds a predetermined second threshold (second threshold>first threshold) in both the X direction and the Y direction, the extraction unit 104 , it is determined that the mouth and nose are hidden, and the image is cut out from the video at this timing. This produces an image as shown in Figure 2c.

切出部１０４は、解析結果に含まれるガム領域の位置情報から、ガム領域の大きさを算出する。例えば、解析結果には、ガム領域の位置情報として、ガム領域のＸ座標の最大値及び最小値、Ｙ座標の最大値及び最小値が含まれる。切出部１０４は、ガム領域の座標を用いて、図６に示すように、ガム領域のＸ方向の寸法Ｌｘ、Ｙ方向の寸法Ｌｙを算出し、ＬｘとＬｙを乗じた値（Ｌｘ×Ｌｙ）をガム領域の大きさとして算出する。 The cutting unit 104 calculates the size of the gum region from the position information of the gum region included in the analysis result. For example, the analysis result includes the maximum and minimum values of the X coordinate and the maximum and minimum values of the Y coordinate of the gum region as position information of the gum region. Using the coordinates of the gum region, the cutout section 104 calculates the dimension Lx in the X direction and the dimension Ly in the Y direction of the gum region, as shown in FIG. ) is calculated as the size of the gum region.

切出部１０４は、算出したガム領域の大きさが所定の閾値以上となったタイミングで動画から画像を切り出す。これにより、図２ｄに示すような画像が生成される。 The cutting unit 104 cuts out an image from the video at a timing when the calculated size of the gum region becomes equal to or larger than a predetermined threshold. This produces an image as shown in Figure 2d.

切出部１０４は、ガム領域の位置情報が一定時間（ごく短時間）の間に所定量以上変化した場合、膨らんでいたガムが破裂したと判断し、このタイミングで動画から画像を切り出す。これにより、図２ｅに示すような画像が生成される。 If the positional information of the gum area changes by a predetermined amount or more within a certain period of time (a very short time), the cutting unit 104 determines that the inflated gum has burst, and cuts out an image from the video at this timing. This produces an image as shown in Figure 2e.

切出部１０４は、目の座標の変化量から目つぶりを判断し、画像を切り出すタイミングを決定する。例えば、解析結果には、右目の座標（Ｘ_{ｅｙｅＲｔ}、Ｙ_{ｅｙｅＲｔ}）と左目の座標（Ｘ_{ｅｙｅＬｔ}、Ｙ_{ｅｙｅＬｔ}）が含まれている。切出部１０４は、動画データの出だし（初期）のフレーム画像、すなわちガムを膨らます前の画像の解析結果に含まれる右目の座標（Ｘ_{ｅｙｅＲ０}、Ｙ_{ｅｙｅＲ０}）、左目の座標（Ｘ_{ｅｙｅＬ０}、Ｙ_{ｅｙｅＬ０}）を基準値に設定する。 The cropping unit 104 determines whether the eyes are closed based on the amount of change in the coordinates of the eyes, and determines the timing to crop the image. For example, the analysis result includes the coordinates of the right eye (X _eyeRt , Y _eyeRt ) and the coordinates of the left eye (X _eyeLt , Y _eyeLt ). The extraction unit 104 extracts the coordinates of the right eye (X _eyeR0 , Y _eyeR0 ) and the coordinates of the left eye (X eyeL0 , Y _eyeL0 ) included in the analysis result of the starting (initial) frame image of the video data, that _is , the image before blowing the gum. ) as the reference value.

そして、切出部１０４は、以下の式で目の座標の変化量を算出し、算出した変化量が所定の閾値を超えると、目つぶりしたと判断し、このタイミングで動画から画像を切り出す。これにより、図２ｆに示すような画像が生成される。
目の座標の変化量＝（Ｘ_{ｅｙｅＲｔ}－Ｘ_{ｅｙｅＲ０}）^２＋（Ｙ_{ｅｙｅＲｔ}－Ｙ_{ｅｙｅＲ０}）^２ Then, the cutting unit 104 calculates the amount of change in the coordinates of the eyes using the following formula, and when the calculated amount of change exceeds a predetermined threshold, it determines that the eyes are closed, and cuts out an image from the video at this timing. This produces an image as shown in Figure 2f.
Amount of change in eye coordinates = (X _eyeRt - X _eyeR0 ) ² + (Y _eyeRt - Y _eyeR0 ) ²

上記の式は右目の座標の変化量を算出するものであるが、左目の座標を用いて変化量を算出してもよいし、右目及び左目の両方の座標を用いて変化量を算出してもよい。 The above formula calculates the amount of change in the coordinates of the right eye, but the amount of change may be calculated using the coordinates of the left eye, or the amount of change may be calculated using the coordinates of both the right and left eyes. Good too.

表示処理部１０５は、切出部１０４が切り出した画像をタッチパネル１４に表示する。 The display processing unit 105 displays the image cut out by the cutting unit 104 on the touch panel 14.

プリント処理部１０６は、切出部１０４が切り出した画像をプリンタ１５からプリント出力させる。タッチパネル１４に表示された複数の画像のうち、ユーザ５がタッチパネル１４を操作して選択した画像をプリント出力してもよい。 The print processing unit 106 causes the printer 15 to print out the image cut out by the cutting unit 104. Among the plurality of images displayed on the touch panel 14, an image selected by the user 5 by operating the touch panel 14 may be printed out.

通信部１２は、切出部１０４により切り出された画像をユーザ５のメールアドレス宛にデータ送信できる。また、通信部１２は、切出部１０４により切り出された画像をキャンペーンサイトに投稿できる。 The communication unit 12 can transmit data of the image cut out by the cutout unit 104 to the email address of the user 5. Furthermore, the communication unit 12 can post the image cut out by the cutout unit 104 to the campaign site.

このように、本実施形態によれば、動画から面白い瞬間で画像を切り出し、面白みのある画像を生成できる。 In this way, according to the present embodiment, images can be cut out at interesting moments from a video to generate interesting images.

上記実施形態では、画像生成装置１が動画の撮影、及び画像の切り出しを行う例について説明したが、図７に示すように、動画の撮影をユーザ５が所有するスマートフォン等のユーザ端末３で行ってもよい。ユーザ端末３は、撮影した動画をサーバ４へ送信する。 In the above embodiment, an example has been described in which the image generation device 1 shoots a video and cuts out an image, but as shown in FIG. 7, a user terminal 3 such as a smartphone owned by a user 5 shoots a video. You can. The user terminal 3 transmits the captured video to the server 4.

サーバ４は動画を保存すると共に、動画を解析サーバ２へ送信する。サーバ４は、解析サーバ２から解析結果を受信すると、切出部１０４と同様の処理を行い、動画から画像を切り出す。サーバ４は、切り出した画像をユーザ端末３へ送信する。動画から画像を切り出す処理は、ユーザ端末３で行ってもよい。 The server 4 saves the video and also sends the video to the analysis server 2. When the server 4 receives the analysis result from the analysis server 2, it performs the same processing as the cutting unit 104 and cuts out an image from the video. The server 4 transmits the cut out image to the user terminal 3. The process of cutting out images from a video may be performed by the user terminal 3.

上記実施形態では、撮影画像を解析し、顔のパーツの位置を検出する解析サーバ２と、動画から画像を切り出す画像生成装置１とが異なるコンピュータである例について説明したが、１つのコンピュータが解析と切り出しを行ってもよい。 In the above embodiment, an example has been described in which the analysis server 2 that analyzes a photographed image and detects the positions of facial parts and the image generation device 1 that cuts out an image from a video are different computers. You can also cut out.

上記実施形態では、ガムを膨らませる様子を撮影する例について説明したが、風船など他の物体を膨らませるものであってもよい。また、カメラに向かって面白い表情をし、顔の各パーツの座標の変化から表情が変わるタイミングを決定し、そのタイミングで動画から画像を切り出してもよい。 In the embodiment described above, an example was described in which the state of inflating gum is photographed, but it may also be possible to inflate another object such as a balloon. Alternatively, the user may make an interesting expression toward the camera, determine the timing at which the expression changes based on changes in the coordinates of each part of the face, and then cut out the image from the video at that timing.

上記実施形態では、撮影部１３がユーザ５を動画撮影する例について説明したが、静止画を高速連写するものであってもよい。 In the embodiment described above, an example has been described in which the photographing unit 13 photographs a moving image of the user 5, but it may also continuously photograph still images at high speed.

本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。 The present invention is not limited to the above-mentioned embodiments as they are, and in the implementation stage, the constituent elements can be modified and embodied without departing from the spirit of the invention. Moreover, various inventions can be formed by appropriately combining the plurality of components disclosed in the above embodiments. For example, some components may be deleted from all the components shown in the embodiments. Furthermore, components of different embodiments may be combined as appropriate.

１画像生成装置
２解析サーバ
３ユーザ端末
４サーバ
５ユーザ 1 Image generation device 2 Analysis server 3 User terminal 4 Server 5 User

Claims

an image acquisition unit that acquires video data of a user's face;
a cutting unit that cuts out a still image from the video data at a timing when the user's mouth or nose is hidden by an object in the video data;
An image generation system comprising:

Further comprising an analysis result acquisition unit that acquires, for each of the plurality of frame images included in the video data, an analysis result including information on the positions of the user's mouth and nose in the frame image,
The image generation system according to claim 1, wherein the cutting section refers to the analysis result and determines the timing based on changes in the positions of the mouth and nose.

The analysis result includes information on the positions of both ends of the user's mouth,
3. The image generation system according to claim 2, wherein the cutting section determines the timing based on a distance from the nose to both ends of the mouth and a change in the distance between both ends of the mouth.

The analysis result includes information on the position of the user's eyes,
The image generation system according to claim 2 or 3, wherein the cutting unit further cuts out a still image from the video data at a timing based on a change in the position of the eye.

The video data is a video of the user inflating gum;
The analysis result includes position information of a gum region within the frame image,
The cutting unit calculates the size of the gum region from the position information of the gum region, and further cuts out a still image from the video data at a timing when the calculated value becomes a predetermined value or more. 5. The image generation system according to any one of 2 to 4.