JP6826862B2 - Image processing system and program. - Google Patents
Image processing system and program. Download PDFInfo
- Publication number
- JP6826862B2 JP6826862B2 JP2016211591A JP2016211591A JP6826862B2 JP 6826862 B2 JP6826862 B2 JP 6826862B2 JP 2016211591 A JP2016211591 A JP 2016211591A JP 2016211591 A JP2016211591 A JP 2016211591A JP 6826862 B2 JP6826862 B2 JP 6826862B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- mask
- user
- unit
- background image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
画像処理システム、およびプログラムに関する。 Regarding image processing systems and programs.
従来より、ある風景の中にあたかも人物が存在するような背景画像を合成する技術が種々開示されている。例えば、グリーンバックを利用したクロマキー合成の技術や背景差分除去アルゴリズムによって人物領域を切り抜き、背景画像に合成する技術が知られている。しかしながら、従来の処理方法では処理負担が大きく、リアルタイムに人物を映すサイネージ上において人物の動きに追随する形で背景画像を合成できないという問題があった。 Conventionally, various techniques for synthesizing a background image as if a person exists in a certain landscape have been disclosed. For example, a technique of chroma key composition using a green background and a technique of cutting out a person area by a background subtraction removal algorithm and synthesizing it with a background image are known. However, the conventional processing method has a problem that the processing load is heavy and the background image cannot be synthesized in a form that follows the movement of the person on the signage that displays the person in real time.
本発明が解決しようとする課題は、リアルタイムに人物を映すサイネージ上において人物の動きに追随する形で見栄えの良い背景合成画像を提供することである。 An object to be solved by the present invention is to provide a good-looking background composite image in a form that follows the movement of a person on a signage that shows the person in real time.
上記課題を解決するために、実施形態の画像処理システムは、ユーザ画像およびデプスマップを取得する撮影部と、取得した前記デプスマップからユーザ特徴情報を取得する撮影情報解析部と、透明度マスク、マスク情報および背景画像を保存する記憶部と、前記ユーザ特徴情報および前記記憶部に保存されたマスク情報を参照し、前記背景画像にマスクを適用し、前記マスク適用部分の画像領域を透明化したマスク適用背景画像を生成する背景画像生成部と、前記ユーザ画像と、前記背景画像生成部で生成された前記マスク適用背景画像と、の合成画像を生成する合成部と、前記合成画像を表示する表示部と、を備える。 In order to solve the above problems, the image processing system of the embodiment includes a photographing unit that acquires a user image and a depth map, a photographing information analysis unit that acquires user feature information from the acquired depth map, and a transparency mask and a mask. A mask that applies a mask to the background image by referring to a storage unit that stores information and a background image, the user feature information, and mask information stored in the storage unit, and makes the image area of the mask application portion transparent. A background image generation unit that generates an applied background image, a composition unit that generates a composite image of the user image and the mask application background image generated by the background image generation unit, and a display that displays the composite image. It has a part and.
以下、発明を実施するための実施形態について説明する。 Hereinafter, embodiments for carrying out the invention will be described.
(第１の実施形態)
図１は第１の実施形態に係る画像処理システムの機能ブロック図である。本実施形態では、リアルタイムに人物を映すサイネージを用いる画像処理システムの一例として、仮想試着システムを挙げている。ここで、リアルタイム性を必要とする画像処理システムであれば、仮想試着システムに限定されない。
(First Embodiment)
FIG. 1 is a functional block diagram of the image processing system according to the first embodiment. In the present embodiment, a virtual fitting system is given as an example of an image processing system that uses signage to project a person in real time. Here, the image processing system that requires real-time performance is not limited to the virtual fitting system.
本実施形態の画像処理システムのユーザ端末１００は、ユーザ画像撮影部１０１と、デプスマップ撮影部１０２と、表示部１０３と、入出力部１０４を備える。ユーザ端末１００は、公知のネットワーク３００を介してサーバ２００と接続されている。 The user terminal 100 of the image processing system of the present embodiment includes a user image capturing unit 101, a depth map capturing unit 102, a display unit 103, and an input / output unit 104. The user terminal 100 is connected to the server 200 via a known network 300.
ユーザ画像撮影部１０１は、所定時間毎にユーザを撮影し、ユーザの人物領域を含む画像（以下ユーザ画像とする）を得る。ユーザは、本システムを使用する対象である。 The user image capturing unit 101 photographs the user at predetermined time intervals and obtains an image including the user's person area (hereinafter referred to as a user image). The user is the target of using this system.
デプスマップ撮影部１０２は、撮影によりデプスマップを取得する。 The depth map shooting unit 102 acquires the depth map by shooting.
表示部１０３は、サーバ２００の合成部２２５で生成された合成画像を表示する。 The display unit 103 displays the composite image generated by the composite unit 225 of the server 200.
本実施形態の画像処理システムのサーバ２００は、入出力部２１０と、処理部２２０と、記憶部２３０を備える。 The server 200 of the image processing system of the present embodiment includes an input / output unit 210, a processing unit 220, and a storage unit 230.
入出力部２１０は、ユーザ端末１００とデータの送受信を行う。 The input / output unit 210 transmits / receives data to / from the user terminal 100.
処理部２２０は、制御部２２１と、撮影情報解析部２２２と、背景画像生成部２２３と、衣服画像調整部２２４と、合成部２２５を含む。 The processing unit 220 includes a control unit 221, a shooting information analysis unit 222, a background image generation unit 223, a clothing image adjustment unit 224, and a composition unit 225.
制御部２２１は、ユーザ端末１００のユーザ画像撮影部１０１およびデプスマップ撮影部１０２の撮影のタイミングを制御する。さらに、ユーザ端末１００の表示部１０３に表示する情報を制御する。撮影情報解析部２２２は、ユーザのデプスマップから、体型パラメータおよび骨格情報を算出する。背景画像生成部２２３は、ユーザ端末１００のユーザ画像撮影部１０１で撮影されたユーザ画像に重ねて描画するために一部透明化した背景画像を生成する。衣服画像調整部２２４は、ユーザ端末１００のユーザ画像撮影部１０１で撮影されたユーザ画像の人物領域に重ねて描画するために衣服画像の大きさ等を調整する（公知の仮想試着技術）。合成部２２５は、ユーザ端末１００のユーザ画像撮影部１０１で撮影されたユーザ画像と、背景画像生成部２２３で生成された背景画像と、衣服画像調整部２２４で調整された衣服画像を重ねて描画し、合成画像を生成する。 The control unit 221 controls the shooting timing of the user image shooting unit 101 and the depth map shooting unit 102 of the user terminal 100. Further, the information displayed on the display unit 103 of the user terminal 100 is controlled. The shooting information analysis unit 222 calculates body shape parameters and skeleton information from the user's depth map. The background image generation unit 223 generates a partially transparent background image for drawing on the user image captured by the user image capturing unit 101 of the user terminal 100. The garment image adjusting unit 224 adjusts the size and the like of the garment image in order to superimpose and draw the user image captured by the user image capturing unit 101 of the user terminal 100 on the person area (known virtual fitting technique). The compositing unit 225 draws the user image captured by the user image capturing unit 101 of the user terminal 100, the background image generated by the background image generating unit 223, and the clothing image adjusted by the clothing image adjusting unit 224 in an overlapping manner. And generate a composite image.
記憶部２３０は、各種データを記憶する公知の記憶デバイスであり、特徴情報記憶部２３１、マスク記憶部２３２と、背景画像記憶部２３３と、衣服画像記憶部２３４と、生成背景画像記憶部２３５を持つ。 The storage unit 230 is a known storage device that stores various data, and includes a feature information storage unit 231, a mask storage unit 232, a background image storage unit 233, a clothing image storage unit 234, and a generation background image storage unit 235. Have.
特徴情報記憶部２３１には、撮影情報解析部２２２でデプスマップから算出したユーザの特徴情報が保存される。マスク記憶部２３２には、背景画像生成部２２３が切り抜き背景画像を生成する際に使用するマスクが保存される。背景画像記憶部２３３は、撮影されたユーザ画像に背景として使用する加工前の画像が保存される。衣服画像記憶部２３４には、撮影されたユーザ画像に重ねて描画する衣服の画像が保存される。生成背景画像記憶部２３５には、合成を行うために生成したマスク適用背景画像が保存される。 The feature information storage unit 231 stores the user's feature information calculated from the depth map by the shooting information analysis unit 222. The mask storage unit 232 stores a mask used by the background image generation unit 223 to generate a cropped background image. The background image storage unit 233 stores an unprocessed image to be used as a background in the captured user image. The clothing image storage unit 234 stores an image of clothing to be drawn by superimposing the captured user image. The masked background image generated for compositing is stored in the generated background image storage unit 235.
ここで、サーバ２００の入出力部２１０、制御部２２１、撮影情報解析部２２２、背景画像生成部２２３、衣服画像調整部２２４および合成部２２５の一部またはすべては、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などの処理装置にプログラムを実行させること、すなわち、ソフトウェアにより実現してもよいし、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）などのハードウェアにより実現してもよいし、ソフトウェアおよびハードウェアを併用して実現してもよい。なお、ユーザ端末１００とサーバ２００は機能的に分離しているが、ネットワーク３００を介さず同一のサーバ内で処理しても良いし、複数のユーザ端末やサーバを以て実現しても良い。 Here, a part or all of the input / output unit 210, the control unit 221, the shooting information analysis unit 222, the background image generation unit 223, the clothing image adjustment unit 224, and the composition unit 225 of the server 200 may be, for example, a CPU (Central Processing Unit). ), That is, it may be realized by software, it may be realized by hardware such as IC (Integrated Circuit), or it may be realized by using software and hardware together. You may. Although the user terminal 100 and the server 200 are functionally separated, they may be processed in the same server without going through the network 300, or may be realized by a plurality of user terminals and servers.
続いて、本実施形態に係るユーザの特徴情報取得のフローを説明する。本実施形態に係るユーザ特徴情報取得のフローを図２に示す。このフローにより取得したユーザの特徴情報に基づき、画像の様々な調整や加工を行う（後述する）。 Subsequently, the flow of acquiring the feature information of the user according to the present embodiment will be described. FIG. 2 shows a flow of acquiring user characteristic information according to the present embodiment. Based on the user's characteristic information acquired by this flow, various adjustments and processing of the image are performed (described later).
本実施形態では、ユーザ端末１００の表示部１０３は、例えば、液晶表示装置等の公知の表示装置であり、人物の等身大以上の大きさで構成されている場合を説明する。なお、表示部１０３の大きさは、この大きさに限定されない。また、本実施形態では、表示部１０３の前に対峙したユーザが、鏡を視認する感覚で合成画像を確認可能となるように、試着者画像を鏡像反転させた画像に、マスク適用背景画像および衣服画像を合成する。 In the present embodiment, the display unit 103 of the user terminal 100 is, for example, a known display device such as a liquid crystal display device, and the case where the display unit 103 is configured to be the life size or larger of a person will be described. The size of the display unit 103 is not limited to this size. Further, in the present embodiment, the mask application background image and the mask application background image and the image of the try-on person image are mirror-inverted so that the user facing in front of the display unit 103 can confirm the composite image as if he / she visually recognizes the mirror. Combine clothing images.
図３は、本実施形態における、ユーザ端末１００とユーザPの位置関係を示す模式図である。サーバ２００の制御部２２１は（図３では図示省略）、ユーザＰが晴れた屋外にいて、各種衣服を着用している状態を示す合成画像Ｗを、表示部１０３に表示する。図３には、一例として、ユーザ画像３０と生成したマスク適用背景画像３１と衣服画像３２の合成画像Ｗを示す。人物等のユーザＰは、例えば、表示部１０３の表示面に対面した位置から、表示部１０３に提示された合成画像Ｗを視認する。 FIG. 3 is a schematic diagram showing the positional relationship between the user terminal 100 and the user P in the present embodiment. The control unit 221 of the server 200 (not shown in FIG. 3) displays a composite image W showing a state in which the user P is outdoors on a sunny day and is wearing various clothes on the display unit 103. FIG. 3 shows, as an example, a composite image W of the user image 30, the generated mask application background image 31, and the clothing image 32. The user P, such as a person, visually recognizes the composite image W presented on the display unit 103 from a position facing the display surface of the display unit 103, for example.
また、デプスマップ撮影部１０２およびユーザ画像撮影部１０１は、表示部１０３の表示面に対面した位置のユーザＰを撮影可能となるように、撮影方向を予め調整されている。さらに、制御部２２１は（図３では図示省略）、公知のキャリブレーションを実行することにより、ユーザ画像撮影部１０１の座標系とデプスマップ撮影部１０２の座標系が一致するように予め調整している。これにより、デプスマップ撮影部１０２の座標系を、ユーザ画像撮影部１０１の座標系に変換することができる。加えて、ユーザ端末１００やサーバ２００には、合成画像を印刷する印刷装置や、ネットワークなどを介して合成画像を外部装置へ送信する送信部を更に備えていてもよい。 Further, the depth map shooting unit 102 and the user image shooting unit 101 are adjusted in advance in the shooting direction so that the user P at a position facing the display surface of the display unit 103 can be shot. Further, the control unit 221 (not shown in FIG. 3) is preliminarily adjusted so that the coordinate system of the user image capturing unit 101 and the coordinate system of the depth map capturing unit 102 match by executing a known calibration. There is. As a result, the coordinate system of the depth map photographing unit 102 can be converted into the coordinate system of the user image photographing unit 101. In addition, the user terminal 100 or the server 200 may further include a printing device for printing the composite image and a transmission unit for transmitting the composite image to an external device via a network or the like.
図２に戻り、まず、ユーザがユーザ端末１００の表示部１０３の前に対峙する等すると撮影が開始される。撮影を開始すると、ユーザ端末１００のユーザ画像撮影部１０１およびデプスマップ撮影部１０２が、所定時間毎にユーザを撮影し、ユーザ画像およびデプスマップを得る（S1およびS2）。次に、撮影したユーザ画像およびデプスマップをサーバの入出力部２１０を介してサーバ２００へ送信する。ユーザ画像撮影部１０１およびデプスマップ撮影部１０２が連続してユーザを撮影してサーバ２００へ送信することで、サーバ２００は、ユーザの動画像および複数の連続したデプスマップを取得する。 Returning to FIG. 2, first, when the user confronts the display unit 103 of the user terminal 100, shooting is started. When the shooting is started, the user image shooting unit 101 and the depth map shooting unit 102 of the user terminal 100 shoot the user at predetermined time intervals to obtain the user image and the depth map (S1 and S2). Next, the captured user image and depth map are transmitted to the server 200 via the input / output unit 210 of the server. The user image capturing unit 101 and the depth map capturing unit 102 continuously capture the user and transmit it to the server 200, so that the server 200 acquires the moving image of the user and a plurality of continuous depth maps.
ここで、ユーザは、本システムを使用する対象であればよく、生物であってもよいし、非生物であってもよい。生物には、例えば、人物が挙げられる。なお、生物は、人物に限られず、犬や猫等の、人物以外の動物であってもよい。また、非生物には、人体や動物の形状を模したマネキンや、その他の物体等が挙げられるが、これに限られない。また、ユーザは、衣服を着用した状態の生物や非生物であってもよい。また、衣服とは、試着者が着用可能な品物である。衣服としては、例えば、上着、スカート、ズボン、靴、帽子などが挙げられる。なお、衣服は、上着、スカート、ズボン、靴、帽子などに限定されない。 Here, the user may be a living thing or a non-living thing as long as it is a target for using this system. Examples of organisms include people. The organism is not limited to a person, and may be an animal other than a person, such as a dog or a cat. In addition, non-living organisms include, but are not limited to, mannequins that imitate the shapes of human bodies and animals, and other objects. In addition, the user may be a living thing or a non-living thing in a state of wearing clothes. In addition, clothing is an item that can be worn by the try-on person. Examples of clothing include outerwear, skirts, trousers, shoes, hats, and the like. The clothing is not limited to outerwear, skirts, trousers, shoes, hats, and the like.
なお、本実施形態におけるユーザ画像とは、ビットマップ画像である。ユーザ画像は、画素毎に、ユーザの色や輝度等を示す画素値の規定された画像である。ユーザ端末１００のユーザ画像撮影部１０１は、ユーザ画像を取得可能な公知の撮影装置である。 The user image in this embodiment is a bitmap image. The user image is an image in which pixel values indicating the user's color, brightness, and the like are defined for each pixel. The user image capturing unit 101 of the user terminal 100 is a known photographing device capable of acquiring a user image.
デプスマップは、画素毎に、デプスマップ撮影部１０２からの距離を測定した画像である。本実施形態におけるデプスマップは、ユーザ画像から、ステレオマッチング等の公知の方法により作成してもよいし、ユーザ画像と同じ撮影条件で、デプスマップ撮影部１０２を用いて撮影することで取得してもよい。デプスマップ撮影部１０２には、デプスマップを取得可能な公知の撮影装置を用いる。 The depth map is an image obtained by measuring the distance from the depth map photographing unit 102 for each pixel. The depth map in the present embodiment may be created from the user image by a known method such as stereo matching, or may be acquired by taking a picture using the depth map shooting unit 102 under the same shooting conditions as the user image. May be good. A known imaging device capable of acquiring a depth map is used for the depth map photographing unit 102.
本実施形態では、ユーザ画像撮影部１０１およびデプスマップ撮影部１０２は、同じタイミングでユーザの撮影を行う。ユーザ画像撮影部１０１およびデプスマップ撮影部１０２は、制御部２２１によって、設定したタイミングで撮影を順次行うように制御されている。そして、ユーザ画像撮影部１０１およびデプスマップ撮影部１０２は、撮影によって得たユーザのユーザ画像及びデプスマップを、順次、サーバ２００の処理部２２０へ送信する。 In the present embodiment, the user image capturing unit 101 and the depth map capturing unit 102 shoot the user at the same timing. The user image capturing unit 101 and the depth map capturing unit 102 are controlled by the control unit 221 to sequentially perform shooting at set timings. Then, the user image capturing unit 101 and the depth map photographing unit 102 sequentially transmit the user image and the depth map of the user obtained by photographing to the processing unit 220 of the server 200.
撮影によって得たデプスマップは、処理部２２０の撮影情報解析部２２２に渡される。ユーザのデプスマップを元に、ユーザの特徴情報を算出する。ユーザの特徴情報とは、例えば身体的な特徴である体型パラメータや骨格情報等である。撮影情報解析部２２２は、ユーザの体型パラメータをデプスマップから算出する。体型パラメータは、ユーザの体型を示す情報である。詳細には、撮影情報解析部２２２は、まず、デプスマップ撮影部１０２で取得したデプスマップから、人物領域を抽出し（S3）、ユーザのデプスマップを取得する（S4）。撮影情報解析部２２２は、例えば、デプスマップを構成する各画素の３次元位置のうち、奥行き方向の距離について閾値を設定することで、人物領域を抽出する。デプスマップ撮影部１０２のカメラ座標系において、デプスマップ撮影部１０２の位置を原点とし、Ｚ軸正方向が、デプスマップ撮影部１０２の原点から被写体（ユーザ）方向に伸びるカメラの光軸であるとする。この場合、デプスマップを構成する各画素の内、奥行き方向（Ｚ軸方向）の位置座標が予め定めた閾値（例えば、１ｍを示す値）以上の画素を除外する。これにより、撮影情報解析部２２２は、デプスマップ撮影部１０２から該閾値の範囲内に存在する人物領域の画素からなるデプスマップ、すなわち、ユーザのデプスマップを得る。 The depth map obtained by shooting is passed to the shooting information analysis unit 222 of the processing unit 220. The user's feature information is calculated based on the user's depth map. The user's characteristic information is, for example, body shape parameters and skeleton information which are physical characteristics. The shooting information analysis unit 222 calculates the user's body shape parameters from the depth map. The body shape parameter is information indicating the body shape of the user. Specifically, the shooting information analysis unit 222 first extracts a person area from the depth map acquired by the depth map shooting unit 102 (S3), and acquires the user's depth map (S4). The shooting information analysis unit 222 extracts a person area by setting a threshold value for a distance in the depth direction among the three-dimensional positions of each pixel constituting the depth map, for example. In the camera coordinate system of the depth map shooting unit 102, the position of the depth map shooting unit 102 is the origin, and the Z-axis positive direction is the optical axis of the camera extending from the origin of the depth map shooting unit 102 toward the subject (user). To do. In this case, among the pixels constituting the depth map, the pixels whose position coordinates in the depth direction (Z-axis direction) are equal to or larger than a predetermined threshold value (for example, a value indicating 1 m) are excluded. As a result, the photographing information analysis unit 222 obtains a depth map composed of pixels of a person region existing within the threshold range from the depth map photographing unit 102, that is, a depth map of the user.
次に、撮影情報解析部２２２は、デプスマップ撮影部１０２で取得したユーザのデプスマップから、ユーザの体型パラメータを算出する。例えば、撮影情報解析部２２２は、ユーザのデプスマップに、人体の三次元モデルデータ（三次元ポリゴンモデル）をあてはめる。そして、撮影情報解析部２２２は、デプスマップと、試着者にあてはめた三次元モデルデータと、を用いて、体型パラメータに含まれる各パラメータの値（例えば、身長、胸囲、胴囲、腰囲、肩幅、などの各々の値）を算出する。このようにして、撮影情報解析部２２２は、ユーザの体型パラメータを取得する。なお、ユーザがユーザ端末１００等を利用して直接入力したパラメータを利用しても良い。 Next, the shooting information analysis unit 222 calculates the user's body shape parameter from the user's depth map acquired by the depth map shooting unit 102. For example, the shooting information analysis unit 222 applies the three-dimensional model data (three-dimensional polygon model) of the human body to the depth map of the user. Then, the photographing information analysis unit 222 uses the depth map and the three-dimensional model data applied to the try-on person to use the values of each parameter included in the body shape parameters (for example, height, chest circumference, waist circumference, waist circumference, etc.). Calculate each value of shoulder width, etc.). In this way, the shooting information analysis unit 222 acquires the user's body shape parameters. The parameters directly input by the user using the user terminal 100 or the like may be used.
また、撮影情報解析部２２２は、取得したユーザのデプスマップを構成する画素毎に、人体の骨格位置を示す、骨格情報を生成する（S5)。骨格情報はユーザの特徴情報の１つである。撮影情報解析部２２２は、デプスマップに人体形状を当てはめることでユーザの骨格情報を生成する。なお、撮影情報解析部２２２は、生成した骨格情報から、ユーザの姿勢情報を算出しても良い。また、ユーザの骨格情報によって示される各関節の位置から、公知の方法により、ユーザの向き（姿勢情報）を算出しても良い。なお、撮影情報解析部２２２は、ユーザのデプスマップから、ＯｐｅｎＮＩ（Ｏｐｅｎ Ｎａｔｕｒａｌ Ｉｎｔｅｒａｃｔｉｏｎ）などを用いて、ユーザの姿勢情報を算出してもよい。 In addition, the shooting information analysis unit 222 generates skeleton information indicating the skeleton position of the human body for each pixel constituting the acquired depth map of the user (S5). The skeleton information is one of the user's characteristic information. The shooting information analysis unit 222 generates the user's skeleton information by applying the human body shape to the depth map. The shooting information analysis unit 222 may calculate the posture information of the user from the generated skeleton information. Further, the user's orientation (posture information) may be calculated from the position of each joint indicated by the user's skeleton information by a known method. The shooting information analysis unit 222 may calculate the posture information of the user from the depth map of the user by using OpenNI (Open Natural Interaction) or the like.
図４は、本実施形態に係る特徴情報記憶部のデータ構造の一例を示している。図４で例示するように、ユーザのデプスマップの識別情報である、デプスマップIDと、特徴情報として算出した各パラメータの値（例えば、身長、胸囲、胴囲、腰囲、肩幅、などの各々の値）と、骨格情報（例えば、各関節の各々の座標情報）と、デプスマップの撮影時間である撮影時間等が関連付けられて保存される。 FIG. 4 shows an example of the data structure of the feature information storage unit according to the present embodiment. As illustrated in FIG. 4, each of the depth map ID, which is the identification information of the user's depth map, and the values of each parameter calculated as the feature information (for example, height, chest circumference, waist circumference, waist circumference, shoulder width, etc.) (Value), skeletal information (for example, coordinate information of each joint), and the shooting time, which is the shooting time of the depth map, are stored in association with each other.
次に、本実施形態に係るマスク適用背景画像生成フローを説明する。図６は本実施形態にマスク適用背景画像生成フローを示す。 Next, the mask application background image generation flow according to the present embodiment will be described. FIG. 6 shows a mask application background image generation flow in this embodiment.
まず、ユーザ端末１００は、使用する背景画像の情報を入力する（S6）。ここで、あらかじめ背景画像記憶部２３３に保存しておき、ユーザがUIを通して背景として使用する画像を選択する等する。なお、背景画像記憶部２３３には、図示しないが、ID等が付与されて、背景として使用する画像が保存される。背景画像記憶部２３３に保存される情報は、データベースであってもよいし、テーブルであってもよく、データ形式は限定されない。なお、保存される情報は、少なくとも、背景画像と、背景画像の識別情報（ID等）を対応づけた情報であればよく、更に他の情報を対応づけた形態であってもよい。 First, the user terminal 100 inputs information on the background image to be used (S6). Here, the image is saved in the background image storage unit 233 in advance, and the user selects an image to be used as the background through the UI. Although not shown, an ID or the like is assigned to the background image storage unit 233, and an image used as a background is stored. The information stored in the background image storage unit 233 may be a database or a table, and the data format is not limited. The information to be stored may be at least information in which the background image is associated with the identification information (ID, etc.) of the background image, and may be in a form in which other information is associated with the background image.
背景情報が選択されると、背景画像生成部２２３は、背景画像記憶部２３３を参照し背景として使用する背景画像の調整を行う（S7）。例えば、ユーザ端末１００の表示部１０３の縦横比に合わせて拡大縮小したり、あるいは画像の端を切ったり、連続表示させたり、画像を表示する領域を決定することで、画像サイズの調整を行う。なお、背景として使用する画像を背景画像記憶部２３３に保存する際に、あらかじめユーザ端末１００の表示部１０３の縦横比に合うように加工を施してから保存しても良い。 When the background information is selected, the background image generation unit 223 refers to the background image storage unit 233 and adjusts the background image to be used as the background (S7). For example, the image size is adjusted by enlarging / reducing according to the aspect ratio of the display unit 103 of the user terminal 100, cutting the edge of the image, continuously displaying the image, or determining the area for displaying the image. .. When the image to be used as the background is saved in the background image storage unit 233, it may be processed in advance so as to match the aspect ratio of the display unit 103 of the user terminal 100 and then saved.
続いて、撮影情報解析部２２２におけるユーザのデプスマップ解析結果に基づいて、ユーザの頭部の中心座標を特定する（S8）。ここで、頭部の中心座標は、後述する透明度マスクの位置合わせに使用するものであり、ユーザの位置座標が特定できれば、頭頂部の座標等、頭部の中心座標でなくても良い。（透明度マスクの位置合わせで使用する、ユーザのある部位の座標をユーザ画像の参照座標とする。）また、ユーザの人物領域が特定できれば、手足部の座標を使用する等、頭部の座標に限らなくてもよい。さらに、参照する座標は１つに限らなくても良い。（透明度マスクの位置合わせで使用する、透明度マスク上の座標をマスクの参照座標とする。） Subsequently, the center coordinates of the user's head are specified based on the user's depth map analysis result in the shooting information analysis unit 222 (S8). Here, the center coordinates of the head are used for the alignment of the transparency mask described later, and if the position coordinates of the user can be specified, they do not have to be the center coordinates of the head such as the coordinates of the crown. (The coordinates of a certain part of the user, which is used for the alignment of the transparency mask, are used as the reference coordinates of the user image.) Also, if the user's person area can be specified, the coordinates of the limbs are used, and the coordinates of the head are used. It does not have to be limited. Further, the reference coordinate is not limited to one. (The coordinates on the transparency mask used for the alignment of the transparency mask are used as the reference coordinates of the mask.)
次に、マスク記憶部２３２を参照し、ユーザの形に合った透明度マスクを選択する（S9)。透明度マスクとは、適用部分の背景画像を透明化するためのマスクである。（以下、マスクと略す。）本実施形態では、人型マスクを使用する。マスク記憶部２３２は、図示しないが、例えば、各マスクにIDが付与され、マスクの形状と、頭部の中心座標の情報と、共に保存される。マスク記憶部２３２に保存される情報は、データベースであってもよいし、テーブルであってもよく、データ形式は限定されない。なお、保存される情報は、少なくとも、マスクの形状と、マスク上における参照座標の位置情報と、マスクの識別情報（ID等）を対応づけた情報であればよく、更に他の情報を対応づけた形態であってもよい。マスクの形状とは、マスクのサイズを拡大縮小する際に元となるマスクの型やサイズ情報のことである。 Next, referring to the mask storage unit 232, a transparency mask suitable for the user's shape is selected (S9). The transparency mask is a mask for making the background image of the applied portion transparent. (Hereinafter, abbreviated as a mask.) In this embodiment, a humanoid mask is used. Although not shown, the mask storage unit 232 is assigned an ID to each mask, and stores both the shape of the mask and the information on the center coordinates of the head. The information stored in the mask storage unit 232 may be a database or a table, and the data format is not limited. The stored information may be at least information that associates the shape of the mask with the position information of the reference coordinates on the mask and the identification information (ID, etc.) of the mask, and further associates other information. It may be in the same form. The shape of the mask is the mask type and size information that is the basis for scaling the size of the mask.
なお、人型マスクの種類は複数用意するのが望ましい。例えば、体型に合わせて、身長と横幅の比率が異なるものを用意しても良いし、手部の位置や足部の位置が異なるパターンを用意してもよい。また、ユーザがUI等を通して使用するマスクを選択できるようにしてもよいし、撮影情報解析部２２２で取得したユーザの特徴情報から、システムが自動で選択するようにしても良い。さらに、用意されているマスクは、人物に向けた人型マスク限らず、犬や猫等の、人物以外の動物に向けたマスクであってもよい。また、非生物には、人体や動物の形状を模したマネキンや、その他の物体等に向けたマスクが挙げられるが、これに限らない。 It is desirable to prepare multiple types of humanoid masks. For example, a pattern having a different ratio of height to width may be prepared according to the body shape, or a pattern having different positions of the hands and feet may be prepared. Further, the user may be able to select the mask to be used through the UI or the like, or the system may automatically select the mask from the user's feature information acquired by the shooting information analysis unit 222. Further, the prepared mask is not limited to a humanoid mask for a person, and may be a mask for an animal other than a person such as a dog or a cat. In addition, non-living organisms include, but are not limited to, mannequins that imitate the shapes of human bodies and animals, and masks for other objects.
続いて、背景画像上へのマスクの適用とサイズ調整を行う（S10）。ここでは、取得したデプスマップから特定したユーザの頭部の位置などを利用して、サイネージ上の人物が映るべき領域を推定し、背景画像の該当領域を覆うようにマスクを拡大縮小移動させて適用する。 Then, apply the mask on the background image and adjust the size (S10). Here, the area where the person on the signage should be reflected is estimated by using the position of the user's head identified from the acquired depth map, and the mask is enlarged / reduced and moved so as to cover the corresponding area of the background image. Apply.
具体的には、ユーザの頭部の中心座標とマスク上の参照座標を参照し、重なる場所にマスクを適用、マスクのサイズ調整を行う。本実施形態では、特定したユーザの頭部の中心座標とその真下の座標（X方向座標が共通でY方向が背景画像の下端となる座標）までの距離（ユーザの身長とする）を算出し、選択したマスクを算出した距離に合うように、縦横比を保ったまま拡大縮小する。具体的には、マスクの形状の参照座標（この例では頭部の中心座標）とその真下の座標との距離を参照し、ユーザの身長と同じ長さとなるように倍率を算出し、その倍率をもとに拡大縮小する等する。なお、取得した体型パラメータ等を使用することで、横方向に拡大縮小を加えても良い。また、骨格情報等から足の座標を特定し、頭部の座標と足の座標を参照してユーザの縦方向の距離を算出しても良いし、マスクの拡大縮小に必要な情報が得られればその方法は問わない。さらに、参照座標の位置合わせとサイズ調整は、どちらを先に行っても構わない。 Specifically, the center coordinates of the user's head and the reference coordinates on the mask are referred to, the mask is applied to the overlapping location, and the size of the mask is adjusted. In the present embodiment, the distance (referred to as the height of the user) between the center coordinates of the specified user's head and the coordinates directly below it (coordinates in which the X direction coordinates are common and the Y direction is the lower end of the background image) is calculated. , Scales the selected mask to fit the calculated distance while maintaining the aspect ratio. Specifically, the distance between the reference coordinates of the mask shape (center coordinates of the head in this example) and the coordinates directly below it is referred to, and the magnification is calculated so that the length is the same as the height of the user, and the magnification is calculated. Scale based on. In addition, by using the acquired body shape parameters and the like, enlargement / reduction may be added in the horizontal direction. Further, the coordinates of the foot may be specified from the skeleton information or the like, and the vertical distance of the user may be calculated by referring to the coordinates of the head and the coordinates of the foot, and the information necessary for enlarging / reducing the mask can be obtained. The method does not matter. Further, the alignment of the reference coordinates and the size adjustment may be performed first.
本実施形態において人型マスクを適応した背景画像の一例を図５に示す。この例では図面左上を原点（０, ０）としており、右下の座標は（W, h）である。ユーザの頭部の中心座標（X0, Y0）の上に人型マスク３３の参照座標を重ねて適用する。また、ユーザの頭部の中心座標とその真下の座標（X0, h）との距離hを参照し、人型マスクを拡大縮小する。 FIG. 5 shows an example of a background image to which a humanoid mask is applied in the present embodiment. In this example, the origin (0, 0) is at the upper left of the drawing, and the coordinates at the lower right are (W, h). The reference coordinates of the humanoid mask 33 are superimposed and applied on the center coordinates (X 0 , Y 0 ) of the user's head. In addition, the humanoid mask is enlarged or reduced by referring to the distance h between the center coordinate of the user's head and the coordinates (X 0 , h) directly below it.
続いて、マスクを適用した部分の背景画像を透明化する（S11)。この時、マスクと背景の境目を透明から不透明になだらかなグラデーションにすることで、単純に合成後より自然な合成画像を生成することができる。なお、あらかじめマスク端部にグラデーションを施したマスクを用意しても良い。 Then, the background image of the masked part is made transparent (S11). At this time, by changing the boundary between the mask and the background from transparent to opaque and making a gentle gradation, it is possible to simply generate a more natural composite image after compositing. A mask having a gradation on the end of the mask may be prepared in advance.
この工程により生成したマスク適用背景画像は、生成背景画像記憶部２３５に保存される（S12)。このマスク適用背景画像生成フローはユーザ画像等の後述する画像の合成・描画フローとは分離したフローで行う。また、一連のフローが終了すると、再びマスク適用背景画像生成を開始するといったように、定期的に繰り返される。その都度、生成背景画像記憶部２３５に保存されるマスク適用背景画像が更新される。この繰り返しのタイミングは、ユーザやシステムの管理者が設定しても良い。 The masked background image generated in this step is stored in the generated background image storage unit 235 (S12). This mask application background image generation flow is performed in a flow separate from the image composition / drawing flow described later such as a user image. Further, when the series of flows is completed, the mask application background image generation is started again, and the process is repeated periodically. The mask application background image stored in the generated background image storage unit 235 is updated each time. The timing of this repetition may be set by the user or the system administrator.
次に、本実施形態に係る画像の合成・描画フローを説明する。図７は本実施形態に係る画像の合成・描画フローを示す図である。 Next, the image composition / drawing flow according to the present embodiment will be described. FIG. 7 is a diagram showing an image composition / drawing flow according to the present embodiment.
まず、ユーザ画像撮影部１０１から取得したユーザ画像を一層目に描画する（S13）。制御部２２１は、ユーザ画像の描画のタイミングを指示する。描画を指示するタイミングは、ユーザ画像撮影部１０１から取得された画像をサーバ２００が受信したタイミングと同じである。このタイミングは、ユーザやシステムの管理者が設定できるようにしても良いし、ユーザ画像取得のタイミングと描画のタイミングを別に設定しても良い。しかし、表示部１０３上で、あたかも鏡を視認する感覚で画像を確認可能となるためには、比較的描画頻度を多くすることが望ましい。 First, the user image acquired from the user image capturing unit 101 is drawn on the first layer (S13). The control unit 221 instructs the timing of drawing the user image. The timing of instructing drawing is the same as the timing at which the server 200 receives the image acquired from the user image capturing unit 101. This timing may be set by the user or the system administrator, or the user image acquisition timing and the drawing timing may be set separately. However, in order to be able to confirm the image on the display unit 103 as if viewing a mirror, it is desirable to increase the drawing frequency relatively.
それと同時に、デプスマップ撮影部１０２からデプスマップを取得し、撮影情報解析部２２２でユーザの特徴情報を取得する（S14）。（詳細は、図２ユーザの特徴情報取得のフローを参照） At the same time, the depth map is acquired from the depth map photographing unit 102, and the feature information of the user is acquired by the photographing information analysis unit 222 (S14). (For details, refer to Fig. 2 User feature information acquisition flow)
続いて、生成背景画像記憶部２３５を参照し、マスク適用背景画像をユーザ画像の上に重ねて描画する（S15）。なお、マスク適用背景画像生成とその描画は、ユーザ画像描画と分離して行われており、マスク適用背景画像の描画は、一層目のユーザ画像描画のタイミングと異なる。 Subsequently, the generated background image storage unit 235 is referred to, and the mask-applied background image is superimposed and drawn on the user image (S15). The mask application background image generation and its drawing are performed separately from the user image drawing, and the mask application background image drawing is different from the timing of the first layer user image drawing.
その上に衣服画像調整部２２４で調整し（S16）、最新の衣服画像を重ねて描画する（S17）。衣服画像の調整のタイミングに関して、本実施形態では、ユーザ画像の描画のタイミングで行うが、マスク適用背景画像と同様に別のタイミングで行っても良い。衣服画像を描画する際に、公知の方法である仮想試着のシステムを使用する。衣服画像記憶部２３４に保存された衣服情報は、衣服の種類と、衣服の識別情報（衣服ＩＤ）と、特徴情報と、姿勢情報と、重畳順と、位置合せ情報と、衣服画像を対応づけた情報である。衣服情報は、データベースであってもよいし、テーブルであってもよく、データ形式は限定されない。なお、衣服情報は、少なくとも、衣服画像と、特徴情報と、を対応づけた情報であればよく、更に他の情報を対応づけた形態であってもよい。衣服画像調整部２２４は、衣服画像記憶部２３４を参照し、特徴情報記憶部２３１に保存したユーザの特徴情報を使用することで、ユーザの体形に合うように衣服画像を調整する。 The clothing image adjustment unit 224 adjusts the image (S16), and the latest clothing image is superimposed and drawn (S17). Regarding the timing of adjusting the garment image, in the present embodiment, it is performed at the timing of drawing the user image, but it may be performed at a different timing as in the mask application background image. When drawing the garment image, a known method of virtual fitting system is used. The clothing information stored in the clothing image storage unit 234 associates the clothing type, clothing identification information (clothing ID), feature information, posture information, superposition order, alignment information, and clothing image. Information. The garment information may be a database or a table, and the data format is not limited. The clothing information may be at least information in which the clothing image and the feature information are associated with each other, and may be in a form in which other information is associated with the clothing information. The garment image adjusting unit 224 refers to the garment image storage unit 234 and adjusts the garment image so as to fit the user's body shape by using the user's feature information stored in the feature information storage unit 231.
このように、マスク適用背景画像の上から仮想試着を施すことで、マスク適用背景画像とユーザ画像の境目を隠すことができ、より見栄えの良い合成画像を生成することができる。 In this way, by performing virtual fitting on the mask-applied background image, the boundary between the mask-applied background image and the user image can be hidden, and a better-looking composite image can be generated.
図８は、本実施形態に係る画像合成のイメージを示す。左からユーザPのユーザ画像、背景画像生成部２２３で生成したマスク適用背景画像３１、衣服画像調整部２２４で調整した衣服画像３２を示す。左から順に描画していくことで、合成画像Wを得る。 FIG. 8 shows an image of image composition according to the present embodiment. From the left, the user image of user P, the mask application background image 31 generated by the background image generation unit 223, and the clothing image 32 adjusted by the clothing image adjustment unit 224 are shown. A composite image W is obtained by drawing in order from the left.
最後に生成した合成画像をユーザ端末１００の表示部１０３に表示する。このように、本実施形態の画像処理システムは、最初にユーザ画像、次にマスク適用背景画像、最後に衣服画像の順に描画を行うことで実現される。 The finally generated composite image is displayed on the display unit 103 of the user terminal 100. As described above, the image processing system of the present embodiment is realized by first drawing the user image, then the mask application background image, and finally the clothing image.
なお、上述したように、本実施の形態では、合成部２２５は、ユーザ端末１００の表示部１０３の前に対峙したユーザが、鏡を視認する感覚で合成画像を確認可能となるように、ユーザ画像を鏡像反転させた画像に、選択された背景画像と衣服画像を描画することで、合成画像を生成する。また、ユーザ画像撮影部１０１で取得するユーザ画像の描画頻度を多くすればするほど、ユーザの動きに追随した動画像を取得できる。 As described above, in the present embodiment, the compositing unit 225 allows the user facing the display unit 103 of the user terminal 100 to check the composite image as if he / she visually recognizes a mirror. A composite image is generated by drawing a selected background image and a clothing image on an image in which the image is mirror-inverted. Further, as the drawing frequency of the user image acquired by the user image capturing unit 101 is increased, a moving image following the movement of the user can be acquired.
リアルタイムに人物を映すサイネージにおいて、従来のように、ユーザ画像の人物領域外に透明化処理を適用する場合、エンドユーザが行ったアクションに対してサイネージのリアクションが遅延し、著しくユーザビリティを失う。しかしながら、本実施形態では、人物映像自体には画像処理を行わず、単純に描画するためリアクションが遅延しない。 In signage that projects a person in real time, when the transparency process is applied to the outside of the person area of the user image as in the conventional case, the reaction of the signage is delayed with respect to the action performed by the end user, and usability is significantly lost. However, in the present embodiment, the image processing is not performed on the person image itself, and the reaction is not delayed because the image is simply drawn.
また、ユーザ画像の描画の度に、背景画像生成部２２３でマスク適用背景画像の生成を行い、マスク適用背景画像を描画するのではなく、生成背景画像記憶部２３５に保存されたマスク適用背景画像を描画することで、リアルタイム性を保ちながら処理負担を軽減することが可能となる。そのため、これによりリアルタイムに人物を映すサイネージ上においても、人物の動きに追随する形で見栄えの良い背景合成画像を提供することができる。さらに、本実施形態では、大掛かりな装置は必要なく、比較的低性能・安価な装置を使用しても、見栄えの良い背景合成画像を提供することができる。 Further, every time the user image is drawn, the background image generation unit 223 generates the mask application background image, and instead of drawing the mask application background image, the mask application background image saved in the generation background image storage unit 235 is used. By drawing, it is possible to reduce the processing load while maintaining real-time performance. Therefore, it is possible to provide a good-looking background composite image in a form that follows the movement of the person even on the signage that shows the person in real time. Further, in the present embodiment, a large-scale device is not required, and a background composite image having a good appearance can be provided even if a relatively low-performance and inexpensive device is used.
加えて、VRAM(Video Random Access Memory)にあらかじめマスク適用背景画像や衣服画像を送信可能なために、描画を高速化できる。ユーザ画像はあらかじめ送信できず、一定以上の描画の高速化はできないが、本実施例における、マスク適用背景画像や衣服画像についてはあらかじめ送信しておき、最後にVRAMの拡大・縮小機能を利用して高速に描画する事が可能となる。 In addition, since it is possible to send a masked background image and clothing image to VRAM (Video Random Access Memory) in advance, drawing can be speeded up. The user image cannot be sent in advance, and the drawing speed cannot be increased beyond a certain level. However, the mask application background image and clothing image in this embodiment are sent in advance, and finally the VRAM enlargement / reduction function is used. It is possible to draw at high speed.
(第２の実施形態)
第２の実施形態を実現するための画像処理システムの機能ブロック図を図９に示す。本実施形態では、サーバ２００の処理部２２０にマスク生成部２２６を加える。マスク生成部２２６は、撮影情報解析部２２２で取得したユーザの特徴情報に基づき、ユーザの体型・手足の位置等について、より正確に反映したマスクを生成する。
(Second embodiment)
FIG. 9 shows a functional block diagram of an image processing system for realizing the second embodiment. In the present embodiment, the mask generation unit 226 is added to the processing unit 220 of the server 200. The mask generation unit 226 generates a mask that more accurately reflects the user's body shape, limb position, etc., based on the user's characteristic information acquired by the shooting information analysis unit 222.
特徴情報取得のフローは、第１の実施形態と同一であるので詳細な説明を省略する。図１０を参照し、本実施形態に係るマスク適用背景画像生成フローを説明する。 Since the flow of acquiring feature information is the same as that of the first embodiment, detailed description thereof will be omitted. The mask application background image generation flow according to the present embodiment will be described with reference to FIG.
まず、使用する背景画像の情報を入力する（S18）。ここで、あらかじめ背景画像記憶部２３３に保存しておき、ユーザがUIを通して背景として使用する画像を選択する等する。背景情報が選択されると、背景画像生成部２２３は、背景画像記憶部２３３を参照し背景として使用する背景画像の調整を行う（S19）。例えば、ユーザ端末１００の表示部１０３の縦横比に合わせて拡大縮小したり、あるいは画像の端を切ったり、連続表示させたり、画像を表示する領域を決定することで、画像サイズの調整を行う。 First, enter the information of the background image to be used (S18). Here, the image is saved in the background image storage unit 233 in advance, and the user selects an image to be used as the background through the UI. When the background information is selected, the background image generation unit 223 refers to the background image storage unit 233 and adjusts the background image to be used as the background (S19). For example, the image size is adjusted by enlarging / reducing according to the aspect ratio of the display unit 103 of the user terminal 100, cutting the edge of the image, continuously displaying the image, or determining the area for displaying the image. ..
次に、マスク生成部２２６は、撮影情報解析部２２２におけるユーザのデプスマップ解析結果に基づいて、ユーザのマスクを生成する（S20）。例えば、ユーザの特徴情報の１つである骨格情報に基づき、ユーザの各関節・骨の位置を特定し、その骨に肉づけを行うことで、ユーザに合ったマスクの形状を生成する。肉づけの際に、ユーザの体型パラメータを利用しても良い。なお、体型パラメータを利用したり、ユーザがUIを通して入力した体型に対する情報に基づき、マスクを生成する等してもよい。 Next, the mask generation unit 226 generates a user's mask based on the user's depth map analysis result in the shooting information analysis unit 222 (S20). For example, the position of each joint / bone of the user is specified based on the skeleton information which is one of the characteristic information of the user, and the bone is fleshed to generate a mask shape suitable for the user. When fleshing out, the user's body shape parameters may be used. Note that the body shape parameters may be used, or a mask may be generated based on the information for the body shape input by the user through the UI.
続いて、背景画像上へのマスクの適用を行う（S21）。ユーザの参照座標とマスク上の参照座標を参照し、重なる場所にマスクを適用する。次に、マスクを適用した部分の背景画像を透明化する（S22)。この時、マスクと背景の境目をなだらかなグラデーションにすることで、合成後より自然な合成画像を生成することができる。なお、あらかじめマスク端部にグラデーションを施したマスクを用意しても良い。 Subsequently, the mask is applied on the background image (S21). Refer to the reference coordinates of the user and the reference coordinates on the mask, and apply the mask to the overlapping location. Next, the background image of the masked part is made transparent (S22). At this time, by making the boundary between the mask and the background a gentle gradation, a more natural composite image can be generated after the composite. A mask having a gradation on the end of the mask may be prepared in advance.
この工程により生成した背景画像は、生成背景画像記憶部２３５に保存される（S23)。このマスク適用背景画像生成フローはユーザ画像等の後述する画像の合成・描画フローとは分離したフローで行う。また、一連のフローが終了すると、再びマスク適用背景画像生成を開始するといったように、定期的に繰り返される。その都度、生成背景画像記憶部２３５に保存されるマスク適用背景画像が更新される。この繰り返しのタイミングは、ユーザやシステムの管理者が設定しても良い。 The background image generated by this step is stored in the generated background image storage unit 235 (S23). This mask application background image generation flow is performed in a flow separate from the image composition / drawing flow described later such as a user image. Further, when the series of flows is completed, the mask application background image generation is started again, and the process is repeated periodically. The mask application background image stored in the generated background image storage unit 235 is updated each time. The timing of this repetition may be set by the user or the system administrator.
画像の合成・描画フローは、第１の実施形態と同一であるので詳細な説明を省略する。最後に、生成した合成画像をユーザ端末１００の表示部１０３に表示する。 Since the image composition / drawing flow is the same as that of the first embodiment, detailed description thereof will be omitted. Finally, the generated composite image is displayed on the display unit 103 of the user terminal 100.
このように、マスク適用背景画像生成フローにおいてマスクの生成を行うことで、よりユーザの動きに追随し、生成したマスク適用背景画像とユーザ画像の境目とが自然な合成画像を生成することができる。 In this way, by generating the mask in the mask application background image generation flow, it is possible to more follow the movement of the user and generate a composite image in which the boundary between the generated mask application background image and the user image is natural. ..
なお、上記の実施形態に記載した手法は、コンピュータに実行させることのできるプログラムとして、磁気ディスク（ハードディスク等）、光ディスク（CD−ROM、DVD等）、光磁気ディスク（MO）、半導体メモリ等の記憶媒体に格納して頒布することもできる。 The method described in the above embodiment is a program that can be executed by a computer, such as a magnetic disk (hard disk, etc.), an optical disk (CD-ROM, DVD, etc.), a magneto-optical disk (MO), a semiconductor memory, or the like. It can also be stored and distributed on a storage medium.
ここで、記憶媒体としては、プログラムを記憶でき、且つコンピュータが読み取り可能な記憶媒体であれば、その記憶形式は何れの形態であってもよい。 Here, the storage medium may be in any form as long as it is a storage medium capable of storing a program and readable by a computer.
また、記憶媒体からコンピュータにインストールされたプログラムの指示に基づきコンピュータ上で稼働しているOS（オペレーティングシステム）や、データベース管理ソフト、ネットワークソフト等のMW（ミドルウェア）等が本実施形態を実現するための各処理の一部を実行しても良い。 Further, in order for the OS (operating system) running on the computer, the database management software, the MW (middleware) such as the network software, etc. to realize this embodiment based on the instructions of the program installed on the computer from the storage medium. You may execute a part of each process of.
さらに、本実施形態における記憶媒体は、コンピュータと独立した媒体に限らず、LANやインターネット等により伝送されたプログラムをダウンロードして記憶または一時記憶した記憶媒体も含まれる。 Further, the storage medium in the present embodiment is not limited to a medium independent of the computer, but also includes a storage medium in which a program transmitted by LAN, the Internet, or the like is downloaded and stored or temporarily stored.
また、記憶媒体は１つに限らず、複数の媒体から本実施形態における処理が実行される場合も本実施形態における記憶媒体に含まれ、媒体構成は何れの構成であっても良い。 Further, the storage medium is not limited to one, and when the processing in the present embodiment is executed from a plurality of media, the storage medium in the present embodiment is included, and the medium configuration may be any configuration.
なお、本実施形態におけるコンピュータとは、記憶媒体に記憶されたプログラムに基づき、本実施形態における各処理を実行するものであって、パソコン等の１つからなる装置、複数の装置がネットワーク接続されたシステム等の何れの構成であっても良い。 The computer in the present embodiment executes each process in the present embodiment based on a program stored in a storage medium, and a device including a personal computer or a plurality of devices are connected to a network. Any configuration such as a system may be used.
また、本実施形態の各記憶装置は１つの記憶装置で実現しても良いし、複数の記憶装置で実現しても良い。 Further, each storage device of the present embodiment may be realized by one storage device or may be realized by a plurality of storage devices.
そして、本実施形態におけるコンピュータとは、パソコンに限らず、情報処理機器に含まれる演算処理装置、マイコン（マイクロプロセッサ）等も含み、プログラムによって本実施形態の機能を実現することが可能な機器、装置を総称している。 The computer in the present embodiment is not limited to a personal computer, but also includes an arithmetic processing unit, a microcomputer (microprocessor), etc. included in an information processing device, and is a device capable of realizing the functions of the present embodiment by a program. It is a general term for devices.
以上、本発明の実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、説明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 Although the embodiments of the present invention have been described above, these embodiments are presented as examples and are not intended to limit the scope of the invention. These novel embodiments can be implemented in various other embodiments, and various omissions, replacements, and changes can be made without departing from the gist of the description. These embodiments and modifications thereof are included in the scope and gist of the invention, and are also included in the scope of the invention described in the claims and the equivalent scope thereof.
１００…ユーザ端末
１０１…ユーザ画像撮影部
１０２…デプスマップ撮影部
１０３…表示部
１０４…ユーザ端末の入出力部
２００…サーバ
２１０…サーバの入出力部
２２０…処理部
２２１…制御部
２２２…撮影情報解析部
２２３…背景画像生成部
２２４…衣服画像調整部
２２５…合成部
２３０…記憶部
２３１…特徴情報記憶部
２３２…マスク記憶部
２３３…背景画像記憶部
２３４…衣服画像記憶部
２３５…生成背景画像記憶部
３０…ユーザ画像
３１…生成した背景画像
３２…衣服画像３２
３３…人型マスク
Ｗ…合成画像
Ｐ…ユーザ
100 ... User terminal 101 ... User image capturing unit 102 ... Depth map imaging unit 103 ... Display unit 104 ... User terminal input / output unit 200 ... Server 210 ... Server input / output unit 220 ... Processing unit 221 ... Control unit 222 ... Shooting information Analysis unit 223 ... Background image generation unit 224 ... Clothing image adjustment unit 225 ... Synthesis unit 230 ... Storage unit 231 ... Feature information storage unit 232 ... Mask storage unit 233 ... Background image storage unit 234 ... Clothing image storage unit 235 ... Generation background image Storage unit 30 ... User image 31 ... Generated background image 32 ... Clothing image 32
33 ... Humanoid mask W ... Composite image P ... User
Claims (8)
取得した前記デプスマップからユーザ特徴情報を取得する撮影情報解析部と、
透明度マスク、マスク情報および背景画像を保存する記憶部と、
前記ユーザ特徴情報および前記記憶部に保存された前記マスク情報を参照し、前記背景画像に前記透明度マスクを適用し、前記透明度マスク適用部分の画像領域を透明化したマスク適用背景画像を生成する背景画像生成部と、
前記ユーザ画像と、前記背景画像生成部で生成された前記マスク適用背景画像と、の合成画像を生成する合成部と、
前記合成画像を表示する表示部と、
を備えた、画像処理システム。 A shooting unit that acquires user images and depth maps,
A shooting information analysis unit that acquires user feature information from the acquired depth map, and
A storage unit that stores the transparency mask, mask information and background image,
A background that applies the transparency mask to the background image by referring to the user feature information and the mask information stored in the storage unit to generate a mask application background image in which the image area of the transparency mask application portion is made transparent. Image generator and
A composite unit that generates a composite image of the user image and the mask-applied background image generated by the background image generation unit, and a composite unit.
A display unit that displays the composite image and
An image processing system equipped with.
取得した前記ユーザ特徴情報に基づいて、前記記憶部に保存された前記衣服画像を調整する衣服画像調整部をさらに備え、
前記合成部は、前記ユーザ画像と、前記マスク適用背景画像と、前記衣服画像調整部で調整された衣服画像と、の合成画像を生成する、請求項１に記載の画像処理システム。 The storage unit stores clothing information in which at least the user feature information and the clothing image are associated with each other.
A clothing image adjusting unit that adjusts the clothing image stored in the storage unit based on the acquired user feature information is further provided.
The image processing system according to claim 1, wherein the compositing unit generates a composite image of the user image, the mask-applied background image, and the clothing image adjusted by the clothing image adjusting unit.
前記合成部は、前記記憶部に保存された前記マスク適用背景画像を参照し、合成画像を生成する、請求項１または２に記載の画像処理システム。 The storage unit stores the mask application background image and
The image processing system according to claim 1 or 2, wherein the compositing unit refers to the mask-applied background image stored in the storage unit and generates a composite image.
前記背景画像生成部は、前記ユーザ特徴情報からユーザ参照座標を取得し、前記ユーザ参照座標および前記マスク参照座標に基づいて前記透明度マスクを拡大縮小する、請求項１乃至４のいずれか一項に記載の画像処理システム。 The storage unit stores the mask shape and the mask reference coordinates as at least the associated mask information.
The background image generation unit obtains user reference coordinates from the user feature information, and enlarges or reduces the transparency mask based on the user reference coordinates and the mask reference coordinates, according to any one of claims 1 to 4. The image processing system described.
前記背景画像生成部は、前記透明度グラデーションマスクを使用、または、前記透明度マスク適用部分の画像領域と背景画像の境界に透明度グラデーションを施す、請求項６に記載の画像処理システム。 The mask generation unit generates a transparency gradation mask in which the edges of the transparency mask are subjected to gradation.
The image processing system according to claim 6, wherein the background image generation unit uses the transparency gradation mask, or applies a transparency gradation to the boundary between the image area and the background image of the transparency mask application portion.
ユーザ画像およびデプスマップを取得する撮影ステップと、
取得した前記デプスマップからユーザ特徴情報を取得する解析ステップと、
透明度マスク、マスク情報および背景画像を記憶する記憶ステップと、
前記ユーザ特徴情報および前記記憶ステップで保存された前記マスク情報を参照し、前記記憶ステップで保存された前記背景画像に前記透明度マスクを適用し、前記マスク適用部分の画像領域を透明化したマスク適用背景画像を生成する背景画像生成ステップと、
前記ユーザ画像と、前記背景画像生成ステップで生成された前記マスク適用背景画像と、の合成画像を生成する合成ステップと、
前記合成画像を表示する表示ステップと、を実行させるプログラム。 On the computer
Shooting steps to get user images and depth maps,
An analysis step for acquiring user feature information from the acquired depth map, and
A storage step to store the transparency mask, mask information and background image,
With reference to the user feature information and the mask information saved in the storage step, the transparency mask is applied to the background image saved in the storage step, and the mask application in which the image area of the mask application portion is made transparent is applied. The background image generation step to generate the background image and
A composite step of generating a composite image of the user image and the mask-applied background image generated in the background image generation step,
A program for executing a display step for displaying the composite image.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016211591A JP6826862B2 (en) | 2016-10-28 | 2016-10-28 | Image processing system and program. |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016211591A JP6826862B2 (en) | 2016-10-28 | 2016-10-28 | Image processing system and program. |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018073091A JP2018073091A (en) | 2018-05-10 |
| JP6826862B2 true JP6826862B2 (en) | 2021-02-10 |
Family
ID=62115324
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016211591A Active JP6826862B2 (en) | 2016-10-28 | 2016-10-28 | Image processing system and program. |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6826862B2 (en) |
-
2016
- 2016-10-28 JP JP2016211591A patent/JP6826862B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2018073091A (en) | 2018-05-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20200380594A1 (en) | Virtual try-on system, virtual try-on method, computer program product, and information processing device | |
| US11423556B2 (en) | Methods and systems to modify two dimensional facial images in a video to generate, in real-time, facial images that appear three dimensional | |
| US11450075B2 (en) | Virtually trying cloths on realistic body model of user | |
| US10311508B2 (en) | Garment modeling simulation system and process | |
| KR101183000B1 (en) | A system and method for 3D space-dimension based image processing | |
| US9167155B2 (en) | Method and system of spacial visualisation of objects and a platform control system included in the system, in particular for a virtual fitting room | |
| US11836862B2 (en) | External mesh with vertex attributes | |
| US20130173226A1 (en) | Garment modeling simulation system and process | |
| JP6373026B2 (en) | Image processing apparatus, image processing system, image processing method, and program | |
| JP2020113061A (en) | Information processing device, information processing method, and program | |
| JP6370820B2 (en) | Image generation system, game device, and program. | |
| KR20220092998A (en) | Co-located pose estimation in a shared artificial reality environment | |
| JP2004246729A (en) | Figure motion picture creating system | |
| CN107609946B (en) | Display control method and computing device | |
| CN113657357B (en) | Image processing method, image processing device, electronic equipment and storage medium | |
| US20240096040A1 (en) | Real-time upper-body garment exchange | |
| WO2020104990A1 (en) | Virtually trying cloths & accessories on body model | |
| KR101767144B1 (en) | Apparatus, method and computer program for generating 3-dimensional model of clothes | |
| JP6826862B2 (en) | Image processing system and program. | |
| JP2021077078A (en) | Extended virtual space providing system | |
| JP6868875B1 (en) | Posture estimation learning system, posture estimation learning method, and data creation program for machine learning | |
| US20220270337A1 (en) | Three-dimensional (3d) human modeling under specific body-fitting of clothes | |
| JP2023153534A (en) | Image processing apparatus, image processing method, and program | |
| CN114399811A (en) | Adjusting method, adjusting device, intelligent fitting mirror system and medium | |
| WO2015144563A1 (en) | Image processing system and method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191021 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201210 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201218 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210118 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6826862 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |