WO2020195272A1 - 部位検出装置、部位検出方法、及びコンピュータ読み取り可能な記録媒体 - Google Patents

部位検出装置、部位検出方法、及びコンピュータ読み取り可能な記録媒体 Download PDF

Info

Publication number
WO2020195272A1
WO2020195272A1 PCT/JP2020/005350 JP2020005350W WO2020195272A1 WO 2020195272 A1 WO2020195272 A1 WO 2020195272A1 JP 2020005350 W JP2020005350 W JP 2020005350W WO 2020195272 A1 WO2020195272 A1 WO 2020195272A1
Authority
WO
WIPO (PCT)
Prior art keywords
site
site detection
radius
curvature
image
Prior art date
Application number
PCT/JP2020/005350
Other languages
English (en)
French (fr)
Inventor
宏紀 寺島
克幸 永井
Original Assignee
Ｎｅｃソリューションイノベータ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ｎｅｃソリューションイノベータ株式会社 filed Critical Ｎｅｃソリューションイノベータ株式会社
Priority to CN202080024023.XA priority Critical patent/CN113632139A/zh
Priority to US17/442,829 priority patent/US20220180652A1/en
Priority to JP2021508219A priority patent/JPWO2020195272A1/ja
Publication of WO2020195272A1 publication Critical patent/WO2020195272A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Definitions

  • the present invention relates to a site detection device and a site detection method for detecting a specific part of the human body, and further relates to a computer-readable recording medium on which a program for realizing these is recorded.
  • the depth sensor is an imaging device capable of measuring the distance to a subject for each pixel.
  • the image taken by the depth sensor is called a depth image, and has distance (depth) information to the subject for each pixel.
  • a typical depth sensor is a TOF (Time of Flight) camera.
  • Non-Patent Document 1 discloses a system that detects human movements in real time using a depth sensor.
  • the system disclosed in Patent Document 1 acquires a depth image taken by a depth sensor, collates the depth image with a learning model, and identifies a human joint in the depth image. Then, the system disclosed in Patent Document 1 analyzes human movements based on the identified joints.
  • Non-Patent Document 1 when adopting the system disclosed in Non-Patent Document 1, it is necessary to construct a learning model for identifying joints in advance as described above.
  • the construction of this learning model is performed by machine learning, but in order to improve the identification accuracy of joints, it is necessary to prepare a huge number of labeled depth images as training data.
  • the system disclosed in Non-Patent Document 1 has a problem that the cost for constructing the system is high.
  • An example of an object of the present invention provides a site detection device, a site detection method, and a computer-readable recording medium that can solve the above problems and enable identification of a part of the human body from an image without using machine learning. To do.
  • the site detection device in one aspect of the present invention is A data acquisition unit that acquires image data of the target person's image, A contour extraction unit that extracts a contour line representing the contour of the target person from the image of the acquired image data, and A part detection unit that continuously calculates the radius of curvature on the extracted contour line and detects the part of the subject's body based on the change in the calculated radius of curvature. It is characterized by having.
  • the site detection method in one aspect of the present invention is: Data acquisition step to acquire image data of the target person's image, A contour extraction step that extracts a contour line representing the contour of the target person from the image of the acquired image data, and A part detection step in which the radius of curvature is continuously calculated on the extracted contour line and the part of the body of the subject is detected based on the change in the calculated radius of curvature. It is characterized by having.
  • the computer-readable recording medium in one aspect of the present invention is used.
  • FIG. 1 is a block diagram showing a configuration of a site detection device according to an embodiment of the present invention.
  • FIG. 2 is a diagram showing a positional relationship between the image pickup device and the subject used in the embodiment of the present invention.
  • FIG. 3 is a diagram showing an example of image data output from the image pickup apparatus in the embodiment of the present invention.
  • FIG. 4 is a diagram showing an example of the outline of the subject extracted from the image data in the embodiment of the present invention.
  • FIG. 5 is a diagram illustrating processing by the site detection unit in the embodiment of the present invention.
  • FIG. 6 is a flow chart showing the operation of the site detection device according to the embodiment of the present invention.
  • FIG. 7 is a block diagram showing an example of a computer that realizes the site detection device according to the embodiment of the present invention.
  • FIG. 1 is a block diagram showing a configuration of a site detection device according to an embodiment of the present invention.
  • the site detection device 10 in the present embodiment shown in FIG. 1 is a device for detecting a site of a human body from an image.
  • the site detection device 10 includes a data acquisition unit 11, a contour extraction unit 12, and a site detection unit 13.
  • the data acquisition unit 11 acquires the image data of the image of the target person.
  • the contour extraction unit 12 extracts a contour line representing the contour of the target person from the image of the image data acquired by the data acquisition unit 11.
  • the site detection unit 13 continuously calculates the radius of curvature on the contour line extracted by the contour extraction unit 12. Then, the part detection unit 13 detects the part of the body of the subject based on the calculated change in the radius of curvature.
  • the part of the target person can be detected from the image without using the learning model.
  • FIGS. 2 to 5 will be used to specifically explain the configuration and function of the site detection device.
  • the site detection device 10 is connected to the image pickup device 30.
  • the image pickup device 30 may be any device capable of photographing the subject and outputting the image data of the subject. Examples of the image pickup apparatus 30 include a digital camera. Further, the imaging device 30 may be a device capable of measuring the distance to the subject for each pixel, for example, a TOF camera. The TOF camera irradiates the subject with light such as near-infrared light, measures the time until the irradiated light is reflected by the subject and returns, and measures the distance to the subject for each pixel. Then, the data for specifying the measured distance for each pixel is output. When the image pickup device 30 is a TOF camera, three-dimensional point cloud data is output as image data.
  • FIG. 2 is a diagram showing the positional relationship between the imaging device used in the embodiment of the present invention and the subject.
  • FIG. 3 is a diagram showing an example of image data output from the image pickup apparatus in the embodiment of the present invention.
  • the image pickup apparatus 30 is arranged so that the front surface of the subject 20 can be photographed.
  • the image pickup apparatus 30 outputs, for example, the image data 31 shown in FIG. In FIG. 3, only the silhouette of the subject is shown for the sake of explanation.
  • FIG. 4 is a diagram showing an example of the outline of the subject extracted from the image data in the embodiment of the present invention.
  • FIG. 5 is a diagram illustrating processing by the site detection unit in the embodiment of the present invention.
  • the contour extraction unit 12 extracts the contour of the target person 20 from the image data.
  • the example of FIG. 4 shows the contour extracted from the image shown in FIG.
  • an existing method for example, a method of detecting a portion where the density change is steep by the first derivative is used.
  • the site detection unit 13 first continuously calculates the radius of curvature on the contour line extracted by the contour extraction unit 12, as shown in FIG.
  • each radius of curvature calculated in the contour of the shoulder of the subject 20 is represented by a circle having the radius of curvature.
  • the site detection unit can calculate the radius of curvature R in (a, f (a)) by the following equation 1.
  • the method for calculating the radius of curvature R is not particularly limited, and the radius of curvature R may be calculated using another mathematical formula.
  • the site detection unit 13 identifies a point on the contour line where the change in radius of curvature changes from decrease to increase, and detects the identified point as a part of the site of the subject 20.
  • the specified portion may be the center of the portion of the subject 20 or the end portion (or convex portion) of the portion of the subject 20.
  • the center of one shoulder is specified.
  • the center of the identified shoulder is indicated by " ⁇ ".
  • the site detection unit can also detect the coordinates (horizontal coordinates, vertical coordinates) of the specified point on the image.
  • the site detection unit 13 when the outline of the entire body in front of the subject 20 is extracted, the site detection unit 13 not only has the shoulder but also the head, neck, hands, toes, crotch, and armpits. Etc. are also detected. Further, in the image acquired by the data acquisition unit 11, when the subject 20 bends joints such as knees and elbows, the site detection unit 13 can also identify these joints.
  • FIG. 6 is a flow chart showing the operation of the site detection device according to the embodiment of the present invention.
  • FIGS. 1 to 5 will be referred to as appropriate.
  • the site detection method is implemented by operating the site detection device 10. Therefore, the description of the site detection method in the present embodiment is replaced with the following description of the operation of the site detection device 10.
  • the data acquisition unit 11 acquires the image data of the image of the target person 20 from the image pickup device 30 (step A1).
  • the contour extraction unit 12 extracts the contour of the target person 20 from the image data acquired in step A1 (step A2).
  • the site detection unit 13 continuously calculates the radius of curvature on the contour line extracted in step A2 (step A3).
  • the site detection unit 13 detects a site of the subject's body based on the change in the radius of curvature calculated in step A3 (step A4).
  • the site detection unit 13 identifies a point on the contour line where the change in radius of curvature changes from decrease to increase, and uses the coordinates of the specified point as the coordinates of the central portion of the specific site. To detect. Further, when the contour extracted in step A2 is the contour of the entire body in front of the subject 20 shown in FIG. 4, the site detection unit 13 has a head, neck, shoulders, hands, toes, crotch, and so on. Detects armpits, etc.
  • the site detection unit 13 outputs the coordinates of each specified site to an external device (step A5).
  • the external device include a device that uses the coordinates of the part, for example, a device that analyzes the movement of a person, a game device, and the like.
  • the part of the target person 20 can be specified from the contour obtained from the image data of the target person 20. According to this embodiment, it is possible to identify a part of the human body from an image without using machine learning.
  • the site detection device 10 when the imaging device 30 continuously outputs image data at a set interval, the site detection device 10 outputs the image data at a set interval for each image data of the target person. Twenty sites can be detected. In this case, the site detection device 10 outputs the coordinates of the specified site to the external device in the specified order, that is, in the time series.
  • the external device is an analyzer for the walking motion of the subject 20
  • the analyzer can specify the time-series change of the coordinates in the horizontal direction and the vertical direction of each part, and the target. It is possible to determine whether or not the person 20 is able to walk straight.
  • the program in the present embodiment may be any program that causes a computer to execute steps A1 to A5 shown in FIG. By installing this program on a computer and executing it, the site detection device 10 and the site detection method according to the present embodiment can be realized.
  • the computer processor functions as a data acquisition unit 11, a contour extraction unit 12, and a site detection unit 13 to perform processing.
  • each computer may function as any of the data acquisition unit 11, the contour extraction unit 12, and the site detection unit 13, respectively.
  • FIG. 7 is a block diagram showing an example of a computer that realizes the site detection device according to the embodiment of the present invention.
  • the computer 110 includes a CPU 111, a main memory 112, a storage device 113, an input interface 114, a display controller 115, a data reader / writer 116, and a communication interface 117. Each of these parts is connected to each other via a bus 121 so as to be capable of data communication. Further, the computer 110 may include a GPU (Graphics Processing Unit) or an FPGA (Field-Programmable Gate Array) in addition to the CPU 111 or in place of the CPU 111.
  • GPU Graphics Processing Unit
  • FPGA Field-Programmable Gate Array
  • the CPU 111 expands the programs (codes) of the present embodiment stored in the storage device 113 into the main memory 112 and executes them in a predetermined order to perform various operations.
  • the main memory 112 is typically a volatile storage device such as a DRAM (Dynamic Random Access Memory).
  • the program according to the present embodiment is provided in a state of being stored in a computer-readable recording medium 120.
  • the program in the present embodiment may be distributed on the Internet connected via the communication interface 117.
  • the storage device 113 include a semiconductor storage device such as a flash memory in addition to a hard disk drive.
  • the input interface 114 mediates data transmission between the CPU 111 and an input device 118 such as a keyboard and mouse.
  • the display controller 115 is connected to the display device 119 and controls the display on the display device 119.
  • the data reader / writer 116 mediates data transmission between the CPU 111 and the recording medium 120, reads a program from the recording medium 120, and writes a processing result in the computer 110 to the recording medium 120.
  • the communication interface 117 mediates data transmission between the CPU 111 and another computer.
  • the recording medium 120 include a general-purpose semiconductor storage device such as CF (CompactFlash (registered trademark)) and SD (SecureDigital), a magnetic recording medium such as a flexible disk, or a CD-.
  • CF CompactFlash (registered trademark)
  • SD Secure Digital
  • magnetic recording medium such as a flexible disk
  • CD- CompactDiskReadOnlyMemory
  • optical recording media such as ROM (CompactDiskReadOnlyMemory).
  • the site detection device 10 in the present embodiment can also be realized by using the hardware corresponding to each part instead of the computer in which the program is installed. Further, the site detection device 10 may be partially realized by a program and the rest may be realized by hardware.
  • a data acquisition unit that acquires image data of the target person's image
  • a contour extraction unit that extracts a contour line representing the contour of the target person from the image of the acquired image data
  • a part detection unit that continuously calculates the radius of curvature on the extracted contour line and detects the part of the subject's body based on the change in the calculated radius of curvature.
  • a site detection device characterized by being equipped with.
  • Appendix 2 The site detection device according to Appendix 1.
  • the site detection unit identifies a point on the contour line where the change in radius of curvature changes from decrease to increase, and detects the specified point as a part of the site.
  • a site detection device characterized by this.
  • the site detection device (Appendix 3) The site detection device according to Appendix 2, The site detection unit detects at least one of the shoulder, head, neck, elbow, and knee as the site.
  • a site detection device characterized by this.
  • a site detection method comprising.
  • Appendix 6 The site detection method according to Appendix 5.
  • site detection step at least one of the shoulder, head, neck, elbow, and knee is detected as the site.
  • a site detection method characterized by this.
  • a contour extraction step that extracts a contour line representing the contour of the target person from the image of the acquired image data
  • a part detection step in which the radius of curvature is continuously calculated on the extracted contour line and the part of the body of the subject is detected based on the change in the calculated radius of curvature.
  • a computer-readable recording medium that records a program, including instructions to execute.
  • Appendix 8 The computer-readable recording medium according to Appendix 7.
  • site detection step a point at which the change in radius of curvature changes from decrease to increase is specified in the contour line, and the specified point is detected as a part of the site.
  • Appendix 9 The computer-readable recording medium according to Appendix 8.
  • site detection step at least one of the shoulder, head, neck, elbow, and knee is detected as the site.
  • the present invention it is possible to identify a part of the human body from an image without using machine learning.
  • the present invention is useful for various systems in which identification of each part of the human body is required.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

部位検出装置１０は、対象者の画像の画像データを取得する、データ取得部１１と、取得された画像データの画像から、対象者の輪郭を表す輪郭線を抽出する、輪郭抽出部１２と、抽出された輪郭線の線上において曲率半径を連続して算出し、算出した曲率半径の変化に基づいて、対象者の体の部位を検出する、部位検出部１３と、を備えている。

Description

部位検出装置、部位検出方法、及びコンピュータ読み取り可能な記録媒体
　本発明は、人体の特定の部位を検出するための、部位検出装置、及び部位検出方法に関し、更には、これらを実現するためのプログラムを記録したコンピュータ読み取り可能な記録媒体に関する。
　近年、デプスセンサを用いて、人の動作を分析する試みがなされている（例えば、非特許文献１及び２参照）。デプスセンサは、被写体までの距離を画素毎に測定可能な撮像装置である。デプスセンサによって撮影された画像は、深度画像と呼ばれ、画素毎に、被写体までの距離（深度）情報を有している。代表的なデプスセンサとしては、ＴＯＦ（Time of Flight）カメラが挙げられる。
　具体的には、非特許文献１は、デプスセンサを用いて人の動作をリアルタイムに検出するシステムを開示している。特許文献１に開示されているシステムは、デプスセンサで撮影された深度画像を取得すると、深度画像を学習モデルに照合して、深度画像中にある人の関節を特定する。そして、特許文献１に開示されたシステムは、特定した関節に基づいて、人の動作を分析する。
Jamie Shotton, Andrew W. Fitzgibbon, Mat Cook, Toby Sharp, Mark Finocchio, Richard Moore, Alex Kipman, and Andrew Blake, "Real-time human pose recognition in parts from single depth images", In CVPR, 2011.
　ところで、上記非特許文献１に開示されたシステムを採用する場合は、上述したように、予め、関節を特定するための学習モデルを構築する必要がある。この学習モデルの構築は、機械学習によって行われるが、関節の特定精度を高めるためには、膨大な数のラベル付きの深度画像を学習データとして用意する必要がある。また、分析対象となる動作が異なる場合は、この動作に合わせた学習モデルを別途構築する必要もある。このため、上記非特許文献１に開示されたシステムには、システム構築にかかるコストが大きいという問題がある。
　本発明の目的の一例は、上記問題を解消し、機械学習によることなく、画像からの人体の部位の特定を可能にし得る、部位検出装置、部位検出方法、及びコンピュータ読み取り可能な記録媒体を提供することにある。
　上記目的を達成するため、本発明の一側面における部位検出装置は、
　対象者の画像の画像データを取得する、データ取得部と、
　取得された画像データの画像から、前記対象者の輪郭を表す輪郭線を抽出する、輪郭抽出部と、
　抽出された輪郭線の線上において曲率半径を連続して算出し、算出した曲率半径の変化に基づいて、前記対象者の体の部位を検出する、部位検出部と、
を備えている、ことを特徴とする。
　また、上記目的を達成するため、本発明の一側面における部位検出方法は、
　対象者の画像の画像データを取得する、データ取得ステップと、
　取得された画像データの画像から、前記対象者の輪郭を表す輪郭線を抽出する、輪郭抽出ステップと、
　抽出された輪郭線の線上において曲率半径を連続して算出し、算出した曲率半径の変化に基づいて、前記対象者の体の部位を検出する、部位検出ステップと、
を有する、ことを特徴とする。
　更に、上記目的を達成するため、本発明の一側面におけるコンピュータ読み取り可能な記録媒体は、
コンピュータに、
　対象者の画像の画像データを取得する、データ取得ステップと、
　取得された画像データの画像から、前記対象者の輪郭を表す輪郭線を抽出する、輪郭抽出ステップと、
　抽出された輪郭線の線上において曲率半径を連続して算出し、算出した曲率半径の変化に基づいて、前記対象者の体の部位を検出する、部位検出ステップと、
を実行させる命令を含む、プログラムを記録していることを特徴とする。
　以上のように、本発明によれば、機械学習によることなく、画像からの人体の部位の特定が可能となる。
図１は、本発明の実施の形態における部位検出装置の構成を示すブロック図である。 図２は、本発明の実施の形態において用いられる撮像装置と対象者との位置関係を示す図である。 図３は、本発明の実施の形態において撮像装置から出力される画像データの一例を示す図である。 図４は、本発明の実施の形態において画像データから抽出された対象者の輪郭の一例を示す図である。 図５は、本発明の実施の形態における部位検出部による処理を説明する図である。 図６は、本発明の実施の形態における部位検出装置の動作を示すフロー図である。 図７は、本発明の実施の形態における部位検出装置を実現するコンピュータの一例を示すブロック図である。
　（実施の形態）
　以下、本発明の実施の形態における、部位検出装置、部位検出方法、及びプログラムについて、図１～図７を参照しながら説明する。
［装置構成］
　最初に、図１を用いて、本実施の形態における部位検出装置の構成について説明する。図１は、本発明の実施の形態における部位検出装置の構成を示すブロック図である。
　図１に示す、本実施の形態における部位検出装置１０は、画像から、人体の部位を検出するための装置である。図１に示すように、部位検出装置１０は、データ取得部１１と、輪郭抽出部１２と、部位検出部１３とを備えている。
　データ取得部１１は、対象者の画像の画像データを取得する。輪郭抽出部１２は、データ取得部１１で取得された画像データの画像から、対象者の輪郭を表す輪郭線を抽出する。部位検出部１３は、輪郭抽出部１２で抽出された輪郭線の線上において曲率半径を連続して算出する。そして、部位検出部１３は、算出した曲率半径の変化に基づいて、対象者の体の部位を検出する。
　このように、本実施の形態では、学習モデルを用いることなく、画像から、対象者の部位を検出することができる。この結果、人体の動作を分析するためのシステムの構築において、コストを大幅に下げることが可能となる。
　続いて、図１に加えて、図２～図５を用いて、部位検出装置の構成及び機能について具体的に説明する。まず、図１に示すように、本実施の形態では、部位検出装置１０は、撮像装置３０に接続されている。
　撮像装置３０は、被写体を撮影して、被写体の画像データを出力可能な装置であれば良い。撮像装置３０としては、例えば、デジタルカメラが挙げられる。また、撮像装置３０は、被写体までの距離を画素毎に測定可能な装置、例えば、ＴＯＦカメラであっても良い。ＴＯＦカメラは、被写体に向けて、近赤外光等の光を照射し、照射した光が被写体で反射されて戻ってくるまでの時間を計測して、画素毎に、被写体までの距離を測定し、測定した画素毎の距離を特定するデータを出力する。撮像装置３０がＴＯＦカメラの場合は、画像データとして、３次元点群データが出力される。
　図２は、本発明の実施の形態において用いられる撮像装置と対象者との位置関係を示す図である。図３は、本発明の実施の形態において撮像装置から出力される画像データの一例を示す図である。図２に示すように、撮像装置３０は、本実施の形態では、対象者２０の正面を撮影できるように配置されている。この場合において、撮像装置３０は、例えば、図３に示す画像データ３１を出力する。なお、図３においては、説明のため、対象者のシルエットのみが示されている。
　図４は、本発明の実施の形態において画像データから抽出された対象者の輪郭の一例を示す図である。図５は、本発明の実施の形態における部位検出部による処理を説明する図である。図４に示すように、輪郭抽出部１２は、画像データから対象者２０の輪郭を抽出する。図４の例は、図３に示した画像から抽出された輪郭を示している。また、輪郭の抽出手法としては、既存の手法、例えば、１次微分によって濃度変化が急峻な箇所を検出する手法等が用いられる。
　部位検出部１３は、本実施の形態では、図５に示すように、まず、輪郭抽出部１２によって抽出された輪郭線の線上において、曲率半径を連続して算出する。図５の例では、対象者２０の肩の輪郭において算出された各曲率半径が、その曲率半径をもった円によって表現されている。
　具体的には、曲率半径を求めた部分における輪郭線がｙ＝ｆ（ｘ）で表され、輪郭線と円との接点の座標が（ａ，ｆ（ａ））であるとする。この場合、部位検出部は、（ａ，ｆ（ａ））における曲率半径Ｒを、下記の数１によって算出することができる。なお、本実施の形態において、曲率半径Ｒの算出手法は特に限定されず、曲率半径Ｒは、他の数式を用いて算出されていても良い。
Figure JPOXMLDOC01-appb-M000001
　続いて、部位検出部１３は、輪郭線において、曲率半径の変化が減少から増加に変わる点を特定し、特定した点を、対象者２０の部位の一部分として検出する。また、この特定される部分は、対象者２０の部位の中心であっても良いし、対象者２０の部位の端部（又は凸部）とであっても良い。図５の例では、一方の肩の中心が特定されている。また、特定された肩の中心は「●」で示されている。また、部位検出部は、特定した点の画像上の座標（水平方向の座標、垂直方向の座標）を検出することもできる。
　また、図４に示すように、対象者２０の正面の体全体の輪郭が抽出されている場合は、部位検出部１３は、肩だけでなく、頭、首、手先、足先、股、脇の下等についても検出する。更に、データ取得部１１によって取得された画像において、対象者２０が、膝、肘といった関節を曲げている場合は、部位検出部１３は、これらの関節も特定可能である。
［装置動作］
　次に、本発明の実施の形態における部位検出装置１０の動作について図６を用いて説明する。図６は、本発明の実施の形態における部位検出装置の動作を示すフロー図である。以下の説明においては、適宜図１～図５を参照する。また、本実施の形態では、部位検出装置１０を動作させることによって、部位検出方法が実施される。よって、本実施の形態における部位検出方法の説明は、以下の部位検出装置１０の動作説明に代える。
　図６に示すように、最初に、部位検出装置１０において、データ取得部１１は、撮像装置３０から、対象者２０の画像の画像データを取得する（ステップＡ１）。
　次に、輪郭抽出部１２は、ステップＡ１で取得された画像データから対象者２０の輪郭を抽出する（ステップＡ２）。
　次に、部位検出部１３は、ステップＡ２で抽出された輪郭線の線上において曲率半径を連続して算出する（ステップＡ３）。次に、部位検出部１３は、ステップＡ３で算出した曲率半径の変化に基づいて、対象者の体の部位を検出する（ステップＡ４）。
　具体的には、ステップＡ４では、部位検出部１３は、輪郭線において、曲率半径の変化が減少から増加に変わる点を特定し、特定した点の座標を、特定の部位の中心部分の座標として検出する。また、ステップＡ２で抽出されている輪郭が、図４に示す対象者２０の正面の体全体の輪郭である場合は、部位検出部１３は、頭、首、肩、手先、足先、股、脇の下等を検出する。
　その後、部位検出部１３は、特定した各部位の座標を、外部の装置に出力する（ステップＡ５）。外部の装置としては、部位の座標を使用する装置、例えば、人の動作を分析する装置、ゲーム機器等が挙げられる。
［実施の形態における効果］
　以上のように、本実施の形態では、対象者２０の画像データから得られる輪郭から、対象者２０の部位の特定が可能となる。本実施の形態によれば、機械学習によることなく、画像からの人体の部位の特定が可能となる。
［変形例］
　本実施の形態では、撮像装置３０が設定間隔をおいて連続して画像データを出力してくる場合は、部位検出装置１０は、設定間隔をおいて出力されてくる画像データ毎に、対象者２０の部位を検出することができる。この場合、部位検出装置１０は、特定した順に、即ち、時系列に沿って、特定した各部位の座標を、外部の装置に出力する。この結果、例えば、外部の装置が、対象者２０の歩行動作を分析装置であるとすると、分析装置は、各部位の水平方向及び垂直方向における座標の時系列変化を特定することができ、対象者２０が真っ直ぐ歩行できているかどうか等を判定できる。
［プログラム］
　本実施の形態におけるプログラムは、コンピュータに、図６に示すステップＡ１～Ａ５を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態における部位検出装置１０と部位検出方法とを実現することができる。この場合、コンピュータのプロセッサは、データ取得部１１、輪郭抽出部１２、及び部位検出部１３として機能し、処理を行なう。
　また、本実施の形態におけるプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されても良い。この場合は、例えば、各コンピュータが、それぞれ、データ取得部１１、輪郭抽出部１２、及び部位検出部１３のいずれかとして機能しても良い。
　ここで、本実施の形態におけるプログラムを実行することによって、部位検出装置１０を実現するコンピュータについて図７を用いて説明する。図７は、本発明の実施の形態における部位検出装置を実現するコンピュータの一例を示すブロック図である。
　図７に示すように、コンピュータ１１０は、ＣＰＵ１１１と、メインメモリ１１２と、記憶装置１１３と、入力インターフェイス１１４と、表示コントローラ１１５と、データリーダ／ライタ１１６と、通信インターフェイス１１７とを備える。これらの各部は、バス１２１を介して、互いにデータ通信可能に接続される。また、コンピュータ１１０は、ＣＰＵ１１１に加えて、又はＣＰＵ１１１に代えて、ＧＰＵ（Graphics Processing Unit）、又はＦＰＧＡ（Field-Programmable Gate Array）を備えていても良い。
　ＣＰＵ１１１は、記憶装置１１３に格納された、本実施の形態におけるプログラム（コード）をメインメモリ１１２に展開し、これらを所定順序で実行することにより、各種の演算を実施する。メインメモリ１１２は、典型的には、ＤＲＡＭ（Dynamic Random Access Memory）等の揮発性の記憶装置である。また、本実施の形態におけるプログラムは、コンピュータ読み取り可能な記録媒体１２０に格納された状態で提供される。なお、本実施の形態におけるプログラムは、通信インターフェイス１１７を介して接続されたインターネット上で流通するものであっても良い。
　また、記憶装置１１３の具体例としては、ハードディスクドライブの他、フラッシュメモリ等の半導体記憶装置が挙げられる。入力インターフェイス１１４は、ＣＰＵ１１１と、キーボード及びマウスといった入力機器１１８との間のデータ伝送を仲介する。表示コントローラ１１５は、ディスプレイ装置１１９と接続され、ディスプレイ装置１１９での表示を制御する。
　データリーダ／ライタ１１６は、ＣＰＵ１１１と記録媒体１２０との間のデータ伝送を仲介し、記録媒体１２０からのプログラムの読み出し、及びコンピュータ１１０における処理結果の記録媒体１２０への書き込みを実行する。通信インターフェイス１１７は、ＣＰＵ１１１と、他のコンピュータとの間のデータ伝送を仲介する。
　また、記録媒体１２０の具体例としては、ＣＦ（Compact Flash（登録商標））及びＳＤ（Secure Digital）等の汎用的な半導体記憶デバイス、フレキシブルディスク（Flexible Disk）等の磁気記録媒体、又はＣＤ－ＲＯＭ（Compact Disk Read Only Memory）などの光学記録媒体が挙げられる。
　なお、本実施の形態における部位検出装置１０は、プログラムがインストールされたコンピュータではなく、各部に対応したハードウェアを用いることによっても実現可能である。更に、部位検出装置１０は、一部がプログラムで実現され、残りの部分がハードウェアで実現されていてもよい。
　上述した実施の形態の一部又は全部は、以下に記載する（付記１）～（付記９）によって表現することができるが、以下の記載に限定されるものではない。
（付記１）
　対象者の画像の画像データを取得する、データ取得部と、
　取得された画像データの画像から、前記対象者の輪郭を表す輪郭線を抽出する、輪郭抽出部と、
　抽出された輪郭線の線上において曲率半径を連続して算出し、算出した曲率半径の変化に基づいて、前記対象者の体の部位を検出する、部位検出部と、
を備えている、ことを特徴とする部位検出装置。
（付記２）
付記１に記載の部位検出装置であって、
　前記部位検出部が、前記輪郭線において、前記曲率半径の変化が減少から増加に変わる点を特定し、特定した点を、前記部位の一部分として検出する、
ことを特徴とする部位検出装置。
（付記３）
　付記２に記載の部位検出装置であって、
　前記部位検出部が、前記部位として、肩、頭、首、肘、及び膝のうち、少なくとも１つを検出する、
ことを特徴とする部位検出装置。
（付記４）
　対象者の画像の画像データを取得する、データ取得ステップと、
　取得された画像データの画像から、前記対象者の輪郭を表す輪郭線を抽出する、輪郭抽出ステップと、
　抽出された輪郭線の線上において曲率半径を連続して算出し、算出した曲率半径の変化に基づいて、前記対象者の体の部位を検出する、部位検出ステップと、
を有する、ことを特徴とする部位検出方法。
（付記５）
付記４に記載の部位検出方法であって、
　前記部位検出ステップにおいて、前記輪郭線において、前記曲率半径の変化が減少から増加に変わる点を特定し、特定した点を、前記部位の一部分として検出する、
ことを特徴とする部位検出方法。
（付記６）
　付記５に記載の部位検出方法であって、
　前記部位検出ステップにおいて、前記部位として、肩、頭、首、肘、及び膝のうち、少なくとも１つを検出する、
ことを特徴とする部位検出方法。
（付記７）
コンピュータに、
　対象者の画像の画像データを取得する、データ取得ステップと、
　取得された画像データの画像から、前記対象者の輪郭を表す輪郭線を抽出する、輪郭抽出ステップと、
　抽出された輪郭線の線上において曲率半径を連続して算出し、算出した曲率半径の変化に基づいて、前記対象者の体の部位を検出する、部位検出ステップと、
を実行させる命令を含む、プログラムを記録しているコンピュータ読み取り可能な記録媒体。
（付記８）
付記７に記載のコンピュータ読み取り可能な記録媒体であって、
　前記部位検出ステップにおいて、前記輪郭線において、前記曲率半径の変化が減少から増加に変わる点を特定し、特定した点を、前記部位の一部分として検出する、
ことを特徴とするコンピュータ読み取り可能な記録媒体。
（付記９）
　付記８に記載のコンピュータ読み取り可能な記録媒体であって、
　前記部位検出ステップにおいて、前記部位として、肩、頭、首、肘、及び膝のうち、少なくとも１つを検出する、
ことを特徴とするコンピュータ読み取り可能な記録媒体。
　以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施の形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　この出願は、２０１９年３月２８日に出願された日本出願特願２０１９－６４７５３を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　以上のように、本発明によれば、機械学習によることなく、画像からの人体の部位の特定が可能となる。本発明は、人体の各部位の特定が求められている各種システムに有用である。
　１０　部位検出装置
　１１　データ取得部
　１２　輪郭抽出部
　１３　部位検出部
　２０　対象者
　３０　撮像装置
　３１　画像データ
　１１０　コンピュータ
　１１１　ＣＰＵ
　１１２　メインメモリ
　１１３　記憶装置
　１１４　入力インターフェイス
　１１５　表示コントローラ
　１１６　データリーダ／ライタ
　１１７　通信インターフェイス
　１１８　入力機器
　１１９　ディスプレイ装置
　１２０　記録媒体
　１２１　バス

Claims (9)

  1. 　対象者の画像の画像データを取得する、データ取得手段と、
    　取得された画像データの画像から、前記対象者の輪郭を表す輪郭線を抽出する、輪郭抽出手段と、
    　抽出された輪郭線の線上において曲率半径を連続して算出し、算出した曲率半径の変化に基づいて、前記対象者の体の部位を検出する、部位検出手段と、
    を備えている、ことを特徴とする部位検出装置。
  2. 請求項１に記載の部位検出装置であって、
    　前記部位検出手段が、前記輪郭線において、前記曲率半径の変化が減少から増加に変わる点を特定し、特定した点を、前記部位の一部分として検出する、
    ことを特徴とする部位検出装置。
  3. 　請求項２に記載の部位検出装置であって、
    　前記部位検出手段が、前記部位として、肩、頭、首、肘、及び膝のうち、少なくとも１つを検出する、
    ことを特徴とする部位検出装置。
  4. 　対象者の画像の画像データを取得し、
    　取得された画像データの画像から、前記対象者の輪郭を表す輪郭線を抽出し、
    　抽出された輪郭線の線上において曲率半径を連続して算出し、算出した曲率半径の変化に基づいて、前記対象者の体の部位を検出する、
    ことを特徴とする部位検出方法。
  5. 請求項４に記載の部位検出方法であって、
    　前記輪郭線において、前記曲率半径の変化が減少から増加に変わる点を特定し、特定した点を、前記部位の一部分として検出する、
    ことを特徴とする部位検出方法。
  6. 　請求項５に記載の部位検出方法であって、
    　前記部位として、肩、頭、首、肘、及び膝のうち、少なくとも１つを検出する、
    ことを特徴とする部位検出方法。
  7. コンピュータに、
    　対象者の画像の画像データを取得させ、
    　取得された画像データの画像から、前記対象者の輪郭を表す輪郭線を抽出させ、
    　抽出された輪郭線の線上において曲率半径を連続して算出し、算出した曲率半径の変化に基づいて、前記対象者の体の部位を検出させる、
    命令を含む、プログラムを記録しているコンピュータ読み取り可能な記録媒体。
  8. 請求項７に記載のコンピュータ読み取り可能な記録媒体であって、
    　前記輪郭線において、前記曲率半径の変化が減少から増加に変わる点を特定し、特定した点を、前記部位の一部分として検出する、
    ことを特徴とするコンピュータ読み取り可能な記録媒体。
  9. 　請求項８に記載のコンピュータ読み取り可能な記録媒体であって、
    　前記部位として、肩、頭、首、肘、及び膝のうち、少なくとも１つを検出する、
    ことを特徴とするコンピュータ読み取り可能な記録媒体。
PCT/JP2020/005350 2019-03-28 2020-02-12 部位検出装置、部位検出方法、及びコンピュータ読み取り可能な記録媒体 WO2020195272A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202080024023.XA CN113632139A (zh) 2019-03-28 2020-02-12 部位检测设备、部位检测方法和计算机可读记录介质
US17/442,829 US20220180652A1 (en) 2019-03-28 2020-02-12 Part detection apparatus, part detection method, and computer-readable recording medium
JP2021508219A JPWO2020195272A1 (ja) 2019-03-28 2020-02-12

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019064753 2019-03-28
JP2019-064753 2019-03-28

Publications (1)

Publication Number Publication Date
WO2020195272A1 true WO2020195272A1 (ja) 2020-10-01

Family

ID=72610749

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/005350 WO2020195272A1 (ja) 2019-03-28 2020-02-12 部位検出装置、部位検出方法、及びコンピュータ読み取り可能な記録媒体

Country Status (4)

Country Link
US (1) US20220180652A1 (ja)
JP (1) JPWO2020195272A1 (ja)
CN (1) CN113632139A (ja)
WO (1) WO2020195272A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5987154A (en) * 1993-07-19 1999-11-16 Lucent Technologies Inc. Method and means for detecting people in image sequences
JP2001094829A (ja) * 1999-09-17 2001-04-06 Canon Inc 画像処理装置、画像処理システム、画像処理方法、及び記憶媒体
WO2012090645A1 (ja) * 2010-12-28 2012-07-05 日本電気株式会社 物体形状認識方法、物体形状認識システム及びプログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003256850A (ja) * 2001-12-27 2003-09-12 Sanyo Electric Co Ltd 動き認識装置および画像処理装置並びにプログラム
JP5754055B2 (ja) * 2010-11-26 2015-07-22 日本電気株式会社 物体または形状の情報表現方法
JP2016123590A (ja) * 2014-12-26 2016-07-11 オムロン株式会社 身体情報取得装置および身体情報取得方法
CN107730439B (zh) * 2017-09-08 2021-02-05 深圳市无牙太赫兹科技有限公司 一种人体图像映射方法、系统及终端设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5987154A (en) * 1993-07-19 1999-11-16 Lucent Technologies Inc. Method and means for detecting people in image sequences
JP2001094829A (ja) * 1999-09-17 2001-04-06 Canon Inc 画像処理装置、画像処理システム、画像処理方法、及び記憶媒体
WO2012090645A1 (ja) * 2010-12-28 2012-07-05 日本電気株式会社 物体形状認識方法、物体形状認識システム及びプログラム

Also Published As

Publication number Publication date
CN113632139A (zh) 2021-11-09
JPWO2020195272A1 (ja) 2020-10-01
US20220180652A1 (en) 2022-06-09

Similar Documents

Publication Publication Date Title
US9898651B2 (en) Upper-body skeleton extraction from depth maps
JP5587137B2 (ja) 測定装置及び測定方法
JP4860749B2 (ja) 画像中の人物における位置決め指示との適合性を判定する機器、システム、及び方法
JP2013089252A (ja) 映像処理方法及び装置
EP3437557B1 (en) Gait analyzing device, gait analyzing method, and computer-readable recording medium
US20180075291A1 (en) Biometrics authentication based on a normalized image of an object
KR102188334B1 (ko) 깊이 측정 센서를 이용한 수술 동작 분석 장치 및 방법
JP2009536731A (ja) 深度マップによるヒューマノイド形状のモデル化
JP2020046928A (ja) 情報処理装置、情報処理システム、情報処理方法及びプログラム
KR20200134502A (ko) 이미지 인식을 통한 3차원 인체 관절 각도 예측 방법 및 시스템
KR101307984B1 (ko) 자세인식을 위해 방향성 기술자와 기계학습을 이용하는 주요 신체부위 추정 방법
JP2009288917A (ja) 情報処理装置、情報処理方法、およびプログラム
JP6977337B2 (ja) 部位認識方法、装置、プログラム、及び撮像制御システム
WO2020195272A1 (ja) 部位検出装置、部位検出方法、及びコンピュータ読み取り可能な記録媒体
JP5482412B2 (ja) ロボット、位置推定方法及びプログラム
KR102211159B1 (ko) 사용자 영상의 신체 부위를 검출하는 장치 및 방법
JP6847442B2 (ja) 物体追跡装置、物体追跡方法、及び物体追跡プログラム
My et al. Real time face tracking and pose estimation using an adaptive correlation filter for human-robot interaction
KR20140126856A (ko) 손 모양 인식 방법 및 그 장치
JP6968285B2 (ja) 測定装置、測定方法、プログラム及び１つ以上のコンピュータ可読記憶媒体
KR20130067465A (ko) 특징점을 이용한 얼굴방향 추적 장치 및 그 방법
Alper et al. Remote detection and measurement of limb tremors
KR101726505B1 (ko) 설 촬영 장치 및 설 영상의 프로세싱 방법
JP6256124B2 (ja) 画像処理装置、およびプログラム
KR101670133B1 (ko) 종양 추적 방법 및 그 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20778166

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021508219

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20778166

Country of ref document: EP

Kind code of ref document: A1