JP6817527B1 - Information processing equipment, programs and information processing systems - Google Patents
Information processing equipment, programs and information processing systems Download PDFInfo
- Publication number
- JP6817527B1 JP6817527B1 JP2020068030A JP2020068030A JP6817527B1 JP 6817527 B1 JP6817527 B1 JP 6817527B1 JP 2020068030 A JP2020068030 A JP 2020068030A JP 2020068030 A JP2020068030 A JP 2020068030A JP 6817527 B1 JP6817527 B1 JP 6817527B1
- Authority
- JP
- Japan
- Prior art keywords
- camera
- images
- person
- detected
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
【課題】画像処理に有用な画像をカメラに撮影させる。【解決手段】情報処理装置10は、領域2を含む撮影範囲を撮影可能に設置されたカメラ1が撮影範囲を撮影した撮影画像4a,4b,4c,・・・それぞれから領域2内にいる人物3を検出する。そして、情報処理装置10は、撮影画像4a,4b,4c,・・・に対する、人物3が検出された検出画像5a,5b,5c,・・・の割合が所定の割合以上であるか否かに基づいて、カメラ1の設置状況が領域2を撮影するのに適しているか否かを判定する。【選択図】図1PROBLEM TO BE SOLVED: To make a camera take an image useful for image processing. SOLUTION: An information processing device 10 is a person in a region 2 from each of captured images 4a, 4b, 4c, ..., In which a camera 1 installed so as to capture a shooting range including the region 2 captures the shooting range. 3 is detected. Then, the information processing device 10 determines whether or not the ratio of the detected images 5a, 5b, 5c, ... In which the person 3 is detected to the captured images 4a, 4b, 4c, ... Is equal to or more than a predetermined ratio. Based on the above, it is determined whether or not the installation state of the camera 1 is suitable for photographing the area 2. [Selection diagram] Fig. 1
Description
本発明は、情報処理装置、プログラムおよび情報処理システムに関する。 The present invention relates to information processing devices, programs and information processing systems.
近年、防犯カメラが多く設置されている。防犯カメラで撮影された動画像は目視によって確認されるだけでなく、画像処理が行われることもある。例えば、人物が写った動画像に対する画像処理によって、動画像に写った人物に関する様々な判定処理が行われる。 In recent years, many security cameras have been installed. The moving image taken by the security camera is not only visually confirmed, but also image processing may be performed. For example, by image processing for a moving image in which a person is captured, various determination processes for the person in the moving image are performed.
人物が写った動画像に対する画像処理に関する技術としては、例えば、人物の体の向きが異なって映る複数のカメラ映像を用いて同一人物を同定する精度を高める画像処理装置が提案されている。 As a technique related to image processing for a moving image of a person, for example, an image processing device for improving the accuracy of identifying the same person by using a plurality of camera images in which the person's body orientation is different has been proposed.
撮影画像に人物が写っている場合でも、人物がぼやけて写った場合や人物の一部のみが写った場合には、画像処理によって撮影画像から人物が検出されないことがある。すると、例えば、判定対象の人物がカメラの撮影範囲内に入ってから撮影範囲外に出ていくまでの間に、判定対象の人物を検出できたフレーム数が少なくなり、誤判定が起きてしまうことがある。 Even if a person appears in the captured image, if the person appears blurry or only a part of the person appears, the image processing may not detect the person in the captured image. Then, for example, the number of frames in which the person to be judged can be detected decreases between the time when the person to be judged enters the shooting range of the camera and the time when the person to be judged goes out of the shooting range, and an erroneous judgment occurs. Sometimes.
1つの側面では、本件は、画像処理に有用な画像をカメラに撮影させることを目的とする。 In one aspect, the present case aims to have a camera capture an image useful for image processing.
1つの案では、処理部を有する情報処理装置が提供される。処理部は、所定の領域を含む撮影範囲を撮影可能に設置されたカメラが撮影範囲を撮影した複数の撮影画像それぞれから所定の領域内にいる人物を検出し、複数の撮影画像に対する、複数の撮影画像のうち人物が検出された1以上の検出画像の割合が所定の割合以上であるか否かに基づいて、カメラの設置状況が所定の領域を撮影するのに適しているか否かを判定する。 One proposal provides an information processing apparatus having a processing unit. The processing unit detects a person within a predetermined area from each of a plurality of captured images captured by a camera installed so as to be able to capture a shooting range including a predetermined area, and a plurality of captured images for the plurality of captured images. Based on whether or not the ratio of one or more detected images in which a person is detected is equal to or greater than a predetermined ratio, it is determined whether or not the installation status of the camera is suitable for shooting a predetermined area. To do.
1態様によれば、画像処理に有用な画像をカメラに撮影させることができる。 According to one aspect, the camera can capture an image useful for image processing.
以下、本実施の形態について図面を参照して説明する。なお各実施の形態は、矛盾のない範囲で複数の実施の形態を組み合わせて実施することができる。
〔第1の実施の形態〕
まず第1の実施の形態について説明する。
Hereinafter, the present embodiment will be described with reference to the drawings. It should be noted that each embodiment can be implemented by combining a plurality of embodiments within a consistent range.
[First Embodiment]
First, the first embodiment will be described.
図1は、第1の実施の形態に係る情報処理システムの一例を示す図である。第1の実施の形態は、情報処理装置10が領域2を撮影するカメラ1の設置状況を判定するものである。カメラ1の設置状況は、カメラ1のズーム等の設定、カメラ1の向き、カメラ1の設置位置等を含む。カメラ1は、領域2を含む撮影範囲を撮影可能に設置されたカメラである。カメラ1は、動画を撮影可能であってもよい。人物3は、領域2内にいる。人物3は、例えば、カメラ1が撮影範囲を撮影した場合に、中央に写る位置にいる。
FIG. 1 is a diagram showing an example of an information processing system according to the first embodiment. In the first embodiment, the
情報処理装置10は、カメラ1の設置状況を判定するコンピュータである。情報処理装置10は、サーバコンピュータであってもよいし、クライアントコンピュータであってもよい。また、情報処理装置10は、カメラ1と一体化していてもよい。情報処理装置10は、処理部11を有する。処理部11は、情報処理装置10を制御し、所要の処理を実行可能である。処理部11は、例えば、情報処理装置10が有するプロセッサまたは演算回路である。
The
処理部11は、カメラ1が撮影範囲を撮影した撮影画像4a,4b,4c,・・・を取得する。撮影画像4a,4b,4c,・・・は、カメラ1が撮影範囲を一定の時間撮影して生成する動画のフレームであってもよい。処理部11は、撮影画像4a,4b,4c,・・・それぞれから人物3を検出する。例えば、処理部11は、入力画像に写る人物を囲う検出枠を出力する学習済みモデルに、撮影画像4a,4b,4c,・・・それぞれを入力して人物3を検出する。検出画像5a,5b,5c,・・・は、撮影画像4a,4b,4c,・・・のうち人物3が検出された1以上の画像である。例えば、検出画像5a,5b,5c,・・・は、撮影画像4a,4b,4c,・・・のうち、入力画像に写る人物を囲う検出枠を出力する学習済みモデルに入力された場合に検出枠が出力された画像である。
The processing unit 11 acquires captured
処理部11は、検出画像5a,5b,5c,・・・のうち、除外対象の検出画像を除外してから、撮影画像4a,4b,4c,・・・に対する検出画像5a,5b,5c,・・・の割合(検出割合)を算出する。
The processing unit 11 excludes the detected images to be excluded from the detected
処理部11は、検出画像5a,5b,5c,・・・それぞれについて、人物3の画像上の位置である検出位置を特定する。そして、処理部11は、検出画像5a,5b,5c,・・・のうち、検出位置が検出画像5a,5b,5c,・・・それぞれの検出位置に基づいて決定される検出基準範囲の範囲外である検出画像を除外対象とする。例えば、処理部11は、検出画像5a,5b,5c,・・・それぞれについて、人物を囲う検出枠を出力する学習済みモデルによって出力された検出枠の所定の箇所(例えば、左上)の座標を特定する。そして、処理部11は、検出画像5a,5b,5c,・・・のうちの1の検出画像(例えば、検出画像5a)の検出枠の左上の座標を中心とした所定の範囲に、検出枠の左上の座標がない検出画像を除外対象とする。
The processing unit 11 specifies the detection position, which is the position on the image of the person 3, for each of the detected
また、処理部11は、検出画像5a,5b,5c,・・・のうち、人物3の画像上のサイズが第1のサイズ未満または第2のサイズより大きい検出画像を除外対象とする。例えば、処理部11は、人物を囲う検出枠を出力する学習済みモデルによって出力された検出枠の縦と横の長さが、あらかじめ設定された下限値未満または上限値より大きい検出画像を除外対象とする。
Further, the processing unit 11 excludes the detected images whose size on the image of the person 3 is less than the first size or larger than the second size among the detected
また、処理部11は、検出画像5a,5b,5c,・・・のうち、人物3の画像上の範囲の少なくとも一部が第1の除外範囲に含まれる検出画像を除外対象とする。例えば、処理部11は、人物を囲う検出枠を出力する学習済みモデルによって出力された検出枠の一部が画像の端から所定の幅に含まれる検出画像を除外対象とする。
Further, the processing unit 11 excludes the detected images in which at least a part of the range on the image of the person 3 is included in the first exclusion range among the detected
処理部11は、除外対象とした検出画像を検出画像5a,5b,5c,・・・から除外して、検出割合を算出する。処理部11は、除外対象とした検出画像を除外した後の検出画像5a,5b,5c,・・・の数を撮影画像4a,4b,4c,・・・の数で除することで検出割合を算出する。
The processing unit 11 excludes the detected images to be excluded from the detected
処理部11は、検出割合が所定の割合以上であるか否かに基づいて、カメラ1の設置状況が領域2を撮影するのに適しているか否かを判定する。例えば、処理部11は、検出割合が所定の割合以上である場合、カメラ1の設置状況の少なくとも一部が領域2を撮影するのに適していると判定する。また、例えば、処理部11は、検出割合が所定の割合未満である場合、カメラ1の設置状況の少なくとも一部が領域2を撮影するのに適していないと判定する。
The processing unit 11 determines whether or not the installation status of the
第1の実施の形態によれば、処理部11は、撮影画像4a,4b,4c,・・・それぞれから領域2内にいる人物3を検出する。そして、処理部11は、検出割合が所定の割合以上であるか否かに基づいて、カメラ1の設置状況が領域2を撮影するのに適しているか否かを判定する。これにより、情報処理装置10は、カメラ1が撮影する画像から領域2内にいる人物3の検出割合に応じて、カメラ1の設置状況をユーザに見直させることができる。よって、情報処理装置10は、画像処理に有用な画像をカメラ1に撮影させることができる。
According to the first embodiment, the processing unit 11 detects the person 3 in the area 2 from the captured
また、処理部11は、検出画像5a,5b,5c,・・・それぞれについて、人物3の検出位置を特定する。そして、処理部11は、検出画像5a,5b,5c,・・・のうち検出位置が検出基準範囲の範囲外である検出画像を検出画像5a,5b,5c,・・・から除外して、検出割合を算出する。検出位置が検出基準範囲の範囲外である検出画像は、検出位置が他の検出画像とずれていることから、人物3以外のものを検出したものや、人物3の一部のみを検出したもの等である可能性が高い。よって、情報処理装置10は、検出位置が検出基準範囲の範囲外である検出画像を除外することで、適切に人物3を検出できた割合を算出することができる。
Further, the processing unit 11 specifies the detection position of the person 3 for each of the detected
また、処理部11は、検出画像5a,5b,5c,・・・のうち人物3の画像上のサイズが第1のサイズ未満または第2のサイズより大きい検出画像を検出画像5a,5b,5c,・・・から除外して、検出割合を算出する。これにより、情報処理装置10は、第1のサイズ以上第2のサイズ以下の適切なサイズで人物3を検出できた割合を算出することができる。
Further, the processing unit 11 detects a detected image in which the size on the image of the person 3 is less than the first size or larger than the second size among the detected
また、処理部11は、検出画像5a,5b,5c,・・・のうち人物3の画像上の範囲の少なくとも一部が第1の除外範囲に含まれる検出画像を検出画像5a,5b,5c,・・・から除外して、検出割合を算出する。これにより、情報処理装置10は、画像上の適切な範囲で人物3を検出できた割合を算出することができる。
Further, the processing unit 11 detects the detected
なお、処理部11は、検出割合が所定の割合以上であるか否かの判定を、人物3が撮影範囲内の複数の位置それぞれにいるときに、カメラ1が撮影範囲を撮影した複数の撮影画像について実行してもよい。そして、処理部11は、複数の位置のうち、検出割合が所定の割合以上となる第1の位置と第2の位置との距離に基づいて、カメラ1の設置状況が領域2を撮影するのに適しているか否かを判定してもよい。これにより、情報処理装置10は、カメラ1が撮影する動画に移動する人物が写る場合に、当該人物が検出される時間に基づいてカメラ1の設置状況を判定できる。
In addition, the processing unit 11 determines whether or not the detection ratio is equal to or higher than a predetermined ratio, when the person 3 is at each of the plurality of positions within the shooting range, the
また、処理部11は、第1の位置と第2の位置との距離が、第1の距離以上かつ第2の距離以下である場合、カメラ1の設置状況が領域2を撮影するのに適していると判定してもよい。また、処理部11は、第1の位置と第2の位置との距離が第1の距離未満である場合または第1の位置と第2の位置との距離が第2の距離より大きい場合、カメラ1のズームの設定が領域2を撮影するのに適していないと判定してもよい。これにより、情報処理装置10は、カメラ1が撮影する動画に写る移動する人物が検出される時間が適切である場合に、カメラ1の設置状況を変更しないようユーザに促すことができる。また、情報処理装置10は、カメラ1が撮影する動画に写る移動する人物が検出される時間が適切でない場合にカメラ1のズームの設定をユーザに見直させることができる。
Further, when the distance between the first position and the second position is equal to or greater than the first distance and equal to or less than the second distance, the processing unit 11 is suitable for capturing the area 2 in the installation state of the
また、処理部11は、第1の位置と第2の位置との距離が第1の距離未満である場合、カメラ1がズームアウトするよう設定し、第1の位置と第2の位置との距離が第2の距離より大きい場合、カメラ1がズームインするよう設定してもよい。これにより、情報処理装置10は、カメラ1のズームの設定を適切に変更できる。
Further, the processing unit 11 sets the
また、処理部11は、第1の位置と第2の位置との距離が第1の距離未満である場合、カメラ1の設置状況の適切な変更方法がカメラ1をズームアウトさせることであると判定してもよい。また、処理部11は、第1の位置と第2の位置との距離が第2の距離より大きい場合、カメラ1の設置状況の適切な変更方法がカメラ1をズームインさせることであると判定してもよい。これにより、情報処理装置10は、カメラ1のズームの設定をユーザに適切に変更させることができる。
Further, the processing unit 11 states that when the distance between the first position and the second position is less than the first distance, an appropriate method of changing the installation status of the
また、第1の位置は、領域2に少なくとも一部が含まれる経路の両端のうちの一端であり、第2の位置は、当該両端のうちの他端であってもよい。これにより、情報処理装置10は、カメラ1が撮影する動画に、領域2を通る経路を移動する人物が写る場合に、当該人物が検出される時間に基づいてカメラ1の設置状況を判定できる。
Further, the first position may be one end of both ends of the path including at least a part of the region 2, and the second position may be the other end of the both ends. As a result, the
また、処理部11は、人物3が領域2内にいるときの検出割合が所定の割合未満である場合、カメラ1の設置状況が領域2を撮影するのに適していないと判定してもよい。これにより、情報処理装置10は、領域2内にいる人物3を検出しづらい場合に、カメラ1の設置状況をユーザに見直させることができる。
Further, when the detection ratio when the person 3 is in the area 2 is less than a predetermined ratio, the processing unit 11 may determine that the installation state of the
また、処理部11は、カメラ1の設置状況が領域2を撮影するのに適していないと判定した場合、人物3の画像上のサイズに基づいてカメラ1のズームの設定について判定してもよい。処理部11は、検出画像5a,5b,5c,・・・に、人物3の画像上のサイズが第3のサイズ未満または第4のサイズより大きい画像が含まれる場合、カメラ1のズームの設定が領域2を撮影するのに適していないと判定してもよい。これにより、情報処理装置10は、カメラ1が撮影する画像に適切なサイズで人物3が写るようにカメラ1のズームの設定をユーザに見直させることができる。
Further, when the processing unit 11 determines that the installation condition of the
また、処理部11は、カメラ1のズームの設定が領域2を撮影するのに適していないと判定した場合、検出画像5a,5b,5c,・・・で検出された人物3に基づいて、カメラ1のズームの設定を変更してもよい。これにより、情報処理装置10は、カメラ1が撮影する画像に適切なサイズで人物3が写るようにカメラ1のズームの設定を変更できる。
Further, when the processing unit 11 determines that the zoom setting of the
また、処理部11は、カメラ1のズームの設定が領域2を撮影するのに適していないと判定した場合、検出画像5a,5b,5c,・・・で検出された人物3の画像上のサイズに基づいて、カメラ1の設置状況の適切な変更方法を判定してもよい。処理部11は、検出画像5a,5b,5c,・・・で検出された人物3の画像上のサイズに基づいて、カメラ1の設置状況の適切な変更方法が、カメラ1をズームインさせることであるか、カメラ1をズームアウトさせることであるかを判定してもよい。これにより、情報処理装置10は、カメラ1が撮影する画像に適切なサイズで人物3が写るようにカメラ1のズームの設定をユーザに変更させることができる。
Further, when the processing unit 11 determines that the zoom setting of the
また、処理部11は、カメラ1の設置状況が領域2を撮影するのに適していないと判定した場合、人物3の画像上の範囲に基づいてカメラ1の撮影方向の設定について判定してもよい。処理部11は、検出画像5a,5b,5c,・・・に、人物3の画像上の範囲の少なくとも一部が第2の除外範囲に含まれる画像が含まれる場合、カメラ1の撮影方向の設定が領域2を撮影するのに適していないと判定してもよい。これにより、情報処理装置10は、カメラ1が撮影する画像上の適切な範囲に人物3が写るようにカメラ1の撮影方向の設定をユーザに見直させることができる。
Further, when the processing unit 11 determines that the installation condition of the
また、処理部11は、カメラ1の撮影方向の設定が領域2を撮影するのに適していないと判定した場合、検出画像5a,5b,5c,・・・で検出された人物3に基づいて、カメラ1の撮影方向の設定を変更してもよい。これにより、情報処理装置10は、カメラ1が撮影する画像上の適切な範囲に人物3が写るようにカメラ1の撮影方向の設定を変更できる。
Further, when the processing unit 11 determines that the setting of the shooting direction of the
また、処理部11は、カメラ1の撮影方向の設定が領域2を撮影するのに適していないと判定した場合、検出画像5a,5b,5c,・・・で検出された人物3の画像上の範囲に基づいて変更方向を算出してもよい。そして、処理部11は、カメラ1の設置状況の適切な変更方法が、カメラ1を変更方向に向けることであると判定してもよい。これにより、情報処理装置10は、カメラ1が撮影する画像上の適切な範囲に人物3が写るようにカメラ1の撮影方向の設定をユーザに変更させることができる。
Further, when the processing unit 11 determines that the setting of the shooting direction of the
また、処理部11は、カメラ1の設置状況が領域2を撮影するのに適していないと判定した場合、検出画像5a,5b,5c,・・・のうちの少なくとも1の検出画像で検出された人物3の傾きを算出してもよい。そして、処理部11は、人物3の傾きに基づいて、撮影画像4a,4b,4c,・・・の傾きの補正値を算出してもよい。これにより、情報処理装置10は、カメラ1が傾いて設置されている場合にカメラ1の撮影した撮影画像を補正できる。
Further, when the processing unit 11 determines that the installation condition of the
また、処理部11は、補正値によって撮影画像4a,4b,4c,・・・の傾きを補正した複数の補正後撮影画像と、複数の補正後撮影画像のうち人物3が検出された1以上の補正後検出画像とを用いてカメラ1の設置位置を判定してもよい。処理部11は、複数の補正後撮影画像それぞれから人物3を検出し、複数の補正後撮影画像に対する1以上の補正後検出画像の割合が所定の割合未満である場合、カメラ1の設置位置が領域2を撮影するのに適していないと判定してもよい。これにより、情報処理装置10は、カメラ1の撮影画像の傾きを補正しても、人物3の検出割合が所定の割合未満の場合にカメラ1の設置位置をユーザに見直させることができる。
Further, the processing unit 11 includes a plurality of corrected captured images in which the inclinations of the captured
〔第2の実施の形態〕
次に第2の実施の形態について説明する。第2の実施の形態は、点検者がカメラの設置状況が適切であるか確認する点検作業を支援するものである。
[Second Embodiment]
Next, the second embodiment will be described. The second embodiment supports the inspection work in which the inspector confirms whether the installation status of the camera is appropriate.
図2は、第2の実施の形態に係る情報処理システムの一例を示す図である。図2に示される情報処理システムは、例えば、店舗などの施設に設置される。領域21は、第2の実施の形態の情報処理システムが設置される施設内の所定の領域である。領域21は、画像処理による人物の判定を用いたサービスの導入が検討されている領域である。画像処理による人物の判定は、例えば、動画から不審人物を検出するものである。画像処理による人物の判定は、画像からの人物の検出処理と、検出された人物に対する判定処理を含むことがある。ここで、検出処理において動画から人物を検出できた秒数(フレーム数)が少ないと、判定処理において誤判定が発生する恐れがある。そこで、第2の実施の形態の情報処理システムは、画像処理による人物の判定に用いられる動画を撮影するためのカメラ23の設置状況の点検作業を支援する。
FIG. 2 is a diagram showing an example of an information processing system according to the second embodiment. The information processing system shown in FIG. 2 is installed in a facility such as a store, for example. The
点検者22は、カメラ23の設置状況が適切であるかの点検作業をする。点検者22は、第1の実施の形態に示した人物3の一例である。カメラ23は、設置状況によって決定される撮影範囲の動画を撮影する。カメラ23の設置状況は、カメラ23のズーム等の設定、カメラ23の向き、カメラ23の設置位置等を含む。カメラ23は、領域21を含む撮影範囲を撮影可能に設置されている。カメラ23は、ハブ24を介して、AP(Access Point)25およびホストコンピュータ100に接続される。
The
ホストコンピュータ100は、カメラ23の設置状況を判定するコンピュータである。ホストコンピュータ100は、カメラ23が撮影した点検者22が写った動画を基に、カメラ23の設置状況を判定する。ホストコンピュータ100は、カメラ23の設置状況の判定結果に基づいて、カメラ23のズームの設定やカメラ23の向きを変更する。ホストコンピュータ100は、ハブ24およびAP25を介してタブレット200に接続される。
The
タブレット200は、点検者22が操作する端末装置である。タブレット200は、点検者22の操作に従って、ホストコンピュータ100によるカメラ23の設置状況の判定に用いられる動画を撮影するようカメラ23に指示する。また、タブレット200は、カメラ23の設置状況の点検作業における点検者22の立ち位置の指示を表示する。また、タブレット200は、ホストコンピュータ100によるカメラ23の設置状況の判定結果を表示する。なお、タブレット200は、スマートフォンなどの他の携帯型端末であってもよい。
The
図3は、カメラの設置状況の点検作業の一例を示す図である。カメラ23は、通路26の天井に設置され、カメラ23に対して通路26の通行方向にある領域21を含む撮影範囲を撮影する。点検者22は、通路26のカメラ23の撮影範囲で直立してカメラ23に動画を撮影させ、撮影させた動画を用いたホストコンピュータ100によるカメラ23の設置状況の判定を基に、カメラ23の設置状況を点検する。
FIG. 3 is a diagram showing an example of inspection work of the installation state of the camera. The
例えば、ホストコンピュータ100は、点検者22が領域21内の所定の位置にいるときにカメラ23が撮影した動画を用いてカメラ23の設置状況を判定する。また、例えば、ホストコンピュータ100は、所定の位置よりもカメラ23から遠い位置に点検者22がいるときと所定の位置よりもカメラ23に近い位置に点検者22がいるときに、カメラ23が撮影した動画を用いてカメラ23の設置状況を判定する。
For example, the
図4は、ホストコンピュータのハードウェアの一例を示す図である。ホストコンピュータ100は、プロセッサ101によって装置全体が制御されている。プロセッサ101には、バス110を介してメモリ102と複数の周辺機器が接続されている。プロセッサ101は、マルチプロセッサであってもよい。プロセッサ101は、例えばCPU(Central Processing Unit)、MPU(Micro Processing Unit)、またはDSP(Digital Signal Processor)である。プロセッサ101がプログラムを実行することで実現する機能の少なくとも一部を、ASIC(Application Specific Integrated Circuit)、PLD(Programmable Logic Device)などの電子回路で実現してもよい。
FIG. 4 is a diagram showing an example of hardware of the host computer. The entire device of the
メモリ102は、ホストコンピュータ100の主記憶装置として使用される。メモリ102には、プロセッサ101に実行させるOS(Operating System)のプログラムやアプリケーションプログラムの少なくとも一部が一時的に格納される。また、メモリ102には、プロセッサ101による処理に利用する各種データが格納される。メモリ102としては、例えばRAM(Random Access Memory)などの揮発性の半導体記憶装置が使用される。
The
バス110に接続されている周辺機器としては、ストレージ装置103、グラフィック処理装置104、入力インタフェース105、光学ドライブ装置106、機器接続インタフェース107,109およびネットワークインタフェース108がある。
Peripheral devices connected to the bus 110 include a
ストレージ装置103は、内蔵した記録媒体に対して、電気的または磁気的にデータの書き込みおよび読み出しを行う。ストレージ装置103は、コンピュータの補助記憶装置として使用される。ストレージ装置103には、OSのプログラム、アプリケーションプログラム、および各種データが格納される。なお、ストレージ装置103としては、例えばHDD(Hard Disk Drive)やSSD(Solid State Drive)を使用することができる。
The
グラフィック処理装置104には、モニタ31が接続されている。グラフィック処理装置104は、プロセッサ101からの命令に従って、画像をモニタ31の画面に表示させる。モニタ31としては、有機EL(Electro Luminescence)を用いた表示装置や液晶表示装置などがある。
A monitor 31 is connected to the
入力インタフェース105には、キーボード32とマウス33とが接続されている。入力インタフェース105は、キーボード32やマウス33から送られてくる信号をプロセッサ101に送信する。なお、マウス33は、ポインティングデバイスの一例であり、他のポインティングデバイスを使用することもできる。他のポインティングデバイスとしては、タッチパネル、タブレット、タッチパッド、トラックボールなどがある。
A keyboard 32 and a mouse 33 are connected to the
光学ドライブ装置106は、レーザ光などを利用して、光ディスク34に記録されたデータの読み取りを行う。光ディスク34は、光の反射によって読み取り可能なようにデータが記録された可搬型の記録媒体である。光ディスク34には、DVD(Digital Versatile Disc)、DVD−RAM、CD−ROM(Compact Disc Read Only Memory)、CD−R(Recordable)/RW(ReWritable)などがある。
The
機器接続インタフェース107は、ホストコンピュータ100に周辺機器を接続するための通信インタフェースである。例えば機器接続インタフェース107には、メモリ装置35やメモリリーダライタ36を接続することができる。メモリ装置35は、機器接続インタフェース107との通信機能を搭載した記録媒体である。メモリリーダライタ36は、メモリカード37へのデータの書き込み、またはメモリカード37からのデータの読み出しを行う装置である。メモリカード37は、カード型の記録媒体である。
The
ネットワークインタフェース108は、ネットワーク30に接続されている。ネットワークインタフェース108は、ネットワーク30を介して、他のコンピュータまたは通信機器との間でデータの送受信を行う。機器接続インタフェース109は、ハブ24に接続されている。機器接続インタフェース109は、ハブ24を介して、カメラ23およびタブレット200との間でデータの送受信を行う。
The
カメラ23は、プロセッサ101からの命令に従って、カメラ23のレンズを向けた先の光景の静止画または動画のデータを生成し、メモリ102に格納する。また、カメラ23は、プロセッサ101からの命令に従って、水平回転によってレンズを向ける向きを変更可能である。また、カメラ23は、プロセッサ101からの命令に従って、ズームの設定を変更可能である。
The
ホストコンピュータ100は、以上のようなハードウェア構成によって、第2の実施の形態の処理機能を実現することができる。なお、第1の実施の形態に示した情報処理装置10も、図4に示したホストコンピュータ100と同様のハードウェアにより実現することができる。また、プロセッサ101は、第1の実施の形態に示した処理部11の一例である。
The
ホストコンピュータ100は、例えばコンピュータ読み取り可能な記録媒体に記録されたプログラムを実行することにより、第2の実施の形態の処理機能を実現する。ホストコンピュータ100に実行させる処理内容を記述したプログラムは、様々な記録媒体に記録しておくことができる。例えば、ホストコンピュータ100に実行させるプログラムをストレージ装置103に格納しておくことができる。プロセッサ101は、ストレージ装置103内のプログラムの少なくとも一部をメモリ102にロードし、プログラムを実行する。またホストコンピュータ100に実行させるプログラムを、光ディスク34、メモリ装置35、メモリカード37などの可搬型記録媒体に記録しておくこともできる。可搬型記録媒体に格納されたプログラムは、例えばプロセッサ101からの制御により、ストレージ装置103にインストールされた後、実行可能となる。またプロセッサ101が、可搬型記録媒体から直接プログラムを読み出して実行することもできる。
The
図5は、タブレットのハードウェアの一例を示す図である。タブレット200は、プロセッサ201によって装置全体が制御されている。プロセッサ201には、バス209を介してメモリ202と複数の周辺機器が接続されている。プロセッサ201は、マルチプロセッサであってもよい。プロセッサ201は、例えばCPU、MPU、またはDSPである。プロセッサ201がプログラムを実行することで実現する機能の少なくとも一部を、ASIC、PLDなどの電子回路で実現してもよい。
FIG. 5 is a diagram showing an example of tablet hardware. In the
メモリ202は、タブレット200の主記憶装置として使用される。メモリ202には、プロセッサ201に実行させるOSのプログラムやアプリケーションプログラムの少なくとも一部が一時的に格納される。また、メモリ202には、プロセッサ201による処理に利用する各種データが格納される。メモリ202としては、例えばRAMなどの揮発性の半導体記憶装置が使用される。
The
バス209に接続されている周辺機器としては、ストレージ装置203、ディスプレイ装置204、タッチパネル205、機器接続インタフェース206および無線通信部207,208がある。
Peripheral devices connected to the bus 209 include a
ストレージ装置203は、内蔵した記録媒体に対して、電気的または磁気的にデータの書き込みおよび読み出しを行う。ストレージ装置203は、コンピュータの補助記憶装置として使用される。ストレージ装置203には、OSのプログラム、アプリケーションプログラム、および各種データが格納される。なお、ストレージ装置203としては、例えばフラッシュメモリなどを使用することができる。
The
ディスプレイ装置204は、プロセッサ201からの命令に従って、画像を表示する。ディスプレイ装置204としては、有機ELを用いた表示装置や液晶表示装置などがある。タッチパネル205は、ディスプレイ装置204の画面の前面に配置されており、画面上の押された位置を検知して、その位置を示す信号をプロセッサ201に送信する。
The
機器接続インタフェース206は、タブレット200に周辺機器を接続するための通信インタフェースである。例えば機器接続インタフェース206には、メモリカード41を接続することができる。メモリカード41は、機器接続インタフェース206との通信機能を搭載した、カード型の記録媒体である。
The
無線通信部207は、無線通信によるネットワークインタフェースである。無線通信部207は、ネットワーク40に接続されている。無線通信部207は、ネットワーク40を介して、他のコンピュータまたは通信機器との間でデータの送受信を行う。無線通信部208は、AP25に接続されている。無線通信部208は、AP25を介して、カメラ23およびホストコンピュータ100との間でデータの送受信を行う。
The
タブレット200は、以上のようなハードウェア構成によって、第2の実施の形態の処理機能を実現することができる。タブレット200は、例えばコンピュータ読み取り可能な記録媒体に記録されたプログラムを実行することにより、第2の実施の形態の処理機能を実現する。タブレット200に実行させる処理内容を記述したプログラムは、様々な記録媒体に記録しておくことができる。例えば、タブレット200に実行させるプログラムをストレージ装置203に格納しておくことができる。プロセッサ201は、ストレージ装置203内のプログラムの少なくとも一部をメモリ202にロードし、プログラムを実行する。またタブレット200に実行させるプログラムを、メモリカード41などの可搬型記録媒体に記録しておくこともできる。可搬型記録媒体に格納されたプログラムは、例えばプロセッサ201からの制御により、ストレージ装置203にインストールされた後、実行可能となる。またプロセッサ201が、可搬型記録媒体から直接プログラムを読み出して実行することもできる。
The
次に、第2の実施の形態の情報処理システムに含まれる各装置の機能について詳細に説明する。
図6は、ホストコンピュータおよびタブレットの機能例を示すブロック図である。ホストコンピュータ100は、人物検出部120、距離算出部130、傾き補正部140、判定部150およびカメラ設定部160を有する。人物検出部120、距離算出部130、傾き補正部140、判定部150およびカメラ設定部160は、メモリ102に記憶されたプログラムをプロセッサ101が実行することで実現される。人物検出部120は、カメラ23が撮影した所定時間(例えば、5秒)の動画の各フレームから点検者22を検出し、所定時間の動画の全フレームに対する点検者22が検出されたフレームの割合(検出割合)を算出する。
Next, the function of each device included in the information processing system of the second embodiment will be described in detail.
FIG. 6 is a block diagram showing a functional example of the host computer and the tablet. The
人物検出部120は、入力画像に写る人物を囲う検出枠を出力する学習済みモデル(人物検出モデル)に、カメラ23の撮影範囲に点検者22がいるときにカメラ23が撮影した所定時間の動画の各フレームを入力する。人物検出部120は、検出枠が出力されたフレーム(検出フレーム)のうち、各検出フレームの検出枠の位置に基づいて決定される検出基準範囲の範囲外に検出枠が位置するフレームを検出フレームから除外する。また、人物検出部120は、検出フレームのうち、検出枠があらかじめ設定された下限サイズ未満または上限サイズより大きいフレームを検出フレームから除外する。また、人物検出部120は、検出フレームのうち、検出枠の一部があらかじめ設定された除外範囲に含まれるフレームを検出フレームから除外する。そして、人物検出部120は、検出フレーム数を所定時間の動画の全フレーム数で除することで、検出割合を算出する。
The
距離算出部130は、ある地点に点検者22がいるときにカメラ23が撮影した動画の検出割合と、他の地点に点検者22がいるときにカメラ23が撮影した動画の検出割合とが所定の割合(例えば、9割)以上であった場合、2地点間の距離を算出する。例えば、距離算出部130は、ある地点に点検者22がいるときにカメラ23が撮影した動画について人物検出部120が算出した検出割合が所定の割合以上であった場合、3D(Dimensions)空間に点検者22の位置をマッピングする。そして、距離算出部130は、点検者22が他の地点にいるときにカメラ23が撮影した動画について人物検出部120が算出した検出割合が所定の割合以上であった場合、3D空間に点検者22の位置をマッピングする。距離算出部130は、点検者22の位置としてマッピングされた2点間の3D空間上の距離を算出する。
The
傾き補正部140は、フレームの傾きを検出し傾きを補正するための補正値を算出する。例えば、傾き補正部140は、検出フレームから点検者22の骨格を検出する。傾き補正部140は、検出した骨格から点検者22の傾きを算出する。そして、傾き補正部140は、点検者22の傾きを補正する補正値を算出する。
The
判定部150は、人物検出部120が算出した検出割合に基づいてカメラ23の設置状況を判定する。判定部150は、点検者22が領域21内にいるときにカメラ23が撮影した動画について、人物検出部120が算出した検出割合が所定の割合未満の場合、カメラ23の設置状況が不適切と判定する。
The
また、判定部150は、カメラ23の設置状況が不適切と判定し、検出枠のサイズが下限サイズ未満または上限サイズより大きいフレームが検出フレームに含まれる場合、カメラ23のズームの設定が不適切と判定する。
Further, when the
また、判定部150は、カメラ23の設置状況が不適切と判定し、検出枠の一部が除外範囲に含まれるフレームが検出フレームに含まれる場合、カメラ23の撮影方向の設定が不適切と判定する。また、判定部150は、補正値によって補正された動画について、人物検出部120が算出した検出割合が所定の割合未満の場合、カメラ23の設置位置が不適切と判定する。そして、判定部150は、カメラ23の設置位置が不適切であるという判定結果を、タブレット200に通知しタブレット200に判定結果を表示させる。
Further, the
また、判定部150は、距離算出部130が算出した距離が適正範囲内であった場合、カメラ23の設置状況が適切と判定する。そして、判定部150は、カメラ23の設置状況が適切であるという判定結果を、タブレット200に通知しタブレット200に判定結果を表示させる。判定部150は、距離算出部130が算出した距離が適正範囲外であった場合、カメラ23のズームの設定が不適切と判定する。
Further, the
カメラ設定部160は、判定部150による判定に基づいてカメラ23の設定を変更する。例えば、カメラ設定部160は、判定部150がカメラ23の撮影方向の設定が不適切と判定した場合、カメラ23を水平回転させ、カメラ23の向きを変更する。また、例えば、カメラ設定部160は、判定部150がカメラ23のズームの設定が不適切と判定した場合、カメラ23のズームの設定を変更する。
The
タブレット200は、入出力部220を有する。入出力部220は、メモリ202に記憶されたプログラムをプロセッサ201が実行することで実現される。入出力部220は、点検者22からの入力操作の受付および案内画面の表示出力を行う。例えば、入出力部220は、カメラ23に動画撮影を開始させる指示の入力を受け付ける。また、例えば、入出力部220は、カメラ23が撮影した動画をディスプレイ装置204に表示させる。また、例えば、入出力部220は、ホストコンピュータ100から通知された、カメラ23の設置状況の判定結果をディスプレイ装置204に表示させる。なお、図6に示した各要素間を接続する線は通信経路の一部を示すものであり、図示した通信経路以外の通信経路も設定可能である。
The
次に、検出割合の算出について説明する。
図7は、人物検出の一例を示す図である。人物検出部120は、カメラ23の撮影範囲に点検者22がいるときにカメラ23が撮影した所定時間の動画の各フレームに対し、人物検出処理を行う。
Next, the calculation of the detection rate will be described.
FIG. 7 is a diagram showing an example of person detection. The
フレーム50−1,50−2,50−3,・・・は、カメラ23が撮影した所定時間の動画のフレームである。人物検出部120は、フレーム50−1,50−2,50−3,・・・を、人物検出モデルに入力して人物検出をする。
The frames 50-1, 50-2, 50-3, ... Are frames of a moving image taken by the
検出フレーム60−1,60−2,60−3,・・・は、フレーム50−1,50−2,50−3,・・・のうち、人物検出モデルによって検出枠が出力されたフレームである。検出枠61−1は、検出フレーム60−1から検出された人物(点検者22)を囲う枠である。左上座標62−1は、検出フレーム60−1における検出枠61−1の左上の位置座標である。 The detection frames 60-1, 60-2, 60-3, ... Are the frames in which the detection frame is output by the person detection model among the frames 50-1, 50-2, 50-3, ... is there. The detection frame 61-1 is a frame that surrounds a person (inspector 22) detected from the detection frame 60-1. The upper left coordinate 62-1 is the upper left position coordinate of the detection frame 61-1 in the detection frame 60-1.
なお、フレーム50−1,50−2,50−3,・・・は、第1の実施の形態に示した撮影画像4a,4b,4c,・・・の一例である。また、検出フレーム60−1,60−2,60−3,・・・は、第1の実施の形態に示した検出画像5a,5b,5c,・・・の一例である。また、検出フレーム60−1,60−2,60−3,・・・の検出枠は、第1の実施の形態に示した、人物3の画像上の範囲の一例である。また、検出フレーム60−1,60−2,60−3,・・・の検出枠のサイズは、第1の実施の形態に示した、人物3の画像上のサイズの一例である。また、検出フレーム60−1,60−2,60−3,・・・の検出枠の左上座標は、第1の実施の形態に示した、人物3の検出位置の一例である。
The frames 50-1, 50-2, 50-3, ... Are examples of the captured
次に、検出割合の算出において除外するフレームについて説明する。
図8は、検出位置に基づくフレームの除外処理の一例を示す図である。人物検出部120は、検出フレーム60−1,60−2,60−3,・・・のうち、検出枠の左上座標のずれが大きい検出フレームを除外して検出割合を算出する。検出フレーム60−2は、人物検出モデルによって検出枠61−2が出力されたフレームである。左上座標62−2は、検出フレーム60−2における検出枠61−2の左上の位置座標である。
Next, the frames to be excluded in the calculation of the detection ratio will be described.
FIG. 8 is a diagram showing an example of frame exclusion processing based on the detection position. The
人物検出部120は、左上座標が検出基準範囲63の範囲外である検出フレームを除外して検出割合を算出する。検出基準範囲63は、検出フレーム60−1,60−2,60−3,・・・のうちのいずれかの左上座標を中心とした所定の範囲であってもよい。また、検出基準範囲63は、検出フレーム60−1,60−2,60−3,・・・それぞれの左上座標の平均の座標を中心とした所定の範囲であってもよい。ここでは一例として、検出基準範囲63は、左上座標62−1から10pixel以内の範囲である。左上座標62−2は、左上座標62−1との距離が10pixelより大きいため、検出基準範囲63の範囲外である。よって、人物検出部120は、検出フレーム60−2を除外して検出割合を算出する。
The
検出枠61−2は、左上座標62−2が他の検出枠の左上座標とのずれが大きいことから、点検者22以外のものを人物として検出したものや、点検者22の一部を検出したもの等であると考えられる。人物以外のものや人物の一部に対して、画像処理による判定がされる場合、誤判定が発生する可能性が高い。人物検出部120は、左上座標が検出基準範囲63の範囲外である(検出枠の位置が不適切である)検出フレームを除外することで、画像処理による判定で誤判定が発生する恐れがある検出フレームを除外できる。
In the detection frame 61-2, since the upper left coordinate 62-2 has a large deviation from the upper left coordinate of other detection frames, a person other than the
図9は、検出サイズに基づくフレームの除外処理の一例を示す図である。人物検出部120は、検出フレーム60−1,60−2,60−3,・・・のうち、検出枠のサイズが過度に小さい検出フレームと検出枠のサイズが過度に大きい検出フレームとを除外して検出割合を算出する。検出フレーム60−3は、人物検出モデルによって検出枠61−3が出力されたフレームである。
FIG. 9 is a diagram showing an example of frame exclusion processing based on the detection size. The
人物検出部120は、検出枠が下限サイズ64a未満または上限サイズ64bより大きい検出フレームを除外して検出割合を算出する。下限サイズ64aは、検出枠のサイズの下限値としてあらかじめ設定されたサイズを示す。下限サイズ64aは、例えば、横30pixel、縦100pixelである。なお、下限サイズ64aは、第1の実施の形態に示した第1のサイズおよび第3のサイズの一例である。上限サイズ64bは、検出枠のサイズの上限値としてあらかじめ設定されたサイズを示す。上限サイズ64bは、例えば、横50pixel、縦150pixelである。なお、上限サイズ64bは、第1の実施の形態に示した第2のサイズおよび第4のサイズの一例である。
The
人物検出部120は、検出枠の横または縦の長さが下限サイズ64a未満の検出フレームを除外する。また、人物検出部120は、検出枠の横または縦の長さが上限サイズ64bより大きい検出フレームを除外する。検出枠61−3は、横および縦の長さが上限サイズ64bより大きい。よって、人物検出部120は、検出フレーム60−3を除外して検出割合を算出する。
The
ここで、過度に小さい検出枠内の人物に対して画像処理による判定がされる場合、誤判定が発生する可能性が高い。また、検出枠が過度に大きい場合、すなわち、フレーム内の人物が過度に大きい場合、移動する人物がカメラ23の撮影範囲を通過する時間が短くなる。すると、移動する人物を写したフレーム数が少なくなる。少ないフレーム数で動画に写る人物に対して画像処理による判定がされる場合、誤判定が発生する可能性が高い。人物検出部120は、検出枠が下限サイズ64a未満または上限サイズ64bより大きい(検出枠のサイズが不適切である)検出フレームを除外することで、画像処理による判定で誤判定が発生する恐れがある検出フレームを除外できる。
Here, when a determination is made by image processing for a person in an excessively small detection frame, there is a high possibility that an erroneous determination will occur. Further, when the detection frame is excessively large, that is, when the person in the frame is excessively large, the time for the moving person to pass through the shooting range of the
図10は、検出範囲に基づくフレームの除外処理の一例を示す図である。人物検出部120は、検出フレーム60−1,60−2,60−3,・・・のうち、検出枠が過度に端に寄っている検出フレームを除外して検出割合を算出する。検出フレーム60−4は、人物検出モデルによって検出枠61−4が出力されたフレームである。
FIG. 10 is a diagram showing an example of frame exclusion processing based on the detection range. The
人物検出部120は、検出枠の少なくとも一部が除外範囲65に含まれる検出フレームを除外して検出割合を算出する。除外範囲65は、検出枠の範囲として不適切な範囲としてあらかじめ設定されたものである。除外範囲65は、例えば、フレームの上下左右の端から10pixelの範囲である。なお、除外範囲65は、第1の実施の形態に示した、第1の除外範囲および第2の除外範囲の一例である。検出枠61−4の一部は、検出フレーム60−4の下の端から10pixelの範囲に含まれる。よって、人物検出部120は、検出フレーム60−4を除外して検出割合を算出する。
The
このように、人物検出部120は、検出枠が過度に端に寄っている検出フレームを除外して検出割合を算出する。検出枠61−4が検出フレーム60−4の下の端に過度に寄っていることから、点検者22の一部(下の部分)が検出フレーム60−4に写っていないことが考えられる。人物の一部に対して、画像処理による判定がされる場合、誤判定が発生する可能性が高い。人物検出部120は、検出枠の少なくとも一部が除外範囲65に含まれる(検出枠の範囲が不適切である)検出フレームを除外することで、画像処理による判定で誤判定が発生する恐れがある検出フレームを除外できる。
In this way, the
上記のように、人物検出部120は、検出枠の位置、サイズまたは範囲が不適切な検出フレームを除外して検出割合を算出する。これにより、人物検出部120は、画像処理による判定に用いるのに好ましい検出フレームの割合を検出割合として算出できる。
As described above, the
次に、点検者22が点検作業を行うときに、タブレット200に表示される案内画面について説明する。
図11は、案内画面の画面遷移の一例を示す図(その1)である。タブレット200の入出力部220は、初期画面として案内画面601をディスプレイ装置204に表示させる。案内画面601は、カメラ23が撮影している動画を含む。また、案内画面601は、「撮影開始」のボタンイメージを含む。なお、以下では画面表示されるボタンイメージを単にボタンということがある。また、案内画面601は、「中央にまっすぐ立ってください」などの、カメラ23が撮影した動画の中央に写る位置(基準位置)で直立するよう点検者22に促すためのメッセージを含む。なお、基準位置は、領域21内である。入出力部220は、「撮影開始」ボタンの押下操作を受け付けると、案内画面602をディスプレイ装置204に表示させる。
Next, the guidance screen displayed on the
FIG. 11 is a diagram (No. 1) showing an example of screen transition of the guidance screen. The input /
案内画面602は、ホストコンピュータ100の人物検出部120による人物検出に用いる動画をカメラ23が撮影中であることを示す画面である。案内画面602は、カメラ23が撮影している動画を含む。また、案内画面602は、「動画撮影します」などの、人物検出に用いる動画をカメラ23が撮影中であることを示すメッセージを含む。撮影された動画についての検出割合が所定の割合以上であるとホストコンピュータ100の判定部150が判定した場合、入出力部220は、案内画面603をディスプレイ装置204に表示させる。
The guidance screen 602 is a screen indicating that the
案内画面603は、案内画面602を表示中にカメラ23が撮影した動画についての検出割合が所定の割合以上であると判定部150が判定したことを点検者22に通知するための画面である。案内画面603は、カメラ23が撮影している動画を含む。また、案内画面603は、「OK」などの、案内画面602を表示中にカメラ23が撮影した動画についての検出割合が所定の割合以上であると判定されたことを示すメッセージを含む。
The guidance screen 603 is a screen for notifying the
図12は、案内画面の画面遷移の一例を示す図(その2)である。入出力部220は、案内画面603をディスプレイ装置204に表示させた後、案内画面604をディスプレイ装置204に表示させる。案内画面604は、基準位置よりもカメラ23から遠い位置に移動して直立するよう点検者22に促すための画面である。
FIG. 12 is a diagram (No. 2) showing an example of screen transition of the guidance screen. The input /
案内画面604は、カメラ23が撮影している動画を含む。また、案内画面604は、「撮影開始」ボタンを含む。また、案内画面604は、「カメラから遠ざかってください」などの、基準位置よりもカメラ23から遠い位置に移動して直立するよう点検者22に促すためのメッセージを含む。入出力部220は、「撮影開始」ボタンの押下操作を受け付けると、案内画面605をディスプレイ装置204に表示させる。
The guidance screen 604 includes a moving image taken by the
案内画面605は、人物検出部120による人物検出に用いる動画をカメラ23が撮影中であることを示す画面である。案内画面605は、カメラ23が撮影している動画を含む。また、案内画面605は、「動画撮影します」などの、人物検出に用いる動画をカメラ23が撮影中であることを示すメッセージを含む。撮影された動画についての検出割合が所定の割合以上であると判定部150が判定した場合、入出力部220は、案内画面606をディスプレイ装置204に表示させる。
The guidance screen 605 is a screen indicating that the
案内画面606は、案内画面605を表示中にカメラ23が撮影した動画についての検出割合が所定の割合以上であると判定部150が判定したことを点検者22に通知するための画面である。案内画面606は、カメラ23が撮影している動画を含む。また、案内画面606は、「OK」などの、案内画面605を表示中にカメラ23が撮影した動画についての検出割合が所定の割合以上であると判定されたことを示すメッセージを含む。
The guidance screen 606 is a screen for notifying the
ここで、ホストコンピュータ100の距離算出部130は、案内画面605を表示中(検出割合が所定の割合以上となった動画の撮影中)に点検者22のいた位置を第1の位置として記録する。例えば、距離算出部130は、3D空間に第1の位置をマッピングする。なお、第1の位置は、領域21内であってもよいし領域21外であってもよい。入出力部220は、記録された第1の位置の案内画面上の位置(すなわち、カメラ23が撮影した動画における位置)を画面表示してもよい。図では、距離算出部130が記録した第1の位置の案内画面上の位置は、黒い点で表される。
Here, the
図13は、案内画面の画面遷移の一例を示す図(その3)である。入出力部220は、案内画面606をディスプレイ装置204に表示させた後、案内画面607をディスプレイ装置204に表示させる。案内画面607は、基準位置よりもカメラ23に近い位置に移動して直立するよう点検者22に促すための画面である。
FIG. 13 is a diagram (No. 3) showing an example of screen transition of the guidance screen. The input /
案内画面607は、カメラ23が撮影している動画を含む。また、案内画面607は、「撮影開始」ボタンを含む。また、案内画面607は、「カメラに近づいてください」などの、基準位置よりもカメラ23に近い位置に移動して直立するよう点検者22に促すためのメッセージを含む。入出力部220は、「撮影開始」ボタンの押下操作を受け付けると、案内画面608をディスプレイ装置204に表示させる。
The guidance screen 607 includes a moving image taken by the
案内画面608は、人物検出部120による人物検出に用いる動画をカメラ23が撮影中であることを示す画面である。案内画面608は、カメラ23が撮影している動画を含む。また、案内画面608は、「動画撮影します」などの、人物検出に用いる動画をカメラ23が撮影中であることを示すメッセージを含む。撮影された動画についての検出割合が所定の割合以上であると判定部150が判定した場合、入出力部220は、案内画面609をディスプレイ装置204に表示させる。
The guidance screen 608 is a screen showing that the
案内画面609は、案内画面608を表示中にカメラ23が撮影した動画についての検出割合が所定の割合以上であると判定部150が判定したことを点検者22に通知するための画面である。案内画面609は、カメラ23が撮影している動画を含む。また、案内画面609は、「OK」などの、案内画面608を表示中にカメラ23が撮影した動画についての検出割合が所定の割合以上であると判定されたことを示すメッセージを含む。
The guidance screen 609 is a screen for notifying the
ここで、ホストコンピュータ100の距離算出部130は、案内画面608を表示中(検出割合が所定の割合以上となった動画の撮影中)に点検者22のいた位置を第2の位置として記録する。例えば、距離算出部130は、3D空間に第2の位置をマッピングする。なお、第2の位置は、領域21内であってもよいし領域21外であってもよい。入出力部220は、記録された第2の位置の案内画面上の位置(すなわち、カメラ23が撮影した動画における位置)を画面表示してもよい。図では、距離算出部130が記録した第2の位置の案内画面上の位置は、黒い点で表される。通路26の第1の位置から第2の位置までの間の経路(第1の位置と第2の位置とを両端とする経路)は、第1の実施の形態に示した、経路の一例である。なお、通路26の第1の位置から第2の位置までの間の経路は、少なくとも一部が領域21に含まれる。
Here, the
図14は、案内画面の画面遷移の一例を示す図(その4)である。入出力部220は、案内画面609をディスプレイ装置204に表示させた後、第1の位置と第2の位置との距離に応じたカメラ23の設置状況の判定結果を示す画面をディスプレイ装置204に表示させる。
FIG. 14 is a diagram (No. 4) showing an example of screen transition of the guidance screen. After displaying the guidance screen 609 on the
距離算出部130は、第1の位置と第2の位置との距離を算出する。距離算出部130は、例えば、第1の位置と第2の位置とをマッピングした3D空間における第1の位置と第2の位置との距離を算出する。判定部150は、第1の位置と第2の位置との距離が適正範囲内(第1の距離以上第2の距離以下)であった場合、カメラ23の設置状況が領域21を撮影するのに適していると判定し、判定結果をタブレット200に通知する。
The
ここで適正範囲は、動画に写る人物に対して画像処理による判定がされる場合に人物が動画に写っている時間の好適な範囲(第1の時間以上第2の時間以下)と動画に写る人物の移動速度とを基にあらかじめ設定される。一例として、第1の距離は、第2の実施の形態の情報処理システムが設置された施設内を人物が歩く平均速度に、第1の時間を掛けたものである。また、第2の距離は、第2の実施の形態の情報処理システムが設置された施設内を人物が歩く平均速度に、第2の時間を掛けたものである。 Here, the appropriate range is a suitable range (first time or more and second time or less) of the time when the person appears in the moving image when the person appearing in the moving image is judged by image processing, and the person appears in the moving image. It is preset based on the moving speed of the person. As an example, the first distance is the average speed at which a person walks in the facility where the information processing system of the second embodiment is installed, multiplied by the first time. The second distance is the average speed at which a person walks in the facility in which the information processing system of the second embodiment is installed, multiplied by the second time.
また、判定部150は、第1の位置と第2の位置との距離が適正範囲外であった場合(第1の位置と第2の位置との距離が第1の距離未満または第2の距離より大きい場合)、カメラ23のズームの設定が領域21を撮影するのに適していないと判定する。そして、ホストコンピュータ100のカメラ設定部160は、カメラ23のズームの設定を変更する。
Further, the
入出力部220は、判定部150がカメラ23の設置状況が領域21を撮影するのに適していると判定した場合、案内画面610をディスプレイ装置204に表示させる。案内画面610は、カメラ23の設置状況が領域21を撮影するのに適していると判定されたことを点検者22に通知するための画面である。案内画面610は、カメラ23が撮影している動画を含む。また、案内画面610は、「OK」などの、カメラ23の設置状況が領域21を撮影するのに適していると判定されたことを示すメッセージを含む。
The input /
また、入出力部220は、判定部150がカメラ23のズームの設定が領域21を撮影するのに適していないと判定した場合、案内画面611をディスプレイ装置204に表示させる。案内画面611は、カメラ23のズームの設定を変更することを点検者22に通知するための画面である。案内画面611は、カメラ23が撮影している動画を含む。また、案内画面611は、「ズームの調整をします」などの、カメラ23のズームの設定を変更することを示すメッセージを含む。
Further, when the
図15は、案内画面の画面遷移の一例を示す図(その5)である。入出力部220は、点検者22が基準位置にいる(案内画面602が表示されている)ときに撮影された動画についての検出割合が所定の割合未満であると判定された場合、カメラ23の設置状況が変更されることを示す画面をディスプレイ装置204に表示させる。
FIG. 15 is a diagram (No. 5) showing an example of screen transition of the guidance screen. When the input /
判定部150は、点検者22が基準位置にいるときに撮影された動画についての検出割合が所定の割合未満であると判定した場合、検出割合の算出において検出枠のサイズまたは範囲が不適切であるとして除外されたフレームがあるか否かを判定する。判定部150は、検出割合の算出において検出枠のサイズが不適切であるとして除外されたフレームがあった場合、カメラ23のズームの設定が領域21を撮影するのに適していないと判定する。そして、カメラ設定部160は、カメラ23のズームの設定を変更する。
When the
また、判定部150は、検出割合の算出において検出枠の範囲が不適切であるとして除外されたフレームがあった場合、カメラ23の撮影方向の設定が領域21を撮影するのに適していないと判定する。そして、カメラ設定部160は、カメラ23の撮影方向の設定(カメラ23の向き)を変更する。また、検出割合の算出において検出枠のサイズまたは範囲が不適切であるとして除外されたフレームがなかった(検出枠のサイズと範囲は適切であった)場合、傾き補正部140は、カメラ23が撮影する動画の傾きの補正値を算出する。
Further, when the
入出力部220は、判定部150がカメラ23のズームの設定が領域21を撮影するのに適していないと判定した場合、案内画面612をディスプレイ装置204に表示させる。案内画面612は、カメラ23のズームの設定が変更されることを点検者22に通知するための画面である。案内画面612は、カメラ23が撮影している動画を含む。また、案内画面612は、「ズームの調整をします」などの、カメラ23のズームの設定を変更することを示すメッセージを含む。
When the
また、入出力部220は、判定部150がカメラ23の撮影範囲の設定が領域21を撮影するのに適していないと判定した場合、案内画面613をディスプレイ装置204に表示させる。案内画面613は、カメラ23の向きが変更されることを点検者22に通知するための画面である。案内画面613は、カメラ23が撮影している動画を含む。また、案内画面613は、「カメラの向きの調整をします」などの、カメラ23の向きを変更することを示すメッセージを含む。
Further, when the
また、入出力部220は、傾き補正部140が傾きの補正値を算出する場合、案内画面614をディスプレイ装置204に表示させる。案内画面614は、傾きの補正をすることを点検者22に通知するための画面である。案内画面614は、カメラ23が撮影している動画を含む。また、案内画面614は、「再度確認中です」などの、カメラ23が撮影する動画の傾きの補正値を算出していることを示すメッセージを含む。
Further, the input /
図16は、案内画面の画面遷移の一例を示す図(その6)である。入出力部220は、傾きを補正した動画についての検出割合が所定の割合未満と判定された場合、カメラ23の設置位置の変更を点検者22に促す画面をディスプレイ装置204に表示させる。
FIG. 16 is a diagram (No. 6) showing an example of screen transition of the guidance screen. When it is determined that the detection ratio of the tilt-corrected moving image is less than the predetermined ratio, the input /
傾き補正部140は、傾きの補正値を用いて、点検者22が基準位置にいるときに撮影された動画を補正する。人物検出部120は、傾き補正部140が補正した動画についての検出割合を算出する。判定部150は、補正した動画についての検出割合が所定の割合未満の場合、カメラ23の設置位置が領域21を撮影するのに適していないと判定し、判定結果をタブレット200に通知する。
The
入出力部220は、判定部150がカメラ23の設置位置が領域21を撮影するのに適していないと判定した場合、案内画面615をディスプレイ装置204に表示させる。案内画面615は、カメラ23の設置位置の変更を点検者22に促す画面である。案内画面615は、カメラ23が撮影している動画を含む。また、案内画面615は、「今の環境では適切な検出ができないため、カメラの設置位置から再度検討してください」などの、カメラ23の設置位置の変更を点検者22に促すためのメッセージを含む。
When the
このように、入出力部220は、図11〜図16に示した案内画面をディスプレイ装置204に表示させることで、点検者22のカメラ23の点検作業を支援できる。入出力部220は、案内画面601を表示することによって、基準位置に直立するよう点検者22に促す。これにより、入出力部220は、点検者22が領域21内にいる動画をカメラ23に撮影させることができる。
In this way, the input /
また、入出力部220は、案内画面604を表示することによって、カメラ23から遠ざかるよう点検者22に促す。これにより、入出力部220は、点検者22が基準位置よりカメラ23から遠い第1の位置にいる動画をカメラ23に撮影させることができる。また、入出力部220は、案内画面607を表示することによって、カメラ23に近づくよう点検者22に促す。これにより、入出力部220は、点検者22が基準位置よりカメラ23に近い第2の位置にいる動画をカメラ23に撮影させることができる。
Further, the input /
また、入出力部220は、判定部150による判定結果をディスプレイ装置204に表示させる。判定部150は、カメラ23の設置状況が領域21を撮影するのに適していると判定した場合、判定結果をタブレット200に通知する。すると、入出力部220は、案内画面610をディスプレイ装置204に表示させる。これにより、判定部150は、カメラ23の設置状況が適切であることを点検者22に通知できる。また、判定部150は、カメラ23の設置位置が領域21を撮影するのに適していないと判定した場合、判定結果をタブレット200に通知する。すると、入出力部220は、案内画面615を、ディスプレイ装置204に表示させる。これにより、判定部150は、カメラ23の設置位置の変更を点検者22に促すことができる。
Further, the input /
次に、第1の位置と第2の位置との距離の算出について説明する。
図17は、3次元空間へのマッピングの一例を示す図である。3D空間70は、第2の実施の形態の情報処理システムが設置された施設内の人物や物体の位置関係を表すための座標系である。3D空間70は、x軸、y軸およびz軸を有する。3D空間70におけるz軸は、実空間における鉛直方向を示す。また、3D空間70におけるz=0のxy平面は、実空間における床や地面を示す。3D空間70には、カメラ23の位置を示すカメラ位置70aがあらかじめマッピングされる。カメラ位置70aは、(xc,yc,zc)で示される。なお、3D空間70には、第2の実施の形態の情報処理システムが設置された施設内にあるカメラ23以外のものの位置もマッピングされていてもよい。距離算出部130は、3D空間70における第1の位置と第2の位置との距離を算出する。
Next, the calculation of the distance between the first position and the second position will be described.
FIG. 17 is a diagram showing an example of mapping to a three-dimensional space. The 3D space 70 is a coordinate system for representing the positional relationship of a person or an object in the facility in which the information processing system of the second embodiment is installed. The 3D space 70 has an x-axis, a y-axis, and a z-axis. The z-axis in the 3D space 70 indicates the vertical direction in the real space. Further, the xy plane of z = 0 in the 3D space 70 indicates the floor or the ground in the real space. A camera position 70a indicating the position of the
距離算出部130は、点検者22が第1の位置にいるときにカメラ23が撮影した動画を基に、第1の位置を示す位置71を3D空間70にマッピングする。位置71は、(xp1,yp1,0)で示される。例えば、距離算出部130は、第1の位置にいる点検者22の足元のカメラ23との相対的な位置をカメラ23が撮影した動画を基に算出する。そして、距離算出部130は、点検者22の足元のカメラ23との相対的な位置とカメラ位置70aとに基づいて、位置71を3D空間70にマッピングする。
The
また、距離算出部130は、点検者22が第2の位置にいるときにカメラ23が撮影した動画を基に、第2の位置を示す位置72を3D空間70にマッピングする。位置72は、(xp2,yp2,0)で示される。例えば、距離算出部130は、第2の位置にいる点検者22の足元のカメラ23との相対的な位置をカメラ23が撮影した動画を基に算出する。そして、距離算出部130は、点検者22の足元のカメラ23との相対的な位置とカメラ位置70aとに基づいて、位置72を3D空間70にマッピングする。そして、距離算出部130は、位置71と位置72との距離((xp1−xp2)2+(yp1−yp2)2)1/2を算出する。
Further, the
次に、カメラ23が撮影した動画の傾きの補正について説明する。
図18は、傾き補正の一例を示す図である。傾き補正部140は、動画の各フレーム(例えば、フレーム50−1,50−2,50−3,・・・)の傾きを動画に写った点検者22の傾きに基づいて補正する。
Next, the correction of the inclination of the moving image captured by the
FIG. 18 is a diagram showing an example of tilt correction. The
傾き補正部140は、検出フレーム60−1で検出された点検者22の骨格66を検出する。例えば、傾き補正部140は、検出枠61−1内から点検者22の体の各部位を検出し、検出した各部位をつないだ骨格66を特定する。検出される体の各部位は、例えば、頭、右目、左目、右耳、鼻、左耳、首、右肩、肩中央、左肩、右肘、背骨、左肘、右手首、左手首、右手、左手、右親指、左親指、右手先、左手先、右腰、腰中央、左腰、右膝、左膝、右足首、左足首、右足、左足などである。
The
傾き補正部140は、骨格66から点検者22の傾き具合を示す軸66aを算出する。軸66aは、例えば、骨格66に含まれる頭と腰中央とを通る直線である。傾き補正部140は、軸66aの基準軸67に対する傾きを基に補正値θを算出する。基準軸67は、検出フレーム60−1の縦方向を示す軸である。傾き補正部140は、軸66aと基準軸67とがなす角を補正値θとして算出する。
The
傾き補正部140は、補正値θによって、フレーム50−1,50−2,50−3,・・・の傾きを補正した補正後フレーム80−1,80−2,80−3,・・・を生成する。補正後フレーム80−1,80−2,80−3,・・・は、フレーム50−1,50−2,50−3,・・・をθだけ回転させたフレームである。なお、補正後フレーム80−1,80−2,80−3,・・・は、第1の実施の形態に示した、複数の補正後撮影画像の一例である。
The
上記の例では、傾き補正部140は、検出フレーム60−1を基に補正値θを算出していたが、検出フレーム60−1,60−2,60−3,・・・を基に補正値θを算出してもよい。例えば、傾き補正部140は、検出フレーム60−1,60−2,60−3,・・・それぞれから点検者22の傾きを算出し、算出した傾きの平均値を補正値θとして算出してもよい。
In the above example, the
以下、ホストコンピュータ100による検出割合算出処理の手順について、詳細に説明する。
図19は、検出割合算出処理の手順の一例を示すフローチャートである。図19に示す処理は、動画(ここでは、フレーム50−1,50−2,50−3,・・・)を入力として実行される。以下、図19に示す処理をステップ番号に沿って説明する。
Hereinafter, the procedure of the detection rate calculation process by the
FIG. 19 is a flowchart showing an example of the procedure of the detection ratio calculation process. The process shown in FIG. 19 is executed by inputting moving images (here, frames 50-1, 50-2, 50-3, ...). Hereinafter, the process shown in FIG. 19 will be described along with the step numbers.
[ステップS11]人物検出部120は、フレーム50−1,50−2,50−3,・・・それぞれから点検者22を検出する。例えば、人物検出部120は、フレーム50−1,50−2,50−3,・・・を人物検出モデルに入力する。そして、人物検出部120は、フレーム50−1,50−2,50−3,・・・のうち、検出枠が出力されたフレームを検出フレーム60−1,60−2,60−3,・・・とする。
[Step S11] The
[ステップS12]人物検出部120は、検出フレーム60−1,60−2,60−3,・・・それぞれの検出枠の左上座標を特定する。人物検出部120は、検出フレーム60−1,60−2,60−3,・・・のうち、左上座標が検出基準範囲63の範囲外であるフレームを除外する。
[Step S12] The
[ステップS13]人物検出部120は、検出フレーム60−1,60−2,60−3,・・・のうち、検出枠が下限サイズ64a未満または上限サイズ64bより大きいフレームを除外する。
[Step S13] The
[ステップS14]人物検出部120は、検出フレーム60−1,60−2,60−3,・・・のうち、検出枠の一部が除外範囲65に含まれるフレームを除外する。
[ステップS15]人物検出部120は、(検出フレーム数)/(全フレーム数)を検出割合として算出する。人物検出部120は、検出フレーム60−1,60−2,60−3,・・・のうち、ステップS12〜S14で除外されなかったフレームの数を検出フレーム数とする。また、人物検出部120は、フレーム50−1,50−2,50−3,・・・の数を全フレーム数とする。
[Step S14] Among the detection frames 60-1, 60-2, 60-3, ..., The
[Step S15] The
このように、人物検出部120は、動画の各フレームから点検者22を検出する。そして、人物検出部120は、検出枠の位置、サイズまたは範囲が不適切な検出フレームを除外して検出割合を算出する。これにより、人物検出部120は、画像処理による判定に用いるのに好ましい検出フレームの割合を検出割合として算出できる。
In this way, the
以下、ホストコンピュータ100およびタブレット200による設置状況判定処理の手順について、詳細に説明する。
図20は、設置状況判定処理の手順の一例を示すフローチャート(その1)である。以下、図20に示す処理をステップ番号に沿って説明する。
Hereinafter, the procedure of the installation status determination process by the
FIG. 20 is a flowchart (No. 1) showing an example of the procedure for the installation status determination process. Hereinafter, the process shown in FIG. 20 will be described along with the step numbers.
[ステップS21]タブレット200の入出力部220は、初期画面として案内画面601をディスプレイ装置204に表示させる。
[ステップS22]入出力部220は、案内画面601の「撮影開始」ボタンの押下を受け付ける。入出力部220は、カメラ23に所定時間(例えば、5秒間)の動画撮影を開始させる。入出力部220は、案内画面602をディスプレイ装置204に表示させる。
[Step S21] The input /
[Step S22] The input /
[ステップS23]ホストコンピュータ100の人物検出部120は、ステップS22でカメラ23が撮影した動画を取得する。
[ステップS24]人物検出部120は、ステップS23で取得した動画を入力として、図19に示した検出割合算出処理を実行する。
[Step S23] The
[Step S24] The
[ステップS25]ホストコンピュータ100の判定部150は、ステップS24で算出された検出割合が所定の割合(例えば、9割)以上であるか否かを判定する。判定部150は、ステップS24で算出された検出割合が所定の割合以上であると判定した場合、処理をステップS26に進める。また、判定部150は、ステップS24で算出された検出割合が所定の割合未満であると判定した場合、処理をステップS52に進める。
[Step S25] The
[ステップS26]入出力部220は、ステップS24で算出された検出割合が所定の割合以上であること(検出成功)を通知するための画面をディスプレイ装置204に表示させる。例えば、入出力部220は、案内画面603をディスプレイ装置204に表示させる。
[Step S26] The input /
[ステップS27]入出力部220は、カメラ23から遠ざかるよう点検者22に促すための画面をディスプレイ装置204に表示させる。例えば、入出力部220は、案内画面604をディスプレイ装置204に表示させる。
[Step S27] The input /
[ステップS28]入出力部220は、案内画面604の「撮影開始」ボタンの押下を受け付ける。入出力部220は、カメラ23に所定時間の動画撮影を開始させる。入出力部220は、案内画面605をディスプレイ装置204に表示させる。
[Step S28] The input /
[ステップS29]人物検出部120は、ステップS28でカメラ23が撮影した動画を取得する。
[ステップS30]人物検出部120は、ステップS29で取得した動画を入力として、図19に示した検出割合算出処理を実行する。
[Step S29] The
[Step S30] The
[ステップS31]判定部150は、ステップS30で算出された検出割合が所定の割合以上であるか否かを判定する。判定部150は、ステップS30で算出された検出割合が所定の割合以上であると判定した場合、処理をステップS33に進める。また、判定部150は、ステップS30で算出された検出割合が所定の割合未満であると判定した場合、処理をステップS32に進める。
[Step S31] The
[ステップS32]入出力部220は、カメラ23に近づくよう点検者22に促すための画面をディスプレイ装置204に表示させる。そして、処理がステップS28に進む。
図21は、設置状況判定処理の手順の一例を示すフローチャート(その2)である。以下、図21に示す処理をステップ番号に沿って説明する。
[Step S32] The input /
FIG. 21 is a flowchart (No. 2) showing an example of the procedure for the installation status determination process. Hereinafter, the process shown in FIG. 21 will be described along with the step numbers.
[ステップS33]距離算出部130は、第1の位置を記録する。例えば、距離算出部130は、ステップS29で取得した動画を基に、点検者22の位置を位置71として3D空間70にマッピングする。
[Step S33] The
[ステップS34]入出力部220は、ステップS30で算出された検出割合が所定の割合以上であること(検出成功)を通知するための画面をディスプレイ装置204に表示させる。例えば、入出力部220は、案内画面606をディスプレイ装置204に表示させる。
[Step S34] The input /
[ステップS35]入出力部220は、カメラ23に近づくよう点検者22に促すための画面をディスプレイ装置204に表示させる。例えば、入出力部220は、案内画面607をディスプレイ装置204に表示させる。
[Step S35] The input /
[ステップS36]入出力部220は、案内画面607の「撮影開始」ボタンの押下を受け付ける。入出力部220は、カメラ23に所定時間の動画撮影を開始させる。入出力部220は、案内画面608をディスプレイ装置204に表示させる。
[Step S36] The input /
[ステップS37]人物検出部120は、ステップS36でカメラ23が撮影した動画を取得する。
[ステップS38]人物検出部120は、ステップS37で取得した動画を入力として、図19に示した検出割合算出処理を実行する。
[Step S37] The
[Step S38] The
[ステップS39]判定部150は、ステップS38で算出された検出割合が所定の割合以上であるか否かを判定する。判定部150は、ステップS38で算出された検出割合が所定の割合以上であると判定した場合、処理をステップS41に進める。また、判定部150は、ステップS38で算出された検出割合が所定の割合未満であると判定した場合、処理をステップS40に進める。
[Step S39] The
[ステップS40]入出力部220は、カメラ23から遠ざかるよう点検者22に促すための画面をディスプレイ装置204に表示させる。そして、処理がステップS36に進む。
[Step S40] The input /
[ステップS41]距離算出部130は、第2の位置を記録する。例えば、距離算出部130は、ステップS37で取得した動画を基に、点検者22の位置を位置72として3D空間70にマッピングする。
[Step S41] The
[ステップS42]入出力部220は、ステップS38で算出された検出割合が所定の割合以上であること(検出成功)を通知するための画面をディスプレイ装置204に表示させる。例えば、入出力部220は、案内画面609をディスプレイ装置204に表示させる。
[Step S42] The input /
[ステップS43]距離算出部130は、第1の位置と第2の位置との距離を算出する。例えば、距離算出部130は、位置71と位置72との3D空間70における距離を第1の位置と第2の位置との距離として算出する。
[Step S43] The
図22は、設置状況判定処理の手順の一例を示すフローチャート(その3)である。以下、図22に示す処理をステップ番号に沿って説明する。
[ステップS44]判定部150は、第1の位置と第2の位置との距離が適正範囲内(第1の距離以上かつ第2の距離以下)であるか否かを判定する。判定部150は、第1の位置と第2の位置との距離が第1の距離以上かつ第2の距離以下であると判定した場合、処理をステップS45に進める。また、判定部150は、第1の位置と第2の位置との距離が第1の距離未満または第2の距離より大きいと判定した場合、処理をステップS47に進める。
FIG. 22 is a flowchart (No. 3) showing an example of the procedure for the installation status determination process. Hereinafter, the process shown in FIG. 22 will be described along with the step numbers.
[Step S44] The
[ステップS45]判定部150は、カメラ23の設置状況が領域21を撮影するのに適している(カメラ23の設置状況が適切)と判定する。判定部150は、カメラ23の設置状況が適切であるという判定結果をタブレット200に通知し、タブレット200に判定結果を表示させる。
[Step S45] The
[ステップS46]入出力部220は、カメラ23の設置状況が適切と通知するための画面をディスプレイ装置204に表示させる。例えば、入出力部220は、案内画面610をディスプレイ装置204に表示させる。そして、処理が終了する。
[Step S46] The input /
[ステップS47]判定部150は、カメラ23のズームの設定が領域21を撮影するのに適していない(カメラ23のズームの設定が不適切)と判定する。
[ステップS48]入出力部220は、カメラ23のズーム設定の変更を通知するための画面をディスプレイ装置204に表示させる。例えば、入出力部220は、案内画面611をディスプレイ装置204に表示させる。
[Step S47] The
[Step S48] The input /
[ステップS49]入出力部220は、第1の位置と第2の位置との距離が適正範囲より大きいか否か(第2の距離より大きいか第1の距離未満か)を判定する。判定部150は、第1の位置と第2の位置との距離が第2の距離より大きいと判定した場合、処理をステップS50に進める。また、判定部150は、第1の位置と第2の位置との距離が第1の距離未満と判定した場合、処理をステップS51に進める。
[Step S49] The input /
[ステップS50]ホストコンピュータ100のカメラ設定部160は、カメラ23が所定値だけズームインするように設定する。そして、処理がステップS21に進む。
[ステップS51]カメラ設定部160は、カメラ23が所定値だけズームアウトするように設定する。そして、処理がステップS21に進む。
[Step S50] The
[Step S51] The
図23は、設置状況判定処理の手順の一例を示すフローチャート(その4)である。以下、図23に示す処理をステップ番号に沿って説明する。
[ステップS52]判定部150は、カメラ23の設置状況が領域21を撮影するのに適していない(カメラ23の設置状況が不適切)と判定する。
FIG. 23 is a flowchart (No. 4) showing an example of the procedure of the installation status determination process. Hereinafter, the process shown in FIG. 23 will be described along with the step numbers.
[Step S52] The
[ステップS53]判定部150は、繰り返し回数が所定回数(例えば、5回)以内であるか否かを判定する。判定部150は、繰り返し回数が所定回数以内と判定した場合、処理をステップS54に進める。また、判定部150は、繰り返し回数が所定回数より多いと判定した場合、処理をステップS69に進める。
[Step S53] The
[ステップS54]判定部150は、ステップS24で行われた検出割合算出処理において、サイズが不適切な検出枠があったか否かを判定する。すなわち、判定部150は、ステップS24で行われた検出割合算出処理において、検出枠が下限サイズ64a未満または上限サイズ64bより大きいため除外されたフレームがあったか否かを判定する。判定部150は、ステップS24で行われた検出割合算出処理において、サイズが不適切な検出枠があったと判定した場合、処理をステップS55に進める。また、判定部150は、ステップS24で行われた検出割合算出処理において、サイズが不適切な検出枠がなかったと判定した場合、処理をステップS58に進める。
[Step S54] The
[ステップS55]判定部150は、カメラ23のズームの設定が領域21を撮影するのに適していない(カメラ23のズームの設定が不適切)と判定する。
[ステップS56]入出力部220は、カメラ23のズーム設定の変更を通知するための画面をディスプレイ装置204に表示させる。例えば、入出力部220は、案内画面612をディスプレイ装置204に表示させる。
[Step S55] The
[Step S56] The input /
[ステップS57]カメラ設定部160は、カメラ23のズームの設定を変更する。例えば、カメラ設定部160は、ステップS23で撮影した動画を基に点検者22の位置を3D空間70にマッピングする。そして、カメラ設定部160は、カメラ位置70aから3D空間70にマッピングされた点検者22の位置の人物をカメラ23が撮影した場合に、下限サイズ64a以上かつ上限サイズ64b以下のサイズで人物が撮影画像に写るズームの値を算出する。そして、カメラ設定部160は、算出した値にカメラ23のズームの設定を変更する。
[Step S57] The
また、例えば、カメラ設定部160は、ステップS24で行われた検出割合算出処理において、検出枠が下限サイズ64a未満のため除外されたフレームがあった場合、カメラ23が所定値だけズームインするように設定する。カメラ設定部160は、ステップS24で行われた検出割合算出処理において、検出枠が上限サイズ64bより大きいため除外されたフレームがあった場合、カメラ23が所定値だけズームアウトするように設定する。
Further, for example, in the detection ratio calculation process performed in step S24, the
[ステップS58]判定部150は、ステップS24で行われた検出割合算出処理において、範囲が不適切な検出枠があったか否かを判定する。すなわち、判定部150は、ステップS24で行われた検出割合算出処理において、検出枠の少なくとも一部が除外範囲65に含まれるため除外されたフレームがあったか否かを判定する。判定部150は、ステップS24で行われた検出割合算出処理において、範囲が不適切な検出枠があったと判定した場合、処理をステップS59に進める。また、判定部150は、ステップS24で行われた検出割合算出処理において、範囲が不適切な検出枠がなかったと判定した場合、処理をステップS62に進める。
[Step S58] The
[ステップS59]判定部150は、カメラ23の撮影方向の設定が領域21を撮影するのに適していない(カメラ23の撮影方向の設定が不適切)と判定する。
[ステップS60]入出力部220は、カメラ23の向きの変更を通知するための画面をディスプレイ装置204に表示させる。例えば、入出力部220は、案内画面613をディスプレイ装置204に表示させる。
[Step S59] The
[Step S60] The input /
[ステップS61]カメラ設定部160は、カメラ23の向きを変更する。例えば、カメラ設定部160は、ステップS23で撮影した動画を基に点検者22の位置を3D空間70にマッピングする。そして、カメラ設定部160は、カメラ位置70aから3D空間70にマッピングされた点検者22の位置の人物をカメラ23が撮影した場合に、撮影画像の中央に人物が写るカメラ23の向きを算出する。そして、カメラ設定部160は、算出した向きになるようカメラ23を水平回転させる。
[Step S61] The
また、例えば、カメラ設定部160は、ステップS24で行われた検出割合算出処理において、検出枠が検出フレームの左端から10pixelの範囲に含まれるため除外されたフレームがあった場合、カメラ23が左方向を向くように所定値だけ回転させる。カメラ設定部160は、ステップS24で行われた検出割合算出処理において、検出枠が検出フレームの右端から10pixelの範囲に含まれるため除外されたフレームがあった場合、カメラ23が右方向を向くように所定値だけ回転させる。
Further, for example, in the detection ratio calculation process performed in step S24, the
図24は、設置状況判定処理の手順の一例を示すフローチャート(その5)である。以下、図24に示す処理をステップ番号に沿って説明する。
[ステップS62]判定部150は、ステップS24で行われた検出割合算出処理において、検出枠のサイズと範囲とが適切であったか否かを判定する。判定部150は、ステップS24で行われた検出割合算出処理において、サイズが不適切な検出枠と範囲が不適切な検出枠とがなかった場合、ステップS24で行われた検出割合算出処理において、検出枠のサイズと範囲とが適切であったと判定する。判定部150は、ステップS24で行われた検出割合算出処理において、検出枠のサイズと範囲とが適切であったと判定した場合、処理をステップS63に進める。また、判定部150は、ステップS24で行われた検出割合算出処理において、検出枠のサイズと範囲とが適切でなかったと判定した場合、処理をステップS21に進める。
FIG. 24 is a flowchart (No. 5) showing an example of the procedure of the installation status determination process. Hereinafter, the process shown in FIG. 24 will be described along with the step numbers.
[Step S62] The
[ステップS63]傾き補正部140は、ステップS23で撮影された動画(例えば、フレーム50−1,50−2,50−3,・・・)に対する検出フレームのうちの1つ(例えば、検出フレーム60−1)から点検者22の骨格66を検出する。
[Step S63] The
[ステップS64]傾き補正部140は、傾きの補正値θを算出する。例えば、傾き補正部140は、ステップS63で検出した骨格66から軸66aを算出する。そして、傾き補正部140は、軸66aと基準軸67とがなす角を補正値θとして算出する。
[Step S64] The
[ステップS65]傾き補正部140は、ステップS23で撮影された動画の傾きを補正値θで補正する。例えば、傾き補正部140は、フレーム50−1,50−2,50−3,・・・をθだけ回転させて、補正後フレーム80−1,80−2,80−3,・・・を生成する。
[Step S65] The
[ステップS66]人物検出部120は、補正後フレーム80−1,80−2,80−3,・・・を入力として、図19に示した検出割合算出処理を実行する。ステップS66で算出される検出割合は、第1の実施の形態に示した、複数の補正後撮影画像に対する1以上の補正後検出画像の割合の一例である。
[Step S66] The
[ステップS67]判定部150は、ステップS66で算出された検出割合が所定の割合以上であるか否かを判定する。判定部150は、ステップS66で算出された検出割合が所定の割合以上であると判定した場合、処理をステップS68に進める。また、判定部150は、ステップS66で算出された検出割合が所定の割合未満であると判定した場合、処理をステップS69に進める。
[Step S67] The
[ステップS68]カメラ設定部160は、カメラ23に補正値θを設定する。例えば、カメラ設定部160は、ホストコンピュータ100がカメラ23から取得するフレームをθだけ回転するように設定する。そして、処理がステップS27に進む。
[Step S68] The
[ステップS69]判定部150は、カメラ23の設置位置が領域21を撮影するのに適していない(カメラ23の設置位置が不適切)と判定する。判定部150は、カメラ23の設置位置が不適切であるという判定結果をタブレット200に通知し、タブレット200に判定結果を表示させる。
[Step S69] The
[ステップS70]入出力部220は、カメラ23の設置位置が不適切と通知するための画面をディスプレイ装置204に表示させる。例えば、入出力部220は、案内画面615をディスプレイ装置204に表示させる。
[Step S70] The input /
上記のように、設置状況判定処理が実行される。人物検出部120は、点検者22が基準位置にいるときに撮影された動画の検出割合を算出する。判定部150は、算出された検出割合が所定の割合以上であるか否かを判定する。
As described above, the installation status determination process is executed. The
算出された検出割合が所定の割合以上であると判定された場合、判定部150は、第1の位置と第2の位置との距離が適正範囲内であるか否かを判定する。第1の位置と第2の位置との距離が適正範囲内であると判定された場合、判定部150は、カメラ23の設置状況が適切であると判定し、判定結果をタブレット200に表示させる。これにより、判定部150は、移動する人物がカメラ23が撮影する動画に写る時間が適切である場合に、カメラ23の設置状況を変更しないよう点検者22に促すことができる。また、第1の位置と第2の位置との距離が適正範囲外であると判定された場合、第1の位置と第2の位置との距離に応じて、カメラ設定部160は、カメラ23をズームインまたはズームアウトするよう設定する。これにより、カメラ設定部160は、カメラ23のズームの設定を適切に変更できる。
When it is determined that the calculated detection ratio is equal to or greater than a predetermined ratio, the
また、点検者22が基準位置にいるときに撮影された動画の検出割合が所定の割合未満であると判定された場合、判定部150は、サイズまたは範囲が不適切な検出枠があるか否かを判定する。カメラ設定部160は、サイズが不適切な検出枠があった場合、カメラ23のズームの設定を変更する。これにより、カメラ設定部160は、カメラ23のズームの設定を適切に変更できる。また、カメラ設定部160は、範囲が不適切な検出枠があった場合、カメラ23の向きを変更する。これにより、カメラ設定部160は、カメラ23の向きを適切に変更できる。
Further, when it is determined that the detection ratio of the moving image taken when the
また、傾き補正部140は、点検者22が基準位置にいるときに撮影された動画の傾きを補正する。人物検出部120は、傾きが補正された動画の検出割合を算出する。そして、判定部150は、傾きが補正された動画の検出割合が所定の割合以上であるか否かを判定する。判定部150は、傾きが補正された動画の検出割合が所定の割合未満であると判定した場合、カメラ23の設置位置が不適切であると判定し、判定結果をタブレット200に表示させる。これにより、判定部150は、カメラ23が撮影する動画の傾きを補正しても点検者22を適切に検出できない場合に、カメラ23の設置位置を変更するよう点検者22に促すことができる。
In addition, the
第2の実施の形態によれば、人物検出部120は、フレーム50−1,50−2,50−3,・・・それぞれから領域21内にいる点検者22を検出する。そして、判定部150は、検出割合が所定の割合以上であるか否かに基づいて、カメラ23の設置状況が領域21を撮影するのに適しているか否かを判定する。これにより、ホストコンピュータ100は、検出割合に応じてカメラ23の設置状況をユーザに見直させることができる。よって、ホストコンピュータ100は、画像処理に有用な画像をカメラ23に撮影させることができる。
According to the second embodiment, the
また、人物検出部120は、検出フレーム60−1,60−2,60−3,・・・それぞれについて、検出枠の左上座標を特定する。そして、人物検出部120は、検出フレーム60−1,60−2,60−3,・・・のうち検出枠の左上座標が検出基準範囲63の範囲外である検出フレームを検出フレーム60−1,60−2,60−3,・・・から除外して、検出割合を算出する。これにより、ホストコンピュータ100は、適切に点検者22を検出できた割合を検出割合として算出することができる。
Further, the
また、人物検出部120は、検出フレーム60−1,60−2,60−3,・・・のうち検出枠が下限サイズ64a未満または上限サイズ64bより大きい検出フレームを検出フレーム60−1,60−2,60−3,・・・から除外して、検出割合を算出する。これにより、ホストコンピュータ100は、適切なサイズで点検者22を検出できた割合を算出することができる。
Further, the
また、人物検出部120は、検出フレーム60−1,60−2,60−3,・・・のうち検出枠の少なくとも一部が除外範囲65に含まれる検出フレームを検出フレーム60−1,60−2,60−3,・・・から除外して、検出割合を算出する。これにより、ホストコンピュータ100は、フレーム上の適切な範囲で点検者22を検出できた割合を算出することができる。
Further, the
また、判定部150は、検出割合が所定の割合以上であるか否かの判定を、点検者22が撮影範囲内の複数の位置それぞれにいるときに、カメラ23が撮影範囲を撮影した動画について実行する。そして、判定部150は、複数の位置のうち、検出割合が所定の割合以上となる第1の位置と第2の位置との距離に基づいて、カメラ23の設置状況が領域21を撮影するのに適しているか否かを判定する。これにより、ホストコンピュータ100は、カメラ23が撮影する動画に移動する人物が写る場合に、当該人物が検出される時間に基づいてカメラ23の設置状況を判定できる。
Further, the
また、判定部150は、第1の位置と第2の位置との距離が、第1の距離以上かつ第2の距離以下である場合、カメラ23の設置状況が領域21を撮影するのに適していると判定する。また、判定部150は、第1の位置と第2の位置との距離が第1の距離未満である場合または第1の位置と第2の位置との距離が第2の距離より大きい場合、カメラ23のズームの設定が領域21を撮影するのに適していないと判定する。これにより、ホストコンピュータ100は、カメラ23が撮影する動画に写る移動する人物が検出される時間が適切である場合に、カメラ23の設置状況を変更しないよう点検者22に促すことができる。また、ホストコンピュータ100は、カメラ23が撮影する動画に写る移動する人物が検出される時間が適切でない場合に、カメラ23のズームの設定を点検者22に見直させることができる。
Further, when the distance between the first position and the second position is equal to or greater than the first distance and equal to or less than the second distance, the
また、カメラ設定部160は、第1の位置と第2の位置との距離が第1の距離未満である場合、カメラ23がズームアウトするよう設定し、第1の位置と第2の位置との距離が第2の距離より大きい場合、カメラ23がズームインするよう設定する。これにより、ホストコンピュータ100は、カメラ23のズームの設定を適切に変更できる。
Further, the
また、第1の位置は、領域21に少なくとも一部が含まれる経路の両端のうちの一端であり、第2の位置は、当該両端のうちの他端である。これにより、ホストコンピュータ100は、カメラ23が撮影する動画に、所定の経路を移動する人物が写る場合に、当該人物が検出される時間に基づいてカメラ23の設置状況を判定できる。
Further, the first position is one end of both ends of the path including at least a part of the
また、判定部150は、領域21内にいる点検者22の検出割合が所定の割合未満である場合、カメラ23の設置状況が領域21を撮影するのに適していないと判定する。これにより、ホストコンピュータ100は、領域21内にいる点検者22を検出しづらい場合に、カメラ23の設置状況を点検者22に見直させることができる。
Further, when the detection ratio of the
また、判定部150は、カメラ23の設置状況が領域21を撮影するのに適していないと判定した場合、検出枠のサイズに基づいてカメラ23のズームの設定について判定する。判定部150は、検出フレーム60−1,60−2,60−3,・・・に、検出枠が下限サイズ64a未満または上限サイズ64bより大きいフレームが含まれる場合、カメラ23のズームの設定が領域21を撮影するのに適していないと判定する。これにより、ホストコンピュータ100は、カメラ23の撮影する動画に適切なサイズで点検者22が写るようにカメラ23のズームの設定を点検者22に見直させることができる。
Further, when the
また、カメラ設定部160は、カメラ23のズームの設定が領域21を撮影するのに適していないと判定された場合、検出フレーム60−1,60−2,60−3,・・・で検出された点検者22に基づいて、カメラ23のズームの設定を変更する。これにより、ホストコンピュータ100は、カメラ23の撮影する動画に適切なサイズで点検者22が写るようにカメラ23のズームの設定を変更できる。
Further, when the
また、判定部150は、カメラ23の設置状況が領域21を撮影するのに適していないと判定した場合、検出枠の範囲に基づいてカメラ23の撮影方向の設定について判定する。判定部150は、検出フレーム60−1,60−2,60−3,・・・に、検出枠の少なくとも一部が除外範囲65に含まれるフレームが含まれる場合、カメラ23の撮影方向の設定が領域21を撮影するのに適していないと判定する。これにより、ホストコンピュータ100は、カメラ23の撮影する動画の適切な範囲に点検者22が写るようにカメラ23の撮影方向の設定を点検者22に見直させることができる。
Further, when the
また、カメラ設定部160は、カメラ23の撮影方向の設定が領域21を撮影するのに適していないと判定された場合、検出フレーム60−1,60−2,60−3,・・・で検出された点検者22に基づいて、カメラ23の撮影方向の設定を変更する。これにより、ホストコンピュータ100は、カメラ23の撮影する動画の適切な範囲に点検者22が写るようにカメラ23の撮影方向の設定を変更できる。
Further, when the
また、傾き補正部140は、カメラ23の設置状況が領域21を撮影するのに適していないと判定された場合、検出フレーム60−1,60−2,60−3,・・・のうちの少なくとも1の検出フレームで検出された点検者22の傾きを算出する。そして、傾き補正部140は、点検者22の傾きに基づいて、フレーム50−1,50−2,50−3,・・・の傾きの補正値を算出する。これにより、ホストコンピュータ100は、カメラ23が傾いて設置されている場合にカメラ23の撮影した動画を補正できる。
Further, when it is determined that the installation condition of the
また、判定部150は、補正後フレーム80−1,80−2,80−3,・・・に対する検出割合が所定の割合未満である場合、カメラ23の設置位置が領域21を撮影するのに適していないと判定する。これにより、ホストコンピュータ100は、カメラ23の撮影画像の傾きを補正しても、点検者22の検出割合が所定の割合未満の場合にカメラ23の設置位置を点検者22に見直させることができる。
Further, when the detection ratio of the corrected frames 80-1, 80-2, 80-3, ... Is less than a predetermined ratio, the
〔第3の実施の形態〕
次に、第3の実施の形態を説明する。第3の実施の形態については、第2の実施の形態との違いを中心に説明し、第2の実施の形態と同様の内容については説明を省略することがある。第3の実施の形態は、カメラの設置状況の点検作業において、カメラの設置状況が不適切である場合に、カメラの設置状況の変更方法を点検者に通知するものである。
[Third Embodiment]
Next, a third embodiment will be described. The third embodiment will be described mainly on the differences from the second embodiment, and the description of the same contents as those of the second embodiment may be omitted. The third embodiment is to notify the inspector of the method of changing the camera installation status when the camera installation status is inappropriate in the camera installation status inspection work.
図25は、第3の実施の形態の概要を示す図である。第2の実施の形態では、ホストコンピュータ100は、カメラ23の設置状況を判定し、カメラ23の設置状況の判定結果を基にカメラ23の設置状況を自動で変更していた。これに対して、第3の実施の形態では、ホストコンピュータ100aは、カメラ23aの設置状況を判定する。そして、ホストコンピュータ100aは、カメラ23aの設置状況が不適切であると判定した場合、カメラ23aの設置状況の適切な変更方法を判定する。ホストコンピュータ100aは、判定した変更方法を点検者22aが操作するタブレット200aに通知する。これにより、ホストコンピュータ100aは、カメラ23aの設置状況を点検者22aに変更させることができる。
FIG. 25 is a diagram showing an outline of the third embodiment. In the second embodiment, the
ホストコンピュータ100aは、第2の実施の形態のホストコンピュータ100と同様に図4のハードウェア構成によって実現される。また、第3の実施の形態のホストコンピュータ100aは、ホストコンピュータ100と同様に図6で示される機能を有する。タブレット200aは、第2の実施の形態のタブレット200と同様に図5のハードウェア構成によって実現される。また、タブレット200aは、タブレット200と同様に図6で示される機能を有する。ただし、カメラ23aは、回転によって向きを変更可能でなくてもよく、ホストコンピュータ100aによってズームの設定が可能でなくてもよい。
The host computer 100a is realized by the hardware configuration of FIG. 4 like the
以下では、ホストコンピュータ100aのハードウェアとしてホストコンピュータ100のハードウェアと同じ符号が用いられ、ホストコンピュータ100aの機能としてホストコンピュータ100の機能と同じ符号が用いられる。また、タブレット200aのハードウェアとしてタブレット200のハードウェアと同じ符号が用いられ、タブレット200aの機能としてタブレット200の機能と同じ符号が用いられる。
In the following, the same code as the hardware of the
次に、タブレット200aの表示画面について説明する。
図26は、案内画面の画面遷移の一例を示す図(その7)である。第2の実施の形態では、第1の位置と第2の位置との距離が適正範囲外であった場合、入出力部220は、カメラ23のズームの設定を変更することを通知するための案内画面611をディスプレイ装置204に表示させた。これに対して第3の実施の形態では、第1の位置と第2の位置との距離が適正範囲外であった場合、タブレット200aの入出力部220は、カメラ23aのズームの設定の変更方法を示す画面をディスプレイ装置204に表示させる。
Next, the display screen of the tablet 200a will be described.
FIG. 26 is a diagram (No. 7) showing an example of screen transition of the guidance screen. In the second embodiment, when the distance between the first position and the second position is out of the appropriate range, the input /
ホストコンピュータ100aの判定部150は、第1の位置と第2の位置との距離が適正範囲外である場合、第1の位置と第2の位置との距離が適正範囲より大きいか否かを判定する。判定部150は、第1の位置と第2の位置との距離が適正範囲より大きい(第2の距離より大きい)と判定した場合、カメラ23aの設置状況の適切な変更方法が、カメラ23aをズームインさせることであると判定する。また、判定部150は、第1の位置と第2の位置との距離が適正範囲より小さい(第1の距離より小さい)と判定した場合、カメラ23aの設置状況の適切な変更方法が、カメラ23aをズームアウトさせることであると判定する。判定部150は、変更方法の判定結果をタブレット200aに通知する。
When the distance between the first position and the second position is out of the appropriate range, the
入出力部220は、カメラ23aの設置状況の適切な変更方法がカメラ23aをズームインさせることであると判定部150が判定した場合、案内画面611aをディスプレイ装置204に表示させる。案内画面611aは、カメラ23aをズームインさせるよう点検者22aに促す画面である。案内画面611aは、カメラ23aが撮影している動画を含む。また、案内画面611aは、「ズームインしてください」などの、カメラ23aをズームインさせるよう点検者22aに促すためのメッセージを含む。
When the
また、入出力部220は、カメラ23aの設置状況の適切な変更方法がカメラ23aをズームアウトさせることであると判定部150が判定した場合、案内画面611bをディスプレイ装置204に表示させる。案内画面611bは、カメラ23aをズームアウトさせるよう点検者22aに促す画面である。案内画面611bは、カメラ23aが撮影している動画を含む。また、案内画面611bは、「ズームアウトしてください」などの、カメラ23aをズームアウトさせるよう点検者22aに促すためのメッセージを含む。
Further, when the
このように、判定部150がカメラ23aをズームインさせることが適切であると判定すると、入出力部220は、案内画面611aをディスプレイ装置204に表示させることで、カメラ23aをズームインさせるよう点検者22aに促す。また、判定部150がカメラ23aをズームアウトさせることが適切であると判定すると、入出力部220は、案内画面611bをディスプレイ装置204に表示させることで、カメラ23aをズームアウトさせるよう点検者22aに促す。よって、判定部150は、点検者22aにカメラ23aのズームの設定を適切に変更させることができるようになる。
In this way, when the
図27は、案内画面の画面遷移の一例を示す図(その8)である。第2の実施の形態では、点検者22が基準位置にいるときの人物検出において不適切なサイズの検出枠があった場合、入出力部220は、カメラ23のズームの設定を変更することを通知するための案内画面612をディスプレイ装置204に表示させた。これに対して第3の実施の形態では、点検者22aが基準位置にいるときの人物検出において不適切なサイズの検出枠があった場合、入出力部220は、カメラ23aのズームの設定の変更方法を示す画面をディスプレイ装置204に表示させる。
FIG. 27 is a diagram (No. 8) showing an example of screen transition of the guidance screen. In the second embodiment, when the
判定部150は、点検者22aが基準位置にいるときの人物検出において不適切なサイズの検出枠があった場合、下限サイズ64a未満の検出枠が上限サイズ64bより大きい検出枠より多いか否かを判定する。判定部150は、下限サイズ64a未満の検出枠が上限サイズ64bより大きい検出枠より多いと判定した場合、カメラ23aの設置状況の適切な変更方法が、カメラ23aをズームインさせることであると判定する。また、判定部150は、上限サイズ64bより大きい検出枠が下限サイズ64a未満の検出枠より多いと判定した場合、カメラ23aの設置状況の適切な変更方法が、カメラ23aをズームアウトさせることであると判定する。なお、動画の各フレームの検出枠は、それぞれ同程度のサイズで生成されるため、下限サイズ64a未満の検出枠と上限サイズ64bより大きい検出枠とが同数である場合はないものとする。判定部150は、変更方法の判定結果をタブレット200aに通知する。
The
入出力部220は、カメラ23aの設置状況の適切な変更方法がカメラ23aをズームインさせることであると判定部150が判定した場合、案内画面612aをディスプレイ装置204に表示させる。案内画面612aは、カメラ23aをズームインさせるよう点検者22aに促す画面である。案内画面612aは、カメラ23aが撮影している動画を含む。また、案内画面612aは、「ズームインしてください」などの、カメラ23aをズームインさせるよう点検者22aに促すためのメッセージを含む。
When the
また、入出力部220は、カメラ23aの設置状況の適切な変更方法がカメラ23aをズームアウトさせることであると判定部150が判定した場合、案内画面612bをディスプレイ装置204に表示させる。案内画面612bは、カメラ23aをズームアウトさせるよう点検者22aに促す画面である。案内画面612bは、カメラ23aが撮影している動画を含む。また、案内画面612bは、「ズームアウトしてください」などの、カメラ23aをズームアウトさせるよう点検者22aに促すためのメッセージを含む。
Further, when the
このように、判定部150がカメラ23aをズームインさせることが適切であると判定すると、入出力部220は、案内画面612aをディスプレイ装置204に表示させることで、カメラ23aをズームインさせるよう点検者22aに促す。また、判定部150がカメラ23aをズームアウトさせることが適切であると判定すると、入出力部220は、案内画面612bをディスプレイ装置204に表示させることで、カメラ23aをズームアウトさせるよう点検者22aに促す。よって、判定部150は、点検者22aにカメラ23aのズームの設定を適切に変更させることができるようになる。
In this way, when the
なお、上記の例では、判定部150は、下限サイズ64a未満の検出枠と上限サイズ64bより大きい検出枠とのどちらが多いかによって、カメラ23aをズームインさせることが適切であるかズームアウトさせることが適切であるかを判定していた。判定部150は、検出枠のサイズに基づいた他の方法によって、カメラ23aをズームインさせることが適切であるかズームアウトさせることが適切であるかを判定してもよい。例えば、判定部150は、検出枠の平均サイズが所定のサイズ未満であればカメラ23aをズームインさせることが適切であると判定し、平均サイズが所定のサイズ以上であればカメラ23aをズームアウトさせることが適切であると判定してもよい。
In the above example, the
図28は、案内画面の画面遷移の一例を示す図(その9)である。第2の実施の形態では、点検者22が基準位置にいるときの人物検出において不適切な範囲の検出枠があった場合、入出力部220は、カメラ23の向きを変更することを通知するための案内画面613をディスプレイ装置204に表示させた。これに対して第3の実施の形態では、点検者22aが基準位置にいるときの人物検出において不適切な範囲の検出枠があった場合、入出力部220は、カメラ23aの向きの変更方法を示す画面をディスプレイ装置204に表示させる。
FIG. 28 is a diagram (No. 9) showing an example of screen transition of the guidance screen. In the second embodiment, when the
判定部150は、点検者22aが基準位置にいるときの人物検出において不適切な範囲の検出枠があった場合、検出枠の範囲に基づいて、カメラ23aの向きの変更方向を決定する。判定部150は、除外範囲65の左側(検出フレームの左端から10pixel以内)に含まれる検出枠が除外範囲65の右側(検出フレームの右端から10pixel以内)に含まれる検出枠より多いか否かを判定する。判定部150は、除外範囲65の左側に含まれる検出枠が除外範囲65の右側に含まれる検出枠より多いと判定した場合、カメラ23aの設置状況の適切な変更方法が、カメラ23aの向きを左方向に向けることであると判定する。
When the inspector 22a has a detection frame in an inappropriate range in the person detection when the inspector 22a is in the reference position, the
また、判定部150は、除外範囲65の右側に含まれる検出枠が除外範囲65の左側に含まれる検出枠より多いと判定した場合、カメラ23aの設置状況の適切な変更方法が、カメラ23aの向きを右方向に向けることであると判定する。なお、動画の各フレームの検出枠は、それぞれ同程度の範囲に生成されるため、除外範囲65の左側に含まれる検出枠と除外範囲65の右側に含まれる検出枠とが同数である場合はないものとする。判定部150は、変更方法の判定結果をタブレット200aに通知する。
Further, when the
入出力部220は、カメラ23aの設置状況の適切な変更方法がカメラ23aの向きを左方向に向けることであると判定部150が判定した場合、案内画面613aをディスプレイ装置204に表示させる。案内画面613aは、カメラ23aの向きを左方向に向けるよう点検者22aに促す画面である。案内画面613aは、カメラ23aが撮影している動画を含む。また、案内画面613aは、「左方向に向きを調整してください」などの、カメラ23aの向きを左方向に向けるよう点検者22aに促すためのメッセージを含む。なお、案内画面613aは、左方向の矢印などを含んでもよい。
When the
また、入出力部220は、カメラ23aの設置状況の適切な変更方法がカメラ23aの向きを右方向に向けることであると判定部150が判定した場合、案内画面613bをディスプレイ装置204に表示させる。案内画面613bは、カメラ23aの向きを右方向に向けるよう点検者22aに促す画面である。案内画面613bは、カメラ23aが撮影している動画を含む。また、案内画面613bは、「右方向に向きを調整してください」などの、カメラ23aの向きを右方向に向けるよう点検者22aに促すためのメッセージを含む。なお、案内画面613aは、右方向の矢印などを含んでもよい。
Further, when the
このように、判定部150がカメラ23aの向きを左方向に向けることが適切であると判定すると、入出力部220は、案内画面613aをディスプレイ装置204に表示させることで、カメラ23aの向きを左方向に向けるよう点検者22aに促す。また、判定部150がカメラ23aの向きを右方向に向けることが適切であると判定すると、入出力部220は、案内画面613bをディスプレイ装置204に表示させることで、カメラ23aの向きを右方向に向けるよう点検者22aに促す。よって、判定部150は、点検者22aにカメラ23aの向きを適切に変更させることができるようになる。
In this way, when the
なお、上記の例では、判定部150は、除外範囲65の左側に含まれる検出枠と除外範囲65の左側に含まれる検出枠とのどちらが多いかによって、カメラ23aの向きの変更方向を決定していた。判定部150は、検出枠の範囲に基づいた他の方法によって、カメラ23aの向きの変更方向を決定してもよい。また、判定部150は、カメラ23aの向きの変更方向を上方向や下方向に決定してもよい。
In the above example, the
以下、ホストコンピュータ100aおよびタブレット200aによる設置状況判定処理の手順について、詳細に説明する。
図29は、設置状況判定処理の手順の他の一例を示すフローチャート(その1)である。第3の実施の形態では、図22に示した処理のステップS48〜ステップS51に代えて、ステップS48a〜ステップS48eの処理が実行される。以下、ステップS48a〜ステップS48eの処理をステップ番号に沿って説明する。
Hereinafter, the procedure of the installation status determination process by the host computer 100a and the tablet 200a will be described in detail.
FIG. 29 is a flowchart (No. 1) showing another example of the procedure for the installation status determination process. In the third embodiment, the processes of steps S48a to S48e are executed instead of the processes S48 to S51 shown in FIG. Hereinafter, the processes of steps S48a to S48e will be described along with the step numbers.
[ステップS48a]ホストコンピュータ100aの判定部150は、第1の位置と第2の位置との距離が適正範囲より大きいか否か(第2の距離より大きいか第1の距離未満か)を判定する。判定部150は、第1の位置と第2の位置との距離が第2の距離より大きいと判定した場合、処理をステップS48bに進める。また、判定部150は、第1の位置と第2の位置との距離が第1の距離未満と判定した場合、処理をステップS48dに進める。
[Step S48a] The
[ステップS48b]判定部150は、カメラ23aの設置状況の適切な変更方法がカメラ23aをズームインさせることであると判定する。判定部150は、カメラ23aの設置状況の適切な変更方法の判定結果をタブレット200aに通知し、タブレット200aに判定結果を表示させる。
[Step S48b] The
[ステップS48c]タブレット200aの入出力部220は、カメラ23aのズームインを促すための画面をディスプレイ装置204に表示させる。例えば、入出力部220は、案内画面611aをディスプレイ装置204に表示させる。そして、処理がステップS21に進む。
[Step S48c] The input /
[ステップS48d]判定部150は、カメラ23aの設置状況の適切な変更方法がカメラ23aをズームアウトさせることであると判定する。判定部150は、カメラ23aの設置状況の適切な変更方法の判定結果をタブレット200aに通知し、タブレット200aに判定結果を表示させる。
[Step S48d] The
[ステップS48e]入出力部220は、カメラ23aのズームアウトを促すための画面をディスプレイ装置204に表示させる。例えば、入出力部220は、案内画面611bをディスプレイ装置204に表示させる。そして、処理がステップS21に進む。
[Step S48e] The input /
このように、判定部150は、第1の位置と第2の位置との距離が適正範囲より大きい場合、カメラ23aをズームインさせることが適切であると判定し、判定結果をタブレット200aに表示させる。また、判定部150は、第1の位置と第2の位置との距離が適正範囲より小さい場合、カメラ23aをズームアウトさせることが適切であると判定し、判定結果をタブレット200aに表示させる。これにより、判定部150は、カメラ23aのズームの設定を点検者22aに適切に変更させることができる。
As described above, when the distance between the first position and the second position is larger than the appropriate range, the
図30は、設置状況判定処理の手順の他の一例を示すフローチャート(その2)である。第3の実施の形態では、図23に示した処理のステップS56〜ステップS57に代えて、ステップS56a〜ステップS56eの処理が実行される。以下、ステップS56a〜ステップS56eの処理をステップ番号に沿って説明する。 FIG. 30 is a flowchart (No. 2) showing another example of the procedure for the installation status determination process. In the third embodiment, the processes of steps S56a to S56e are executed instead of the processes S56 to S57 shown in FIG. 23. Hereinafter, the processes of steps S56a to S56e will be described along with the step numbers.
[ステップS56a]判定部150は、ステップS24で行われた検出割合算出処理において、下限サイズ64a未満の検出枠が上限サイズ64bより大きい検出枠より多かったか否かを判定する。すなわち、判定部150は、ステップS24で行われた検出割合算出処理において、検出枠が下限サイズ64a未満であるため除外されたフレームが検出枠が上限サイズ64bより大きいため除外されたフレームより多かったか否かを判定する。判定部150は、ステップS24で行われた検出割合算出処理において、下限サイズ64a未満の検出枠が上限サイズ64bより大きい検出枠より多かったと判定した場合、処理をステップS56bに進める。また、判定部150は、ステップS24で行われた検出割合算出処理において、上限サイズ64bより大きい検出枠が下限サイズ64a未満の検出枠より多かったと判定した場合、処理をステップS56dに進める。
[Step S56a] In the detection ratio calculation process performed in step S24, the
[ステップS56b]判定部150は、カメラ23aの設置状況の適切な変更方法がカメラ23aをズームインさせることであると判定する。判定部150は、カメラ23aの設置状況の適切な変更方法の判定結果をタブレット200aに通知し、タブレット200aに判定結果を表示させる。
[Step S56b] The
[ステップS56c]入出力部220は、カメラ23aのズームインを促すための画面をディスプレイ装置204に表示させる。例えば、入出力部220は、案内画面612aをディスプレイ装置204に表示させる。そして、処理がステップS58に進む。
[Step S56c] The input /
[ステップS56d]判定部150は、カメラ23aの設置状況の適切な変更方法がカメラ23aをズームアウトさせることであると判定する。判定部150は、カメラ23aの設置状況の適切な変更方法の判定結果をタブレット200aに通知し、タブレット200aに判定結果を表示させる。
[Step S56d] The
[ステップS56e]入出力部220は、カメラ23aのズームアウトを促すための画面をディスプレイ装置204に表示させる。例えば、入出力部220は、案内画面612bをディスプレイ装置204に表示させる。そして、処理がステップS58に進む。
[Step S56e] The input /
このように、判定部150は、下限サイズ64a未満の検出枠が上限サイズ64bより大きい検出枠より多かった場合、カメラ23aをズームインさせることが適切であると判定し、判定結果をタブレット200aに表示させる。また、判定部150は、上限サイズ64bより大きい検出枠が下限サイズ64a未満の検出枠より多かった場合、カメラ23aをズームアウトさせることであると判定し、判定結果をタブレット200aに表示させる。これにより、判定部150は、カメラ23aのズームの設定を点検者22aに適切に変更させることができる。
In this way, the
図31は、設置状況判定処理の手順の他の一例を示すフローチャート(その3)である。第3の実施の形態では、図23に示した処理のステップS60〜ステップS61に代えて、ステップS60a〜ステップS60eの処理が実行される。以下、ステップS60a〜ステップS60eの処理をステップ番号に沿って説明する。 FIG. 31 is a flowchart (No. 3) showing another example of the procedure for the installation status determination process. In the third embodiment, the processes of steps S60a to S60e are executed instead of the processes shown in FIG. 23, steps S60 to S61. Hereinafter, the processes of steps S60a to S60e will be described along with the step numbers.
[ステップS60a]判定部150は、ステップS24で行われた検出割合算出処理において、除外範囲65の左側に含まれる検出枠が除外範囲65の右側に含まれる検出枠より多かったか否かを判定する。すなわち、判定部150は、ステップS24で行われた検出割合算出処理において、検出枠の一部が除外範囲65の左側に含まれるため除外されたフレームが、検出枠の一部が除外範囲65の右側に含まれるため除外されたフレームより多かったか否かを判定する。判定部150は、ステップS24で行われた検出割合算出処理において、除外範囲65の左側に含まれる検出枠が除外範囲65の右側に含まれる検出枠より多かったと判定した場合、処理をステップS60bに進める。また、判定部150は、ステップS24で行われた検出割合算出処理において、除外範囲65の右側に含まれる検出枠が除外範囲65の左側に含まれる検出枠より多かったと判定した場合、処理をステップS60dに進める。
[Step S60a] In the detection ratio calculation process performed in step S24, the
[ステップS60b]判定部150は、カメラ23aの変更方向を左に決定する。そして、判定部150は、カメラ23aの設置状況の適切な変更方法がカメラ23aを左に向けることであると判定する。判定部150は、カメラ23aの設置状況の適切な変更方法の判定結果をタブレット200aに通知し、タブレット200aに判定結果を表示させる。
[Step S60b] The
[ステップS60c]入出力部220は、カメラ23aを左に向けることを促すための画面をディスプレイ装置204に表示させる。例えば、入出力部220は、案内画面613aをディスプレイ装置204に表示させる。そして、処理がステップS62に進む。
[Step S60c] The input /
[ステップS60d]判定部150は、カメラ23aの変更方向を右に決定する。そして、判定部150は、カメラ23aの設置状況の適切な変更方法がカメラ23aを右に向けることであると判定する。判定部150は、カメラ23aの設置状況の適切な変更方法の判定結果をタブレット200aに通知し、タブレット200aに判定結果を表示させる。
[Step S60d] The
[ステップS60e]入出力部220は、カメラ23aを右に向けることを促すための画面をディスプレイ装置204に表示させる。例えば、入出力部220は、案内画面613bをディスプレイ装置204に表示させる。そして、処理がステップS62に進む。
[Step S60e] The input /
このように、判定部150は、除外範囲65の左側に含まれる検出枠が除外範囲65の右側に含まれる検出枠より多かった場合、カメラ23aを左に向けることが適切であると判定し、判定結果をタブレット200aに表示させる。また、判定部150は、除外範囲65の右側に含まれる検出枠が除外範囲65の左側に含まれる検出枠より多かった場合、カメラ23aを右に向けることが適切であると判定し、判定結果をタブレット200aに表示させる。これにより、判定部150は、カメラ23aの向きを点検者22aに適切に変更させることができる。
As described above, when the detection frame included on the left side of the exclusion range 65 is larger than the detection frame included on the right side of the exclusion range 65, the
第3の実施の形態によれば、第2の実施の形態と同様に、ホストコンピュータ100aは、画像処理に有用な画像をカメラ23aに撮影させることができるようになる。さらに第3の実施の形態では、判定部150は、第1の位置と第2の位置との距離が第1の距離未満である場合、カメラ23aの設置状況の適切な変更方法がカメラ23aをズームアウトさせることであると判定する。また、判定部150は、第1の位置と第2の位置との距離が第2の距離より大きい場合、カメラ23aの設置状況の適切な変更方法がカメラ23aをズームインさせることであると判定してもよい。これにより、ホストコンピュータ100aは、カメラ23aのズームの設定を点検者22aに適切に変更させることができる。
According to the third embodiment, as in the second embodiment, the host computer 100a allows the camera 23a to capture an image useful for image processing. Further, in the third embodiment, when the distance between the first position and the second position is less than the first distance, the
また、判定部150は、カメラ23aのズームの設定が領域21を撮影するのに適していないと判定した場合、検出枠のサイズに基づいて、カメラ23aの設置状況の適切な変更方法を判定する。判定部150は、検出枠のサイズに基づいて、カメラ23aの設置状況の適切な変更方法が、カメラ23aをズームインさせることであるか、カメラ23aをズームアウトさせることであるかを判定する。これにより、ホストコンピュータ100aは、カメラ23aが撮影する動画に適切なサイズで点検者22aが写るようにカメラ23aのズームの設定を点検者22aに変更させることができる。
Further, when the
また、判定部150は、カメラ23aの撮影方向の設定が領域21を撮影するのに適していないと判定した場合、検出枠の範囲に基づいて変更方向を算出する。そして、判定部150は、カメラ23aの設置状況の適切な変更方法が、カメラ23aを変更方向に向けることであると判定する。これにより、ホストコンピュータ100aは、カメラ23aが撮影する動画の適切な範囲に点検者22aが写るようにカメラ23aの撮影方向の設定を点検者22aに変更させることができる。
Further, when the
以上、実施の形態を例示したが、実施の形態で示した各部の構成は同様の機能を有する他のものに置換することができる。また、他の任意の構成物や工程が付加されてもよい。さらに、前述した実施の形態のうちの任意の2以上の構成(特徴)を組み合わせたものであってもよい。 Although the embodiment has been illustrated above, the configuration of each part shown in the embodiment can be replaced with another having the same function. Moreover, other arbitrary components and processes may be added. Further, any two or more configurations (features) of the above-described embodiments may be combined.
〔他の実施の形態〕
第2の実施の形態では、ホストコンピュータ100が判定などの処理を実行し、タブレット200が点検者22への画面表示を行っていたが、他の端末が判定などの処理と画面表示の両方を行ってもよい。つまり、第2の実施の形態で、ホストコンピュータ100およびタブレット200に代えて、ホストコンピュータ100の機能とタブレット200の機能とを有する端末が用いられてもよい。また、第3の実施の形態でも同様に、ホストコンピュータ100aおよびタブレット200aに代えて、ホストコンピュータ100aの機能とタブレット200aの機能とを有する端末が用いられてもよい。
[Other Embodiments]
In the second embodiment, the
1 カメラ
2 領域
3 人物
4a,4b,4c,・・・ 撮影画像
5a,5b,5c,・・・ 検出画像
10 情報処理装置
11 処理部
1 Camera 2 Area 3
Claims (19)
を有する情報処理装置。 A process in which a camera installed so as to be able to shoot a shooting range including a predetermined area detects a person in the predetermined area from each of a plurality of shot images shot in the shooting range, and the above-mentioned processing for the plurality of shot images. The process of determining whether or not the ratio of one or more detected images in which the person is detected among the plurality of captured images is equal to or greater than a predetermined ratio , the person is at each of the plurality of positions within the shooting range. Occasionally, the camera executes for the plurality of captured images in which the imaging range is captured, and the ratio of the one or more detected images to the plurality of captured images among the plurality of positions becomes the predetermined ratio or more. A processing unit that determines whether or not the installation status of the camera is suitable for photographing the predetermined area based on the distance between the first position and the second position .
Information processing device with.
請求項1記載の情報処理装置。 When the distance between the first position and the second position is equal to or greater than the first distance and equal to or less than the second distance, the processing unit captures the predetermined area when the camera is installed. When the distance between the first position and the second position is less than the first distance, or when the distance between the first position and the second position is the first If it is larger than the distance of 2, it is determined that the zoom setting of the camera is not suitable for shooting the predetermined area.
The information processing device according to claim 1 .
請求項2記載の情報処理装置。 The processing unit sets the camera to zoom out when the distance between the first position and the second position is less than the first distance, and the first position and the second position Set the camera to zoom in if the distance to the position is greater than the second distance.
The information processing device according to claim 2 .
請求項2記載の情報処理装置。 When the distance between the first position and the second position is less than the first distance, the processing unit appropriately changes the installation state of the camera by zooming out the camera. When the distance between the first position and the second position is larger than the second distance, it is determined that the appropriate method for changing the installation status of the camera is to zoom in on the camera. ,
The information processing device according to claim 2 .
前記第2の位置は、前記両端のうちの他端である、
請求項1ないし4のいずれかに記載の情報処理装置。 The first position is one end of both ends of a path that includes at least a portion of the predetermined area.
The second position is the other end of the ends.
The information processing device according to any one of claims 1 to 4 .
を有する情報処理装置。 A camera installed so as to be able to shoot a shooting range including a predetermined area detects a person in the predetermined area from each of the plurality of shot images shot in the shooting range, and the plurality of shot images with respect to the plurality of shot images. When the ratio of one or more detected images in which the person is detected is less than a predetermined ratio in the captured images, the inclination of the person detected in at least one detected image in the one or more detected images is calculated. Then, the correction value of the inclination of the plurality of captured images is calculated based on the inclination of the person, and the person is detected from each of the plurality of corrected captured images in which the inclination of the plurality of captured images is corrected by the correction value. Then, when the ratio of one or more corrected detected images in which the person is detected to the plurality of corrected captured images is less than the predetermined ratio, the installation position of the camera. Is not suitable for photographing the predetermined area .
Information processing device with.
請求項6記載の情報処理装置。 The processing unit determines that the installation status of the camera is not suitable for photographing the predetermined area, and the size of the person on the image of the one or more detected images is less than the third size or the third size. When an image larger than the size of 4 is included, it is determined that the zoom setting of the camera is not suitable for capturing the predetermined area.
The information processing device according to claim 6 .
請求項7記載の情報処理装置。 When the processing unit determines that the zoom setting of the camera is not suitable for photographing the predetermined area, the zoom of the camera is based on the person detected in the one or more detected images. Change settings,
The information processing device according to claim 7 .
請求項7記載の情報処理装置。 When the processing unit determines that the zoom setting of the camera is not suitable for photographing the predetermined area, the processing unit is based on the size on the image of the person detected in the one or more detected images. Determining whether the appropriate method of changing the installation status of the camera is to zoom in on the camera or zoom out the camera.
The information processing device according to claim 7 .
請求項6ないし9のいずれかに記載の情報処理装置。 The processing unit determines that the installation state of the camera is not suitable for photographing the predetermined area, and at least a part of the range on the image of the person is second in the one or more detected images. When an image included in the exclusion range is included, it is determined that the setting of the shooting direction of the camera is not suitable for shooting the predetermined area.
The information processing device according to any one of claims 6 to 9 .
請求項10記載の情報処理装置。 When the processing unit determines that the setting of the shooting direction of the camera is not suitable for shooting the predetermined area, the processing unit shoots the camera based on the person detected in the one or more detected images. Change the orientation setting,
The information processing device according to claim 10 .
請求項10記載の情報処理装置。 When the processing unit determines that the setting of the shooting direction of the camera is not suitable for shooting the predetermined area, the processing unit is based on the range on the image of the person detected by the one or more detected images. The change direction is determined, and it is determined that the appropriate method for changing the installation status of the camera is to point the camera in the change direction.
The information processing device according to claim 10 .
請求項1ないし12のいずれかに記載の情報処理装置。 The processing unit specifies a detection position that is a position on the image of the person for each of the one or more detected images, and among the one or more detected images, each of the detected images whose detection position is one or more. A detection image outside the detection reference range determined based on the detection position is excluded from the one or more detection images, and the ratio of the one or more detection images to the plurality of captured images is calculated.
The information processing device according to any one of claims 1 to 12 .
請求項1ないし13のいずれかに記載の情報処理装置。 Among the one or more detected images, the processing unit excludes the detected images whose size on the image of the person is less than the first size or larger than the second size from the one or more detected images, and the plurality of detected images. Calculate the ratio of one or more detected images to the captured image of
The information processing device according to any one of claims 1 to 13 .
請求項1ないし14のいずれかに記載の情報処理装置。 The processing unit excludes the detection images in which at least a part of the range on the image of the person is included in the first exclusion range from the one or more detection images from the one or more detection images, and the plurality of detection images. Calculate the ratio of one or more detected images to the captured image of
The information processing device according to any one of claims 1 to 14 .
所定の領域を含む撮影範囲を撮影可能に設置されたカメラが前記撮影範囲を撮影した複数の撮影画像それぞれから前記所定の領域内にいる人物を検出する処理と、前記複数の撮影画像に対する、前記複数の撮影画像のうち前記人物が検出された1以上の検出画像の割合が所定の割合以上であるか否かを判定する処理とを、前記人物が前記撮影範囲内の複数の位置それぞれにいるときに、前記カメラが前記撮影範囲を撮影した前記複数の撮影画像について実行し、
前記複数の位置のうち、前記複数の撮影画像に対する前記1以上の検出画像の割合が前記所定の割合以上となる第1の位置と第2の位置との距離に基づいて、前記カメラの設置状況が前記所定の領域を撮影するのに適しているか否かを判定する、
処理を実行させるプログラム。 On the computer
A process in which a camera installed so as to be able to shoot a shooting range including a predetermined area detects a person in the predetermined area from each of a plurality of shot images shot in the shooting range, and the above-mentioned processing for the plurality of shot images. The process of determining whether or not the ratio of one or more detected images in which the person is detected among the plurality of captured images is equal to or greater than a predetermined ratio , the person is at each of the plurality of positions within the shooting range. Occasionally, the camera may execute on the plurality of captured images in which the imaging range is captured.
The installation status of the camera is based on the distance between the first position and the second position where the ratio of the one or more detected images to the plurality of captured images is equal to or more than the predetermined ratio among the plurality of positions. Determines if is suitable for photographing the predetermined area,
A program that executes processing.
所定の領域を含む撮影範囲を撮影可能に設置されたカメラが前記撮影範囲を撮影した複数の撮影画像それぞれから前記所定の領域内にいる人物を検出し、
前記複数の撮影画像に対する、前記複数の撮影画像のうち前記人物が検出された1以上の検出画像の割合が所定の割合未満である場合、前記1以上の検出画像のうちの少なくとも1の検出画像で検出された前記人物の傾きを算出し、
前記人物の傾きに基づいて、前記複数の撮影画像の傾きの補正値を算出し、
前記補正値によって前記複数の撮影画像の傾きを補正した複数の補正後撮影画像それぞれから前記人物を検出し、
前記複数の補正後撮影画像に対する、前記複数の補正後撮影画像のうち前記人物が検出された1以上の補正後検出画像の割合が前記所定の割合未満である場合、前記カメラの設置位置が前記所定の領域を撮影するのに適していないと判定する、
処理を実行させるプログラム。 On the computer
A camera installed so as to be able to shoot a shooting range including a predetermined area detects a person in the predetermined area from each of a plurality of shot images shot in the shooting range.
When the ratio of one or more detected images in which the person is detected is less than a predetermined ratio to the plurality of captured images, at least one of the one or more detected images is detected. Calculate the inclination of the person detected in
Based on the inclination of the person, the correction value of the inclination of the plurality of captured images is calculated.
The person is detected from each of the plurality of corrected captured images in which the inclination of the plurality of captured images is corrected by the correction value.
When the ratio of one or more corrected detected images in which the person is detected among the plurality of corrected captured images to the plurality of corrected captured images is less than the predetermined ratio, the installation position of the camera is the said. Judging that it is not suitable for shooting a predetermined area,
A program that executes processing.
所定の領域を含む撮影範囲を撮影可能に設置された前記カメラが前記撮影範囲を撮影した複数の撮影画像それぞれから前記所定の領域内にいる人物を検出する処理と、前記複数の撮影画像に対する、前記複数の撮影画像のうち前記人物が検出された1以上の検出画像の割合が所定の割合以上であるか否かを判定する処理とを、前記人物が前記撮影範囲内の複数の位置それぞれにいるときに、前記カメラが前記撮影範囲を撮影した前記複数の撮影画像について実行し、前記複数の位置のうち、前記複数の撮影画像に対する前記1以上の検出画像の割合が前記所定の割合以上となる第1の位置と第2の位置との距離に基づいて、前記カメラの設置状況が前記所定の領域を撮影するのに適しているか否かを判定する情報処理装置と、
を有する情報処理システム。 With the camera
A process of detecting a person in the predetermined area from each of a plurality of captured images captured by the camera installed so as to be able to capture a shooting range including a predetermined area, and a process for the plurality of captured images. The process of determining whether or not the ratio of one or more detected images in which the person is detected among the plurality of captured images is equal to or greater than a predetermined ratio is performed at each of the plurality of positions within the shooting range of the person. When the camera is present, the camera executes the plurality of captured images captured in the shooting range, and the ratio of the one or more detected images to the plurality of captured images among the plurality of positions is equal to or higher than the predetermined ratio. An information processing device that determines whether or not the installation status of the camera is suitable for photographing the predetermined area based on the distance between the first position and the second position .
Information processing system with.
所定の領域を含む撮影範囲を撮影可能に設置された前記カメラが前記撮影範囲を撮影した複数の撮影画像それぞれから前記所定の領域内にいる人物を検出し、前記複数の撮影画像に対する、前記複数の撮影画像のうち前記人物が検出された1以上の検出画像の割合が所定の割合未満である場合、前記1以上の検出画像のうちの少なくとも1の検出画像で検出された前記人物の傾きを算出し、前記人物の傾きに基づいて、前記複数の撮影画像の傾きの補正値を算出し、前記補正値によって前記複数の撮影画像の傾きを補正した複数の補正後撮影画像それぞれから前記人物を検出し、前記複数の補正後撮影画像に対する、前記複数の補正後撮影画像のうち前記人物が検出された1以上の補正後検出画像の割合が前記所定の割合未満である場合、前記カメラの設置位置が前記所定の領域を撮影するのに適していないと判定する情報処理装置と、
を有する情報処理システム。 With the camera
The camera installed so as to be able to shoot a shooting range including a predetermined area detects a person in the predetermined area from each of a plurality of shot images shot in the shooting range, and the plurality of shot images with respect to the plurality of shot images. When the ratio of one or more detected images in which the person is detected is less than a predetermined ratio , the inclination of the person detected in at least one of the detected images of the one or more detected images is determined. The person is calculated from each of the plurality of corrected shot images obtained by calculating the correction value of the tilt of the plurality of captured images based on the tilt of the person and correcting the tilt of the plurality of captured images by the correction value. When the ratio of one or more corrected detected images in which the person is detected among the plurality of corrected captured images to the plurality of corrected captured images detected is less than the predetermined ratio, the camera is installed. An information processing device that determines that the position is not suitable for photographing the predetermined area, and
Information processing system with.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020068030A JP6817527B1 (en) | 2020-04-06 | 2020-04-06 | Information processing equipment, programs and information processing systems |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020068030A JP6817527B1 (en) | 2020-04-06 | 2020-04-06 | Information processing equipment, programs and information processing systems |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6817527B1 true JP6817527B1 (en) | 2021-01-20 |
JP2021166322A JP2021166322A (en) | 2021-10-14 |
Family
ID=74164522
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020068030A Active JP6817527B1 (en) | 2020-04-06 | 2020-04-06 | Information processing equipment, programs and information processing systems |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6817527B1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022139871A (en) * | 2021-03-12 | 2022-09-26 | 大日本印刷株式会社 | Imaging system |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007272320A (en) * | 2006-03-30 | 2007-10-18 | Mitsubishi Electric Corp | Entry management system |
JP2008152512A (en) * | 2006-12-18 | 2008-07-03 | Seiko Epson Corp | Image processor, electronic equipment, image processing method, and image processing program |
JP2009094870A (en) * | 2007-10-10 | 2009-04-30 | Omron Corp | Monitor apparatus, method and program |
JP2016143157A (en) * | 2015-01-30 | 2016-08-08 | キヤノン株式会社 | Image processing device, image processing method and image processing system |
WO2019003973A1 (en) * | 2017-06-26 | 2019-01-03 | 日本電気株式会社 | Facial authentication device, facial authentication method, and program recording medium |
JP2019149006A (en) * | 2018-02-27 | 2019-09-05 | 富士通株式会社 | Image selection program, information processing device, system, and image selection method |
-
2020
- 2020-04-06 JP JP2020068030A patent/JP6817527B1/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007272320A (en) * | 2006-03-30 | 2007-10-18 | Mitsubishi Electric Corp | Entry management system |
JP2008152512A (en) * | 2006-12-18 | 2008-07-03 | Seiko Epson Corp | Image processor, electronic equipment, image processing method, and image processing program |
JP2009094870A (en) * | 2007-10-10 | 2009-04-30 | Omron Corp | Monitor apparatus, method and program |
JP2016143157A (en) * | 2015-01-30 | 2016-08-08 | キヤノン株式会社 | Image processing device, image processing method and image processing system |
WO2019003973A1 (en) * | 2017-06-26 | 2019-01-03 | 日本電気株式会社 | Facial authentication device, facial authentication method, and program recording medium |
JP2019149006A (en) * | 2018-02-27 | 2019-09-05 | 富士通株式会社 | Image selection program, information processing device, system, and image selection method |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022139871A (en) * | 2021-03-12 | 2022-09-26 | 大日本印刷株式会社 | Imaging system |
Also Published As
Publication number | Publication date |
---|---|
JP2021166322A (en) | 2021-10-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10165179B2 (en) | Method, system, and computer program product for gamifying the process of obtaining panoramic images | |
US8350896B2 (en) | Terminal apparatus, display control method, and display control program | |
KR100936816B1 (en) | Pointing device using camera and outputting mark | |
US9723203B1 (en) | Method, system, and computer program product for providing a target user interface for capturing panoramic images | |
KR102539427B1 (en) | Image processing apparatus, image processing method, and storage medium | |
CN104364712A (en) | Methods and apparatus for capturing a panoramic image | |
US10083365B2 (en) | Optical reading of external segmented display | |
US11190747B2 (en) | Display control apparatus, display control method, and storage medium | |
JP6098873B2 (en) | Imaging apparatus and image processing apparatus | |
TWI484285B (en) | Panorama photographing method | |
JP6817527B1 (en) | Information processing equipment, programs and information processing systems | |
WO2021192906A1 (en) | Calculation method | |
CN110650284A (en) | Image shooting control method, device, equipment and storage medium | |
CN111142660A (en) | Display device, picture display method and storage medium | |
JP2014010227A (en) | Portable electronic apparatus, control method therefor and program | |
WO2021192908A1 (en) | Tracking method | |
JP6686319B2 (en) | Image projection device and image display system | |
JP5222646B2 (en) | Terminal device, display control method, and display control program | |
JP4340760B2 (en) | Hands free pointing system | |
JP6885127B2 (en) | Display control device, display control method and program | |
WO2018168825A1 (en) | Image processing device and electronic equipment | |
WO2021192907A1 (en) | Output method | |
WO2021192905A1 (en) | Guide method | |
JP7333559B2 (en) | POSITION DETECTION SYSTEM, POSITION DETECTION DEVICE, POSITION DETECTION METHOD, AND PROGRAM | |
JP7059829B2 (en) | Information processing equipment, information processing methods and programs |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200424 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20200515 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20200602 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200804 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200928 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201124 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201207 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6817527 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |