JP7472482B2 - 情報処理装置、範囲決定方法、プログラム - Google Patents

情報処理装置、範囲決定方法、プログラム Download PDF

Info

Publication number
JP7472482B2
JP7472482B2 JP2019223712A JP2019223712A JP7472482B2 JP 7472482 B2 JP7472482 B2 JP 7472482B2 JP 2019223712 A JP2019223712 A JP 2019223712A JP 2019223712 A JP2019223712 A JP 2019223712A JP 7472482 B2 JP7472482 B2 JP 7472482B2
Authority
JP
Japan
Prior art keywords
line
range
image data
information processing
monitoring target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019223712A
Other languages
English (en)
Other versions
JP2021093650A (ja
Inventor
和哉 浦部
清明 田中
一哲 北角
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Priority to JP2019223712A priority Critical patent/JP7472482B2/ja
Priority to PCT/JP2020/043026 priority patent/WO2021117444A1/ja
Priority to US17/778,324 priority patent/US20230033125A1/en
Priority to CN202080083460.9A priority patent/CN114762323A/zh
Priority to DE112020005244.3T priority patent/DE112020005244T5/de
Publication of JP2021093650A publication Critical patent/JP2021093650A/ja
Application granted granted Critical
Publication of JP7472482B2 publication Critical patent/JP7472482B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/20Drawing from basic elements, e.g. lines or circles
    • G06T11/203Drawing of straight lines or curves
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user
    • G06T2207/20104Interactive definition of region of interest [ROI]

Description

本発明は、情報処理装置、範囲決定方法、プログラムに関する。
従来、オフィスや工場内に設置された監視カメラなどの定点カメラによって、人や物の動きを監視(センシング;検査)することが行われている。このような監視では、人や物が動く可能性がある範囲を監視対象に限定することによって、センシングの手数や時間を小さくすることができる。しかしながら、例えば、工場内のレイアウト変更や設備変更によって人や物が動く範囲は、頻繁に変化する可能性があるため、ユーザの入力によって監視範囲を細かく指定することは手間がかかり好ましくない。
これに対して、特許文献1には、ユーザが画像データ上の1画素を選択すると、当該画像データにおいて当該1画素に類似する色を有する画素を検出して、検出した画素が示す範囲を対象範囲にする技術が記載されている。
特開2001-14480号公報
しかしながら、特許文献1に記載の技術では、例えば、人が通る通路部分の色と、当該通路とは離れたダンボールや机の色とが類似する場合には、ダンボールや机がある範囲までも監視の対象範囲に指定されてしまう。このため、必要ない領域までも監視の対象範囲とされてしまう可能性があった。
そこで、本発明は、ユーザの手間の低減と適切な監視の対象範囲の決定との両方を実現することのできる技術の提供を目的とする。
上記目的を達成するために本発明は、以下の構成を採用する。
本発明の第一側面は、所定の場所の監視対象の範囲を決定する情報処理装置であって、前記所定の場所が撮像された画像データに対してユーザが線を描いた情報を取得する取得手段と、前記線を太くした領域が示す範囲を前記監視対象の範囲として決定する決定手段と、を有することを特徴とする情報処理装置である。なお、所定の場所とは、工場やオフィス内などの任意の場所であってよい。また、監視対象の範囲は、人や物が通過することが想定される範囲などである。
このような構成によれば、ユーザは画像データに対して線を描くのみでよいので、容易に監視対象の範囲を決定することができる。また、当該線を太くした領域が示す範囲が監視対象の範囲として決定されるので、当該線から離れた領域が示す範囲を監視対象とすることがなく、適切な範囲を監視対象に決定することができる。このため、所定の場所を監視する際に、人や物が移動する可能性のない範囲において、人や物の移動を検出する可能性を低減することができる。
前記決定手段は、予め定められた所定の長さ分、前記線を太くした領域が示す範囲を前
記監視対象の範囲として決定してもよい。このような構成によれば、統一された長さ分、線を太くすることができるため、例えば、事前に監視対象である通路などの幅をユーザが入力しておけば適切な範囲を監視対象にすることが可能である。また、線を太くする量が統一されているので、監視対象の範囲を決定するための情報処理装置の処理負担を少なくすることができる。
前記決定手段は、前記線の各点の位置において前記画像データが有する境界位置に達するまで当該線を太くした領域が示す範囲を前記監視対象の範囲として決定してもよい。ここで、境界位置とは、複数の領域や物体の境界などである。このような構成によれば、監視対象である人や物は当該境界位置までは移動する可能性があるので、線を太くすべき量が不明な場合であっても、監視対象の範囲を適切に決定することができる。
前記決定手段は、前記線の各点の位置において前記画像データが有する境界位置に達するまで当該線を太くする場合の当該各点の位置の太さを算出し、前記線のうちの複数の点の位置について算出した太さの代表値の長さ分、当該線を太くした領域が示す範囲を前記監視対象の範囲として決定してもよい。ここで、代表値は、平均値、最小値、最大値、中央値や最頻値などである。このような構成によれば、境界位置に達するまで線を太くした場合の結果に応じて、当該線を太くする量を決定することができるため、より精度高く監視対象の範囲を決定することができる。また、画像データにノイズが含まれている場合などにも、代表値に応じて太くする量を統一することによってノイズの影響を抑えることができるので、適切に監視対象の範囲を決定することができる。
前記複数の点は、前記線の各点のうち、設定画素値との差分が所定の閾値よりも小さい画素値を有する画素に対応する点であってもよい。前記設定画素値は、前記線の各点に対応する画素において最も多くの画素が有する画素値であってもよい。このような構成によれば、例えば、監視対象の領域になるべき位置の上部に設置物が配置されている結果、当該設置物を表現するための画素が、線を太くするための上述の複数の点に用いられて、線を太くする量を不適切に決定する可能性を低減できる。つまり、より適切に監視対象の範囲を決定することができる。
前記決定手段は、前記線を分割した複数の第2の線ごとの前記代表値を決定して、当該複数の第2の線ごとに当該代表値の長さ分、当該第2の線を太くした領域が示す範囲を前記監視対象の範囲として決定してもよい。このような構成によれば、監視対象の範囲にすべき範囲の幅が場所によって異なる場合にも、当該場所それぞれに線の太くする量が決定できるため、より適切に監視対象の範囲を決定することができる。
前記境界位置は、前記画像データにおけるエッジ画素の位置であってもよい。前記境界位置は、前記画像データにおいて、前記線の各点の位置の画素との画素値の差が第1閾値より大きく異なる画素の位置であってもよい。前記画像データは、前記所定の場所の各位置の高さ情報を含んでおり、前記境界位置は、前記画像データにおいて、前記線の各点の位置との高さの差が第2閾値より大きく異なる位置であってもよい。なお、境界位置は、上述した位置に限らず、複数の領域や物体の境界と判定することができる位置であれば任意の位置であってよい。
情報処理装置は、前記画像データに基づいた画像を表示する表示手段と、前記画像データに対する前記線を描くユーザ入力を受け付ける受付手段と、をさらに有していてもよい。また、情報処理装置は、撮像することによって前記画像データを取得する撮像手段をさらに有していてもよい。
本発明の第二側面は、所定の場所の監視対象の範囲を決定する範囲決定方法であって、
前記所定の場所が撮像された画像データに対してユーザが線を描いた情報を取得する取得ステップと、前記線を太くした領域が示す範囲を前記監視対象の範囲として決定する決定ステップと、を有することを特徴とする範囲決定方法である。
本発明は、上記手段の少なくとも一部を有する制御装置として捉えてもよいし、監視制御装置や監視制御システムとして捉えてもよい。また、本発明は、上記処理の少なくとも一部を含む監視制御方法、情報処理装置の制御方法、として捉えてもよい。また、本発明は、かかる方法を実現するためのプログラムやそのプログラムを非一時的に記録した記録媒体として捉えることもできる。なお、上記手段および処理の各々は可能な限り互いに組み合わせて本発明を構成することができる。
本発明によれば、ユーザの手間の低減と適切な監視の対象範囲の決定との両方を実現する技術を提供することができる。
図1は、実施形態1に係る情報処理システムの構成図である。 図2A、図2Bは、実施形態1に係る所定の場所を説明する図である。 図3A、は実施形態1に係るユーザが指定する線を示す図であり、図3Bは、実施形態1に係る監視対象の範囲に対応する領域を示す図である。 図4は、実施形態1に係る監視範囲の決定処理を示すフローチャートである。 図5Aは、実施形態1に係るユーザが指定する線を示す図であり、図5Bは、実施形態2に係る監視対象の範囲に対応する領域を示す図である。 図6は、実施形態1に係る線を太くする処理を説明する図である。 図7Aは、実施形態1に係るユーザが指定する線を示す図であり、図7Bは、実施形態1に係る監視対象の範囲に対応する領域を示す図である。 図8Aは、変形例1に係るユーザが指定する線を示す図であり、図8Bは、図8Aが示す線を実施形態2に係る方法で太くした場合の監視対象の範囲に対応する領域を示す図であり、図8Cは、図8Aが示す線を変形例1に係る方法で太くした場合の監視対象の範囲に対応する領域を示す図である。
以下、本発明を実施するための実施形態について図面を用いて記載するが、実施形態に記載された事項のみによって特許請求の範囲の記載の解釈が限定されるものではない。特許請求の範囲の記載の解釈には、出願時の技術常識を考慮した、発明の課題が解決できることを当業者が認識できるように記載された範囲も含む。
<実施形態1>
[情報処理システムの構成]
以下にて、実施形態1に係る、監視対象の範囲を決定する情報処理システム1について説明する。図1は、情報処理システム1の構成を示す図である。情報処理システム1は、情報処理装置10と撮像装置20を有する。
情報処理装置10は、撮像装置20が撮像した画像データから監視対象の範囲を決定するPCやサーバなどの情報処理端末である。
撮像装置20は、工場やオフィス内の所定の場所を撮像して画像データ(2次元画像データ)として取得する。撮像装置20は、例えば、図2Aが示すように、通路201、棚202、床203を有するようなオフィスを撮像することによって画像データを取得する
。ここで、ユーザが移動する範囲に通路201が該当すると考えられるため、図2Bが示すように、通路201に合致する領域204が示す範囲が監視対象の範囲として決定されることが好ましい。なお、撮像装置20は、例えば、オフィスの天井などに固定されており、一定の場所から一定の範囲の撮像を常に行うことができる定点カメラである。従って、撮像装置20は、情報処理装置10が決定した監視対象の範囲を、一定の場所から監視することも可能である。なお、撮像装置20が撮像する画像データは、モノクロ、カラーいずれであってもよい。また、撮像装置20には、魚眼カメラを用いることができる。撮像装置20に魚眼カメラを用いることによれば、超広角で視野の広い画像データを取得可能であるため、より広い範囲の監視をすることができる。撮像装置20は、撮像した画像データを情報処理装置10に送信する。
(情報処理装置の構成)
次に、情報処理装置10の内部構成について図1を用いて説明する。情報処理装置10は、画像取得部101、画像表示部102、ユーザ入力受付部103、領域決定部104、記憶部105、出力部106を有する。
画像取得部101は、撮像装置20から、監視対象の範囲を決定するための、オフィスや工場内部などの所定の場所の画像データを取得する。なお、画像取得部101と撮像装置20との通信は、任意の通信方式の有線または無線によって行われてよい。
画像表示部102は、画像取得部101から画像データを取得して、当該画像データに基づいた画像を表示する。従って、画像表示部102には、図2Aが示すような、例えば、オフィスの内部を示す画像が表示される。画像表示部102は、例えば、LCD(Liquid Crystal Display)や有機EL等の表示器上に画像を表示する。
ユーザ入力受付部103(取得部)は、画像表示部102が表示する所定の場所を示す画像(画像データ)に対して、監視対象の範囲を決定するための線を指定する(描く)ユーザ入力を受け付ける(取得する)。なお、詳細に後述するが、ユーザによって指定された線を太くした領域が示す範囲が監視対象の範囲として決定されるため、ユーザはこれを考慮して線を指定する。例えば、図2Aが示すようなオフィスの画像が表示されている場合には、人が移動する領域である通路201を監視対象とするために、図3Aが示すように当該通路201に沿って線301を指定するユーザ入力がされ得る。ここで、ユーザ入力受付部103は、ユーザが線を指定するために用いられるタッチパネルやマウスなどのポインティングデバイスを含む。
領域決定部104は、ユーザが指定した(描いた)線の情報をユーザ入力受付部103から取得して、画像データを画像取得部101から取得する。また、領域決定部104は、線の情報と画像データとから、所定の場所における監視対象の範囲を決定する。従って、領域決定部104は、線の情報と画像データを取得する情報取得部と、監視対象の範囲を決定する決定部とから構成されるといえる。
記憶部105は、領域決定部104が監視対象の範囲を決定するために用いる情報を記憶する。記憶部105は、ユーザが指定した線の情報や画像データも記憶してもよく、所定の場所における監視対象の範囲も記憶してもよい。また、記憶部105は、各機能部が動作するためのプログラムを記憶してもよい。なお、記憶部105は、システムとして重要なプログラムを記憶するROM(Read-only Memory)、高速アクセスを可能とする記憶するRAM(Random Access Memory)、大きな容量のデータを記憶するHDD(Hard Disk Drive)などの複数の記憶部材を含むことができる。
出力部106は、領域決定部104が決定した監視対象の範囲を示す情報を出力する。出力部106は、撮像装置20が監視を行う場合には撮像装置20に当該情報を出力してもよいし、外部の表示装置に対して当該情報を出力してもよい。また、出力部106は、例えば、ユーザが紙によって確認できるようにプリンタに監視対象の範囲を示す情報を出力してもよい。
また、情報処理装置10や撮像装置20は、例えば、CPU(プロセッサ)、メモリ、ストレージなどを備えるコンピュータにより構成することができる。その場合、図1に示す構成は、ストレージに格納されたプログラムをメモリにロードし、CPUが当該プログラムを実行することによって実現されるものである。かかるコンピュータは、パーソナルコンピュータ、サーバコンピュータ、タブレット端末、スマートフォンのような汎用的なコンピュータでもよいし、オンボードコンピュータのように組み込み型のコンピュータでもよい。あるいは、図1に示す構成の全部または一部を、ASICやFPGAなどで構成してもよい。あるいは、図1に示す構成の全部または一部を、クラウドコンピューティングや分散コンピューティングにより実現してもよい。
[監視範囲の決定処理]
以下、図4が示すフローチャートを用いて、情報処理装置10が実行する処理である、監視対象の範囲を決定する処理(範囲決定方法)について説明する。なお、本フローチャートの処理開始前の状態において、監視対象の範囲を決定するための、図2Aが示すオフィスの画像データを撮像装置20が撮像しているものとする。なお、本フローチャートの各処理は、記憶部105に記憶されたプログラムに基づいて、情報処理装置10の各機能部が実行する。
ステップS1001において、画像取得部101は、撮像された画像データを撮像装置20から取得する。画像取得部101は、取得した画像データを画像表示部102および領域決定部104に出力する。なお、画像取得部101は、さらに、取得した画像データを記憶部105に記憶してもよい。また、このとき、画像取得部101が取得する画像データは、静止画の画像データであっても、動画の画像データであってもよい。なお、画像取得部101が動画の画像データを取得した場合には、ステップS1003にて行われるユーザの線の指定が容易になるように、動画の画像データのうち1つのフレームを、画像表示部102および領域決定部104に出力してもよい。
ステップS1002において、画像表示部102は、画像データに基づいた画像を表示する。従って、図2Aが示すようなオフィスの画像が表示される。このように画像が表示されることによって、当該画像からオフィスにおいて人が移動する範囲をユーザは把握することができる。
ステップS1003において、ユーザ入力受付部103は、表示された画像に対する、監視対象の範囲を決定するための線を指定するユーザ入力を受け付ける(取得する)。従って、ユーザ入力受付部103は、図3Aが示すようなマウスやタッチパネルを用いた線301の指定を受け付ける。ユーザ入力受付部103は、受け付けた線の情報を領域決定部104に出力する。また、ユーザ入力受付部103は、当該線の情報を記憶部105に記憶してもよい。
なお、ユーザが指定する線は、図3Aが示すような自由曲線である必要はなく、図5Aが示すように、ユーザが複数の点を指定して、当該複数の点のうち隣接するもの同士を直線によって接続することによって形成された線であってもよい。
ステップS1004において、領域決定部104は、画像データと線の情報とを取得して、画像データと線の情報に基づき監視対象の範囲を決定する。本実施形態では、領域決定部104は、図3Bが示すように、ユーザが指定した線を所定の長さ分、太くした領域302が示す範囲を監視対象の範囲とし決定する。なお、本実施形態では、ユーザが指定した線の各点において法線方向(直交方向)に所定の長さ太くした領域302が示す範囲を監視対象の範囲として決定する。ここで、所定の長さは、ユーザ入力受付部103を介してユーザから入力されてもよいし、記憶部105が予め記憶しておいてもよい。なお、所定の長さは、画像データに対して適用されるため、1ピクセルを1単位とすることができる。領域決定部104は、決定した監視対象の範囲の情報を出力部106に出力する。なお、領域決定部104は、監視対象の範囲の情報を記憶部105に記憶してもよい。
ここで、ユーザが指定した線を太くする方法の一例を説明する。まず、領域決定部104は、線の情報に基づき、当該線において所定の間隔で複数の点を抽出し、当該複数の点において隣接する点同士を直線によって結ぶことによって、図5Aが示すような線301を生成する。ここで、所定の間隔は任意の長さであってよいが、所定の間隔が短いほど精度高く、ユーザが指定した線を太くすることができる。なお、ユーザが指定する線が、複数の点のうち隣接するもの同士を直線によって接続することによって形成された線であれば、このような処理は不要である。そして、領域決定部104は、線301における直線ごとに、当該直線に垂直な方向に所定の長さ分、太くする。このことによって、領域決定部104は、ユーザが指定した線を太くした領域を決定することができる。
例えば、図6が示すように、複数の点のうちの隣接する2つの点A1(x1,y1)=(2,2)、点A2(x2,y2)=(8,10)を接続する直線を所定の長さL1=10だけ太くする場合について説明する。ここで、点(0,0)は、画像データが示す画像の中心位置である。このとき、領域決定部104は、当該直線に垂直な2つの方向に所定の長さL1の1/2倍の長さ=5だけ、当該直線を太くする。そして、領域決定部104は、太くされた線が含まれる領域を監視対象の範囲を示す領域の一部として決定する。つまり、点B1(-2,5)、点B2(6,-1)、点B3(4,13)、点B4(12,7)の4点によって形成される破線により表された長方形が示す範囲が監視対象の範囲の一部として決定される。この一連の処理を、領域決定部104は、隣接する点によって形成される直線の数だけ実行することで、監視対象の範囲を決定することができる。
また、ユーザが指定した線を太くする方法としては、ユーザが指定した線の始点と終点と(線の端の2点)を結んだ直線を、当該直線と垂直な方向に太くするという方法もある。具体的には、図7Aが示すような、線401がユーザに指定された場合に、領域決定部104は、線401の端の2点である点B1と点B2とを結んだ直線B1B2を決定する。そして、領域決定部104は、直線B1B2に垂直な方向に、直線B1B2を所定の長さ分、太くする。このことによって、領域決定部104は、図7Bが示すように、ユーザが指定した線を太くした領域402を決定することができる。このような方法を用いることによれば、ユーザがほぼ直線的に線を指定した場合において、より少ないステップで、監視対象の範囲を決定することができる。
また、領域決定部104は、最小二乗法などの既知の方法で、ユーザが指定した線をn次(nは自然数)方程式f(x)に近似して、当該方程式を用いることによってユーザが指定した線の各点を太くしてもよい。具体的に、方程式f(x)が示す線の点(x1,f(x1))において線を太くさせる場合を説明する。ここで、f(x)をxで微分したf’(x)を用いると、点(x1,f(x1))における法線の傾きは-1/f’(x1)と示すことができる。従って、領域決定部104は、点(x1,f(x1))においては、当該傾きが示す方向に所定の長さ分、太くすればよい。このような処理を、ユーザが指定した線の各点で行えば、当該線を太くすることができる。
ステップS1005において、出力部106は、監視対象の範囲の情報を外部装置に出力する。ここで、出力部106は、撮像装置20やプリンタ、外部のサーバなどの任意の外部装置に対して監視対象の範囲の情報を出力することができる。なお、監視の処理を、情報処理装置10が実行する場合には、出力部106によって監視対象の範囲の情報を外部装置に出力する必要はない。
なお、本実施形態では、情報処理装置10と撮像装置20とが別途存在する例について説明したが、撮像装置20に相当する撮像部を情報処理装置10が有していてもよい。また、撮像装置20が、情報処理装置10の各機能部を有していてもよい。
[効果]
このように、本実施形態のように、ユーザは線を指定するだけで監視対象の範囲を決定することができるため、容易に監視対象の範囲を決定することができる。また、当該線を太くした領域が示す範囲が監視対象の範囲として決定されるので、当該線から離れた領域が示す範囲を監視対象とすることがなく、適切な範囲を監視対象に決定することができる。このため、所定の場所を監視する際に、人や物が移動する可能性のない範囲において、人や物の移動を検出する可能性を低減することができる。
<実施形態2>
実施形態1では、ユーザが指定した線を所定の長さ太くすることによって監視対象の範囲を決定したが、本実施形態では、画像データにおける境界位置に達する(到達する)まで線を太くする。このことによれば、実施形態1と比較して、監視対象の範囲をより適切に決定することができる。
本実施形態に係る情報処理システム1の構成は、実施形態1に係る構成と同様であるため詳細な説明は省略する。なお、図4が示すフローチャートにおける監視範囲の決定処理は、ステップS1004のみが異なるため、以下では、ステップS1004のみについて詳細に説明する。
ステップS1004において、領域決定部104は、画像データと線の情報とに基づき、監視対象の範囲を決定する。本実施形態では、領域決定部104は、ユーザが指定した線における各位置が、画像データにおける境界位置に達するまで線を太くする。ここで、境界位置とは、複数の領域や物体の境界などである。例えば、図3Aが示すようなオフィスにおいて、通路201に対して線301が指定されている場合には、領域決定部104は、線301の各点の法線方向に通路201と棚202との境界まで線301を太くする。従って、実施形態1とは異なり、実施形態2では、ユーザが指定した線の各点において法線方向の太さが異なる場合がある。このように、図5Bが示すように、領域決定部104は、線301が太くされた領域501が示す範囲を監視対象の範囲として決定する。
ここで、境界位置を決定する方法には任意の方法が適用することができる。例えば、画像データにおけるエッジ、画像データにおける色(画素値)の差分、画像データが含む高さ情報などに応じて、領域決定部104は、境界位置を決定することができる。ここで、高さ情報とは、画像データにおいて領域が広がる方向に対して垂直な方向の位置を示す情報であり、通常は、鉛直方向の位置の情報である。
画像データにおけるエッジを境界位置の決定に用いる場合には、領域決定部104は、まず、画像データからエッジの情報を抽出する。そして、領域決定部104は、境界位置をエッジ画素として、ユーザが指定した線の各位置が当該エッジ画素に達するまで当該線を太くして、当該線を太くした領域が示す範囲を監視対象の範囲として決定する。
画像データにおける色を境界位置の決定に用いる場合には、領域決定部104は、まず、画像データの各画素の色情報である画素値を取得する。そして、領域決定部104は、ユーザが指定した線の各点(各位置)の画素(各点が示す画像データにおける画素)との画素値の差が第1閾値より大きく異なる位置に達するまで、当該線を太くする。例えば、第1閾値を20として、線の或る画素の画素値を100とすると、当該点の法線方向において画素値120より大きい画素または画素値80より小さい画素が現れるまで、領域決定部104は当該点において線を太くする。領域決定部104は、この処理をユーザが指定した線の各点に対して実施して、当該線を太くした領域が示す範囲を監視対象の範囲として決定する。
画像データが含む高さ情報を境界位置の決定に用いる場合には、領域決定部104は、まず、画像データから、画像データにおける各画素の高さ情報を取得する。なお、高さ情報は、撮像装置20が有するセンサが画像データと同時に取得して、画像データに対して高さ情報を付加して情報処理装置10に送信するとよい。このとき、センサには、TOF(Time Of Flight)やLIDAR(Light Detection and Ranging)といった技術が適用可能である。そして、領域決定部104は、ユーザが指定した線の各点の位置の高さ(各点が示す画像データにおける位置の高さ)との差が第2閾値より大きく異なる高さの位置まで、当該線を太くする。例えば、第2閾値を30として、線における或る点の位置の高さを200とすると、当該点の法線方向において高さ230より大きい位置または高さ170より小さい位置が現れるまで、領域決定部104は当該点において線を太くする。領域決定部104は、この処理をユーザが指定した線の各点に対して実施して、当該線を太くした領域が示す範囲を監視対象の範囲として決定する。
[効果]
本実施形態のように、2つの領域の境界などの境界位置まで太くした線の領域が示す範囲を監視対象の範囲とすることによれば、人や物が移動する可能性のある範囲をより明確に決定することができる。このため、容易に監視対象の範囲を決定することができることに加えて、実施形態1よりも適切な監視対象を決定することができる。
<変形例1>
以下では、実施形態2よりも、ユーザが望む範囲を監視対象の範囲として決定することができる例を変形例1として説明する。ここで、図8Aが示すように、通路201の上部(通路201よりも高い位置)に看板や照明などの設置物602が設置されており、設置物602に跨るように線601が指定された場合を想定する。このような場合には、実施形態2では、図8Bが示すように領域603が示す範囲が監視対象の範囲として決定されてしまう。しかし、領域603に含まれる領域604が示す範囲は、棚202の上部に設置物602が設置されていると考えられるため、本来は監視の対象にすべきではない。また、同様に、領域603に含まれない領域605が示す範囲は、通路201に含まれる範囲であるため、本来は監視の対象にすべきである。つまり、実施形態2では、適切でない範囲が、監視対象の範囲として決定されてしまう可能性があった。これに対して、本変形例では、実施形態2のように境界位置に到達するまで線を太くした結果に基づいて、情報処理システムが線全体の太くさせる量を統一させることによって、監視対象の範囲をより適切に決定することができる。
本変形例に係る情報処理システム1の構成は、実施形態1に係る構成と同様であるため詳細な説明は省略する。なお、図4が示すフローチャートにおける監視範囲の決定処理は、ステップS1004のみが異なるため、以下では、ステップS1004のみについて詳細に説明する。
ステップS1004において、領域決定部104は、実施形態2と同様にユーザが指定した線の各点において境界位置に達するまで当該線を太くした場合の、各点における法線方向の太さを算出する。そして、領域決定部104は、算出した各点の法線方向の太さの平均値を算出して、当該平均値の分だけ各点を太くした領域が示す範囲を監視対象の範囲として決定する。つまり、本変形例では、実施形態1に係る線を太くするための所定の長さを当該平均値によって決定している。なお、平均値に限らず、例えば、最小値、最大値、中央値や最頻値などの代表値であってもよい。例えば、最大値を用いることによれば、広い範囲が監視対象の範囲に決定されるため、精度の高い監視(部品の精密検査のための監視など)をすべき場合に効果的であり、人や物の動きを監視し損ねる可能性が低減できる。また、最小値を用いることによれば、狭い範囲が監視対象の範囲に決定されるため、最低限の監視(照明の点灯のための人の通行の有無の監視など)をすべき場合に効果的であり、監視においてCPUやメモリの使用量を抑えることができる。
また、ユーザが指定した線の全ての点における算出した太さの平均値を用いる必要はなく、例えば、複数の点をランダムに決定して、当該複数の点における算出した太さの平均値を用いてもよい。さらには、ユーザが指定した線において所定の距離ごとに点を抽出して、当該抽出した複数の点における算出した太さの平均値を用いてもよい。または、ユーザが指定した線において設定画素値との画素値の差分が所定の閾値よりも小さい画素(画像データにおける画素)に対応する複数の点における算出した太さの平均値を用いてもよい。なお、設定画素値とは、ユーザが任意に設定(決定)した値であってもよいし、ユーザが指定した線の各点に対応する画素(画像データにおける画素)において最も多く存在した画素値であってもよい。
また、領域決定部104は、ユーザが指定した線に対して1つの代表値を決定する必要はない。つまり、領域決定部104は、ユーザが指定した線を分割した複数の第2の線ごとに、上述の方法により代表値を決定して、当該複数の第2の線ごとに代表値の長さ分、当該第2の線を太くしてもよい。そして、領域決定部104は、当該複数の第2の線を太くした領域が示す範囲を監視対象の範囲として決定してもよい。これによれば、例えば、図3Aが示すユーザが線301を指定した場合のように、場所によって通路201の幅が異なる場合に、当該場所に応じた太さに当該線をすることができるため、より精度高く監視対象の範囲を決定することができる。
[効果]
本変形例によれば、ユーザが指定した線を境界位置に到達するまで太くした結果に基づいて、当該線の太さを全体的に統一するため、本来するべきではない、線を局所的に太くしたり細くしたりする可能性を低減できる。つまり、監視対象の範囲をよりユーザが望む範囲に決定することができる。例えば、図8Aが示すように設置物602に跨るように線601が指定された場合にも、図8Cが示すように、通路201があると想定できる範囲を示す領域606を適切に決定でき、より精度高く監視対象の範囲を決定できる。
なお、本変形例によれば、実施形態1に係る線を太くするための所定の長さを、実施形態2に係る2つの領域や物の境界などである境界位置に基づいて決定しているともいえる。このため、ユーザ入力によらずに所定の長さを決定することが可能である。また、例えば、オフィスの配置が変化した場合における、再度の監視の対象範囲の決定に、以前に決定した所定の長さを使用することができるため、本変形例によれば、再度の監視の対象範囲の決定を実施形態2よりも処理数を少なく実現できる。
なお、上述した実施形態および変形例は、任意に組合せて実施することも可能である。また、情報処理装置10が取得する画像データは、撮像装置20から取得するものには限
られず、外部のサーバから取得するものであってもよい。従って、撮像装置20は、情報処理システム1において必須の構成ではない。また、上述では、ユーザが指定した線を太くする方向を法線方向としたが、法線方向から5度ずれた方向であったり、法線方向と略同一とみなせる範囲の方向であればよい。
(付記1)
所定の場所の監視対象の範囲を決定する情報処理装置(10)であって、
前記所定の場所が撮像された画像データに対してユーザが線を描いた情報を取得する取得手段(103)と、
前記線を太くした領域が示す範囲を前記監視対象の範囲として決定する決定手段(104)と、
を有する、
ことを特徴とする情報処理装置(10)。
(付記2)
所定の場所の監視対象の範囲を決定する範囲決定方法であって、
前記所定の場所が撮像された画像データに対してユーザが線を描いた情報を取得する取得ステップ(S1003)と、
前記線を太くした領域が示す範囲を前記監視対象の範囲として決定する決定ステップ(S1004)と、
を有する、
ことを特徴とする範囲決定方法。
1:情報処理システム、10:情報処理装置、20:撮像装置、101:画像取得部、
102:画像表示部、103:ユーザ入力受付部、104:領域決定部、
105:記憶部、106:出力部

Claims (15)

  1. 所定の場所の監視対象の範囲を決定する情報処理装置であって、
    前記所定の場所が撮像された画像データに対してユーザが線を描いた情報を取得する取得手段と、
    前記線を太くした領域が示す範囲を前記監視対象の範囲として決定する決定手段と、
    を有
    前記決定手段は、前記線の各点の位置において前記画像データが有する境界位置に達するまで当該線を太くした領域が示す範囲を前記監視対象の範囲として決定する、
    ことを特徴とする情報処理装置。
  2. 所定の場所の監視対象の範囲を決定する情報処理装置であって、
    前記所定の場所が撮像された画像データに対してユーザが線を描いた情報を取得する取得手段と、
    前記線を太くした領域が示す範囲を前記監視対象の範囲として決定する決定手段と、
    を有し、
    前記決定手段は、
    前記線の各点の位置において前記画像データが有する境界位置に達するまで当該線を太くする場合の当該各点の位置の太さを算出し、
    前記線のうちの複数の点の位置について算出した太さの代表値の長さ分、当該線を太くした領域が示す範囲を前記監視対象の範囲として決定する、
    ことを特徴とする情報処理装置。
  3. 前記代表値は、平均値である、
    ことを特徴とする請求項に記載の情報処理装置。
  4. 前記複数の点は、前記線の各点のうち、設定画素値との差分が所定の閾値よりも小さい画素値を有する画素に対応する点である、
    ことを特徴とする請求項またはに記載の情報処理装置。
  5. 前記設定画素値は、前記線の各点に対応する画素において、最も多くの画素が有する画素値である、
    ことを特徴とする請求項に記載の情報処理装置。
  6. 前記決定手段は、前記線を分割した複数の第2の線ごとの前記代表値を決定して、当該複数の第2の線ごとに当該代表値の長さ分、当該第2の線を太くした領域が示す範囲を前記監視対象の範囲として決定する、
    ことを特徴とする請求項からのいずれか1項に記載の情報処理装置。
  7. 前記境界位置は、前記画像データにおけるエッジ画素の位置である、
    ことを特徴とする請求項からのいずれか1項に記載の情報処理装置。
  8. 前記境界位置は、前記画像データにおいて、前記線の各点の位置の画素との画素値の差が第1閾値より大きく異なる画素の位置である、
    ことを特徴とする請求項からのいずれか1項に記載の情報処理装置。
  9. 前記画像データは、前記所定の場所の各位置の高さ情報を含んでおり、
    前記境界位置は、前記画像データにおいて、前記線の各点の位置との高さの差が第2閾値より大きく異なる位置である、
    ことを特徴とする請求項からのいずれか1項に記載の情報処理装置。
  10. 前記画像データに基づいた画像を表示する表示手段と、
    前記画像データに対する前記線を描くユーザ入力を受け付ける受付手段と、
    をさらに有する、
    ことを特徴とする請求項1からのいずれか1項に記載の情報処理装置。
  11. 撮像することによって前記画像データを取得する撮像手段をさらに有する、
    ことを特徴とする請求項1から10のいずれか1項に記載の情報処理装置。
  12. 所定の場所の監視対象の範囲を決定する範囲決定方法であって、
    前記所定の場所が撮像された画像データに対してユーザが線を描いた情報を取得する取得ステップと、
    前記線を太くした領域が示す範囲を前記監視対象の範囲として決定する決定ステップと、
    を有
    前記決定ステップでは、前記線の各点の位置において前記画像データが有する境界位置に達するまで当該線を太くした領域が示す範囲を前記監視対象の範囲として決定する、
    ことを特徴とする範囲決定方法。
  13. 請求項1に記載の範囲決定方法の各ステップをコンピュータに実行させるためのプログラム。
  14. 所定の場所の監視対象の範囲を決定する範囲決定方法であって、
    前記所定の場所が撮像された画像データに対してユーザが線を描いた情報を取得する取得ステップと、
    前記線を太くした領域が示す範囲を前記監視対象の範囲として決定する決定ステップと、
    を有し、
    前記決定ステップでは、
    前記線の各点の位置において前記画像データが有する境界位置に達するまで当該線を太くする場合の当該各点の位置の太さを算出し、
    前記線のうちの複数の点の位置について算出した太さの代表値の長さ分、当該線を太く
    した領域が示す範囲を前記監視対象の範囲として決定する、
    ことを特徴とする範囲決定方法。
  15. 請求項14に記載の範囲決定方法の各ステップをコンピュータに実行させるためのプログラム。
JP2019223712A 2019-12-11 2019-12-11 情報処理装置、範囲決定方法、プログラム Active JP7472482B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2019223712A JP7472482B2 (ja) 2019-12-11 2019-12-11 情報処理装置、範囲決定方法、プログラム
PCT/JP2020/043026 WO2021117444A1 (ja) 2019-12-11 2020-11-18 情報処理装置、範囲決定方法、プログラム
US17/778,324 US20230033125A1 (en) 2019-12-11 2020-11-18 Information processing device, range determination method, and program
CN202080083460.9A CN114762323A (zh) 2019-12-11 2020-11-18 信息处理装置、范围决定方法、程序
DE112020005244.3T DE112020005244T5 (de) 2019-12-11 2020-11-18 Informationsverarbeitungsvorrichtung, verfahren zur bereichsbestimmung und programm

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019223712A JP7472482B2 (ja) 2019-12-11 2019-12-11 情報処理装置、範囲決定方法、プログラム

Publications (2)

Publication Number Publication Date
JP2021093650A JP2021093650A (ja) 2021-06-17
JP7472482B2 true JP7472482B2 (ja) 2024-04-23

Family

ID=76312857

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019223712A Active JP7472482B2 (ja) 2019-12-11 2019-12-11 情報処理装置、範囲決定方法、プログラム

Country Status (5)

Country Link
US (1) US20230033125A1 (ja)
JP (1) JP7472482B2 (ja)
CN (1) CN114762323A (ja)
DE (1) DE112020005244T5 (ja)
WO (1) WO2021117444A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014236312A (ja) 2013-05-31 2014-12-15 キヤノン株式会社 設定装置および設定方法
JP2015039125A (ja) 2013-08-19 2015-02-26 キヤノン株式会社 監視装置
JP2018077637A (ja) 2016-11-08 2018-05-17 株式会社リコー 情報処理装置、情報処理システム、情報処理方法およびプログラム
WO2019230877A1 (ja) 2018-06-01 2019-12-05 日本電気株式会社 動線分析装置、動線分析方法、記録媒体、および動線分析システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014236312A (ja) 2013-05-31 2014-12-15 キヤノン株式会社 設定装置および設定方法
JP2015039125A (ja) 2013-08-19 2015-02-26 キヤノン株式会社 監視装置
JP2018077637A (ja) 2016-11-08 2018-05-17 株式会社リコー 情報処理装置、情報処理システム、情報処理方法およびプログラム
WO2019230877A1 (ja) 2018-06-01 2019-12-05 日本電気株式会社 動線分析装置、動線分析方法、記録媒体、および動線分析システム

Also Published As

Publication number Publication date
JP2021093650A (ja) 2021-06-17
US20230033125A1 (en) 2023-02-02
WO2021117444A1 (ja) 2021-06-17
CN114762323A (zh) 2022-07-15
DE112020005244T5 (de) 2022-08-18

Similar Documents

Publication Publication Date Title
US10237494B2 (en) Display control apparatus and display control method
US10810438B2 (en) Setting apparatus, output method, and non-transitory computer-readable storage medium
KR102170689B1 (ko) 영상 정합을 위한 특징점 샘플링 방법
RU2607774C2 (ru) Способ управления в системе захвата изображения, устройство управления и машиночитаемый носитель данных
US20100296698A1 (en) Motion object detection method using adaptive background model and computer-readable storage medium
JP2011505610A (ja) 画像センサデータに距離センサデータをマッピングする方法及び装置
JP6684475B2 (ja) 画像処理装置、画像処理方法及びプログラム
US10762372B2 (en) Image processing apparatus and control method therefor
CN109671136B (zh) 图像处理设备及方法以及非暂时性计算机可读存储介质
US11037014B2 (en) Image processing apparatus, image processing method, and non-transitory computer-readable storage medium
US9521397B2 (en) System and method for selecting a two-dimensional region of interest using a range sensor
JP2017097622A (ja) 情報処理装置、情報処理方法、及びプログラム
JP6229554B2 (ja) 検出装置および検出方法
JP6548920B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP7472482B2 (ja) 情報処理装置、範囲決定方法、プログラム
JP2009182624A (ja) 目標追尾装置
EP3309710A1 (en) Human body detection apparatus, control method for human body detection apparatus, and program
US10521653B2 (en) Image processing device, image processing method, and storage medium
JP2017028688A (ja) 画像管理装置、画像管理方法及びプログラム
JP6609181B2 (ja) 文字属性推定装置、及び文字属性推定プログラム
JP7364059B2 (ja) 撮像システム、撮像方法、及びコンピュータプログラム
US11457180B2 (en) Video monitoring support apparatus, video monitoring support method, and computer readable recording medium
GB2553103A (en) Method of angle detection
JP6808398B2 (ja) 制御装置、撮像装置、制御方法、及びプログラム
JP5602649B2 (ja) 画像検索システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221007

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231114

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240111

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240312

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240325

R150 Certificate of patent or registration of utility model

Ref document number: 7472482

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150