JP5152281B2 - Image processing apparatus, method, and program - Google Patents
Image processing apparatus, method, and program Download PDFInfo
- Publication number
- JP5152281B2 JP5152281B2 JP2010197928A JP2010197928A JP5152281B2 JP 5152281 B2 JP5152281 B2 JP 5152281B2 JP 2010197928 A JP2010197928 A JP 2010197928A JP 2010197928 A JP2010197928 A JP 2010197928A JP 5152281 B2 JP5152281 B2 JP 5152281B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- identifier
- coordinate system
- area
- range
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
Description
本発明は、許容された範囲の画像を出力する画像処理装置、画像処理方法及び画像処理プログラムに関する。 The present invention relates to an image processing apparatus, an image processing method, and an image processing program that output an image in an allowable range.
他社(者)の管理下にあるシステムを保守する際に、対象となる機器が多種多様に渡っている場合がある。この場合に、保守員がそれらの機器全ての保守方法を事前に熟知することは、人材教育の面からして工数がかかり、困難である。 When maintaining a system under the control of another company (person), there may be a wide variety of target devices. In this case, it is difficult for maintenance personnel to know in advance how to maintain all of these devices because it takes man-hours in terms of human resource education.
また、近年は退職により熟練者数が減少しており、全保守現場に熟練者を派遣する事が困難になっている。そのため、現場に行く保守員が全ての機器の知識を有していない場合もあり、この場合には、遠隔地にいる人に現場の状況を伝達し、支援をもらうこととなる。 In recent years, the number of skilled workers has decreased due to retirement, making it difficult to dispatch skilled workers to all maintenance sites. For this reason, the maintenance staff who goes to the site may not have knowledge of all the devices, and in this case, the situation at the site is communicated to a person at a remote location for assistance.
ここで、保守員が作業現場に行き、作業の支援や助言を遠隔地にいる熟練者から得るために、現場の状況を撮影して、画像(静止画像又は動画像)を送信する場合がある。しかし、保守現場が他社(者)の管理エリアの場合には、カメラの持ち込みや撮影禁止などの制約が設けられている場合が多く、画像を熟練者に送信できないことがある。 Here, there are cases where maintenance personnel go to the work site and photograph the situation at the site and send an image (a still image or a moving image) in order to obtain work support and advice from a remote expert. . However, when the maintenance site is a management area of another company (person), there are many restrictions such as bringing in cameras or prohibiting photographing, and the image may not be transmitted to an expert.
また、カメラの持込が禁止されている現場の状況を伝達するには、電話を用いることになるが、音声だけだと現場の状況がなかなか伝わらず、時間の浪費や勘違い、見落としによる保守対応時間の長時間化、保守対応誤りによるさらなる障害発生などの懸念がある。 In addition, a telephone is used to communicate the situation of the site where camera entry is prohibited. However, if only the voice is used, the situation of the site is not easily communicated, and maintenance is handled due to wasted time, misunderstanding, and oversight. There are concerns that the time will be lengthened and that further failures will occur due to errors in maintenance.
このような課題に対応するシステムとして、例えば、特許文献1には、撮影した後に、映像において見せる部分と見せない部分とを指定することのできる映像処理システムが記載されている。
As a system corresponding to such a problem, for example,
特許文献1に記載された方法では、映像のうちの見せる部分と見せない部分とを、映像に含まれる予め機器等に取り付けたマーカに基づいて識別する。そのため、この方法を用いるためには、機器にマーカを取り付けておくなどの事前の作業が必要である。
In the method described in
しかし、現実的には、機器のメンテナンス時は、いつどの機器が故障するか分からないため、マーカを事前に機器に取り付けておくことは困難である。 However, in reality, it is difficult to attach a marker to a device in advance because it is not known when and which device will fail during device maintenance.
また、現場の照明が暗いとマーカを認識し辛いということが考えられる。特に機器を設置しているデータセンタでは、暗い場所で作業を行う場合があり、マーカを認識するだけの明るさを確保できない場合がある。 In addition, it is considered that it is difficult to recognize the marker when the on-site lighting is dark. In particular, in a data center in which equipment is installed, there are cases where work is performed in a dark place, and there is a case where brightness sufficient for recognizing a marker cannot be secured.
そこで、本発明は、事前に機器等に取り付けたマーカを用いることなく、画像のうちの見せる範囲と見せない範囲とを指定することができる画像処理装置、画像処理方法及び画像処理プログラムを提供することを目的とする。 Therefore, the present invention provides an image processing apparatus, an image processing method, and an image processing program capable of designating a visible range and an invisible range in an image without using a marker attached to a device or the like in advance. For the purpose.
本発明による画像処理装置は、撮影手段の撮影位置を示す位置情報を取得可能な位置情報取得手段と、撮影手段が撮影している方位を示す方位情報を取得可能な方位情報取得手段と、位置情報取得手段が取得した位置情報と方位情報取得手段が取得した方位情報とに基づいて、撮影手段が撮影した物体の画像を記憶部が記憶している三次元座標系に対応付ける座標系対応付け手段と、ユーザが画像中の任意の点を指定する操作を行うと、画像中の任意の点に識別子を付加する識別子付加手段と、識別子付加手段が付加した各識別子によって三次元座標系上に定められる領域を特定する領域特定手段と、画像のうちの領域特定手段が特定した領域以外が映る範囲にマスク処理を行うマスク処理手段とを含むことを特徴とする。 An image processing apparatus according to the present invention includes a position information acquisition unit that can acquire position information indicating a shooting position of a shooting unit, a direction information acquisition unit that can acquire direction information indicating a direction in which the shooting unit is shooting, Coordinate system associating means for associating the image of the object photographed by the photographing means with the three-dimensional coordinate system stored in the storage unit based on the position information obtained by the information obtaining means and the azimuth information obtained by the azimuth information obtaining means. When the user performs an operation for designating an arbitrary point in the image, an identifier adding unit for adding an identifier to the arbitrary point in the image, and each identifier added by the identifier adding unit is defined on the three-dimensional coordinate system. And a mask processing means for performing mask processing in a range where an area other than the area specified by the area specifying means in the image is shown.
本発明による他の態様の画像処理装置は、撮影手段の撮影位置を示す位置情報を取得可能な位置情報取得手段と、撮影手段が撮影している方位を示す方位情報を取得可能な方位情報取得手段と、位置情報取得手段が取得した位置情報と方位情報取得手段が取得した方位情報とに基づいて、撮影手段が撮影した物体の画像を記憶部が記憶している三次元座標系に対応付ける座標系対応付け手段と、ユーザが画像中の任意の点を指定する操作を行うと、画像中の任意の点に識別子を付加する識別子付加手段と、識別子付加手段が付加した各識別子によって三次元座標系上に定められる領域を特定する領域特定手段と、画像のうちの領域特定手段が特定した領域が映る範囲にマスク処理を行うマスク処理手段とを含むことを特徴とする。 An image processing apparatus according to another aspect of the present invention includes a position information acquisition unit capable of acquiring position information indicating a shooting position of a shooting unit, and a direction information acquisition capable of acquiring direction information indicating a direction taken by the shooting unit. Coordinates that associate the image of the object photographed by the photographing means with the three-dimensional coordinate system stored in the storage unit based on the means, the position information obtained by the position information obtaining means and the orientation information obtained by the orientation information obtaining means a system correlating means, when the user performs an operation of designating an arbitrary point in the image, an identifier adding means for adding an identifier to any point in the image, the three-dimensional locus by each identifier identifier adding means is added The image processing apparatus includes: an area specifying unit that specifies an area defined on the standard system; and a mask processing unit that performs a mask process on a range in which the area specified by the area specifying unit in the image is reflected.
本発明による映像マスク範囲指定方法は、撮影手段の撮影位置を示す位置情報を取得し、撮影手段が撮影している方位を示す方位情報を取得し、取得した位置情報と方位情報とに基づいて、撮影手段が撮影した物体の画像を記憶部が記憶している三次元座標系に対応付け、ユーザが画像中の任意の点を指定する操作を行うと、画像中の任意の点に識別子を付加し、付加した各識別子によって三次元座標系上に定められる領域を特定し、画像のうちの特定した領域以外が映る範囲にマスク処理を行うことを特徴とする。 The video mask range designation method according to the present invention acquires position information indicating the shooting position of the shooting means, acquires azimuth information indicating the direction in which the shooting means is shooting, and based on the acquired position information and azimuth information. When the user performs an operation of specifying an arbitrary point in the image by associating the image of the object captured by the imaging unit with the three-dimensional coordinate system stored in the storage unit, an identifier is assigned to the arbitrary point in the image. In addition, an area defined on the three-dimensional coordinate system is specified by each added identifier, and mask processing is performed on a range in which an area other than the specified area in the image is reflected.
本発明による映像マスク範囲指定プログラムは、コンピュータに、撮影手段の撮影位置を示す位置情報を取得可能な位置情報取得処理と、撮影手段が撮影している方位を示す方位情報を取得可能な方位情報取得処理と、取得した位置情報と方位情報とに基づいて、撮影手段が撮影した物体の画像を記憶部が記憶している三次元座標系に対応付ける座標系対応付け処理と、ユーザが画像中の任意の点を指定する操作を行うと、画像中の任意の点に識別子を付加する識別子付加処理と、付加した各識別子によって三次元座標系上に定められる領域を特定する領域特定処理と、画像のうちの特定した領域以外が映る範囲にマスクをかけるマスク処理とを実行させることを特徴とする。 The image mask range specification program according to the present invention is a computer that stores position information acquisition processing that can acquire position information indicating the shooting position of the imaging means, and orientation information that can acquire orientation information indicating the direction in which the imaging means is shooting. Based on the acquisition process, the acquired position information and orientation information, a coordinate system association process for associating the image of the object captured by the imaging unit with the three-dimensional coordinate system stored in the storage unit; When an operation for specifying an arbitrary point is performed, an identifier adding process for adding an identifier to an arbitrary point in the image, an area specifying process for specifying an area defined on the three-dimensional coordinate system by each added identifier, and an image And a mask process for applying a mask to a range in which a region other than the specified region is shown.
本発明によれば、事前に機器等に取り付けたマーカを用いることなく、画像のうちの見せる範囲と見せない範囲とを指定することができる。 According to the present invention, it is possible to designate a range to be shown and a range not to be shown in an image without using a marker attached to a device or the like in advance.
実施形態1.
以下、本発明の実施形態について図面を参照して説明する。図1は、本発明による画像処理装置の構成例を示すブロック図である。図1に示すように、画像処理装置は、カメラ10、入力手段11、座標系対応付け手段12、識別子付加手段13、モザイク処理エリア判定手段14、モザイク処理手段15および画像送信手段16を含む。画像処理装置は、具体的には、プログラムに従って動作するパーソナルコンピュータ等の情報処理装置によって実現される。
Embodiments of the present invention will be described below with reference to the drawings. FIG. 1 is a block diagram showing a configuration example of an image processing apparatus according to the present invention. As shown in FIG. 1, the image processing apparatus includes a
なお、本実施形態では、単一の装置である画像処理装置が上記の各手段を含む構成例について説明するが、これに限らず、例えば、カメラ10が異なる装置によって実現され、カメラ10と画像処理装置とが相互にデータ通信可能な構成であってもよい。
In the present embodiment, a configuration example in which the image processing apparatus, which is a single apparatus, includes each of the above-described units will be described. However, the present invention is not limited to this. For example, the
カメラ10は、具体的には、デジタルカメラやデジタルビデオカメラ等の撮影機器によって実現される。カメラ10は、撮影した物体の画像データ(静止画像データまたは動画像データ)を座標系対応付け手段12に出力する。
Specifically, the
入力手段11は、具体的には、マウスやキーボード、タッチパネル等の入力装置によって実現される。入力手段11は、ユーザの操作に従って、情報を入力する機能を備えている。
Specifically, the
座標系対応付け手段12は、具体的には、プログラムに従って動作する情報処理装置のCPUによって実現される。座標系対応付け手段12は、画像データを予め記憶部(図示せず)が記憶している座標系に対応付ける機能を備えている。
Specifically, the coordinate
識別子付加手段13は、具体的には、プログラムに従って動作する情報処理装置のCPUによって実現される。識別子付加手段13は、ユーザが入力手段11を用いて画像中の任意の点を指定する操作を行うと、入力手段11が入力する入力情報に基づいて、画像データに識別子を付加する機能を備えている。
Specifically, the
モザイク処理エリア判定手段14は、具体的には、プログラムに従って動作する情報処理装置のCPUによって実現される。モザイク処理エリア判定手段14は、識別子付加手段13が画像データに付加した識別子に基づいて、画像をそのまま送信して良い範囲と画像にモザイク処理を行う範囲とが指定されているか否かを判定する機能を備えている。なお、本実施形態では、外部に送信してはいけない範囲にモザイク処理を行うが、これに限らず、塗りつぶし等の視認不可能にする処理を行うようにしてもよい。
Specifically, the mosaic processing
モザイク処理手段15は、具体的には、プログラムに従って動作する情報処理装置のCPUによって実現される。モザイク処理手段15は、モザイク処理判定手段16の判定結果に基づいて、画像データにモザイク処理を行う機能を備えている。
Specifically, the
画像送信手段16は、具体的には、プログラムに従って動作する情報処理装置のCPUおよびネットワークインタフェース部によって実現される。画像送信手段16は、インターネット等の通信ネットワークを介して、画像データを送信する機能を備えている。
Specifically, the
図2は、画像を送信可能な範囲とモザイク処理を行う範囲との指定例を示す説明図である。図2に示す例では、保守エリア21において、画像を送信可能な範囲である画像送信可能範囲26を、第1の識別子22と、第2の識別子23と、第3の識別子24と、第4の識別子25とで指定している。具体的には、各識別子を頂点として形成される四角形の内側については画像を送信可能な範囲とし、外側についてはモザイク処理を行う範囲としている。なお、本例では、4個の識別子を用いて範囲を指定する場合について説明するが、4個に限らず3個や5個など、指定する範囲の形に応じて識別子の数を変更してもよい。
FIG. 2 is an explanatory diagram illustrating an example of specifying a range in which an image can be transmitted and a range in which mosaic processing is performed. In the example illustrated in FIG. 2, in the
次に、画像処理装置の動作について説明する。図3は、画像処理装置が実行する処理例を示す流れ図である。なお、本実施形態では、カメラ10は、固定カメラによって実現されており、撮影位置や向きの変更を行わないものとする。
Next, the operation of the image processing apparatus will be described. FIG. 3 is a flowchart illustrating an example of processing executed by the image processing apparatus. In the present embodiment, the
まず、保守員が作業現場において、撮影機器を起動して撮影する操作を行うと、カメラ10は、保守員の操作に従って、作業現場の撮影を開始する(ステップS101)。
First, when a maintenance person performs an operation of starting and photographing an imaging device at a work site, the
次いで、座標系対応付け手段12は、カメラ10が撮影した物体の画像データを予め記憶部が記憶している(二次元)座標系に対応付ける(ステップS102)。
Next, the coordinate
次いで、識別子付加手段13は、送信可能な範囲が指定されているか否かを示す値であるnについて、n=0と設定する初期化処理を行う(ステップS103)。
Next, the
ここで、保守員は、入力手段11を用いて、撮影している範囲のうち、外部に送信可能な範囲を指定する操作を行う。例えば、保守員は、タッチパネル等によって実現される入力手段11を用いて、画像中の任意の点を指定する操作を行う。すると、識別子付加手段13は、保守員の操作に従って入力手段11が入力した情報に基づいて、画像データに識別子を付加する(ステップS104)。
Here, the maintenance staff uses the
次いで、モザイク処理エリア判定手段14は、画像データの画像解析処理を実行し(ステップS105)、画像データに識別子が含まれているか否かを判定する(ステップS106)。
Next, the mosaic processing
ステップS106において含まれていないと判定すると、モザイク処理エリア判定手段14は、処理をステップS104に戻す。その後、ステップS104以降の処理を繰り返す。なお、このとき例えば、モザイク処理エリア判定手段14は、識別子を付加する処理が成功していない旨のメッセージを表示部に表示させ、保守員に再入力を促すようにしてもよい。
If it is determined that it is not included in step S106, the mosaic processing
一方、ステップS106において含まれていると判定すると、モザイク処理エリア判定手段14は、画像データに対応付けた座標系に基づいて、付加した識別子の座標を示す座標データを記憶部に記憶させる。そして、モザイク処理エリア判定手段14は、n=1(すなわち、送信可能な範囲が指定されている)であるか否かを判定する(ステップS107)。
On the other hand, if it is determined that the image is included in step S106, the mosaic processing
ステップS107において、n=1でない(すなわち、送信可能な範囲が指定されていない)と判定した場合、モザイク処理エリア判定手段14は、画像データに識別子が4個含まれているか否かを判定する(ステップS108)。
In step S107, when it is determined that n = 1 is not satisfied (that is, a transmittable range is not specified), the mosaic processing
ステップS108において、4個含まれていないと判定した場合には、モザイク処理エリア判定手段14は、処理をステップS104に戻す。その後、ステップS106以降の処理を繰り返す。なお、このとき例えば、モザイク処理エリア判定手段14は、送信可能な範囲を指定するために続けて識別子を付加する必要がある旨のメッセージを表示部に表示させ、保守員に次の入力操作を促すようにしてもよい。
If it is determined in step S108 that four are not included, the mosaic processing
一方、ステップS108において、4個含まれていると判定した場合には、モザイク処理エリア判定手段14は、各識別子の座標データを記憶部に記憶させるとともに、nについて、n=1と設定する処理を行う(ステップS109)。その後、モザイク処理エリア判定手段14は、処理をステップS110に移行する。
On the other hand, when it is determined in step S108 that four are included, the mosaic processing
ステップS107においてn=1であると判定した場合、またはステップS109においてn=1と設定した場合には、モザイク処理手段15は、記憶部が記憶している各識別子の座標データに基づいて、送信可能な範囲を特定し、それ以外の範囲をモザイク処理する(ステップS110)。
If it is determined in step S107 that n = 1, or if n = 1 is set in step S109, the
具体的には、モザイク処理手段15は、各識別子によって座標系上に定められる領域を特定し、画像のうちの特定した領域が映る範囲を送信可能な範囲として特定する。そして、モザイク処理手段15は、画像のうちの特定した領域以外が映る範囲についてモザイク処理を行う。なお、本例では画像のうちの特定した領域以外が映る範囲をモザイク処理しているが、これに限らず、特定した領域が映る範囲のみをモザイク処理するようにしてもよい。
Specifically, the
次いで、画像送信手段16は、モザイク処理手段15が一部の範囲をモザイク処理した画像データを、インターネット等の通信ネットワークを介して、外部に送信する(ステップS111)。このことによって、遠隔地にいる熟練者に必要な範囲に限定して画像データを送信することができる。そのため、保守員は、機密保持という顧客との制約を守りつつ、保守対象の機器の画像を見た熟練者からアドバイスを受けることができる。
Next, the
以上のように、本実施形態では、作業時に表示部等に表示された画像を見ながら画像送信範囲を指定する。そのため、事前に機器等に取り付けたマーカを用いることなく、画像のうちの見せる範囲と見せない範囲とを指定することができる。また、事前に機器等に取り付けたマーカを用いないので、作業場所の明るさに関係なく、画像のうちの見せる範囲と見せない範囲とを指定することができる。 As described above, in the present embodiment, the image transmission range is designated while viewing the image displayed on the display unit or the like during the work. For this reason, it is possible to designate a range to be shown and a range not to be shown in an image without using a marker attached to a device or the like in advance. In addition, since a marker attached to a device or the like is not used in advance, it is possible to designate a visible range and a non-visible range in the image regardless of the brightness of the work place.
実施形態2.
次に、本発明の第2の実施形態について図面を参照して説明する。図4は、画像処理装置の第2の実施形態の構成例を示すブロック図である。本実施形態では、画像処理装置は、図1に示す第1の実施形態における構成に加えて、方位情報取得手段17および位置情報取得手段18を含む。また、本実施形態では、カメラ10は、第1の実施形態のように固定されておらず、移動して撮影可能である。
Embodiment 2. FIG.
Next, a second embodiment of the present invention will be described with reference to the drawings. FIG. 4 is a block diagram illustrating a configuration example of the second embodiment of the image processing apparatus. In the present embodiment, the image processing apparatus includes an orientation
方位情報取得手段17は、具体的には、地磁気センサによって実現される。方位情報取得手段17は、カメラ10が撮影している方位を検出し、方位情報として出力する機能を備えている。
Specifically, the azimuth
位置情報取得手段18は、カメラ10の撮影位置を示す位置情報を取得する機能を備えている。位置情報取得手段18は、例えば、屋外ではGPS衛星が発するGPS信号を受信し、受信したGPS信号に基づいて、位置情報を算出する。
The position
次に、画像処理装置の第2の実施形態の動作について、図5を参照して説明する。 Next, the operation of the second embodiment of the image processing apparatus will be described with reference to FIG.
本実施形態における画像処理装置の動作は、第1の実施形態における動作と比較して、ステップS101とS102との間に、ステップS201およびS202を含む点で異なる。また、ステップS102において、座標系対応付け手段12が画像データを3次元の座標系に対応付ける点で異なる。以下、第1の実施形態と異なる点についてのみ説明する。
The operation of the image processing apparatus in the present embodiment is different from the operation in the first embodiment in that steps S201 and S202 are included between steps S101 and S102. In step S102, the coordinate
ステップS101で作業現場の撮影を開始すると、位置情報取得手段18は、撮影位置を示す位置情報を取得し、座標系対応付け手段12に出力する(ステップS201)。例えば、位置情報取得手段18は、GPS衛星が発するGPS信号を受信し、受信したGPS信号に基づいて、撮影位置を示す位置情報を算出し、座標系対応付け手段12に出力する。
When shooting of the work site is started in step S101, the position
次いで、方位情報取得手段17は、カメラ10が撮影している方位を検出し、方位情報として座標系対応付け手段12に出力する(ステップS202)。なお、ステップS201とS202とは、逆の順序で処理を実行してもよい。
Next, the azimuth
次いで、座標系対応付け手段12は、位置情報取得手段18が出力した位置情報と方位情報取得手段17が出力した方位情報とに基づいて、カメラ10が撮影した物体の画像データを予め記憶部が記憶している三次元の座標系に対応付ける(ステップS102)。座標系対応付け手段12は、例えば、撮影位置および既知の物体の画像中の座標を数点抽出して計算を行うことにより、画像データを座標系に対応付ける。また、本実施形態では、座標系対応付け手段12は、カメラ10が移動等して撮影範囲が変化する度に、あらためて撮影した物体の画像データを3次元の座標系に対応付ける。
Next, the coordinate
以降については、第1の実施形態と同様の処理を実行する。このことによって、本実施形態では、移動して撮影可能なカメラであっても、事前に機器等に取り付けたマーカを用いることなく、画像のうちの見せる範囲と見せない範囲とを指定することができる。また、事前に機器等に取り付けたマーカを用いないので、作業場所の明るさに関係なく、画像のうちの見せる範囲と見せない範囲とを指定することができる。 Thereafter, the same processing as in the first embodiment is executed. Thus, in this embodiment, even if the camera can be moved and photographed, it is possible to specify the range that can be shown and the range that cannot be shown without using a marker attached to the device or the like in advance. it can. In addition, since a marker attached to a device or the like is not used in advance, it is possible to designate a visible range and a non-visible range in the image regardless of the brightness of the work place.
また、本実施形態では、一度4個の識別子を認識した後には、以後の画像中に識別子が1個しか含まれていなくても、その識別子の座標データに基づいて、画像送信範囲とモザイク処理を行う範囲との認識を行い、モザイク処理を行う。一例を図4示す。 Further, in the present embodiment, after four identifiers are recognized once, even if only one identifier is included in the subsequent images, the image transmission range and mosaic processing are performed based on the coordinate data of the identifiers. It recognizes the range to perform and performs mosaic processing. An example is shown in FIG.
図4は、送信可能範囲の一例を示す説明図である。図4に示すように、画像撮影範囲200に、送信可能な範囲として指定した四角形の領域のうちの左上の頂点に該当する第1の識別子22のみ含まれている場合を想定する。この場合、第1の識別子より右下に位置する画像送信範囲201を送信可能な範囲とし、それ以外の範囲についてはモザイク処理を行う範囲として認識する。
FIG. 4 is an explanatory diagram illustrating an example of a transmittable range. As shown in FIG. 4, it is assumed that the
また、上記の実施形態とは別の方法として、画像解析により画像を送信して良い機器を特定し、特定した機器のみの画像を送信し、機器以外の領域はモザイク処理を施す方法がある。 Further, as a method different from the above-described embodiment, there is a method of specifying a device that can transmit an image by image analysis, transmitting an image of only the specified device, and performing a mosaic process on a region other than the device.
具体的には、例えば、画像を解析し、画像中に存在する機器を特定する。そして、画像解析により特定した機器の部分の画像と、予め記憶している外部に送信しても良い機器の画像との類似度を算出し、算出した類似度が閾値以上であるか否かを判定する。閾値以上であると判定すれば、特定した機器の部分の領域については加工することなく画像を送信し、機器以外の領域にはモザイク処理を施す。 Specifically, for example, an image is analyzed to identify a device that exists in the image. Then, the similarity between the image of the part of the device specified by the image analysis and the image of the device that may be transmitted to the outside stored in advance is calculated, and whether or not the calculated similarity is equal to or greater than a threshold value. judge. If it is determined that the value is equal to or greater than the threshold value, the image is transmitted without processing the area of the specified device portion, and mosaic processing is performed on the area other than the device.
このことによって、本実施形態では、事前に機器等に取り付けたマーカを用いることなく、画像のうちの見せる範囲と見せない範囲とを指定することができる。また、事前に機器等に取り付けたマーカを用いないので、作業場所の明るさに関係なく、画像のうちの見せる範囲と見せない範囲とを指定することができる。 Thus, in the present embodiment, it is possible to specify a range that can be shown and a range that cannot be shown in the image without using a marker attached to the device or the like in advance. In addition, since a marker attached to a device or the like is not used in advance, it is possible to designate a visible range and a non-visible range in the image regardless of the brightness of the work place.
以上のことから、本発明は、以下のような特徴を有するといえる。 From the above, it can be said that the present invention has the following characteristics.
本発明は、カメラ持込や撮影禁止などの制限がかかっている他社(者)の管理エリアで保守などを実施する場合に、カメラで撮影した物体の画像を遠隔に送信する際に、領域を指定する操作を行うことで必要とする範囲の画像のみを送信し、範囲外の画像にモザイクなどのマスク処理を施す。このことにより、他社(者)の管理エリアから画像の送信承諾を可能とする事を特徴とする。 In the present invention, when performing maintenance etc. in the management area of another company (person) where restrictions such as camera bring-in or shooting prohibition are applied, the area is set when transmitting an image of an object photographed by the camera remotely. By performing the designated operation, only the image in the necessary range is transmitted, and a mask process such as mosaic is performed on the image outside the range. As a result, it is possible to permit image transmission from a management area of another company (person).
また、以上のことから、本発明は、以下のような効果を奏するといえる。 From the above, it can be said that the present invention has the following effects.
第一の効果は、予めマーカ等を取り付けていなくても、画像の送信が禁止されているエリアの画像を遠隔に送信し熟練者の指示を得ることが出来る点である。これは、座標系に対応付けた画像データに識別子を付加することで、画像を送信する範囲を特定エリアや機器のみに絞り、それ以外の画像にはモザイク処理を行うためである。 The first effect is that even if a marker or the like is not attached in advance, an image of an area where image transmission is prohibited can be transmitted remotely to obtain an instruction from an expert. This is because by adding an identifier to the image data associated with the coordinate system, the range in which the image is transmitted is limited to a specific area or device, and mosaic processing is performed on other images.
第二の効果は、カメラを近づけて撮影する場合に識別子が1個しか映っていなくても画像を送信する範囲を認識でき、範囲外の画像にはモザイク処理できる点である。これは、一度全ての識別子を認識すると識別子の番号と位置を記憶するため、以降は1個の識別子が映っている状態においても画像送信範囲とモザイク処理範囲が識別できる為である。 The second effect is that when an image is taken close to the camera, the image transmission range can be recognized even if only one identifier is shown, and mosaic processing can be performed for images outside the range. This is because, once all the identifiers are recognized, the identifier numbers and positions are stored, so that the image transmission range and the mosaic processing range can be identified even when one identifier is shown.
なお、本実施形態では、画像内の物体等を視認不能にするマスク処理としてモザイク処理(フィルタリング処理)が用いられているが、マスク処理として他の処理を用いてもよい。一例として、黒画素に置き換える処理や白画素に置き換える処理を用いることができる。 In the present embodiment, mosaic processing (filtering processing) is used as mask processing that makes an object or the like in an image invisible, but other processing may be used as mask processing. As an example, a process of replacing with a black pixel or a process of replacing with a white pixel can be used.
次に、本発明による画像処理装置の最小構成について説明する。図7は、画像処理装置の最小の構成例を示すブロック図である。図7に示すように、画像処理装置は、最小の構成要素として、座標系対応付け手段1と、識別子付加手段2と、領域特定手段3と、マスク処理手段4とを含む。
Next, the minimum configuration of the image processing apparatus according to the present invention will be described. FIG. 7 is a block diagram illustrating a minimum configuration example of the image processing apparatus. As shown in FIG. 7, the image processing apparatus includes a coordinate
図7に示す最小構成の画像処理装置では、座標系対応付け手段1は、カメラ等の撮影手段が撮影した物体の画像を記憶部が記憶している座標系に対応付ける。そして、ユーザが画像中の任意の点を指定する操作を行うと、識別子付加手段2は、画像中の任意の点に識別子を付加する。次いで、領域特定手段3は、識別子付加手段2が付加した各識別子によって座標系上に定められる領域を特定する。次いで、マスク処理手段4は、画像のうちの領域特定手段3が特定した領域以外が映る範囲にマスク処理を行う。
In the image processing apparatus having the minimum configuration shown in FIG. 7, the coordinate
従って、最小構成の画像処理装置によれば、事前に撮影範囲に含まれる機器等に取り付けたマーカを用いることなく、画像のうちの見せる範囲と見せない範囲とを指定することができる。 Therefore, according to the image processing apparatus having the minimum configuration, it is possible to designate a range that can be seen and a range that cannot be seen without using a marker attached to a device or the like included in the imaging range in advance.
なお、本実施形態では、以下の(1)〜(5)に示すような画像処理装置の特徴的構成が示されている。 In the present embodiment, the characteristic configuration of the image processing apparatus as shown in the following (1) to (5) is shown.
(1)画像処理装置は、撮影手段(例えば、カメラ10)が撮影した物体の画像を記憶部が記憶している座標系に対応付ける座標系対応付け手段(例えば、座標系対応付け手段12によって実現される)と、ユーザが画像中の任意の点を指定する操作を行うと、画像中の任意の点に識別子(例えば、第1の識別子22)を付加する識別子付加手段(例えば、識別子付加手段13によって実現される)と、識別子付加手段が付加した各識別子によって座標系上に定められる領域を特定する領域特定手段(例えば、モザイク処理エリア判定手段14およびモザイク処理手段15によって実現される)と、画像のうちの領域特定手段が特定した領域以外が映る範囲にマスク処理を行うマスク処理手段(例えば、モザイク処理手段15によって実現される)とを含むことを特徴とする。 (1) The image processing apparatus is realized by a coordinate system association unit (for example, the coordinate system association unit 12) that associates an image of an object captured by the imaging unit (for example, the camera 10) with the coordinate system stored in the storage unit. When the user performs an operation for designating an arbitrary point in the image, an identifier adding unit (for example, an identifier adding unit) that adds an identifier (for example, the first identifier 22) to the arbitrary point in the image. 13) and area specifying means for specifying an area defined on the coordinate system by each identifier added by the identifier adding means (for example, realized by the mosaic processing area determining means 14 and the mosaic processing means 15); , Mask processing means (for example, realized by the mosaic processing means 15) that performs mask processing in a range where an area other than the area specified by the area specifying means in the image is shown. Characterized in that it comprises a that).
(2)画像処理装置において、撮影手段の撮影位置を示す位置情報を取得可能な位置情報取得手段(例えば、位置情報取得手段18によって実現される)と、撮影手段が撮影している方位を示す方位情報を取得可能な方位情報取得手段(例えば、方位情報取得手段17によって実現される)とを含み、座標系対応付け手段は、位置情報取得手段が取得した位置情報と方位情報取得手段が取得した方位情報とに基づいて、撮影手段が撮影した物体の画像を記憶部が記憶している三次元座標系に対応付けるように構成されていてもよい。 (2) In the image processing apparatus, position information acquisition means (for example, realized by the position information acquisition means 18) that can acquire position information indicating the shooting position of the image pickup means, and the direction in which the image pickup means is shooting Including a direction information acquisition unit (for example, realized by the direction information acquisition unit 17) capable of acquiring the direction information. The coordinate system association unit acquires the position information acquired by the position information acquisition unit and the direction information acquisition unit. Based on the orientation information, the image of the object photographed by the photographing means may be associated with the three-dimensional coordinate system stored in the storage unit.
(3)画像処理装置において、座標系対応付け手段は、撮影手段が撮影範囲を変更するたびに撮影手段が撮影した物体の画像を記憶部が記憶している三次元座標系に対応付けるように構成されていてもよい。 (3) In the image processing apparatus, the coordinate system association unit is configured to associate the image of the object captured by the imaging unit with the three-dimensional coordinate system stored in the storage unit every time the imaging unit changes the imaging range. May be.
(4)画像処理装置において、領域特定手段は、識別子付加手段が付加した各識別子の座標を頂点として座標系上に形成される領域を特定するように構成されていてもよい。 (4) In the image processing apparatus, the region specifying unit may be configured to specify a region formed on the coordinate system with the coordinates of each identifier added by the identifier adding unit as vertices.
(5)画像処理装置において、マスク処理手段は、画像のうちの領域特定手段が特定した領域が映る範囲にマスク処理を行うように構成されていてもよい。 (5) In the image processing apparatus, the mask processing means may be configured to perform mask processing on a range in which an area specified by the area specifying means in the image is reflected.
本発明は、顧客先での保守作業等を支援する用途に適用可能である。 The present invention can be applied to applications that support maintenance work and the like at customer sites.
1,12 座標系対応付け手段
2,13 識別子付加手段
3 領域特定手段
4 マスク処理手段
10 カメラ
11 入力手段
14 モザイク処理エリア判定手段
15 モザイク処理手段
16 画像送信手段
17 方位情報取得手段
18 位置情報取得手段
DESCRIPTION OF
Claims (6)
前記撮影手段が撮影している方位を示す方位情報を取得可能な方位情報取得手段と、
前記位置情報取得手段が取得した位置情報と前記方位情報取得手段が取得した方位情報とに基づいて、前記撮影手段が撮影した物体の画像を記憶部が記憶している三次元座標系に対応付ける座標系対応付け手段と、
ユーザが前記画像中の任意の点を指定する操作を行うと、前記画像中の任意の点に識別子を付加する識別子付加手段と、
前記識別子付加手段が付加した各識別子によって前記三次元座標系上に定められる領域を特定する領域特定手段と、
前記画像のうちの前記領域特定手段が特定した前記領域以外が映る範囲にマスク処理を行うマスク処理手段とを
含むことを特徴とする画像処理装置。 Position information acquisition means capable of acquiring position information indicating the shooting position of the imaging means;
Azimuth information acquisition means capable of acquiring azimuth information indicating the azimuth taken by the photographing means;
Coordinates for associating the image of the object imaged by the imaging unit with the three-dimensional coordinate system stored in the storage unit based on the positional information acquired by the positional information acquisition unit and the azimuth information acquired by the azimuth information acquisition unit System association means;
An identifier adding means for adding an identifier to an arbitrary point in the image when the user performs an operation of specifying an arbitrary point in the image;
Area specifying means for specifying an area defined on the three-dimensional coordinate system by each identifier added by the identifier adding means;
An image processing apparatus comprising: mask processing means for performing mask processing in a range in which the area other than the area specified by the area specifying means of the image is reflected.
請求項1記載の画像処理装置。 Coordinate system correspondence means, the image processing apparatus according to claim 1, wherein associating the image of the object which the imaging means has captured each time the imaging means changes the shooting range in the three-dimensional coordinate system memory section has stored.
請求項1または請求項2記載の画像処理装置。 Area specifying means, the image processing apparatus according to claim 1 or claim 2, wherein identifying a region formed on the three-dimensional coordinate system the coordinates of each identifier identifier adding means is added as a vertex.
前記撮影手段が撮影している方位を示す方位情報を取得可能な方位情報取得手段と、Azimuth information acquisition means capable of acquiring azimuth information indicating the azimuth taken by the photographing means;
前記位置情報取得手段が取得した位置情報と前記方位情報取得手段が取得した方位情報とに基づいて、前記撮影手段が撮影した物体の画像を記憶部が記憶している三次元座標系に対応付ける座標系対応付け手段と、Coordinates for associating the image of the object imaged by the imaging unit with the three-dimensional coordinate system stored in the storage unit based on the positional information acquired by the positional information acquisition unit and the azimuth information acquired by the azimuth information acquisition unit System association means;
ユーザが前記画像中の任意の点を指定する操作を行うと、前記画像中の任意の点に識別子を付加する識別子付加手段と、 An identifier adding means for adding an identifier to an arbitrary point in the image when the user performs an operation of specifying an arbitrary point in the image;
前記識別子付加手段が付加した各識別子によって前記三次元座標系上に定められる領域を特定する領域特定手段と、 Area specifying means for specifying an area defined on the three-dimensional coordinate system by each identifier added by the identifier adding means;
前記画像のうちの前記領域特定手段が特定した前記領域が映る範囲にマスク処理を行うマスク処理手段とを Mask processing means for performing mask processing on a range in which the area specified by the area specifying means of the image is reflected.
含むことを特徴とする画像処理装置。 An image processing apparatus comprising:
前記撮影手段が撮影している方位を示す方位情報を取得し、
取得した位置情報と方位情報とに基づいて、前記撮影手段が撮影した物体の画像を記憶部が記憶している三次元座標系に対応付け、
ユーザが前記画像中の任意の点を指定する操作を行うと、前記画像中の任意の点に識別子を付加し、
付加した各識別子によって前記三次元座標系上に定められる領域を特定し、
前記画像のうちの特定した前記領域以外が映る範囲にマスク処理を行う
ことを特徴とする映像マスク範囲指定方法。 Obtain position information indicating the shooting position of the shooting means,
Obtaining azimuth information indicating the azimuth taken by the photographing means,
Based on the acquired position information and orientation information, the image of the object photographed by the photographing means is associated with the three-dimensional coordinate system stored in the storage unit,
When the user performs an operation of designating an arbitrary point in the image, an identifier is added to the arbitrary point in the image,
Identify the area defined on the three-dimensional coordinate system by each added identifier,
A method for specifying a video mask range, comprising: performing mask processing on a range in which the image other than the specified region is shown.
撮影手段の撮影位置を示す位置情報を取得可能な位置情報取得処理と、
前記撮影手段が撮影している方位を示す方位情報を取得可能な方位情報取得処理と、
取得した位置情報と方位情報とに基づいて、前記撮影手段が撮影した物体の画像を記憶部が記憶している三次元座標系に対応付ける座標系対応付け処理と、
ユーザが前記画像中の任意の点を指定する操作を行うと、前記画像中の任意の点に識別子を付加する識別子付加処理と、
付加した各識別子によって前記三次元座標系上に定められる領域を特定する領域特定処理と、
前記画像のうちの特定した前記領域以外が映る範囲にマスクをかけるマスク処理とを
実行させるための映像マスク範囲指定プログラム。 On the computer,
Position information acquisition processing capable of acquiring position information indicating the shooting position of the shooting means;
Orientation information acquisition processing capable of acquiring orientation information indicating the orientation in which the imaging means is imaging;
A coordinate system associating process for associating an image of the object photographed by the photographing means with the three-dimensional coordinate system stored in the storage unit based on the acquired position information and orientation information ;
An identifier addition process for adding an identifier to an arbitrary point in the image when the user performs an operation of specifying an arbitrary point in the image;
An area specifying process for specifying an area defined on the three-dimensional coordinate system by each added identifier;
A video mask range designation program for executing a mask process for masking a range in which the area other than the specified area of the image is reflected.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010197928A JP5152281B2 (en) | 2010-09-03 | 2010-09-03 | Image processing apparatus, method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010197928A JP5152281B2 (en) | 2010-09-03 | 2010-09-03 | Image processing apparatus, method, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012054891A JP2012054891A (en) | 2012-03-15 |
JP5152281B2 true JP5152281B2 (en) | 2013-02-27 |
Family
ID=45907731
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010197928A Expired - Fee Related JP5152281B2 (en) | 2010-09-03 | 2010-09-03 | Image processing apparatus, method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5152281B2 (en) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6211125B2 (en) * | 2016-03-31 | 2017-10-11 | 株式会社Medi Plus | Image processing system |
JP7179583B2 (en) * | 2018-11-05 | 2022-11-29 | 株式会社東芝 | Image processing device and image processing method |
US11785184B2 (en) * | 2019-03-22 | 2023-10-10 | Spp Technologies Co., Ltd. | Maintenance support system, maintenance support method, and program |
JP6748793B1 (en) * | 2019-03-22 | 2020-09-02 | Sppテクノロジーズ株式会社 | Maintenance support system, maintenance support method, program and method of generating processed image |
WO2024018973A1 (en) * | 2022-07-20 | 2024-01-25 | パナソニックIpマネジメント株式会社 | Information processing method, information processing device, and information processing program |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4036051B2 (en) * | 2002-07-30 | 2008-01-23 | オムロン株式会社 | Face matching device and face matching method |
JP4509619B2 (en) * | 2004-03-24 | 2010-07-21 | 株式会社日立製作所 | Video processing device operation program |
JP2007243509A (en) * | 2006-03-08 | 2007-09-20 | Hitachi Ltd | Image processing device |
JP2008147987A (en) * | 2006-12-09 | 2008-06-26 | Renesas Technology Corp | Image synthesizing method, and image synthesizer |
-
2010
- 2010-09-03 JP JP2010197928A patent/JP5152281B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2012054891A (en) | 2012-03-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101871764B1 (en) | Industrial infrastructure management platform building system based on virtual reality | |
JP5740884B2 (en) | AR navigation for repeated shooting and system, method and program for difference extraction | |
US9161027B2 (en) | Method and apparatus for providing camera calibration | |
US9412202B2 (en) | Client terminal, server, and medium for providing a view from an indicated position | |
EP2418621A1 (en) | Apparatus and method for providing augmented reality information | |
US10726262B2 (en) | Imaging support system, device and method, and imaging terminal | |
US11609345B2 (en) | System and method to determine positioning in a virtual coordinate system | |
JP2011141828A (en) | Information processing apparatus, information processing system, and information processing method | |
JP2017021328A (en) | Method and system of determining space characteristic of camera | |
JP5152281B2 (en) | Image processing apparatus, method, and program | |
KR101181967B1 (en) | 3D street view system using identification information. | |
JP2015135641A (en) | Video indication/synchronization method for superposing indication image on shot dynamic image in synchronism, and system, terminal, and program | |
WO2020040277A1 (en) | Mixed reality system, program, mobile terminal device, and method | |
WO2011096343A1 (en) | Photographic location recommendation system, photographic location recommendation device, photographic location recommendation method, and program for photographic location recommendation | |
JP6524706B2 (en) | Display control method, display control program, and information processing apparatus | |
JPWO2018025825A1 (en) | Imaging system | |
JP2018207271A (en) | Terminal, image processing system, image processing program, and method for processing image | |
JP2010217984A (en) | Image detector and image detection method | |
JP2015091055A (en) | Imaging device and image processing device | |
CN104871179A (en) | Method and system for image capture and facilitated annotation | |
JP7179583B2 (en) | Image processing device and image processing method | |
JP6146869B2 (en) | Video instruction display method, system, terminal, and program for superimposing instruction image on photographing moving image synchronously | |
CN110268438B (en) | Image database construction device, position and inclination estimation device, and image database construction method | |
KR101036107B1 (en) | Emergency notification system using rfid | |
US20180061135A1 (en) | Image display apparatus and image display method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120817 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120828 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121017 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121106 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121119 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151214 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5152281 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |