JP7124281B2 - Program, information processing device, image processing system - Google Patents
Program, information processing device, image processing system Download PDFInfo
- Publication number
- JP7124281B2 JP7124281B2 JP2017181828A JP2017181828A JP7124281B2 JP 7124281 B2 JP7124281 B2 JP 7124281B2 JP 2017181828 A JP2017181828 A JP 2017181828A JP 2017181828 A JP2017181828 A JP 2017181828A JP 7124281 B2 JP7124281 B2 JP 7124281B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- input image
- output
- similarity
- subject
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Description
本発明は、プログラム、情報処理装置、及び、画像処理システムに関する。 The present invention relates to a program, an information processing device, and an image processing system.
同じ場所から同じ方向を撮像装置が周期的に撮像して、撮像範囲の現在の状況をリアルタイムに提供するサービスがある。監視カメラや消費者の行動調査などでは人物などの動体の動向が観測対象になるが、人物などの動体以外の背景が観測対象となる場合も少なくない。 There is a service in which an imaging device periodically captures images from the same location in the same direction and provides the current situation of the imaging range in real time. Surveillance cameras and consumer behavior surveys target the movement of moving bodies such as people, but there are many cases in which backgrounds other than moving bodies such as people become targets of observation.
背景が観測対象となるケースの一例として、EC(Electronic Commerce)サイト向けに実店舗の商品棚の画像をリアルタイムに、ユーザである商品の購入者等の端末装置に配信することが検討されている。ECサイトのユーザは実際の商品棚を端末装置で見ることができるため、通信販売でありながら臨場感のある買い物を楽しむことができる。しかし、実店舗の内部が撮像された画像には商品棚の前にいる来客者が写っている場合が少なくない。来客者が写っている画像をそのまま提供することはプライバシーの保護に欠け、また、商品が来客者で隠れた画像が端末装置に提供されるとユーザが商品を閲覧できなくなる。 As an example of a case in which the background is to be observed, real-time distribution of images of product shelves in physical stores for EC (Electronic Commerce) sites to terminal devices of users, such as purchasers of products, is being considered. . Since the user of the EC site can see the actual product shelf on the terminal device, he/she can enjoy shopping with a sense of realism even though it is mail-order sales. However, it is not uncommon for an image of the inside of a physical store to include a visitor in front of a product shelf. Providing an image in which a visitor is shown as it is lacks protection of privacy, and if an image in which the product is hidden by the visitor is provided to the terminal device, the user cannot view the product.
そこで、撮像された画像から背景以外の動体を除去する技術が知られている(例えば、特許文献1参照。)。特許文献1には、動体が映されたフレームを検出する動体検出部と、動体が検出されなくなった検出後フレームと検出後フレームより前の動体が検出された各検出フレームとを比較していくことによって、検出フレームから画情報が描画された検出フレームを更新フレームとして特定し、描画された画情報の領域を特定する描画フレーム特定部と、検出フレームを検出フレームの前のフレームで置き換え、検出フレームが画情報の描画された更新フレームである場合、対応する画情報の領域を検出後フレームの対応する領域の画像に重畳する合成処理部と、を備えた映像編集装置が開示されている。 Therefore, there is known a technique for removing a moving object other than the background from a captured image (see, for example, Patent Document 1). In Japanese Patent Laid-Open No. 2004-100000, a moving object detection unit detects a frame in which a moving object is shown, and a post-detection frame in which no moving object is detected is compared with each detection frame in which a moving object is detected before the post-detection frame. a drawing frame identifying unit that identifies a detected frame in which image information is drawn from the detected frame as an update frame and identifies an area of the drawn image information; When a frame is an update frame in which image information is drawn, a synthesis processing unit that superimposes the area of the corresponding image information on the image of the corresponding area of the frame after detection is disclosed.
しかながら、従来の技術は、ある程度の期間の時系列の画像から動体を除去する技術であるため、撮像しながら出力する画像を更新することができないという問題があった。例えば、従来の技術は、動体が検出されなくなった検出後フレームが検出された時点から過去にさかのぼって動体の消去や画情報の描画の合成処理を行う方式であるため、人物がいなくなるまでホワイトボードなどに手書きされた画情報が表示されない。 However, since the conventional technique is a technique for removing a moving object from time-series images for a certain period of time, there is a problem that the output image cannot be updated while the image is being captured. For example, the conventional technology is a method of deleting a moving object and synthesizing image information from the point in time when a post-detection frame in which a moving object is no longer detected is detected. The handwritten image information is not displayed.
本発明は、上記課題に鑑み、撮像しながら出力する画像を更新することができるプログラムを提供することを目的とする。 SUMMARY OF THE INVENTION An object of the present invention is to provide a program capable of updating an output image while capturing an image.
本発明は、情報処理装置を、撮像装置が撮像した画像を入力画像として取得する画像取得手段と、前記画像取得手段が取得した前記入力画像が被写体の画像か否かを判断する被写体画像判断手段と、前記入力画像が被写体の画像であると判断した場合に、前記入力画像を出力すると判断し、被写体の画像でないと判断した場合に外部に出力された出力画像を出力すると判断する判断手段と、前記判断手段の判断結果に応じて、前記入力画像又は前記出力画像を出力する出力手段と、前記画像取得手段が取得した前記入力画像と外部に出力された前記出力画像の第一の類似度を算出する類似度算出手段、として機能させ、前記第一の類似度が第一の閾値以上の場合、前記被写体画像判断手段は、前記入力画像が前記被写体の画像であると判断し、前記第一の類似度が前記第一の閾値未満の場合、前記入力画像を被写体の画像でないと判断し、前記第一の類似度が前記第一の閾値以上の場合、前記類似度算出手段は、前記画像取得手段が取得した現在の入力画像と、前記現在の入力画像よりも過去の入力画像との第二の類似度を算出し、前記判断手段は、前記第二の類似度が第二の閾値以上の場合、現在の前記入力画像を出力すると判断し、前記第二の類似度が前記第二の閾値未満の場合、外部に出力した前記出力画像を出力すると判断するプログラムを提供する。
The present invention comprises an information processing apparatus comprising: image acquiring means for acquiring an image captured by an imaging device as an input image; and subject image determining means for determining whether or not the input image acquired by the image acquiring means is an image of a subject. and determining means for determining to output the input image when determining that the input image is the image of the subject, and determining to output the externally output image when determining that the input image is not the image of the subject. , output means for outputting the input image or the output image according to the determination result of the determination means; and a first degree of similarity between the input image acquired by the image acquisition means and the output image outputted to the outside When the first similarity is equal to or greater than a first threshold, the subject image determination means determines that the input image is the image of the subject, and determines that the input image is the image of the subject. If one degree of similarity is less than the first threshold, the input image is determined not to be an image of a subject; calculating a second degree of similarity between the current input image acquired by the image acquisition means and an input image past the current input image; In the above case, there is provided a program for determining to output the current input image, and determining to output the output image that was output to the outside when the second similarity is less than the second threshold .
撮像しながら出力する画像を更新することができるプログラムを提供することができる。 It is possible to provide a program capable of updating an image to be output while imaging.
以下、本発明を実施するための形態について図面を参照しながら実施例を挙げて説明する。 EMBODIMENT OF THE INVENTION Hereafter, an Example is given and demonstrated, referring drawings for the form for implementing this invention.
<画像から動体を除去する画像処理の比較例>
本実施形態を説明するに当たって、画像から動体を除去する動体除去の比較例を説明する。
<Comparison example of image processing for removing a moving object from an image>
Before describing the present embodiment, a comparative example of removing a moving object from an image will be described.
図1は、時系列に撮像された商品棚81の画像と動体の除去処理を説明する図の一例である。撮像装置は商品棚の少なくとも一部を撮像する位置に配置され、周期的に商品棚を撮像している。このように同じ場所で撮像装置1が撮像することを定点観測という場合がある。撮像の時間間隔は、商品棚が変化した場合にいつまでも古い画像を提供することなく早期に画像を提供できる時間間隔であり、商品が売れる早さなどを考慮して決定される。このような映像配信をリアルタイム配信又はライブ配信などという。また、時間間隔の決定に当たっては、ネットワークの帯域や画像処理等の処理負荷が考慮される。時間間隔は短い方が、リアルタイム性が増すが、それほど短時間に商品棚は変化しない場合、処理負荷も増大してしまう。以上から、あくまで一例として本実施形態では時間間隔を1秒とするが、30フレーム/secのように短い時間間隔で撮像してもよいし、2~10フレーム/secで撮像してもよいし、1分以上を時間間隔としてもよい。
FIG. 1 is an example of a diagram illustrating an image of a
図1(a)は時系列に撮像された商品棚81の画像を示す。画像83_1、画像83_2、画像83_4及び画像83_5には変化がないが、画像83_3には人物82が写っている。画像処理システムが画像83_3を提供する際、人物82を除去するが、人物82を除去する方法としては、過去の所定時間の画像の画素ごとに平均を取って平均画像を作成する方法が考えられる。人物82の滞留時間を1秒、所定時間を例えば30秒とすると画像83_3が平均画像に与える影響は1/30になるので、人物82が写っていない平均画像が得られる。
FIG. 1(a) shows images of a
しかしながら、店舗内の人物82は単に通過する場合よりも商品を物色するために同じ商品棚81の前で少なくとも数秒は滞留する。このため、平均画像に半透明の人物82が写ってしまう。図1(b)はこの半透明の人物82が写っている平均画像84を模式的に示す図である。より具体的には、人物82が写っている画像の比率が多くなるにつれて時間と共に徐々に半透明の人物82が濃くなり、また、比率が少なくなるにつれて時間と共に徐々に半透明の人物82が薄くなっていく。平均に用いる画像の数を多くすれば人物82を除去できるが、商品の変化が画像に反映されるのも遅くなってしまう。
However, a
このように、平均画像による動体の除去は、平均画像の母数となる画像数に比べ人物82が写っている画像の数が少なければ有効な場合があるが、商品を物色する人物82が写る店舗内では好適でない場合がある。
In this way, the removal of a moving object using the average image may be effective if the number of images containing the
<本実施形態が着目する画像の変化例>
そこで、本実施形態では実際に出力した出力画像と撮像された入力画像を比較して人物82のような動体を検出し、動体が検出された場合は動体が検出されていない過去の出力画像を出力する動体除去方法で動体を除去する。出力画像とはユーザに提供される画像又は表示される画像であり、入力画像とは撮像された画像である。
<Example of change in image focused on by the present embodiment>
Therefore, in the present embodiment, a moving object such as the
図2は、周期的に撮像された画像がどのように変化するかを説明する図の一例であり、図3は、時系列の入力画像とその中から出力される出力画像を説明する図の一例である。図2では、ドリンク類が置かれた商品棚81が周期的に撮像された画像の変化を示す。なお、画像はブロックに分割された状態で処理されるが、ブロックへの分割については後述する。
FIG. 2 is an example of a diagram for explaining how images captured periodically change, and FIG. 3 is a diagram for explaining time-series input images and output images output from them. An example. FIG. 2 shows a change in an image in which a
図2では時間の経過に対する出力画像と入力画像の類似度(0~1の値を取り値が大きいほど類似度が高い)85とその時の画像例を示す。
FIG. 2 shows the degree of
時刻t0:商品棚81が撮像され、商品が写った入力画像86(以下、時刻t0~tnを付して区別する)が得られる。出力画像は入力画像86_t0である。
Time t 0 : An image of the
時刻t1:商品が写った入力画像86_t1が得られるが、直前の入力画像86_t0に対し変化がなく類似度はほぼ1である。出力画像は入力画像86_t1である。
Time t 1 : An
時刻t2:人物82が撮像範囲に入っため、人物82が写った入力画像86_t2が得られる。また、類似度が大きく低下したため、時刻t1の出力画像は更新されない。この処理については図3で説明する。
Time t2: Since the
時刻t3:引き続き人物82が撮像されているため人物82が写った入力画像86_t3が得られる。また、類似度が大きく低下したため、時刻t1の出力画像は更新されない。
Time t 3 : An
時刻t4:引き続き人物82が撮像されているため人物82が写った入力画像86_t4が得られる。また、類似度が大きく低下したため、時刻t1の出力画像は更新されない。
Time t 4 : An
時刻t5:撮像される人物82の部位が変動しても引き続き人物82が撮像されているため、人物82が写った入力画像86_t5が得られる。類似度は変動するが低下したままであり、時刻t1の出力画像は更新されない。
Time t 5 : Even if the part of the
時刻t6:人物82が撮像範囲から立ち去ると商品棚81が写った入力画像86_t6が撮像される。類似度が高くなるため、出力画像は入力画像86_t6に更新される。しかし、時刻t6で商品が1つなくなっているため、類似度はわずかに1より小さくなる。
Time t 6 : When the
図3(a)は時間に対する類似度85を示し、図3(b)は入力画像86_t0~86_t6を示し、図3(c)は出力画像87(以下、時刻t0~tnを付して区別する)を示す。本実施形態の画像処理システムが提供したい画像は商品棚81であるため、人物82が写っている入力画像86_t2~86_t4は除去すべきである。除去すべき画像であることは類似度85が閾値未満であることから判断される。
FIG. 3(a) shows the degree of
画像処理システムは除去した入力画像86_t2~86_t4の代わりに過去の出力画像を提供する。過去の出力画像は一例として最も新しい出力画像である(類似度が閾値以上の最も新しい出力画像87_t1である。)。 The image processing system provides past output images in place of the removed input images 86_t 2 -86_t 4 . The past output image is, for example, the newest output image (the newest output image 87_t1 whose similarity is equal to or greater than the threshold).
このように本実施形態の画像処理システムはある入力画像に人物82が写っていたら人物82が写っていない過去の出力画像を出力する。したがって、人物82などの動体が写っている入力画像を除去して背景である商品棚81の画像を提供することができる。動体が写っている間は動体が検出される前の出力画像が表示されるので、閲覧者が商品を閲覧できないということがない。商品棚81の商品が取り出されて商品棚81の画像に変化が生じても類似度の低下はわずかなので、商品が減った商品棚の入力画像で出力画像を更新できる。
As described above, the image processing system of this embodiment outputs a past output image in which the
<用語について>
入力画像とは、出力されるか否かに関係なく情報処理装置に入力された画像をいう。撮像装置から受信した画像だけでなく、記憶媒体に記憶された画像でもよい。
<Terms>
An input image is an image input to an information processing apparatus regardless of whether it is output or not. It may be an image stored in a storage medium as well as an image received from an imaging device.
出力画像とは外部に出力された画像であり、入力画像の全部又は一部が出力画像となる。出力先はディスプレイなどの表示装置の他、ネットワークを介して接続された情報処理装置、又は、記憶媒体でもよい。出力手段が出力することには、表示装置への出力、外部の装置への送信、及び、記憶媒体への記憶が含まれる。 An output image is an image that is output to the outside, and all or part of the input image is the output image. The output destination may be a display device such as a display, an information processing device connected via a network, or a storage medium. Output by the output means includes output to a display device, transmission to an external device, and storage in a storage medium.
動体とは、移動する機能を備えるものをいう。例えば、人間、動物、車・自転車移動体、カート(手押し車)、などがある。また、人間の移動に伴い移動するものも動体である。例えば、手提げ鞄も動体であり、人間が把持するドリンクも動体である。一方、商品としてのドリンクは移動する機能がなく人間が把持していないので動体でない。 A moving object is an object that has the ability to move. For example, there are humans, animals, cars/bicycles, carts (wheelbarrows), and the like. Objects that move along with human movements are also moving objects. For example, a handbag is a moving object, and a drink held by a person is also a moving object. On the other hand, a drink as a product is not a moving object because it does not have a function to move and is not held by a person.
被写体とは写し取られる対象をいう。何が被写体であるかは撮像の目的によって決まり、変更され得る。被写体と撮像装置の間にあるものを動体と称してもよい。また、被写体は撮影対象とも呼ばれる。 A subject is an object to be photographed. What is the subject depends on the purpose of the imaging and can be changed. An object between the object and the imaging device may be called a moving object. A subject is also called an object to be photographed.
背景画像とは、商品棚の画像又は動体が写っていない画像をいう。また、被写体は商品棚といった背景画像に含まれるものでもよく、背景画像が被写体を写した画像となってもよい。 A background image is an image of a product shelf or an image that does not include a moving object. Also, the subject may be included in the background image such as a product shelf, or the background image may be an image of the subject.
<システム構成例>
図4は、画像処理システム200の概略構成図の一例である。画像処理システム200は、通信ネットワーク9を介して接続された画像管理装置5、撮像装置1、通信端末3、及び、端末装置7を有している。撮像装置1は設置者Xにより店舗内に設置されている。端末装置7は閲覧者Yにより操作される。
<System configuration example>
FIG. 4 is an example of a schematic configuration diagram of the
通信ネットワーク9は、店舗内や閲覧者Yの所属先の企業のLAN、LANをインターネットに接続するプロバイダのプロバイダネットワーク、及び、回線事業者が提供する回線等の少なくとも1つを含んで構築されている。通信端末3や端末装置7がLANを介さずに直接、回線電話網や携帯電話網に接続する場合は、LANを介さずにプロバイダネットワークに接続することができる。また、通信ネットワークにはWANやインターネットが含まれる。通信ネットワークは有線又は無線のどちらで構築されてもよく、また、有線と無線が組み合わされていてもよい。
The
撮像装置1は、一般的な画角のカメラ(例えば、焦点距離で35mm)でもよいし一度の撮像で周囲360度を撮像し全天球画像を作成するカメラでもよい。一般的な画角と周囲360度との間の画角を撮像するカメラでもよい。ただし、画角が大きいほど少ない数の撮像装置1で広い範囲をカバーできる。
The
撮像装置1はデジタルスチルカメラ又はデジタルビデオカメラと呼ばれる場合がある。また、通信端末3にカメラが付いている場合は、通信端末3がデジタルカメラとなりうる。本実施形態では、説明を分かりやすくするために撮像装置1は全天球画像を得るためのデジタルカメラとして説明を行う。撮像装置1は周期的に周囲360度を撮像する。必ずしも周期的である必要はなく、不定期に撮像してもよいし、設置者Xの操作により撮像してもよいし、閲覧者Yが画像管理装置5に要求することで画像管理装置5からの命令で撮像してもよい。また、時間帯によって撮像する時間間隔を変更してもよい。例えば、商品が売れやすい時間帯(来客者が多い時間帯)は短くして、商品が売れにくい時間帯(来客者が少ない時間帯)は長くする。
The
なお、撮像装置1は、視線方向が異なる何枚かの風景を自動的に撮像し、複数の画像データを合成することで全天球画像を作成してもよい。
Note that the
撮像装置1は定点観測の対象となる被写体がある場所に配置される。図4では店舗内に配置されているが一例に過ぎない。ECサイト以外の動体除去の利用シーンについては後述する。撮像装置1の数は配置場所によって様々である。一般的に、見通しのよい配置場所では少ない数でよいし、見通しの悪い配置場所では多くなる。
The
通信端末3は、撮像装置1の代わりに通信ネットワーク9に接続する通信機能を有している。通信端末3は、撮像装置1への電力供給や店舗への固定を行うためのクレードル(Cradle)である。クレードルとは、撮像装置1の機能を拡張する拡張機器をいう。通信端末3は撮像装置1と接続するためのインタフェースを有し、これにより撮像装置1は通信端末3の機能を利用できる。通信端末3は、このインタフェースを介して撮像装置1とデータ通信を行なう。そして、無線ルータ9a及び通信ネットワーク9を介して画像管理装置5とデータ通信を行なう。
The
なお、撮像装置1が無線ルータ9aや通信ネットワーク9と直接、データ通信する機能を有する場合、通信端末3はなくてもよい。あるいは、撮像装置1と通信端末3が一体に構成されていてもよい。
If the
画像管理装置5は、例えば、サーバとして機能する情報処理装置であり、通信ネットワーク9を介して、通信端末3及び端末装置7とデータ通信を行なうことができる。画像管理装置5は画像から動体を除去する画像処理を行い、この画像をWebページとして端末装置7に提供する。したがって、画像管理装置5はWebサーバとして動作する。このWebページは、例えば店舗の商品を販売するECサイトのWebページとして利用されてよい。Webページに店舗のライブ映像が含まれるため臨場感のあるショッピングが可能になる。また、Webページは店舗内の商品棚81を監視する監視用のWebページでもよい。管理者は商品棚81の商品が少ないことを確認して補充したり、商品棚81の商品が乱れていることを確認して整列させたりすることができる。
The
全天球画像が撮像される場合、画像管理装置5には、OpenGL ES(3Dグラフィックス用のAPI:Application Interface)がインストールされている。OpenGL ESを呼び出すことで全天球画像から正距円筒画像を作成したり、全天球画像の一部の画像(所定領域画像)のサムネイル画像を作成したりすることができる。
When an omnidirectional image is captured, OpenGL ES (API for 3D graphics: Application Interface) is installed in the
なお、画像管理装置5にはクラウドコンピューティングが適用されていてよい。クラウドコンピューティングの物理的な構成に厳密な定義はないが、情報処理装置を構成するCPU、RAM、ストレージなどのリソースが負荷に応じて動的に接続・切断されることで情報処理装置の構成や設置場所が柔軟に変更される構成が知られている。また、クラウドコンピューティングでは、画像管理装置5が仮想化されることが一般的である。1台の情報処理装置が仮想化によって複数の画像管理装置5としての機能を提供することや、複数の情報処理装置が仮想化によって一台の画像管理装置5としての機能を提供することができる。なお、画像管理装置5がクラウドコンピューティングとしてではなく単独の情報処理装置により提供されることも可能である。
Note that cloud computing may be applied to the
端末装置7は、画像管理装置5から動体が除去された画像を含むWebページを取得して表示する情報処理装置である。例えば、PC(Personal Computer)であり、通信ネットワーク9を介して、画像管理装置5とデータ通信を行う。端末装置7は、ノートPCの他、タブレット端末、PC、PDA(Personal Digital Assistant)、電子黒板、テレビ会議端末、ウェアラブルPC、ゲーム機、携帯電話、カーナビゲーションシステム、スマートフォンなどでもよい。また、これらに限られるものではない。
The
撮像装置1、通信端末3、及び無線ルータ9aは、店舗等の各販売拠点で設置者Xによって所定の位置に設置される。ECサイトと通信する端末装置7は、一般の消費者が生活する場所に配置されるか、又は、一般の諸費者により携帯されてもよい。店舗を監視する端末装置7は、各店舗を統括する本社、店長の自宅、事務室、商品の配送者等に配置されるか、又は、管理者により携帯されてもよい。
The
<店舗のイメージと撮像装置の配置例>
図5は、店舗2のイメージと撮像装置1の配置例の一例である。一般の店舗2では通路を挟んで商品棚81が並べられている。壁際には冷蔵庫の機能がある商品棚81にドリンク類が陳列されている場合が多い。撮像装置1は全ての商品棚81の全ての商品が撮像範囲に入るように数及び配置が決定されてもよいし、所定の1つ以上の商品が撮像範囲に入るように数及び配置が決定されてもよい。撮像装置1が全天球画像を撮像する場合、一般的な画角の撮像装置1よりも少ない数で所望の商品を撮像できる。図5では壁から1つ手前の商品棚81の上部に撮像装置1が配置されている。撮像装置1は天井に配置されてもよいし、商品棚81の中段に配置されてもよい。
<Image of store and example of arrangement of imaging device>
FIG. 5 is an example of an image of the
<実施形態のハードウェア構成>
次に、図6~図8を用いて、本実施形態の撮像装置1、通信端末3,端末装置7及び画像管理装置5のハードウェア構成を説明する。
<Hardware Configuration of Embodiment>
Next, hardware configurations of the
<<撮像装置>>
図6は、撮像装置1のハードウェア構成図の一例である。以下では、撮像装置1は、2つの撮像素子を使用した撮像装置とするが、撮像素子は3つ以上いくつでもよい。また、必ずしも全方位撮像専用の装置である必要はなく、通常のデジタルカメラやスマートフォン等に後付けの全方位撮像ユニットを取り付けることで、実質的に撮像装置1と同じ機能を有するようにしてもよい。
<<Imaging device>>
FIG. 6 is an example of a hardware configuration diagram of the
図6に示されているように、撮像装置1は、撮像ユニット101、画像処理ユニット104、撮像制御ユニット105、マイク108、音処理ユニット109、CPU(Central Processing Unit)111、ROM(Read Only Memory)112、SRAM(Static Random Access Memory)113、DRAM(Dynamic Random Access Memory)114、操作部115、ネットワークI/F116、通信部117、及びアンテナ117aによって構成されている。
As shown in FIG. 6, the
このうち、撮像ユニット101は、各々半球画像を結像するための180°以上の画角を有する広角レンズ(いわゆる魚眼レンズ)102a,102bと、各広角レンズに対応させて設けられている2つの撮像素子103a,103bを備えている。撮像素子103a,103bは、魚眼レンズによる光学像を電気信号の画像データに変換して出力するCMOS(Complementary Metal Oxide Semiconductor)センサやCCD(Charge Coupled Device)センサなどの画像センサ、この画像センサの水平又は垂直同期信号や画素クロックなどを生成するタイミング生成回路、この撮像素子の動作に必要な種々のコマンドやパラメータなどが設定されるレジスタ群などを有している。
Among them, the
撮像ユニット101の撮像素子103a,103bは、各々、画像処理ユニット104とはパラレルI/Fバスで接続されている。一方、撮像ユニット101の撮像素子103a,103bは、撮像制御ユニット105とは別に、シリアルI/Fバス(I2Cバス等)で接続されている。画像処理ユニット104及び撮像制御ユニット105は、バス110を介してCPU111と接続される。更に、バス110には、ROM112、SRAM113、DRAM114、操作部115、ネットワークI/F116、通信部117、及び電子コンパス118なども接続される。
The
画像処理ユニット104は、撮像素子103a,103bから出力される画像データをパラレルI/Fバスを通して取り込み、それぞれの画像データに対して所定の処理を施した後、これらの画像データを合成処理して、正距円筒図のデータを作成する。
The
撮像制御ユニット105は、一般に撮像制御ユニット105をマスタデバイス、撮像素子103a,103bをスレーブデバイスとして、I2Cバスを利用して、撮像素子103a,103bのレジスタ群にコマンド等を設定する。必要なコマンド等は、CPU111から受け取る。また、該撮像制御ユニット105は、同じくI2Cバスを利用して、撮像素子103a,103bのレジスタ群のステータスデータ等を取り込み、CPU111に送る。
The
また、撮像制御ユニット105は、操作部115のシャッターボタンが押下されたタイミングで、撮像素子103a,103bに画像データの出力を指示する。撮像装置1によっては、ディスプレイによるプレビュー表示機能や動画表示に対応する機能を持つ場合もある。この場合は、撮像素子103a,103bからの画像データの出力は、所定のフレームレート(フレーム/分)によって連続して行われる。
Further, the
また、撮像制御ユニット105は、後述するように、CPU111と協働して撮像素子103a,103bの画像データの出力タイミングの同期をとる同期制御手段としても機能する。なお、本実施形態では、撮像装置1には表示部が設けられていないが、表示部を設けてもよい。
In addition, as will be described later, the
マイク108は、音を音(信号)データに変換する。音処理ユニット109は、マイク108から出力される音データをI/Fバスを通して取り込み、音データに対して所定の処理を施す。
The
CPU111は、撮像装置1の全体の動作を制御すると共に必要な処理を実行する。ROM112は、CPU111のための種々のプログラムを記憶している。SRAM113及びDRAM114はワークメモリであり、CPU111で実行するプログラムや処理途中のデータ等を記憶する。特にDRAM114は、画像処理ユニット104での処理途中の画像データや処理済みの正距円筒図のデータを記憶する。
The
操作部115は、種々の操作ボタンや電源スイッチ、シャッターボタン、表示と操作の機能を兼ねたタッチパネルなどの総称である。ユーザは操作ボタンを操作することで、種々の撮像モードや撮像条件などを入力する。
The
ネットワークI/F116は、SDカード等の外付けのメディアやパーソナルコンピュータなどとのインタフェース回路(USBI/F等)の総称である。また、ネットワークI/F116としては、無線、有線を問わずにネットワークインタフェースである場合も考えられる。DRAM114に記憶された正距円筒図のデータは、このネットワークI/F116を介して外付けのメディアに記録されたり、必要に応じてネットワークI/FとなるネットワークI/F116を介して通信端末3等の外部装置に送信されたりする。
The network I/
通信部117は、撮像装置1に設けられたアンテナ117aを介して、Wi-Fi(wireless fidelity)、NFC、又はLTE(Long Term Evolution)等の離無線技術によって、通信端末3等の外部装置と通信を行う。この通信部117によっても、正距円筒図のデータを通信端末3の外部装置に送信することができる。
The
電子コンパス118は、地球の磁気から撮像装置1の方位及び傾き(Roll回転角)を算出し、方位・傾き情報を出力する。この方位・傾き情報はExifに沿った関連情報(メタデータ)の一例であり、撮像画像の画像補正等の画像処理に利用される。なお、関連情報には、画像の撮像日時、及び画像データのデータ容量の各データも含まれている。
The
<<通信端末>>
次に、図7を用いて、通信端末3のハードウェア構成を説明する。なお、図7は、無線通信機能を有したクレードルの場合の通信端末3のハードウェア構成図である。
<<communication terminal>>
Next, the hardware configuration of the
図7に示されているように、通信端末3は、通信端末3全体の動作を制御するCPU301、基本入出力プログラムを記憶したROM302、CPU301のワークエリアとして使用されるRAM(Random Access Memory)304、Wi-Fi(登録商標)、NFC、LTE等でデータ通信する通信部305、撮像装置1と有線で通信するためのUSB I/F303、カレンダーや時間情報を保持するRTC(Real Time Clock)306を有している。
As shown in FIG. 7, the
また、上記各部を電気的に接続するためのアドレスバスやデータバス等のバスライン310を備えている。
It also has a
なお、ROM302には、CPU301が実行するオペレーティングシステム(OS)、その他のプログラム、及び、種々データが記憶されている。
The
通信部305は、アンテナ305aを利用して無線通信信号により、無線ルータ9a等と通信を行う。
The
図示する他、GPS(Global Positioning Systems)衛星又は屋内GPSとしてのIMES(Indoor MEssaging System)によって通信端末3の位置情報(緯度、経度、及び高度)を含んだGPS信号を受信するGPS受信部を備えていてもよい。
In addition to the illustration, a GPS receiver for receiving a GPS signal containing position information (latitude, longitude, and altitude) of the
<<画像管理装置、端末装置>>
図8を用いて、画像管理装置5及びノートPCの場合の端末装置7のハードウェア構成を説明する。なお、図8は、画像管理装置5及び端末装置7のハードウェア構成図である。画像管理装置5及び端末装置7はともにコンピュータであるため、以下では、画像管理装置5の構成について説明する。端末装置7の構成は画像管理装置5と同様であるとし、相違があるとしても本実施形態の説明に関し支障がないものとする。
<<Image management device, terminal device>>
The hardware configuration of the
画像管理装置5は、画像管理装置5全体の動作を制御するCPU501、IPL等のCPU501の駆動に用いられるプログラムを記憶したROM502、CPU501のワークエリアとして使用されるRAM503を有する。また、画像管理装置5用のプログラム等の各種データを記憶するHD504、CPU501の制御にしたがってHD504に対する各種データの読み出し又は書き込みを制御するHDD(Hard Disk Drive)505を有する。また、フラッシュメモリ等の記録メディア506に対するデータの読み出し又は書き込み(記憶)を制御するメディアドライブ507、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示するディスプレイ508を有する。ディスプレイ508にはタッチパネルが装着されていることが好ましい。また、通信ネットワーク9を利用してデータ通信するためのネットワークI/F509、文字、数値、各種指示などの入力のための複数のキーを備えたキーボード511、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行うマウス512を有する。また、着脱可能な記録媒体の一例としてのCD-ROM(Compact Disc Read Only Memory)513に対する各種データの読み出し又は書き込みを制御するCD-ROMドライブ514を有する。また、上記各構成要素を図8に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン510を備えている。
The
<画像処理システムの機能について>
図9は、本実施形態の画像処理システム200が有する、撮像装置1、通信端末3、画像管理装置5、及び端末装置7の各機能ブロック図である。
<Functions of the image processing system>
FIG. 9 is a functional block diagram of the
<<撮像装置の機能構成>>
撮像装置1は、受付部12、撮像部13、集音部14、接続部15、及び記憶・読出部19を有している。これら各部は、図6に示されている各構成要素のいずれかが、SRAM113からDRAM114上に展開された撮像装置1用のプログラムに従ったCPU111からの命令によって動作することで実現される機能又は手段である。
<<Function configuration of imaging device>>
The
また、撮像装置1は、図6に示されているROM112、SRAM113、及びDRAM114の1つ以上によって構築される記憶部1000を有している。記憶部1000には撮像装置1用のプログラム及び端末IDが記憶されている。
The
撮像装置1の受付部12は、ユーザ(図4では、設置者X)から撮像装置1に対する操作入力を受け付ける。なお、撮像装置1は設置者Xによる撮像のための操作がなくても自動的かつ周期的に周囲を撮像する。周期の間隔は、設置者Xが撮像装置1に設定する。あるいは、本社の管理者である閲覧者Yが画像管理装置5を介して設定してもよい。
The
撮像部13は、周囲を撮像して画像データを作成する。本実施形態では周囲360度が写っている全天球画像の画像データを作成するが、一般的な画角の画像データであってもよい。
The
集音部14は、撮像装置1の周囲の音を集音して音声データに変換する。音声データが端末装置7に送信される場合、閲覧者Yはより臨場感がある状態でECサイトから商品を購入できる。なお、音声データにプライバシー性が高い情報が含まれる可能性があるため、音声データが送信されなくてもよい。
The
接続部15は、通信端末3からの電力供給を受けると共に、通信端末3とデータ通信を行う。電力はACアダプターなど別の電源から供給されてもよい。また、撮像装置1と通信端末3は無線で通信してもよい。
The
記憶・読出部19は、記憶部1000に各種データを記憶したり、記憶部1000から各種データを読み出したりする。なお、以下では、撮像装置1が記憶部1000から読み書きする場合でも「記憶・読出部19を介して」という記載を省略する場合がある。
The storage/
<<通信端末の機能構成>>
通信端末3は、送受信部31、受付部32、接続部33、及び記憶・読出部39を有している。これら各部は、図7に示されている各構成要素のいずれかが、ROM302からRAM304上に展開された通信端末3用のプログラムに従ったCPU301からの命令によって動作することで実現される機能又は手段である。
<<Function configuration of communication terminal>>
The
また、通信端末3は、図7に示されているROM302及びRAM304によって構築される記憶部3000を有している。記憶部3000には通信端末3用のプログラムが記憶されている。
The
(通信端末の各機能構成)
通信端末3の送受信部31は、無線ルータ9a及び通信ネットワーク9を介して、画像管理装置5と各種データの送受信を行う。なお、以下では、通信端末3が画像管理装置5と通信する場合でも、「送受信部31を介して」という記載を省略する場合がある。
(Each functional configuration of the communication terminal)
The transmission/
接続部33は、撮像装置1に電力供給すると共に、データ通信を行う。撮像装置1と通信端末3は無線で通信してもよい。通信端末3にはACアダプターなどから電力が供給される。
The
記憶・読出部39は、記憶部3000に各種データを記憶したり、記憶部3000から各種データを読み出したりする。なお、以下では、通信端末3が記憶部3000から読み書きする場合でも「記憶・読出部39を介して」という記載を省略する場合がある。
The storage/
<<画像管理装置の機能構成>>
画像管理装置5は、送受信部51、画像分割部52、類似度算出部53、画面作成部54、判断部55、画像合成部56、及び記憶・読出部59を有している。これら各部は、図8に示されている各構成要素のいずれかが、HD504からRAM503上に展開された画像管理装置5用のプログラムに従ったCPU501からの命令によって動作することで実現される機能又は手段である。
<<Function configuration of the image management device>>
The
また、画像管理装置5は、図8に示されているRAM503、及びHD504によって構築される記憶部5000を有している。この記憶部5000には、店舗管理DB5001及び分割数DB5002が構築されている。以下、各データベースについて説明する。
The
店舗IDは、店舗2を識別するための識別情報の一例である。店舗IDは店舗2に対し重複しないように付与される。店舗IDの一例としては重複しない番号とアルファベットの組み合わせが挙げられる。なお、IDはIdentificationの略であり識別子や識別情報という意味である。IDは複数の対象から、ある特定の対象を一意的に区別するために用いられる名称、符号、文字列、数値又はこれらのうち1つ以上の組み合わせをいう。以下のIDについても同様である。
A store ID is an example of identification information for identifying the
店舗名は、店舗2の名称であり、主に閲覧者Yが店舗2を判別するために使用される。住所は店舗2の所在を示す。住所は画像処理システム200が地図上に店舗2の位置を表示する際に使用される。必要に応じて住所は緯度と経度に変換される。
The store name is the name of the
店舗レイアウトマップには、各店舗のレイアウトを示す画像データなどのファイル名が登録される。店舗レイアウトマップにより店舗2における撮像装置1の位置、及び、商品などの位置が2次元座標で特定される。
File names of image data indicating the layout of each store are registered in the store layout map. The position of the
端末IDと商品の項目は撮像装置1と商品を対応付ける項目である。店舗レイアウトマップで商品が選択された場合に、商品に対応付けられている店舗内の撮像装置1を画像管理装置5が特定するために使用される。端末IDは、撮像装置1を識別するための識別情報である。端末IDは、例えば、撮像装置1の例えばシリアル番号、製造番号、型番と重複しない数値、IPアドレス、又は、MACアドレスなどであるがこれらには限定されない。表1に示すように、1つの店舗2には1つ以上の撮像装置1(端末ID)が設置されており、商品の位置が店舗レイアウトマップに登録されている。商品と端末IDは1対1に対応するとは限らず、1つの端末IDに複数の商品が対応付けられる場合がある。
The item of terminal ID and product is an item that associates the
画角は、被写体である商品が写っている画角である。全天球画像には周囲の360度が写っているため、同一種の商品が写っている範囲は全天球画像の一部である。このため、商品に対応付けて画角が登録されている。画角のうちH1、V1は緯度と経度であり、同一種の商品の領域の中央の座標を示す。α1は同一種の商品の領域を画角で指定する。画角は同じ種類の商品の領域を指定する座標情報である。なお、1対の対角頂点で同一種の商品の領域を指定してもよい。画像処理システム200は全天球画像のこの画角の範囲を指定して端末装置7に送信するので、端末装置7は全天球画像を受信した直後から所定の商品の商品棚の画像を表示できる。
The angle of view is the angle of view in which the product, which is the subject, is shown. Since the omnidirectional image captures the surrounding 360 degrees, the range in which the same type of product is captured is part of the omnidirectional image. Therefore, the angle of view is registered in association with the product. Of the angles of view, H1 and V1 are latitude and longitude, and indicate the coordinates of the center of the area of the same type of product. α1 designates the area of the same type of product by the angle of view. The angle of view is coordinate information specifying the area of products of the same type. It should be noted that a pair of diagonal vertices may be used to specify areas of the same type of product. Since the
商品ごとに分割後の画像の大きさが決定されることで、動体及び商品棚の変化を画像管理装置5が区別しやすくなり、全天球画像から動体を除去しやすくなる。詳細を図10にて説明する。なお、必ずしも商品ごとに分割後の画像の大きさを変更する必要はなく、分割後の画像の大きさは商品の種類が異なっても同じでよい。
Determining the size of the image after division for each product makes it easier for the
(画像管理装置の各機能構成)
画像管理装置5の送受信部51は、通信ネットワーク9を介して通信端末3、又は端末装置7と各種データの送受信を行う。なお、以下では、画像管理装置5が端末装置7と通信する場合でも、「送受信部51を介して」という記載を省略する場合がある。
(Each functional configuration of the image management device)
The transmission/
画像分割部52は、全天球画像を所定の大きさのブロックに分割する。ブロックに分割することで1枚の全天球画像に動体が全く写らないことがなくても動体を除去できる。したがって、来客者数が少ない店舗2の全天球画像は分割されなくてもよい場合がある。また、撮像装置1が撮像する画像が全天球画像でなく一般的な画角である場合、分割されなくてもよい場合がある。ブロックへの分割については図10にて説明する。
The
類似度算出部53はブロックに分割された各画像について、上記した出力画像と入力画像の類似度を算出する。詳細は後述する。なお、類似度を算出するため、類似度算出部53は端末装置7に送信された出力画像を保持しておく。
The
判断部55は、類似度が閾値以上か否かを判断することで、出力画像を更新するか否かを決定する。すなわち、入力画像が被写体の画像かどうかを判断する。類似度が閾値上の場合、出力画像を現在の入力画像で更新すると決定し、類似度が閾値未満の場合、1周期前の出力画像をそのまま出力すると決定する。
The
画像合成部56は、判断部55が出力画像に決定した分割後の画像を合成して元の全天球画像を生成する。画面作成部54は、画像データを端末装置7に送信する際に、HTMLデータ(又はXHTMLデータ)、JavaScript(登録商標)及びCSS(Cascade Style Sheet)などで端末装置7が全天球画像を表示するためのWebページを作成する。端末装置7はWebページを解析して画面を表示するため、Webページは画面情報になる。なお、本実施形態でWebページと称した場合、Webアプリにより適宜構築されるWebページが含まれるものとする。Webアプリとは、Webブラウザ上で動作するスクリプト言語(たとえばJavaScript(登録商標))によるプログラムとWebサーバ側のプログラムが協調することによって動作し、Webブラウザ上で使用されるソフトウェア又はその仕組みを言う。
The
記憶・読出部59は、記憶部5000に各種データを記憶したり、記憶部5000から各種データを読み出したりする。なお、以下では、画像管理装置5が記憶部5000から読み書きする場合でも「記憶・読出部59を介して」という記載を省略する場合がある。
The storage/
<端末装置の機能構成>
端末装置7は、送受信部71、受付部72、表示制御部73、及び、記憶・読出部79を有している。これら各部は、図8に示されている各構成要素のいずれかが、HD504からRAM503上に展開された端末装置7用のプログラムに従ったCPU501からの命令によって動作することで実現される機能又は手段である。
<Functional configuration of terminal device>
The
また、端末装置7は、図8に示されているRAM503、及びHD504によって構築される記憶部7000を有している。記憶部7000には端末装置7用のプログラムが記憶されている。端末装置7用のプログラムは、例えばブラウザソフトウェアであるが、ブラウザソフトウェアのような通信機能を備えたアプリケーションソフトウェアでもよい。
The
(端末装置の各機能構成)
端末装置7の送受信部71は、通信ネットワーク9を介して画像管理装置5と各種データの送受信を行う。なお、以下では、端末装置7が画像管理装置5と通信する場合でも、「送受信部71を介して」という記載を省略する場合がある。
(Each functional configuration of the terminal device)
A transmission/
受付部72は、ユーザ(図4では、閲覧者Y)からの操作入力を受け付ける。本実施形態では、商品棚81(撮像装置1)の選択、閲覧者Yが購入する商品の選択、個数の受け付け、画像の回転、及び、商品が写っている画像の拡大や縮小などを受け付ける。
The receiving
表示制御部73は、画像管理装置5から送信された画面情報を解釈して端末装置7のディスプレイ508に各種画面を表示させるための制御を行なう。
The
記憶・読出部79は、記憶部7000に各種データを記憶したり、記憶部7000から各種データを読み出したりする。なお、以下では、端末装置7が記憶部7000から読み書きする場合でも「記憶・読出部79を介して」という記載を省略する場合がある。
The storage/
<画像の分割>
全天球画像は画角が広いため店舗内に動体があれば写してしまう可能性がある。店舗2への来客頻度が高い場合、動体が写っている全天球画像の頻度も多くなる。ある画像に人物82が写っていたら人物82が写っていない過去の全天球画像を出力する動体除去方法では、全く人物82が写っていない全天球画像が来客頻度に応じて過去のものになるため、時間的に古い商品棚81が表示されてしまう。このため、本実施形態では、全天球画像をブロック状に分割してから動体除去を行う。ブロックに分割すれば1つのブロックに動体が写る頻度が小さくなりそれほど古くない商品棚81の画像を出力できる。
<Split image>
Since the spherical image has a wide angle of view, there is a possibility that if there is a moving object in the store, it will be captured. When the frequency of visits to the
図10を用いて分割後の画像の大きさについて説明する。図10は分割後の画像の大きさを説明する図の一例である。分割後の画像の大きさは商品(図10ではドリンク)の大きさと動体の大きさを考慮して決定される。 The size of the image after division will be described with reference to FIG. FIG. 10 is an example of a diagram explaining the size of an image after division. The size of the divided image is determined in consideration of the size of the product (drink in FIG. 10) and the size of the moving object.
図10(a)に示すように分割後の画像の大きさを商品と同程度にした場合を考える。分割後の画像の大きさを点線91で示す。本実施形態では動体が写っている場合には過去の出力画像を出力し、商品棚81の商品が減少又は増大した場合には入力画像を出力したい。しかし、分割後の画像の大きさと商品の大きさが同程度であると、動体が写っている場合も商品が減少又は増大した場合も類似度が低くなるおそれがあり区別がつかない。
Consider a case where the size of the image after division is set to the same size as the product, as shown in FIG. 10(a). A dotted
次に、図10(b)に示すように分割後の画像の大きさを動体よりも大きくした場合を考える。分割後の画像の大きさを点線91で示す。分割後の画像に動体が写っている場合、類似度は低下するが、商品の数が減少又は増大した場合も類似度が低くなるため区別がつかないおそれがある。例えば、分割後の画像の一部に人体が重なると、商品の減少時の類似度と近くなり、区別がつかない。
Next, as shown in FIG. 10B, consider the case where the size of the divided image is larger than that of the moving object. A dotted
以上から、分割後の画像の大きさは少なくとも商品よりも大きく、動体の大きさ以下であることが好ましい。更に、好ましくは、分割後の画像の大きさは商品の大きさの数倍以上であり、かつ、動体により完全に覆い隠される程度である。こうすることで、動体が写っている分割後の画像の類似度は十分に低くなり、商品の数が減少又は増大した場合の類似度はそれよりも高くなるので、両者を判別しやすくなる。表2の分割数テーブルは両者を判別しやすくなるように分割数が決定されている。本実施形態ではあくまで一例であるが、商品が4つ程度入る大きさに全天球画像を分割する。 From the above, it is preferable that the size of the image after division is at least larger than the product and equal to or smaller than the size of the moving object. Furthermore, preferably, the size of the image after division is several times or more the size of the product, and is completely covered by the moving object. By doing this, the similarity of the divided images showing the moving object is sufficiently low, and the similarity is higher when the number of products is decreased or increased, so that both can be easily distinguished. In the division number table of Table 2, division numbers are determined so that both can be easily distinguished. Although this embodiment is merely an example, the omnidirectional image is divided into a size that can contain about four products.
<類似度>
類似度は分割後の画像と画像がどのくらい似ているかに関する指標である。一致度や相関度と称してもよい。
<Similarity>
The degree of similarity is an index of how similar an image after division is to another image. It may also be called the degree of matching or the degree of correlation.
更に、入力画像の画素値の平均を入力画像から減じ、出力画像の画素値の平均を出力画像から減じて式(1)と同様の計算を行ってもよい。これにより、入力画像の明るさが変動しても類似度を安定的に計算することができる。 Furthermore, the average of the pixel values of the input image may be subtracted from the input image, and the average of the pixel values of the output image may be subtracted from the output image to perform calculations similar to Equation (1). As a result, the similarity can be stably calculated even if the brightness of the input image fluctuates.
また、画素値の差の絶対値の合計であるSAD(Sum of Absolute Difference)、輝度値の差の二乗の合計であるSSD(Sum of Squared Difference)、を用いてもよい。しかしながら、SAD又はSSDでは商品の数に変化がないのに照明や日差しによる明るさの変化で値が大きくなる傾向がある。このため、類似度は相互相関係数により求めることが好適である。ただし、店舗内では照明が常時点灯されているため明るさの変化は少なく、SAD又はSSDが利用されてもよい。 Alternatively, SAD (Sum of Absolute Difference), which is the sum of absolute values of differences in pixel values, and SSD (Sum of Squared Difference), which is the sum of squares of differences in luminance values, may be used. However, with SAD or SSD, even though the number of products does not change, the value tends to increase due to changes in brightness due to lighting or sunlight. Therefore, it is preferable to obtain the degree of similarity from the cross-correlation coefficient. However, since the lights are always on in the store, there is little change in brightness, so SAD or SSD may be used.
なお、人の顔を認識する技術が知られており、動体が人物82であるとすると、画像管理装置5がこの技術を使って動体を検出することも考えられる。しかし、撮像装置1が商品棚81を撮像する際、人は背後から撮像されるので顔が写らない。このため、人物82の顔の検出は困難であり、本実施形態の動体の検出には向いていない。
A technique for recognizing a person's face is known, and if the moving object is the
<出力画像の決定>
図11を用いて、類似度に基づく出力画像の決定方法について説明する。図11(a)は類似度を示し、図11(b)は入力画像を示し、図11(c)は出力画像を示す。判断部55は、出力画像と入力画像の類似度が閾値以上かどうかの判断を繰り返す。
<Determination of output image>
A method of determining an output image based on the degree of similarity will be described with reference to FIG. FIG. 11(a) shows the degree of similarity, FIG. 11(b) shows the input image, and FIG. 11(c) shows the output image. The
時刻t0:撮像装置1が全天球画像を初めて撮像した場合は、入力画像86_t0がそのまま出力画像である。
Time t 0 : When the
時刻t1:商品棚81の商品に変化がないので、入力画像86_t1と時刻t0の出力画像87_t0の類似度は高く閾値以上となる。判断部55は時刻t1の入力画像86_t1を出力画像87_t1に決定する。
Time t 1 : Since there is no change in the products on the
時刻t2:人物82が写ったため、入力画像86_t2と時刻t1の出力画像87_t1の類似度は閾値未満となる。判断部55は時刻t1の出力画像87_t1をそのまま出力画像に決定する。
Time t2: Since the
時刻t3~t5:引き続き人物82が写っているため、入力画像86_t3~86_t5と1周期前の出力画像87_t2~87_t4の類似度は閾値未満となる。判断部55は1周期前の出力画像87_t2~87_t4をそのまま出力画像に決定する。
Time t 3 to t 5 : Since the
時刻t6:人物82が商品を取って商品棚81の前から立ち去ったため、入力画像86_t6には商品棚81が写るが商品が1つ少なくっている。このため、時刻t6の入力画像と時刻t5の出力画像の類似度は、商品に全く変更がない状況よりも小さくなり人物82が写っている場合よりも大きくなる。以下、この類似度と「中程度の類似度」という。中程度の類似度は閾値以上なので、判断部55は時刻t6の入力画像86_t6を出力画像に決定する。
Time t 6 : Since the
時刻tn:その後、商品の数に変更がないとすると、時刻t6の出力画像87_t6と時刻tnの入力画像86_tnの類似度が高くなるので(類似度はほぼ1)、判断部55は時刻tnの入力画像86_tnを出力画像に決定する。 Time tn : After that, if there is no change in the number of products, the similarity between the output image 87_t6 at time t6 and the input image 86_tn at time tn increases ( similarity is approximately 1). 55 determines the input image 86_tn at time tn as the output image.
時刻t2~t5の出力画像を見ると分かるように、入力画像から動体が検出された場合、出力画像87_t2~87_t5は過去の出力画像87_t1がそのまま出力画像になるので、閲覧者Yはほぼリアルタイムに(数秒程度の遅れで)端末装置7が表示する商品を閲覧できる。また、店舗2の人物82のプライバシーを守ることができる。
As can be seen from the output images at times t 2 to t 5 , when a moving object is detected from the input image, the output images 87_t 2 to 87_t 5 are the past output images 87_t 1 as they are. Y can browse the products displayed by the
類似度算出部53と判断部55は分割後の画像ごとに類似度の算出と出力画像の決定を行う。そして、全ての分割後の画像で出力画像を決定すると、画像合成部56が分割された画像を1つの全天球画像に合成する。
The
<動作手順>
図12は画像処理システム200が画像を提供する全体的な手順を示すシーケンス図の一例である。図12では閲覧者Yが画像管理装置5をECサイトとして利用するシーンが想定されている。
<Operation procedure>
FIG. 12 is an example of a sequence diagram showing an overall procedure for
S12-1:端末装置7は画像管理装置5にログインする。一般的なECサイトでは閲覧者が会員登録しており、ログインすることで閲覧者Yに関する情報(住所、電話番号、メールアドレス等)が特定される。なお、ログインせずに閲覧者Yが商品を購入することも可能であるが、この場合、閲覧者Yは住所等を入力する必要がある。
S12-1: The
S12-2:ログインした端末装置7に対し画像管理装置5の画面作成部54は、閲覧者Yの住所から閲覧者Yの近くの店舗2の一覧を含む店舗一覧画面を作成する。画面作成部54は予め登録されている閲覧者Yの住所又は端末装置7から送信された端末装置7の位置情報と店舗管理テーブルの住所を比較して、例えば、最寄りの店舗2を含む10店舗程度を特定する。そして、地図上に店舗2の位置を明示する店舗一覧画面を作成する。画像管理装置5の送受信部51は店舗一覧画面を端末装置7に送信する。店舗一覧画面の一例を図13に示す。
S12-2: The
S12-3:端末装置7の送受信部71は店舗一覧画面を受信し、表示制御部73が店舗一覧画面をディスプレイ508に表示する。閲覧者Yが商品を購入したい店舗2を選択すると受付部が商品の選択を受け付ける。
S12-3: The transmitting/receiving
S12-4:端末装置7の送受信部71は店舗2を特定するための店舗IDを画像管理装置5に送信する。画像管理装置5の送受信部51は店舗IDを受信する。これにより、店舗2を特定できたので、画像管理装置5はこの店舗2の商品画面を端末装置7に送信できるようになる。
S12-4: The transmitting/receiving
S12-5:店舗2の撮像装置1は一例として周期的に周囲を撮像する。
S12-5: As an example, the
S12-6:撮像装置1は通信端末3を介して全天球画像、店舗ID及び装置IDを画像管理装置5に送信する。説明の便宜上、図12では通信端末3が省略されている。また、店舗内の全ての撮像装置1がそれぞれ全天球画像を送信する。
S<b>12 - 6 : The
S12-7:画像管理装置5の送受信部51は全天球画像、店舗ID及び装置IDを受信し、類似度算出部53及び判断部55が出力画像を決定する。この処理については図15を用いて説明する。
S12-7: The transmission/
S12-8:画像管理装置5の送受信部51は全天球画像を含む商品画面を端末装置7に送信する。商品画面の一例を図14に示す。
S12-8: The transmission/
S12-9:端末装置7の送受信部71は商品画面を受信して、表示制御部73は商品画面をディスプレイ508に表示する。閲覧者Yが商品画面で購入したい商品の商品棚81を選択すると受付部72が商品棚81の選択を受け付ける。
S12-9: The transmitting/receiving
S12-10:端末装置7の送受信部71は商品棚81に対応付けられた端末IDを画像管理装置5に送信する。これにより、画像管理装置5は撮像装置1を特定してこの撮像装置1が撮像した全天球画像を端末装置7に送信できるようになる。
S12-10: The transmitting/receiving
S12-11:画像管理装置5の送受信部51は端末IDで特定される撮像装置1が送信した全天球画像を画角と共に端末装置7に送信する。全天球画像には周囲360度が撮像されているので、この画角は商品が撮像されている範囲を指定するために使用される。端末装置7の表示制御部73はこの画角で指定される範囲をディスプレイ508に表示する。
S12-11: The transmission/
なお、ステップS12-10の全天球画像の送信タイミングは一例であって、端末装置7から端末IDが送信されたかどうかに関係なく、出力画像の決定が終わった全天球画像を遅滞なく画像管理装置5が端末装置7に送信してもよい。ステップS12-10のように端末IDで指定された撮像装置1の全天球画像のみが送信される場合は、通信負荷を低減できる。出力画像の決定が終わった全天球画像を遅滞なく画像管理装置5が端末装置7に送信する場合は、閲覧者Yが商品棚81(全天球画像)を選択した時に短時間で全天球画像を切り替えることができる。
Note that the transmission timing of the omnidirectional image in step S12-10 is an example, and regardless of whether the terminal ID has been transmitted from the
<画面例>
図13は端末装置7が表示した店舗一覧画面601の一例を示す。店舗一覧画面601は、地図表示欄602、検索欄603、店舗情報欄604、及び、決定ボタン605を有している。地図表示欄602は、閲覧者Yを中心とする地図を表示する欄であり、閲覧者の周囲にある店舗2を表示する。店舗2の数は予め決まっていてもよいし、閲覧者Yが設定してもよい。閲覧者Yは地図を拡大又は縮小することができ、より多くの店舗2を表示させたり、店舗2までのより詳細な経路を確認したりできる。
<Screen example>
FIG. 13 shows an example of a
検索欄603は更に入力欄603aと検索ボタン603bを有する。入力欄603aは店舗名や場所を閲覧者Yが入力するための欄であり、検索ボタン603bは検索要求を画像管理装置5に端末装置7が送信するためのボタンである。店舗2が検索されると地図表示欄602も更新され、検索にヒットした店舗2を中心とする地図が表示される。
The
店舗情報欄604は、選択中の店舗2の詳細な情報を表示するための欄である。送信直後の店舗一覧画面601では最寄り又は最期に利用した店舗2の詳細な情報が表示される。閲覧者Yはマウスやタッチパネルなどのポインティングデバイスで地図表示欄602から任意の店舗2を選択できる。決定ボタン605は、選択中の店舗2の画像を表示する旨を端末装置7が画像管理装置5に送信するためのボタンである。このように閲覧者Yは任意の店舗2を選択して、商品を選択できる。
A
地図表示欄602に代わって又は地図表示欄602と共に店舗2のリストをテキストデータで表示してもよい。
Instead of the
図14は、端末装置7が表示した商品画面611の一例を示す。商品画面611は、店舗レイアウトマップ欄612、商品画像欄613、カート614、及び、レジに進むボタン615を有している。店舗レイアウトマップ欄612には、店舗レイアウトマップが表示される。店舗レイアウトマップ欄612は店内のどこにどの商品があるかというマップを簡略化して表示する。例えば、商品棚アイコン612aに商品のカテゴリーが表示されており、各商品棚アイコン612aはポインティングデバイス618による選択を受け付けるボタンを兼用している。表1の店舗管理テーブルに示したように各商品棚アイコン612aは撮像装置1の端末IDと対応付けられており(リンクされている又は埋め込まれている)、商品棚アイコン612aが選択されると撮像装置1の端末IDが特定される。選択中の商品棚アイコン612aは反転表示される。
FIG. 14 shows an example of a
商品画像欄613には、店舗レイアウトマップで選択された商品棚アイコン612aに対応付けられた撮像装置1の全天球画像が表示される。表示された直後の画角は画像管理装置5から指定されるが、閲覧者Yは全天球画像を回転させ任意の方向を表示させることができる。全天球画像には、1つの商品(商品のカテゴリーでなく個別の1商品)が占める領域ごとに領域に写っている商品の商品名とその価格が対応付けられている。領域は画角により特定される。端末装置7の受付部72はポインティングデバイス618のクリック(又はタップ)を受け付けると、受け付けた領域に対応付けられた商品とその価格を表示制御部73がポップアップ画像617で表示する。単なるマウスオーバーによりポップアップ画像617を表示してもよい。
The
閲覧者Yは所望の商品かどうかを確認して、所望の商品であればポインティングデバイス618をカート614にドラッグ&ドロップする。受付部72は商品がカート614にドラッグ&ドロップされたことを検出し、カート614に商品を対応付ける。カート614に対するクリック(又はタップ)等の操作により、表示制御部73がカート614に入っている商品のリスト、価格、及び、合計金額等を表示する。
Viewer Y confirms whether or not the product is the desired product, and drags and drops the
レジに進むボタン615はカートの商品を決済する画面に遷移するためのボタンである。閲覧者Yはこの画面で商品の配送先を設定したり合計金額を支払ったりすることができる。
A
<出力画像の決定>
図15は、画像管理装置5が出力画像を決定する手順を示すフローチャート図の一例である。図15の処理は撮像装置1が1つの全天球画像を撮像し、画像管理装置5に送信するごとにスタートする。
<Determination of output image>
FIG. 15 is an example of a flowchart showing a procedure for the
まず、画像分割部52が全天球画像を分割する(ステップS15-1)。画像分割部52は分割数テーブルを参照し、画角に対応付けられた分割数で全天球画像を分割する。分割数テーブルに登録されていない画角については予め決まった大きさに分割する。また、全天球画像の全体を分割する必要はない。店舗2の天井や撮像装置1の真下付近には動体が存在しないと考えてよいためである。したがって、画像分割部52は天井や撮像装置1の真下付近の画角を分割しなくてもよい。
First, the
次に、類似度算出部53は分割後の画像ごとに1周期前の出力画像と現在の入力画像の類似度を算出する(ステップS15-2)。
Next, the
そして、判断部55が1周期前の出力画像と現在の入力画像の類似度が閾値以上か否かを判断する(ステップS15-3)。
Then, the
類似度が閾値以上の場合、判断部55は出力画像を入力画像で更新する(ステップS15-4)。類似度が閾値未満の場合、判断部55は1周期前の出力画像をそのまま出力画像として出力すると決定する(ステップS15-5)。
If the degree of similarity is greater than or equal to the threshold, the
そして、判断部55は全ての分割後の画像の処理が終わったか否かを判断する(ステップS15-6)。動体が写る可能性がない画角に対応する分割後の画像については出力画像を決定することなく、出力画像を入力画像で更新すればよい。これにより、出力画像の決定に要する時間を短縮できる。
Then, the
全ての分割後の画像の処理が終わると、判断部55によるブロックごとの判断結果に応じて、画像合成部56は入力画像又は出力画像を合成して1つの全天球画像を生成する(ステップS15-7)。画面作成部54は全天球画像を含むWebページを、送受信部51を介して端末装置7に送信する。あるいは全天球画像のみを端末装置7に送信する。端末装置7の表示制御部73は動体が除去された全天球画像をディスプレイ508に表示することができる。
When all divided images have been processed, the
<まとめ>
以上説明したように、本実施形態の画像処理システム200は、ある時刻の画像に人物82が写っていたら人物82が写っていない過去の全天球画像を出力するので、人物82などの動体を除去して商品棚81の画像を提供することができる。動体が写っている間は動体が検出される前の出力画像が表示されるので、閲覧者が商品を閲覧できないということがない。商品棚81の商品が取り出されて商品棚81の画像に変化が生じても類似度の低下はわずかなので、商品棚81の入力画像で出力画像を更新できる。
<Summary>
As described above, the
本実施例では動体の一部が分割後の画像に写っていてもこれを検出することで、入力画像で出力画像を更新しない画像処理システム200について説明する。本実施例において、実施例1において同一の符号を付した構成要素は同様の機能を果たすので、主に本実施例の主要な構成要素についてのみ説明する場合がある。
In the present embodiment, an
図16は、本実施例の画像処理システム200が解決する不都合を説明する図の一例である。図16(a)はある周期の出力画像であり、図16(b)と図16(c)は時間的に後の入力画像である。
FIG. 16 is an example of a diagram for explaining the problem solved by the
図16(b)では商品が1つ減っているため、実施例1で説明したように類似度が中程度になる。類似度が中程度であるため、判断部55は図16(a)の出力画像を図16(b)の入力画像で更新すると判断する。これに対し、図16(c)では人物82の一部(例えば指)が写っているため、同じように類似度が中程度になる。類似度が中程度であるため、判断部55は図16(a)の出力画像を図16(c)の入力画像で置き換えると判断する。しかし、人物82の一部が写っているため閲覧者には違和感を与えてしまう。
In FIG. 16B, the number of products is reduced by one, so the degree of similarity is medium as described in the first embodiment. Since the degree of similarity is medium, the
このような不都合に対応するため、本実施例では図16(c)のような入力画像を人物82が写っていると判断できる画像処理システム200について説明する。
In order to deal with such an inconvenience, this embodiment will explain an
<出力画像の決定>
図17を用いて、本実施例における類似度に基づく出力画像の決定方法について説明する。図17(a)は類似度を示し、図17(b)は入力画像を示し、図17(c)は出力画像を示す。判断部55は、出力画像と入力画像の類似度が閾値以上かどうかの判断を繰り返す。
<Determination of output image>
A method of determining an output image based on the degree of similarity in this embodiment will be described with reference to FIG. FIG. 17(a) shows the degree of similarity, FIG. 17(b) shows the input image, and FIG. 17(c) shows the output image. The
時刻t0:撮像装置1が全天球画像を初めて撮像した場合は、入力画像86_t0がそのまま出力画像である。
Time t 0 : When the
時刻t1:商品棚81の商品に変化がないので、入力画像86_t1と時刻t0の出力画像87_t0の類似度は高く閾値以上となる。本実施例では類似度が中程度以上の場合、判断部55が所定数の周期前の入力画像と現在の入力画像の類似度を算出する。図17では2周期前と4周期前の入力画像と、現在の入力画像86_t1との類似度がそれぞれ算出されている。そして類似度が高い場合、商品棚81の変化であると判断して、判断部55は時刻t1の入力画像86_t1を出力画像87_t1に決定する。
Time t 1 : Since there is no change in the products on the
時刻t2:人物82が写ったため、入力画像86_t2と時刻t1の出力画像87_t1の類似度は閾値未満となる。判断部55は時刻t1の出力画像87_t1をそのまま出力画像に決定する。
Time t2: Since the
時刻t3~t5:引き続き人物82が写っているため、入力画像86_t3~86_t5と1周期前の出力画像87_t2~87_t4の類似度は閾値未満となる。判断部55は1周期前の出力画像87_t2~87_t4をそのまま出力画像に決定する。
Time t 3 to t 5 : Since the
時刻t6:人物82が商品を取って商品棚81の前から立ち去ったため、入力画像には商品棚81が写るが商品が1つ少なくっている。このため、時刻t6の入力画像86_t6と時刻t5の出力画像87_t5の類似度は、中程度となる。類似度が中程度以上の場合、類似度算出部53は2周期前と4周期前の入力画像86_t2、86_t4と、現在の入力画像86_t6との類似度をそれぞれ算出する。出力画像と入力画像の類似度が閾値以上なのに、過去の入力画像と現在の入力画像との類似度が低い場合、商品棚81の変化か人体の一部が写っているのか判断できないと考え、判断部55は1周期前の時刻t5の出力画像87_t5をそのまま出力画像に決定する。
Time t 6 : Since the
時刻tn:その後、商品の数に変更がないとすると、時刻t6の出力画像87_t6と時刻tnの入力画像86_tnの類似度が中程度以上になるので、判断部55は2周期前と4周期前の入力画像と、現在の入力画像86_tnとの類似度をそれぞれ算出する。人物82が立ち去った後のタイミングになると、時刻tnの入力画像86_tnと2周期前と4周期前の入力画像との類似度が高いので(ほぼ一致するので)、判断部55は現在の入力画像86_tnを出力画像に決定する。したがって、入力画像がしばらく変化しなかった場合には、出力画像と入力画像の中程度以上の変化を背景の変化と判断して、出力画像を入力画像86_tnで更新できる。
Time tn: After that, if there is no change in the number of products, the degree of similarity between the output image 87_t6 at time t6 and the input image 86_tn at time tn is medium or higher. The degree of similarity between the input image before the cycle and the current input image 86_tn is calculated. At the timing after the
本実施例の動体除去方法によれば、時刻t6で出力画像87_t5が現在の入力画像86_t6で更新されないため、商品棚が実際に変化していても端末装置7に送信されるタイミングが遅れてしまう。しかし、商品棚81が変化していないのに人体の一部が写っているために商品棚81の変化であると誤判断して、人体の一部が写っている現在の入力画像で出力画像を更新することを抑制できる。
According to the moving object removal method of this embodiment, the output image 87_t5 is not updated with the current input image 86_t6 at time t6, so the timing of transmission to the
図18を用いて補足する。図18は図17と同様の図であるが、時刻t6の入力画像86_t6が図17と異なっている。 A supplementary explanation is given using FIG. FIG. 18 is similar to FIG. 17, but the input image 86_t6 at time t6 is different from FIG.
時刻t6:人物82が商品棚81の前から立ち去ったが、商品を取らなかった。しかし、現在の入力画像86_t6には人体の一部が写っている。このため、時刻t6の入力画像86_t6と時刻t5の出力画像87_t5の類似度は、中程度となる。類似度が中程度以上の場合、類似度算出部53は2周期前と4周期前の入力画像86_t2、86_t4と、現在の入力画像86_t6との類似度がそれぞれ算出する。
Time t 6 : The
類似度が低いので、判断部55は1周期前の時刻t5の出力画像87_t5をそのまま出力画像に決定する。したがって、人体の一部が写っているが入力画像と1周期前の出力画像との類似度が中程度になっても、人体の一部が写っている現在の入力画像で出力画像を更新することを抑制できる。
Since the degree of similarity is low, the
図18から理解されるように、2周期前と4周期前の入力画像と現在の入力画像とが比較されるのは、現在の入力画像に人体の一部が写っている場合は、人間の移動速度から考えて数秒前(所定時間前)の入力画像にも人体が写っている可能性が高いためである。毎秒1枚の画像が撮像される場合、2周期前と4周期前は2秒前と4秒前に相当する。撮像装置1の撮像周期が変わった場合、一例として2秒前と4秒前の入力画像が抽出されればよい。したがって、2周期前と4周期前というタイミングは一例であり、人間の移動速度から考えられる所定時間前の入力画像と現在の入力画像が比較されればよい。例えば、1周期前と3周期前、3秒前と5秒前等でもよい。
As can be understood from FIG. 18, the reason why the current input image is compared with the input image two cycles ago and four cycles ago is that if the current input image contains a part of the human body, the This is because there is a high possibility that the human body is also captured in the input image several seconds (predetermined time) before, considering the moving speed. When one image is captured every second, two cycles before and four cycles before correspond to two seconds before and four seconds before. When the imaging cycle of the
2周期前と4周期前の2つのタイミングで比較するのは、過去に人体が写っていなかったことをより確実に確認するためであり、2周期前又は4周期前のいずれか一方のタイミングで比較してもよい。どちらかの入力画像と現在の入力画像との類似度が低ければ、現在の入力画像に人体の一部が写っている可能性があるためである。 The reason why the two timings before 2 cycles and 4 cycles before are compared is to more reliably confirm that the human body was not captured in the past. You can compare. This is because if the degree of similarity between one of the input images and the current input image is low, the current input image may include a part of the human body.
1周期前~5周期前の入力画像のうち1つと現在の入力画像との類似度を算出してもよいし、1周期前~5周期前の入力画像のうち2つ以上(1秒周期の場合は最大で5つ)の入力画像と現在の入力画像との類似度を算出してもよい。複数の入力画像と現在の入力画像の類似度が算出された場合、すべての類似度が閾値以上かどうか判断される。 The degree of similarity between one of the input images from 1 cycle to 5 cycles ago and the current input image may be calculated, or two or more of the input images from 1 cycle to 5 cycles before The degree of similarity between the input image and the current input image may be calculated for up to five images in this case. When similarities between a plurality of input images and the current input image are calculated, it is determined whether all similarities are equal to or greater than a threshold.
<動作手順>
図19は、本実施例の画像処理システム200が出力画像を更新する手順を説明するフローチャート図の一例である。図19の説明では図15との相違を説明する。まず、ステップS19-1とS19-2の処理は図15のステップS15-1、S15-2と同様でよい。
<Operation procedure>
FIG. 19 is an example of a flow chart illustrating a procedure for updating an output image by the
ステップS19-3で判断部55は類似度が閾値x以上か否かを判断する(ステップS19-3)。閾値xは商品棚81に変化がある場合又は人体の一部が写っている場合の類似度よりも低い閾値である。閾値xは図15のステップS15-3の閾値と同程度になる。
At step S19-3, the
ステップS19-3の判断がYesの場合、類似度算出部53は2周期前と4周期前の入力画像と現在の入力画像の類似度を算出する(ステップS19-4)。すなわち、数秒前の動体が写っている可能性がある入力画像と現在の入力画像との類似度が算出される。
If the determination in step S19-3 is Yes, the
判断部55は2周期前の入力画像と現在の入力画像との類似度が閾値y以上かどうか、及び、4周期前の入力画像と現在の入力画像との類似度が閾値y以上かどうかを判断する(ステップS19-5)。
The
ステップS19-5でYesと判断された場合、過去の入力画像に動体が写っていないので、判断部55は出力画像を現在の入力画像で更新すると判断する(S19-6)。これにより、商品棚81に変化が合った場合には変化後の入力画像で出力画像を更新できる。
If it is determined Yes in step S19-5, the past input image does not include a moving object, so the determining
ステップS19-5でNoと判断された場合、過去の入力画像に動体が写っている可能性があるため、現在の入力画像に人体の一部が写っているのか商品棚の変化なのかを判断できないとして、判断部55は1周期前の出力画像をそのまま出力画像に決定する(S19-7)。これにより、現在の入力画像に人体の一部が写っている場合には、出力画像を更新することを回避できる。
If it is determined No in step S19-5, there is a possibility that the past input image contains a moving object, so it is determined whether the current input image contains a part of the human body or a change in the product shelf. Assuming that it is not possible, the
なお、閾値yは数秒前の入力画像と一致することを検出したいため(商品棚81が写っており変化がない)、最大の類似度である1に近い値となる。したがって、閾値yは閾値xよりも大きい。これにより、入力画像が変化しない場合には出力画像を入力画像で更新できる。
Note that the threshold value y is a value close to 1, which is the maximum degree of similarity, because it is desired to detect a match with the input image several seconds before (the
ステップS19-8とS19-9の処理は図15のステップS15-6とS15-7と同じでよい。 The processing of steps S19-8 and S19-9 may be the same as steps S15-6 and S15-7 of FIG.
以上説明したように、本実施例の画像処理システム200は、現在の入力画像と過去の入力画像を比較することで、動体の一部が分割後の画像に写っていてもこれを検出して出力画像を更新することを抑制できる。
As described above, the
本実施例では、分割後の画像に動体が写っているか否かの判断の後、出力画像を更新しないと判断した旨を周りに拡張する拡張処理を施すことで動体が一部だけ写った入力画像で出力画像を更新することをより確実に抑制する画像処理システム200について説明する。
In this embodiment, after determining whether or not a moving object appears in the image after division, expansion processing is performed to expand the fact that it is determined that the output image is not to be updated. An
図20は、本実施例の画像処理システム200が有する、撮像装置1、通信端末3、画像管理装置5、及び端末装置7の各機能ブロック図である。なお、図20の説明において、図9と同一の符号を付した構成要素は同様の機能を果たすので、主に本実施例の主要な構成要素についてのみ説明する場合がある。
FIG. 20 is a functional block diagram of the
本実施例の画像管理装置5は拡張処理部57を有している。拡張処理部57は動体が検出された分割後の画像に隣接した分割後の画像でも動体が検出されたとみなす処理を行う。すなわち、動体が検出された分割後の画像の範囲を拡張する。
The
<拡張処理>
図21は拡張処理を説明する図の一例である。図21においてマスは分割後の画像を現し、「1」の画像は動体が検出された分割後の画像を現し、「0」は動体が検出されていない分割後の画像を現す。まず、図21(a)は実施例1,2により動体の検出処理が行われた9つの分割後の画像を示す。図21(a)では中央の画像でのみ動体が検出されている。
<Extended processing>
FIG. 21 is an example of a diagram for explaining expansion processing. In FIG. 21, each square represents an image after division, an image of "1" represents an image after division in which a moving object is detected, and an image of "0" represents an image after division in which no moving object is detected. First, FIG. 21(a) shows nine divided images after the moving object detection processing has been performed in the first and second embodiments. In FIG. 21(a), a moving object is detected only in the central image.
図21(b)は動体が検出された分割後の画像の上下左右に隣接した画像への動体が検出された旨の拡張を説明する図である。図21(b)では中央の画像の上下左右に隣接した画像に「1」が設定されている。このような拡張処理を4近傍拡張処理という。 FIG. 21(b) is a diagram for explaining extension of detection of a moving object to images adjacent to each other vertically and horizontally after the divided image in which the moving object is detected. In FIG. 21B, "1" is set for the images adjacent to the upper, lower, left, and right sides of the central image. Such expansion processing is called 4-neighbor expansion processing.
図21(c)は動体が検出された分割後の画像の上下左右及び斜めに隣接した画像への動体が検出された旨の拡張を説明する図である。図21(c)では中央の画像の上下左右及び斜めに隣接した画像に「1」が設定されている。このような拡張処理を8近傍拡張処理という。 FIG. 21(c) is a diagram for explaining extension of detection of a moving object to an image adjacent to each other vertically, horizontally, and obliquely after the divided image in which the moving object is detected. In FIG. 21(c), "1" is set for the images adjacent to the center image in the upper, lower, left, right, and oblique directions. Such expansion processing is called 8-neighbor expansion processing.
図22は8近傍拡張処理の好適例を説明する図の一例である。図22(a)に示すように、例えば、人体の頭部が9つの分割後の画像の中央に写っているものとする。中央、左下、下中央及び右下の画像からは動体が検出されると考えられる。図22(b)に示すように、4近傍拡張処理では上下左右の画像に人体が写っていると見なすことができるが、斜め上の画像にも人体の一部が写っている。右上及び左上の画像にわずかにだけ人体が写っている場合、実施例2の判断方法でも出力画像が更新されるおそれがある。 FIG. 22 is an example of a diagram for explaining a preferred example of the 8-neighbor expansion process. As shown in FIG. 22A, for example, it is assumed that the head of a human body appears in the center of nine divided images. A moving object is considered to be detected from the center, lower left, lower center, and lower right images. As shown in FIG. 22(b), in the 4-neighbor expansion process, it can be considered that the human body is shown in the upper, lower, left, and right images, but a part of the human body is also shown in the diagonally upper image. If the upper right and upper left images only slightly show a human body, there is a possibility that the output image will be updated even with the determination method of the second embodiment.
これに対し、図22(c)に示すように、8近傍拡張処理では右上及び左上の画像に人体の一部が写っていたと見なすことができるので、動体が写っている入力画像で出力画像を更新することを抑制できる。 On the other hand, as shown in FIG. 22(c), in the 8-neighbour expansion process, it can be assumed that a part of the human body is shown in the upper right and upper left images. Updates can be suppressed.
したがって、8近傍拡張処理が有効であることが分かるが、動体の形状等によっては4近傍拡張処理を採用してもよい。 Therefore, it can be seen that the 8-neighbor expansion process is effective, but the 4-neighbor expansion process may be adopted depending on the shape of the moving object.
図23は、拡張処理部57が分割後の画像に対し拡張処理を行うフローチャート図の一例である。図23の処理では図19との相違を主に説明する。
FIG. 23 is an example of a flow chart showing how the
図23の処理ではステップS23-1~S23-4が追加されている。ステップS23-1では、拡張処理部57が、分割後の画像を1つ決定する(ステップS23-1)。分割後の画像の決定方法は任意でよい。
Steps S23-1 to S23-4 are added to the process of FIG. At step S23-1, the
次に、着目している分割後の画像に動体が検出されているか否かを判断する(ステップS23-2)。 Next, it is determined whether or not a moving object is detected in the divided image of interest (step S23-2).
ステップS23-2の判断がYesの場合、拡張処理部57は上下左右及び斜めの画像で動体が検出されたとみなす(ステップS23-3)。ステップS23-2の判断がNoの場合、拡張処理部57は拡張処理を行わない。
If the determination in step S23-2 is Yes, the
拡張処理部57は全ての分割後の画像で終了したか否かを判断し(ステップS23-4)、終了した場合は分割後の画像を合成する(S19-9)。
The
なお、ステップS23-2において、動体が検出されたとみなされた分割後の画像はYesと判断されないことに注意されたい。これにより、動体が検出されたとみなされた分割後の画像と隣接する分割後の画像が連鎖的に、動体が検出されたとみなされることを回避できる。 It should be noted that, in step S23-2, it is not judged as Yes for the divided image in which the moving object is considered to be detected. As a result, it is possible to prevent a divided image in which a moving object has been detected and an adjacent divided image from being regarded as having detected a moving object in a chain reaction.
本実施例によれば、出力画像を更新しないと判断した分割後の画像を近傍に拡張することで、人物82の一部が写っているが過去の入力画像との類似度が閾値y以上となった場合でも出力画像が更新されないので、動体が一部だけ写った入力画像で出力画像を更新することを抑制することができる。
According to the present embodiment, by expanding the divided image for which it is determined that the output image is not to be updated to the vicinity, the
本実施例では人体が写っている画像を機械的に学習しておき学習モデル58を構築し、学習モデル58により入力画像に人物が写っているか否かを判断する画像処理システム200について説明する。
In the present embodiment, an
図24は、本実施例の画像処理システム200が有する、撮像装置1、通信端末3、画像管理装置5、及び端末装置7の各機能ブロック図である。なお、図24の説明において、図9と同一の符号を付した構成要素は同様の機能を果たすので、主に本実施例の主要な構成要素についてのみ説明する場合がある。
FIG. 24 is a functional block diagram of the
本実施例の画像管理装置5は学習モデル58を有している。学習モデル58は、動体が写っている画像又は写っていない画像の学習結果を保持しており、入力された画像に対し動体の有無を出力する。学習モデル58は入力画像に動体が写っているか否か(又は、確度、確率、又は確からしさ等)を出力する。入力画像から抽出した特徴量を使用してもよい。学習装置は予め、ディープラーニング、サポートベクターマシン、ニューラルネットワーク、ランダムフォレストなどのアルゴリズムでトレーニング用の入力画像に人物が写っているか否を学習することで学習モデル58を構築する。学習モデル58にはこの学習結果が保持されており、入力画像に動体が写っているか否か(被写体の画像かどうか)を判断する判断部として機能する。
The
<学習モデルを用いた判断について>
1.学習モデルのみで入力画像を破棄
図25を用いて、学習モデル58を用いた出力画像の決定方法について説明する。図25(a)は入力画像を示し、図25(b)は出力画像を示す。判断部55は、学習モデル58を単独で使って動体が写っているか否かに基づいて出力画像を決定する。
<About judgment using learning model>
1. Discarding Input Image Using Learning Model Only A method of determining an output image using the
時刻t0:入力画像86_t0が撮像されると、学習モデル58に入力される。学習モデル58は人物が写っていないと判断する。時刻t0では出力画像がないため判断部55は入力画像86_t0を出力すると判断する。
Time t 0 : When the
時刻t1:入力画像86_t1が撮像されると、学習モデル58に入力される。学習モデル58は人物が写っていないと判断するので、時刻t1の入力画像86_t1を出力画像87_t1に決定する。
Time t 1 : When the
時刻t2:入力画像86_t2には人物82が写ったため、学習モデル58は人物が写っていると判断し、入力画像86_t2を破棄し、時刻t1の出力画像87_t1をそのまま出力画像に決定する。
Time t2: Since the
時刻t3~t5:引き続き人物82が写っているため、学習モデル58は人物が写っていると判断する。このため、1周期前の出力画像87_t2~87_t4をそのまま出力画像に決定する。
Time t 3 to t 5 : The learning
時刻t6:人物82が商品を取って商品棚81の前から立ち去ったため、入力画像には商品棚81が写るが商品が1つ少なくっている。学習モデル58は人物が写っていないと判断するので、時刻t6の入力画像86_t6を出力画像87_t6に決定する。
Time t 6 : Since the
このように、学習モデル58を使用することで学習モデル58の精度で人物が写っている入力画像を破棄できる。
In this way, by using the
図26は、学習モデルが入力画像を破棄する手順を示すフローチャート図の一例である。図26の処理は入力画像が撮像されるごとに繰り返し実行される。まず、入力画像がブロックに分割される(S15-1)。 FIG. 26 is an example of a flowchart showing a procedure for discarding an input image by the learning model. The processing in FIG. 26 is repeatedly executed each time an input image is captured. First, an input image is divided into blocks (S15-1).
学習モデルは入力画像に動体が写っているか否かを判断する(S26-1)。入力画像に動体が写っていない場合、学習モデルは出力画像を入力画像で更新する(S26-2)。 The learning model determines whether or not the input image contains a moving object (S26-1). If the input image does not include a moving object, the learning model updates the output image with the input image (S26-2).
入力画像に動体が写っている場合、学習モデルは1周期前の出力画像を出力する(S26-3)。 If the input image contains a moving object, the learning model outputs the output image of one period before (S26-3).
そして、学習モデル58は全ての分割後の画像の処理が終わったか否かを判断する(S15-6)。全ての分割後の画像の処理が終わっていなければステップS26-1からの処理を繰り返し、全ての分割後の画像の処理が終わった場合は分割後の画像を合成する(S15-7)。
Then, the
2.学習モデルで破棄されなかった入力画像と出力画像の類似度により入力画像を破棄
図27を用いて、学習モデル58を用いた出力画像の決定方法について説明する。図27(a)は入力画像を示し、図27(b)は出力画像を示す。判断部55は、学習モデル58を使うと共に、出力画像と入力画像の類似度が閾値以上かどうかに基づいて出力画像を決定する。
2. Discarding Input Image Based on Similarity Between Input Image and Output Image Not Discarded by Learning Model A method of determining an output image using the
時刻t0:入力画像86_t0が撮像されると、学習モデル58に入力される。学習モデル58は人物が写っていないと判断する。時刻t0では出力画像がないため判断部55は入力画像86_t0を出力すると判断する。
Time t 0 : When the
時刻t1:入力画像86_t1が撮像されると、学習モデル58に入力される。学習モデル58は人物が写っていないと判断する。次に、類似度算出部53は出力画像87_t0と入力画像86_t1の類似度を算出する。商品棚81の商品に変化がないので、入力画像86_t1と出力画像87_t0の類似度は高く閾値以上となる。類似度が閾値以上の場合、判断部55は時刻t1の入力画像86_t1を出力画像87_t1に決定する。
Time t 1 : When the
時刻t2:入力画像86_t2には人物82が写ったため、学習モデル58は人物が写っていると判断する。判断部55は入力画像86_t2を破棄し、時刻t1の出力画像87_t1をそのまま出力画像に決定する。
Time t 2 : Since the
時刻t3~t5:引き続き人物82が写っているため、学習モデル58は人物が写っていると判断する。判断部55は1周期前の出力画像87_t2~87_t4をそのまま出力画像に決定する。
Time t 3 to t 5 : The learning
時刻t6:人物82が商品を取って商品棚81の前から立ち去ったため、入力画像には商品棚81が写るが商品が1つ少なくっている。まず、学習モデル58は人物が写っていないと判断する。時刻t6の入力画像86_t6と時刻t5の出力画像87_t5の類似度は、中程度となる。類似度が中程度(閾値以上)の場合、判断部55は時刻t6の入力画像86_t6を出力画像87_t6に決定する。
Time t 6 : Since the
このように、学習モデル58を使用することで学習モデル58の精度で人物が写っている入力画像を破棄できる。人物が写っていないと学習モデル58が判断した入力画像に対し、類似度算出部53が類似度を算出するので、実際には人物が写っている入力画像を破棄することができる。
In this way, by using the
<動作手順>
図28は、画像管理装置5が出力画像を決定する手順を示すフローチャート図の一例である。図28の説明では主に図15との相違を説明する。
<Operation procedure>
FIG. 28 is an example of a flowchart showing a procedure for the
まず、画像分割部52が全天球画像を分割する(ステップS15-1)。
First, the
次に、学習モデル58が分割された画像に人物が写っているか否かを判断する(S26-1)。人物が写っていると判断された場合、処理はステップS15-5に進み、判断部55は1周期前の出力画像をそのまま出力画像として出力すると決定する(ステップS15-5)。
Next, the
人物が写っていないと判断された場合、処理はステップS26-1に進み、学習モデル58は分割後の画像1つずつについて動体が写っているか否かを判断する(ステップS26-1)。以降の処理は図15と同様でよい。
If it is determined that a person is not captured, the process proceeds to step S26-1, and the
<まとめ>
したがって、本実施例の画像処理システム200によれば、学習モデル58を利用するので学習モデル58の精度が高ければ人物が写っている入力画像を高精度に検出できる。人物が写っていると学習モデル58が判断した画像には商品棚が更新された画像は含まれないので、人物が写っていないと学習モデル58が判断した画像は商品棚が更新された画像又は更新されていない画像になる。商品棚が更新されている場合は出力画像を早期に入力画像で更新したい場合には、閾値を小さくすることで人体が写っている可能性が低い状況で早期に出力画像を更新できる。
<Summary>
Therefore, according to the
また、学習モデル58を用いた処理は実施例1だけでなく実施例2,3のいずれとも組み合わせて適用できる。いずれの実施例と組み合わせる場合でも、入力画像に対し人物が写っているか否かを最初に学習モデル58が判断すればよい。実施例3において人物が写っていると学習モデル58が判断した場合、人物が存在するブロックを中心に拡張処理部57が拡張処理を行う。
Moreover, the processing using the
また、本実施例では、入力画像と出力画像の類似度が算出される前に人物が写っているか否かを学習モデル58が判断したが、入力画像と出力画像の類似度の算出の後に、人物が写っているか否かを学習モデル58が判断してもよい。類似度が閾値よりも高いため、判断部55が出力画像を入力画像で更新すると判断しても、人体の一部が写っている場合に入力画像を破棄できる。すなわち、商品棚の更新に対しては出力画像を入力画像で更新する必要があるため、閾値(実施例2では閾値x)を大きくすることに限界があるが、本実施例では早期に出力画像を更新するために閾値が低くなり人体が写っている入力画像があっても、学習モデル58がこれを検出して人物が写っている入力画像を破棄できる。
Further, in this embodiment, the
本実施例では画像処理システム200の変形例について説明する。
In this embodiment, a modified example of the
<動体除去を行う装置について>
実施例1~3では画像管理装置5が動体除去を行ったが、動体除去は撮像装置1、通信端末3、無線ルータ9a、又は、端末装置7のどの装置が行ってもよい。また、店舗側に存在するコンピュータ又はマイクロサーバのような情報処理装置が行ってもよい。また、図4には記載がないが通信ネットワーク9を介して接続された動体除去の専用の情報処理装置が動体を除去してもよい。
<About the device that removes the moving object>
In
また、図4では端末装置7が画像管理装置5から動体除去された全天球画像を取得しているが、端末装置7は撮像装置1から直接、全天球画像を取得してもよい。この場合も、撮像装置1、通信端末3、無線ルータ、又は端末装置7のどの装置が動体除去を行ってもよい。また、撮像装置1と端末装置7が直接、接続されていてもよい。また、端末装置7と撮像装置1が一体に構成されていてもよい。
Also, in FIG. 4, the
また、端末装置7と撮像装置1とが一体の場合、端末装置7が画像管理装置5に全天球画像を送信し、動体が除去された全天球画像を画像管理装置5から取得してもよい。
Further, when the
<店舗以外の利用シーン>
会議や講義等で使用されるホワイトボード又は電子黒板に表示された情報を、複数の端末装置7で共有するために、撮像装置1がホワイトボード又は電子黒板を撮像する場合がある。撮像時に筆記者が写る場合があるが、本実施形態で説明した動体除去により筆記者を除外すると共に、ホワイトボード又は電子黒板に表示された情報の変化を検出して出力画像を更新できる。
<Usage scenes other than stores>
In order to share information displayed on a whiteboard or an electronic blackboard used in meetings, lectures, etc. with a plurality of
また、ライブカメラについても好適に利用することができる。ライブカメラとは、遠隔地の映像をユーザのいる場所から監視するために遠隔地に設置され、映像を周期的に撮像する撮像装置1である。例えば、天候の観測地や観光地に設置され、全天球画像に環境客等が写っている場合に画像管理装置5が動体を除去できる。屋外だけでなく博物館などの屋内に撮像装置1が配置されてもよい。
In addition, a live camera can also be suitably used. A live camera is an
また、物流倉庫等に配置された撮像装置1の画像を解析して画像管理装置5が商品の補充を行う在庫管理にも、本実施形態の動体除去方法を適用できる。物流倉庫では商品をピックアップしたり補充したりする作業員が働いているため、全天球画像に写る場合があるが、本実施形態により全天球画像から作業員を除去し、更に、商品の減少による全天球画像の変化を出力画像として出力できる。
The moving object removal method of the present embodiment can also be applied to inventory management in which the
また、工場のラインを撮像装置1で撮像し、画像管理装置5がラインの異常を検知する異常監視にも本実施形態の動体除去方法を適用できる。工場のラインでは作業員が組み立て等を行っているが、本実施形態により全天球画像から作業員を除去し、更に、ライン上の製品の変化による全天球画像の変化を出力画像として出力できる。
The moving object removal method of the present embodiment can also be applied to abnormality monitoring in which an image of a factory line is captured by the
<その他の適用例>
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
<Other application examples>
Although the best mode for carrying out the present invention has been described above using examples, the present invention is by no means limited to such examples, and various modifications can be made without departing from the scope of the present invention. and substitutions can be added.
例えば、本実施形態では同じ場所から周囲360度(同じ方向を撮像するのと同じ効果)を撮像する定点観測を例に説明したが、撮像装置1は固定されていなくてもよい。例えばユーザが把持する状態でも撮像は可能である。また、撮像装置1がゆっくりと移動する場合、背景の変化による類似度は中程度以上になるので、入力画像で出力画像を更新できる。
For example, in the present embodiment, an example of fixed-point observation in which 360-degree surroundings (the same effect as imaging in the same direction) is taken from the same place has been described, but the
また、端末装置7が表示した全天球画像が時系列に記憶されてもよい。これにより、商品棚の商品がどのように変化したのか商品棚だけの変化を再生できる。商品棚の他、天候の変化を記録する場合などでも有効である。
Also, the omnidirectional images displayed by the
また、以上の実施例で示した図9、図20などの構成例は、画像処理システム200の処理の理解を容易にするために、主な機能に応じて分割したものである。しかし、各処理単位の分割の仕方や名称によって本願発明が制限されることはない。画像処理システム200は、処理内容に応じて更に多くの処理単位に分割することもできる。また、1つの処理単位が更に多くの処理を含むように分割することもできる。
Further, the configuration examples shown in FIGS. 9 and 20 shown in the above embodiment are divided according to main functions in order to facilitate understanding of the processing of the
また、画像管理装置5の機能が複数のサーバ装置に分散されていてもよいし、画像処理システム200が複数の画像管理装置5を有していてもよい。
Also, the functions of the
また、送受信部51は画像取得手段の一例であり、類似度算出部53は類似度算出手段の一例であり、判断部55と学習モデル58は判断手段の一例であり、判断部55と学習モデル58は被写体画像判断手段の一例であり、画像分割部52は画像分割手段の一例として、拡張処理部57は処理手段の一例であり、表示制御部73と送受信部51は出力手段の一例である。閾値xは第一の閾値の一例であり、閾値yは第二の閾値の一例であり、入力画像と出力画像の類似度は第一の類似度の一例であり、現在の入力画像と過去の入力画像の類似度は第二の類似度の一例である。
Further, the transmission/
1 撮像装置
3 通信端末
5 画像管理装置
7 端末装置
81 商品棚
82 人物
86 入力画像
87 出力画像
200 画像処理システム
1
Claims (14)
撮像装置が撮像した画像を入力画像として取得する画像取得手段と、
前記画像取得手段が取得した前記入力画像が被写体の画像か否かを判断する被写体画像判断手段と、
前記入力画像が被写体の画像であると判断した場合に、前記入力画像を出力すると判断し、被写体の画像でないと判断した場合に外部に出力された出力画像を出力すると判断する判断手段と、
前記判断手段の判断結果に応じて、前記入力画像又は前記出力画像を出力する出力手段と、
前記画像取得手段が取得した前記入力画像と外部に出力された前記出力画像の第一の類似度を算出する類似度算出手段、
として機能させ、
前記第一の類似度が第一の閾値以上の場合、前記被写体画像判断手段は、前記入力画像が前記被写体の画像であると判断し、前記第一の類似度が前記第一の閾値未満の場合、前記入力画像を被写体の画像でないと判断し、
前記第一の類似度が前記第一の閾値以上の場合、
前記類似度算出手段は、前記画像取得手段が取得した現在の入力画像と、前記現在の入力画像よりも過去の入力画像との第二の類似度を算出し、
前記判断手段は、前記第二の類似度が第二の閾値以上の場合、現在の前記入力画像を出力すると判断し、前記第二の類似度が前記第二の閾値未満の場合、外部に出力した前記出力画像を出力すると判断するプログラム。 information processing equipment,
an image acquisition means for acquiring an image captured by the imaging device as an input image;
subject image determination means for determining whether the input image acquired by the image acquisition means is an image of a subject;
determining means for determining to output the input image when determining that the input image is an image of a subject, and determining to output the externally output image when determining that the input image is not an image of a subject;
output means for outputting the input image or the output image according to the determination result of the determination means;
Similarity calculating means for calculating a first similarity between the input image obtained by the image obtaining means and the output image output to the outside;
function as
When the first degree of similarity is equal to or greater than the first threshold, the subject image determination means determines that the input image is the image of the subject, and determines that the first degree of similarity is less than the first threshold. , determining that the input image is not an image of a subject;
When the first similarity is greater than or equal to the first threshold,
The similarity calculation means calculates a second similarity between the current input image acquired by the image acquisition means and an input image that is older than the current input image,
The determination means determines to output the current input image when the second similarity is equal to or greater than the second threshold, and outputs to the outside when the second similarity is less than the second threshold. A program for determining to output the output image.
撮像装置が撮像した画像を入力画像として取得する画像取得手段と、
前記画像取得手段が取得した前記入力画像が被写体の画像か否かを判断する被写体画像判断手段と、
前記入力画像が被写体の画像であると判断した場合に、前記入力画像を出力すると判断し、被写体の画像でないと判断した場合に外部に出力された出力画像を出力すると判断する判断手段と、
前記判断手段の判断結果に応じて、前記入力画像又は前記出力画像を出力する出力手段と、
動体が写っている画像又は写っていない画像を予め学習して画像における動体の有無を出力する学習モデル、
として機能させ、
前記画像取得手段が取得した前記入力画像に動体が写っていると前記学習モデルが判断しない場合、前記被写体画像判断手段は前記入力画像を被写体の画像と判断し、前記入力画像に動体が写っていると前記学習モデルが判断した場合、前記被写体画像判断手段は前記入力画像を被写体の画像でないと判断し、
前記画像取得手段が取得した前記入力画像に動体が写っていると前記学習モデルが判断しない場合、前記情報処理装置を、前記画像取得手段が取得した前記入力画像と外部に出力された出力画像の第一の類似度を算出する類似度算出手段として機能させ、
前記第一の類似度が第一の閾値以上の場合、
前記類似度算出手段は、前記画像取得手段が取得した現在の入力画像と、前記現在の入力画像よりも過去の入力画像との第二の類似度を算出し、
前記判断手段は、前記第二の類似度が第二の閾値以上の場合、現在の前記入力画像を出力すると判断し、前記第二の類似度が第二の閾値未満の場合、外部に出力した前記出力画像を出力すると判断するプログラム。 information processing equipment,
an image acquisition means for acquiring an image captured by the imaging device as an input image;
subject image determination means for determining whether the input image acquired by the image acquisition means is an image of a subject;
determining means for determining to output the input image when determining that the input image is an image of a subject, and determining to output the externally output image when determining that the input image is not an image of a subject;
output means for outputting the input image or the output image according to the determination result of the determination means;
A learning model that pre-learns an image with or without a moving object and outputs the presence or absence of a moving object in the image;
function as
When the learning model does not determine that the input image acquired by the image acquiring means includes a moving object, the subject image determining means determines that the input image is an image of a subject, and the input image does not include a moving object. if the learning model determines that the input image is not an image of the subject, and
When the learning model does not determine that the input image acquired by the image acquisition means includes a moving object, the information processing device is configured to detect the input image acquired by the image acquisition means and the output image output to the outside. Functioning as similarity calculation means for calculating the first similarity,
When the first similarity is greater than or equal to the first threshold,
The similarity calculation means calculates a second similarity between the current input image acquired by the image acquisition means and an input image that is older than the current input image,
The determination means determines to output the current input image when the second similarity is equal to or greater than a second threshold, and outputs to the outside when the second similarity is less than the second threshold. A program for determining to output the output image.
前記撮像装置が撮像する被写体と前記撮像装置の間に存在する場合に前記被写体よりも手前に写る動体が、前記画像取得手段が取得した現在の前記入力画像に写っていると判断する請求項1又は2に記載のプログラム。 When the first degree of similarity is less than the first threshold, or when the second degree of similarity is less than the second threshold,
2. determining that a moving object, which is captured in front of said subject when it exists between said imaging device and said imaging device, is captured in said current input image obtained by said image obtaining means. Or the program according to 2.
前記類似度算出手段は、ブロックに分割された前記入力画像と出力された前記出力画像のブロックごとの前記第一の類似度を算出し、
前記判断手段はブロックごとに、現在の前記入力画像を出力するか、又は、外部に出力された前記出力画像を出力するかを判断する請求項1~5のいずれか1項に記載のプログラム。 causing the information processing device to function as image dividing means for dividing the input image acquired by the image acquiring means into blocks;
The similarity calculating means calculates the first similarity for each block of the input image divided into blocks and the output image,
6. The program according to any one of claims 1 to 5, wherein the determination means determines whether to output the current input image or the output image output to the outside for each block.
前記画像取得手段が取得した前記入力画像をブロックに分割する請求項6に記載のプログラム。 The image dividing means refers to size information in which information about the size of the block is associated with coordinate information of the image captured by the imaging device, and
7. The program according to claim 6, wherein said input image obtained by said image obtaining means is divided into blocks.
前記画像取得手段が取得した前記入力画像が被写体の画像か否かを判断する被写体画像判断手段と、
前記入力画像を被写体の画像と判断した場合に、前記入力画像を出力すると判断し、被写体の画像でないと判断した場合に外部に出力された出力画像を出力すると判断する判断手段と、
前記判断手段の判断結果に応じて、前記入力画像又は前記出力画像を出力する出力手段と、
前記画像取得手段が取得した前記入力画像と外部に出力された前記出力画像の第一の類似度を算出する類似度算出手段と、を有し、
前記第一の類似度が第一の閾値以上の場合、前記被写体画像判断手段は、前記入力画像が前記被写体の画像であると判断し、前記第一の類似度が前記第一の閾値未満の場合、前記入力画像を被写体の画像でないと判断し、
前記第一の類似度が前記第一の閾値以上の場合、
前記類似度算出手段は、前記画像取得手段が取得した現在の入力画像と、前記現在の入力画像よりも過去の入力画像との第二の類似度を算出し、
前記判断手段は、前記第二の類似度が第二の閾値以上の場合、現在の前記入力画像を出力すると判断し、前記第二の類似度が前記第二の閾値未満の場合、外部に出力した前記出力画像を出力すると判断することを特徴とする情報処理装置。 an image acquisition means for acquiring an image captured by the imaging device as an input image;
subject image determination means for determining whether the input image acquired by the image acquisition means is an image of a subject;
determining means for determining to output the input image when determining that the input image is an image of a subject, and determining to output the externally output image when determining that the input image is not an image of a subject;
output means for outputting the input image or the output image according to the determination result of the determination means;
a similarity calculating means for calculating a first similarity between the input image obtained by the image obtaining means and the output image output to the outside;
When the first degree of similarity is equal to or greater than the first threshold, the subject image determination means determines that the input image is the image of the subject, and determines that the first degree of similarity is less than the first threshold. , determining that the input image is not an image of a subject;
When the first similarity is greater than or equal to the first threshold,
The similarity calculation means calculates a second similarity between the current input image acquired by the image acquisition means and an input image that is older than the current input image,
The determination means determines to output the current input image when the second similarity is equal to or greater than the second threshold, and outputs to the outside when the second similarity is less than the second threshold. and determining to output the output image.
前記画像取得手段が取得した前記入力画像が被写体の画像か否かを判断する被写体画像判断手段と、
前記入力画像を被写体の画像と判断した場合に、前記入力画像を出力すると判断し、被写体の画像でないと判断した場合に外部に出力された出力画像を出力すると判断する判断手段と、
前記判断手段の判断結果に応じて、前記入力画像又は前記出力画像を出力する出力手段と、
動体が写っている画像又は写っていない画像を予め学習して画像における動体の有無を出力する学習モデル機能と、を有し、
前記画像取得手段が取得した前記入力画像に動体が写っていると前記学習モデル機能が判断しない場合、前記被写体画像判断手段は前記入力画像を被写体の画像と判断し、前記入力画像に動体が写っていると前記学習モデル機能が判断した場合、前記被写体画像判断手段は前記入力画像を被写体の画像でないと判断し、
前記画像取得手段が取得した前記入力画像に動体が写っていると前記学習モデル機能が判断しない場合、前記画像取得手段が取得した前記入力画像と外部に出力された出力画像の第一の類似度を算出し、
前記第一の類似度が第一の閾値以上の場合、
前記画像取得手段が取得した現在の入力画像と、前記現在の入力画像よりも過去の入力画像との第二の類似度を算出し、
前記判断手段は、前記第二の類似度が第二の閾値以上の場合、現在の前記入力画像を出力すると判断し、前記第二の類似度が第二の閾値未満の場合、外部に出力した前記出力画像を出力すると判断することを特徴とする情報処理装置。 an image acquisition means for acquiring an image captured by the imaging device as an input image;
subject image determination means for determining whether the input image acquired by the image acquisition means is an image of a subject;
determining means for determining to output the input image when determining that the input image is an image of a subject, and determining to output the externally output image when determining that the input image is not an image of a subject;
output means for outputting the input image or the output image according to the determination result of the determination means;
a learning model function for pre-learning an image with or without a moving object and outputting the presence or absence of a moving object in the image;
When the learning model function does not determine that the input image acquired by the image acquiring means includes a moving object, the subject image determining means determines that the input image is an image of a subject, and the input image does not include a moving object. when the learning model function determines that the input image is not an image of the subject, and
a first similarity between the input image acquired by the image acquisition means and an output image output to the outside when the learning model function does not determine that the input image acquired by the image acquisition means contains a moving object; Calculate the degree,
When the first similarity is greater than or equal to the first threshold,
calculating a second degree of similarity between the current input image acquired by the image acquisition means and an input image that is older than the current input image;
The determination means determines to output the current input image when the second similarity is equal to or greater than a second threshold, and outputs to the outside when the second similarity is less than the second threshold. An information processing apparatus that determines to output the output image.
前記撮像装置が撮像した画像を入力画像として取得する画像取得手段と、
前記画像取得手段が取得した前記入力画像が被写体の画像か否かを判断する被写体画像判断手段と、
前記入力画像を被写体の画像と判断した場合に、前記入力画像を出力すると判断し、被写体の画像でないと判断した場合に外部に出力された出力画像を出力すると判断する判断手段と、
前記判断手段の判断結果に応じて、前記入力画像又は前記出力画像を出力する出力手段と、
前記画像取得手段が取得した前記入力画像と外部に出力された前記出力画像の第一の類似度を算出する類似度算出手段と、を有し、
前記第一の類似度が第一の閾値以上の場合、前記被写体画像判断手段は、前記入力画像が前記被写体の画像であると判断し、前記第一の類似度が前記第一の閾値未満の場合、前記入力画像を被写体の画像でないと判断し、
前記第一の類似度が前記第一の閾値以上の場合、
前記類似度算出手段は、前記画像取得手段が取得した現在の入力画像と、前記現在の入力画像よりも過去の入力画像との第二の類似度を算出し、
前記判断手段は、前記第二の類似度が第二の閾値以上の場合、現在の前記入力画像を出力すると判断し、前記第二の類似度が前記第二の閾値未満の場合、外部に出力した前記出力画像を出力すると判断することを特徴とする画像処理システム。 An image processing system having an imaging device that periodically images the surroundings and one or more information processing devices,
an image acquiring means for acquiring an image captured by the imaging device as an input image;
subject image determination means for determining whether the input image acquired by the image acquisition means is an image of a subject;
determining means for determining to output the input image when determining that the input image is an image of a subject, and determining to output the externally output image when determining that the input image is not an image of a subject;
output means for outputting the input image or the output image according to the determination result of the determination means;
a similarity calculating means for calculating a first similarity between the input image obtained by the image obtaining means and the output image output to the outside;
When the first degree of similarity is equal to or greater than the first threshold, the subject image determination means determines that the input image is the image of the subject, and determines that the first degree of similarity is less than the first threshold. , determining that the input image is not an image of a subject;
When the first similarity is greater than or equal to the first threshold,
The similarity calculation means calculates a second similarity between the current input image acquired by the image acquisition means and an input image that is older than the current input image,
The determination means determines to output the current input image when the second similarity is equal to or greater than the second threshold, and outputs to the outside when the second similarity is less than the second threshold. and determining to output the output image.
前記撮像装置が撮像した画像を入力画像として取得する画像取得手段と、
前記画像取得手段が取得した前記入力画像が被写体の画像か否かを判断する被写体画像判断手段と、
前記入力画像を被写体の画像と判断した場合に、前記入力画像を出力すると判断し、被写体の画像でないと判断した場合に外部に出力された出力画像を出力すると判断する判断手段と、
前記判断手段の判断結果に応じて、前記入力画像又は前記出力画像を出力する出力手段と、
動体が写っている画像又は写っていない画像を予め学習して画像における動体の有無を出力する学習モデル機能と、を有し、
前記画像取得手段が取得した前記入力画像に動体が写っていると前記学習モデル機能が判断しない場合、前記被写体画像判断手段は前記入力画像を被写体の画像と判断し、前記入力画像に動体が写っていると前記学習モデル機能が判断した場合、前記被写体画像判断手段は前記入力画像を被写体の画像でないと判断し、
前記画像取得手段が取得した前記入力画像に動体が写っていると前記学習モデル機能が判断しない場合、前記情報処理装置を、前記画像取得手段が取得した前記入力画像と外部に出力された出力画像の第一の類似度を算出する類似度算出手段として機能させ、
前記第一の類似度が第一の閾値以上の場合、
前記類似度算出手段は、前記画像取得手段が取得した現在の入力画像と、前記現在の入力画像よりも過去の入力画像との第二の類似度を算出し、
前記判断手段は、前記第二の類似度が第二の閾値以上の場合、現在の前記入力画像を出力すると判断し、前記第二の類似度が第二の閾値未満の場合、外部に出力した前記出力画像を出力すると判断することを特徴とする画像処理システム。 An image processing system having an imaging device that periodically images the surroundings and one or more information processing devices,
an image acquiring means for acquiring an image captured by the imaging device as an input image;
subject image determination means for determining whether the input image acquired by the image acquisition means is an image of a subject;
determining means for determining to output the input image when determining that the input image is an image of a subject, and determining to output the externally output image when determining that the input image is not an image of a subject;
output means for outputting the input image or the output image according to the determination result of the determination means;
a learning model function for pre-learning an image with or without a moving object and outputting the presence or absence of a moving object in the image;
When the learning model function does not determine that the input image acquired by the image acquiring means includes a moving object, the subject image determining means determines that the input image is an image of a subject, and the input image does not include a moving object. when the learning model function determines that the input image is not an image of the subject, and
When the learning model function does not determine that the input image acquired by the image acquisition means includes a moving object, the information processing device is configured to perform the input image acquired by the image acquisition means and the output image output to the outside. function as similarity calculation means for calculating the first similarity of
When the first similarity is greater than or equal to the first threshold,
The similarity calculation means calculates a second similarity between the current input image acquired by the image acquisition means and an input image that is older than the current input image,
The determination means determines to output the current input image when the second similarity is equal to or greater than a second threshold, and outputs to the outside when the second similarity is less than the second threshold. An image processing system that determines to output the output image.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017181828A JP7124281B2 (en) | 2017-09-21 | 2017-09-21 | Program, information processing device, image processing system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017181828A JP7124281B2 (en) | 2017-09-21 | 2017-09-21 | Program, information processing device, image processing system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019057849A JP2019057849A (en) | 2019-04-11 |
JP7124281B2 true JP7124281B2 (en) | 2022-08-24 |
Family
ID=66106583
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017181828A Active JP7124281B2 (en) | 2017-09-21 | 2017-09-21 | Program, information processing device, image processing system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7124281B2 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115136188A (en) * | 2020-03-05 | 2022-09-30 | 索尼半导体解决方案公司 | Information processing apparatus, information processing method, and computer program |
JP7476967B2 (en) * | 2020-07-31 | 2024-05-01 | 日本電気株式会社 | Training data generation device, training data generation system, training data generation method, and training data generation program |
JP7517356B2 (en) | 2022-02-21 | 2024-07-17 | 株式会社リコー | Information processing system, communication system, image sharing method, and program |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006048468A (en) | 2004-08-06 | 2006-02-16 | Nomura Research Institute Ltd | Image processing system, image processing program, and image processing method |
JP2008009576A (en) | 2006-06-28 | 2008-01-17 | Fujifilm Corp | Human body area extraction method and device, and program |
JP2010130128A (en) | 2008-11-26 | 2010-06-10 | Hoya Corp | Image capturing apparatus and method |
JP2013255076A (en) | 2012-06-06 | 2013-12-19 | Panasonic Corp | Image processing apparatus, image processing method, and image processing program |
JP2016071502A (en) | 2014-09-29 | 2016-05-09 | セコム株式会社 | Target identification device |
JP2016157336A (en) | 2015-02-25 | 2016-09-01 | キヤノン株式会社 | Image processing apparatus, image processing method, and program |
-
2017
- 2017-09-21 JP JP2017181828A patent/JP7124281B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006048468A (en) | 2004-08-06 | 2006-02-16 | Nomura Research Institute Ltd | Image processing system, image processing program, and image processing method |
JP2008009576A (en) | 2006-06-28 | 2008-01-17 | Fujifilm Corp | Human body area extraction method and device, and program |
JP2010130128A (en) | 2008-11-26 | 2010-06-10 | Hoya Corp | Image capturing apparatus and method |
JP2013255076A (en) | 2012-06-06 | 2013-12-19 | Panasonic Corp | Image processing apparatus, image processing method, and image processing program |
JP2016071502A (en) | 2014-09-29 | 2016-05-09 | セコム株式会社 | Target identification device |
JP2016157336A (en) | 2015-02-25 | 2016-09-01 | キヤノン株式会社 | Image processing apparatus, image processing method, and program |
Also Published As
Publication number | Publication date |
---|---|
JP2019057849A (en) | 2019-04-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10911670B2 (en) | Image management system, image management method, and computer program product | |
US10827133B2 (en) | Communication terminal, image management apparatus, image processing system, method for controlling display, and computer program product | |
US10264207B2 (en) | Method and system for creating virtual message onto a moving object and searching the same | |
WO2013145566A1 (en) | Information processing apparatus, information processing method, and program | |
US10528621B2 (en) | Method and system for sorting a search result with space objects, and a computer-readable storage device | |
US20170255947A1 (en) | Image processing system and image processing method | |
US10204272B2 (en) | Method and system for remote management of location-based spatial object | |
US10950049B1 (en) | Augmenting transmitted video data | |
JP7124281B2 (en) | Program, information processing device, image processing system | |
JP6046874B1 (en) | Information processing apparatus, information processing method, and program | |
EP3388958B1 (en) | Method and system for managing viewability of location-based spatial object | |
CN110800314B (en) | Computer system, remote operation notification method, and recording medium | |
JP6852293B2 (en) | Image processing system, information processing device, information terminal, program | |
US20210295550A1 (en) | Information processing device, information processing method, and program | |
US10606886B2 (en) | Method and system for remote management of virtual message for a moving object | |
US11670051B1 (en) | Augmenting transmitted video data | |
CN109618192A (en) | Play method, apparatus, system and the storage medium of video | |
JP6617547B2 (en) | Image management system, image management method, and program | |
CN109272549B (en) | Method for determining position of infrared hotspot and terminal equipment | |
KR102008672B1 (en) | System for Performing Linkage Operation of Augmented Reality and Event in Association with Camera and Driving Method Thereof | |
KR20110085033A (en) | Multi-display device and method of providing information using the same | |
KR20220013235A (en) | Method for performing a video calling, display device for performing the same method, and computer readable medium storing a program for performing the same method | |
JP2023043537A (en) | Information processing apparatus, program, information processing system, user terminal and information processing method | |
JP2023066265A (en) | Information processing system, information processing device, program, user terminal, and information processing method | |
JP2024038563A (en) | Image processing device, image processing method, program, and recording medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200707 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20210208 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210528 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210629 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210824 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220111 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220215 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220712 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220725 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7124281 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |