JP6727998B2 - Image processing apparatus, image processing method and program - Google Patents
Image processing apparatus, image processing method and program Download PDFInfo
- Publication number
- JP6727998B2 JP6727998B2 JP2016175458A JP2016175458A JP6727998B2 JP 6727998 B2 JP6727998 B2 JP 6727998B2 JP 2016175458 A JP2016175458 A JP 2016175458A JP 2016175458 A JP2016175458 A JP 2016175458A JP 6727998 B2 JP6727998 B2 JP 6727998B2
- Authority
- JP
- Japan
- Prior art keywords
- range
- image
- image processing
- unit
- recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
本発明は、画像処理装置、画像処理方法及びプログラムに関する。 The present invention relates to an image processing device, an image processing method, and a program.
従来、撮像装置により得られた画像から特定の被写体を認識する技術が知られている。特許文献1には、画像全体から予め設定された特定被写体を認識し、認識した特定被写体の周辺に枠を表示する技術が開示されている。 Conventionally, there is known a technique of recognizing a specific subject from an image obtained by an imaging device. Patent Document 1 discloses a technique of recognizing a preset specific subject from the entire image and displaying a frame around the recognized specific subject.
しかしながら、例えば、広角レンズや魚眼レンズを用いて得られた画像においては、画像の歪みに起因し、画像の一部の領域において精度よく認識を行えない場合があるという問題があった。 However, for example, in an image obtained by using a wide-angle lens or a fish-eye lens, there is a problem that it may not be possible to perform accurate recognition in a partial area of the image due to image distortion.
本発明はこのような問題点に鑑みなされたもので、歪みが生じているような画像において、特定の被写体の認識精度を向上させることを目的とする。 The present invention has been made in view of such problems, and an object thereof is to improve the recognition accuracy of a specific subject in an image with distortion.
そこで、本発明は、画像処理装置であって、撮像手段により得られた画像から特定の被写体が認識される適用範囲を指定する指定手段と、前記指定手段により前記適用範囲を指定可能な基準範囲を表示手段に表示するよう制御する表示処理手段とを有することを特徴とする。 Therefore, the present invention is an image processing device, and a designating unit that designates an application range in which a specific subject is recognized from an image obtained by an imaging unit, and a reference range that can designate the application range by the designating unit. Is displayed on the display means.
本発明によれば、歪みが生じているような画像において、特定の被写体の認識精度を向上させることができる。 According to the present invention, it is possible to improve the recognition accuracy of a specific subject in an image with distortion.
以下、本発明の実施形態について図面に基づいて説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
(第1の実施形態)
図1は、第1の実施形態に係るカメラシステム100の全体図である。カメラシステム100は、撮像装置としてのカメラ110と、管理装置120と、表示部130と、を有している。ここで、カメラ110及び管理装置120は、いずれも画像処理装置の一例である。カメラ110は、レンズ111と、撮像部112と、映像処理部113と、展開部114と、認識部115と、通信部116と、CPU117と、記憶部118と、を有している。レンズ111は、主レンズであり、本実施形態においては魚眼レンズであるものとする。なお、レンズ111は、広角レンズや他の特性を有するレンズ等、画像に歪みが生じるような画像が得られるようなレンズであればよく、魚眼レンズに限定されるものではない。
(First embodiment)
FIG. 1 is an overall view of a
撮像部112は、レンズ111を介して入射された光を映像(画像)に変換する。映像処理部113は、撮像部112で撮像された映像に対し、画質を向上させるための各種映像処理を行う。展開部114は、映像処理部113において処理された映像を、認識処理に最適な映像に展開補正する。
The
認識部115は、映像処理部113で展開された映像に対して外部より設定された認識辞書を用いて特定被写体の認識処理を行う。ここで、認識辞書は、特定被写体の特徴を認識する為のアルゴリズムに関連するデータである。また、本実施形態においては、特定被写体は人物であるものとする。なお、特定被写体の種類は実施形態に限定されるものではなく、認識部115は、人物以外の被写体を認識してもよい。本実施形態においては、認識部115は、第1の認識処理、第2の認識処理及び第3の認識処理を行うことができる。認識処理については、図3を参照しつつ後述する。通信部116は、ネットワーク150を介して外部装置と通信を行う。通信部116は例えば、外部装置から要求されたコマンドに応じて、映像処理部113により映像処理された映像を外部装置に送信する。
The
CPU117は、カメラ110の全体を制御する。記憶部118は、各種情報を記憶する。なお、本実施形態に係る映像処理部113、展開部114及び認識部115は、それぞれ独立したハードウェアであるものとする。ただし、他の例としては、映像処理部113、展開部114及び認識部115は、CPU117が記憶部118に記憶されているプログラムを読み出し、このプログラムを実行することによりソフトウェアとして実現される機能であってもよい。
The
管理装置120は、カメラ110を管理する。管理装置120は、一台のカメラ110に対して、リアルタイムの撮影映像の要求指示や、認識範囲指定、システム管理制御、各機器からの警告に応じた処理等を行う。表示部130は、管理装置120からの要求に応じてネットワーク150を介してカメラ110から送信される映像や各種情報を表示する。
The
図2は、認識部115の処理の説明図である。図2(a)は、魚眼レンズを備えたカメラ110が天井に設置された場合の映像(画像)200の一例を示す図である。映像200においては、画像の中心を含む中央領域210においては、201のように、人物は頭部しか映らない。これに対し、中央領域210の外側の領域である外側領域220においては、202に示すように、人物の胴体や足等頭部以外も写るようになるが、映像には歪みも生じている。このような場合には、中央領域210と外側領域220とに対し、同一の認識処理を行ったのでは精度良く認識を行うことができない。
FIG. 2 is an explanatory diagram of the processing of the
そこで、認識部115は、中央領域210に対しては、中央領域210に適した第1の認識処理を行い、外側領域220に対しては、外側領域220に適した第2の認識処理を行うこととする。すなわち、第1の認識処理は、頭部のみを鉛直下向きの方向に撮影した画像から人物を認識するのに適した認識処理であり、対応する第1の認識辞書を用いた処理である。また、第2の認識処理は、胴体等も含んだ人物の画像でかつ人物の身長方向に特に歪みのある画像から人物を認識するのに適した認識処理である。第2の認識処理は、第2の認識辞書を用いた処理である。
Therefore, the
さらに、カメラ110においては、第1の認識処理を行うのに適した基準範囲として、第1の基準範囲が予め設定されており、第2の認識処理を行うのに適した基準範囲として、第2の基準範囲が予め設定されているものとする。具体的には、カメラ110の記憶部118に、画像全体に対する第1の基準範囲及び第2の基準範囲の相対的な位置が記憶されているものとする。ここで、第1の基準範囲は、第1の認識処理により精度よく認識を行うことのできる範囲であり、第1の認識処理の対象(認識対象)となる範囲としてユーザが指定可能なである。また、第2の基準範囲は、第2の処理により精度よく認識を行うことのできる範囲であり、第2の認識処理の対象(認識対象)となる範囲としてユーザが指定可能な範囲である。
Further, in the
図2(b)は、カメラ110が横壁に設置された場合の映像(画像)230の一例を示す図である。画像230においては、231のように胴体を含んだ人物が写っているが、画像には歪みが生じている。但し、この歪みは、画像200の外側領域220の歪みとは異なる種類の歪みである。そこで、認識部115は、画像200に対しては、第3の認識処理を行うこととする。ここで、第3の認識処理は、胴体等も含んだ人物の画像でかつ人物の身長方向に垂直な方向に特に歪みのある画像から人物を認識するのに適した認識処理である。
FIG. 2B is a diagram showing an example of a video (image) 230 when the
さらに、画像230においては、曲線241から曲線242の範囲が壁に相当し、曲線242から曲線243の範囲が床に相当する。なお、曲線241の上側は、天井に相当する。このため、人物が存在するのは、曲線241から曲線243の間の範囲となる。そこで、カメラ110の記憶部118には、曲線241から曲線243に基づいて定まる第3の基準範囲が第3の認識処理を行うのに適した範囲として予め設定されているものとする。なお、第1の認識処理、第2の認識処理及び第3の認識処理は互いに異なる処理であるものとする。また、第1の基準範囲、第2の基準範囲及び第3の基準範囲は互いに異なる範囲であるものとする。
Further, in the
図3は、カメラ110による画像処理動作を示すフローチャートである。ユーザが、カメラシステム100を所望の場所に取り付けた後、電源をオンすると、カメラ110による画像処理が開始される。S100において、CPU117は、ユーザからの入力に応じて、設置モードか否かを判断する。CPU117は、設置モードでない場合には待機し(S100でNO)、設置モードの場合には(S100でYES)、処理をS101へ進める。
FIG. 3 is a flowchart showing an image processing operation by the
S101において、CPU117は、通信部116を介して管理装置120においてユーザにより設定された、ネットワーク150に関する設定を受信し、これを設定する。CPU117は、例えば、ネットワーク通信上の個体通信を識別する為のIPアドレスを設定する等、設置環境に合わせたネットワーク接続条件に必要な設定を行う。次に、S102において、CPU117は、撮影を開始するよう、レンズ111、撮像部112を制御する。そして、CPU117は、S101で設定されたネットワーク設定に応じて、管理装置120に映像を配信する。管理装置120は、映像を受信すると、表示部130に映像を表示する。
In S101, the
次に、S103において、CPU117は、カメラ110の設置場所が天井か横壁かを確認する。設置場所は、ユーザが管理装置120に対して入力する。そして、CPU117は、管理装置120から設置場所を示す設置情報を受信する。CPU117は、設置情報に示される設置場所が天井の場合には(S103でYES)、処理をS104へ進める。CPU117は、設置場所が横壁の場合には(S103でNO)、処理をS115へ進める。S104において、CPU117は、設置場所を天井に設定する。
Next, in S103, the
次に、S105において、CPU117は、設置された撮影環境に対応した最適な映像を得られるように、撮影パラメータを設定する。ここで、撮影パラメータは、映像画質に関連するパラメータである。例えば、環境が暗い所では、CPU117は、映像を明るくするようにAE制御用のパラメータを設定する。また、映像を鮮やかにしたい場合は、CPU117は、彩度を調整するパラメータを設定する。なお、CPU117は、管理装置120からの制御に応じて撮影パラメータを設定する。
Next, in S105, the
次に、S106において、CPU117は、第1の認識処理を行うか否かを確認する。なお、管理装置120が、ユーザから第1の認識処理を行うか否かの指示を受け付け、CPU117は、指示を管理装置120から受信するものとする。CPU117は、受信した指示に基づいて、第1の認識処理を行うか否かを確認する。すなわち、CPU117は、第1の認識処理を行う旨の指示を受信した場合には、第1の認識処理を行うと判断し、第1の認識処理を行わない旨の指示を受信した場合には、第1の認識処理を行わないと判断する。CPU117は、第1の認識処理を行う場合には(S106でYES)、処理をS107へ進める。CPU117は、第1の認識処理を行わない場合には(S106でNO)、処理をS109へ進める。
Next, in S106, the
S107において、CPU117は、S104において設定された設置場所(天井)に基づいて、第1の認識処理と第2の認識処理を特定する。そして、CPU117は、映像において、第1の認識処理に対応する第1の基準範囲を認識部115の認識範囲として特定し、特定した第1の基準範囲を、管理装置120を介して表示部130に表示するよう制御する。次に、S108において、CPU117は、ユーザによる設定枠の操作に応じて、第1の認識処理を適用する第1の適用範囲を設定する。ここで、第1の適用範囲とは、第1の認識処理を適用させる範囲としてユーザ操作に応じて設定された範囲である。このように、ユーザは、第1の基準範囲内において、所望の範囲を第1の適用範囲として設定することができる。
In S107, the
次に、S109において、CPU117は、管理装置120から受信した指示に基づいて、第2の認識処理を行うか否かを確認する。CPU117は、第2の認識処理を行う場合には(S109でYES)、処理をS110へ進める。CPU117は、第2の認識処理を行わない場合には(S109でNO)、処理をS112へ進める。
Next, in S109, the
S110において、CPU117は、第2の認識処理に対応する第2の基準範囲を認識部115の認識範囲として特定する。そして、CPU117は、第2の基準範囲を、管理装置120を介して表示部130に表示するよう制御する。次に、S111において、CPU117は、ユーザによる設定枠の操作に応じて、第2の認識処理を適用する第2の適用範囲を設定する。ここで、第2の適用範囲とは、第2の認識処理を行う範囲としてユーザ操作に応じて設定された範囲である。このように、ユーザは、第2の基準範囲内において、所望の範囲を第2の適用範囲として設定することができる。
In S110, the
次に、S112において、CPU117は、設定された適用範囲に変更があるか否かを確認する。CPU117は、変更がない場合には(S112でYES)、画像処理を終了する。CPU117は、変更がある場合には(S112でNO)、処理をS113へ進める。S113において、CPU117は、適用範囲を再設定するか否かを確認する。CPU117は、再設定する場合には(S113でYES)、処理をS106へ進める。CPU117は、再設定しない場合には(S113でNO)、処理をS114へ進める。S114において、CPU117は、初期化するか否かを確認する。CPU117は、初期化する場合には(S114でYES)、処理をS103へ進める。CPU117は、初期化しない場合には(S114でNO)、画像処理を終了する。以上の処理により、天井に設置されたカメラ110により得られた画像に対し、第1の認識処理及び第2の認識処理を施す範囲を設定することができる。
Next, in S112, the
一方、S115において、CPU117は、設置場所を横壁に設定する。次に、S116において、CPU117は、設置された撮影環境に対応した最適な映像を得られるように、撮影パラメータを設定する。次に、S117において、CPU117は、管理装置120から受信した指示に基づいて、第3の認識処理を行うか否かを確認する。CPU117は、第3の認識処理を行う場合には(S117でYES)、処理をS118へ進める。CPU117は、第3の認識処理を行わない場合には(S117でNO)、処理をS120へ進める。
On the other hand, in S115, the
S118において、CPU117は、S115において設定された設置位置(横壁)に基づいて、第3の認識処理を特定する。そして、CPU117は、映像において、第3の認識処理に対応する第3の基準範囲を認識部115の認識範囲として特定する。そして、CPU117は、第3の基準範囲を、管理装置120を介して表示部130に表示するよう制御する。なお、S107、S110及びS118の処理は、表示処理の一例である。次に、S119において、CPU117は、ユーザによる設定枠の操作に応じて、第3の認識処理を適用する第3の適用範囲を設定する。ここで、第3の適用範囲とは、第3の認識処理を行う範囲としてユーザ操作に応じて設定された範囲である。このように、ユーザは、第3の基準範囲内において、所望の範囲を第3の適用範囲として設定することができる。
In S118, the
このように本実施形態のCPU117は、カメラ101の設置場所に基づいて基準範囲を決定する。ただし設置場所に代えて、カメラ101の撮影方向に基づいて基準範囲が決定されるようにしてもよい。この場合、CPU117は、背撮影方向を示す設置情報を受信する。そして、例えば、撮影方向が下方向である場合は、設置場所が天井である場合と同様に基準範囲が決定される。一方、例えば、撮影方向が横方向である場合は、設置場所が横壁である場合と同様に基準範囲が決定される。このように、本実施形態のCPU117は、カメラ101の設置に関する設置情報に基づいて、基準範囲を決定することができる。
As described above, the
次に、S120において、CPU117は、設定された適用範囲に変更があるか否かを確認する。CPU117は、変更がない場合には(S120でYES)、画像処理を終了する。CPU117は、変更がある場合には(S120でNO)、処理をS121へ進める。S121において、CPU117は、第1の適用範囲を再設定するか否かを確認する。CPU117は、再設定する場合には(S121でYES)、処理をS117へ進める。CPU117は、再設定しない場合には(S121でNO)、処理をS114へ進める。
Next, in S120, the
図4は、カメラの設置場所が天井の場合における表示部130の表示例を示す図である。図4(a)に示す画面400には、カメラ110により得られたリアルタイムの映像(画像)410が表示されている。映像410は、映像200と同じ映像である。画面400にはさらに、設置場所の選択ボタン401、402が表示されている。ユーザが画面400において選択ボタン401、402を選択すると、管理装置120は、設置場所の情報を受け付け、これをカメラ110に送信する。カメラ110が天井に設置されているため、ユーザは天井の選択ボタン401を選択する。これにより、画像処理はS104に進む。なお、画面操作は、パーソナルコンピュータ(PC)のマウスでのクリック操作や、タブレット端末等のタップ操作で実施するように構成するが、他の手段を使って設定しても構わない。
FIG. 4 is a diagram showing a display example of the
続いて、設置場所が設定されると、図4(b)に示すように画像410には、第1の基準範囲を示す破線420が表示される。ユーザは、第1の基準範囲内において、第1の適用範囲とすべき矩形の2点421、422をクリック操作後、問題なければOKボタン403を押す。これにより、表示部130には第1の適用範囲を示す実線423が表示され、カメラ110においては、第1の適用範囲が設定される。一方、中央領域に対する第1の認識処理が不要な場合には、ユーザは、第1の適用範囲を指定することなく、OKボタン403を押す。これにより、画像処理においては、S106でNOと判定され、第1の適用範囲は未設定となり、処理はS109へ進む。
Then, when the installation place is set, a
続いて、図4(c)に示すように、画像410には、第2の基準範囲を示す破線430が表示される。なお、破線430の外側が第2の基準範囲である。ユーザは、第2の基準範囲内において、点431をクリックし、問題なければOKボタン403を押す。これにより、表示部130には、第2の適用範囲を示す実線432が表示され、カメラ110においては、第2の適用範囲が設定される。外側領域に対する第2の認識処理が不要な場合には、ユーザは、第2の適用範囲を指定することなく、OKボタン403を押す。これにより、画像処理においては、S109でNOと判定され、第2の適用範囲は未設定となり、処理はS112へ進む。なお、本実施形態においては、外側領域のうち左側の範囲のみを設定する場合を例に説明したが、右側、上側及び左側についても、同様に第2の適用範囲を設定することができる。
Subsequently, as shown in FIG. 4C, a
続いて、図4(d)に示すように、画面400には、再設定ボタン404が表示される。再設定ボタン404が選択されると、「初期化を行いますか?」という問い合わせと共に、OKボタンとNOボタンが表示される。OKボタンが選択されると、画像処理においては、S114でYESと判定され、処理は再びS106に戻る。NOボタンが選択されると、画像処理において、S114でNOと判定され、画像処理が終了する。
Then, as shown in FIG. 4D, a
このように、設置場所が天井の場合には、カメラ110は、2つの認識処理それぞれに適した基準範囲を表示することができる。これにより、ユーザは認識に適した範囲を各認識処理の適用範囲として指定することができる。
As described above, when the installation place is on the ceiling, the
図5は、カメラ110の設置場所が横壁の場合における表示部130の表示例を示す図である。図5(a)に示す画面500には、カメラ110により得られたリアルタイムの映像(画像)510が表示されている。映像510は、映像230と同じ映像である。曲線511の上側が天井であり、曲線511から曲線512までが壁、曲線512から曲線513までが床面に相当する。画面500にはさらに、設置場所の設定ボタン501、502が表示されている。カメラ110が横壁に設置されているため、ユーザは横壁の選択ボタン502を選択する。これにより、画像処理は、S115に進む。
FIG. 5 is a diagram showing a display example of the
次に、図5(b)に示すように画像510には、第3の基準範囲を示す破線520が表示される。なお、画像510の上部は天井、下部は横壁であることから、これらの領域を除外した範囲が第3の基準範囲として定められている。ユーザは、第3の基準範囲内においては、第3の適用範囲とすべき矩形の2点521、522をクリック操作し、問題なければ、OKボタン503を押す。これにより、表示部130には、第3の適用範囲を示す実線523が表示され、カメラ110においては、第3の適用範囲が設定される。中央領域に対する第3の認識処理が不要な場合には、ユーザは、第3の適用範囲を指定することなく、OKボタン503を押す。これにより、画像処理においては、S117でNOと判定され、第3の適用範囲は未設定となり、処理はS120へ進む。
Next, as shown in FIG. 5B, a
続いて、図5(c)に示すように、画面500には、再設定ボタン504が表示される。再設定ボタン504が選択されると、「初期化を行いますか?」という問い合わせと共に、OKボタンとNOボタンが表示される。OKボタンが選択されると、画像処理においては、S114でYESと判定され、処理は再びS106に戻る。NOボタンが選択されると、画像処理において、S114でNOと判定され、画像処理が終了する。
Then, as shown in FIG. 5C, a
このように、設置場所が横壁の場合には、画像510の上側及び下側の領域には人物が存在することがない。これに対し、本実施形態のカメラ110は、これらの領域を除いた領域を第3の基準範囲としているため、これらの領域が物認識の範囲として設定されるのを避けることができる。
As described above, when the installation place is the horizontal wall, no person exists in the upper and lower regions of the
以上のように、第1の実施形態に係るカメラシステム100においては、歪みが生じているような画像において、認識処理を適用させる範囲を制限することにより、特定の被写体の認識精度を向上させることができる。
As described above, in the
第1の実施形態の第1の変更例としては、本実施形態において説明した画像処理は、カメラシステム100の1又は2以上の装置が実行すればよく、その実行主体はカメラ110に限定されるものではない。例えば、管理装置120が、映像処理部113、展開部114、認識部115を有することとし、管理装置120が画像処理を行ってもよい。
As a first modification of the first embodiment, the image processing described in the present embodiment may be executed by one or more devices of the
第2の変更例について説明する。本実施形態においては、天井と横壁の2つの場所が設置場所として設定され得る場合を例に説明したが、設置場所の数及び種類は、実施形態に限定されるものではない。なお、カメラ110には、設置場所として設定され得る設置場所それぞれに対応する認識処理と、認識処理に対応する基準範囲が予め設定されているものとする。
A second modification will be described. In the present embodiment, the case has been described as an example where two locations, the ceiling and the lateral wall, can be set as the installation locations, but the number and types of installation locations are not limited to the embodiments. It is assumed that the
(第2の実施形態)
図6は、第2の実施形態に係るカメラシステム600の全体図である。ここでは、第2の実施形態に係るカメラシステム600について、第1の実施形態に係るカメラシステム100と異なる点について説明する。カメラシステム600は、撮像装置としてのカメラ601と、管理装置120と、表示部130と、を有している。第2の実施形態に係るカメラ601は、2つの画像処理ユニット610、620を有している。
(Second embodiment)
FIG. 6 is an overall view of a
カメラ601においては、撮像部112で得られた映像は、分配部602に入力される。分配部602は、映像を2つに分割し、一方を第1の画像処理ユニット610へ、他方を第2の画像処理ユニット620へ分配して送信する。第1の画像処理ユニット610及び第2の画像処理ユニット620は、例えば、映像データの処理を施すための映像処理LSIである。
In the
第1の画像処理ユニット610は、映像処理部611と、展開部612と、認識部613と、ネットワーク通信部614と、チップ間通信部615と、CPU616と、記憶部617と、を有している。映像処理部611、展開部612、認識部613、ネットワーク通信部614、CPU616及び記憶部617は、それぞれ第1の実施形態に係る映像処理部113、展開部114、認識部115、通信部116、CPU117及び記憶部118と同様である。チップ間通信部615は、第1の画像処理ユニット610と第2の画像処理ユニット620の間のデータ通信を行う。
The first
第2の画像処理ユニット620は、映像処理部621と、展開部622と、認識部623と、ネットワーク通信部624と、チップ間通信部625と、CPU626と、記憶部627と、を有している。映像処理部621、展開部622及び認識部623は、それぞれ映像処理部611、展開部612及び認識部613と同様である。ネットワーク通信部624、チップ間通信部625、CPU626及び記憶部627は、それぞれネットワーク通信部614、チップ間通信部615、CPU616及び記憶部617と同様である。
The second
本実施形態においては、カメラ601は、外部ネットワークと通信する必要があるのは1つのチャンネルでまかなえる構成である。このため、ネットワーク通信部614のみがネットワーク150を介した通信を行うものとする。なお、カメラ601が他の装置と広帯域でデータ通信したい場合は、ネットワーク通信部614及びネットワーク通信部624それぞれがネットワーク150を介した通信を行ってもよい。
In the present embodiment, the
図7は、第2の実施形態に係るカメラ601による画像処理を示すフローチャートである。通常、高解像度の映像処理する際に、1つの処理ブロックリソースでは所定の処理量にしか対応できない。この場合、第1の画像処理ユニット610は、複数の処理ブロックリソースを使用して処理を行う。画像処理は、複数のブロックリソースを使用した処理である。まず、初期化後は、分配部602が映像を単純に固定した複数のエリアに分割し、画像処理ユニット610、620に分割したエリア毎の映像データを入力する。なお、図7に示す各処理のうち、第1の実施形態における画像処理の各処理と同じ処理には、同じ番号を付している。
FIG. 7 is a flowchart showing image processing by the
CPU117は、S101の処理の後、処理をS700へ進める。S700において、CPU616は撮影を開始するよう、レンズ111、撮像部112を制御する。そして、分配部602は、画像を上下に2つに分割する。なお、分割数、分割位置は実施形態に限定されるものではない。次に、S701において、第1の画像処理ユニット610及び第2の画像処理ユニット620はそれぞれに供給された画像に対し画像処理を施す。次に、S702において、第1の画像処理ユニット610は、第2の画像処理ユニット620から画像処理後の映像を受信し、自装置において画像処理した映像と受信した映像を統合する。次に、S703において、ネットワーク通信部614は、統合後の映像を管理装置120に配信する。管理装置120は、映像を受信すると、表示部130に映像を表示する。次に、CPU616は、処理をS103へ進める。
After the processing of S101, the
S103において、CPU616は、カメラ110の設置場所が天井か横壁かを確認する。CPU616は、設置場所が天井の場合には(S103でYES)、処理をS104へ進める。CPU616は、設置場所が横壁の場合には(S103でNO)、処理をS115へ進める。S104において、CPU616は、設置場所を天井に設定する。次に、S105において、CPU616は、設置された撮影環境に対応した最適な映像を得られるように、撮影パラメータを設定する。
In S103, the
次に、S106において、CPU616は、第1の認識処理を行うか否かを確認する。CPU616は、第1の認識処理を行う場合には(S106でYES)、処理をS107へ進める。CPU616は、第1の認識処理を行わない場合には(S106でNO)、処理をS109へ進める。S107、S108の処理ののち、CPU616は、処理をS704へ進める。
Next, in S106, the
S704において、CPU616は、第1の適用範囲内に分割位置が含まれないよう、分割位置を変更する。本処理は、分割位置を決定する決定処理の一例である。なお、CPU616は、分割位置を変更する際に、第1の画像処理ユニット610及び第2の画像処理ユニット620の処理能力も考慮することとする。
In S704, the
CPU616は、その後処理をS109へ進める。S109において、CPU616は、管理装置120から受信した指示に基づいて、第2の認識処理を行うか否かを確認する。CPU616は、第2の認識処理を行う場合には(S109でYES)、処理をS110へ進める。CPU616は、第2の認識処理を行わない場合には(S109でNO)、処理をS112へ進める。
The
S110において、CPU616は、第2の認識処理に対応付けられた第2の基準範囲を、管理装置120を介して表示部130に表示するよう制御する。次に、S111において、CPU616は、ユーザによる設定枠の操作に応じて、第2の認識処理を適用する第2の適用範囲を設定する。CPU616は、その後処理をS705へ進める。S705において、CPU616は、S704において分割した範囲以外のエリアに対して、第2の適用範囲を考慮し、映像処理のパフォーマンスが最大となるよう、さらに分割位置を変更する。CPU616は、その後処理をS112へ進める。
In S110, the
また、S119の処理の後、CPU616は、処理をS706へ進める。S706において、CPU616は、第3の適用範囲内に分割位置が含まれないよう、分割位置を変更する。CPU616は、その後処理をS120へ進める。
Further, after the processing of S119, the
以上のように、第2の実施形態のカメラ601は、高解像度の映像に対して、認識処理を施す映像中に分割位置が含まれないように処理を行うことで、認識の精度と映像処理の効率を向上することができる。
As described above, the
図8は、カメラの設置場所が天井の場合における表示部130の表示例を示す図である。図8を参照しつつ、第2の実施形態に係る画像処理のうち、第1の実施形態に係る画像処理と異なる点について説明する。図8(a)に示す画面800には、カメラ110により得られたリアルタイムの映像(画像)810が表示されている。映像810は、映像200と同じ映像である。画面800にはさらに、設定場所の選択ボタン801、802が表示されている。図中の破線811は、映像の分割位置を示す線であるが、実際の画面800においては、分割位置は表示されない。
FIG. 8 is a diagram showing a display example of the
続いて、設置位置が設定されると、図8(b)に示すように、画像410には、第1の基準範囲を示す破線820が表示される。そして、ユーザ操作により点821、822が指定されると、これらを頂点とする矩形の第1の適用範囲が設定され、第1の適用範囲を示す実線823が表示される。このとき、CPU616は、第1の適用範囲内に分割位置が含まれないように、分割位置を変更する。なお、本実施形態においては、CPU616は、第2の画像処理ユニット620が担当する映像サイズ(面積)の上限を映像全体のサイズの1/2として分割位置を変更する。
Then, when the installation position is set, a
続いて、図8(c)に示すように、画像810には、第2の基準範囲を示す破線830が表示される。なお、破線830の外側が第2の基準範囲である。ユーザは、第2の基準範囲内において、点831をクリックし、問題なければOKボタン803を押す。これにより、表示部130には、第2の適用範囲を示す実線832が表示され、カメラ110においては、第2の適用範囲が設定される。
Subsequently, as shown in FIG. 8C, a
なお、CPU616は、第1の適用範囲のデータ量に応じて、第2の適用範囲のデータ量を算出し、点831を通る円弧の外側の領域の面積を計算した上で、処理可能な範囲を表示する。なお、本実施形態においては、CPU616は、点831から左回りの円弧に沿って面積を計算することとするが、点831から右回り円弧に沿って面積を計算することとしてもよい。
The
さらに、CPU616は、第1の適用範囲内及び第2の適用範囲内に分割位置が含まれないように、分割位置を変更する。なお、第2の実施形態に係るカメラシステム600のこれ以外の構成及び処理は、第1の実施形態に係るカメラシステム100の構成及び処理と同様である。
Further, the
以上のように、第2の実施形態に係るカメラシステム600においては、2つの画像処理ユニットに対し、映像を分配する場合において、第1の適用範囲及び第2の適用範囲の中に映像の分割位置が含まれないように映像を分割する。これにより、処理効率を高めることができる。
As described above, in the
以上、上述した各実施形態によれば、歪みが生じているような画像において、特定の被写体の認識精度を向上させることができる。 As described above, according to each of the above-described embodiments, it is possible to improve the recognition accuracy of a specific subject in an image with distortion.
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。 Although the preferred embodiments of the present invention have been described above in detail, the present invention is not limited to the specific embodiments, and various modifications are possible within the scope of the gist of the present invention described in the claims. -Can be changed.
(その他の実施例)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
(Other embodiments)
The present invention supplies a program that implements one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in a computer of the system or apparatus read and execute the program. It can also be realized by the processing. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
100 カメラシステム
110 カメラ
120 管理装置
130 表示装置
100
Claims (11)
前記指定手段により前記適用範囲を指定可能な基準範囲を表示手段に表示するよう制御する表示処理手段と
を有することを特徴とする画像処理装置。 Designation means for designating an application range in which a specific subject is recognized from an image obtained by the image pickup means,
An image processing apparatus comprising: a display processing unit that controls the display unit to display a reference range in which the applicable range can be specified by the specifying unit.
前記表示処理手段は、前記特定手段により特定された前記基準範囲を表示するよう制御することを特徴とする請求項1又は2に記載の画像処理装置。 Further comprising specifying means for specifying the reference range based on installation information of the image pickup means,
The image processing apparatus according to claim 1, wherein the display processing unit controls to display the reference range specified by the specifying unit.
前記撮像手段により得られた画像を前記決定手段により決定された前記分割位置で分割し、複数の画像処理手段に分配する分配手段と
をさらに有することを特徴とする請求項1乃至6の何れか1項に記載の画像処理装置。 Determining means for determining the division position of the image based on the reference range;
7. The distribution device further comprising: a distribution unit that divides the image obtained by the image pickup unit at the division position determined by the determination unit and distributes the image to a plurality of image processing units. The image processing apparatus according to item 1.
撮像手段により得られた画像から特定の被写体が認識される適用範囲を指定する指定ステップと、
前記指定ステップにおいて前記適用範囲を指定可能な基準範囲を表示手段に表示するよう制御する表示処理ステップと
を含むことを特徴とする画像処理方法。 An image processing method executed by an image processing apparatus, comprising:
A designating step of designating an applicable range in which a specific subject is recognized from the image obtained by the image pickup means;
And a display processing step of controlling the display means to display a reference range capable of designating the applicable range in the designating step.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016175458A JP6727998B2 (en) | 2016-09-08 | 2016-09-08 | Image processing apparatus, image processing method and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016175458A JP6727998B2 (en) | 2016-09-08 | 2016-09-08 | Image processing apparatus, image processing method and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018042129A JP2018042129A (en) | 2018-03-15 |
JP6727998B2 true JP6727998B2 (en) | 2020-07-22 |
Family
ID=61626494
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016175458A Active JP6727998B2 (en) | 2016-09-08 | 2016-09-08 | Image processing apparatus, image processing method and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6727998B2 (en) |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3698420B2 (en) * | 2001-06-12 | 2005-09-21 | シャープ株式会社 | Image monitoring apparatus, image monitoring method, and image monitoring processing program |
JP2010123373A (en) * | 2008-11-19 | 2010-06-03 | Panasonic Electric Works Co Ltd | Illumination system |
JP5739722B2 (en) * | 2011-04-26 | 2015-06-24 | 株式会社日立情報通信エンジニアリング | Object recognition method and recognition apparatus |
JP5851261B2 (en) * | 2012-01-30 | 2016-02-03 | 株式会社東芝 | Image sensor system, information processing apparatus, information processing method, and program |
JP2015032883A (en) * | 2013-07-31 | 2015-02-16 | パナソニック株式会社 | Imaging apparatus and image display method |
WO2015022900A1 (en) * | 2013-08-12 | 2015-02-19 | 株式会社ニコン | Electronic device, electronic device control method, and control program |
JP6381353B2 (en) * | 2014-08-08 | 2018-08-29 | キヤノン株式会社 | Image processing apparatus, imaging apparatus, image processing method, and program |
-
2016
- 2016-09-08 JP JP2016175458A patent/JP6727998B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018042129A (en) | 2018-03-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10789671B2 (en) | Apparatus, system, and method of controlling display, and recording medium | |
US8854359B2 (en) | Image processing apparatus, image processing method, storage medium, and image processing system | |
CN106803884B (en) | Image processing apparatus | |
WO2017087148A1 (en) | Device and method for generating a panoramic image | |
JP5886242B2 (en) | Image processing apparatus, image processing method, and image processing program | |
JP2011055170A (en) | Information processing apparatus and control method therefor | |
JP6374536B2 (en) | Tracking system, terminal device, camera device, tracking shooting method and program | |
JP2016109813A (en) | Image display system, control device, control method and program | |
CN111246080B (en) | Control apparatus, control method, image pickup apparatus, and storage medium | |
JP2019129410A (en) | Monitoring camera, control method thereof, and program | |
JP2010016826A (en) | System and method for efficiently performing image processing operations | |
CN108769538B (en) | Automatic focusing method and device, storage medium and terminal | |
JP2016039613A (en) | Image processing system, control method thereof, program, and storage medium | |
JP6269014B2 (en) | Focus control device and focus control method | |
JP6727998B2 (en) | Image processing apparatus, image processing method and program | |
JP7150462B2 (en) | Information processing device, information processing method and program | |
JP6483661B2 (en) | Imaging control apparatus, imaging control method, and program | |
WO2017219442A1 (en) | Image preview method and apparatus | |
JP6980450B2 (en) | Controls, control methods, and programs | |
US11700446B2 (en) | Information processing apparatus, system, control method of information processing apparatus, and non-transitory computer-readable storage medium | |
JP7237520B2 (en) | Information processing device, information processing method and program | |
JP7335463B1 (en) | PORTABLE IMAGING DEVICE, VIDEO PROCESSING SYSTEM, VIDEO PROCESSING METHOD, AND VIDEO PROCESSING PROGRAM | |
US9883103B2 (en) | Imaging control apparatus and method for generating a display image, and storage medium | |
JP2019033470A (en) | Image processing system, imaging apparatus, image processing apparatus, control method, and program | |
CN110771147A (en) | Method for adjusting parameters of shooting device, control equipment and shooting system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190903 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200525 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200602 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200701 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6727998 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |