JP7252729B2 - 画像処理装置、画像処理方法 - Google Patents

Description

本発明は、画像の解析技術に関する。

従来から、ネットワークカメラで撮像された映像を解析する際に、解析対象とする領域を表す情報を映像に重畳して表示する技術が知られている。例えば、特許文献１には、動体または不動体の検知範囲を示す複数の矩形が画像上に表示され、それぞれの矩形上部に検知範囲のタイトルが表示される技術が開示されている。また、特許文献２には、検知領域を多角形で設定して映像上に表示する技術が開示されている。

特開２００８－１８２４５６号公報 特許第６２６１１９０号

映像解析の対象とする領域が一画面内に複数個の多角形で設定されるとき、それぞれの領域を示す多角形とともに識別情報を表示することがある。このとき、各領域の形状が均一ではないため、識別情報が領域に対して固定の位置に表示されると、領域と識別情報との対応関係が明確に認識できない等の問題が生じることがある。本発明では、画面上に設定されている多角形領域に関する情報を、視認性がより良い位置に配置するための技術を提供する。

本発明の一様態は、画面上に設定されている多角形領域の辺のうち最長の辺を特定する特定手段と、
前記最長の辺の中点の位置を、前記多角形領域に関する情報の前記画面における表示位置として決定し、該表示位置に該情報を表示させる表示制御手段と
を備えることを特徴とする。

本発明の構成によれば、画面上に設定されている多角形領域に関する情報を、視認性がより良い位置に配置することができる。

システムのハードウェア構成例を示すブロック図。 多角形領域とラベルについて説明する図。 多角形領域のラベルの配置位置の設定処理のフローチャート。 ＧＵＩの構成例を示す図。 ファイルの構成例を示す図。 最長辺が複数存在する多角形領域の一例を示す図。 ラベルの配置位置として選択する際の選択基準を説明する図。 多角形領域のラベルの配置位置の設定処理のフローチャート。 多角形領域のラベルの配置位置の設定処理のフローチャート。 第３の実施形態の具体例を示す図。 第４の実施形態のフローチャート。 図１１のフローチャートに従った処理を視覚的に説明する図。

以下、添付図面を参照し、本発明の実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載した構成の具体的な実施形態の１つである。

［第１の実施形態］
先ず、本実施形態に係るシステムのハードウェア構成例について、図１のブロック図を用いて説明する。図１に示す如く、本実施形態に係るシステムは、画像処理装置１００と、表示装置１３０と、操作装置１５０と、撮像装置２００と、記憶装置４００と、を有する。撮像装置２００および記憶装置４００は何れも、有線および／または無線のネットワーク３００を介して画像処理装置１００に接続されている。

先ず、撮像装置２００について説明する。撮像装置２００は、動画像若しくは静止画像を撮像する。撮像装置２００は、動画像を撮像する場合には各フレームの画像、静止画像を撮像する場合には該静止画像、を撮像画像としてネットワーク３００を介して画像処理装置１００に送信する。

次に、記憶装置４００について説明する。記憶装置４００には、動画像や静止画像などの各種の画像が保存されており、画像処理装置１００からの要求に応じて動画像や静止画像をネットワーク３００を介して画像処理装置１００に対して供給することができる。

次に、画像処理装置１００について説明する。画像処理装置１００は、ＰＣ（パーソナルコンピュータ）、タブレット型端末装置、スマートフォンなどのコンピュータ装置である。

ＣＰＵ１０１は、ＲＯＭ１０２やＲＡＭ１０３に格納されているコンピュータプログラムやデータを用いて各種の処理を実行する。これによりＣＰＵ１０１は、画像処理装置１００全体の動作制御を行うと共に、画像処理装置１００が行うものとして後述する各処理を実行若しくは制御する。

ＲＯＭ１０２には、画像処理装置１００の設定データや起動プログラムなどが格納されている。ＲＡＭ１０３は、ＲＯＭ１０２や外部記憶装置１０９からロードされたコンピュータプログラムやデータを格納するためのエリアを有する。またＲＡＭ１０３は、ネットワーク制御部１０４がネットワーク３００を介して撮像装置２００や記憶装置４００から受信したデータ（動画像や静止画像等）を格納するためのエリアを有する。またＲＡＭ１０３は、ＣＰＵ１０１が各種の処理を実行する際に用いるワークエリアを有する。このようにＲＡＭ１０３は、各種のエリアを適宜提供することができる。

外部記憶装置１０９は、ハードディスクドライブ装置等の大容量情報記憶装置である。外部記憶装置１０９には、ＯＳ（オペレーティングシステム）や、画像処理装置１００が行うものとして後述する各処理をＣＰＵ１０１に実行若しくは制御させるためのコンピュータプログラムやデータが保存されている。外部記憶装置１０９に保存されているデータには、後述する各種の設定データや、以下の説明において画像処理装置１００が既知の情報として取り扱う情報、が含まれている。

外部記憶装置１０９に保存されているコンピュータプログラムやデータは、ＣＰＵ１０１による制御に違って適宜ＲＡＭ１０３にロードされ、ＣＰＵ１０１による処理対象となる。

ネットワーク制御部１０４は、ネットワーク３００を介して撮像装置２００や記憶装置４００との間のデータ通信を制御する。表示制御部１０５は、表示装置１３０に画像や文字などの表示情報を表示させるための表示制御を行う。操作制御部１０６は、ユーザが操作装置１５０を操作したことで入力した各種の指示入力をＣＰＵ１０１に通知する。

ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、外部記憶装置１０９、ネットワーク制御部１０４、表示制御部１０５、操作制御部１０６、は何れも、バス１０７に接続されている。

次に、表示装置１３０について説明する。表示装置１３０は、液晶画面やタッチパネル画面などにより構成されており、画像処理装置１００による処理結果を画像や文字などでもって表示することができる。また、表示装置１３０は、画像や文字などを投影するプロジェクタなどの投影装置であっても良い。

次に、操作装置１５０について説明する。操作装置１５０は、マウス、キーボード、タッチパネル画面などのユーザインターフェースにより構成されており、ユーザが操作することで各種の指示を画像処理装置１００（ＣＰＵ１０１）に対して入力することができる。

なお、本実施形態では図１に示した構成を採用するが、以下の説明に適用可能な構成は図１に示した構成に限らず、種々の構成が適用可能である。例えば、図１では、画像処理装置１００、表示装置１３０、操作装置１５０、撮像装置２００、記憶装置４００はそれぞれ別個の装置であるものとして説明したが、これらの装置のうち２つ以上を１つの装置に一体化させても良い。例えば、画像処理装置１００を撮像装置２００に組み込むことで、画像処理装置１００が行うものとして後述する各処理を撮像装置２００に行わせるようにしても良い。また、表示装置１３０、操作装置１５０、記憶装置４００のうち１つ以上を画像処理装置１００と一体化させても良い。

次に、このような構成を有するシステムが、画像を表示する画面上に設定されている多角形領域（多角形の形状を有する領域）のラベルを該画面上のどの位置に配置（表示）するのかを決定（設定）するために行う処理について説明する。なお、一例として、ラベルとは各多角形領域を一意に識別するための識別情報（ＩＤ）である。

画面１０上に設定されている多角形領域の一例を図２（ａ）に示す。画面１０は、表示装置１３０が有する画面全体であっても良いし、画像を表示するために設けられた部分画面であっても良い。

図２（ａ）では、画面１０上には、三角形の領域である多角形領域１１、五角形の領域である多角形領域１２、四角形の領域である多角形領域１３が設定されている。画面１０上の多角形領域１１，１２，１３のそれぞれは、ユーザが操作装置１５０を操作することで画面１０上に設定したものであっても良いし、画面１０内に表示した画像からＣＰＵ１０１等が検出したオブジェクトの領域であっても良い。例えば、画面１０内の既定領域内に写っている人数をカウントするために、該既定領域として多角形領域１１，１２，１３が設定されていても良い。

本実施形態では、図２（ｂ）に示す如く、このような画面１０上に、多角形領域１１に対するラベル１４、多角形領域１２に対するラベル１５、多角形領域１３に対するラベル１６、を配置する。図２（ｂ）では、ラベル１４として多角形領域１１の名称を表す文字列「Ａｒｅａ１」、ラベル１５として多角形領域１２の名称を表す文字列「Ａｒｅａ２」、ラベル１６として多角形領域１３の名称を表す文字列「Ａｒｅａ３」、を画面１０上に配置している。本実施形態では、多角形領域の辺のうち最長の辺の中点位置にラベルを配置する。実際には、画面１０内には画像を表示するので、該画像上にラベル１４，１５，１６が重畳表示されることになる。

多角形領域のラベルの配置位置（ラベル重畳位置）の設定処理について、図３のフローチャートに従って説明する。なお、図３のフローチャートに従った処理は、１つの多角形領域のラベルの配置位置を設定する処理のフローチャートである。然るに、画面上に複数の多角形領域が設定されている場合には、該複数の多角形領域のそれぞれについて図３のフローチャートに従った処理を行うことで、該複数の多角形領域のそれぞれについて、該多角形領域のラベルの配置位置を設定する。以下では、「画面」は表示装置１３０が有する画面全体であっても良いし、画像を表示するために設けられた部分画面であっても良い。

ステップＳ３０１では、ＣＰＵ１０１は、画面上に設定されている多角形領域の各辺の長さを求める。図２（ａ）において多角形領域１１を対象とする場合、該多角形領域１１を構成する３つの辺のそれぞれの長さを求める。なお、画面上に設定されている多角形領域の辺の長さは、例えば、該辺の一端の画素位置と他端の画素位置との間の距離として求める。画素位置は、例えば、画面の左上隅の位置を原点（０，０）とし、水平方向の位置をｘ座標、垂直方向の位置をｙ座標とする座標系における位置である。

そしてステップＳ３０２では、ＣＰＵ１０１は、多角形領域を構成する各辺のうち最長の辺（最長辺）を特定する。この特定では、多角形領域を構成する各辺についてステップＳ３０１で求めた長さ同士を比較し、その中で最も長い長さを求めた辺を最長辺として特定する。

ステップＳ３０３では、ＣＰＵ１０１は、ステップＳ３０２において特定した最長辺の中点の位置を特定する。最長辺の中点の位置は、例えば、最長辺の一端の画素位置と他端の画素位置との中点位置として求める。

ステップＳ３０４では、ＣＰＵ１０１は、ステップＳ３０３において求めた中点位置を、多角形領域のラベルの配置位置（表示位置）として設定し、該配置位置を、ＲＡＭ１０３や外部記憶装置１０９に格納する。

なお、ステップＳ３０１～Ｓ３０４の処理を、画面上に設定されている多角形領域のそれぞれについて行った後、ＣＰＵ１０１は、画像が表示されている画面上にそれぞれの多角形領域の枠と、該多角形領域のラベルと、を重畳させて表示装置１３０に表示させても良い。多角形領域のラベルは、該多角形領域について図３のフローチャートに従った処理で設定した配置位置に配置される。また、画面内に表示する画像は、例えば、撮像装置２００や記憶装置４００から取得した画像（静止画像若しくは動画像における各フレームの画像）、外部記憶装置１０９に保存されている画像（静止画像若しくは動画像における各フレームの画像）である。

＜応用例＞
以下、本実施形態の応用例について説明する。本応用例では、図４（ａ）に例示する操作画面としてのＧＵＩ（グラフィカルユーザインターフェース）６００が表示装置１３０の表示画面に表示される。以下、特に触れない限りは、ＧＵＩ６００に対するユーザ操作は、ユーザが操作装置１５０を操作することで入力される。また、ＧＵＩ６００の表示制御やＧＵＩ６００に対するユーザ操作に応じて行われる処理はＣＰＵ１０１や表示制御部１０５によって実行若しくは制御されるものとする。

表示領域（上記の「画面」に対応する）６１０内には、ＧＵＩ６００の表示直前に撮像装置２００から受信した撮像画像が表示されており、さらに該撮像画像上には、設定済みの多角形領域の枠と、該多角形領域のラベルと、が重畳されている。ラベルは、該ラベルについて図３のフローチャートに従った処理で設定された配置位置に配置されている。なお、表示領域６１０内に表示する撮像画像は、撮像装置２００から取得した撮像画像に限らず、記憶装置４００や外部記憶装置１０９から取得した撮像画像（記憶装置４００や外部記憶装置１０９に保存しておいた撮像画像）であっても良い。また、表示領域６１０内に表示する撮像画像は、他の機器から取得した撮像画像であっても良い。

なお、ユーザは操作装置１５０を操作して表示領域６１０内の撮像画像上に多角形領域を追加することもできる。例えば、ユーザが操作装置１５０としてマウスを使用する場合、ユーザはマウスを操作してマウスカーソルを表示領域６１０内に移動させる。そして、ユーザがマウスを操作して表示領域６１０内でクリック操作を行う度に、クリック操作を行ったときのマウスカーソルの位置が多角形領域の頂点位置としてＲＡＭ１０３や外部記憶装置１０９等に登録される。このときのマウスカーソルの位置は、例えば、表示領域６１０の左上隅の位置を原点（０，０）とし、水平方向の位置をｘ座標、垂直方向の位置をｙ座標とする座標系における位置である。そして、ユーザが今回クリックしたマウスカーソルの位置が、最初にクリックしたときのマウスカーソルの位置から既定範囲内の位置であれば、登録した頂点位置を登録順に線分で繋げた多角形領域の枠が撮像画像上に重畳表示される。また、このように追加した多角形領域に対して新たにラベルが発行される。例えば、今回追加した多角形領域がＮ（Ｎは１以上の整数）番目に表示領域６１０内に設定された多角形領域である場合、今回追加した多角形領域に対してラベル「ＡｒｅａＮ（Ｎは生成順を表し、１，２，３，…というように自然数である）」が発行される。そして、ラベル「ＡｒｅａＮ」の配置位置を図３のフローチャートに従って設定し、該設定した配置位置にラベル「ＡｒｅａＮ」を重畳表示する。そして、今回追加した多角形領域に対応する行が選択部６２０に追加される。

選択部６２０の各行には、対応する多角形領域に対して解析１，解析２，解析３の何れを行うのかの設定内容が表示されている。図４（ａ）の場合、１行目にはラベル「Ａｒｅａ１」の多角形領域に対する設定内容、２行目にはラベル「Ａｒｅａ２」の多角形領域に対する設定内容、３行目にはラベル「Ａｒｅａ３」の多角形領域に対する設定内容、が表示されている。

ラベル「Ａｒｅａ１」の多角形領域に対し、解析１についてはチェックマークが表示されており、解析２，３についてはチェックマークは表示されていない。これは、ラベル「Ａｒｅａ１」の多角形領域に対する設定内容が、「ラベル「Ａｒｅａ１」の多角形領域に対して解析１は実施し、解析２，３については実施しない」であることを表している。

ラベル「Ａｒｅａ２」の多角形領域に対し、解析１，２についてはチェックマークが表示されており、解析３についてはチェックマークは表示されていない。これは、ラベル「Ａｒｅａ２」の多角形領域に対する設定内容が、「ラベル「Ａｒｅａ２」の多角形領域に対して解析１，２は実施し、解析３については実施しない」であることを表している。

ラベル「Ａｒｅａ３」の多角形領域に対し、解析１，２，３についてチェックマークが表示されている。これは、ラベル「Ａｒｅａ３」の多角形領域に対する設定内容が、「ラベル「Ａｒｅａ３」の多角形領域に対して解析１，２，３を実施する」であることを表している。

ここで、ユーザは操作装置１５０を操作することで選択部６２０における各行のうち所望の行を選択することができる。図４（ａ）では、１行目に対応するボタン６２１（ラベル「Ａｒｅａ１」を表示しているボタン）が選択されている。このとき、ラベルが「Ａｒｅａ１」である多角形領域の詳細設定を設定するための設定部６３０がＧＵＩ６００内の右側に表示される。

切替ボタン６３１は、有効／無効を切り替えるためのボタンで、通常は「有効」が設定されている。ユーザが操作装置１５０を用いて切替ボタン６３１を操作して「無効」を設定した場合、ラベルが「Ａｒｅａ１」の多角形領域に対する詳細設定はＲＡＭ１０３や外部記憶装置１０９にて保持したまま、該多角形領域に対する解析は停止する。一方、「有効」が設定されている場合、ラベルが「Ａｒｅａ１」の多角形領域に対する詳細設定は適用される。

領域６３２は、ラベル「Ａｒｅａ１」を編集するための領域であり、例えば、ユーザが操作装置１５０を操作してこの領域６３２に文字列を入力すると、ラベル「Ａｒｅａ１」を該入力した文字列に変更することができる。ラベルに使用できる文字種や文字数には制限が設けられても良い。

切替ボタン６３３は、解析１、解析２、解析３のそれぞれに対して設けられたボタンを有し、解析１、解析２、解析３のそれぞれを有効にするのか無効にするのかを切り替えるためのボタンである。図４（ａ）では、解析１については有効が設定されており、解析２，３については無効が設定されているので、ラベルが「Ａｒｅａ１」の多角形領域に対しては「解析１は実施し、解析２，３は実施しない」旨の設定がなされている。この設定内容が上記の選択部６２０の１行目に反映されている。

削除ボタン６３４は、ラベルが「Ａｒｅａ１」の多角形領域の削除を指示するためのボタンである。ユーザが操作装置１５０を操作して削除ボタン６３４を押下すると、この多角形領域に関する情報（頂点の位置や詳細設定など）がＲＡＭ１０３や外部記憶装置１０９から削除され、表示領域６１０からこの多角形領域の枠やラベルが消去される。

保存ボタン６０１は、ＧＵＩ６００を用いて設定した設定内容を外部記憶装置１０９に保存するようＣＰＵ１０１に指示するためのボタンである。リセットボタン６０２は、ＧＵＩ６００を用いて設定した設定内容を、保存ボタン６０１が最後に押下された時点における設定内容に戻す（リセットする）ようＣＰＵ１０１に指示するためのボタンである。なお、ＧＵＩ６００を表示してから一度も保存ボタン６０１が押下されていない状況下でリセットボタン６０２が押下されると、デフォルトの設定内容に戻される。

なお、保存ボタン６０１およびリセットボタン６０２を設定部６３０内にも設けるようにして、多角形領域ごとに上記の保存や上記のリセットを実施できるようにしても構わない。

また、ユーザは操作装置１５０を操作することで選択部６２０における各列のうち所望の列を選択することができる。図４（ｂ）では、１列目に対応するボタン６２２（解析１を表示しているボタン）が選択されている。このとき、図４（ｂ）に示す如く、解析１の詳細設定を設定するための設定部６４０がＧＵＩ６００内の右側に表示される。

切替ボタン６４１は、有効／無効を切り替えるためのボタンで、通常は「有効」が設定されている。ユーザが操作装置１５０を用いて切替ボタン６４１を操作して「無効」を設定した場合、解析１の実施を禁止させることができる。一方、「有効」が設定されている場合、解析１の実施を許可することができる。

感度設定部６４２は、解析１に固有の設定部であり、例えば人物を検出する感度を調整するための操作を行うスライダである。このように、解析ごとに設定する項目が異なっていても良い。

このように、本実施形態によれば、画面上に設定されている多角形領域のラベルを、該多角形領域の最長辺の中点位置に表示するので、多角形領域とそのラベルの視認性を高めることができ、例えば、該多角形領域に対する各種の設定の操作性向上を実現できる。

なお、撮像装置２００や記憶装置４００から順次送出される画像中の多角形領域ごとに該多角形領域内に写っている人数をカウントする解析を解析１として実施するようにしても良く、その場合、ＣＰＵ１０１は図５に例示するようなファイルを生成しても良い。

図５の例では、ラベルが「Ａｒｅａ１」の多角形領域、ラベルが「Ａｒｅａ２」の多角形領域、ラベルが「Ａｒｅａ３」の多角形領域、のそれぞれに対して解析１を実施する設定がなされている。図５の例では、時間（Ｔｉｍｅ）が「１３：００」の時点では、ラベルが「Ａｒｅａ１」の多角形領域からは１０人の人物、ラベルが「Ａｒｅａ２」の多角形領域からは５人の人物、ラベルが「Ａｒｅａ３」の多角形領域からは２人の人物がカウントされている。

図５のファイルは、例えば、ＣＳＶファイル形式で出力される。このように、解析対象とする多角形領域を識別するためのラベル（文字列）が定義されていることは、ＣＳＶファイル等で出力された解析結果の利便性を向上できる。

このように、本実施形態によれば、画面上に設定されている多角形領域のラベルを、該多角形領域の最長辺の中点位置に表示するので、例えば、出力された解析結果の利用性向上が可能になる。

なお、本実施形態では、ラベルの表示位置は最長辺上の中点位置としたが、これに限らず、例えば、最長辺上の位置であって中点位置からずれた位置をラベルの表示位置としても良い。

また、本実施形態では、多角形領域に関する情報の一例として該多角形領域のラベルを用いたが、多角形領域に関する情報であれば表示対象はラベルに限らない。例えば、多角形領域の画像座標やサイズ、該多角形領域内の画像属性（該多角形領域内に写っている環境であり、屋内、屋外、駅の中央部、駅の端部、階段など）、をラベルに代えて若しくは加えて「多角形領域に関する情報」として表示しても構わない。また、各多角形領域において実行された映像解析の結果（各多角形領域内の人数等）をラベルに代えて若しくは加えて「多角形領域に関する情報」として表示しても構わない。このようにする場合、ラベルの配置位置として求めたものは、「多角形領域に関する情報」の配置位置となる。なお、「多角形領域に関する情報」の内容や量によっては、ラベルの配置位置として求めた位置を適宜オフセットしたものを「多角形領域に関する情報」の配置位置としても良い。

［第２の実施形態］
本実施形態を含む以下の各実施形態では、第１の実施形態との差分について説明し、以下で特に触れない限りは第１の実施形態と同様であるものとする。本実施形態では、多角形領域における最長辺が複数存在する（複数有する）ことで、ラベルの配置位置の候補が複数存在する場合には、該複数の候補の中から１つを選択し、該選択した候補を該多角形領域のラベルの配置位置として決定する。

最長辺が複数存在する多角形領域の一例を図６に示す。図６において横軸をｘ軸、縦軸をｙ軸としている。多角形領域２０は長方形であり、最長辺として辺２１および辺２２の２つが存在するので、辺２１の中点２３、辺２２の中点２４の２つが多角形領域２０のラベルの配置位置の候補となる。多角形領域３０もまた長方形であり、最長辺として辺３１および辺３２の２つが存在するので、辺３１の中点３３、辺３２の中点３４の２つが多角形領域３０のラベルの配置位置の候補となる。

本実施形態では、辺２１の中点２３および辺２２の中点２４うち既定の基準に従って一方を選択し、該選択した一方を多角形領域２０のラベルの配置位置とする。同様に、辺３１の中点３３および辺３２の中点３４うち既定の基準に従って一方を選択し、該選択した一方を多角形領域３０のラベルの配置位置とする。

ここで、ラベルの配置位置の候補が複数存在する場合に、該複数の候補から１つをラベルの配置位置として選択する際の選択基準について、図７を用いて説明する。図７は一般的な人の視線の動きの傾向を説明する図である。図７（ａ）は、グーテンベルクダイアグラムとして知られるものであり、人は画面または紙面の左上から右下へ視線を動かすという傾向を示している。同様に、図７（ｂ）はＺ型、図７（ｃ）はＦ型として視線の動きの傾向を示している。これらから明らかなように、視線はまず左上に向けられる傾向があるため、本実施形態では、ラベルの配置位置の候補が複数存在する場合には、「画面の左上に最も近い候補を優先的に選択する」を選択基準とする。この選択基準に従えば、図６の場合、多角形領域２０については、辺２１の中点２３、辺２２の中点２４のうち中点２３が多角形領域２０のラベルの配置位置として選択（設定）される。また、図６の場合、多角形領域３０については、辺３１の中点３３、辺３２の中点３４のうち中点３３が多角形領域３０のラベルの配置位置として選択（設定）される。

多角形領域のラベルの配置位置の設定処理について、図８のフローチャートに従って説明する。図８において図３に示した処理ステップと同じ処理ステップには同じステップ番号を付しており、該処理ステップに係る説明は省略する。

ステップＳ８０３では、ＣＰＵ１０１は、ステップＳ３０２で特定した最長辺が１つか否かを判断する。この判断の結果、ステップＳ３０２で特定した最長辺が１つである場合には、処理はステップＳ３０３に進み、ステップＳ３０２で特定した最長辺が２つ以上の場合は、処理はステップＳ８０５に進む。

ステップＳ８０５では、ＣＰＵ１０１は、ステップＳ３０２で特定したそれぞれの最長辺の中点の位置を特定する。そしてステップＳ８０６では、ＣＰＵ１０１は、ステップＳ８０５で求めたそれぞれの中点の位置のうち、ｙ座標値が最小となる中点の位置を特定する。

ステップＳ８０７では、ＣＰＵ１０１は、ステップＳ８０６で特定した中点の位置（ステップＳ８０５で求めたそれぞれの中点の位置のうちｙ座標値が最小となる中点の位置）が１つであるか否かを判断する。この判断の結果、１つである場合には、処理はステップＳ８０９に進み、２つ以上の場合には、ステップＳ８０８に進む。

ステップＳ８０８では、ＣＰＵ１０１は、ステップＳ８０６で特定した中点の位置（ステップＳ８０５で求めたそれぞれの中点の位置のうちｙ座標値が最小となる中点の位置）のうち、ｘ座標値が最小となる中点の位置を特定する。

ステップＳ８０９では、ＣＰＵ１０１は、ステップＳ３０３、ステップＳ８０６、ステップＳ８０８の何れかで求めた中点の位置を、多角形領域のラベルの配置位置として設定し、該配置位置を、ＲＡＭ１０３や外部記憶装置１０９に格納する。

ステップＳ３０１～Ｓ８０９の処理を画面上に設定されているそれぞれの多角形領域について行った後、ＣＰＵ１０１は、画像が表示されている画面上にそれぞれの多角形領域の枠と該多角形領域のラベルとを重畳させて表示装置１３０に表示させても良い。多角形領域のラベルは、該多角形領域について図８のフローチャートに従った処理で設定した配置位置に配置される。

なお、最長辺が複数存在する場合におけるラベルの配置位置の決定方法は上記の方法に限らない。例えば、ユーザが画像上で頂点位置を指定する度に「今回指定した頂点位置と直前に指定した頂点位置との間を結ぶ線分を多角形領域の一辺として設定し、今回設定された一辺がそれまでに設定された一辺よりも長い場合に限って、該今回設定された一辺の中点位置をラベルの配置位置とする」を行う。つまり、後で設定された一辺がそれまで設定された一辺と比較して最も長い場合にのみ、ラベルの配置位置を該後で設定された一辺の中点位置に変更することを繰り返すことで、最終的なラベルの配置位置が決定される。

［第３の実施形態］
本実施形態では、複数の最長辺を有する多角形領域が画面上に複数設定されている場合に、それぞれの多角形領域のラベルの配置位置が互いに離れるようにする。多角形領域のラベルの配置位置の設定処理について、図９のフローチャートに従って説明する。

ステップＳ９０１では、ＣＰＵ１０１は、画面上に設定されているそれぞれの多角形領域のうち未選択の多角形領域から１つを、選択多角形領域（Ｓ９０１～Ｓ９０９の処理対象の多角形領域）として選択する。

ステップＳ９０２では、ＣＰＵ１０１は、選択多角形領域の各辺の長さを上記のステップＳ３０１と同様にして求める。そしてステップＳ９０３では、ＣＰＵ１０１は、選択多角形領域を構成する各辺のうち最長辺を上記のステップＳ３０２と同様にして特定する。

ステップＳ９０４では、ＣＰＵ１０１は、ステップＳ９０３で特定した最長辺が１つか否かを判断する。この判断の結果、ステップＳ９０３で特定した最長辺が１つである場合には、処理はステップＳ９０５に進み、ステップＳ９０３で特定した最長辺が２つ以上の場合は、処理はステップＳ９０７に進む。

ステップＳ９０５では、ＣＰＵ１０１は、ステップＳ９０３において特定した最長辺の中点の位置を特定する。そしてステップＳ９０６では、ＣＰＵ１０１は、ステップＳ９０５において求めた中点位置を、選択多角形領域のラベルの配置位置として設定する。図１０（ａ）の例では、多角形領域Ｃの最長辺は上辺であるため、この上辺の中点の位置ｃを多角形領域Ｃのラベルの配置位置とする。

一方、ステップＳ９０７では、ＣＰＵ１０１は、ステップＳ９０３において特定したそれぞれの最長辺の中点の位置を特定する。そしてステップＳ９０８では、ＣＰＵ１０１は、ステップＳ９０７において最長辺ごとに求めた中点位置をＲＡＭ１０３や外部記憶装置１０９に格納する。図１０（ａ）の例では、多角形領域Ａは正方形であるから最長辺は４つ存在するので、それぞれの辺の中点の位置ａ１、ａ２、ａ３、ａ４をＲＡＭ１０３や外部記憶装置１０９に格納する。また図１０（ａ）の例では、多角形領域Ｂは長方形であるから最長辺は２つ存在するので、それぞれの辺の中点の位置ｂ１、ｂ２をＲＡＭ１０３や外部記憶装置１０９に格納する。

ステップＳ９０９では、ＣＰＵ１０１は、画面上の全ての多角形領域を選択多角形領域として選択したか否かを判断する。この判断の結果、画面上の全ての多角形領域を選択多角形領域として選択した場合には、処理はステップＳ９１０に進む。一方、画面上の多角形領域のうち未だ選択多角形領域として選択していない多角形領域が残っている場合には、処理はステップＳ９０１に戻る。

ステップＳ９１０では、ＣＰＵ１０１は、画面上の全ての多角形領域についてラベルの配置位置が設定されたか否かを判断する。最長辺が１つの多角形領域については、上記のステップＳ９０６において該最長辺上の中点位置がラベルの配置位置として設定されている。しかし、最長辺を２つ以上有する多角形領域については、ステップＳ９０８において、それぞれの最長辺上の中点位置がＲＡＭ１０３や外部記憶装置１０９に格納されただけで、ラベルの配置位置は設定されていない。

この判断の結果、画面上の全ての多角形領域についてラベルの配置位置が設定されている場合には、図９のフローチャートに従った処理は完了する。一方、画面上の多角形領域のうち未だラベルの配置位置が設定されていない多角形領域が存在する場合には、処理はステップＳ９１１に進む。

つまり、画面上に「最長辺を２つ以上有する多角形領域」が１つ以上設定されている場合には、処理はステップＳ９１１に進む。一方、画面上の多角形領域が何れも「最長辺が１つの多角形領域」である場合には、図９のフローチャートに従った処理は完了する。

ステップＳ９１１では、ＣＰＵ１０１は、画面上のそれぞれの多角形領域のラベルの配置位置が互いにできるだけ離れるような、それぞれの多角形領域のラベルの配置位置の組み合わせを決定する。

図１０（ａ）の場合、多角形領域Ａについては、ラベルの配置位置は決定しておらず、位置ａ１、ａ２、ａ３、ａ４がＲＡＭ１０３や外部記憶装置１０９に格納されている。多角形領域Ｂについては、ラベルの配置位置は決定しておらず、位置ｂ１、ｂ２がＲＡＭ１０３や外部記憶装置１０９に格納されている。多角形領域Ｃについては、ラベルの配置位置として位置ｃが決定しているので、多角形領域Ｃのラベルの配置位置は位置ｃで確定する。よって、多角形領域Ａのラベルの配置位置と、多角形領域Ｂのラベルの配置位置と、多角形領域Ｃのラベルの配置位置ｃと、のそれぞれの間の距離が最大となるように、多角形領域Ａのラベルの配置位置として位置ａ１、ａ２、ａ３、ａ４から１つ、多角形領域Ｂのラベルの配置位置として位置ｂ１、ｂ２から１つ決定する。

多角形領域Ａについて格納した位置ａ１、ａ２、ａ３、ａ４の座標、多角形領域Ｂについて格納した位置ｂ１、ｂ２の座標、多角形領域Ｃについて確定した位置ｃの座標、の一例を以下の表に示す。

本実施形態では、位置ａ１、ａ２、ａ３、ａ４のうち何れか１つと、位置ｂ１、ｂ２のうち何れか１つと、位置ｃと、の組み合わせごとに、位置間の距離の合計距離を求め、最大の合計距離を求めた組み合わせを特定する。

多角形領域Ａについて格納した位置ａ１、ａ２、ａ３、ａ４の座標、多角形領域Ｂについて格納した位置ｂ１、ｂ２の座標、多角形領域Ｃについて確定した位置ｃの座標、が上記の表に示す座標であるとする。このとき、位置ａ１、位置ｂ１、位置ｃの組み合わせに対する合計距離は、以下の式（１）に従って求められる。

ここで、ｄ（ａ１，ｂ１）は位置ａ１と位置ｂ１との間の距離を表す。このようにして全ての組み合わせに対する合計距離を求めた結果を以下の表に示す。

この表から、合計距離が最大となる位置の組み合わせは（ａ２、ｂ１、ｃ）であるから、図１０（ｂ）に示す如く、黒丸で示す点が表す位置（ａ２、ｂ１、ｃ）がラベルの配置位置として確定される。

このように、複数の最長辺を有する多角形領域が画面上に複数設定されている場合であっても、それぞれの多角形領域のラベルの位置が互いに離れるように設定されるので、例えば、複数のラベルの位置が近すぎて判読が困難になるといった不具合を回避できる。

［第４の実施形態］
本実施形態では、第１～３の実施形態においてそれぞれの多角形領域のラベルの配置位置が確定した後、互いの距離が一定以下となる等の理由からラベルの配置位置を修正する。

図１１のフローチャートに従った処理は、第１～３の実施形態においてそれぞれの多角形領域のラベルの配置位置が確定した後（つまり、図３，８，９のフローチャートに従った処理の後）に実行される処理である。なお、図１１のフローチャートに従った処理は、画面内に設定されている多角形領域の数が２つ以上の場合に限って実行されるものであって、画面内に設定されている多角形領域の数が１つの場合には実行されない。

ステップＳ１１０１では、ＣＰＵ１０１は、ラベル間の距離（ラベルの配置位置間の距離）を、全てのラベルの組み合わせについて求める。そしてステップＳ１１０２では、ＣＰＵ１０１は、ステップＳ１１０１で求めた距離の中に、予め設定された閾値である距離Ｄｔｈ以下（閾値以下）の距離が存在するか否かを判断する。この判断の結果、ステップＳ１１０１で求めた距離の中に距離Ｄｔｈ以下の距離が存在する場合には、処理はステップＳ１１０３に進み、ステップＳ１１０１で求めた距離の中に距離Ｄｔｈ以下の距離は存在しない場合には、図１１のフローチャートに従った処理は完了する。

ステップＳ１１０３では、ＣＰＵ１０１は、距離Ｄｔｈ以下の距離を求めたラベルのペアを対象ペアとし、該対象ペアに含まれる一方のラベルの配置位置（ｘ１，ｙ１）と他方のラベルの配置位置（ｘ２，ｙ２）とを取得する。

ステップＳ１１０４では、ＣＰＵ１０１は、一方のラベルのｘ座標値と他方のラベルのｘ座標値との差分Δｘ（＝｜ｘ１－ｘ２｜）、一方のラベルのｙ座標値と他方のラベルのｙ座標値との差分Δｙ（＝｜ｙ１－ｙ２｜）、のうち小さい方を特定する。そしてＣＰＵ１０１は、Δｘ＜Δｙであれば、ラベルの配置位置を補正する方向の基準軸はｘ軸であると特定し、Δｘ＞Δｙであれば、基準軸はｙ軸であると特定する。

ステップＳ１１０５では、ＣＰＵ１０１は、対象ペアに含まれている一方のラベルの配置位置を、該一方のラベルに対応する辺に沿って、基準軸の一方方向（例えばマイナス方向）に移動させる。このとき、移動距離は少なくともＤｔｈ／２となるように決定する。

ステップＳ１１０６では、ＣＰＵ１０１は、対象ペアに含まれている他方のラベルの配置位置を、該他方のラベルに対応する辺に沿って、基準軸の他方方向（例えばプラス方向）に移動させる。このときも、移動距離は少なくともＤｔｈ／２となるように決定する。

このようなラベルの配置位置の補正により、距離の閾値Ｄｔｈ以下であった２つのラベルの配置位置が補正され、ラベルの視認性低下を防ぐことができる。図１２は、図１１のフローチャートに従った処理を視覚的に説明する図である。図１２（ａ）の２つの白丸は、対象ペアに含まれている２つのラベルのそれぞれの配置位置を示している。これらの配置位置にそれぞれのラベル（文字列）「Ａｒｅａ１」、「Ａｒｅａ２」を重畳すると、図１２（ｂ）のように文字が重なり、それぞれのラベルの判読が困難になる。このような位置関係にならないように補正する場合の距離の閾値Ｄｔｈが、ここでは３と定義されていることとする。

図１２（ａ）において、対象ペアに含まれている一方のラベル（左側の白丸）の配置位置Ｌａｂｅｌ１と、他方のラベル（右側の白丸）の配置位置Ｌａｂｅｌ２と、間の距離は２であり（Ｓ１１０１）、この距離はＤｔｈ以下となるため（Ｓ１１０２でＹｅｓ）、それぞれのラベルの配置位置の補正処理が行われる（Ｓ１１０３～Ｓ１１０６）。

配置位置Ｌａｂｅｌ１として（４，４）、配置位置Ｌａｂｅｌ２として（６，４）を取得する（Ｓ１１０３）。配置位置Ｌａｂｅｌ１と配置位置Ｌａｂｅｌ２とにおいてｘ座標の差分Δｘ＝２、ｙ座標の差分Δｙ＝０であり、Δｘ＞Δｙであるから、基準軸はｙ軸であると特定される（Ｓ１１０４）。

よって、配置位置Ｌａｂｅｌ１を、一方のラベルに対応する辺に沿ってｙ軸のマイナス方向へＤｔｈ／２（＝１．５）以上移動させた配置位置Ｌａｂｅｌ１’を、一方のラベルの補正後の配置位置として設定する（Ｓ１１０５）。

同様に、配置位置Ｌａｂｅｌ２を、他方のラベルに対応する辺に沿ってｙ軸のプラス方向へＤｔｈ／２（＝１．５）以上移動させた配置位置Ｌａｂｅｌ２’を、他方のラベルの補正後の配置位置として設定する（Ｓ１１０６）。

一方のラベルを配置位置Ｌａｂｅｌ１’に配置し、他方のラベルを配置位置Ｌａｂｅｌ２’に配置した結果を図１２（ｃ）に示す。図１２（ｃ）に示す如く、図１２（ｂ）では配置位置が近いことで互いに重なっていたラベルが互いに離れたことから、ラベル同士の重なりはなくなり、ラベルの判読ができるようになる。

なお、本実施形態では、距離Ｄｔｈを固定値として説明したが、ラベルのサイズやラベルの文字数に応じて調整できる構成であっても良い。また、ｘ軸方向とｙ軸方向とで異なる閾値の設定を可能とし、縦横のサイズが異なるラベルの重畳に対応した構成とすることもできる。

また、本実施形態では、対象ペアに含まれるそれぞれのラベルの配置位置を、該それぞれのラベル間の距離がより大きくなるように移動させる（それぞれ逆方向へ移動させる）ように補正した。しかし、配置位置の補正方法は上記の方法に限らない。例えば、対象ペアに含まれる一方のラベルに対応する最長辺の長さが他方のラベルに対応する最長辺と比較して充分に長いとする。このとき、一方のラベルの配置位置のみを距離Ｄｔｈ以上移動させ、他方のラベルの配置位置は移動させないようにしても良い。ここで、「対象ペアに含まれる一方のラベルに対応する最長辺の長さが他方のラベルに対応する最長辺と比較して充分に長い」とは例えば、他方のラベルに対応する最長辺の長さに対する一方のラベルに対応する最長辺の長さの割合が閾値以上、である。また、「対象ペアに含まれる一方のラベルに対応する最長辺の長さが他方のラベルに対応する最長辺と比較して充分に長い」は、それぞれの最長辺の長さの差の絶対値が閾値以上であっても良い。これは、短い辺上のラベルの配置位置を移動させた場合に、該辺から逸脱して辺とラベルの対応関係が不明瞭になる可能性を低減するための対策として有効である。

また、画面の端部近辺のラベルの配置位置はラベルのサイズを考慮の上で画面内に収まるように左右上下の位置を微調整し、その後にラベルの配置位置間の距離を担保する上記の位置補正処理を実施する構成としても良い。

その他、例えばラベルが横書きの文字列であり、更にできる限り重畳対象となる辺に沿って表示されることが望ましい場合に合わせた、ラベルの配置位置の補正を行っても良い。その場合、最長辺が垂直方向に近い（例えば水平に対して６０度から１２０度方向）とき、ラベルの水平方向サイズが一定以上になると、水平方向に近く（水平に対して±３０度まで等）、かつ長さが既定長以上である別の辺に配置位置を移動させるようにしても良い。このように、本実施形態によれば、より視認性の高いラベルの重畳表示が可能になる。

また、上記の実施形態において説明したＧＵＩの構成や使用方法は一例であり、同様の効果を奏するのであれば、ＧＵＩの構成や使用方法は特定の構成や使用方法に限らない。また、上記の実施形態において説明した距離などの指標の求め方は一例であり、特定の求め方に限らない。また、上記の実施形態において使用した数値は具体的な説明を行うために例示的に使用したものであって、上記の実施形態において使用した数値に限定されることを意図したものではない。

また、上記の実施形態では、画像処理装置１００がコンピュータプログラムやデータを用いて処理を実行することで上記の処理を達成するものとしたが、画像処理用のハードウェアでもって同様の処理を実現するようにしても構わない。

また、以上説明した各実施形態の一部若しくは全部を適宜組み合わせて使用しても構わない。また、以上説明した各実施形態の一部若しくは全部を選択的に使用しても構わない。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１：ＣＰＵ １０２：ＲＯＭ １０３：ＲＡＭ １０４：ネットワーク制御部 １０５：表示制御部 １０６：操作制御部 １０９：外部記憶装置 １３０：表示装置 １５０：操作装置 ２００：撮像装置 ３００：ネットワーク ４００：記憶装置

Claims (14)

1. 画面上に設定されている多角形領域の辺のうち最長の辺を特定する特定手段と、
   前記最長の辺の中点の位置を、前記多角形領域に関する情報の前記画面における表示位置として決定し、該表示位置に該情報を表示させる表示制御手段と
   を備えることを特徴とする画像処理装置。
2. 前記表示制御手段は、前記画面内に表示されている画像上に前記情報を重畳表示させることを特徴とする請求項１に記載の画像処理装置。
3. 前記表示制御手段は、前記画面内に表示されている画像上に前記多角形領域の枠を重畳表示させることを特徴とする請求項１または２に記載の画像処理装置。
4. 前記特定手段は、前記画面上に設定されているそれぞれの多角形領域について前記特定を行い、
   前記表示制御手段は、前記画面上に設定されているそれぞれの多角形領域について前記決定を行い、該それぞれの多角形領域に関する情報を該それぞれの多角形領域について決定した表示位置に表示させる
   ことを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
5. 更に、
   前記画面内に多角形領域を設定する設定手段を備えることを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
6. 前記設定手段は、前記画面内に設定した多角形領域に対する解析を行うか否かを設定することを特徴とする請求項５に記載の画像処理装置。
7. 前記設定手段は、前記画面内に設定した多角形領域に対する解析の詳細を設定することを特徴とする請求項６に記載の画像処理装置。
8. 前記設定手段は、操作画面を介したユーザ操作に応じて前記設定を行うことを特徴とする請求項５乃至７の何れか１項に記載の画像処理装置。
9. 前記表示制御手段は、前記多角形領域が複数の最長の辺を有する場合、該複数の最長の辺上の位置のうち前記画面の左上隅に最も近い位置に基づいて前記表示位置を決定することを特徴とする請求項１乃至８の何れか１項に記載の画像処理装置。
10. 前記表示制御手段は、最長の辺を複数有する多角形領域を含む複数の多角形領域が前記画面上に設定されている場合、該複数の多角形領域のそれぞれの最長の辺上の位置に基づいて、該複数の多角形領域のそれぞれについて前記表示位置を決定することを特徴とする請求項１乃至９の何れか１項に記載の画像処理装置。
11. 更に、
    前記表示制御手段が決定した表示位置を補正する補正手段を備えることを特徴とする請求項１乃至１０の何れか１項に記載の画像処理装置。
12. 前記補正手段は、間の距離が閾値以下となるそれぞれの表示位置を、該距離がより大きくなるように補正することを特徴とする請求項１１に記載の画像処理装置。
13. 画像処理装置が行う画像処理方法であって、
    前記画像処理装置の特定手段が、画面上に設定されている多角形領域の辺のうち最長の辺を特定する特定工程と、
    前記画像処理装置の表示制御手段が、前記最長の辺の中点の位置を、前記多角形領域に関する情報の前記画面における表示位置として決定し、該表示位置に該情報を表示させる表示制御工程と
    を備えることを特徴とする画像処理方法。
14. コンピュータを、請求項１乃至１２の何れか１項に記載の画像処理装置の各手段として機能させるためのコンピュータプログラム。

Images