JP7244979B2 - 画像処理装置及び監視システム - Google Patents

Description

本発明は、撮像した画像について画像処理を行う画像処理装置及び画像処理装置を用いた監視システムに関する。

例えば、距離画像センサ等で構成される検知器から取得した情報によって検知を行うものとして、駅のプラットホームに設けた複数の検知器における検出データを比較することで、駆け込み乗車を検知し、比較結果に応じて外部へ警告の出力を行うもの（特許文献１参照）が知られている。

また、プラットホーム上のホーム柵や列車の開閉扉に設けたセンサとカメラで取得した映像とを利用して、異常を検知した場合に異常箇所について映像中に強調表示をするもの（特許文献２参照）が知られている。

上記特許文献１、２でのような検知では、連続して動作するものについての画像データの処理やセンサの検知結果との整合処理が必要となるが、これらの処理が複雑で時間を要するようなものであると、例えば遅れの無い滑らかな動画表示を行う、といったことが困難になる可能性がある。特に、危険が無いかを確認できるように表示をする、といった場合には、迅速な対応が重要であり、処理の遅れが大きな問題となり得る。

特開２０１３－５２７３８号公報 特開２０１４－１５１１６号公報

本発明は上記した点に鑑みてなされたものであり、簡易な構成で映像中の検出対象に対する枠（枠画像）の表示を可能にする画像処理装置及び監視システムを提供することを目的とする。

上記目的を達成するための画像処理装置は、過去のある瞬間のリアルタイム画像上の特定の対象物を示す枠画像を生成し、生成した枠画像を現在のリアルタイム画像に重畳する。

上記画像処理装置では、過去のある瞬間のリアルタイム画像から生成した枠画像を、出力すべき現在のリアルタイム画像に対して重畳させることで、枠画像が重畳されたリアルタイム画像の形成及び出力を簡易に行うことが可能になる。

本発明の具体的な側面では、リアルタイム画像についての画像データを受け付ける画像データ入力部と、画像データに基づいて枠画像に対応する枠座標を決定する枠データ抽出部と、画像データ入力部で取得した画像データに対して、枠座標に基づいて生成される枠画像を重畳させた重畳画像を形成する重畳画像形成部とを備える。この場合、重畳画像形成部において、画像データ入力部からの画像データに対して枠画像を重畳させるに際して、当該枠画像を枠データ抽出部で抽出された座標データに基づくものにすることで、画像形成に際して取り扱うデータ量を軽減し、簡易な構成で映像の遅れを抑制しつつ検出対象に対する枠表示が可能になる。

本発明の別の側面では、枠データ抽出部は、画像データとして入力される映像信号について二次元画面上の位置を特定する画像位置特定部を有し、画像位置特定部により異なる２点の座標データを枠座標として抽出し、重畳画像形成部は、画像位置特定部により特定された異なる２点の座標データに基づく矩形状の枠を重畳させる。この場合、２点の座標データに基づき矩形状の枠表示を行うことで、現在のリアルタイム画像に対して遅れの少ない枠表示の重畳が可能になる。

本発明のさらに別の側面では、重畳画像形成部は、画素数と列数とに関する比較値に基づいて、枠画像の描画を行うか否かを決定する。この場合、迅速かつ継続容易な枠の描画処理ができる。

本発明のさらに別の側面では、重畳画像形成部は、画像データを構成する画素数及び列数によって位置がそれぞれ定まる各画素データのうち、画素数と列数とに関する比較の結果、枠画像の描画位置に一致する画素データを、枠描画用画素データに置き換える。この場合、画素データの置換により迅速な枠の描画が可能になる。

本発明のさらに別の側面では、外部へ出力する画像についての出力内容を切り替える出力切替部を備える。この場合、出力内容の切替えによって、例えば枠画像が重畳されたリアルタイム画像を適切なタイミングで出力できる。

本発明のさらに別の側面では、出力切替部は、外部機器からの入力を受け付け、受け付けた情報に基づいて出力内容を切り替える。この場合、外部機器からの入力に対応した出力内容の切替えが可能になる。

本発明のさらに別の側面では、出力切替部は、内部装置の故障検知の有無に基づいて出力内容を切り替える。この場合、内部の故障の状況に応じた出力が可能になる。

本発明のさらに別の側面では、枠画像に関する抽出結果に基づいて外部への通知をする通知部を備える。この場合、緊急時等の適切なタイミングで必要な報知ができる。

本発明のさらに別の側面では、リアルタイム画像として駅のホームを撮像した画像中の人に対して枠画像の描画を行う。この場合、駅のホームにおいて危険が無いか等の確認や監視を行うことができる。

上記目的を達成するための監視システムは、連続画像を撮像する撮像部と、撮像部で取得された連続画像の情報をリアルタイム画像として枠画像を重畳する上記いずれかの画像処理装置と、画像処理装置により形成された画像を表示する表示部とを備える。

上記監視システムでは、上記いずれかの画像処理装置を備えることで、監視を行うに際して、過去のある瞬間のリアルタイム画像から生成した枠画像を、出力すべき現在のリアルタイム画像に対して重畳させることで、枠画像が重畳されたリアルタイム画像の形成及び出力を簡易に行うことが可能になる。

画像処理装置を備える監視システムの一構成例を示す概念図である。 監視システムを配備した駅の様子を示す概念的な平面図である。 画像処理装置の一構成例を概念的に示すブロック図である。 （Ａ）～（Ｃ）は、枠表示を行う対象範囲について一例を説明するための概念的な画像図である。 リアルタイム画像表示に関する画像処理装置の一動作例を説明するためのブロック図である。 リアルタイム画像表示の一動作例での処理について説明するための概念図である。 枠画像の表示を伴うリアルタイム画像表示に関する画像処理装置の一動作例を説明するためのブロック図である。 枠画像の表示を伴うリアルタイム画像表示の一動作例での処理について説明するための概念図である。 比較例の画像表示に関する画像処理装置の一動作例を説明するためのブロック図である。 比較例の画像表示の一動作例での処理について説明するための概念図である。 画像処理装置のうち、ＦＰＧＡの機能について説明するためのブロック図である。 枠画像の描画のための画素データの置き換え手順について説明するための工程図である。 （Ａ）及び（Ｂ）は、画素データの置き換えの動作について一例を概念的に説明するためのブロック図である。 枠画像の描画のための画素データの置き換え処理について一例を説明するためのフローチャートである。 （Ａ）及び（Ｂ）は、枠表示を行う対象範囲について一変形例を説明するための概念的な画像図である。

以下、図１等を参照して、本実施形態に係る画像処理装置及び画像処理装置を備える監視システムについて一例を説明する。図１は、本実施形態に係る画像処理装置１００及び画像処理装置１００を備える監視システム５００の一構成例を示す概念図であり、図２は、監視システム５００を配備した駅ＳＴの様子について一例を示す概念的な平面図である。

ここでは、一例として、監視システム５００は、線路ＴＫにおいて列車（図示略）が発着可能な駅ＳＴのホーム（プラットホーム）ＰＦを監視対象エリアとしている。すなわち、監視システム５００は、駅ＳＴのホームＰＦにいる利用者ＨＵを監視対象とすべく、画像処理装置１００において、ホームＰＦにおける利用者ＨＵの位置が分かるように、検出対象である利用者ＨＵを撮像した部分画像を抽出するとともに、当該部分画像すなわち画像中の人物を囲う枠を示す枠画像ＦＲの表示のための各種処理を行っている。これにより、例えば利用者ＨＵの列車への乗り降り等に際して、乗務員や駅員が表示画像を介して安全確認を行う上で、人すなわち利用者ＨＵの存在位置を枠に基づいてより認識しやすいようにしている。なお、例えば、図２では、列車の進行方向を＋Ｚ方向とし、Ｚ方向に垂直な面内において、垂直方向すなわち上下方向をＹ方向とし、Ｚ方向及びＹ方向の双方に直交する方向である水平方向をＸ方向とする。

上記のように、利用者ＨＵの表示とともにこれを囲う枠画像ＦＲの表示や、表示内容に基づく監視を可能とすべく、監視システム５００は、各種画像処理を行う画像処理装置１００のほか、撮像部（撮像カメラ）１０と、ディスプレイ表示部ＤＡと、スピーカＳＫとを備える。

撮像部１０は、例えばＣＣＤやＣＭＯＳ等の個体撮像素子で構成される撮像カメラであり、図１及び図２に例示するように、ホームＰＦの上方側（＋Ｙ側）に固定的に設置され、下方側（－Ｙ側に成分を有する方向）を撮像する。すなわち、撮像部１０により上方側からホームＰＦの床面ＦＬに向けて監視対象エリアについての定点観測のための撮像が行われる。なお、ここでは、撮像部１０については、ホームＰＦ全体についての撮像を可能とすべく、設置位置やホームＰＦの形状等に応じて、単数又は複数設けられている。また、撮像部１０は、画像データとして、例えば３０ｆｐｓのフレームレートで２次元画像データ（連続画像データ）を取得している。なお、本実施形態では、撮像対象である実物とそれを撮像した画像とについて、同じ符号を付すことがあるものとする。例えば、図１に示す場合、ホームＰＦ上の実物の利用者（人物）も、これをディスプレイ表示部ＤＡに映し出した画像上の利用者（人物）も、同じ符号のＨＵで示している。

画像処理装置１００は、例えばＣＰＵや記憶装置等により構成され、撮像部１０により取得された画像データについての各種処理を行い、処理結果としての画像をディスプレイ表示部ＤＡに表示させている。特に、ここでは、画像処理装置１００での処理により、連続画像データに枠画像ＦＲを重畳させた重畳画像を形成してディスプレイ表示部ＤＡに映し出すことが可能になっている。

ディスプレイ表示部ＤＡは、撮像部１０により撮像された画像について画像処理装置１００を経た結果を映し出すモニターであり、典型例としては、既述のように、列車の乗務員（車掌や運転士）ＳＡによって確認可能なように、ホームＰＦの線路ＴＫ上に列車が停止した際における列車の後端側あるいは先頭側の近傍に設けられている。つまり、列車が駅ＳＴに到着した後、乗客（利用者）ＨＵが乗り降りし、出発するまでの間において、ディスプレイ表示部ＤＡを視認することで、乗務員ＳＡによる乗客（利用者）ＨＵの監視が可能になっている。なお、図示の場合のほか、例えば駅務室等に設置して、駅務室等にいる駅員に対して報知を行う、といった態様としてもよい。

スピーカＳＫは、例えば図示のように、ホームＰＦの各所に単数又は複数設置され、利用者ＨＵに対して音声による発信を行う。すなわち、スピーカＳＫは、外部への通知をする通知部として機能し、緊急時等の適切なタイミングで必要な報知を可能にしている。

以上の構成によって監視をするに際して、監視システム５００では、撮像部１０で撮像した画像をそのまま生でディスプレイ表示部ＤＡに表示させることで、ホームＰＦ上で人々が実際に動いている様子を撮像している瞬間の画像と同時、あるいはほぼ同時にシンクロしている動画を、乗務員等に視認させることが可能になっている。ここでは、このような画像をリアルタイム画像あるいはスルー画像と呼ぶこととする。つまり、本実施形態の監視システム５００では、画像処理装置１００により、リアルタイム画像（スルー画像）として駅のホームＰＦを撮像した画像中の人に対して枠画像の描画を行う態様となっている。なお、リアルタイム画像（スルー画像）については、撮像部１０で撮像した画像をそのまま生で映し出したものに限らず、例えばこれに枠表示等を行ったものであっても、撮像している瞬間の画像と同時、あるいはほぼ同時にシンクロしていれば、含まれるものとする。

特に、上述した一例のように、乗務員や駅員が表示画像を介して安全確認を行う、といった態様にした場合には、人々が実際に動いている様子（実物の動き）に対する遅れ（ディレイ）のないあるいは遅れの少ない画像（リアルタイム画像）の形成が非常に重要となる。しかしながら、仮に、画像中から人物についての部分画像を抽出し、抽出した対象について枠表示付きの新たな全体画像を作成すると、一連の画像処理のための時間的遅れの影響が避けがたく、リアルタイム画像とすることが困難となる。つまり、表示内容に時間的遅れが発生し、実物の動きと合わないものとなってしまう可能性が高い。これに対して、本実施形態では、簡易な構成でリアルタイム画像の映像中の検出対象に対する枠（枠画像）の重畳を可能にすることで、検出対象（ここでは駅の利用者）についての枠表示を行いつつ、画像の出力の遅れを極力減らすことができる構成としている。すなわち、枠表示付きのリアルタイム画像の形成が可能にしている。

上記のような画像処理を可能とするため、図２等に例示するように、本実施形態の画像処理装置１００は、画像処理や画像処理に関連する各種処理を行う主制御部５０と、画像入力部ＩＧと、画像出力部ＯＧとを備える。特に、主制御部５０において、枠画像処理部５１と、出力画像作成部５２と、入出力ポート５３とが設けられている。

画像処理装置１００のうち、画像入力部ＩＧは、撮像部１０により取得された画像データについて入力を受け付ける画像データ入力部（インターフェース）である。

主制御部５０は、画像入力部ＩＧにおいて受け付けた画像データを解析して、必要に応じて各種加工を行いつつ、実物の動きに対して遅れのないあるいは遅れの少ないリアルタイム画像のデータを作成する画像処理装置１００の本体部分である。

画像出力部ＯＧは、主制御部５０で作成された画像データをディスプレイ表示部ＤＡに出力する画像データ出力部（インターフェース）である。

主制御部５０のうち、まず、枠画像処理部５１は、枠画像の抽出を含む枠画像に関する各種処理を行う。より具体的には、画像入力部ＩＧで受け付けた入力画像データを、後述する出力画像作成部５２の分岐を介して取り込み（キャプチャし）、取り込んだ入力画像データ中から人物画像を抽出し、さらに、抽出された人物についての部分画像に対応する枠画像に関するデータを抽出し、抽出結果を出力画像作成部５２に出力する。ここでは、リアルタイム画像に重畳させる枠画像を矩形状とする。すなわち、対象となる画像上の人物を囲うような矩形状の枠表示を行う。本実施形態では、枠画像処理部５１において枠画像に対応する枠座標のデータのみを抽出し、これを出力画像作成部５２に対して出力している。特に、ここでは、矩形状の枠の位置をその対角上にある頂点となる２点の座標データ（例えば矩形の右上の頂点及び左下の頂点の座標データ）に基づき定めている。２点の座標データに基づき矩形状の枠表示を行うことで、画像処理のうち特に枠の描画に関連する処理において取り扱うデータ量を極力少なくし、リアルタイム画像に対して遅れの少ない枠表示の重畳を可能にしている。また、枠画像処理部５１は、抽出した枠画像に関する情報について、入出力ポート５３に出力する。また、枠画像処理部５１は、枠画像に関する情報等に基づく各種判断をした結果についても、入出力ポート５３に出力する。

出力画像作成部５２は、抽出された枠画像に関するデータと生の画像データとに基づいて出力させるべきリアルタイム画像（例えば枠付きのリアルタイム画像）を作成する。ここでは、画像処理を行うための前提として、画像入力部ＩＧで受け付けた生の画像データとしての入力画像データについて分岐することで、当該データを出力画像作成部５２において処理可能とするとともに、枠画像処理部５１での枠画像に関する処理を可能としている。上記前提の上で、出力画像作成部５２は、画像作成の処理として、画像入力部ＩＧからの生の画像データと、枠画像処理部５１での処理を経た枠画像に関するデータとを重畳させている。これにより、枠画像処理部５１において生成した枠画像のリアルタイム画像への重畳が可能となっている。以上のように、ここでの一例では、出力画像作成部５２は、出力画像の作成のみならず、種々の処理を行うものとしている。このような出力画像作成部５２の構成については、種々の態様が考えられ、ハード的なものでもソフト的なものあるいはこれらを組み合わせたものでも構成可能である。ここでは、一例として、ＦＰＧＡ（field-programmable gate array）を採用する。この場合、画像処理装置１００の用途等（処理内容）に応じて、適切なものに変更できる。

入出力ポート５３は、枠画像処理部５１から出力された抽出した枠画像に関する情報や、これに基づく判断結果について、スピーカＳＫ等を含む各種外部機器との画像処理に関する各種情報の入出力を行う。すなわち、入出力ポート５３は、ディスプレイ表示部ＤＡに表示させるリアルタイム画像以外の情報であって、主制御部５０において取り扱われる各種情報について入出力を行う。例えば、入出力ポート５３は、外部機器から送信される枠画像の作成を行うタイミングにあるか否かについての信号や、各種緊急信号等を受け付ける。また、例えば、入出力ポート５３は、枠表示の座標から該当する利用者ＨＵに対して最寄りのスピーカＳＫによる報知を行うか否かについての判断結果を、例えばスピーカＳＫや中央管理装置（図示略）等に対して送信する。なお、この場合、スピーカＳＫは、通知部として、枠画像処理部５１における枠画像に関する抽出結果に基づいて、利用者ＨＵに対して危険である旨を知らせる外部通知をしていることになる。

以上のように、本実施形態では、枠画像処理部５１において、枠画像の生成を、画像データに基づいて枠画像に対応する枠座標を抽出により行い、出力画像作成部５２に対して生成したあるいは抽出した枠座標のデータのみを出力し、出力画像作成部５２は、枠座標のデータに基づいて重畳画像を形成している。これにより、重畳画像の画像形成に際して取り扱うデータ量を軽減し、簡易な構成で映像の遅れを抑制しつつ検出対象に対する枠表示が可能になる。

以下、図３を参照して、画像処理装置１００の構成及び動作の詳細について一例を説明する。図３は、画像処理装置１００の一構成例を概念的に示すブロック図であり、ここでは、図２に示す画像処理装置１００についてさらに各部の詳細を例示している。

図示のように、まず、枠画像処理部５１においては、特に、出力画像作成部５２での分岐を経て入力される画像データに基づいて枠画像に対応する枠座標を決定する枠データ抽出部ＦＤを有している。

さらに、出力画像作成部５２においては、画像入力部ＩＧからの生の画像データを分岐する分岐部ＢＲと、画像入力部ＩＧからの生の画像データに枠画像を重畳させて重畳画像を形成する重畳画像形成部ＳＩと、ディスプレイ表示部ＤＡへ出力する画像についての出力内容を切り替える出力切替部ＳＷとを有している。

以下、上記各要素を有した画像処理装置１００における画像形成の動作の一例について説明する。

まず、出力画像作成部５２の分岐部ＢＲは、画像入力部ＩＧからの生の画像データを分岐する。ここでは、図示のように、基本画像Ｇ_０と、枠画像が重畳される対象となる第１画像Ｇ_１と、枠画像処理部５１に出力される第２画像Ｇ_２とに分岐されるものとする。これらのうち、基本画像Ｇ_０は、主制御部５０において特に画像処理を行わず、そのままリアルタイム画像として送信する場合に用いられる画像データであり、分岐部ＢＲからそのまま出力切替部ＳＷに出力される。一方、第１画像Ｇ_１は、枠画像が重畳される対象となるべく、重畳画像形成部ＳＩに向けて出力される。また、第２画像Ｇ_２は、枠画像の抽出等の枠画像に関する各種処理を行うため、枠画像処理部５１に出力される。なお、この場合、各画像Ｇ_０～Ｇ_２は、分岐部ＢＲから出力される際には、同じタイミングで同じ内容の画像データとなっている。つまり、分岐部ＢＲは、画像データの送信経路上の接点となっている。

次に、枠画像処理部５１の枠データ抽出部ＦＤは、分岐部ＢＲから出力された第２画像Ｇ_２を受け付け、受け付けた画像から枠画像を抽出するための各種処理を行う。なお、ここでの各種処理については、例えば、第２画像Ｇ_２（例えば１枚の全体画像）をキャプチャし、キャプチャした画像から対象となる人物の画像（例えば１枚の全体画像中の部分画像）を抽出し、抽出した画像に対する矩形状の枠を設定する、といったことが考えらえるが、これらの一連の処理を行うための手法については、既存の種々の方法が適用可能である。ただし、処理時間が短時間となるものが望ましい。

ここでは、枠データ抽出部ＦＤに設けた画像位置特定部ＳＤにおいて、画像データとして入力される映像信号である第２画像Ｇ_２について二次元画面上の位置を特定する。より具体的には、画像位置特定部ＳＤは、上記のようにして人物の画像に関して得られる矩形状の枠画像に対応する枠座標として、既述のように、矩形の枠の対角上にある右上の座標と左下の座標に相当する異なる２点の座標データを抽出する。すなわち、枠画像処理部５１は、枠データ抽出部ＦＤあるいは画像位置特定部ＳＤでの解析の結果として、異なる２点の座標データＣＤを、出力画像作成部５２の重畳画像形成部ＳＩに向けて出力している。重畳画像形成部ＳＩは、座標データＣＤを受け取ることで、第１画像Ｇ_１において重畳すべき当該矩形状の枠画像の位置が決定（特定）可能となる。つまり、重畳画像形成部ＳＩは、枠データ抽出部ＦＤの画像位置特定部ＳＤにより特定された異なる２点の座標データに基づく矩形状の枠を重畳させている。

次に、出力画像作成部５２の重畳画像形成部ＳＩは、分岐部ＢＲからの第１画像Ｇ_１に、枠画像処理部５１から出力された座標データＣＤに基づいて枠画像を重畳させることで、生の画像データに矩形状の枠画像を重畳させた重畳画像Ｇ_ｓを形成する。さらに、重畳画像形成部ＳＩは、形成した重畳画像Ｇ_ｓを出力切替部ＳＷに出力する。

ここで、以上のような構成の場合、第１画像Ｇ_１は、基本画像Ｇ_０と同一であり、基本画像Ｇ_０に対してタイムラグのない画像となっている。一方、第２画像Ｇ_２に基づく座標データＣＤについては、取得あるいは抽出に際して、上記した各種画像処理を枠画像処理部５１において施すことになるため、第１画像Ｇ_１あるいは基本画像Ｇ_０に対して、若干の遅れが生じる。いわば、第１画像Ｇ_１あるいは基本画像Ｇ_０が現在のリアルタイム画像であるのに対して、第１画像Ｇ_１に重畳させる枠座標についての座標データＣＤは、過去のある瞬間のリアルタイム画像に起因するものということになる。ただし、上記のように、座標データＣＤは、非常にデータ量の少ないものとなっている。このため、重畳を行う上での迅速化に対応させやすくなっている。

次に、出力画像作成部５２の出力切替部ＳＷは、分岐部ＢＲからの基本画像Ｇ_０を出力する端子Ｔａと、重畳画像形成部ＳＩからの重畳画像Ｇ_ｓを出力する端子Ｔｂと、画像出力部ＯＧに接続される端子Ｔｃと、端子Ｔｃに接続されて端子Ｔａと端子Ｔｂとのいずれか一方とに対して切替え可能に接続される切替バーＢＡとを有する。出力切替部ＳＷは、例えば外部機構からの指示等に従って、切替バーＢＡの先端が端子Ｔａと端子Ｔｂとのいずれか一方に対して選択的に接続される。すなわち、画像処理装置１００は、撮像部１０からのそのままの基本画像Ｇ_０と、各種処理を経て形成される重畳画像Ｇ_ｓとのうちいずれを表示するかが選択可能となっている。

ここで、出力切替部ＳＷでの切替えにより、上記のような枠画像を有した重畳画像Ｇ_ｓを表示するか、基本画像Ｇ_０をそのまま表示するかについては、種々の状況に応じて選択可能である。ここでの一例では、図４（Ａ）～４（Ｃ）の概念的な画像図に例示するように、予め定めた対象範囲ＲＲにおいて画像上の人物（利用者）ＨＵが抽出された場合に、画像上の人物（利用者）ＨＵに対して枠表示を行うようにしている。具体的に説明すると、まず、図４（Ａ）は、撮像部１０により撮像された画像ＧＧの一例を示しており、図４（Ｂ）では、図４（Ａ）に示した画像ＧＧのうち、枠表示を行う対象範囲ＲＲをハッチングで示している。ここでの一例では、図示のように、ホームＰＦのうち、列車ＴＲが進入する線路ＴＫに近い縁に沿った領域が、対象範囲ＲＲであるものとして予め定めている。より具体的には、図２に例示したホームＰＦのうち、点字ブロックが設けられた範囲を第１領域ＡＲ１とし、領域ＡＲ１よりも線路ＴＫに近い縁側の領域を第２領域ＡＲ２とし、第１領域ＡＲ１及び第２領域ＡＲ２の双方に対応する画像上の領域（二次元平面上での座標位置）を対象範囲ＲＲとしている。この場合、図４（Ｃ）に例示するように、人物ＨＵの足元の座標位置ＰＴに対応する位置の座標データが、対象範囲ＲＲの範囲内である場合に、人物ＨＵに対する矩形の枠画像ＦＲの表示をする。一方、図４（Ｂ）のように、人物ＨＵが抽出されるような場合であっても、当該人物ＨＵが対象範囲ＲＲの外にいると判断されるような場合には、敢えて注意喚起をする必要が無く、枠表示を行わないようにする。これにより、必要に応じた枠表示が可能になる。なお、上記のような枠表示を行うか否かについての判断については、例えば主制御部５０の枠画像処理部５１において行い、出力切替部ＳＷへ判断結果を出力して、枠画像を有した重畳画像Ｇ_ｓを表示するか、基本画像Ｇ_０をそのまま表示するかを定めてもよい。さらに、出力切替部ＳＷは、主制御部５０の入出力ポート５３を介して、外部機器からの入力を受け付け、受け付けた外部機器からの情報に基づいて出力内容を切り替えるものとしてもよい。あるいは、出力切替部ＳＷは、主制御部５０において画像処理装置１００に関する内部装置の故障検知を行い、当該故障検知の有無に基づいて出力内容を切り替え、内部の故障の状況に応じた出力が可能であるものとしてもよい。

また、例えば図４（Ｂ）では、説明の都合上、対象範囲ＲＲをハッチングで示して視認可能であるように描画しているが、対象範囲ＲＲについては、必ずしも映像上に実際に表示させる（視認させる）必要はなく、例えば、図４（Ｃ）に例示したように、対象範囲ＲＲの表示はせず、枠画像ＦＲの表示のみ行うものとしてもよい。

以下、図５～図８を参照して、本実施形態におけるリアルタイム画像表示に関する画像処理装置１００の一動作例に関して説明する。なお、図９、図１０を参照して、一比較例の画像表示に関する画像処理に関して併せて説明する。

図５は、リアルタイム画像表示に関する画像処理装置１００の一動作例を説明するためのブロック図であり、図２に対応する図である。なお、図５では、枠画像の表示を伴うことのないリアルタイム画像表示に関する画像処理を示している。また、図６は、図５の状態におけるリアルタイム画像表示の一動作例での処理について説明するための概念図である。

ここでは、図５に示すように、切替バーＢＡの端部が端子Ｔａに対して接続されており、その結果、矢印Ａ１で示すように、撮像部１０からのそのままの基本画像Ｇ_０が出力されている。この場合、図６に示すように、例えば、破線ＲＤで囲って示す時刻ｔ_３について一部抽出して示すように、撮像部１０で実際に撮像された画像ＲＩ_３に一致した画像ＭＩ_３がディスプレイ表示部ＤＡに表示される。

以下、上記のような動作態様となることに関して、より具体的に説明する。まず、図６は、連続画像を構成する各フレーム画像（以下、単にフレームとも言う）について、時系列に沿って刻々と変化していく様子を示している。すなわち、ここでは、一般に時刻を時刻ｔ_ｋ（ｋ:自然数）で表すこととし、時刻ｔ_１を最初のフレームとし、連続するフレームが進むごとに時刻ｔ_１から時刻ｔ_２，ｔ_３，ｔ_４，…と変化していく。同様に、各時刻ｔ_ｋに対応する画像を、例えば画像ＲＩ_ｋ（ｋ:自然数）等と表示する。また、ここでは、説明を簡略化するため、連続する各フレームの画像中において常に１人の人物（利用者）ＨＵのみが捉えられているものとし、当該画像上の人物ＨＵが矢印ＡＡに示す方向（画像中の右方向）に時間経過とともに徐々に進んでいるものとする。したがって、例えば図中最上段に示す撮像部１０での実際の撮像状況を示す画像ＲＩ_ｋでは、時刻ｔ_１に対応する画像ＲＩ_１において画像中やや左寄りにいる人物ＨＵが、時間の経過とともにすなわち時刻ｔ_ｋのｋの値の増加とともに、徐々に右へ移動していく様子を捉えている。

ここで、図中において上から二段目に示す画像ＦＩ_ｋは、画像処理装置１００に取り込まれた（キャプチャされた）入力画像を示している。ここでは、各画像ＦＩ_ｋに対応して、そのすぐ下にフレーム番号を付しておく。つまり、画像ＦＩ_ｋのフレーム番号がｋ番であるものとする。

一方、図中上から三段目に示す画像ＭＩ_ｋは、画像処理装置１００での各種処理を経て画像処理装置１００から出力される出力画像を示している。ただし、図５に例示する画像表示の態様の場合、枠の重畳等の画像処理が特になされないため、図６に示すように、フレーム番号ｋ番の画像ＦＩ_ｋがそのまま出力画像ＭＩ_ｋとして出力されることになる。特にこの場合、入力画像についてキャプチャ完了を待つことなく、キャプチャ開始とともに出力画像について外部への出力動作を開始することができるので、タイムラグがなく、あるいはほとんどなく、撮像部１０での実際の撮像状況を示す画像ＲＩ_ｋに一致した画像ＭＩ_ｋがディスプレイ表示部ＤＡに表示されることになる。なお、ここでは、画像ＦＩ_ｋの直下あるいは出力画像ＭＩ_ｋの直上に付したフレーム番号に示すように、１つのフレームについてのキャプチャ完了を待って、次のフレームのキャプチャ開始がなされ、この動作を繰り返すことで、リアルタイム画像の表示が継続される。

一方、図７は、枠画像の表示を伴うリアルタイム画像表示に関する画像処理装置１００の一動作例を説明するためのブロック図であり、図２及び図５に対応する図である。また、図８は、図７の状態におけるリアルタイム画像表示の一動作例での処理について説明するための概念図であり、図６に対応する図である。この場合、既述のように、枠画像の表示を可能にするための各種処理が必要となる。なお、図８に示す画像中において常に１人の人物ＨＵのみを捉えていることや、時刻ｔ_ｋに対応させた添え字ｋについては、図６の場合と同様であるので、説明を省略する。なお、ここではさらに、各画像において人物ＨＵや枠画像ＦＲについても、添え字ｋを付して、対応する時刻ｔ_ｋごとに、人物ＨＵ_ｋや枠画像ＦＲ_ｋと表記する。

以上において、ここでは、図７に示すように、切替バーＢＡの端部が端子Ｔｂに対して接続されており、その結果、矢印Ｂ１及びＢ２で示すように、撮像部１０からのそのままの第１画像Ｇ_１に、第２画像Ｇ_２を加工処理して得られた座標データＣＤを重畳させて形成された重畳画像Ｇ_ｓが、ディスプレイ表示部ＤＡに出力されている。この場合、図８に示すように、例えば、破線ＲＤで囲って示す時刻ｔ_３について一部抽出して示すように、撮像部１０で実際に撮像された画像ＲＩ_３に対して、画像ＭＩ_３がディスプレイ表示部ＤＡに表示される。ここでの画像ＭＩ_３において、画像上の抽出対象の人物については、画像ＲＩ_３上の人物Ｈｕ_３に一致している。これに対して、画像ＭＩ_３において、枠表示については、時刻ｔ_２における画像ＲＩ_２における枠画像ＦＲ_２が重畳されている。すなわち、枠表示についてのみ、リアルタイムなものからわずかに遅れた情報に基づく画像となっている。

以下、上記のような動作態様となることに関して、より具体的に説明する。まず、図中最上段に示す画像ＲＩ_ｋや、上から二段目に示す画像ＦＩ_ｋについては、図６の場合と同様である。次に、各時刻ごとについて人物ＨＵ_ｋの抽出と抽出結果に伴う枠画像ＦＲ_ｋの検出処理がなされる。この場合、まず、各フレーム番号における入力画像すなわち全体画像についてのキャプチャが開始され、キャプチャの完了後に全体画像中の人物ＨＵ_ｋの抽出及び抽出された人物ＨＵ_ｋに対応する枠の位置検出の処理すなわち枠検出処理がなされる。このような一連の処理に要する時間があることから、ここでの例では、抽出された枠画像ＦＲ_ｋに関するデータと、現在のリアルタイム画像とで、１フレーム分のタイムラグすなわち遅れが発生している。すなわち、上記処理による検出結果として抽出されたものが、第１フレームの画像ＲＩ_１に対応する枠画像ＦＲ_１であるのに対して、現在のリアルタイム画像は、第２フレームの画像ＲＩ_２となっている、といった状況となる。この場合において、本実施形態では、第２フレームの画像ＲＩ_２に、第１フレームに対応する枠画像ＦＲ_１を、重畳させて重畳画像ＭＩ_２としている。上記事項を、添え字ｋ（ｋ:２以上の自然数）を用いて一般化すると、過去（時刻ｔ_ｋ－１）のある瞬間のリアルタイム画像上の特定の対象物を示す枠画像ＦＲ_ｋ－１を生成し、生成した枠画像ＦＲ_ｋ－１を現在（時刻ｔ_ｋ）のリアルタイム画像ＲＩ_ｋに重畳させて重畳画像ＭＩ_ｋを形成している、ということになる。以上により得られた重畳画像ＭＩ_ｋが、ディスプレイ表示部ＤＡに表示される。

以上の場合、重畳画像ＭＩ_ｋのうち枠画像ＦＲ_ｋについてのみ若干（例えば１フレーム分）遅れることになるが、例えば歩行している人を捉えるものにおいては、何ら問題とならない程度に抑えられたものにできる。一方、現在のリアルタイム画像に対する枠画像の重畳の処理動作については、迅速に行うことが可能であり、枠付きのリアルタイム画像を滑らかに表示することが維持できる。なお、この場合において、第１フレームの画像については、例えば画像ＦＩ_１をそのまま出力画像ＭＩ_１として適用し、枠の無い表示としてもよい。例えば、３０ｆｐｓのフレームレートで２次元画像データを取得しているといった場合には、上記のような遅れは、１／３０秒程度ということになる。この程度の遅れであれば、駅での人の乗降りの確認等において支障が出るとは考えにくい。

上記のように、本実施形態では、現在のリアルタイム画像に対して、過去のある瞬間のリアルタイム画像上の特定の対象物を示す枠画像を重畳させることで、遅れの無い滑らかな動画表示を維持しつつ、特定の対象物を示す枠画像の表示を可能にしており、さらに、かかる表示について処理の遅れを抑制した迅速な対応を可能としている。

以下、図９及び図１０を参照して、一比較例の画像表示に関する画像処理に関して説明する。

図９は、比較例の画像表示に関する画像処理装置１００ｃの一動作例を説明するためのブロック図であり、図２及び図７に対応する図である。また、図１０は、図９の状態における画像表示の一動作例での処理について説明するための概念図であり、図８に対応する図である。

本比較例では、画像中から人物についての部分画像を抽出し、抽出した対象について枠表示付きの新たな全体画像を作成している点において、上記した実施形態のように、枠画像に対応する枠座標のデータに基づきリアルタイム画像に重畳させる態様と異なっている。

以下、本比較例の画像処理装置１００ｃの構成及び動作について説明する。なお、枠画像の表示を伴うことのない場合の画像処理については、上記した実施形態の場合と同様であるので、説明を省略する。したがって、図９及び図１０は、枠画像の表示を伴う場合の説明をするための図となっている。

図９に示すように、画像処理装置１００ｃは、画像処理や画像処理に関連する各種処理を行う主制御部５０ｃと、画像入力部ＩＧｃと、画像出力部ＯＧｃとを備える。特に、主制御部５０ｃにおいて、枠付き画像作成部５１ｃと、出力画像選択部５２ｃと、入出力ポート５３ｃとが設けられている。

このうち、主制御部５０ｃの枠付き画像作成部５１ｃは、入力画像キャプチャＣＡと、枠データ抽出部ＦＤｃと、出力画像作成部ＩＣとを有している。以上の構成により、枠付き画像作成部５１ｃは、入力画像キャプチャＣＡで取り込んだ画像データについて、枠データ抽出部ＦＤｃにおいて枠画像に関する抽出を行うだけでなく、抽出された情報から新たな全体画像を作成している点において、図２等に示す枠画像処理部５１と異なっている。

主制御部５０ｃの出力画像選択部５２ｃは、図２等に示す出力画像作成部５２と同様に、画像入力部ＩＧｃからの生の画像データを分岐する分岐部ＢＲと、ディスプレイ表示部ＤＡへ出力する画像についての出力内容を切り替える出力切替部ＳＷとを有している。しかし、図２等の出力画像作成部５２と異なり、重畳画像形成部ＳＩを有しない、すなわち重畳画像の形成は行わない。つまり、出力画像選択部５２ｃは、専ら出力切替部ＳＷに基づく出力画像の選択を行うものである点において、出力画像作成部５２と異なる。言い換えると、枠付き画像の作成については、専ら枠付き画像作成部５１ｃがその役割を担っている点において、主制御部５０ｃの構成は、図２等に示す主制御部５０と異なっている。

以上のような構成を有する主制御部５０ｃによる枠付き画像の作成処理について説明する。この場合、まず、出力画像選択部５２ｃの分岐部ＢＲからの画像Ｇ_ｘを、枠付き画像作成部５１ｃの入力画像キャプチャＣＡで受け付け、入力画像のキャプチャ（取り込み）がなされ、キャプチャした画像のデータが、枠データ抽出部ＦＤｃに対して出力される。次に、枠データ抽出部ＦＤｃが、キャプチャした画像から対象となる人物の画像を抽出し、抽出した画像に対する矩形状の枠画像の範囲を設定し、設定した枠画像の範囲の情報が、キャプチャした画像の情報とともに、出力画像作成部ＩＣに対して出力される。最後に、出力画像作成部ＩＣが、設定された枠画像の範囲とキャプチャした画像の情報とに基づいて新たな枠付き画像を出力画像として作成し、枠付き画像作成部５１ｃにおける処理結果として出力される。

なお、画像処理装置１００ｃの構成要素のうち上記の構成以外については、図２等に示す画像処理装置１００における同名のものと同様の機能を有するため、説明を省略する。

以下、画像処理装置１００ｃの動作の一具体例について説明する。ここでは、既述のように、また、図９に示すように、切替バーＢＡの端部が端子Ｔｂに対して接続されており、その結果、矢印Ｃ１で示すように、撮像部１０からの画像Ｇ_ｘを加工処理して得られた処理画像Ｇ_ｐが、ディスプレイ表示部ＤＡに出力されている。この場合、図１０に示すように、例えば、破線ＲＤで囲って示す時刻ｔ_３について一部抽出して示すように、撮像部１０で実際に撮像された画像ＲＩ_３に対して、画像ＭＩ_３がディスプレイ表示部ＤＡに表示される。ここでの画像ＭＩ_３において、画像上の抽出対象の人物については、時刻ｔ_１に対応する画像上の人物Ｈｕ_１に一致し、枠表示についても、時刻ｔ_１に対応する枠画像ＦＲ_１が表示されている。すなわち、人物及び枠表示の双方が、リアルタイムなものから遅れた画像となっている。

以下、上記のような動作態様となることに関して、図１０を用いてより具体的に説明する。まず、図中最上段に示す画像ＲＩ_ｋや、上から二段目に示す画像ＦＩ_ｋについては、図８の場合と同様である。次に、入力画像キャプチャＣＡにおいて、各フレーム番号における入力画像すなわち全体画像についてのキャプチャがなされる。例えば第１フレームの画像ＦＩ_１についてキャプチャした場合、キャプチャの完了後、枠データ抽出部ＦＤｃにおいて、全体画像中の人物ＨＵ_１の抽出及び抽出された人物ＨＵ_１に対応する枠の位置検出の処理すなわち枠画像ＦＲ_１を特定する枠検出処理がなされる。さらに、枠検出処理完了後に、出力画像作成部ＩＣにおいて枠画像ＦＲ_１と画像ＦＩ_１とに基づく新たな枠付き画像（処理画像）の作成がなされる。さらに、画像出力に際して、必要に応じて出力タイミングの同期処理がなされる。以上の場合、入力画像キャプチャＣＡでのキャプチャ処理の時間や枠に関する抽出処理の時間のみならず、新たな枠付き画像を作成する時間や出力タイミングの同期のための時間を要することになる。少なくとも、図８に例示した場合よりも多くの時間を要することになる。ここでの例では、抽出された枠画像ＦＲ_ｋに関するデータと、現在のリアルタイム画像とで、２フレーム分のタイムラグすなわち遅れが発生している。すなわち、現在のリアルタイム画像は、既に第３フレームの画像ＲＩ_３に相当する時刻ｔ_３になっているにもかかわらず、第１フレームの画像ＲＩ_１に関する表示になってしまっている、といった状況となる。このため、破線ＲＤにおいて例示したように、人物及び枠表示の双方ともに、リアルタイムなものから遅れた画像となってしまっている。なお、この場合においても、第１及び第２フレームの画像については、例えば画像ＦＩ_１，ＦＩ_２をそのまま処理画像ＭＩ_１，ＭＩ_２として適用し、枠の無い表示とすることが考えられる。

以上のような比較例の態様と異なり、本実施形態は、既述のように、リアルタイム画像上に遅れの少ない枠画像の重畳を迅速に行うことで、かかる事態を回避している。

以下、図１１等を参照して、本実施形態における画像処理のうち、リアルタイム画像に対する枠画像の重畳処理について、具体的一例を説明する。

図１１は、画像処理装置１００のうち、出力画像作成部５２を構成するＦＰＧＡの機能について説明するためのブロック図である。また、図１２は、枠画像の描画のための画素データの置き換え手順について示す工程図であり、図１３は、図１２に示す工程に従った画素データの置き換えの動作について一例を概念的に示すブロック図である。本実施形態では、出力画像作成部５２の重畳画像形成部ＳＩにおいて、画素数と列数とに関する比較値に基づいて、枠画像の描画を行うか否かを決定している。

以下、図１１を参照して、画像処理装置１００の主制御部５０のうち、特に、ＦＰＧＡで構成される出力画像作成部５２の構造について一例を説明する。既述のように、出力画像作成部５２は、分岐部ＢＲと、重畳画像形成部ＳＩと、出力切替部ＳＷとを有している。これらのうち、重畳画像形成部ＳＩは、図示のように、設定レジスタＳＲと、矩形画像モジュールＤＭとを有し、さらに、矩形画像モジュールＤＭは、画像データ解析部ＧＤと、矩形挿入部（矩形重畳部）ＲＯとを有する。また、ここでは、出力切替部ＳＷは、重畳画像形成部ＳＩの設定レジスタＳＲからも各種信号ＳＳを受け取るものとする。

設定レジスタＳＲは、受け付けた情報等に基づき、矩形画像モジュールＤＭに対して枠描画の範囲に関する情報を送信する。

矩形画像モジュールＤＭは、設定レジスタＳＲからの情報に基づき、分岐部ＢＲからの第１画像Ｇ_１の所定範囲に対して枠を描画する。このため、矩形画像モジュールＤＭのうち、画像データ解析部ＧＤは、第１画像Ｇ_１の情報（ビデオデータ）を、ピクセル単位で解析する。また、矩形挿入部ＲＯは、ピクセル単位で解析された第１画像Ｇ_１について、必要な箇所を枠画像用のデータに置き換えることで、枠描画を高速に行っている。

既述のように、出力画像作成部５２は、枠画像処理部５１との通信により各種信号の授受を行っており、図示の例では、重畳画像形成部ＳＩの設定レジスタＳＲにおいて、枠画像に関する異なる２点の座標データＣＤの授受がなされる。なお、画像処理の速度に影響を与えなければ、その他各種情報の授受を併せて行う態様としてもよい。また、設定レジスタＳＲは、座標データＣＤの情報に基づいて、描くべき枠に関する情報をピクセル単位で矩形画像モジュールＤＭの矩形挿入部ＲＯに対して送信する。なお、座標データＣＤについては、二次元画面上の異なる２点のデータのみが枠画像処理部５１から送信されるが、予め定められた色や太さの枠形状となるように、このデータに基づき、設定レジスタＳＲにおいて、描画すべき箇所（範囲）や色の情報がピクセル単位で設定され、設定されたピクセル単位の情報が、矩形挿入部ＲＯに対して送信される。

また、上記のほか、設定レジスタＳＲからの情報に基づき、出力切替部ＳＷおける切替えを定めてもよい。例えば、設定レジスタＳＲにおいて、枠画像処理部５１からの座標データＣＤに基づき、座標データＣＤの値と対象範囲ＲＲとの比較から枠表示を行うべきか否かの判断結果を信号ＳＳとして出力切替部ＳＷに送信してもよい。あるいは、枠画像処理部５１から得た外部機器からの各種情報に関して信号ＳＳとして出力切替部ＳＷに送信すること等も考えられる。

以下、図１２を参照して、枠画像の描画のための画素データの置き換え手順について説明する。

まず、図１２のうち上欄の行程αでは、ピクセル単位で解析されるとともにクロック信号に同期させたデジタルビデオ信号ＤＤ_０と、そのカウントを行う様子を示す二次元平面（ｘｙ面）を示す概念図ＣＩとが準備されて、これらに基づいて画面全体に映像を映し出すための情報の処理がなされる。ここでは、デジタルビデオ信号ＤＤ_０に示すように、１クロックごとにＣ／Ｙ交互に流れており、２クロックで１画素となっている。なお、ここでは、色を示すデータＰＤｃで１ピクセル、明るさを示すデータＰＤｂで１ピクセルとし、２ピクセルで１画素が構成されるものとする。

さらに、ここでは、横方向（ｘ方向）について隣り合う２画素単位で明るさ及び色を規定する構成となっている。より詳しく説明すると、図示のように、色を示すデータＰＤｃと明るさを示すデータＰＤｂとが交互に並び、１組のデータＰＤｃ及びデータＰＤｂによって１画素分のデータＤＴ１が形成されており、さらに、横方向（ｘ方向）について隣り合う２画素分のデータＤＴ１，ＤＴ２を１組として、ひとまとまりのデータＵＮ１が構成され、データＵＮ１の単位で２画素分の明るさ及び色を規定している。つまり、データＵＮ１が２画素単位の情報となっている。さらに言い換えると、２画素分を構成する４ピクセル単位の情報となっている。以上のようなデジタルビデオ信号ＤＤ_０が、概念図ＣＩにおいて矢印Ｄ１で示すように二次元平面（ｘｙ面）上を走査することで、１つの画面が形成される。なお、ここでは、二次元平面（ｘｙ面）は、描画範囲ＤＲ１と、描画範囲ＤＲ１の余白として設けられたブランクＢＬ１，ＢＬ２で構成されている。例えば、画面がＦＨＤ（１９２０×１０８０画素）の場合、描画範囲ＤＲ１において、横方向（ｘ方向）に１９２０画素を一例として、縦方向（ｙ方向）に１０８０本のラインが続く構成となる。以上に即して横方向（ｘ方向）についての画素数と縦方向（ｙ方向）についての列数とが定まる。なお、ブランクＢＬ１，ＢＬ２については、規定数の画素数で適宜構成される。また、ここでは、既述のように、２ピクセルで１画素が構成されるものとする。したがって、ＦＨＤであれば、横方向（ｘ方向）についてのピクセル数が画素数の２倍となり、３８４０×１０８０ピクセルで１つの画面が構成される。また、図示のように、描画範囲ＤＲ１内の特定の範囲について、枠描画すべきピクセル（ｘｙ座標）が適宜定められる。具体的には、異なる２点の座標データＣＤに対応する右上の点ＳＰ１と、左下の点ＳＰ２に基づいて、枠描画の対象となる範囲ＦＲｄが定められる。

次に、図１２のうち中欄の行程βでは、枠画像の描画位置に一致する画素データを、枠描画用画素データに置き換えのための準備がなされ、その様子について例示している。すなわち、デジタルビデオ信号ＤＤ_０を構成するデータのうち、範囲ＦＲｄの位置に一致するデータＵＮ１について、これに対応する描画用画素データＤＤ_１が準備され、データＵＮ１であった箇所が、図１２のうち下欄の行程γに示すように、描画用画素データＤＤ_１に置き換えられていく。以上のように、デジタルビデオ信号のストリーム内のピクセルデータを逐次置き換えていくことで、枠描画の重畳ができる。

以下、図１３を参照して、上記した描画用画素データへの置き換えの判断処理に関して説明する。図１３は、画素データの置き換えの動作について一例を概念的に説明するためのブロック図であり、矩形挿入部ＲＯにおける処理の様子を示している。このうち、図１３（Ａ）は、枠を描画しない場合すなわち画素データの置き換えをしない場合の様子を示しており、図１３（Ｂ）は、枠を描画する場合すなわち画素データの置き換える場合の様子を示している。図示のように、ここでは、矩形挿入部ＲＯは、枠描画をすべきか否か、すなわち置き換えをすべきか否かの判断のために座標について比較する比較器ＣＯと、比較器ＣＯでの比較結果に基づいて映像入力データ（入力画像データ）と描画用画素データ（矩形データ）とのうちの一を選択するセレクタＳＥとを備える。

比較器ＣＯは、ｘ座標の画素数をカウントするすなわち横方向についての位置を定めるピクセルカウンタＰＣと、ｙ座標の列数をカウントするすなわち縦方向についての位置を定めるラインカウンタＬＣとから、比較の対象となるピクセルの位置を特定するとともに、範囲ＦＲｄの範囲を定める矩形座標ＲＣから、枠描画を行う範囲の座標データを読出し、これらを比較する。

セレクタＳＥは、デジタルビデオ信号ＤＤ_０で構成される映像入力データ（入力画像データ）と、描画用画素データ（矩形データ）ＤＤ_１とを受け付け、比較器ＣＯでの比較の結果に応じて、これらのうちの一を選択し、映像出力データ（出力画像データ）とする。

以上において、比較器ＣＯでの比較の結果、図１３（Ａ）に示すように、falseすなわち対象となるピクセルの位置が範囲ＦＲｄの範囲外であると判断された場合、セレクタＳＥは、当該ピクセルについて置き換えをしないように、矢印Ｅ１に示すような出力となる選択をする。一方、比較器ＣＯでの比較の結果、図１３（Ｂ）に示すように、trueすなわち対象となるピクセルの位置が範囲ＦＲｄの範囲内であると判断された場合、セレクタＳＥは、当該ピクセルについて置き換えをすべく、矢印Ｅ２に示すような出力となる選択をする。

以上のようにして、１つの画面に対する枠描画がなされる。また、上記の動作については、ピクセル単位で行われ、１つの画面についての処理が終われば、再びピクセル座標の値が初期値に戻って、次の１つの画面の処理へと向かい、滞ることなく、次々と枠描画の処理が繰り返される。また、この場合、ピクセル単位での画像データの置き換え、すなわちピクセルデータの上書きという単純作業であることで、高速な枠描画処理が可能であり、枠付きのリアルタイム画像の生成に適したものとすることができる。

以下、図１４のフローチャートを参照して、上記した枠画像の描画のための画素データの置き換え処理について一例を説明する。

まず、画像処理装置１００あるいは監視システム５００が起動して、撮像部１０からの画素データが主制御部５０において受け付けられると、重畳画像形成部ＳＩは、画素データを構成する１クロック分の映像入力データを取り込み（ステップＳ１０１）、ピクセルカウンタＰＣの値を＋１する（ステップＳ１０２）。次に、重畳画像形成部ＳＩは、ステップＳ１０２の結果、ピクセルカウンタＰＣの値が最大値を超えたか否かすなわちｘ方向について右端に到達したか否かを判断し（ステップＳ１０３）、超えていなければ（ステップＳ１０３：ＮＯ）、その検出位置で矩形挿入部ＲＯの比較器ＣＯによる比較及びこれに基づく判定を行う（ステップＳ１０４）。すなわち、ピクセルカウンタＰＣ及びラインカウンタＬＣと、矩形座標ＲＣの座標情報とを比較し、矩形（枠）を描画する画素がどうかを判定する。

一方、ステップＳ１０３において、ピクセルカウンタＰＣの値が最大値を超えたと判断された場合（ステップＳ１０３：ＹＥＳ）、ピクセルカウンタＰＣを０にするとともに、ラインカウンタＬＣを＋１する（ステップＳ１０５）。すなわち、次のラインの左端を検出位置として取り扱う。この場合において、今度は、ステップＳ１０５の結果、ラインカウンタＬＣの値が最大値を超えたか否かすなわちｙ方向について下端に到達したか否かを判断し（ステップＳ１０６）、超えていなければ（ステップＳ１０６：ＮＯ）、その検出位置でステップＳ１０４の比較器ＣＯによる比較及びこれに基づく判定を行う。

一方、ステップＳ１０６において、ラインカウンタＬＣの値が最大値を超えたと判断された場合（ステップＳ１０６：ＹＥＳ）、ラインカウンタＬＣを０にして（ステップＳ１０７）、その検出位置でステップＳ１０４の比較器ＣＯによる比較及びこれに基づく判定を行う。なお、ステップＳ１０７の場合、１つの画面についての処理が完了し、新たな画面についての処理が開始されたことになる。すなわち、次フレーム映像入力データについての処理であると判断される。

ステップＳ１０４の比較器ＣＯによる比較（ステップＳ１０８）の結果、矩形枠の描画をすべき旨の判定がなされない場合（ステップＳ１０８：ＮＯ）、セレクタＳＥは、図１３（Ａ）に例示したように、当該ピクセルについて置き換えをしない選択をする（ステップＳ１０９ａ）。すなわち、セレクタＳＥは、映像入力データをそのまま出力する。一方、ステップＳ１０４の比較器ＣＯによる比較（ステップＳ１０８）の結果、矩形枠の描画をすべき旨の判定がなされた場合（ステップＳ１０８：ＹＥＳ）、セレクタＳＥは、図１３（Ｂ）に例示したように、当該ピクセルについて置き換える選択をする（ステップＳ１０９ｂ）。すなわち、セレクタＳＥは、映像入力データを矩形座標ＲＣの座標情報の色データである描画用画素データ（矩形データ）に変更して（置き換えて）出力する。なお、以上の動作が、主制御部５０における画素データの受け付けが継続される間、繰り返される。

以上のように、本実施形態では、重畳画像形成部ＳＩは、ピクセルカウンタＰＣでカウントされる画素数とラインカウンタＬＣでカウントされる列数とに関する比較値に基づいて、枠画像の描画を行うか否かを決定している。これにより、迅速かつ継続容易な枠の描画処理ができる。また、この際、重畳画像形成部ＳＩは、画像データを構成する画素数及び列数によって位置がそれぞれ定まる各画素データのうち、画素数と列数とに関する比較の結果、枠画像の描画位置に一致する画素データを、枠描画用画素データに置き換えている。この場合、画素データの置換により迅速な枠の描画が可能になる。

〔その他〕
この発明は、上記の実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様で実施することが可能である。

まず、上記実施形態では、図４で例示したように、枠表示を行う対象となる対象範囲ＲＲを、第１領域ＡＲ１及び第２領域ＡＲ２の双方に対応する画像上の領域として予め定めているが、これに限らず、対象範囲ＲＲについては、種々の態様とすることができる。例えば、枠表示を行う対象範囲ＲＲについては、固定的なものとせず、状況に応じて変化させてもよい。具体的には、図１５に示す一変形例において、図１５（Ａ）のように、列車ＴＲが存在する場合には、危険性が高く対象範囲ＲＲを第１領域ＡＲ１及び第２領域ＡＲ２の双方を含む広めの範囲とする一方、図１５（Ｂ）のように、列車ＴＲが存在しない場合には、危険性が低く対象範囲ＲＲを第２領域ＡＲ２のみの狭めの範囲とする、といった構成としてもよい。

また、上記では、画像枠ＦＲの形状を矩形としているが、これに限らず、画像枠ＦＲの形状を種々のものとしてもよく、例えば当該矩形に沿った楕円状や長円形状等とすることが考えられる。この場合、例えば矩形を基準に各形状が定められるものとしておけば、出力画像作成部５２側で適宜処理をすることで、枠画像に関する座標データＣＤは、矩形の場合と同様、異なる２点で足りる。また、枠描画の処理に伴う実物との関係でのリアルタイム性の観点についての遅延の問題が無ければ、画像枠ＦＲをさらに複雑な形状とすることも考えられる。例えば、縦横方向（ｘｙ方向）以外の斜め方向を取り入れ、さらにこれを組み合わせることで、複雑な形状とすることもできる。

また、上記では、図８を参照して説明したように、枠表示についてのみ、リアルタイムなものからわずかに遅れた情報に基づく画像となっているが、例えば検出人物の歩行速度等を連続画像データから予測し、これに基づいて描画する枠画像の重畳位置をずらすことで、枠画像の位置が検出人物の位置に合うようにしてもよい。

また、上記では、説明の簡略化のため、１人の人物についての枠表示についてのみ説明したが、複数の人物が１つの画面に映っている場合においても、これらの人物について同時に枠表示をする態様とすることも可能である。例えば複数の画像処理部を設けておくことで、複数の人物を同時に捉えることが考えられる。実装としては、例えば１６人までに対して同時に枠表示を行うような態様とすることが考えられる。

また、上記では、人物を検出対象としているが、検出対象についても様々考えられ、例えば人物として特に杖（白杖等）や盲導犬を有する人物を捉えるようにしたり、人物以外のものとしてベビーカーや車いす等を検出したりしてもよい。このため、部分画像の抽出において、種々の画像処理エンジンを採用することができる。

なお、上記において、例えば主制御部５０において画像処理装置１００に関する内部装置の故障検知を行い、当該故障検知の有無に基づいて出力切替部ＳＷが出力内容を切り替えるものとしているが、この場合、例えば故障に際しては、枠表示を行わず、通常の画像をスルーで流すようにし、その旨を乗務員ＳＡに対して通知するようにしてもよい。

また、外部への通知をする通知部としてのスピーカＳＫは、利用者ＨＵに対してのみならず、乗務員ＳＡに対して通知を行うものとしてもよい。さらに、通知部としては、スピーカＳＫによる音声通知以外に、例えばランプの点灯による通知等、種々のものが考えられる。乗務員ＳＡに対する通知については、枠表示がなされた場合の注意喚起の通知のほか、実際に転落があった場合の緊急アラーム通知等、種々の態様とすることが考えられる。また、列車のドアやホームドアにおけるドア挟まりがあったにもかかわらず列車が発車してしまった等の場合については、特に運転士に対して緊急通知を行うものとしてもよい。一方、利用者ＨＵに対する通知については、例えば視覚障碍者等に対しては、ホーム柵の位置情報等と連動させて列車ドア位置への誘導（案内）を行うものとしてもよい。

また、上記では、一例として、監視対象エリアを駅ＳＴのホームＰＦとしているが、これに限らず的確な人検出をすることが望まれる種々の場所を監視対象とすることができる。例えばエスカレーターやエレベーター等における利用者の監視に適用することが考えられる。

また、撮像部１０の配置についても、上記のように、ホームＰＦの上方側に設置されて下方側を撮像する場合に限らず、目的とする範囲を撮像できる種々の態様とすることができる。例えば、撮像対象とすべきホームの反対側に位置するホームに撮像部を設置すること等が考えられる。また、撮像部１０等について、上記のような駅のホームの例であれば、ＩＴＶ（industrial television）装置のような既存のシステムを利用し、これらに画像処理装置１００等を付加して監視システム５００を構成することも考えられる。

また、撮像部１０が、複数設定されるような場合においては、例えば撮像範囲が隣接する撮像部間での情報を、データ中においてリンクさせるようにしてもよい。これにより、より広い範囲に亘って連続的に人物のトラッキングを行うことができる。

１０…撮像部、５０…主制御部、５０ｃ…主制御部、５１…枠画像処理部、５１ｃ…枠付き画像作成部、５２…出力画像作成部、５２ｃ…出力画像選択部、５３…入出力ポート、５３ｃ…入出力ポート、１００…画像処理装置、１００ｃ…画像処理装置、５００…監視システム、Ａ１…矢印、ＡＡ…矢印、ＡＲ１…領域、Ｂ１…矢印、ＢＡ…切替バー、ＢＬ１，ＢＬ２…ブランク、ＢＲ…分岐部、Ｃ１…矢印、ＣＡ…入力画像キャプチャ、ＣＤ…座標データ、ＣＯ…比較器、Ｄ１…矢印、ＤＡ…ディスプレイ表示部、ＤＤ_０…デジタルビデオ信号、ＤＤ_１…描画用画素データ、ＤＭ…矩形画像モジュール、ＤＲ１…描画範囲、ＤＴ１，ＤＴ２…データ、Ｅ１，Ｅ２…矢印、ＦＤ…枠データ抽出部、ＦＤｃ…枠データ抽出部、ＦＩ_１，ＦＩ_２，ＦＩ_ｋ…画像、ＦＬ…床面、ＦＲ_１，ＦＲ_２，ＦＲ_ｋ…枠画像、ＦＲｄ…範囲、Ｇ_０…基本画像、Ｇ_１…第１画像、Ｇ_２…第２画像、ＧＤ…画像データ解析部、ＧＧ…画像、Ｇ_ｐ…処理画像、Ｇ_ｓ…重畳画像、Ｇ_ｘ…画像、ＨＵ，ＨＵ_１，ＨＵ_ｋ…利用者（人物）、ＩＣ…出力画像作成部、ＩＧ…画像入力部、ＩＧｃ…画像入力部、ＬＣ…ラインカウンタ、ＭＩ_１，ＭＩ_２，ＭＩ_３，ＭＩ_ｋ…画像、ＯＧ…画像出力部、ＯＧｃ…画像出力部、ＰＣ…ピクセルカウンタ、ＰＤｂ，ＰＤｃ…データ、ＰＦ…ホーム、ＰＴ…座標位置、ＲＣ…矩形座標、ＲＤ…破線、ＲＩ_１，ＲＩ_２，ＲＩ_３，ＲＩ_ｋ…画像、ＲＯ…矩形挿入部（矩形重畳部）、ＲＲ…対象範囲、ＳＡ…乗務員、ＳＤ…画像位置特定部、ＳＥ…セレクタ、ＳＩ…重畳画像形成部、ＳＫ…スピーカ、ＳＰ１，ＳＰ２…点、ＳＲ…設定レジスタ、ＳＳ…信号、ＳＴ…駅、ＳＷ…出力切替部、ＴＫ…線路、ＴＲ…列車、Ｔａ，Ｔｂ，Ｔｃ…端子、ＵＮ１…データ、ｋ…フレーム番号、ｔ_１，ｔ_２，ｔ_３，ｔ_４，ｔ_ｋ…時刻、α，β，γ…行程

Claims (11)

1. 現在のリアルタイム画像をフレーム画像単位で順次取得しつつ、
   前記現在のリアルタイム画像の１フレーム前の過去のリアルタイム画像上の特定の対象物を示す枠画像を生成し、生成した枠画像を前記現在のリアルタイム画像に重畳する画像処理装置。
2. 前記リアルタイム画像についての画像データを受け付ける画像データ入力部と、
   前記画像データに基づいて前記枠画像に対応する枠座標を決定する枠データ抽出部と、
   前記画像データ入力部で取得した前記画像データに対して、前記枠座標に基づいて生成される前記枠画像を重畳させた重畳画像を形成する重畳画像形成部と
   を備える、請求項１に記載の画像処理装置。
3. 前記枠データ抽出部は、前記画像データとして入力される映像信号について二次元画面上の位置を特定する画像位置特定部を有し、前記画像位置特定部により異なる２点の座標データを前記枠座標として抽出し、
   前記重畳画像形成部は、前記画像位置特定部により特定された前記異なる２点の座標データに基づく矩形状の枠を重畳させる、請求項２に記載の画像処理装置。
4. 前記重畳画像形成部は、画素数と列数とに関する比較値に基づいて、前記枠画像の描画を行うか否かを決定する、請求項２及び３のいずれか一項に記載の画像処理装置。
5. 前記重畳画像形成部は、前記画像データを構成する画素数及び列数によって位置がそれぞれ定まる各画素データのうち、画素数と列数とに関する比較の結果、前記枠画像の描画位置に一致する画素データを、枠描画用画素データに置き換える、請求項４に記載の画像処理装置。
6. 外部へ出力する画像についての出力内容を切り替える出力切替部を備える、請求項１～５のいずれか一項に記載の画像処理装置。
7. 前記出力切替部は、外部機器からの入力を受け付け、受け付けた情報に基づいて前記出力内容を切り替える、請求項６に記載の画像処理装置。
8. 前記出力切替部は、内部装置の故障検知の有無に基づいて前記出力内容を切り替える、請求項６及び７のいずれか一項に記載の画像処理装置。
9. 前記枠画像に関する抽出結果に基づいて外部への通知をする通知部を備える、請求項１～８のいずれか一項に記載の画像処理装置。
10. 前記リアルタイム画像として駅のホームを撮像した画像中の人に対して前記枠画像の描画を行う、請求項１～９のいずれか一項に記載の画像処理装置。
11. 連続画像を撮像する撮像部と、
    前記撮像部で取得された前記連続画像の情報を前記リアルタイム画像として前記枠画像を重畳する請求項１～１０のいずれか一項に記載の画像処理装置と、
    前記画像処理装置により形成された画像を表示する表示部と
    を備える監視システム。

Images