JP6935527B2 - 画像処理装置、プログラム、システム及び画像処理方法 - Google Patents

Description

本発明は、画像処理装置、プログラム、システム及び画像処理方法に関する。

撮像画像中の人物の顔を検出して、検出した顔によって人物をトラッキングする技術が知られていた（例えば、特許文献１参照）。
［先行技術文献］
［特許文献］
［特許文献１］特開２０１５−２２８１４５号公報

本発明の第１の態様によれば、画像処理装置が提供される。画像処理装置は、動画データの複数のフレームのうちの注目フレームにおける予め定められた対象が存在する注目対象存在領域を特定する領域特定部を備えてよい。画像処理装置は、注目対象存在領域と、複数のフレームのうちの、注目フレームよりも過去の複数の過去フレームにおける予め定められた対象が存在する過去対象存在領域とに基づいて、注目対象存在領域に存在する対象に関する情報を出力するよう制御する出力制御部とを備えてよい。

上記出力制御部は、上記注目対象存在領域に存在する上記対象の移動に関する情報を出力するよう制御してよい。上記出力制御部は、上記注目対象存在領域に存在する上記対象が移動しているか否かに関する情報を出力するよう制御してよい。上記出力制御部は、上記注目対象存在領域及び上記複数の過去フレームのそれぞれにおける上記過去対象存在領域に第１の数値を割り当て、上記注目フレームにおける上記注目対象存在領域以外の領域及び上記複数の過去フレームのそれぞれにおける上記過去対象存在領域以外の領域に第２の数値を割り当てる数値割当部を有してよい。上記出力制御部は、上記複数の過去フレームのそれぞれにおける上記注目対象存在領域に対応する領域に割り当てられた数値と、上記注目対象存在領域に割り当てられた数値とに基づいて、上記注目対象存在領域に存在する上記対象が移動しているか否かを判定する移動判定部とを有してよい。

上記移動判定部は、上記複数の過去フレームのそれぞれにおける上記注目対象存在領域に対応する領域に割り当てられた数値と、上記注目対象存在領域に割り当てられた数値との平均値が、予め定められた閾値より高い場合、上記対象が移動していないと判定し、低い場合、上記対象が移動していると判定してよい。上記移動判定部は、上記注目フレームの領域毎に設定された閾値から、上記注目対象存在領域に対応する閾値を選択して、当該閾値と上記平均値とを比較することによって、上記対象が移動しているか否かを判定してよい。上記移動判定部は、上記複数の過去フレームのそれぞれにおける上記注目対象存在領域に対応する領域に割り当てられた数値と、上記注目対象存在領域に割り当てられた数値との合計値が、予め定められた閾値より高い場合、上記対象が移動していないと判定し、低い場合、上記対象が移動していると判定してよい。上記移動判定部は、上記注目フレームの領域毎に設定された閾値から、上記注目対象存在領域に対応する閾値を選択し、当該閾値と上記合計値とを比較することによって、上記対象が移動しているか否かを判定してよい。上記出力制御部は、上記注目フレームの上記注目対象存在領域に対応する位置に、上記注目対象存在領域に存在する上記対象が移動しているか否かを示すオブジェクトを配置して、上記注目フレームを表示部に表示させるよう制御する表示制御部を有してよい。上記動画データは、閉空間を撮像することによって生成された動画データであってよく、上記表示制御部は、上記閉空間内の、移動している上記対象の数と、移動していない上記対象の数とを上記表示部に表示させるよう制御してよい。上記予め定められた対象は、人物であってよく、上記閉空間は、食堂であってよい。

本発明の第２の態様によれば、コンピュータを、上記画像処理装置として機能させるためのプログラムが提供される。

本発明の第３の態様によれば、システムが提供される。システムは、カメラと、上記画像処理装置を備えてよい。上記領域特定部は、上記カメラによって生成された上記動画データの上記複数のフレームのうちの上記注目フレームにおける上記注目対象存在領域を特定してよい。

本発明の第４の態様によれば、画像処理方法が提供される。画像処理方法は、動画データの複数のフレームのうちの注目フレームにおける予め定められた対象が存在する注目対象存在領域を特定する領域特定段階を備えてよい。画像処理方法は、注目対象存在領域と、複数のフレームのうちの、注目フレームよりも過去の複数の過去フレームにおける予め定められた対象が存在する過去対象存在領域とに基づいて、注目対象存在領域に存在する対象に関する情報を出力するよう制御する出力制御段階を備えてよい。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

システム１０の一例を概略的に示す。 動画データ４００内の注目フレーム４１０及び過去フレーム４２０の一例を概略的に示す。 注目フレーム４１０及び過去フレーム４２０の解析処理を説明するための説明図である。 注目フレーム４１０及び過去フレーム４２０の解析処理を説明するための説明図である。 画像処理装置１００の機能構成の一例を概略的に示す。 注目フレーム４１０の一例を概略的に示す。 出力制御部１１０によって表示制御された表示画像５００の一例を概略的に示す。 システム１０の一例を概略的に示す。 画像処理装置１００として機能するコンピュータ１２００のハードウェア構成の一例を概略的に示す。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、システム１０の一例を概略的に示す。システム１０は、カメラ２００によって生成された動画データに対して画像処理を施す画像処理装置１００を備える。システム１０は、カメラ２００を備えてよい。

カメラ２００は、予め定められた対象３００を撮像して動画データを生成する。対象３００は、例えば、人物である。対象３００は、移動可能な任意の物であってよく、自動車等の車両や、ドローンの様な無人航空機等が、その例として挙げられる。

カメラ２００は、任意の空間に対して設置されて、当該任意の空間を撮像する。図１に示す例では、カメラ２００は、１又は複数の対象３００が存在する閉空間５０を撮像する。閉空間５０の例として、社員食堂等が挙げられるが、これに限らない。カメラ２００は、開放空間を撮像してもよい。

カメラ２００は、生成した動画データをネットワーク２０を介して画像処理装置１００に送信する。カメラ２００は、ストリーミングによって動画データを画像処理装置１００に送信してよい。カメラ２００は、動画ファイルを画像処理装置１００に送信してもよい。

カメラ２００は、ネットワーク２０に有線接続されてよい。カメラ２００は、ネットワーク２０に無線接続されてもよい。無線接続の通信方式は、任意の通信方式であってよい。無線接続の通信方式の例として、移動体通信方式、Ｗｉ−Ｆｉ（登録商標）通信方式、及びＢｌｕｅｔｏｏｔｈ（登録商標）通信方式等が挙げられる。

ネットワーク２０は、社内ネットワーク等のＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）を含んでよい。ネットワーク２０は、移動体通信ネットワークを含んでよい。移動体通信ネットワークは、３Ｇ（３ｒｄ Ｇｅｎｅｒａｔｉｏｎ）通信方式、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）通信方式、５Ｇ（５ｔｈ Ｇｅｎｅｒａｔｉｏｎ）通信方式、及び６Ｇ（６ｔｈ Ｇｅｎｅｒａｔｉｏｎ）通信方式以降の通信方式の少なくともいずれかに準拠していてよい。ネットワーク２０は、インターネットを含んでよい。

画像処理装置１００は、カメラ２００から受信した動画データを解析して、対象３００に関する情報を出力するよう制御する。画像処理装置１００は、例えば、画像処理装置１００が備えるディスプレイに対象３００に関する情報を表示させる。

また、画像処理装置１００は、例えば、携帯通信端末３０に対して、ネットワーク２０を介して、対象３００に関する情報を送信して、携帯通信端末３０に、対象３００に関する情報を表示させる。携帯通信端末３０は、スマートフォン等の携帯電話、及びタブレット端末等であってよい。

また、画像処理装置１００は、例えば、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）４０に対して、対象３００に関する情報を送信して、ＰＣ４０に、対象３００に関する情報を表示させる。ＰＣ４０は、ネットワーク２０に有線接続されてよい。ＰＣ４０は、ネットワーク２０に無線接続されてもよい。

画像処理装置１００は、例えば、動画データを解析して、閉空間５０内の複数の人物のそれぞれが、移動しているか否かを判定する。具体例として、画像処理装置１００は、動画データの複数のフレームのうちの注目フレームにおける人物が存在する注目対象存在領域を特定し、注目対象存在領域と、複数のフレームのうちの、注目フレームよりも過去の複数の過去フレームにおける人物が存在する過去対象存在領域とに基づいて、注目対象存在領域に存在する複数の人物のそれぞれが移動しているか否かを判定する。そして、画像処理装置１００は、注目フレームに含まれる複数の人物のそれぞれが移動しているか否かを示す情報を出力するよう制御する。

図２は、動画データ４００内の注目フレーム４１０及び過去フレーム４２０の一例を概略的に示す。画像処理装置１００は、注目フレーム４１０を決定した後、注目フレーム４１０よりも過去の複数の過去フレーム４２０を選択する。画像処理装置１００は、予め定められた数の過去フレーム４２０を選択してよい。予め定められた数は、任意に設定可能であってよい。

画像処理装置１００は、例えば、動画データ４００の全フレームを注目フレーム４１０として決定し得る。画像処理装置１００は、カメラ２００によってストリーミングされる動画データ４００の最新のフレームを注目フレーム４１０として、複数の過去フレーム４２０を選択して解析を実行するという動作を、フレームを受信する毎に実行してよい。

画像処理装置１００は、予め定められたフレーム数毎に、フレームを注目フレーム４１０として決定してもよい。予め定められたフレーム数は、例えば、１０フレーム等の任意の数であってよく、任意に設定可能であってよい。

図３及び図４は、注目フレーム４１０及び過去フレーム４２０の解析処理を説明するための説明図である。ここでは、説明を簡易にするために、過去フレーム４２０の数が３つである場合を例示している。

画像処理装置１００は、注目フレーム４１０、過去フレーム４３０、過去フレーム４４０、及び過去フレーム４５０のそれぞれについて、対象３００が存在する対象存在領域を特定する。図３に示す例では、注目フレーム４１０、過去フレーム４３０、過去フレーム４４０、及び過去フレーム４５０のそれぞれに、対象存在領域３１０及び対象存在領域３２０が含まれる。なお、図３では、対象存在領域３１０に存在する対象３００は滞留しており、対象存在領域３２０に存在する対象３００は移動している場合を例示している。

画像処理装置１００は、対象存在領域に第１の値を割り当て、対象存在領域以外の領域に第２の値を割り当てる。第１の値は、第２の値よりも大きい値であってよい。図３では、第１の値が「１」であり、第２の値が「０」である場合を例示しているが、これに限らず、他の値であってもよい。

数値割当４１２は、注目フレーム４１０の各領域に割り当てた数値を示す。数値割当４３２は、過去フレーム４３０の各領域に割り当てた数値を示す。数値割当４４２は、過去フレーム４４０の各領域に割り当てた数値を示す。数値割当４５２は、過去フレーム４５０の各領域に割り当てた数値を示す。

画像処理装置１００は、注目フレーム４１０の対象存在領域に割り当てた値と、複数の過去フレーム４２０のそれぞれにおける、注目フレーム４１０の対象存在領域に対応する領域に割り当てた数値とに基づいて、注目フレーム４１０の対象存在領域に存在する対象３００が移動しているか否かを判定してよい。

図４のおける合計値４１４は、注目フレーム４１０の各領域について、注目フレーム４１０の各領域に割り当てた数値と、複数の過去フレーム４２０のそれぞれの、注目フレーム４１０の各領域に対応する領域に割り当てた数値とを加算した値を示す。数値３１２は、注目フレーム４１０の対象存在領域３１０に割り当てた数値と、複数の過去フレーム４２０のそれぞれにおける、注目フレーム４１０の対象存在領域３１０に対応する領域に割り当てた数値とを加算した値を示す。数値３２２は、注目フレーム４１０の対象存在領域３２０に割り当てた数値と、複数の過去フレーム４２０のそれぞれにおける、注目フレーム４１０の対象存在領域３２０に対応する領域に割り当てた数値とを加算した値を示す。

画像処理装置１００は、例えば、数値３１２の平均値が予め定められた閾値より高い場合、対象存在領域３１０に存在する対象３００が移動していないと判定し、閾値より低い場合、対象３００が移動していると判定する。また、画像処理装置１００は、例えば、数値３２２の平均値が予め定められた閾値より高い場合、対象存在領域３２０に存在する対象３００が移動していないと判定し、閾値より低い場合、対象３００が移動していると判定する。例えば、閾値が３．２である場合、数値３１２の平均値は４であり、数値３２２の平均値は１であることから、画像処理装置１００は、対象存在領域３１０の対象３００は移動しておらず、対象存在領域３２０の対象３００は移動していると判定する。

画像処理装置１００は、数値３１２の合計値が予め定められた閾値より高い場合、対象存在領域３１０に存在する対象３００が移動していないと判定し、閾値より低い場合、対象３００が移動していると判定してもよい。また、画像処理装置１００は、数値３２２の合計値が予め定められた閾値より高い場合、対象存在領域３２０に存在する対象３００が移動していないと判定し、閾値より低い場合、対象３００が移動していると判定してもよい。例えば、閾値が１２．８である場合、数値３１２の合計値は１６であり、数値３２２の合計値は２であることから、画像処理装置１００は、対象存在領域３１０の対象３００は移動しておらず、対象存在領域３２０の対象３００は移動していると判定する。

従来、動画データ中の対象３００を検出して、検出した対象３００をトラッキングする技術が知られていた。当該技術によれば、対象３００が移動しているか否かを判定し得る。しかし、例えば、動画データを送信するネットワークの環境によっては、フレームが欠落したり、一部のフレームの送信が遅延したりする場合があり、そのような場合、トラッキングが失敗してしまい、対象３００が移動しているか否かを適切に判定できない場合がある。また、動画データのフレームレートが低い場合、トラッキングの精度が低下してしまい、対象３００が移動しているか否かを適切に判定できない場合がある。また、動画データ中に多数の対象３００が含まれている場合に、処理負荷が非常に高まってしまう場合がある。例えば、従来は、注目対象存在領域同士のフレーム間で一致させる計算と、一致した注目対象存在領域同士の移動距離計算とを果たした上で、移動又は滞留を判断していたが、前者においては過去フレームと現在フレームの注目対象存在領域のすべての総当たりで計算が必要であり、後者においては一致した注目対象存在領域ペア全てにおいて計算が必要であった。

それに対して、本実施形態に係る画像処理装置１００によれば、一定期間のフレームにおける対象３００の検出結果の蓄積に基づく判定をすることによって、フレームが一部欠落したり、フレームレートが低い場合であっても、対象３００が滞留していることを比較的高い精度で推定することができる。また、フレーム毎に割り当てた数値の演算によって対象３００が滞留しているか否かを判定できるので、処理負荷を大幅に低減することができる。

図５は、画像処理装置１００の機能構成の一例を概略的に示す。画像処理装置１００は、動画受信部１０２、動画格納部１０４、領域特定部１０６、及び出力制御部１１０を備える。

動画受信部１０２は、カメラ２００から動画データを受信する。動画受信部１０２は、カメラ２００からネットワーク２０を介して動画データを受信してよい。

動画格納部１０４は、動画データを格納する。動画格納部１０４は、動画受信部１０２が受信した動画データを格納してよい。動画格納部１０４は、可搬型記憶媒体から読み込んだ動画データを格納してもよい。

領域特定部１０６は、動画格納部１０４に格納されている動画データの複数のフレームのうちの注目フレームにおける予め定められた対象が存在する注目対象存在領域を特定する。複数のフレームから注目フレームを特定する方法は、事前に設定されていてよい。例えば、複数のフレームのすべてについて解析を行う場合には、領域特定部１０６は、全フレームを順次注目フレームとして特定する。また、例えば、予め定められたフレーム数毎に解析を行う場合には、領域特定部１０６は、予め定められたフレーム毎に注目フレームとして特定する。

領域特定部１０６は、画像処理装置１００の利用者による指示に従って、複数のフレームから注目フレームを特定してもよい。例えば、領域特定部１０６は、複数のフレームのうち、画像処理装置１００の利用者によって指定されたフレームを注目フレームとして特定する。

領域特定部１０６は、任意の方法を用いて、注目フレームにおける予め定められた対象が存在する注目対象存在領域を特定してよい。領域特定部１０６は、例えば、画像内の予め定められた対象を特定するための機械学習モデルを利用することによって、注目対象存在領域を特定する。領域特定部１０６は、予め定められた対象の多数の画像を取得して、当該多数の画像を用いて、画像から予め定められた対象を特定するための機械学習モデルを生成してもよい。機械学習モデルを生成するアルゴリズムとしては、公知の任意のアルゴリズムを採用し得る。

領域特定部１０６は、注目フレームよりも過去の複数の過去フレームにおける予め定められた対象が存在する過去対象存在領域を特定してよい。領域特定部１０６は、注目フレームにおける注目対象存在領域を特定する方法と同様の方法を用いて、複数の過去フレームにおける過去対象存在領域を特定してよい。

注目対象存在領域及び過去対象存在領域は、矩形形状であってよい。注目対象存在領域及び過去対象存在領域を矩形形状とすることによって、計算コストを低減することができる。なお、注目対象存在領域及び過去対象存在領域は、矩形形状に限らず、任意の形状であってよい。注目対象存在領域及び過去対象存在領域は、画素単位で予め定められた対象を特定した領域であってもよい。注目対象存在領域及び過去対象存在領域を矩形形状とした場合と比較して計算コストは高まるが、対象の特定精度を向上することができる。

出力制御部１１０は、注目対象存在領域と、動画データの複数のフレームのうちの、注目フレームよりも過去の複数の過去フレームにおける予め定められた対象が存在する過去対象存在領域とに基づいて、注目対象存在領域に存在する対象に関する情報を出力する。出力制御部１１０は、例えば、注目対象存在領域に存在する対象の移動に関する情報を出力するよう制御する。また、出力制御部１１０は、例えば、注目対象存在領域に存在する対象が移動しているか否かに関する情報を出力するよう制御する。

出力制御部１１０は、数値割当部１１２、移動判定部１１４、及び表示制御部１１６を有してよい。数値割当部１１２は、注目対象存在領域及び複数の過去フレームのそれぞれにおける過去対象存在領域に第１の数値を割り当てる。数値割当部１１２は、注目フレームにおける注目対象存在領域以外の領域及び複数の過去フレームのそれぞれにおける過去対象存在領域以外の領域に第２の数値を割り当てる。

移動判定部１１４は、注目対象存在領域に存在する対象が移動しているか否かを判定する。移動判定部１１４は、複数の過去フレームのそれぞれにおける注目対象存在領域に対応する領域に割り当てられた数値と、注目対象存在領域に割り当てられた数値とに基づいて、注目対象存在領域に存在する対象が移動しているか否かを判定してよい。

移動判定部１１４は、例えば、複数の過去フレームのそれぞれにおける注目対象存在領域に対応する領域に割り当てられた数値と、注目対象存在領域に割り当てられた数値との平均値が、予め定められた閾値より高い場合、対象が移動していないと判定する。移動判定部１１４は、例えば、複数の過去フレームのそれぞれにおける注目対象存在領域に対応する領域に割り当てられた数値と、注目対象存在領域に割り当てられた数値との平均値が、予め定められた閾値より低い場合、対象が移動していると判定する。

移動判定部１１４は、注目フレームの領域毎に設定された閾値から、注目対象存在領域に対応する閾値を選択して、当該閾値と平均値とを比較することによって、対象が移動しているか否かを判定してもよい。動画格納部１０４は、フレームの領域毎に設定された閾値を格納してよく、移動判定部１１４は、動画格納部１０４から、注目対象存在領域に対応する閾値を選択してよい。動画格納部１０４は、例えば、フレームの領域のうち、対象が滞留している可能性が高い領域に、対象が移動している可能性が高い領域に対応する閾値よりも値が小さい閾値を対応付けて格納する。

カメラ２００による撮像対象となる空間には、場所によって、存在する対象が移動している可能性が高いところと、存在する対象が滞留している可能性が高いところとが存在し得る。例えば、カメラ２００が社員食堂を撮像している場合において、通路の空間は、対象が移動している可能性が高く、座席の空間は、対象が滞留している可能性が高い。そのような場合、動画格納部１０４は、フレームにおける座席の空間に対応する領域に対して、フレームにおける通路の空間に対応する領域に対応する閾値よりも値が小さい閾値を対応付けて格納してよい。これにより、通路の空間に存在する対象と比較して、座席の空間に存在する対象が移動していないと判定する可能性を高めることができ、判定精度の向上に貢献することができる。

移動判定部１１４は、複数の過去フレームのそれぞれにおける注目対象存在領域に対応する領域に割り当てられた数値と、注目対象存在領域に割り当てられた数値との合計値が、予め定められた閾値より高い場合、対象が移動していないと判定してもよい。移動判定部１１４は、複数の過去フレームのそれぞれにおける注目対象存在領域に対応する領域に割り当てられた数値と、注目対象存在領域に割り当てられた数値との合計値が、予め定められた閾値より低い場合、対象が移動していると判定してもよい。移動判定部１１４は、注目フレームの領域毎に設定された閾値から、注目対象存在領域に対応する閾値を選択し、当該閾値と合計値とを比較することによって、対象が移動しているか否かを判定してもよい。

表示制御部１１６は、注目フレームの注目対象存在領域に対応する位置に、注目対象存在領域に存在する対象が移動しているか否かを示すオブジェクトを配置して、注目フレームを表示部に表示させるよう制御する。表示部は、画像処理装置１００が備えるディスプレイであってよい。表示部は、携帯通信端末３０が備えるディスプレイであってもよい。表示部は、ＰＣ４０が備えるディスプレイであってもよい。

表示制御部１１６は、移動判定部１１４によって注目対象存在領域に存在する対象が移動していないと判定された場合、当該注目対象存在領域に存在する対象が移動していないことを示すオブジェクトを注目フレームの注目対象存在領域に対応する位置に配置してよい。表示制御部１１６は、移動判定部１１４によって注目対象存在領域に存在する対象が移動していると判定された場合、当該注目対象存在領域に存在する対象が移動していることを示すオブジェクトを注目フレームの注目対象存在領域に対応する位置に配置してよい。

閉空間を撮像することによって生成された動画データを対象とする場合、表示制御部１１６は、閉空間内の、移動している対象の数と、移動していない対象の数とを表示部に表示させるよう制御してもよい。例えば、閉空間を撮像することによって生成された動画データを対象とする場合、領域特定部１０６は、注目フレームに含まれる対象の数を特定する。また、移動判定部１１４は、注目フレームに含まれる対象のうち、移動していない対象の数と、移動している対象の数とを特定する。そして、表示制御部１１６は、領域特定部１０６によって特定された注目フレームに含まれる対象の数と、移動判定部１１４によって特定された移動している対象の数及び移動していない対象の数とを表示部に表示させる。これにより、閉空間における人の流れを容易に把握可能な表示をていきょうすることができる。

図６は、注目フレーム４１０の一例を概略的に示す。図６は、カメラ２００が社員食堂を撮像して生成した動画データにおける注目フレーム４１０を例示している。注目フレーム４１０には、複数の人物３３０が含まれる。画像処理装置１００は、注目フレーム４１０と、注目フレーム４１０よりも過去の複数の過去フレームとに基づいて、複数の人物３３０のそれぞれが、移動しているか否かを判定してよい。

図７は、出力制御部１１０によって表示制御された表示画像５００の一例を概略的に示す。出力制御部１１０は、図７に例示するように、注目フレーム４１０のうち、移動している人物３３０の位置に移動者オブジェクト５１０を配置し、移動していない人物３３０の位置に滞留者オブジェクト５２０を配置した表示画像５００を表示部に表示させてよい。

出力制御部１１０は、例えば、社員の携帯通信端末３０や、社員のＰＣ４０に表示画像５００を表示させる。これにより、社員に、社員食堂における人の流れを適切に把握させることができる。

出力制御部１１０は、表示画像５００とともに、社員食堂内の人物３３０の数と、滞留している人物３３０の数と、移動している人物３３０の数とを表示部に表示させてもよい。これにより、社員に、社員食堂の混雑度合と、人の流れとを適切に把握させることができる。

図８は、システム１０の一例を概略的に示す。ここでは、図１と異なる点を主に説明する。図８に示す例では、画像処理装置１００は、複数のカメラ２００のそれぞれから、動画データを受信する。

画像処理装置１００は、閉空間５０を撮像することによって生成された動画データと、閉空間５２を撮像することによって生成された動画データとを受信する。画像処理装置１００は、それぞれの動画データについて、動画データの複数のフレームのうちの注目フレームにおける注目対象存在領域と、複数のフレームのうちの、注目フレームよりも過去の複数の過去フレームにおける過去対象存在領域とに基づいて、注目対象存在領域に存在する対象３００に関する情報を出力するよう制御してよい。

図８に示す例において、動画格納部１０４は、閉空間５０を撮像した動画データを解析するときに用いる閾値と、閉空間５２を撮像した動画データを解析するときに用いる閾値とを、それぞれ格納してよい。移動判定部１１４は、閉空間５０を撮像した動画データの複数の過去フレームのそれぞれにおける注目対象存在領域に対応する領域に割り当てられた数値と、注目対象存在領域に割り当てられた数値との平均値を、閉空間５０に対応する閾値とを比較することによって、対象が移動しているか否かを判定してよい。移動判定部１１４は、閉空間５２を撮像した動画データの複数の過去フレームのそれぞれにおける注目対象存在領域に対応する領域に割り当てられた数値と、注目対象存在領域に割り当てられた数値との平均値を、閉空間５２に対応する閾値とを比較することによって、対象が移動しているか否かを判定してよい。

動画格納部１０４は、例えば、閉空間５０における対象３００が移動している可能性又は滞留している可能性と、閉空間５２における対象３００が移動している可能性又は滞留している可能性とに基づく閾値を格納する。動画格納部１０４は、例えば、閉空間５０に対して、閉空間５２の方が、対象３００が滞留している可能性が高い場合、閉空間５２に対して、閉空間５０に対応する閾値よりも値が小さい閾値を対応付けて格納してよい。これにより、撮像対象空間の性質に応じた推定を実現することができる。なお、本実施形態における対象３００は、人物の他、車両や無人航空機など移動可能な物体であればよい。

図９は、画像処理装置１００として機能するコンピュータ１２００のハードウェア構成の一例を概略的に示す。コンピュータ１２００にインストールされたプログラムは、コンピュータ１２００を、本実施形態に係る装置の１又は複数の「部」として機能させ、又はコンピュータ１２００に、本実施形態に係る装置に関連付けられるオペレーション又は当該１又は複数の「部」を実行させることができ、及び／又はコンピュータ１２００に、本実施形態に係るプロセス又は当該プロセスの段階を実行させることができる。そのようなプログラムは、コンピュータ１２００に、本明細書に記載のフローチャート及びブロック図のブロックのうちのいくつか又はすべてに関連付けられた特定のオペレーションを実行させるべく、ＣＰＵ１２１２によって実行されてよい。

本実施形態によるコンピュータ１２００は、ＣＰＵ１２１２、ＲＡＭ１２１４、及びグラフィックコントローラ１２１６を含み、それらはホストコントローラ１２１０によって相互に接続されている。コンピュータ１２００はまた、通信インタフェース１２２２、記憶装置１２２４、ＤＶＤドライブ、及びＩＣカードドライブのような入出力ユニットを含み、それらは入出力コントローラ１２２０を介してホストコントローラ１２１０に接続されている。ＤＶＤドライブは、ＤＶＤ−ＲＯＭドライブ及びＤＶＤ−ＲＡＭドライブ等であってよい。記憶装置１２２４は、ハードディスクドライブ及びソリッドステートドライブ等であってよい。コンピュータ１２００はまた、ＲＯＭ１２３０及びキーボードのようなレガシの入出力ユニットを含み、それらは入出力チップ１２４０を介して入出力コントローラ１２２０に接続されている。

ＣＰＵ１２１２は、ＲＯＭ１２３０及びＲＡＭ１２１４内に格納されたプログラムに従い動作し、それにより各ユニットを制御する。グラフィックコントローラ１２１６は、ＲＡＭ１２１４内に提供されるフレームバッファ等又はそれ自体の中に、ＣＰＵ１２１２によって生成されるイメージデータを取得し、イメージデータがディスプレイデバイス１２１８上に表示されるようにする。

通信インタフェース１２２２は、ネットワークを介して他の電子デバイスと通信する。記憶装置１２２４は、コンピュータ１２００内のＣＰＵ１２１２によって使用されるプログラム及びデータを格納する。ＤＶＤドライブは、プログラム又はデータをＤＶＤ−ＲＯＭ等から読み取り、記憶装置１２２４に提供する。ＩＣカードドライブは、プログラム及びデータをＩＣカードから読み取り、及び／又はプログラム及びデータをＩＣカードに書き込む。

ＲＯＭ１２３０はその中に、アクティブ化時にコンピュータ１２００によって実行されるブートプログラム等、及び／又はコンピュータ１２００のハードウェアに依存するプログラムを格納する。入出力チップ１２４０はまた、様々な入出力ユニットをＵＳＢポート、パラレルポート、シリアルポート、キーボードポート、マウスポート等を介して、入出力コントローラ１２２０に接続してよい。

プログラムは、ＤＶＤ−ＲＯＭ又はＩＣカードのようなコンピュータ可読記憶媒体によって提供される。プログラムは、コンピュータ可読記憶媒体から読み取られ、コンピュータ可読記憶媒体の例でもある記憶装置１２２４、ＲＡＭ１２１４、又はＲＯＭ１２３０にインストールされ、ＣＰＵ１２１２によって実行される。これらのプログラム内に記述される情報処理は、コンピュータ１２００に読み取られ、プログラムと、上記様々なタイプのハードウェアリソースとの間の連携をもたらす。装置又は方法が、コンピュータ１２００の使用に従い情報のオペレーション又は処理を実現することによって構成されてよい。

例えば、通信がコンピュータ１２００及び外部デバイス間で実行される場合、ＣＰＵ１２１２は、ＲＡＭ１２１４にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インタフェース１２２２に対し、通信処理を命令してよい。通信インタフェース１２２２は、ＣＰＵ１２１２の制御の下、ＲＡＭ１２１４、記憶装置１２２４、ＤＶＤ−ＲＯＭ、又はＩＣカードのような記録媒体内に提供される送信バッファ領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、又はネットワークから受信した受信データを記録媒体上に提供される受信バッファ領域等に書き込む。

また、ＣＰＵ１２１２は、記憶装置１２２４、ＤＶＤドライブ（ＤＶＤ−ＲＯＭ）、ＩＣカード等のような外部記録媒体に格納されたファイル又はデータベースの全部又は必要な部分がＲＡＭ１２１４に読み取られるようにし、ＲＡＭ１２１４上のデータに対し様々なタイプの処理を実行してよい。ＣＰＵ１２１２は次に、処理されたデータを外部記録媒体にライトバックしてよい。

様々なタイプのプログラム、データ、テーブル、及びデータベースのような様々なタイプの情報が記録媒体に格納され、情報処理を受けてよい。ＣＰＵ１２１２は、ＲＡＭ１２１４から読み取られたデータに対し、本開示の随所に記載され、プログラムの命令シーケンスによって指定される様々なタイプのオペレーション、情報処理、条件判断、条件分岐、無条件分岐、情報の検索／置換等を含む、様々なタイプの処理を実行してよく、結果をＲＡＭ１２１４に対しライトバックする。また、ＣＰＵ１２１２は、記録媒体内のファイル、データベース等における情報を検索してよい。例えば、各々が第２の属性の属性値に関連付けられた第１の属性の属性値を有する複数のエントリが記録媒体内に格納される場合、ＣＰＵ１２１２は、当該複数のエントリの中から、第１の属性の属性値が指定されている条件に一致するエントリを検索し、当該エントリ内に格納された第２の属性の属性値を読み取り、それにより予め定められた条件を満たす第１の属性に関連付けられた第２の属性の属性値を取得してよい。

上で説明したプログラム又はソフトウエアモジュールは、コンピュータ１２００上又はコンピュータ１２００近傍のコンピュータ可読記憶媒体に格納されてよい。また、専用通信ネットワーク又はインターネットに接続されたサーバシステム内に提供されるハードディスク又はＲＡＭのような記録媒体が、コンピュータ可読記憶媒体として使用可能であり、それによりプログラムを、ネットワークを介してコンピュータ１２００に提供する。

本実施形態におけるフローチャート及びブロック図におけるブロックは、オペレーションが実行されるプロセスの段階又はオペレーションを実行する役割を持つ装置の「部」を表わしてよい。特定の段階及び「部」が、専用回路、コンピュータ可読記憶媒体上に格納されるコンピュータ可読命令と共に供給されるプログラマブル回路、及び／又はコンピュータ可読記憶媒体上に格納されるコンピュータ可読命令と共に供給されるプロセッサによって実装されてよい。専用回路は、デジタル及び／又はアナログハードウェア回路を含んでよく、集積回路（ＩＣ）及び／又はディスクリート回路を含んでよい。プログラマブル回路は、例えば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、及びプログラマブルロジックアレイ（ＰＬＡ）等のような、論理積、論理和、排他的論理和、否定論理積、否定論理和、及び他の論理演算、フリップフロップ、レジスタ、並びにメモリエレメントを含む、再構成可能なハードウェア回路を含んでよい。

コンピュータ可読記憶媒体は、適切なデバイスによって実行される命令を格納可能な任意の有形なデバイスを含んでよく、その結果、そこに格納される命令を有するコンピュータ可読記憶媒体は、フローチャート又はブロック図で指定されたオペレーションを実行するための手段を作成すべく実行され得る命令を含む、製品を備えることになる。コンピュータ可読記憶媒体の例としては、電子記憶媒体、磁気記憶媒体、光記憶媒体、電磁記憶媒体、半導体記憶媒体等が含まれてよい。コンピュータ可読記憶媒体のより具体的な例としては、フロッピー（登録商標）ディスク、ディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリメモリ（ＥＰＲＯＭ又はフラッシュメモリ）、電気的消去可能プログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、コンパクトディスクリードオンリメモリ（ＣＤ−ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、ブルーレイ（登録商標）ディスク、メモリスティック、集積回路カード等が含まれてよい。

コンピュータ可読命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、又はＳｍａｌｌｔａｌｋ、ＪＡＶＡ（登録商標）、Ｃ＋＋等のようなオブジェクト指向プログラミング言語、及び「Ｃ」プログラミング言語又は同様のプログラミング言語のような従来の手続型プログラミング言語を含む、１又は複数のプログラミング言語の任意の組み合わせで記述されたソースコード又はオブジェクトコードのいずれかを含んでよい。

コンピュータ可読命令は、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサ、又はプログラマブル回路が、フローチャート又はブロック図で指定されたオペレーションを実行するための手段を生成するために当該コンピュータ可読命令を実行すべく、ローカルに又はローカルエリアネットワーク（ＬＡＮ）、インターネット等のようなワイドエリアネットワーク（ＷＡＮ）を介して、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサ、又はプログラマブル回路に提供されてよい。プロセッサの例としては、コンピュータプロセッサ、処理ユニット、マイクロプロセッサ、デジタル信号プロセッサ、コントローラ、マイクロコントローラ等を含む。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

特許請求の範囲、明細書、及び図面中において示した装置、システム、プログラム、及び方法における動作、手順、ステップ、及び段階などの各処理の実行順序は、特段「より前に」、「先立って」などと明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「まず、」、「次に、」などを用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

１０ システム、２０ ネットワーク、３０ 携帯通信端末、４０ ＰＣ、１００ 画像処理装置、１０２ 動画受信部、１０４ 動画格納部、１０６ 領域特定部、１１０ 出力制御部、１１２ 数値割当部、１１４ 移動判定部、１１６ 表示制御部、２００ カメラ、３００ 対象、３１０ 対象存在領域、３１２ 数値、３２０ 対象存在領域、３２２ 数値、３３０ 人物、４００ 動画データ、４１０ 注目フレーム、４１２ 数値割当、４１４ 合計値、４２０ 過去フレーム、４３０ 過去フレーム、４３２ 数値割当、４４０ 過去フレーム、４４２ 数値割当、４５０ 過去フレーム、４５２ 数値割当、５００ 表示画像、５１０ 移動者オブジェクト、５２０ 滞留者オブジェクト、１２００ コンピュータ、１２１０ ホストコントローラ、１２１２ ＣＰＵ、１２１４ ＲＡＭ、１２１６ グラフィックコントローラ、１２１８ ディスプレイデバイス、１２２０ 入出力コントローラ、１２２２ 通信インタフェース、１２２４ 記憶装置、１２３０ ＲＯＭ、１２４０ 入出力チップ

Claims (11)

1. 動画データの複数のフレームのうちの注目フレームにおける予め定められた対象が存在する注目対象存在領域を特定する領域特定部と、
   前記注目対象存在領域と、前記複数のフレームのうちの、前記注目フレームよりも過去の複数の過去フレームにおける予め定められた対象が存在する過去対象存在領域とに基づいて、前記注目対象存在領域に存在する前記対象が移動しているか否かに関する情報を出力するよう制御する出力制御部と
   を備え、
   前記出力制御部は、
   前記注目対象存在領域及び前記複数の過去フレームのそれぞれにおける前記過去対象存在領域に第１の数値を割り当て、前記注目フレームにおける前記注目対象存在領域以外の領域及び前記複数の過去フレームのそれぞれにおける前記過去対象存在領域以外の領域に第２の数値を割り当てる数値割当部と、
   前記複数の過去フレームのそれぞれにおける前記注目対象存在領域に対応する領域に割り当てられた数値と、前記注目対象存在領域に割り当てられた数値とに基づいて、前記注目対象存在領域に存在する前記対象が移動しているか否かを判定する移動判定部と
   を有する、画像処理装置。
2. 前記移動判定部は、前記複数の過去フレームのそれぞれにおける前記注目対象存在領域に対応する領域に割り当てられた数値と、前記注目対象存在領域に割り当てられた数値との平均値が、予め定められた閾値より高い場合、前記対象が移動していないと判定し、低い場合、前記対象が移動していると判定する、請求項１に記載の画像処理装置。
3. 前記移動判定部は、前記注目フレームの領域毎に設定された閾値から、前記注目対象存在領域に対応する閾値を選択して、当該閾値と前記平均値とを比較することによって、前記対象が移動しているか否かを判定する、請求項２に記載の画像処理装置。
4. 前記移動判定部は、前記複数の過去フレームのそれぞれにおける前記注目対象存在領域に対応する領域に割り当てられた数値と、前記注目対象存在領域に割り当てられた数値との合計値が、予め定められた閾値より高い場合、前記対象が移動していないと判定し、低い場合、前記対象が移動していると判定する、請求項１に記載の画像処理装置。
5. 前記移動判定部は、前記注目フレームの領域毎に設定された閾値から、前記注目対象存在領域に対応する閾値を選択し、当該閾値と前記合計値とを比較することによって、前記対象が移動しているか否かを判定する、請求項４に記載の画像処理装置。
6. 前記出力制御部は、
   前記注目フレームの前記注目対象存在領域に対応する位置に、前記注目対象存在領域に存在する前記対象が移動しているか否かを示すオブジェクトを配置して、前記注目フレームを表示部に表示させるよう制御する表示制御部
   を有する、請求項１から５のいずれか一項に記載の画像処理装置。
7. 前記動画データは、閉空間を撮像することによって生成された動画データであり、
   前記表示制御部は、前記閉空間内の、移動している前記対象の数と、移動していない前記対象の数とを前記表示部に表示させるよう制御する、請求項６に記載の画像処理装置。
8. 前記予め定められた対象は、人物であり、
   前記閉空間は、食堂である、請求項７に記載の画像処理装置。
9. コンピュータを、請求項１から８のいずれか一項に記載の画像処理装置として機能させるためのプログラム。
10. カメラと、
    請求項１から８のいずれか一項に記載の画像処理装置と
    を備えるシステムであって、
    前記領域特定部は、前記カメラによって生成された前記動画データの前記複数のフレームのうちの前記注目フレームにおける前記注目対象存在領域を特定する、システム。
11. 動画データの複数のフレームのうちの注目フレームにおける予め定められた対象が存在する注目対象存在領域を特定する領域特定段階と、
    前記注目対象存在領域と、前記複数のフレームのうちの、前記注目フレームよりも過去の複数の過去フレームにおける予め定められた対象が存在する過去対象存在領域とに基づいて、前記注目対象存在領域に存在する前記対象が移動しているか否かに関する情報を出力するよう制御する出力制御段階と
    を備え
    前記出力制御段階は、
    前記注目対象存在領域及び前記複数の過去フレームのそれぞれにおける前記過去対象存在領域に第１の数値を割り当て、前記注目フレームにおける前記注目対象存在領域以外の領域及び前記複数の過去フレームのそれぞれにおける前記過去対象存在領域以外の領域に第２の数値を割り当てる数値割当段階と、
    前記複数の過去フレームのそれぞれにおける前記注目対象存在領域に対応する領域に割り当てられた数値と、前記注目対象存在領域に割り当てられた数値とに基づいて、前記注目対象存在領域に存在する前記対象が移動しているか否かを判定する移動判定段階と
    を有する、画像処理方法。

Images