JP6789741B2

JP6789741B2 - 情報処理装置及び方法

Info

Publication number: JP6789741B2
Application number: JP2016180621A
Authority: JP
Inventors: 智行柴田
Original assignee: Toshiba Corp; Toshiba Infrastructure Systems and Solutions Corp
Current assignee: Toshiba Corp; Toshiba Infrastructure Systems and Solutions Corp
Priority date: 2016-09-15
Filing date: 2016-09-15
Publication date: 2020-11-25
Anticipated expiration: 2036-09-15
Also published as: JP2018045510A

Description

本発明の実施形態は、情報処理装置及び方法に関する。

従来、プライバシ保護等の観点からストリーミング配信する映像中の顔領域を顔検出処理や追跡処理により検出し、顔領域にマスク処理を施してから配信する技術が提案されている。

ところで、首都圏の鉄道駅においては、列車の運行の遅れなどが発生した場合に、駅構内で混雑が発生し、利用者が駅に到着したとしてもスムーズに利用できない場合等も生じ得る。このような状況を避け、利用者の利便性向上に向けて、利用者に駅構内の混雑を把握させるために、インターネット等を介して駅構内の状況を配信することが提案されている。

駅構内の状況を配信する場合に、駅構内に配置されたポスターやデジタルサイネージなどの広告についての画像も同時に配信されることとなる。しかしながら、駅構内を撮影するための撮像装置（カメラ）は、全ての場所を均等に撮影するように配置されているわけではないので、配信される画像に含まれる広告は偏ったものとなり、広告主によっては不公平感をぬぐえないものとなる。

したがって、駅構内の状況を配信する画像から広告を除くことが好ましいが、広告のデザインには、様々な態様が存在し、人の顔のように共通の特徴で記述できるものでは無いため、自動的に抽出して、マスク処理を行うのは容易でない。

一方、マニュアル作業により人手で広告位置を特定し、マスク処理を行うことも考えられるが、広告は日々更新されるのが一般的であるため、その作業量は膨大なものとなる。

国際公開第２０１６／０８８５８３号

そこで、本発明が解決しようとする課題は、より簡易な作業で、撮像装置により撮像した画像に含まれる広告画像を特定し、マスク処理等の対象領域処理を施すことが可能な情報処理装置及び方法を提供することにある。

実施形態の情報処理装置は、所定画像の領域である所定領域を指定させるユーザ入力部と、指定された所定領域に含まれる所定画像と同一の所定画像が含まれる他の所定領域を、画像から検索する領域検索部と、指定された所定領域及び領域検索部により検索された所定領域に、少なくとも、塗りつぶし処理、モザイク処理あるいは重畳表示処理のいずれか一つを行う対象領域処理を施す領域更新部と、領域検索部により検索された所定領域を類似候補領域として表示するとともに、領域検索部により検索された所定領域を類似候補領域として提示するに際し、指定された所定領域との類似度の高い順で複数の類似候補領域を提示する表示部と、を備え、ユーザ入力部は、表示された類似候補領域のそれぞれを処理対象として登録する確認指示を、オペレータに入力させ、領域更新部は、指定された所定領域及び処理対象として登録する確認指示が入力された類似候補に対して、対象領域処理を施す。

図１は、実施形態の情報処理装置を備えた駅混雑状況配信システムの概要構成ブロック図である。図２は、情報処理装置の概要構成ブロック図である。図３は、情報処理装置本体の概要構成ブロック図である。図４は、実施形態の情報処理装置の機能ブロック図である。図５は、実施形態の処理フローチャートである。図６は、画像データに対応する画像の一例の説明図である。図７は、処理対象指定画面の一例の説明図である。図８は、処理対象領域確認画面の説明図である。図９は、画像領域間の類似度の算出処理の処理フローチャートである。図１０は、類似領域登録画面の説明図である。図１１は、類似表示操作画面の説明図である。図１２は、撮影画像に歩行者の画像が広告画像内に位置している場合の処理の説明図である。図１３は、配信用画像（配信用画像データ）の一例を説明する図である。

次に実施形態について図面を参照して説明する。
図１は、実施形態の情報処理装置を備えた駅混雑状況配信システムの概要構成ブロック図である。
駅混雑状況配信システム１０は、駅構内の各部（改札、切符売り場、ホーム、駅内通路等）に配置され所定の監視対象領域の撮像を行い、撮像データを出力する複数のカメラ１１と、複数のカメラ１１が出力した撮像データを収集、管理し、所定の送信タイミング毎に送信するカメラサーバ１２と、カメラサーバ１２が送信した撮像データ及びデータベース（広告データベース）１３に格納した広告データに基づいて配信対象の画像データである配信画像データを生成する情報処理装置１４と、情報処理装置１４とインターネット等の通信ネットワーク１５を介して接続され、情報処理装置１４から配信画像データがアップロードされるＷＥＢサーバ１６と、通信ネットワーク１５に接続されて、ＷＥＢサーバ１６から配信される配信画像データをスマートフォン等として構成された移動端末装置１７に無線通信により配信する複数の無線基地局１８と、を備えている。

図２は、情報処理装置の概要構成ブロック図である。
情報処理装置１４は、いわゆるコンピュータとして構成され、大別すると、情報処理装置本体２１と、情報処理装置本体２１の制御下で各種情報を表示する表示装置２２と、キーボード、マウス、タッチパネルなどのユーザインタフェースを備え、各種指示、各種データの入力を行うための入力装置２３と、ハードディスクドライブ、ＳＳＤ（Solid State Disk）等としてハードウェア的に構成され、各種データベース等を記憶する記憶装置２４と、外部機器との通信インタフェース動作を行う通信インタフェース装置２５と、を備えている。

図３は、情報処理装置本体の概要構成ブロック図である。
上記構成において、情報処理装置本体２１は、情報処理装置本体２１全体の制御を行うＭＰＵ３１と、ＭＰＵ３１が実行する制御プログラム、各種データ等を不揮発的に記憶するＲＯＭ（Read Only Memory）３２と、ＭＰＵ３１のワーキングエリアとしても利用され、各種データを一時的に記憶するＲＡＭ３３と、各種データを不揮発的に更新可能に記憶するＥＥＰＲＯＭ３４と、各種インタフェース動作を行うインタフェース部３５と、各部を通信可能に接続する通信バス３６と、を備えている。

図４は、実施形態の情報処理装置の機能ブロック図である。
情報処理装置１４の機能としては、ユーザに配信処理（主としてマスク処理）対象の領域（広告領域）を特定させるための情報を提供し、特定を促すための各種処理を実現するユーザ入力部４１と、撮像画像中の配信処理対象の領域を登録する領域登録部４２と、領域登録部４２において登録された配信処理対象の領域を含む撮像画像及び他の撮像画像中において、登録された配信処理対象の領域と同一の領域とみなせる他の配信処理対象の領域を検索する領域検索部４３と、配信処理対象の領域を随時更新する領域更新部４４と、更新された配信処理対象の領域に基づいて配信対象の配信画像を生成し出力する出力部４５と、を備えている。

次に実施形態の動作を説明する。
図５は、実施形態の処理フローチャートである。
まず情報処理装置１４は、ユーザ入力部４１として機能し、カメラサーバ１２から配信処理対象の画像データ（カメラ１１が出力した撮像データ）を取得し、データベース（広告データベース）１３に格納する（ステップＳ１１）。

次にユーザ入力部４１として機能している情報処理装置１４は、データベース１３に格納されている画像データのうち、入力装置２３を介して入力されるユーザの指示あるいは予め設定された選択条件に基づいて、処理対象データを選択する（ステップＳ１２）。

さらにユーザ入力部１４として機能している情報処理装置１４は、選択した処理対象データを表示装置２２に表示し、配信処理としてのマスク処理を施すべき広告領域を処理対象領域として指定するように促す（ステップＳ１３）。

図６は、画像データに対応する画像の一例の説明図である。
図６は、駅構内５０に配置されたいずれかのカメラ１１により撮像された撮像データに対応する画像Ｇ１の一例であり、駅構内５０には、壁５１、壁５２、柱５３及び通路５４が設けられているのがわかる。

壁５１には、広告Ａの広告媒体（ポスター）６１及び広告Ｂの広告媒体（ポスター）６２が貼付されている。また壁５２には、広告Ａの広告媒体（ポスター）６３が貼付されている。また柱５３のある一面には、広告Ｃの広告媒体（ポスター）６４が貼付され、他の一面には、広告Ｄの広告媒体（ポスター）６５が貼付されている。
さらに通路５４上を、複数の歩行者７１Ａ〜７１Ｊが行き来している。

図７は、処理対象指定画面の一例の説明図である。
処理対象指定画面Ｇ２は、処理対象の広告表示領域を含む画像領域の選択をオペレータに促すためのメッセージが表示されたメッセージ表示領域画面Ｇ２１と、図６に示した画像Ｇ１が表示された作業領域画面Ｇ２２と、を備えている。

これにより、オペレータは、処理対象指定画面Ｇ２上のメッセージ表示領域画面Ｇ２１に表示されたメッセージに従って、処理対象領域である広告表示領域を含む画像領域を入力装置２３を介して指定する（ステップＳ１４）。
この場合において、広告表示領域を含む画像領域の指定としては、広告が表示されている領域の周囲をユーザがマウス、タッチペンなどにより多角形状（六角形状、長方形状、正方形状等）に囲むことにより処理対象領域である広告表示領域を指定すればよい。

オペレータによる処理対象領域を含む画像領域の指定がなされると、次に情報処理装置１４は、オペレータに処理対象領域の確認を促すために処理対象領域確認画面Ｇ３を表示する（ステップＳ１５）。

図８は、処理対象領域確認画面の説明図である。
情報処理装置１４は、表示画面を処理対象領域確認画面Ｇ３に遷移する。
処理対象領域確認画面Ｇ３は、図８に示すように、処理対象領域の確認のための登録操作を促すための各種情報が表示された登録操作情報画面Ｇ３１と、実際に登録操作を行うための登録操作画面Ｇ３２と、を備えている。

登録操作情報画面Ｇ３１は、ユーザが選択した処理対象領域である広告表示領域を含む画像領域を示す選択領域表示画面Ｇ３１１と、図６で示した画像Ｇ１の取得時に稼働中であったカメラ１１において撮像された画像のうち、選択領域表示画面Ｇ３１１に表示されている広告表示領域の画像に類似の画像を含む領域数を表示する類似領域数表示画面Ｇ３１２と、ユーザが処理対象を確定するための処理内容と当該処理内容の実行を促すメッセージを表示するメッセージ表示領域Ａ１と、図６で示した画像Ｇ１の取得時に稼働中であったカメラ１１の台数及び類似領域数表示画面Ｇ３１２に表示されている数が類似領域数であることを通知するメッセージを表示するメッセージ表示領域Ａ２と、を備えている。

登録操作画面Ｇ３２は、選択中の画像領域に含まれる広告表示領域であることを示すために表示態様が変更された広告表示領域Ａ３と、広告表示領域Ａ３に類似する広告類似表示領域であることを示すために表示態様が変更された広告類似表示領域Ａ４と、広告表示領域の選択をオペレータが行うための登録ボタンＢ１と、が表示されている。

この場合において広告表示領域Ａ３及び広告類似表示領域Ａ４の表示態様の変更としては、所定の色の枠で囲むようにする表示態様、領域を点滅する表示態様など任意の態様が考えられる。

そして情報処理装置１４は、処理対象領域確認画面Ｇ３上で、オペレータにより登録ボタンＢ１がクリックされ、処理対象領域である広告表示領域の確認指示がなされたか否かを判別する（ステップＳ１６）。

ステップＳ１６の判別において、オペレータによる登録ボタンＢ１のクリックがなされず処理対象の確認指示が未だなされていない場合には（ステップＳ１６；Ｎｏ）、待機状態となる。

ステップＳ１６の判別においてオペレータにより登録ボタンＢ１がクリックされ、処理対象領域である広告表示領域の確認指示がなされた場合には（ステップＳ１６；Ｙｅｓ）、情報処理装置１４は領域登録部４２として機能し、処理対象領域である広告表示領域をデータベース１３に登録する。

さらに情報処理装置１４は、領域検索部４３として機能し、他の広告表示領域をカメラ１１により撮像された他の画像から検索するために、指定された広告表示領域の中に含まれる広告画像の局所特徴量を抽出する（ステップＳ１７）。

この場合において、抽出する局所特徴量としては、例えば、ＨＯＧ(Histograms of Oriented Gradients)、ＳＩＦＴ（Scale Invariant Feature Transform）、ＳＵＲＦ(Speeded Up Robust Features)，ＫＡＺＥ等が挙げられる。

次に情報処理装置１４は、抽出した局所特徴量に基づいて、ステップＳ１３で指定された処理対象領域である広告表示領域と同一の画像を含む類似候補領域画像（広告画像；同一広告画像）を他の処理対象の撮像画像中から抽出する（ステップＳ１８）。

本実施形態において、「同一」の意味するところは、物理的な同一に限らず、同一と見做せるという概念も含むものであり、「同一の画像（広告）」の意味することは、外観的に同一という意味のみならず、概念的に同一と見做せる画像（広告）も含むものである。例えば、同一の広告を違う角度から撮像した複数の画像は、同一の画像として取り扱われる。また、主要部部分は同一の画像の広告であるが、付記的部分が異なる様な広告（亜種広告）も同一の広告として取り扱われる。
同一広告画像の抽出に用いる類似画像検索技術としては、例えば、Ｂａｇｏｆ
ＶｉｓｕａｌＷｏｒｄｓ、ＢａｇｏｆＦｅａｔｕｒｅ等の技術が挙げられる。

また対象の広告が平面であると仮定できる場合、より精度の高い対応付けを行うために、幾何情報を用いた対応付けを行ってもよい。広告画像と、処理対象の広告画像候補との間で局所特徴量同士の対応付けを行い、対応付けられたペアの集合から、処理対象の広告画像候補との間の幾何変換を表す射影変換行列を推定する。

ここで、射影変換行列は、４点以上の局所特徴量のペアから算出でき、対象が平面である場合に計算可能である。推定した幾何変換から大きく外れる対応ペアは除外した後、画像間の類似度を算出する。どちらかの画像を射影変換し、テンプレートマッチングを行ってもよいし、対応付けられた局所特徴間の類似度の平均を画像間の類似度としてもよい。

ここで、画像領域間の類似度の算出について説明する。
図９は、画像領域間の類似度の算出処理の処理フローチャートである。
本実施形態においては、画像領域間の類似度の算出には、両画像領域間の類似性と、両画像が広告画像であることから一般的に文字が含まれると考えられるので情景文字認識技術を用いて算出を行っている。

換言すれば、外観が類似しており、使用されている文字も似たような文字列を含んだ画像であれば、類似度が高い、すなわち、同一の広告画像である可能性が高いとしているのである。

次に具体的な処理を説明する。
まず情報処理装置１４は、オペレータが選択した画像の局所特徴量と、類似候補領域画像の局所特徴量に基づいて類似画像検索技術を用いて外観類似度（見え方の類似性）を検出する（ステップＳ３１）。
外観類似度の検出においては、文字列の有無を判断することなく、文字列が含まれていても単純に画像として似ているか否かを判別するための類似度を検出するのである。

一方、情報処理装置１４は、外観類似度の検出と並行して、すなわち、オペレータが選択した画像及び類似候補領域画像のそれぞれに含まれる情景文字列（撮像画像に含まれる文字列）を検出する（ステップＳ３２）。
そして情景文字列が検出された場合には情景文字の認識（文字認識：ＯＣＲ）を行う（ステップＳ３３）。

そして各画像において認識された文字列の類似度（同一の文字列が含まれている同様の数含まれている割合）を検出する（ステップＳ３４）。
すなわち、同一の広告画像であれば、同一の文字列が含まれているのが当然であり、文字列の類似度が高いほど、同一の広告画像である確率が高いからである。

そして、情報処理装置１４は、算出した外観類似度及び文字列類似度に基づいて、画像領域間の類似度を検出する（ステップＳ３５）。
すなわち、外観類似度及び文字列類似度の双方が高ければ、画像領域間の類似度が高く、同一の広告画像である確率が高いと判別し、少なくともいずれか一方が低ければ画像領域間の類似度が低く、同一の広告画像である確率が低いと判別する。

そして、情報処理装置１４は、画像領域間の類似度が所定の閾値類似度より高い画像を類似候補領域画像として抽出することとなる。

そして類似候補領域画像の抽出が完了すると、情報処理装置１４は、領域更新部４４として機能し、抽出した類似候補領域画像を類似領域登録画面に表示し（ステップＳ１９）、オペレータに類似領域に対する処理を選択させる（ステップＳ２０）。

ここで、オペレータに類似領域に対する処理を選択させる第１の理由は、広告によって特徴量が大きく異なるとともに、カメラ１１の配置によって見え方が大きく異なるため、自動的に識別することが非常に困難だからである。さらに、部分的に異なる広告（亜種）についても実際的には同一の広告であると判定するのが好ましいが、処理上は特徴量が異なるため自動的に同一の広告であるとは判定されない虞があるため、オペレータにこのような広告も同一の広告であるとして選択させる方が効率的に処理が行えると考えられるからである。

第２の理由は、広告としては自動的に認識できる対象であっても、その内容によっては、配信画像から除去する必要がないものがあるため、これを処理対象から除外するためである。例えば、駅構内監視システムにおいては、当該駅を管理している鉄道会社の広告について除去する必要がないのでこれを指定する。

第３の理由は、デジタルサイネージは、広告を更新しつつ表示しているため、カメラ１１の撮影タイミングによって同一のデジタルサイネージ装置であっても表示している広告内容が異なり、処理対象が確定できない虞があるためである。

図１０は、類似領域登録画面の説明図である。
類似領域登録画面Ｇ４は、大きく二つの画面に分けられており、既にオペレータにより登録された登録領域を表示する登録領域表示画面Ｇ４１と、登録領域に対応する類似領域を表示する類似領域表示画面Ｇ４２と、を備えている。

登録領域表示画面Ｇ４１は、同時に複数（図９では、二つ）の登録領域を表示する既登録領域表示画面Ｇ４１１、Ｇ４１２と、現在表示されている既登録領域以外の他の既登録領域をスクロールして表示させるための操作を行うためのスクロール操作領域Ｇ４１３と、を備えている。

既登録領域表示画面Ｇ４１１、Ｇ４１２は、同一構成であり、対応する既登録領域を撮像したカメラを特定するためのカメラＩＤを表示するカメラＩＤ表示領域Ａ１１と、既登録領域を含む周囲画像を表示する既登録領域画像表示領域Ａ１２と、を備えている。

一方、類似領域表示画面Ｇ４２は、類似領域の表示条件を表示する表示条件表示画面Ｇ４２０と、それぞれが抽出した類似領域を表示し、類似領域として登録するかをオペレータに操作させるための複数（図９では、五つ）の類似表示操作画面Ｇ４２１〜Ｇ４２５と、を備えている。
ここで、類似表示操作画面Ｇ４２１〜Ｇ４２５は、同一構成であるので、類似表示操作画面Ｇ４２１を例として説明する。

図１１は、類似表示操作画面の説明図である。
類似表示操作画面Ｇ４２１は、情報処理装置１４が抽出した登録領域に類似した領域の画像を表示する類似候補画像表示領域Ａ２１と、類似候補画像表示領域Ａ２１に表示した画像を撮像したカメラを特定するためのカメラＩＤを表示するカメラＩＤ表示領域Ａ２２と、類似候補画像表示領域Ａ２１に表示された画像を類似画像であるとし処理対象の画像として登録するための操作を行う登録ボタンＢ１１と、類似候補画像表示領域Ａ２１に表示された画像がデジタルサイネージ（Ｄ−Ｓ）の画像であるとして例外処理の登録を行うためのデジタルサイネージ登録ボタンＢ１２と、類似候補画像表示領域Ａ２１に表示された画像がのぼり旗、垂れ幕などの一時的に設置された広告の画像であるとして例外処理の登録を行うための、のぼり登録ボタンＢ１３と、類似候補画像表示領域Ａ２１に表示された画像を、類似画像ではないとして処理対象の画像から除外するための操作を行う除外ボタンＢ１４と、を備えている。

上記構成において、デジタルサイネージ登録ボタンＢ１２が登録状態とされた場合には、同一カメラＩＤの同一の撮像領域では、画像内容にかかわらず類似画像であるとみなして処理対象の画像として登録がなされる。したがって、表示内容に関わらず、配信画像に表示がなされることはない。

のぼり登録ボタンＢ１３が登録状態とされた場合には、風などで広告形状が変動しやすいため、形状が多少異なっても登録画像であるとみなして処理対象の画像とするように登録がなされる。

除外ボタンＢ１４が登録状態とされた場合には、類似候補画像表示領域Ａ２１に表示された画像が類似であったとしても、常に処理対象の画像から除外して、配信画像にそのまま含めるとする登録がなされる。従って、自社の広告（本例の場合、例えば、鉄道会社の広告）はそのまま配信画像に表示されて配信されることとなる。

続いて情報処理装置１４は、処理内容の指定が確定したか否かを判別する（ステップＳ２１）。
ステップＳ２１の判別において、処理の内容の指定が確定していない場合には（ステップＳ２１；Ｎｏ）、再び処理をステップＳ２０に戻して待機状態となる。

ステップＳ２１の判別において、処理内容の指定が確定した場合には（ステップＳ２１；Ｙｅｓ）、情報処理装置１４は、処理対象領域である類似画像（広告として同一の広告であるとみなされた広告画像）に対する対象領域処理を行うを行う（ステップＳ２２）。

この場合において処理対象の領域である類似画像、すなわち、オペレータが処理対象として指定した広告と、同一の広告であるとされた広告画像に対する対象領域処理としては、例えば、広告画像を塗りつぶす塗りつぶし（インペイント）処理、広告画像をモザイク画像とするモザイク処理、当該広告画像の表示領域に自社広告画像などの予め準備した所定の画像を重畳する重畳表示処理などが挙げられ、少なくとも、塗りつぶし処理、モザイク処理あるいは重畳表示処理のいずれか一つを行うようにすれば良い。

ここで対象領域処理として予め準備した所定の画像を重畳する場合には、処理対象の領域である類似画像である広告画像がカメラ１１に対して斜めに位置している場合のように処理対象領域が傾いて変形している場合等には、予め準備した所定の画像を検出した処理対象領域の傾きに基づいて射影変換した画像を重畳するようにしてもよい。

また、上記類似画像に対する処理において、人が広告前を通過したタイミングでカメラ１１により撮像がなされた場合等のように、処理対象領域である類似画像内に歩行者（人）が位置している場合には、歩行者検出により検出した歩行者の画像領域を除いた後の領域に対して対象領域処理を行う。

図１２は、撮影画像に歩行者の画像が広告画像内に位置している場合の処理の説明図である。
図１２（ａ）に示すように、広告画像Ｇ５１前に歩行者７１Ｘが位置している場合には、図１２（ｂ）に示すように広告画像Ｇ５１に対応する長方形状の領域から歩行者７１Ｘの画像が重なっている領域を除いた処理対象領域Ａ５１となる。

次に広告画像に対する処理が終了した画像に対し、情報処理装置１４は、配信用画像生成処理を行う（ステップＳ２３）。
具体的には、プライバシの保護のため、図１２（ａ）に示した歩行者７１Ｘの画像が表示されていた位置に当該歩行者を特定出来ないように歩行者を表す画像（アバター画像）７１ＸＡに置換して、図１２（ｃ）に示すように表示して配信用画像とする。

図１３は、配信用画像（配信用画像データ）の一例を説明する図である。
図１３は、図６に示した撮像画像に配信用画像生成処理を行ったものであり、図６に示した広告Ａの広告媒体６１、広告Ａの広告媒体６３、広告Ｃの広告媒体６４及び広告Ｄの広告媒体６５については、処理対象としてオペレータに指定され、広告Ｂの広告媒体６２については処理対象から除外することがオペレータから指定された場合のものである。
この場合において、処理対象の領域である広告画像については、対象領域処理として塗りつぶしの処理が指定されている。

配信用画像Ｇ６において、広告Ａの広告媒体６１、広告Ａの広告媒体６３、広告Ｃの広告媒体６４及び広告Ｄの広告媒体６５の表示位置には、処理対象領域として塗りつぶしがなされ処理画像６１Ｐ、６３Ｐ、６４Ｐ、６５Ｐが表示される。

また、歩行者７１Ａ〜７１Ｊの画像が表示されていた位置には、配信用画像生成処理として当該歩行者を特定出来ないように歩行者を表す画像（アバター画像）７１ＡＡ〜７１ＪＡに置換されて表示がなされている。
なお、配信用画像生成処理としては、撮影時間等他の情報を追加するように処理することも可能である。

以上の説明のように、本実施形態によれば、オペレータは、処理対象の広告画像について一つ指定すれば、情報処理装置１４が同一の広告画像を可能な限りカメラ１１の撮像画像から類似候補画像として抽出してくれ、オペレータは類似候補画像を同一の広告画像であると指示するだけで、同一性の高い広告画像に対するマスク処理等の配信用画像作成処理を行わせることができ、オペレータの作業量を低減しつつ、所望の配信用画像データを作成することができる。

以上の説明においては、配信処理の対象となる画像領域が広告領域である場合について説明したが、これに限らず所定の画像領域（＝所定領域）、例えば、所定のマーク（商標、ロゴマーク等）が表示されている領域、所定の人物写真が表示されている領域、選挙ポスター等任意の画像（＝所定画像）が含まれる画像領域に対しても同様に適用が可能である。

以上の説明においては、配信用画像生成処理として、歩行者を表す画像（アバター画像）に置換する処理を行っていたが、これに代えて、歩行者を特定出来ないように歩行者の画像にモザイク処理を施したり、ぼかし処理を施したりすることも可能である。

以上の説明においては、カメラ１１により撮像した画像をデータベース１３に格納する構成を採っていたが、情報処理装置１４の記憶装置２４、ＲＡＭ３３あるいはＥＥＰＲＯＭ３４に記憶する構成を採ることも可能である。

以上の説明においては、配信用画像データの作成において、抽出された類似画像に対して施す対象領域処理については、塗りつぶし（インペイント）処理、モザイク処理、重畳表示処理を例として挙げたが、これに限定されるものではなく、配信用画像において元の広告用画像が認識できないような処理であれば、様々な処理が適用可能である。

以上の説明においては、類似候補画像の抽出に際し、対応するカメラ１１の撮像画像に何ら制限を設けていなかったが、広告媒体の更新時期（張り替え時期）などの情報を用いて、更新がなされた場所を含む撮像画像のみを類似候補画像の抽出対象として選択するように構成することも可能である。これによれば、より一層の作業量の低減が図れる。

以上の説明においては、情報処理装置１４とは別個にカメラサーバ１２、データベース１３及びＷＥＢサーバ１６を設ける構成としていたが、カメラサーバ１２、データベース１３及びＷＥＢサーバ１６（の機能）のうち、少なくともいずれか一つ（の機能）を情報処理装置１４として一体に設けるように構成することも可能である。

本実施形態の情報処理装置で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（ＤｉｇｉｔａｌＶｅｒｓａｔｉｌｅＤｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録されて提供されるようにしても良い。

また、本実施形態の情報処理装置で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態の情報処理装置で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
また、本実施形態のプログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。

本実施形態の情報処理装置で実行されるプログラムは、上述した各部（ユーザ入力部、領域登録部、領域検索部、領域更新部、出力部）を含むモジュール構成となっており、実際のハードウェアとしてはＭＰＵ（プロセッサ）が上記記憶媒体からプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされユーザ入力部、領域登録部、領域検索部、領域更新部、出力部…が主記憶装置上に生成されるようになっている。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１０駅混雑状況配信システム
１１カメラ
１２カメラサーバ
１３データベース
１４情報処理装置
１５通信ネットワーク
１６ＷＥＢサーバ
１７移動端末装置
１８無線基地局
２１情報処理装置本体
２２表示装置
２３入力装置
２４記憶装置
２５通信インタフェース装置
３１ＭＰＵ
３２ＲＯＭ
３３ＲＡＭ
３４ＥＥＰＲＯＭ
３５インタフェース部
３６通信バス
４１ユーザ入力部
４２領域登録部
４３領域検索部
４４領域更新部
４５出力部
Ａ１２既登録領域画像表示領域
Ａ２１類似候補画像表示領域
Ａ５１処理対象領域
Ａ１メッセージ表示領域
Ａ２メッセージ表示領域
Ａ３広告表示領域
Ａ４広告類似表示領域
Ｂ１１登録ボタン
Ｂ１２デジタルサイネージ登録ボタン
Ｂ１３のぼり登録ボタン
Ｂ１４除外ボタン
Ｇ１画像
Ｇ２処理対象指定画面
Ｇ３処理対象領域確認画面
Ｇ４類似領域登録画面
Ｇ６配信用画像
Ｇ２１メッセージ表示領域画面
Ｇ２２作業領域画面
Ｇ３１登録操作情報画面
Ｇ３２登録操作画面
Ｇ４１登録領域表示画面
Ｇ４２類似領域表示画面
Ｇ５１広告画像
Ｇ３１１選択領域表示画面
Ｇ３１２類似領域数表示画面
Ｇ４１１既登録領域表示画面
Ｇ４１３スクロール操作領域
Ｇ４２０表示条件表示画面
Ｇ４２１〜Ｇ４２５類似表示操作画面

Claims

所定画像の領域である所定領域を指定させるユーザ入力部と、
前記指定された所定領域に含まれる前記所定画像と同一の所定画像が含まれる他の所定領域を、画像から検索する領域検索部と、
前記指定された所定領域及び前記領域検索部により検索された所定領域に、少なくとも、塗りつぶし処理、モザイク処理あるいは重畳表示処理のいずれか一つを行う対象領域処理を施す領域更新部と、
前記領域検索部により検索された所定領域を類似候補領域として表示するとともに、前記領域検索部により検索された所定領域を類似候補領域として提示するに際し、前記指定された所定領域との類似度の高い順で複数の前記類似候補領域を提示する表示部と、を備え、
前記ユーザ入力部は、前記表示された類似候補領域のそれぞれを処理対象として登録する確認指示を、オペレータに入力させ、
前記領域更新部は、前記指定された所定領域及び前記処理対象として登録する確認指示が入力された類似候補に対して、前記対象領域処理を施す、
情報処理装置。
前記表示部は、前記ユーザ入力部を介して前記所定画像が表示された領域である所定領域を指定させる画像を表示する、
請求項１に記載の情報処理装置。
前記表示部は、前記複数の前記類似候補領域を提示するに際し、前記指定された所定領域の画像と同時に表示する、
請求項１又は請求項２に記載の情報処理装置。
前記表示部により提示される画像は、前記オペレータが指定し、あるいは、予め指定された条件に基づいて選択される、
請求項１乃至請求項３のいずれか一項に記載の情報処理装置。
前記対象領域処理が施された画像に配信用画像生成処理を行って配信用画像として出力する出力部を備えた、
請求項１乃至請求項４のいずれか一項に記載の情報処理装置。
前記出力部は、前記提示された類似候補領域のうち前記ユーザ入力部を介して前記オペレータから除外の指示がなされた類似候補領域については、前記配信用画像生成処理を施すことなく前記配信用画像に含める、
請求項５に記載の情報処理装置。
前記対象領域処理が施された画像は、人の画像を含むものであり、
前記出力部は、前記配信用画像生成処理において、前記人の画像を当該人が特定出来ない前記人を表す画像に置き換える、
請求項５または請求項６に記載の情報処理装置。
複数のカメラと通信ネットワークを介して接続され、前記複数のカメラで撮像された複数の画像を取得するカメラサーバを更に備え、
前記領域検索部は、前記複数の画像から前記他の所定領域を検索する
請求項１乃至請求項７のいずれか一項に記載の情報処理装置。
前記配信用画像を通信ネットワークを介して配信するＷＥＢサーバを更に備える請求項５乃至請求項７のいずれか一項に記載の情報処理装置。
前記所定画像は広告画像であり、
前記所定領域は前記広告画像の領域である、
請求項１乃至請求項９のいずれか一項に記載の情報処理装置。
各種情報を表示する表示部を備え、画像を処理する情報処理装置で実行される方法であって、
所定画像の領域である所定領域を指定させる過程と、
前記指定された所定領域に含まれる前記所定画像と同一の所定画像が含まれる他の所定領域を、画像から検索する過程と、
前記指定された所定領域及び前記検索された所定領域に、少なくとも、塗りつぶし処理、モザイク処理あるいは重畳表示処理のいずれか一つを行う対象領域処理を施す過程と、
前記検索された所定領域を類似候補領域として前記表示部に表示するとともに、前記検索された所定領域を類似候補領域として提示するに際し、前記指定された所定領域との類似度の高い順で複数の前記類似候補領域を提示する過程と、
前記表示された類似候補領域のそれぞれを処理対象として登録する確認指示を、オペレータに入力させる過程と、を備え、
前記対象領域処理を施す過程において、前記指定された所定領域及び前記処理対象として登録する確認指示が入力された類似候補に対して、前記対象領域処理を施す、
方法。