JP6419749B2 - 撮影システムおよび画像や映像の表示方法 - Google Patents

Description

本発明の実施形態は、撮影対象内にプライバシー情報が含まれ得る撮影システムおよび画像や映像の表示方法に関する。

公共施設や人が集まる場所で撮影された画像や映像内には、プライバシー情報に属する人物の顔や体形そしてその所有物や服装が含まれる場合が多い。そしてその画像や映像に対して不特定多数者の閲覧が可能な場合は特に、個人のプライバシー保護を配慮する必要が有る。

所で上記画像や映像内の人物の顔や服装の特徴から、個人の特定やその人物の所属団体の特定が可能となる。従って個人や所属団体のプライバシー保護の観点から、撮影された画像や映像からの人物特定や所属団体の特定を困難にする技術が求められている。

特開２００９−１９４６８７号公報 特開２００４−６２５６０号公報

撮影された画像や映像に処理を施してプライバシー保護する技術として特許文献１では、画像内の顔の場所を検出し、顔又はその背景の画像領域にモザイク・ぼかし・塗り潰し等のプライバシーマスク処理を施している。また特許文献２でも画像内の顔の場所を検出し、顔画像部のみにモザイク処理を施すと共に、顔以外の服装や所持品では鮮明な画像表示を行っている。

そしていずれの先行技術でも、顔画像位置の検出技術が共通に採用されている。ここで一般的に用いられる顔画面位置検出技術では、撮影された画像や映像内の顔のパーツ（目、鼻、口、眉毛、耳など）形状間の配置関係を利用する場合が多い。

すると上記顔画像位置検出技術では、例えば前面に配置された障害物で顔の一部が隠された場合には顔画像と認識されず、顔の一部が鮮明画像の状態で表示される危険性が有る。従って上述した従来技術では、画像や映像の内容に拠ってはプライバシー保護機能が不充分な場合が発生する。

そのため撮影された画像や映像の内容に拠らず、安定したプライバシー保護を可能とする撮影システムおよび画像や映像の表示方法の提供が求められる。

本実施形態における撮影システムとしては、撮影された原画像内のプライバシー情報に関係する領域をプライバシー加工し、プライバシー情報を含まない無人画像領域とで合成して表示もしくは送信する。

また本実施形態における画像や映像の表示方法としては、撮影された原画像内のプライバシー情報に関係する領域内はプライバシー加工後の画像を表示し、無人画像領域内は原画像を表示する。

そしてその結果として、顔の一部しか表示されない原画像領域内もプライバシー情報に関係する領域内と認識され、プライバシー加工された画像が表示される。

従来技術の課題例説明図。 撮影された原画像内の領域説明図。 無人画像の生成方法の一例説明図。 プライバシー情報に関係する領域抽出法の一例説明図。 プライバシー加工された画像の生成方法一例の説明図。 本実施形態で表示または送信される画像の表示形態例説明図。 プライバシー情報に関係する領域内の動きを表現した応用例説明図。 プライバシー情報に関係する領域内の重なり部を表現した応用例。 プライバシー情報に関係する領域内で体範囲の色を変更した応用例。 本実施形態における撮影システム内構成の説明図。 通信経路を経由した本実施形態における撮影システム説明図。 通信経路を経由した撮影システムの応用例説明図。 撮影システム内で実行されるプログラム内アーキテクチャ説明図。 無人画像を生成する流れを示すフローチャート説明図。 送信／表示する画像の生成までを示すフローチャート説明図。 移動情報履歴に関する管理情報の一例を示すデータ構造説明図。 画像履歴に関する管理情報の一例を示すデータ構造説明図。 混雑履歴に関する管理情報の一例を示すデータ構造説明図。

以下、図面を参照しながら実施形態を説明する。従来技術を用いて画像に対してプライバシー保護をした場合の問題点に付いて、上記に説明した。さらに図１を用い、上述した問題点を具体的に説明する。

図１（ａ）は、撮影された原画像の例１０を示す。ここでは撮影された原画像１０内に、人物２、４、６が表示されている。特に撮影された原画像内人物４が持つ棒などの障害物（棒など）の影響で、撮影された原画像内人物６の顔の一部が隠されている。

撮影された原画像１０（図１（ａ））に対して人物範囲検出２２を行った結果を、図１（ｂ）に示す。ここで人物範囲検出２２を行った部分を四角枠で示している。

従来技術のように顔画面位置検出技術のみを用いて人物範囲検出２２を行うと、撮影された原画像内人物６の顔の一部が隠されているため、撮影された原画像内人物６は人物として認識されない。

プライバシー加工（画像に対するプライバシー保護対策）の一例として、人物として認識された検出範囲にぼかし加工２４を施した後の画像を図１（ｃ）に示す。上記のように撮影された原画像内人物６が人物として認識されないため、その人の顔画像が鮮明に表示されてしまう。従って従来技術のように顔画面位置検出技術のみを用いたプライバシー保護対策では不充分となる事が分かる。

撮影された画像や映像を本実施形態では複数領域に分割し、その中の特定の領域に対してプライバシー加工を施す。なお本実施形態に対する説明の便宜上、以下では画像に特化した説明を行う。しかし本実施形態では下記に限らず、映像に関しても同様な実施形態が適用されても良い。本実施形態における領域毎の定義を、図２を用いて説明する。

図２に示す撮影された原画像３０に対し、プライバシー情報が含まれない領域を無人画像領域３４と呼ぶ。他方では撮影された原画像３０内で個人もしくは団体のプライバシー情報に関係する画像が含まれる領域をプライバシー情報に関係する領域３８と呼ぶ。図２の例では、原画像３０内に４人の人物が映っている。この４人の人物が表示された領域（画像内領域）と彼らに関係した物品（所持品など）や生物（例えば運搬中の植物やペットなどの動物）が表示された領域をプライバシー情報に関係する領域３８と呼び、無人画像領域３４と分離識別する。

ここでプライバシー情報に関係する領域３８内に含まれる人物とは、直近での特定可能な個人に限らず、不特定多数者も含まれる。仮に撮影直後は個人の特定が不可能な不特定多数者でも、この画像をネットワーク経由で別の不特定多数者に閲覧された時に個人を特定される危険性が有る。

また任意な人物や組織・団体の全ての帰属品が撮影／表示された領域を、本実施形態でのプライバシー情報に関係する領域３８に含めても良い。例えば原画像３０に映らない人物の帰属品（携行品や所有物）が一時的に撮影現場に放置されて原画像３０内に映った領域も、プライバシー情報に関係する領域３８に含めても良い。なぜなら親しい人が鞄や帽子、メガネなどの愛用品を見れば所有者（帰属相手）の予想が付き、プライバシー情報に関係する。

所でプライバシー情報に関係する任意な組織や団体の帰属品として国旗や旗章、徽章に限らず、そこに所属する人物の着用品（服や帽子、靴など）や所持品（組織・団特有の鞄や携行品など）も含まれる。

上記の無人画像領域３４には、
（１）無人状態で撮影された同一撮影現場の画像領域
（２）所定時間内で変化しない画像領域
（３）人物やその帰属品と認識／推定されない画像領域
などの特徴が有る。ここで上記の所定時間とは、１分から１ヶ月の範囲内、望ましくは１時間から１週間の範囲内を意味する。無人状態での撮影現場でも、ポスターの貼り替えや無料雑誌設置場所での在庫変化などで撮影された原画像３０が変化する。従ってそれらの画像変化期間を考慮して、上記所定時間の範囲が決まる。

一方では撮影された原画像３０内で上記の無人画像領域３４に含まれない全ての領域を、プライバシー情報に関する領域３８と見なしても良い。

本実施形態ではプライバシー情報が含まれない無人画像３２（図３（ｃ）を用いて後述）を事前に生成する。そしてその無人画像３２を参照して、撮影された原画像３０内のプライバシー情報に関係する領域３８を抽出する。それに拠り原画像内人物２、４、６の一部が重なる（顔の一部が隠される）状況が生じても、プライバシー加工後の画像内では顔（の一部）が鮮明に表示される事が無い。すなわち上記の表示方法を採用する事で、撮影された画像や映像の内容に拠らずに安定したプライバシー保護が可能となる。

本実施形態では上述した無人画像領域３４の特徴を利用し、図３（ｃ）に示す無人画像３２を生成する。すなわち上記（１）の特徴である“同一撮影現場での無人状態を撮影”する方法として例えば、夜中とか夜明け前などの人通りの無い時間帯で現場を撮影し、無人画像３２を取得しても良い。

また他の無人画像３２生成方法として、原画像３０の撮影時刻に近い時間帯に無人画像３２を生成する方法に付いて図３を用いて説明する。まず始めに上記（２）に記載した“所定時間内で変化しない”特徴のみを利用して無人画像３２を生成する方法例を示す。

図３（ａ）は人通りがある時間帯に撮影された原画像３０を示している。人通りがある時間帯に撮影されたため、原画像３０内には４人の移動人物４２、４４，４６，４８が映っている。ここで図３（ａ）のみの原画像３０では、移動人物４２，４４，４６，４８の後ろに隠れている無人画像３２の情報（図３（ｃ）に示す画像）は得られない。

次に、それよりも少し後に撮影された原画像３６を図３（ｂ）に示す。図３（ａ）に対して図３（ｂ）では移動人物４２，４４，４６，４８がそれぞれ移動した後で撮影されるため、図３（ａ）内では隠されていた（無人画像３２に対応した）部分の画像が見えている。その特徴を利用して、移動人物４２，４４，４６，４８が居無い時の無人画像３２（図３（ｃ））の生成が可能となる。

所で図３（ａ）と図３（ｂ）の原画像３０と３６間で異なる画像が表示された（すなわち両者間で画素値の差の絶対値が大きい）領域内には、“移動人物４２，４４，４６，４８のプライバシー情報に関係する画像”と“無人画像３２内の移動人物４２，４４，４６，４８の裏に隠された画像”のいずれかが映っている。図３には図示して無いが、図３（ｂ）よりも更に後に撮影された原画像も利用すると“無人画像３２内の移動人物４２，４４，４６，４８の裏に隠された画像”のみが抽出し易い。

すなわち撮影時刻を互いにずらして収集した３枚の原画像内の２枚の共通画素位置では、無人画像３２の一部が映っている場合が多い。従って画素位置毎に画素値の多数決を取ると、無人画像３２に対応した画像の抽出確率が向上する。

ここでは撮影時刻が互いに異なる３枚の原画像を用いて無人画像３２を生成する方法を説明した。しかしそれに限らず、４枚以上の原画像を用いて無人画像３２を生成しても良い。そして４枚以上の原画像を用いる事で、無人画像３２内の画素の抽出精度が向上する効果が有る。

所で図３に示した無人画像３２の生成方法では、移動人物４２，４４，４６，４８の中で極端に移動速度の遅い人物が含まれている場合に完全な無人画像３２が得られない場合が生じる。この様な場合には移動人物４２，４４，４６，４８の影に隠れた部分に対して画像補間処理を行う事で、生成された無人画像３２の精度を向上させても良い。

今までは撮影時刻が異なる複数の原画像３０、３６を用いて無人画像３２を生成する方法を説明した。しかし本実施形態ではそれに限らず、例えば図２に示す１枚のみの原画像３０に対して画像解析を行い、人物やその帰属品あるいは動物が含まれないと推定される領域を無人画像領域３４と判定しても良い。
また図３に示した無人画像３２の生成方法において、必ずしも原画像３０を撮影するカメラ（図８の撮像部１１２）は撮影現場に固定される必要は無い。例えば移動可能なカメラ（撮像部１１２）を用いて無人画像３２を生成しても良い。ここで移動可能なカメラ（撮像部１１２）で無人画像３２を生成する場合には、撮影現場で特定時間の間だけ移動可能なカメラ（撮像部１１２）を手で保持する事になる。最近は移動可能なカメラ（撮像部１１２）内に手振れ補正機能が備わっているため、カメラ（撮像部１１２）が多少揺れていても静止した画像を正確に収集することが可能となる。

原画像３０を撮影する現場内で、ポスターの張り替えや特定設備の設置／除去などレイアウト変更が激しい場所が有る。その場所で無人画像３２生成時刻と原画像３０を撮影時刻との乖離が激しい場合、張り替えられたポスターや配置換えした特定設備などに関する不要な画像までもプライバシー情報に関係する領域３８と誤検知される可能性が高い。従って図３に示した無人画像３２生成方法を採用する事で、無人画像３２生成時刻と原画像３０を撮影時刻との時間間隔を短くできる効果が有る。

標準的にはポスターなどは１〜２週間で張り替えられる場合が多いので、上記の時間間隔を１週間以内に設定する事が望ましい。またポスターを張り替える曜日や特定設備のレイアウト変更を実施する曜日は場所に拠り異なる。従って上記の時間間隔を１週間以内に設定しても、無人画像３２生成日の翌日にポスターやレイアウトの変更が行われる危険性が高い。多くの場合、ポスターの張り替えやレイアウト変更は混雑時に行われる可能性が低い。従って無人画像３２生成時刻と原画像３０を撮影時刻との時間間隔を１日以下に設定しても良い。しかし所定の柱や壁に持ち帰り自由なパンフレット設置場所が存在する場合には、上記時間間隔を１日以下に設定してもプライバシー情報に関係する領域３８の誤検知が生じ易い。従ってこのような場所では、上記時間間隔を２時間以下に設定するのが望ましい。

無人画像３２の他の生成方法として、前述した（３）の“画像内の人物領域や人物の帰属品領域を推定”する技術を組み合わせても良い。上述したように図３（ａ）と図３（ｂ）の原画像３０と３６間で異なる画像が表示された領域内には、“移動人物４２，４４，４６，４８のプライバシー情報に関係する画像”と“無人画像３２内の移動人物４２，４４，４６，４８の裏に隠された画像”のいずれかが映っている。そして画像解析技術を利用して、無人画像３２に含まれる画像成分を選択しても良い。

すなわち人物や動物の画像には、（頭部と胴体、足（や手）から構成される）共通した形状が含まれる。また鞄やリュックサックなどの特定人物の帰属品も（直方体や台形柱などの）特徴的な形状を有する。従って上記の人物や動物、あるいはその帰属品に特徴的な形状が含まれない画像を無人画像３２に含まれる画像成分と推定して選択しても良い。

上述したように本実施形態では、無人画像３２に対する複数の生成方法が許容される。また本実施形態では唯一の無人画像３２を生成するだけで無く、上述した複数の生成方法で同時に複数の無人画像３２を生成しても良い。

上記方法で生成した無人画像３２を参照して、プライバシー情報に関係する領域３８を抽出する方法を図４Ａに示す。最も簡単な抽出方法として、撮影された原画像３０（図４Ａ（ａ））と無人画像３２（図４Ａ（ｂ））との間の差分（図４Ａ（ｃ））を算出しても良い。またそれに限らず無人画像３２を参照する方法として、両者の画像に対して何らかの編集を行った後に比較しても良いし、両者の比較時に何らかの演算処理を施しても良い。

さらに図４Ａに対する他の応用例として本実施形態では、原画像３０内の領域毎にプライバシー情報に関係する確率を算出し、その算出結果に基付いてプライバシー情報に関係する領域３８を抽出しても良い。例えば後述するように図８の人物確率分布計測部１６０内では、プライバシー情報に関係する領域３８内での特徴的な形状や時間変化を抽出し、抽出された領域毎に人物確率の値を算出する。

これと同じように図４Ａ（ａ）の原画像３０（及び図３（ｂ）の少し後に撮影された原画像３６）内の全ての領域から特徴的な形状や時間変化（図５（ｂ）の移動情報８８）を抽出する。次にパターンマッチング手法などで、人間や動物の体形あるいは（鞄やリュックサックなどの）人物の帰属品形状との一致度を検出してプライバシー情報に関係する確率を算出する。またそれと並行して時間変化に応じた輪郭形状変化（移動情報８８あるいはその詳細情報）と予め記憶したライブラリーデータとの一致度を検出してプライバシー情報に関係する確率に加味する。更に顔面内構成部品（目や鼻、口、髪、耳）の形状間の配置関係を調べて顔面との一致度を調べてプライバシー情報に関係する確率に加味しても良い。

このように算出したプライバシー情報に関係する確率が所定の判定値を超える領域をプライバシー情報に関係する領域３８と見なして抽出しても良い。ここで所定の判定値を５０％（望ましくは７０％）に設定すると、プライバシー情報に関係する領域３８に対する高い抽出精度が確保できる。

このプライバシー情報に関係する確率の算出と算出結果の判定及びプライバシー情報に関係する領域３８の抽出を、上記の人物確率分布計測部１６０内で行っても良い。

このように抽出されたプライバシー情報に関係する領域３８を用いてプライバシー加工された画像４０の生成方法を図４Ｂに示す。すなわち撮影された原画像３０（図４Ｂ（ａ））の中で、プライバシー情報に関係する領域３８（図４Ｂ（ｂ））に該当する領域のみにプライバシー加工を施す（図４Ｂ（ｃ））。

図４Ｂ（ｃ）ではプライバシー加工された画像４０として、ぼかし処理が施されている。しかしそれに限らず他のプライバシー加工方法として、モザイク処理、塗りつぶし、形状変化、色調変化、濃度変化などの変化を加えても良いし、全く異なる画像に変換（置換）しても良い。

例えば形状変化によりプライバシー加工する具体例として、例えばマッチ棒のように横方向の幅のみを狭くしても良い。例えば混雑場所では移動人物４２〜４８間が重なり、プライバシー加工後の画像の閲覧者に取って撮影された人数の把握が難しい場合が有る。そのような混雑場所を撮影した原画像３０に対してプライバシー情報に関する領域３８の横方向の幅のみを狭くする事で、閲覧者が人数を把握し易い効果が有る。また本実施形態では無人画像３２自体は加工されないため、プライバシー情報に関する領域３８の横方向の幅のみを狭くしても閲覧者に与える違和感を最小限にできる効果も有る。

図６を用いて後述するように本実施形態では、プライバシー情報に関する領域３８内で人物が映っている領域のみを予測抽出できる。そのため人物が映っている領域に対する画像の変換（置換）例として、人物を猫やパンダなどの動物あるいは自動車や飛行機などの他の画像に変換（置換）しても良い。プライバシー加工後の画像に対する不特定多数の閲覧者が撮影現場の混雑状況のみに興味が有る場合、プライバシー加工された人物画像は余り興味を持たない。一方猫やパンダなどの小動物の画像に興味を抱く女性や自動車や飛行機などのメカニカルに興味を抱く少年は多い。従って上記のように画像変換（置換）する事で、閲覧者に好感を与えると共に興味を持って貰える効果が生じる。

上記の閲覧者に表示もしくは送信する画像の作成方法を図４Ｃに示す。図４Ｂを用いて上述した方法で得られたプライバシー加工された画像４０（図４Ｃ（ａ））を事前に収集された無人画像３２（図４Ｃ（ｂ））に重ねる事で図４Ｃ（ｃ）に示す画像を生成できる。この場合には無人画像３２の上部層（手前側）にプライバシー加工された画像４０を重ねる。このように重ねる操作の段階でプライバシー加工された画像４０自体にある程度の透明度を持たせて背景の無人画像３２が見えるようにさせても良い。例えば撮影現場が移動人物４２〜４８で非常に混雑している場合、背景の無人画像３２が見え辛く、閲覧者にとって撮影現場の識別が難しくなる。上記のように透明度を持たせて背景の無人画像３２が見えると、どんなに混雑しても閲覧者が撮影現場を識別し易くなる効果が生じる。

上記に説明した本実施形態での画像の表示方法に対する応用例を図５〜図７を用いて説明する。

プライバシー情報に関係する領域３８に対するプライバシー加工方法として上記のモザイク処理、ぼかし、塗りつぶし、形状変化、色調変化、濃度変化や画像変換（置換）に限らず、プライバシー情報に関係する領域３８自体の移動情報も同時に持たせる方法を図５に示す。

図５（ａ）の原画像例８２内では、左側の人物が左から右に向かって移動し、右側の人物がしゃがむ（すなわち下に沈む）行動を行っている。この場合には時系列的に原画像８２を収集し、時間のずれに応じたプライバシー情報に関係する領域３８の移動を検出して人物の移動方向を抽出できる。

上記の方法で抽出した移動情報例８８を図５（ｂ）内の矢印で示す。そしてその移動情報８８を用いて原画像８２全体をプライバシー加工した例５２を図５（ｃ）に示す。この図５（ｃ）の例では、移動情報８８を用いる前のプライバシー加工方法として“ぼかし”を掛けている。しかしそれに限らず、上述した任意の方法でプライバシー加工を行っても良い。

上記のプライバシー加工に上記の移動情報８８を加味する方法として図５（ｃ）の例では、所定時間前に撮影したプライバシー情報に関係する領域３８内の画像を重ねて表示している。また重ねて表示する時の透明度にグラデーションを掛け、移動方向が見や易い工夫もなされている。すなわち図５（ｃ）に示すように、撮影した画像の古い順に透明度を高くする事で、移動人物の移動方向が見易くなっている。

さらに図５（ｃ）から分かるように、重ねて表示した所定時間前の人物位置との“ずれ量”に拠り、移動速度を表現しても良い。すなわち左側人物では“ずれ量”が大きく、比較的高速で移動している様子が分かる。一方では右側人物の“ずれ量”は小さく、ゆっくり移動している様子が分かる。

このように過去に撮影した画像の一部を重ね表示する事で人物の移動方向と移動速度が表現でき、人物の移動状況を閲覧者（不特定多数者）が容易に把握できる効果が有る。所で移動人物の移動方向と移動速度の表示方法として上記に限らず、任意の他の方法を使用しても良い。例えば移動の速度と方向を、長さの異なる矢印で示しても良い。

また移動人物の移動速度に応じて、移動人物を表示する色を変化させても良い。一般的に青系色よりも赤系色の方が目立つ特徴が有る。従って移動速度が速くなるに応じて、変換色を青系色から赤系色に変えても良い。また移動する方向に応じて変換色を濃く表現しても良い。このように色変化や濃度変化で移動人物の移動方向と移動速度を変化させた場合には、過去に撮影した画像の一部を重ね表示する必要が無くなり、プライバシー情報に関係する領域３８を狭く表現できる効果が有る。

所で図５（ｄ）は、図４Ａで説明した方法で抽出されたプライバシー情報に関係する領域例５４を示す。また図５（ｅ）は、図３で説明した方法で生成した無人画像５６の例を示す。そして図５（ｄ）を利用して図５（ｃ）と図５（ｂ）を合成して生成した図が図５（ｆ）に相当する。この図５（ｆ）で生成された画像が送信／表示する画像５８として不特定多数者に閲覧される。

例えば撮影現場が混雑状態に有り、複数人物が重なった状態でプライバシー情報に関係する領域３８が構成されている場合の表示例を図６に示す。すなわち図６（ａ）が示す原画像例８４では、右側で２名の人物が重なって撮影されている。この原画像８４をプライバシー加工すると図６（ｂ）の全体をプライバシー加工した例６２に示すように、全体的に均一にぼけた画像が生成される。但し図示して無いが、プライバシー加工の強さ（たとえば“ボケ量”の強さ）が異なる複数のプライバシー加工後の画像６２を準備しておく。

所で図８の人物確率分布計測部１６０を用いて後述するように、抽出されたプライバシー情報に関係する領域６４内での領域毎の人物らしさの確率を推定算出する。その結果として図６（ｃ）に示すように、プライバシー情報に関係する領域６４内で異なる人物確率分布に対応した領域分割がなされる。ここでは右側で重なって撮影された２名の中で後ろ側の人物の体形輪郭の一部（あるいは顔面の一部）が、前側の人物で隠されている。その結果として後ろ側の人物が映っている領域内では、人物確率が低くなっていると見なす。

図６（ｃ）の情報を用い、図６（ｂ）で得られた複数のプライバシー加工後の画像６２と図６（ｄ）に示す無人画像６６と重ねた結果を図６（ｅ）に示す。図６（ｅ）で表示するように、プライバシー情報に関係する領域６４内で人物らしさ（人物確率）が低い領域の透明度を高めるとともに、プライバシー加工の強度（例えば“ぼかし量”）を大きくさせる。

このようにプライバシー情報に関係する領域６４内の人物らしさ（人物確率）の低い領域の透明度を上げるもしくは非表示とする（あるいはプライバシー加工の強度を大きくさせる）事で、不必要な画像領域の表示を制限できる。その結果としてプライバシー情報に関係する領域６４内の人物らしい（人物確率の高い）領域の表示を相対的に際立たせ、不特定多数の閲覧者に対して見易い画像を提供できる効果が生まれる。

特に図６（ｅ）の画像と従来技術を使用して得られる図１（ｃ）とを比較すると明らかなように本実施形態の表示方法を利用すると、障害物などにより一部が隠された人物に対するプライバシー保護機能（図１（ｃ）では顔が鮮明に表示されるのに比べ、図６（ｅ）では非表示状態となっている）が格段に改善される。

図７ではプライバシー情報に関係する領域７４内の領域位置により表示方法（プライバシー加工方法）を変える応用例を示している。

不特定多数者に特定人物の画像が公開された場合、その特定人物の顔（頭部）を認識されて個人特定される危険性が高い。そのため顔（頭部）の表示領域にプライバシー加工（モザイク、塗りつぶし、ぼかし、色変換、濃度変換、形状変換や別画像への置換等）を施すことで、個人特定が困難となる。

一方では、顔を除いた体の表示領域を認識する事で、その人物が所属する組織や団体が特定され易い特徴が有る。例えば中学生や高校生が着用している制服の形状や色から、部活動から帰宅途中の生徒が通う中学校名や高校名が推察できる。従って撮影された原画像８６内で例えば服の色もしくは形状を変える事で、その人物が所属する組織や団体の特定を困難にする。

上記状況に対応して後述する図８内の頭範囲検出部１５２と体範囲検出部１５４を利用し、図７（ｃ）で抽出されたプライバシー情報に関係する領域７４内の頭範囲と体範囲を個別に自動認識しても良い。その認識結果に基付き図７（ｂ）や（ｅ）では、服の色や形状を変化させている。

本実施形態における原画像８６に対するプライバシー加工方法では、モザイク、塗りつぶし、ぼかし、色変換、濃度変換、透明度変化、形状変換や別画像への置換など多種多様な加工方法を許容する。そして図７（ｅ）に示す応用例では、同一人物内の（顔面を含む）頭部と頭部以外の体領域内の少なくとも一部（例えば着衣部など）で異なる方法によってプライバシー加工された画像が送信または表示される。ここで頭部以外の体（もしくは着衣部などの体の一部）と異なるプライバシー加工を施す“頭部”とは、必ずしも頭部全体の必要は無く、例えば顔面や髪形など頭部の一部でも良い。更に異なるプライバシー加工例として、例えば“ぼかし量”を変えるなどのプライバシー加工の強度を変えても良い。

上記の頭部と頭部以外の体領域（の少なくとも一部）で異なるプライバシー加工を行う具体例を以下に説明する。頭部（あるいは顔面や髪形など頭部の一部）の領域に行うプライバシー加工例として、強力にモザイクやぼかし、塗りつぶしを行って個人特定を難しくしても良いし、また頭部のみを猫や犬などの動物の頭または乗り物に変換して女性や子供の閲覧者に好感を与えても良い。一方頭部以外の体領域（の少なくとも一部）に行うプライバシー加工例としては、モザイクやぼかし、塗りつぶしなどの処理を軽度に行うと共に、着衣部や帽子の色や形状を変化させて所属組織や団体の特定を困難にしても良い。

上記のように個人特定を困難にするために頭部（または顔面や髪形）に施す最適なプライバシー加工方法と、その人物が所属する組織や団体の特定を困難にするために頭部以外の体（の一部）に施す最適なプライバシー加工方法は異なる場合が多い。従って図７（ｅ）に示す送信または表示する画像では、頭部（または顔面や髪形）と頭部以外の体（の一部）でのプライバシー加工方法を個別に最適化している。その結果として個人特定と組織・団体の特定を同時に困難にし、プライバシー保護機能を高める効果が生まれる。

上述した本実施形態のおける画像や映像の表示方法について、再度まとめて記載する。撮影された原画像３０（図２）と送信／表示する画像例６８、７８（図６（ｅ）、図７（ｅ））は共に、プライバシー情報を含まない無人画像領域３４、６６、７６とプライバシー情報に関係する領域３８、６４、７４に領域分割（分離）できる。そしてプライバシー情報に関係する領域３８、６４、７４内でプライバシー加工された後の画像例６８、７８が送信／表示される。

ここで事前に生成された無人画像領域３２（図３（ｃ））を参照して、撮影された原画像３０内のプライバシー情報に関係する領域３８が抽出される。その結果として、人物の顏の一部しか映っていない画像に対しても安定にプライバシー加工が行われる効果が有る。上記の説明を別の角度から眺めると、本実施形態のおける送信／表示する画像例６８、７８内にはプライバシー情報を含まない無人画像領域６６、７６とプライバシー加工後の画像領域を含んでいると言える。また前記プライバシー加工後の画像領域内にはプライバシー情報が含まれ、更に前記プライバシー情報として人物の顏の一部が含まれ得ると言える。

今まで説明した図２〜図７の表示方法を実現する撮影システムの構造を図８に示す。撮像部（カメラ）１１２で撮影された原画像３０は、画像加工部１０４内で加工生成された後、画像送信部１２０から表示部１２２へ向けて送信される。また上記の画像加工部１０４内に、無人画像生成部１３０とプライバシー加工部１１６及び画像合成部１１８が含まれる。

上記無人画像生成部１３０内では、撮影された原画像３０を用いてプライバシー情報を含まない無人画像３２（図３（ｃ））を生成する。一方でプライバシー加工部１１６は撮影された原画像３０内のプライバシー情報に関係する領域３８（図２）の中に存在する画像に対してプライバシー加工を行う。また、画像合成部１１８では、前記プライバシー加工部１１６で生成されたプライバシー加工された画像４０（図４Ｂ（ｃ））と前記無人画像３２とを合成する。

図３を参照しながら、図８の撮影システム内で無人画像３２を生成する方法の説明を行う。撮影現場で得られる原画像３０は、撮像部（カメラ）１１２によって撮影される。そしてその原画像３０は画像／画像取得部１１４を経由して画像蓄積部１３２に転送された後、画像履歴保存部１３４内に保存される。

無人画像生成部１３０では画像履歴保存部１３４内に保存された原画像３０（図３（ａ））と、それより後に撮影された原画像３６（図３（ｂ））と比較する。そして無人画像３２（図３（ｃ））内の原画像３０の人物４２〜４８の後ろに隠れた領域を抽出する。前述したように、無人画像生成部１３０内で使用する画像は図３（ａ）と図３（ｂ）に示した２枚の画像だけでなく、その時間的な前後に撮影された複数枚の画像を用いて無人画像３２を生成することができる。また動きが遅い移動人物のために無人画像３２の一部が生成できない場合には、自動補間処理を実施する。

所で前述したように前記無人画像生成部１３０では、作成方法の異なる無人画像（１）３２−１と無人画像（２）３２−２を同時に生成しても良い。その具体例としては、画像合成部１１８に転送される無人画像（１）３２−１は（夜中とか夜明け前などの）人通りの無い時間帯で現場を撮影して取得される。一方では頭範囲抽出部１５２や体範囲抽出部１５４、人物確率分布制御部１６０で使用される無人画像（２）３２−２は、人通りがある時間帯に撮影された原画像３０、３６（図３での説明内容参照）から生成される。このように同時に作成方法の異なる複数の無人画像（１）３２−１と無人画像（２）３２−２を作成し、使用目的に応じて最適な無人画像（１）３２−１と無人画像（２）３２−２を送信する事で非常に精度と表現力の高い画像を送信／表示できる効果が生まれる。

すなわち送信／表示する画像６８内ではプライバシー保護の観点から、鮮明な人物が表示される事は強く禁止される。また人通りの無い時間帯で現場を撮影して無人画像（１）３２−１を取得する段階で、無人画像（１）３２−１内に人物が映らない状況を撮影者が確認できる。従ってその無人画像（１）３２−１を使用して作成した送信／表示する画像６８内でプライバシー情報に関係する画像を含ま無い状況を保証できる。

一方で人通りの無い時間帯で取得した無人画像（１）３２−１と原画像３０（図４Ａ（ａ））との間での撮影時刻の乖離が激しいと、撮影時刻の違いによって発生した不必要な影などの影響で、プライバシー情報に関係する領域３８（図４（ｃ））の抽出精度が低下する。そのため頭範囲抽出部１５２や体範囲抽出部１５４、人物確率分布制御部１６０で使用される無人画像（２）３２−２の撮影時刻は、原画像３０の撮影時刻に近い方がプライバシー情報に関係する領域３８のの抽出精度が向上する。

上記の無人画像（２）３２−１を参照して、無人画像生成部１３０から出力される撮像部１１２から画像取得部１１４を経て転送される原画像３０内のプライバシー情報に関係する領域３８を抽出する（図４Ａを用いた説明内容参照）。

さらに図６の応用例の場合には、プライバシー情報に関係する領域３８内の領域毎に人物らしさ（人物確率）を評価し、人物らしい（人物確率が高い）領域と人物らしくない（人物確率が低い）領域間でプライバシー加工方法を変化させる。そのために必要な人物確率が、人物確率分布計測部１６０内で算出される。

前記人物確率分布計測部１６０内では、プライバシー情報に関係する領域３８内での領域毎の形状とその時間変化（に基付く形状変化）を利用して人物確率が算出される。すなわち直立状態の人物は、最上部に頭、次に胸、腹、足の順番に配置されている。従って前記人間の体形とプライバシー情報に関係する領域３８内の各領域の外形をパターンマッチング手法を用いて一致度を算出する。すなわち人間の体形に形状を有した領域では、人物確率が高いと見なす。一方で人物は両足を動かして移動すると共に両腕を動かして移動する。従ってプライバシー情報に関係する領域３８の輪郭形状の時間変化に応じた変化状態が足の動きや手の動きに合致した領域では、人物確率が高いと見なす。他方で形状変化しないまま移動する領域に関しては、鞄などの人物の所有物や車と見なし、人物確率の値を小さくする。

プライバシー加工の方法としては、ぼかし、モザイク、塗りつぶし、他の生き物への形状変化や縦横比率を変化させる形状変化、もしくは形状変化、色彩変化、明度変化等を行うが前記プライバシー加工部１１６で行うプライバシー情報に関係する領域の加工は一種類ではなく、複数種類のプライバシー加工方法が使用できる。そして、図４Ｃで説明したように、画像合成部１１８でプライバシー加工された画像４０と無人画像３２が合成される。この画像合成に先立ち、人物確率分布計測部１６０内でプライバシー情報に関係する領域３８内の領域毎の人物確率が算出される。そしてその領域毎に算出された人物確率値に基づき、前記複数種類のプライバシー加工された画像４０の中から最適画像が選択されて合成される。その結果として、人物らしさに応じて異なるプライバシー加工された画像（図６（ｅ））が表示される。

頭範囲検出部１５２では、抽出されたプライバシー情報に関係する領域３８内での特徴的な形状の抽出がなされる。人物の頭部は顔面領域と髪形領域から構成される。また上記顔面領域内では目や鼻、口、眉毛（と耳）がそれぞれ固有の形状を形成しながら所定位置に配置される。これらの各領域の配置状況をパターンマッチング手法などを用いて抽出する事で、プライバシー情報に関係する領域３８内での頭部の範囲を検出する。

例えば図３（ｂ）の移動人物４４など小さく映った人物では顔面内での目や鼻、口、眉毛（と耳）の配置関係の解析は難しい。このような場合には縦に細長い人体形状を抽出し、その上部が頭部に該当すると推定しても良い。

体範囲検出部１５４でも同様に、抽出されたプライバシー情報に関係する領域３８内での特徴的な形状の抽出がなされる。そして予め準備した人体形状との間のパターンマッチング処理等により、人体領域を推定する。

このように頭範囲検出部１５２と体範囲検出部１５４で推定（検出）された頭部とこの頭部以外の体領域を抽出する。そしてその抽出結果を利用して頭部と頭部以外の体領域で異なるプライバシー加工を施す（図７（ｅ））。

図５（ｆ）に示す人の動きを表現する画像５８は、画像履歴保存部１３４及び移動情報抽出部１３６、移動情報の履歴保存部１３８、移動情報集計部１４０を利用して作成する。画像取得部１１４から画像蓄積部１３２を経て蓄積された画像は、画像履歴保存部１３４に逐次保存される。

画像履歴保存部１３４に保存される画像履歴に関する管理情報の一例を図１５に示す。個々の画像は図１５内の画像の欄内に保存される。またこの画像を撮影した撮像部（カメラ）１１２の識別情報（カメラＩＤ）と撮影時刻が管理情報の一部として記録される。

移動情報抽出部１３６では、画像履歴保存部１３４から得られる過去に取得した画像と現在取得された原画像８２とを比較する。そこで得られた差分情報が移動情報８８（図５（ｂ））として、移動情報の履歴保存部１３８内に逐次保存される。

移動情報の履歴保存部１３８内に保存される移動情報８８の履歴に関する管理情報の一例を図１４に示す。移動情報８８の元になる原画像８２を撮影した撮像部（カメラ）１１２の識別情報（カメラＩＤ）が記載されている。また移動情報抽出部１３６内で移動情報８８が算出された時刻情報が、計測時刻として記録される。

図５（ｂ）に示すように、移動情報８８は変位ベクトル情報として管理される。すなわち過去に取得した画像と現在取得された原画像８２とを比較結果得られる差分情報（移動情報８８）において、差分が発生した画素位置が“画像内領域座標”（変位ベクトルの始点座標）として管理される。また移動量が変位ベクトルの長さ、移動方向が変位ベクトルの向きで表される。従って変位ベクトルの終点（先端）位置を表す座標が、“移動ベクトル”の座標として記録される。

そして移動情報集計部１４０内で移動情報の履歴保存部１３８内に保存された移動情報８８を集計し、その結果に基付いてプライバシー加工部１１６内で人物の移動を表現してプライバシー加工した画像５２（図５（ｃ））を生成する。

上記一連の処理結果で得られた送信／表示される画像５８、６８、７８は、画像送信部１２０から表示部（パソコン、スマートフォン、電子掲示板など）１２２に転送され、表示部上で表示される。

本実施形態における撮影システム１０２では内部にデータ処理／データベース管理部１０６を有し、プライバシー情報（や人物通行）に関係するデータの蓄積／統計処理が同時並行できる。このように表示部１２２に送信／表示される画像５８、６８、７８を表示して不特定多数者に閲覧可能にするだけでなく、同時に撮像部（カメラ）１１２で撮影した原画像３０を利用したデータ処理／データベース管理が行える。このように撮像部（カメラ）１１２で撮影した原画像３０を複数目的に利用できるため、原画像３０の利用効率を向上させる効果が有る。

具体的には人物確率分布計測部１６０で算出した画像内の領域毎の人物確率を利用し、撮影した原画像３０内に映った人数を人数集計部１６２内で推定する。その結果は混雑履歴保存部１６４内に逐次保存され、混雑状況統計処理システム１６８内で統計処理されて撮影現場内での混雑状況の時間変化が分かる。

この混雑履歴保存部１６４内に保存された混雑履歴に関する管理情報の一例を図１６に示す。混雑履歴情報の元になる原画像８２を撮影した撮像部（カメラ）１１２の識別情報が、カメラＩＤとして記載されている。また人数集計部１６２内で推定して得られた混雑履歴情報の算出日時情報が、計測時刻として記録される。また図１４内の画像内領域座標と同様に、原画像８２内で特に混雑した場所が座標で記録されるとともに、その場所での混雑状況が混雑値として記録される。ここで前記の混雑値は、座標で指定された対象領域の人数や人口密度などを表している。

図８では撮像部（カメラ）１１２と画像加工部１０４が近接して描かれている。しかしそれに限らず図９のように、撮像器（カメラ）２５２と送信／表示する画像を生成するコンピュータ２５６が離れた位置に配置されても良い。

撮像器（カメラ）２５２内部は撮像部２６４と撮影した画像を一時保管する半導体メモリ部２６６、通信部２６２から構成されている。また上記通信部２６２は有線または無線回線を通じてインターネット２００に接続され、撮像部２６４で撮影された原画像３０がインターネット２００を経由してコンピュータ２５６内の通信部２７２に有線または無線回線を通じて送信される。なお撮像器（カメラ）２５２とコンピュータ２５６間の原画像３０送信にはインターネット２００の回線を使用する代わりに専用のネットワーク回線を使用しても良い。

送信／表示する画像６８を生成するコンピュータ２５６は、大形コンピュータに限らず中形の汎用コンピュータやパーソナルコンピュータで有っても良い。撮像器（カメラ）２５２から転送された原画像３０は一時的にメモリ部２７６内に保存される。そしてメモリ部２７６から表示部２７４に表示された原画像３０は、入力部２７８を操作して送信／表示する画像６８が生成される。ここでこれらの一連の処理は制御部２７０で行われる。すなわち図８の画像加工部１０４やデータ処理／データベース管理部１０６内の処理は、制御部２７０で実行されるプログラムにそって進められる。

コンピュータ２５６内の処理で作成された送信／表示する画像６８は、インターネット２００を経由してウェブ・サーバ２０２内のデータベース２２６内に保存される。そして不特定多数者が閲覧用に使用する携帯端末２５０はインターネット２００を経由し、上記ウェブ・サーバ２０２から送信／表示する画像６８の閲覧を行う。 また携帯端末２５０が送信／表示する画像６８の閲覧を行うためのアクセス先は上記に限らず、所定のデータベース２２８を持つデータベースサーバ２０４でも良い。

本実施形態では送信／表示する画像６８に限らず、無人画像３２もウェブ・サーバ２０２内のデータベース２２６あるいはデータベースサーバ２０４内のデータベース２２８内に事前に送信しても良い。携帯端末２５０の表示部２８４内に表示される表示切替指定領域２８８をユーザが操作する事で、上記表示部２８４に表示させる画像を無人画像３２に切り替える事が可能となる。携帯端末２５０を使用するユーザの一部は撮影現場の混雑状況に興味が有り、プライバシー保護された混雑状況の画像を閲覧する。しかし携帯端末２５０を使用するユーザに拠っては、背景の景色を表示する無人画像３２に興味を示す場合が有る。このように送信／表示する画像６８と共に無人画像３２を予め送信する事で、多様なユーザに対応した多様な画像を表示できる効果が有る。

本実施形態の他の応用例として、図１０に示すように、図８の画像加工部１０４やデータ処理／データベース管理部１０６に対応した処理を実行する制御部２４０と撮像部（カメラ部）２４６を携帯端末２０６内に共に内蔵させても良い。この場合には原画像３０の撮影と送信／表示する画像６８の作成を同一の携帯端末２０６内で行っても良い。

この場合には図８の画像加工部１０４内での機能の一部をグラフィクスコントローラ２４８に持たせても良い。しかし画像加工部１０４に示す大部分は制御部２４０（およびグラフィクスコントローラ２４８）内で実行するプログラム（ソフトウェア）で実行される。

図１０の携帯端末２０６において、高速な画像処理に関係する撮像部（カメラ部）２４６とグラフィクスコントローラ２４８、半導体メモリ部２３６、制御部２４０間は高速転送用のノースブリッジ２４２で接続する。一方表示部２３４や通信部２３２などの比較的低速でのデータ転送を許容する部分での接続には、サウスブリッジ２４４を使用する。

上記携帯端末２０６内で作成した送信／表示する画像６８や無人画像３２を閲覧する場合には、図９と同様に通信部２２２と表示部２２４が内蔵された携帯端末２１０を使用しても良い。またそれに限らず、ルーター２０８を経由して固定据え置き形のインターネット接続テレビ２１２やパソコン２１４、電子掲示板２１６に表示させても良い。

図９の制御部２７０や図１０の制御部２４０（あるいはグラフィクスコントローラ２４８）内で実行するプログラム（ソフトウェア）の基本アーキテクチャを図１１に示す。

図８の撮像部（カメラ）１１２を用いた撮影制御と画像送信部１２０内での外部への通信制御は、携帯端末制御用メインプログラム（クラス）３０８が担う。ここで図９のコンピュータ２５６に内蔵された制御部２７０内でプログラム実行する場合は、携帯端末制御用メインプログラム（クラス）３０８に相当するメインプログラム（クラス）を使用する。

この携帯端末制御用メインプログラム（クラス）３０８内の下位プログラム（サブプログラムやメソッド）に位置するカメラコントロールサブプログラム／メソッド（カメラコントローラ）３１６が、撮像部（カメラ部）２４６の制御を行う。

またここで撮影された原画像３０を半導体メモリ部２３６内に一時保存する場合には、メモリコントロールサブプログラム／メソッド（メモリコントローラ）３１８を使用する。図１０で既に説明した撮影システム応用例では、撮影された原画像３０は携帯端末２０６内の半導体メモリ部２３６内に一時保存される。一方では図９の撮影システムにおける撮影された原画像３０の一時保存先は、コンピュータ２５６内のメモリ部２７６となる。従ってこの場合には、前記メモリコントロールサブプログラム／メソッド（メモリコントローラ）３１８と後述する専用のメモリメモリコントロールサブプログラム／メソッド（専用メモリコントローラ）は、コンピュータ２５６内のメモリ部２７６を制御（ドライブ）する。

図８内の画像加工部１０４とデータ処理／データベース管理部１０６内の機能は、プライバシー保護対応画像編集用サブプログラム／メソッド３００が担う。すなわち携帯端末制御用メインプログラム（クラス）３０８内で呼び出すプライバシー保護対応制御サブプログラム／メソッド（プライバシー保護コマンダ）３１４から専用ＡＰＩ（Application Programming Interface）３０４を使用して、上記のプライバシー保護対応画像編集用サブプログラム／メソッド３００に対して所定の処理指示を出す。

一方で上記プライバシー保護対応画像編集用サブプログラム／メソッド３００内ではインタープリタサブプログラム／メソッド（インタープリタ）３２４が上記の専用ＡＰＩ３０４を用いたコマンドを受けて、指示コマンド内容を解釈する。そしてその結果を基にプライバシー保護対応統合プログラム／クラス（インテグレータ）３３０が、上記プライバシー保護対応画像編集用サブプログラム／メソッド３００内で設定された各サブプログラム／メソッドを呼び出して上記の指示に沿った実行処理を行う。

ここで図８の画像履歴保存部１３４と移動情報の履歴保存部１３８、混雑履歴保存部１６４内に保存される情報は、半導体メモリ部２３６内の異なる領域内にそれぞれ保存される。このように本実施形態では半導体メモリ部２３６へのアクセスを頻繁に行うため、上記専用の半導体メモリ部２３６へのアクセス制御を担うメモリメモリコントロールサブプログラム／メソッド（専用メモリコントローラ）３２８を各サブプログラム／メソッドの直下に配置している。これにより各サブプログラム／メソッド内での半導体メモリ部２３６へのアクセス制御の高速化が図れる効果が有る。

所で図１１内の無人画像作成用サブプログラム／メソッド（バックグラウンドジェネレータ）３３２は、図８内の画像蓄積部１３２、画像履歴保存部１３４、無人画像生成部１３０の機能を担う。ここでこの無人画像作成用サブプログラム／メソッド（バックグラウンドジェネレータ）３３２内の詳細な実行フローは図１２内の右側に記載したフローチャートに対応する。

また図１１内の移動情報抽出／管理用サブプログラム／メソッド（ムービングパートイクストラクタ）３３４は、図８内の画像履歴保存部１３４、移動情報抽出部１３６、移動情報の履歴保存部１３８、移動情報集計部１４０の機能を担う。そしてこの移動情報抽出／管理用サブプログラム／メソッド（ムービングパートイクストラクタ）３３４内の詳細な実行フローは、図１２内の左側に記載したフローチャートに対応する。

更に図１１内の送信／表示用画像生成用サブプログラム／メソッド（プライバシープロテクタ）３３６は、図８内の頭範囲検出部１５２、体範囲検出部１５４、人物確率分布計測部１６０、プライバシー加工部１１６、画像合成部１１８の各機能を担う。またこの送信／表示用画像生成用サブプログラム／メソッド（プライバシープロテクタ）３３６内の詳細な実行フローは、図１３に示すフローチャートに対応する。

そして図１１内のプライバシー情報（や人物通行）に関係するデータの蓄積／統計処理の制御用サブプログラム／メソッド（データマネージャ）３３８は、図８内のデータ処理／データベース管理部１０６内の機能を担う。このプライバシー情報（や人物通行）に関係するデータの蓄積／統計処理の制御用サブプログラム／メソッド（データマネージャ）３３８内の詳細なフローチャートは、図１３内左側に記載された画素毎に人物が映っている度合いを計算するＳｔｅｐ３８と、人物範囲内の人数を計算するＳｔｅｐ５１および混雑情報を保存するＳｔｅｐ５２が対応する。

図９の制御部２７０内あるいは図１０の制御部２４０内（およびグラフィクスコントローラ２４８内の一部）で実行するプログラムのフローチャートを図１２に示す。Ｓｔｅｐ１で撮影システムを開始すると、Ｓｔｅｐ３の撮影システムが終了するまで、画像取得（Ｓｔｅｐ２）が続く。

そして無人画像の生成開始の指示が来ると（Ｓｔｅｐ１１）、Ｓｔｅｐ２で取得した画像を画像履歴保存部１３４（図８：Ｓｔｅｐ１３に対応）内へ適宜保存する（Ｓｔｅｐ１２）。その後のＳｔｅｐ１４で画像履歴保存部１３４から適宜保存した画像を適宜読み出し、無人画像３２の生成が終了するとＳｔｅｐ１５の終了処理を実行する。

このＳｔｅｐ１４での無人画像生成方法として例１では、夜間など人の居ない時間帯に撮影した画像を使用する。また他の例２では、一定時間ごとの画像から動きの無い部分を合成して生成しても良い。

次に図５（ｆ）に示す送信／表示する画像５８内に人物の移動情報を表示する場合にはＳｔｅｐ２１に示すように、移動情報生成開始の指示を受ける。すると過去の画像と比較し、画像内の動きを計算し（Ｓｔｅｐ２２）、その結果を移動情報の履歴保存部１３８（図８：Ｓｔｅｐ２３に対応）内へ適宜保存する。その後にＳｔｅｐ２４で一定時間分の移動情報を集計し、その結果得られた移動情報８８を移動情報の履歴保存部１３８内へ保存する。そして移動情報の生成処理が完了すると、その終了処理を行う（Ｓｔｅｐ２５）。

上記のＳｔｅｐ２４における一定時間分の移動情報の具体的な集計方法として例１では、移動情報の平均を取っても良い。また他の例２では、画像内の場所（領域）毎に人物の移動方向を学習させ、その結果を使用しても良い。

図１３に、本実施形態における送信／表示する画像５０、５８、６８、７８の生成手順を示す。Ｓｔｅｐ３１で撮影システムの開始指示を受けると、Ｓｔｅｐ４５の撮影システム終了直前の受信側で表示するＳｔｅｐ４４までの一連のループ処理が任意の間隔で繰り返される（Ｓｔｅｐ３２）。

上記のループ処理の中で画像取得（Ｓｔｅｐ３３）直後に、画素毎に体が映っている度合いの計算（Ｓｔｅｐ３４）と画素毎に頭が映っている度合いの計算（Ｓｔｅｐ３５）、画素毎に人物が映っている度合いの計算（Ｓｔｅｐ３８）が同時並行的に実行される。

上記処理の具体的方法を示す例１では、無人画像と現在の画像の画素値の差の絶対値が大きいほど人物である度合いが大きい（確率が高い）と見なしても良い。

また他の具体的方法を示す例２では、予め人物（頭部や体）が映っている画像を複数学習しておき、現在の画像の中から学習結果と近いものが映っている範囲が人物（あるいは頭部や体）の度合いが大きい（確率が高い）と見なしても良い。

さらに他の例３では、上記説明した例１や例２などの複数の手法を並行して実施し、それぞれ得られた度合い（確率）の合計値や平均値などで人物である度合い（確率）を判定しても良い。

図５を用いて前述したように人物の移動速度に応じて体（または着衣や携帯品）の色を変更したい場合（Ｓｔｅｐ３６）には、図１２内で生成した移動情報８８とＳｔｅｐ３４で得られた画素毎に体が映っている度合いの計算結果を使用する。

このＳｔｅｐ３６での人物の移動速度に応じて体（または着衣や携帯品）の色を変更する具体的な例１として、移動している人物（全体または着衣部など体の一部）をグレースケールに表示し、移動速度に応じて濃度（黒の度合い）を変化させても良い。

また他の例２として、移動している人物と止まっている人物別に色を変化させても良い。

更に図７を用いて前述したように顔面領域内（顔範囲）のみに“ぼかし”を掛けたり（プライバシー加工する）画像全体に“ぼかし”を掛ける（プライバシー加工する）場合には（Ｓｔｅｐ３７）、図１２内で生成した移動情報８８とＳｔｅｐ３５で得られた画素毎に頭が映っている度合いの計算結果を使用する。

更に図５で説明したように人物の移動方向も表示する他の方法としてＳｔｅｐ３７で、移動方向に合わせて“ぼかし”を掛けても良い。

そしてＳｔｅｐ３７で得られたプライバシー加工後の映像と図１２内で得られた無人画像３２をＳｔｅｐ３９で合成する。更に図６を用いて前述したように画像内で人物確率が異なる領域毎に異なるプライバシー加工を施す場合にはＳｔｅｐ４１に記載したように、人物である度合い（確率）に応じて“ぼかし加工”済画像と無人画像３２の画素値を加重平均してプライバシー情報に関係する領域３８内での透明度を変化させても良い。

その後に送信／表示する画像を生成し（Ｓｔｅｐ４２）、生成した画像を送信する（Ｓｔｅｐ４３）。

また撮影した原画像３０を用いて例えば撮影現場の混雑状況の時間変化の統計を取るなどのデータの蓄積／処理（あるいはデータベース管理とそのデータを用いた統計処理）の例を以下に説明する。

Ｓｔｅｐ３３で取得した原画像３０に対して、Ｓｔｅｐ３８では人物が映っている度合い（人物確率）を画素毎に計算する。そして算出された人物が映っている度合い（人物確率）が所定の判定値（例えば５０％または７０％）を超えた部分では、原画像３０内に人物が映っていると判定（推定）する。

次にその人物が映っていると判定された画素を集計し、原画像３０内に映っている人数を算出する（Ｓｔｅｐ５１）。一般的に同一人物が複数画素間に跨って映る場合が多い。従って人物が映っている度合い（人物確率）が所定の判定値（例えば５０％または７０％）を超えた画素間の連続性を判断して複数人物間の切り分け領域を推定し、原画像３０内の人数を予測する。

このＳｔｅｐ５１で得られた同一原画像３０内に映った人物数（人数）を混雑履歴保存部１６４内に順次保存する（Ｓｔｅｐ５２）。この混雑履歴保存部１６４内に保存される情報は図１６を用いて既に説明したように、人数算出時刻（計測時刻）毎の混雑値が記録される。

その後で図８の混雑状況統計処理システム１６８が混雑履歴保存部１６４内の混雑履歴情報（図１６）を統計処理し、撮影現場の混雑状況と混雑場所に対する時間変化状況を分析しても良い。

上記した実施形態の説明では、プライバシー加工する対象は、すべての人物であるかのごとく説明した。しかし、上記したシステムは、必要に応じて特定の人物に関しては、プライバシー加工することなく、該特定の人物を鮮明な画像のまま提供することも可能である。例えば現場において、撮像信号が、緊急時のレポートに利用される場合、或いは、ニュースに利用されるような場合、レポーターやアナウンサーの画像は鮮明であっても構わない。このような必要性が生じた場合は、例えば図８に示した画像取得部１１４から出力される原画像３０が、パーソナルコンピュータ等２５６の表示部２７４に入力され、オペレータにより確認される。オペレータは、特定の人物の画像の例えば顔或いは身体全体を例えば表示部２７４上で指定する。指定方法としては、例えば入力部２７８の一部であるマウスのポインタにより枠を描画して、特定人物の画像の例えば顔或いは体全体を囲み、決定操作を行う。これにより、頭範囲検出部１５２及び又は体範囲検出部１５４が、特定人物を検出（顔認識処理を行うと好ましい）した場合には、当該人物に関しては、プライバシー加工をしないように、プライバシー加工部１１６に制御情報を伝送する。なお特定人物の検出方法としては、説明した方法に限らず各種の方法が可能である。例えば特定人物が特定の識別しやすい衣裳や帽子を着用し、頭範囲検出部１５２及び又は体範囲検出部１５４が、該衣裳や帽子を検出できるようにしてもよい。

いくつかの実施形態を説明したが、これらの実施形態は例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

２、４、６ 撮影された原画像内人物
１０ 原画像の例
１２、１４ 撮影された原画像内で検出された人物範囲を示す領域
２２ 人物範囲検出
２４ 検出範囲にぼかし加工
３０ 原画像
３２ 無人画像
３４ 無人画像領域
３６ 少し後に撮影された原画像
３８ プライバシー情報に関係する領域
４０ プライバシー加工された画像
４２、４４、４６、４８ 移動人物
５０ 送信／表示する画像
５２、６２、７２ 全体をプライバシー加工した例
５４、６４、７４ プライバシー情報に関係する領域例
５６、６６、７６ 無人画像例
５８ 送信／表示画像
６８、７８ 送信／表示する画像例
８２ 原画像例
８４、８６ 原画像例
８８ 移動情報例
１０２ 撮影システム
１０４ 画像加工部
１０６ データ処理／データベース管理部
１１２ 撮像部（カメラ）
１１４ 画像取得部
１１６ プライバシー加工部
１１８ 画像合成部
１２０ 画像送信部
１２２ 表示部（パソコン、スマートフォン、電子掲示板など）
１３０ 無人画像生成部
１３２ 画像蓄積部
１３４ 画像履歴保存部
１３６ 移動情報抽出部
１３８ 移動情報の履歴保存部
１４０ 移動情報集計部
１５２ 頭範囲検出部
１５４ 体範囲検出部
１６０ 人物確率分布計測部
１６２ 人数集計部
１６４ 混雑履歴保存部
１６８ 混雑状況統計処理システム
２００ インターネット
２０２ ウェブ・サーバ
２０４ データベースサーバ
２０６、２１０、２５０ 携帯端末
２０８ ルーター
２１２ インターネット接続テレビ
２１４ パソコン
２１６ 電子掲示板
２２２、２３２、２６２、２７２ 通信部
２２４、２３４、２７４、２８４ 表示部
２３６、２６６ 半導体メモリ部
２４０、２７０ 制御部
２４２ ノースブリッジ
２４４ サウスブリッジ
２４６ 撮像部（カメラ部）
２４８ グラフィックスコントローラ
２５２ 撮像機（カメラ）
２５６ コンピュータ
２６４ 撮像部
２７４、２８４ 表示部
２７６ メモリ部
２７８ 入力部
２８８ 表示切替指定領域
３００ プライバシー保護対応画像編集用サブプログラム／メソッド
３０４ 専用ＡＰＩ
３０８ 携帯端末制御用メインプログラム（クラス）
３１４ プライバシー保護対応制御サブプログラム／メソッド（プライバシー保護コマンダ）
３１６ カメラコントロールサブプログラム／メソッド（カメラコントローラ）
３１８ メモリコントロールサブプログラム／メソッド（メモリコントローラ）
３２４ インタープリタサブプログラム／メソッド（インタープリタ）
３２８ 専用のメモリメモリコントロールサブプログラム／メソッド（専用メモリコントローラ）
３３０ プライバシー保護対応統合プログラム／クラス（インテグレータ）
３３２ 無人画像作成用サブプログラム／メソッド（バックグラウンドジェネレータ）
３３４ 移動情報抽出／管理用サブプログラム／メソッド（ムービングパートイクストラクタ）
３３６ 送信／表示用画像生成用サブプログラム／メソッド（プライバシープロテクタ）
３３８ プライバシー情報（や人物通行）に関係するデータの蓄積／統計処理の制御用サブプログラム／メソッド（データマネージャ）。

Claims (6)

1. 撮影された複数のフレームの画像もしくは複数のフレームの映像の中からプライバシー情報を除いて、前記プライバシー情報を含まない無人画像を生成する無人画像生成部と、
   撮影された原画像の中でプライバシー情報に関係する領域に関してプライバシー加工するプライバシー加工部と、
   前記プライバシー加工部で生成されたプライバシー加工後の画像と前記無人画像とを合成する画像合成部と、
   前記無人画像、前記プライバシー加工後の画像、並びに前記無人画像と前記プライバシー加工後の画像を合成した合成画像を記憶した記憶部と、
   表示部を有する装置からの切替え要求に応じて、前記無人画像を前記表示部を有する装置に送信する、又は前記合成画像を前記表示部を有する装置に送信する送信手段と、を有する
   撮影システム。
2. 前記無人画像生成部は、
   前記撮影された前記複数のフレームの画像もしくは前記複数のフレームの映像のフレーム間の差の情報を用いて、若しくは前記フレーム間の同じ画素位置の画素値の多数決を用いての何れかにより、前記無人画像を生成する、請求項１記載の撮影システム。
3. 前記無人画像生成部は、所定時間帯に前記撮影された前記複数のフレームの画像もしくは前記複数のフレームの映像のフレーム間の差の情報を用いる、請求項１記載の撮影システム。
4. 前記表示部を有する装置は、前記送信手段から離れた位置にあるパーソナルコンピュータ、又はスマートフォン、又は電子掲示板である請求項１記載の撮影システム。
5. 撮像部で撮影された画像を処理する画像加工部において、
   前記撮影された画像の中のプライバシー情報に関係する領域に関してプライバシー加工して生成したプライバシー加工後の画像と、前記プライバシー情報を含まない無人画像とを生成するとともに、画像合成部により前記プライバシー加工後の画像と前記無人画像とを合成した合成画像を生成し、少なくとも前記合成画像を画像送信部から送信する、画像表示方法で有り、
   前記無人画像の生成は、前記撮影された複数のフレームの画像もしくは複数のフレームの映像の中からプライバシー情報を除いて、前記プライバシー情報を含まない前記無人画像を生成し、
   表示部を有する装置からの切替え要求に応じて、前記画像送信部が前記無人画像を前記表示部を有する装置に送信するか、又は前記合成画像を前記表示部を有する装置に送信して、前記表示部に前記送信した画像を表示させる画像や映像の表示方法。
6. 前記画像送信部は、前記無人画像をパーソナルコンピュータ、又はスマートフォン、又は電子掲示板に送信する請求項５記載の画像や映像の表示方法。

Images