JP6743441B2 - 画像収集装置、表示システム、画像収集方法及びプログラム - Google Patents

Description

本開示は、画像収集装置等に関する。

位置や方向を指定することにより所定の空間の画像を切り出して表示する技術が知られている。例えば、特許文献１は、実世界を映した入力画像の部分画像を加工し、特定のオブジェクトを強調表示する技術を開示している。また、特許文献２は、特定の監視対象物について、時間的に連続する複数の画像を平均化することによって、遮蔽物を希釈化あるいは除去する技術を開示している。

特開２０１２−０７９１２９号公報 特開２００６−１４０７５７号公報

路上や室内で撮影された画像には、人物等の遮蔽物が映り込む場合がある。このような遮蔽物は、閲覧の対象物（建造物、風景など）を視認する妨げになるだけでなく、第三者の顔や個人情報が当人の意に反して公開される問題を生じさせる可能性がある。

特許文献２には、遮蔽物の画像を平均化することによって個人情報を保護することが開示されている。しかし、画像が膨大に存在する場合、画像を一つずつチェックしてこのような画像処理を実行するのは非効率である。

本開示の例示的な目的の一つは、遮蔽物を加工する画像処理によらずに遮蔽物の影響が低減された画像を提供することである。

本開示の一態様に係る画像収集装置は、画像情報を複数の装置から取得する取得手段と、前記取得手段により取得された複数の画像情報のうち、画像に遮蔽物が含まれない画像情報を選択する選択手段と、前記選択手段により選択された画像情報を格納する格納手段とを含む。

本開示の別の態様に係る表示システムは、撮影装置と、画像収集装置と、表示装置とを含み、前記画像収集装置は、画像情報を前記撮影装置から取得する取得手段と、前記取得手段により取得された複数の画像情報のうち、画像に遮蔽物が含まれない画像情報を選択する選択手段と、前記選択手段により選択された画像情報を格納する格納手段とを含み、前記表示装置は、前記格納手段により格納された画像情報に応じた画像を表示する表示手段を含む。

本開示のさらに別の態様に係る画像収集方法は、画像情報を複数の装置から取得し、前記取得された複数の画像情報のうち、画像に遮蔽物が含まれない画像情報を選択し、前記選択された画像情報を格納する。

本開示のさらに別の態様に係るプログラムは、コンピュータに、画像情報を複数の装置から取得する処理と、前記取得された複数の画像情報のうち、画像に遮蔽物が含まれない画像情報を選択する処理と、前記選択された画像情報を格納する処理とを実行させる。

本開示によれば、遮蔽物を加工する画像処理によらずに遮蔽物の影響が低減された画像を提供することが可能である。

図１は、画像収集装置の構成の一例を示すブロック図である。 図２は、画像収集装置の動作の一例を示すフローチャートである。 図３は、表示システムの構成の一例を示すブロック図である。 図４は、画像編集装置の構成の一例を示すブロック図である。 図５は、表示システムにおける動作の一例を示すシーケンスチャートである。 図６は、第１記録部により記録される情報を例示する図である。 図７は、第２記録部により記録される情報を例示する図である。 図８は、表示システムにおける動作の一例を示すシーケンスチャートである。 図９は、画像収集装置の変形例を示すブロック図である。 図１０は、画像収集装置の別の変形例を示すブロック図である。 図１１は、画像収集装置のさらに別の変形例を示すブロック図である。 図１２は、コンピュータ装置のハードウェア構成の一例を示すブロック図である。

［第１実施形態］
図１は、一実施形態に係る画像収集装置１００の構成を示すブロック図である。画像収集装置１００は、所定の空間の画像を収集する装置である。ここでいう所定の空間は、例えば、特定の地域の風景や、特定の施設の内部である。ここでいう空間は、個々の位置及び方向を所定の指標（緯度及び経度、方位など）によって識別可能な場所であれば、特定の場所に限定されない。

画像収集装置１００は、取得部１１０と、選択部１２０と、格納部１３０とを少なくとも含む。画像収集装置１００は、他の構成要素を含んでもよい。画像収集装置１００は、ソフトウェア、ハードウェア及びこれらの組み合わせのいずれによっても構成され得る。

取得部１１０は、画像情報を取得する。いくつかの態様において、この画像情報は、画像の位置を示す位置情報と、当該位置における当該画像の方向を示す方向情報とが関連付けられていてもよい。位置情報は、例えば、緯度及び経度の組み合わせによって位置を表す。あるいは、位置情報は、所定の座標系の座標によって位置を表してもよい。方向情報は、例えば、特定の方向（例えば北）を基準とし、方位を角度によって表す。位置情報及び方向情報は、画像情報に埋め込まれていてもよい。

取得部１１０は、複数の装置から画像情報を取得する。いくつかの態様において、取得部１１０は、インターネット等のネットワークを介して画像情報を受信する。あるいは、取得部１１０は、所定の記憶装置に記憶された画像情報を取得してもよい。

選択部１２０は、取得部１１０により取得された画像情報のうち所定の画像情報を選択する。具体的には、選択部１２０は、取得部１１０により取得された複数の画像情報のうち、画像に遮蔽物が含まれない画像情報を選択する。選択部１２０は、画像に遮蔽物が含まれるかを周知技術（例えば物体認識技術）を用いて判断してもよい。あるいは、選択部１２０は、画像に遮蔽物が含まれるかを別の装置に判断させ、その判断結果を取得して選択の基準としてもよい。

ここでいう遮蔽物は、収集対象である画像（建造物、建物など）を遮蔽する物体である。例えば、遮蔽物は、画像に偶然映り込んだ人間（歩行者など）や、道路を走行する自動車である。ただし、遮蔽物は、人間と自動車のみに限定されない。例えば、上述の物体認識技術によって認識可能な物体は、いずれも遮蔽物として用いられ得る。

格納部１３０は、選択部１２０により選択された画像情報を格納する。格納部１３０は、例えば、ハードディスク等の記憶装置を含む。あるいは、格納部１３０は、外部の記憶装置に画像情報を記録するように構成されてもよい。格納部１３０により格納された画像情報は、閲覧の用に供される。

図２は、画像収集装置１００の動作を示すフローチャートである。画像収集装置１００は、画像情報を取得する毎にこの動作を実行してもよいが、所定の期間に取得された複数の画像情報に対し、所定のタイミングで一括してこの動作を実行してもよい。

ステップＳ１１において、取得部１１０は、画像情報を取得する。このとき、取得部１１０は、画像情報に関連付けられる位置情報及び方向情報をあわせて取得してもよい。ステップＳ１２において、選択部１２０は、ステップＳ１１において取得された画像情報のうち、画像に遮蔽物を含まないと判断される画像情報を選択する。換言すれば、選択部１２０は、画像情報を取捨選択する。ステップＳ１３において、格納部１３０は、ステップＳ１２において選択された画像情報を格納する。格納部１３０は、ステップＳ１２において選択されなかった画像情報、すなわち画像に遮蔽物を含むと判断された画像情報は、格納しない。

以上に説明されたように、本実施形態の画像収集装置１００は、複数の装置から取得した画像情報を取捨選択し、画像に遮蔽物を含まない画像情報を選択的に格納する構成を有する。この構成によれば、閲覧の用に供される画像情報を遮蔽物を含まない画像情報のみにすることができるため、この画像情報に対して遮蔽物を加工するための画像処理を実行する必要性をなくす（又は少なくする）ことが可能である。

路上や屋内で撮影された画像を公開するサービスが知られている。このようなサービスにおいて、公開される画像は、一般に、サービス事業者によって撮影及び収集されている。この場合、遮蔽物がみだりに公開されないようにするためには、意図せず撮影された遮蔽物に対してモザイク処理等の画像処理を施すか、あるいは、遮蔽物が含まれない画像を撮影する必要がある。このような画像処理又は撮影をサービス事業者が単独で実施したのでは、効率が悪いといわざるを得ない。一方、本実施形態によれば、画像情報を複数の装置から取得し、画像に遮蔽物が含まれない画像情報を格納するため、画像情報を効率的に収集することが可能である。

［第２実施形態］
図３は、別の実施形態に係る表示システム２００の構成を示すブロック図である。表示システム２００は、撮影装置２１０と、画像編集装置２２０と、閲覧装置２３０とを含む。表示システム２００において、撮影装置２１０、画像編集装置２２０及び閲覧装置２３０のそれぞれの数は、特定の数に限定されない。

なお、本実施形態において、第１実施形態に記載された用語と同一の用語は、特に定義又は説明がある場合を除き、第１実施形態と同様の意味で用いられる。また、本実施形態において第１実施形態と同一の符号を付された構成要素は、第１実施形態と同様の構成を少なくとも有する。

撮影装置２１０は、撮影者により所持される電子機器である。撮影装置２１０は、例えば、スマートフォンや通信機能付きのデジタルスチルカメラである。また、撮影装置２１０は、車載機器であってもよい。撮影装置２１０は、撮影部２１１を少なくとも含む。

撮影部２１１は、画像を撮影し、撮影された画像を示す画像情報を生成する。撮影部２１１は、例えば、ＣＣＤ（Charge Coupled Device）などにより構成されたイメージセンサを含んで構成される。

いくつかの態様において、撮影装置２１０は、位置情報及び方向情報を取得するための構成を有する。位置情報は、例えば、ＧＰＳ（Global Positioning System）を用いて取得可能である。方向情報は、例えば、いわゆる電子コンパス（地磁気センサ）を用いて取得可能である。なお、位置情報及び方向情報は、このような構成によらずに、撮影者によって入力されてもよい。

閲覧装置２３０は、閲覧者により所持される電子機器である。閲覧装置２３０は、例えば、スマートフォンやパーソナルコンピュータである。閲覧装置２３０は、表示部２３１を少なくとも含む。閲覧装置２３０は、キーボード等の入力装置を含んでもよい。

表示部２３１は、例えば、液晶等の表示素子により構成された表示面を含む。表示部２３１は、この表示面に画像を表示する。表示部２３１は、タッチスクリーンディスプレイであってもよい。あるいは、表示部２３１は、スクリーンや壁面に画像を投射するプロジェクタであってもよい。

画像編集装置２２０は、撮影装置２１０及び閲覧装置２３０とデータを授受する。画像編集装置２２０は、インターネット、移動体通信網等のネットワークを介して撮影装置２１０及び閲覧装置２３０と通信することができる。画像編集装置２２０は、第１実施形態の画像収集装置１００の一例に相当する。

図４は、画像編集装置２２０の構成を示すブロック図である。画像編集装置２２０は、受信部２２１と、選択部２２２と、送信部２２３と、第１記録部２２４と、第２記録部２２５とを含む。

受信部２２１は、撮影装置２１０から画像情報を受信する。受信部２２１は、画像情報を受信すると、画像情報を第１記録部２２４に供給する。受信部２２１は、画像収集装置１００の取得部１１０の一例に相当する。

選択部２２２は、受信部２２１により受信され、第１記録部２２４により記録された画像情報から所定の画像情報を選択する。具体的には、選択部２２２は、第１記録部２２４により記録された画像情報のうち、画像に遮蔽物が含まれていない画像情報を選択する。選択部２２２は、選択された画像情報を第２記録部２２５に供給する。選択部２２２は、画像収集装置１００の選択部１２０の一例に相当する。

送信部２２３は、選択部２２２により選択され、第２記録部２２５により記録された画像情報を閲覧装置２３０に送信する。送信部２２３は、閲覧装置２３０からの要求に応じて画像情報を読み出す。例えば、送信部２２３は、特定の位置及び方向に関連付けられた画像情報を第２記録部２２５から読み出し、閲覧装置２３０に供給する。

第１記録部２２４及び第２記録部２２５は、いずれも画像情報を記録する。第１記録部２２４及び第２記録部２２５は、それぞれ所定の記憶装置に画像情報を記録する。第１記録部２２４は、選択部２２２による選択前の画像情報を記録する。一方、第２記録部２２５は、選択部２２２による選択後の画像情報を記録する。第２記録部２２５は、画像収集装置１００の格納部１３０の一例に相当する。

図５は、表示システム２００における動作を示すシーケンスチャートである。ステップＳ２１において、撮影装置２１０は、撮影部２１１により撮影を実行し、画像情報を生成する。ステップＳ２２において、撮影装置２１０は、画像情報を位置情報及び方向情報と関連付けて画像編集装置２２０に送信する。この位置情報は、撮影装置２１０の位置、すなわち画像が撮影された位置を示す。また、方向情報は、撮影部２１１が撮影した方向、すなわち画像の向きを示す。画像編集装置２２０は、画像情報を受信すると、ステップＳ２３において画像情報を記録する。

ステップＳ２４において、画像編集装置２２０は、ステップＳ２３において記録された画像情報を選択する。具体的には、画像編集装置２２０は、画像情報が示す画像に遮蔽物が含まれているか判断し、当該画像に遮蔽物が含まれている場合に当該画像情報を選択する。画像編集装置２２０は、この判断を終えたら、第１記録部２２４により記録された画像情報を削除してもよい。

ステップＳ２５において、画像編集装置２２０は、ステップＳ２４において選択された画像情報、すなわち画像に遮蔽物が含まれていると判断された画像情報を記録する。

図６は、第１記録部２２４により記録される情報を例示する図である。また、図７は、第２記録部２２５により記録される情報を例示する図である。これらの図に示されるように、第１記録部２２４及び第２記録部２２５は、位置情報及び方向情報を画像情報のファイル名及び撮影日時と関連付けて記録する。これに加え、第１記録部２２４及び第２記録部２２５は、ファイル名が割り当てられた画像情報を記録する。この例において、画像情報は、ファイル名によって位置情報及び方向情報と関連付けられている。

図６及び図７に示されるように、第２記録部２２５は、第１記録部２２４により記録された画像情報の一部を記録する。すなわち、第２記録部２２５により記録される画像情報は、第１記録部２２４により記録される画像情報よりも少ない。

図８は、表示システム２００における動作を示すシーケンスチャートである。図８は、画像編集装置２２０に画像情報が蓄積された後、閲覧装置２３０により閲覧要求が送信された場合の動作を示す。ステップＳ２６において、閲覧装置２３０は、閲覧者の操作に応じて、画像編集装置２２０に閲覧要求を送信する。閲覧要求は、位置情報と方向情報とを含む。すなわち、閲覧者は、所望の位置及び方向を指定して閲覧要求を送信する。

ステップＳ２７において、画像編集装置２２０は、ステップＳ２５において記録された画像情報のうち、閲覧要求に含まれる位置情報及び方向情報に対応する画像情報を読み出す。画像編集装置２２０は、閲覧要求に応じて、閲覧要求に含まれる位置情報及び方向情報が関連付けられた画像情報を検索して読み出す。

ステップＳ２８において、画像編集装置２２０は、ステップＳ２７において読み出された画像情報を閲覧装置２３０に送信する。ステップＳ２９において、閲覧装置２３０は、ステップＳ２８において送信された画像情報を受信し、画像情報に応じた画像を表示する。

以上に説明されたように、本実施形態の表示システム２００は、第１実施形態の画像収集装置１００と同様の作用効果を奏することができる。また、表示システム２００は、さまざまな撮影装置２１０から画像情報を収集することが可能である。したがって、表示システム２００によれば、画像を閲覧するサービスを提供するサービス事業者に限らず、当該サービスの利用者からも画像情報を受け付けることが可能であるため、多数の画像情報を効率的に収集することが可能である。

［変形例］
本開示は、上述された第１実施形態〜第２実施形態に限定されない。本開示は、当業者が把握し得る変形又は応用を適用した形態を含み得る。例えば、本開示は、以下に記載される変形例を含む。また、本開示は、本明細書に記載された事項を必要に応じて適宜に組み合わせた形態を含み得る。例えば、特定の実施形態を用いて説明された事項は、矛盾を生じない範囲において、他の実施形態に対しても適用され得る。

（変形例１）
図９は、画像収集装置１００の変形例を示すブロック図である。画像収集装置１００ａは、選択部１２０が画像認識部１２１を含む点において第１実施形態の画像収集装置１００と相違する。画像収集装置１００ａは、その他の点においては、第１実施形態の画像収集装置１００と同様の構成を有する。

画像認識部１２１は、画像情報が表す画像から所定の条件を満たす物体を認識する。画像認識部１２１は、画像認識技術（例えば、一般物体認識技術）により、あらかじめ登録された条件を満たす物体を認識する。画像認識部１２１は、他の物体と識別可能な一定の傾向（特徴）を有する物体を認識することができる。ここでいう物体は、例えば、人間の全身又は一部（顔など）、自動車、オートバイ、自転車、標識などである。画像認識部１２１は、「人間」と「自動車」を認識する、といったように、複数の種類の物体を認識するように構成されてもよい。

選択部１２０は、画像認識部１２１によって特定の物体が認識された画像情報を、画像に遮蔽物を含んだ画像情報であると判断する。つまり、本実施形態における遮蔽物は、画像認識部１２１により認識可能な物体である。選択部１２０は、画像認識部１２１により物体が認識されていない画像情報を選択する。

本変形例の画像収集装置１００ａは、第１実施形態の画像収集装置１００と同様の作用効果を奏することができる。また、本変形例の画像収集装置１００ａによれば、画像認識部１２１により認識可能な物体を遮蔽物とすることが可能である。

（変形例２）
図１０は、画像収集装置１００の別の変形例を示すブロック図である。画像収集装置１００ｂは、合成部１４０を含む点において第１実施形態の画像収集装置１００と相違する。画像収集装置１００ｂは、その他の点においては、第１実施形態の画像収集装置１００と同様の構成を有する。

合成部１４０は、格納部１３０により格納された画像情報に基づいて地図情報を生成する。地図情報は、複数の画像情報を合成することによって生成される。合成部１４０は、個々の画像情報が表す画像の境界を目立ちにくくする画像処理を実行してもよい。

地図情報は、例えば、位置及び方向が入力された場合に、これらの情報に関連付けられた画像情報を出力するように構成される。また、地図情報は、入力される位置や方向が変化した場合に、その変化に応じた画像情報を出力するように構成される。

本変形例の画像収集装置１００ｂは、第１実施形態の画像収集装置１００と同様の作用効果を奏することができる。また、本変形例の画像収集装置１００ｂによれば、複数の画像情報を合成した地図情報を閲覧の用に供することが可能である。

（変形例３）
図１１は、画像収集装置１００のさらに別の変形例を示すブロック図である。画像収集装置１００ｃは、出力部１５０を含む点において第１実施形態の画像収集装置１００と相違する。画像収集装置１００ｃは、その他の点においては、第１実施形態の画像収集装置１００と同様の構成を有する。なお、この変形例において、画像情報は、位置情報及び方向情報に関連付けられている。

出力部１５０は、特定の位置及び方向を示す閲覧要求に応じて、格納部１３０により格納された画像情報のうち当該特定の位置及び方向に対応する画像情報を出力する。一の態様において、出力部１５０は、ネットワークを介して外部の装置に画像情報を送信する。第２実施形態の送信部２２３は、出力部１５０の一例に相当する。

本変形例の画像収集装置１００ｃは、第１実施形態の画像収集装置１００と同様の作用効果を奏することができる。また、本変形例の画像収集装置１００ｃによれば、閲覧要求に応じた画像情報を選択的に出力することが可能である。

（変形例４）
本開示に係る各装置（画像収集装置１００、画像編集装置２２０など）の具体的なハードウェア構成は、さまざまなバリエーションが含まれ、特定の構成に限定されない。例えば、各装置は、ソフトウェアを用いて実現されてもよく、複数のハードウェアを用いて各種処理を分担するように構成されてもよい。

図１２は、各装置を実現するコンピュータ装置３００のハードウェア構成の一例を示すブロック図である。コンピュータ装置３００は、ＣＰＵ（Central Processing Unit）３０１と、ＲＯＭ（Read Only Memory）３０２と、ＲＡＭ（Random Access Memory）３０３と、記憶装置３０４と、ドライブ装置３０５と、通信インタフェース３０６と、入出力インタフェース３０７とを備える。本開示に係る各装置は、図１２に示される構成（又はその一部）によって実現され得る。

ＣＰＵ３０１は、ＲＡＭ３０３を用いてプログラム３０８を実行する。プログラム３０８は、ＲＯＭ３０２に記憶されていてもよい。また、プログラム３０８は、メモリカード等の記録媒体３０９に記録され、ドライブ装置３０５によって読み出されてもよいし、外部装置からネットワーク３１０を介して送信されてもよい。通信インタフェース３０６は、ネットワーク３１０を介して外部装置とデータをやり取りする。入出力インタフェース３０７は、周辺機器（入力装置、表示装置など）とデータをやり取りする。通信インタフェース３０６及び入出力インタフェース３０７は、データを取得又は出力する手段として機能することができる。

なお、各装置の構成要素は、単一の回路（プロセッサ等）によって構成されてもよいし、複数の回路の組み合わせによって構成されてもよい。ここでいう回路（circuitry）は、専用又は汎用のいずれであってもよい。

上述された実施形態において単体の装置として説明された構成は、複数の装置に分散して設けられてもよい。例えば、画像収集装置１００又は画像編集装置２２０は、クラウドコンピューティング技術などを用いて、複数のコンピュータ装置によって実現されてもよい。

１００、１００ａ、１００ｂ、１００ｃ 画像収集装置
１１０ 取得部
１２０ 選択部
１２１ 画像認識部
１３０ 格納部
１４０ 合成部
１５０ 出力部
２００ 表示システム
２１０ 撮影装置
２１１ 撮影部
２２０ 画像編集装置
２２１ 受信部
２２２ 選択部
２２３ 送信部
２２４ 第１記録部
２２５ 第２記録部
２３０ 閲覧装置
２３１ 表示部
３００ コンピュータ装置

Claims (7)

1. 画像情報を外部の複数の装置から取得する取得手段と、
   前記取得手段により取得された複数の画像情報のうち、閲覧の対象物である画像を遮蔽する物体が含まれない画像情報を選択する選択手段と、
   前記選択手段により選択された画像情報を格納する格納手段と
   を備える画像収集装置。
2. 前記選択手段は、
   前記取得手段により取得された画像情報が表す画像から前記物体を認識する画像認識手段を備え、
   前記画像認識手段により前記物体が認識されていない画像情報を選択する
   請求項１に記載の画像収集装置。
3. 前記格納手段により格納された画像情報に基づいて地図情報を生成する合成手段を備える
   請求項１又は請求項２に記載の画像収集装置。
4. 前記画像情報は、当該画像情報が表す画像の位置を示す位置情報と、当該位置における当該画像の方向を示す方向情報とが関連付けられ、
   特定の位置及び方向を示す閲覧要求に応じて、前記格納手段により格納された画像情報のうち当該特定の位置及び方向に対応する画像情報を出力する出力手段を備える
   請求項１から請求項３までのいずれか１項に記載の画像収集装置。
5. 撮影装置と、画像収集装置と、表示装置とを備え、
   前記画像収集装置は、
   画像情報を前記撮影装置または外部の装置から取得する取得手段と、
   前記取得手段により取得された複数の画像情報のうち、閲覧の対象物である画像を遮蔽する物体が含まれない画像情報を選択する選択手段と、
   前記選択手段により選択された画像情報を格納する格納手段
   とを備え、
   前記表示装置は、
   前記格納手段により格納された画像情報に応じた画像を表示する表示手段
   を備える
   表示システム。
6. 画像情報を外部の複数の装置から取得し、
   前記取得された複数の画像情報のうち、閲覧の対象物である画像を遮蔽する物体が含まれない画像情報を選択する選択し、
   前記選択された画像情報を格納する
   画像収集方法。
7. コンピュータに、
   画像情報を外部の複数の装置から取得する処理と、
   前記取得された複数の画像情報のうち、閲覧の対象物である画像を遮蔽する物体が含まれない画像情報を選択する処理と、
   前記選択された画像情報を格納する処理と
   を実行させるためのプログラム。
   

Images