JP6622990B2 - 情報弁別装置、情報弁別方法及び情報弁別プログラム - Google Patents

Description

本発明は、情報弁別装置、情報弁別方法及び情報弁別プログラムに関する。

従来、ユーザの個人使用を目的とした私的情報と公での使用を目的とした公共情報とを関連付けるようにした提案は各種なされている。例えば、特許文献１では、ユーザが私的に録音した音楽がどのような曲であるのかを示す情報がサーバに記録されている公共情報から取得される。

特開２００８-１２３５４６号公報

特許文献１は、私的情報に公共情報を関連付けるものである。これとは逆に、ユーザが個人で所有している私的情報の中にも公共情報として使用できるものもあると考えられる。例えば、公共情報に私的情報を関連付けるようにすることで、私的情報に意味を持たせたり、公共情報をより充実させたりすることが可能であると考えられる。

本発明は、前記の事情に鑑みてなされたもので、私的な情報から公共にも使用できる公共情報部を抽出し、情報をリッチ化することが可能な情報弁別装置、情報弁別方法及び情報弁別プログラムを提供することを目的とする。

前記の目的を達成するために、本発明の第１の態様の情報弁別装置は、情報弁別装置のユーザにより私的に使用される私的画像を取得する情報取得部と、前記情報取得部で取得された私的画像の中で特定の多数がアクセス可能である公共情報としても使用が可能な公共情報部と、前記公共情報としての使用が不能な私的情報部とを弁別する情報弁別部と、前記私的画像の前記公共情報部を前記私的画像とは別の公開公共画像に重畳する情報重畳部とを具備し、前記情報弁別部は、前記公開公共画像と類似する構造物部分を前記私的画像と前記公開公共画像とのマッチングによって判定し、判定した構造物部分を前記私的画像における前記公共情報部とすることを特徴とする。

前記の目的を達成するために、本発明の第２の態様の情報弁別方法は、情報取得部により、情報弁別装置のユーザにより私的に使用される私的画像を取得することと、情報弁別部により、前記情報取得部で取得された私的画像の中で特定の多数がアクセス可能である公共情報としても使用が可能な公共情報部と、前記公共情報としての使用が不能な私的情報部とを弁別することと、情報重畳部により、前記私的画像の前記公共情報部を、前記私的画像とは別の公開公共画像に重畳することとを具備し、前記弁別することは、前記公開公共画像と類似する構造物部分を前記私的画像と前記公開公共画像とのマッチングによって判定し、判定した構造物部分を前記私的画像における前記公共情報部とすることを含むこと特徴とする。

前記の目的を達成するために、本発明の第３の態様の情報弁別プログラムは、情報弁別装置のユーザにより私的に使用される私的画像を取得することと、前記取得された私的画像の中で特定の多数がアクセス可能である公共情報としても使用が可能な公共情報部と、前記公共情報としての使用が不能な私的情報部とを弁別することと、前記私的画像の前記公共情報部を、前記私的画像とは別の公開公共画像に重畳することとをコンピュータに実行させるための情報弁別プログラムであって、前記弁別することは、前記公開公共画像と類似する構造物部分を前記私的画像と前記公開公共画像とのマッチングによって判定し、判定した構造物部分を前記私的画像における前記公共情報部とすることを含む。

本発明によれば、私的な情報から公共にも使用できる公共情報部を抽出し、情報をリッチ化することが可能な情報弁別装置、情報弁別方法及び情報弁別プログラムを提供することができる。

本発明の各実施形態に係る情報弁別装置を含む通信システムの構成を示す図である。 私的画像の例を示す図である。 公共地図画像の表示部への表示例を示す図である。 風景画像の表示部への表示例を示す図である。 重畳風景画像の表示例を示す図である。 多数のユーザによって重畳風景画像が持ち寄られた場合の表示例を示す図である。 端末装置の概念的な動作を示すフローチャートである。 図７の１つの具体例としての端末装置の動作を示すフローチャートの第１図である。 図７の１つの具体例としての端末装置の動作を示すフローチャートの第２図である。 道路に面している構造物をその道路を走行している自動車等から撮影した場合の、実際の構造物と風景画像上の構造物との関係を示す図である。 魚眼レンズで側面の構造物を撮影した場合の例について説明するための図である。 構造物検出処理の具体例を示すフローチャートである。 第１の実施形態の情報弁別処理について示すフローチャートである。 第２の実施形態における１つの具体例としての端末装置の動作を示すフローチャートである。 第２の実施形態の情報弁別処理について示すフローチャートである。 第２の実施形態における重畳風景画像の表示例を示す図である。

以下、図面を参照して本発明の実施形態を説明する。図１は、本発明の各実施形態に係る情報抽出装置を含む通信システムの構成を示す図である。図１に示すように、通信システム１は、端末装置１００と、サービスサイトサーバ２００とを有している。端末装置１００と、サービスサイトサーバ２００とは、例えばインターネット回線のようなネットワーク３００を介して通信自在に接続されている。このような構成としているのは、クラウド環境下の方が自由度のある運用が可能であるからである。必ずしも、端末装置１００とサービスサイトサーバ２００とはネットワーク３００を介して接続されていなくともよい。図１の端末装置１００は１台である。しかしながら、通信システム１は、複数台の端末装置１００を有していてもよい。

情報弁別装置の一例としての端末装置１００は、例えばスマートフォンやタブレット端末といった端末装置である。端末装置１００は、情報取得部１０２と、記録部１０４と、表示部１０６と、発音部１０８と、時刻取得部１１０と、位置取得部１１２と、操作部１１４と、通信部１１６と、制御部１１８とを有している。

情報取得部１０２は、私的情報を取得する。私的情報は、ユーザによる個人使用を目的として端末装置１００に記録される情報である。情報取得部１０２によって取得され得る私的情報は、画像や音声、さらには、それを取得した場所や時間等の付随情報、そこから得られる行動履歴や顔検出結果、声紋を含む生体情報等の加工情報等の種々の情報を含む。私的情報が画像である場合、情報取得部１０２は、レンズや撮像素子を有する撮像部である。情報取得部１０２は、外部の機器から情報を取得するだけのインタフェースを備えているだけでもよい。なお、ここでの私的情報は、取得した個人による個人利用を前提としている。実際には、私的情報は、家族、限られたサークル、職場等の信頼関係に基づく暗黙の契約や明確な契約を理由にして、特定の空間的又は時間的な範囲で共有される情報でもよい。ただし、年代物の写真で作者も被写体も分からなくなってしまったような写真は、公共で利用されても問題は生じないと考えられる。この他、ピントが外れていたり、露出が適正でなかったり、顔の判別が出来ないような写真も、個人特定が困難な事から、公共で利用されても問題は生じないと考えられる。以下では、私的情報は、顔や服装等から個人特定が可能なポートレート写真又はポートレート写真でなくても車のナンバー、住所、表札等から個人特定が可能な写真であるとして説明を続ける。一方で、画像でも音声でも、取得者の特定ができない場合、撮影された個人特定と無関係な背景画像部、集音された声と分離された環境音声部は、抜き出して再生しても、必ずしも個人の不利益には繋がらない。したがって、このような背景画像部又は環境音声部は、私的利用に限られる必要はなく共用可能な部分と考えることもできる。もちろん、著作権がからむ被写体や音声もあるが、これは肖像権等と同列の考え方をして、公共利用できないようにすることが好ましく、本発明の範疇に含まれるものと考えている。また、公共という言葉は、会員制のＳＮＳで、有償無償、登録の難しさは様々であるが会員になれば見られるといったものであれば、公共のものと考えてよい。権利者が特定の条件付きで公開を許諾したものであれば、公共のものと考えてもよい。また、画像はコンピューターグラフィックのようなもので作られた風景でもよく、第三者が作成、または撮影したものを含み、昔を再現した風景に、個人の画像を重畳させるような使い方を想定してもよい。

記録部１０４は、例えばフラッシュメモリであり、種々の情報を記録する。この記録部１０４は、私的情報記録部１０４１と、補助情報記録部１０４２と、プログラム記録部１０４３とを有している。私的情報記録部１０４１は、情報取得部１０２で取得された私的情報を記録するための記録部である。補助情報記録部１０４２は、制御部１１８において行われる情報弁別処理に伴って生成される補助情報を記録するための記録部である。プログラム記録部１０４３は、端末装置１００の制御部１１８が端末装置１００の制御するための制御プログラム及び各種のアプリケーションプログラムを記録するための記録部である。プログラム記録部１０４３には、アプリケーションプログラムとして、ウェブブラウザ、地図表示アプリケーション、カメラアプリケーション等が記録されている。ウェブブラウザは、サービスサイトサーバ２００上のウェブページを閲覧するためのアプリケーションである。地図表示アプリケーションは、端末装置１００を公共情報としての地図画像を再生するための地図表示装置として機能させるためのアプリケーションである。カメラアプリケーションは、情報取得部１０２が撮像部である場合において、端末装置１００をカメラとして機能させるためのアプリケーションである。

表示部１０６は、例えば液晶ディスプレイであり、各種の画像を表示する。発音部１０８は、例えばスピーカであり、各種の音声を発する。

時刻取得部１１０は、例えば時計によって各種の時刻を取得する。位置取得部１１２は、例えばＧＰＳ受信器であり、端末装置１００の現在位置を取得する。これらの時刻及び現在位置の情報は、情報取得部１０２によって取得された私的情報に関連付けられる。なお、端末装置１００は、電子コンパス等の方位検出部を有することによって、端末装置１００の現在の方位を取得するように構成されていてもよい。この場合、方位の情報も私的情報に関連付けられる。その他、高度を測る気圧計や加速度センサ等も、ユーザの行動判定に使われることがあり、これらの情報を利用できるようにしてもよい。

操作部１１４は、ユーザによる端末装置１００の操作を受け付けるための操作部材である。操作部１１４は、例えば電源ボタン、タッチパネルといった操作部材である。

通信部１１６は、ネットワーク３００を介してサービスサイトサーバ２００と通信するための通信インタフェースを含む。通信部１１６は、例えば無線ＬＡＮ回線や携帯電話回線を介してサービスサイトサーバ２００と通信する。通信部１１６は、必ずしも無線通信によってサービスサイトサーバ２００と通信するように構成されていなくてもよい。通信部１１６は、有線通信によってサービスサイトサーバ２００と通信するように構成されていてもよい。

制御部１１８は、例えばＣＰＵを含む汎用の制御回路又は特定用途の制御回路である。制御部１１８は、端末装置１００の全体的な動作を制御する。また、本実施形態における制御部１１８は、情報弁別部１１８１と、情報重畳部１１８２とを有している。

情報弁別部１１８１は、私的情報記録部２０２２に記録されている私的情報の中で公共情報としても使用可能な私的情報（画像の中の公共情報部とも呼べる）と公共情報としての使用が不能な私的情報とを弁別する。公開公共情報とは、例えば、国や自治体、企業等のライブラリーとかデータベース上で管理されて検索利用しても、個人情報や肖像権、利害関係等のトラブルが生じない一般的なものを想定し、ここではサービスサイトサーバ２００にアクセスすることができる誰もが使用可能な情報のことを言う。また、ユーザ以外の人が権利を持っているが、ユーザには利用可能なものでもよい。企業内の資料や病院のカルテ等はデータベース化されているが、これは不特定多数の人には公開されていないので、特定には公開されていても公共ということではない。公共情報としても使用可能な私的情報（公共情報部）とは、例えば公共情報との類似部分を有する私的情報の特定部分である。前述のように、画像でも音声でも、取得者の特定ができない場合、撮影された個人特定と無関係な背景画像部又は集音された音声と分離された環境音声部は、誰にも迷惑をかけずに共用可能な部分であると共に、公共情報と類似する部分と考えることができる。別の見方をすれば、顔や服装や声紋（または、車のナンバーや個人と関連する住所や表札）以外を公共情報とする以外に、公共情報に一般的に含まれているものは個人情報でないという判断する考え方も成立する。ただし、こうした肖像権、著作権、個人情報に関しては、特許的、技術的観点に立てば公開の範囲を限定する必要はない。例えば、会員制のＳＮＳであれば、会員ならアクセスできるもの、会員でもアクセスできないものがあるが、この会員の資格取得も様々なケースが考えられ、特定の条件を満たせば「公共」という言葉での解釈が可能となる。公共という概念に、出版物にふれるようなもの、複数の端末からアクセス可能なもの等、定められた特定の集団によってアクセスや検索可能なものを含めても良い。
私的情報記録部２０２２に記録されている私的情報の中で、個人としてのみ楽しみたい秘匿しておきたい部分を特定して、その他の部分を公開可能な公共情報とする方法もある。そして、この秘匿部分は、一般的に得られるものではないので、検索は困難という考え方をしている。つまり、公共情報としても使用可能な私的情報（画像の中の公共情報部とも呼べる）にこそ、一般的な情報の中から検索可能な部分があると考えており、公共情報としての使用が不能な私的情報は、検索しようとしても一般的なコンテンツには含まれず、労力ばかりかかって成果が出ないばかりか、返って検索時の邪魔な要因となるという考え方をしている。例えば、東京タワーのみの画像から東京タワーのみの画像を検索するのは比較的容易だが、その前に誰かが立っている画像からは、立っている人の画像の特徴が邪魔をして、他の類似画像の検索は困難となる。
つまり、情報弁別部１１８１は、画像には公共情報部が含まれると考え、検索に有利なその部分を弁別し、これによって、画像は、公共情報によって検索可能な公共情報部と、公共の使用が不能な私的情報部に弁別される。

情報重畳部１１８２は、公開公共情報と私的情報とを重畳する。例えば私的情報が画像である場合には、情報重畳部１１８２は、例えば公共情報としての画像に私的情報としての画像を重畳する。

サービスサイトサーバ２００は、例えば汎用のコンピュータによって構成されている。サービスサイトサーバ２００は、記録部２０２と、通信部２０４と、制御部２０６とを有している。本実施形態のサービスサイトサーバ２００は、一例としてブログサーバ、ファイルサーバとしての機能も有している。

記録部２０２は、例えばハードディスクであり、種々のデータを記録する。この記録部２０２は、公共情報記録部２０２１と、私的情報記録部２０２２と、プログラム記録部２０２３を有している。

公共情報記録部２０２１は、公開公共情報を記録する記録部である。例えば、サービスサイトサーバ２００が地図検索サイトのサーバである場合、公開公共情報は公衆が閲覧可能な公共地図画像及び公共地図画像に付随する風景画像である。本実施形態における公共地図画像は、２次元の地図画像だけでなく、３次元の地図画像も含み得る。また、本実施形態における公共地図画像は、年代別の地図画像も含み得る。さらに、本実施形態における風景画像は、例えば魚眼レンズを有するカメラのような全周を撮影可能なカメラを搭載した自動車を走行させながら、地図上の特定地点を実際に撮影することで得られる。また、定点観測カメラのように、同じ場所の天候や季節や時間の推移を撮影するカメラ等も、こうした風景画像用の撮影装置と言える。

私的情報記録部２０２２は、私的情報を記録するための記録部である。サービスサイトサーバ２００の私的情報記録部２０２２に記録される私的情報は、例えばユーザによって作成されたブログ、ツイート、日記等のＳＮＳの情報等を含む。

プログラム記録部２０２３は、サービスサイトサーバ２００の制御部２０６がサービスサイトサーバ２００の制御するための制御プログラムを記録するための記録部である。

通信部２０４は、ネットワーク３００を介して端末装置１００と通信するための通信インタフェースを含む。通信部２０４は、例えば無線ＬＡＮ回線や携帯電話回線を介して端末装置１００と通信する。通信部２０４は、必ずしも無線通信によって端末装置１００と通信するように構成されていなくてもよい。通信部２０４は、有線通信によって端末装置１００と通信するように構成されていてもよい。

制御部２０６は、例えばＣＰＵを含む汎用の制御回路又は特定用途の制御回路である。制御部２０６は、サービスサイトサーバ２００の全体的な動作を制御する。本実施形態における制御部２０６は、情報弁別部２０６１と、情報重畳部２０６２とを有している。情報弁別部２０６１は情報弁別部１１８１と同一の処理を行うものであり、情報重畳部２０６２は情報重畳部１１８２と同一の処理を行うものである。したがって、説明を省略する。

以下、本実施形態に係る通信システム１の動作について説明する。まず、通信システム１の動作の概要について説明する。ここで、端末装置１００の私的情報記録部１０４１には、図２に示すような私的情報としての画像（私的画像）４００が記録されているとする。私的画像４００は、例えばユーザの家４０２の前の道路で撮影された画像である。

本実施形態においては、まず、端末装置１００のユーザにより公開公共情報が取得される。例えば、ＵＲＬの入力等の、ユーザによってサービスサイトサーバ２００から公共地図画像を取得するために必要な操作がユーザによって行われた場合には、端末装置１００は、サービスサイトサーバ２００にアクセスし、ユーザによって要求された公共地図画像をサービスサイトサーバ２００から取得する。その後、端末装置１００は、取得した公共地図画像を再生する。図３は、公共地図画像５００の表示部１０６への表示例を示す図である。このとき、ユースシーンとしては、特定の権利を持つユーザが非公開のものから情報を取得する場合は想定していない。なぜなら、ここでのユースシーンは得られたコンテンツを集まったみんなで鑑賞することを想定しているからである。しかし、これは、特許的、技術的観点に立てば公開の範囲を限定する必要はない。

公共地図画像が表示されている状態で、公共地図画像上の特定の位置がユーザによって指定された場合に、端末装置１００は、サービスサイトサーバ２００にアクセスし、ユーザによって指定された位置に対応する風景画像をサービスサイトサーバ２００から取得する。そして、端末装置１００は、取得した風景画像を再生する。図４は、風景画像６００の表示部１０６への表示例を示す図である。

風景画像６００の表示中において、端末装置１００の情報弁別部１１８１は、私的情報の中で公共情報として使用できるものを抽出する。例えば、情報弁別部１１８１は、風景画像と私的画像を比較し、類似部分を有する私的情報を抽出する。この類似部分を有する私的情報とは、例えば風景画像に対応付けられている位置情報と同じ位置情報が対応付けられた画像、風景画像の中の構造物と類似の構造物を含む画像である。例えば、図２の私的画像４００は、図４の風景画像６００に含まれている家６０２の部分と対応する家４０２の部分を含む画像である。したがって、図２の私的画像４００は、公共情報として使用できる私的情報として抽出される。この時に重要なのは、公共の風景画像は、同じ場所でも年代の異なるもの、季節や一日の時間帯で差異があるもの等、条件が異なる風景が多数存在しうることである。つまり、今はなくなってしまった建物の写真などが公共の風景画像を検索すれば見つけることが出来、時代や季節や時間帯によって異なる風景の画像の中に、私的画像の背景と類似のものを見つけることが可能だということである。したがって、特定の地域に限定すれば、その地域の地図情報等も参照しながら、私的画像の背景にある風景と同様の風景が写っている公共の風景画像を見つけることが、比較的迅速に可能となる。

公共情報として使用できる私的情報の抽出の後、情報重畳部１１８２は、公開公共情報と私的情報の公共情報部との重畳等を伴う合成を行う。これは必ず重畳する必要はなく、近傍に置いてもよく、それでも同様の効果を奏する。例えば、情報重畳部１１８２は、サービスサイトサーバ２００から取得された風景画像における家６０２の部分に私的情報としての図２の画像を重畳し、重畳風景画像を表示部１０６に表示させる。図５は、重畳風景画像７００の表示例を示す図である。ここで、重畳の際には、私的画像は、風景画像に対して重畳が不自然になったり、写っているものが分からなくなったり、背景を隠してしまったりしないよう、適切なサイズとなるように拡大又は縮小されることが望ましい。

情報重畳部１１８２によって得られた重畳風景画像７００は、ユーザの指示に基づいて、新たな公共情報として使用され得る。このような重畳風景画像が一人の、または複数のユーザから持ち寄られれば、風景画像の表示の際には、図６に示すように風景画像の変化に伴ってそこで実際に撮影された多くのこれまで細切れの画像であったユーザの写真が風景に関連づけられて表示されることになる。これにより、ただの風景画像であった公開公共情報は、多くのユーザにとってより楽しめる情報（いわば複合情報、リッチ化されたハイブリッド・イメージ）へと変化する。なお、サービスサイトサーバ２００に重畳風景画像が送信された場合であっても、サービスサイトサーバ２００は、もとの風景画像も残しておくことが望ましい。これにより、例えば重畳風景画像を再生するか、通常の風景画像を再生するかをユーザが選択することが可能になる。ユーザが単独でも個人や家族で楽しめるし、ユーザが増えれば自分とは関係のない画像であっても、服装や表情やポーズ等の風景だけでは分からなかった人の営みや風俗、文化等を表すコンテンツとしてリッチ化される。

以下、本実施形態に係る通信システム１の動作についてさらに説明する。図７は、端末装置１００の概念的な動作を示すフローチャートである。図７の動作は、主に制御部１１８によって制御される。

ステップＳ１０１において、制御部１１８は、ユーザの操作部１１４の操作に応じた公共情報をサービスサイトサーバ２００から取得する。ステップＳ１０２において、制御部１１８は、取得した公共情報を再生する。

ステップＳ１０３において、制御部１１８の情報弁別部１１８１は、私的情報記録部１０４１に記録されている私的情報の弁別を行う。すなわち、情報弁別部１１８１は、現在再生中の公共情報と類似部分を有する私的情報を抽出する。例えば、公共情報及び私的情報が画像であれば、情報弁別部１１８１は、公共情報としての画像との類似部分を有する私的画像を私的情報記録部１０４１から抽出する。

ステップＳ１０４において、制御部１１８の情報重畳部１１８２は、情報弁別部１１８１によって抽出された私的情報と現在再生中の公共情報とを重畳することによって重畳公共情報（複合情報）を生成する。

ステップＳ１０５において、制御部１１８は、重畳公共情報を再生する。ステップＳ１０６において、制御部１１８は、重畳公共情報を新たな公共情報として使用できるようにするか否かを判定する。例えば、ユーザの指示によって公共情報として使用できるようにする旨の指示がされた場合には、重畳公共情報を新たな公共情報として使用できるようにすると判定される。ステップＳ１０６において重畳公共情報を新たな公共情報として使用できるようにすると判定された場合には、処理はステップＳ１０７に移行する。ステップＳ１０６において重畳公共情報を新たな公共情報として使用できるようにしないと判定された場合には、処理は終了される。このように、例えば家の中にしまい込んでいた画像をこのシステム上にアップすれば、忘れていた土地のことを思い出したり、先祖の足跡をたどったりすることが出来る。ユーザの意志を確認するステップを設けて、特定のフラグ等で管理すれば、ユーザは情報の公開と非公開とを選ぶことができる。つまり、ユーザの了承を得て公開公共情報化してもよいし、一人や家族で楽しむだけにして非公開にしてもよい。

ステップＳ１０７において、制御部１１８は、重畳公共情報（複合情報で公共利用を許諾したもの）をサービスサイトサーバ２００に送信する。その後、処理は終了される。このような処理により、私的情報を含む重畳公共情報は、新たな公共情報として使用可能になる。

図８Ａ及び図８Ｂは、図７の１つの具体例としての端末装置１００の動作を示すフローチャートである。図８Ａ及び図８Ｂは、端末装置１００を地図表示装置として動作させるときの例である。したがって、図８Ａ及び図８Ｂの処理は、地図表示アプリケーションが起動された場合に開始される。また、図８Ａ及び図８Ｂの例においては、公開公共情報は、公共地図画像及びそれに付随する風景画像である。また、私的情報は、ユーザが個人で撮影した画像である。

ステップＳ２０１において、制御部１１８は、公共地図画像の特定情報が入力されたか否かを判定する。公共地図画像の特定情報は、例えば、位置情報（緯度情報及び経度情報）又は地名情報と年代情報とを含む。ステップＳ２０１において公共地図画像の特定情報が入力されていないと判定された場合に、処理はステップＳ２０２に移行する。ステップＳ２０１において公共地図画像の特定情報が入力されたと判定された場合に、処理はステップＳ２０５に移行する。

ステップＳ２０２において、制御部１１８は、ユーザの操作部１１４の操作により、私的情報記録部１０４１に記録されている画像の中で１つの画像が選択されたか否かを判定する。ステップＳ２０２において画像が選択されたと判定された場合に、処理はステップＳ２０３に移行する。ステップＳ２０２において画像が選択されていないと判定された場合に、処理はステップＳ２２３に移行する。

ステップＳ２０３において、制御部１１８は、入力された画像から公共地図画像の特定情報を判別する。例えば、画像に撮影位置情報が付加されている場合には、撮影位置情報を公共地図画像の位置を特定するための特定情報とすることができる。同様に、画像に撮影年代情報が付加されている場合には、撮影年代情報を公共地図画像の年代を特定するための特定情報とすることができる。この他、画像解析によって公共地図画像の位置又は年代を特定するための特定情報を検出することもできる。例えば、画像に写っているものの古さから、おおよその画像の撮影年代を特定することが可能である。また、人物が写っていることが画像解析によって特定された場合には、その人物の着ている服の特徴（色、形等）から画像の撮影年代を特定することが可能である。さらに、背景に特徴的な建物が写っていることが画像解析によって特定された場合には、その建物から画像の撮影位置及び撮影年代を特定することが可能である。

ステップＳ２０４において、制御部１１８は、選択された画像から公共地図画像の特定情報を取得できたか否かを判定する。ステップＳ２０４において選択された画像から公共地図画像の特定情報を取得できたと判定された場合に、処理はステップＳ２０５に移行する。ステップＳ２０４において選択された画像から公共地図画像の特定情報を取得できなかったと判定された場合に、処理はステップＳ２２３に移行する。

ステップＳ２０５において、制御部１１８は、通信部１１６により、公共地図画像の特定情報に対応した公共地図画像の送信をサービスサイトサーバ２００に対して要求する。これを受けて、サービスサイトサーバ２００は、特定情報と対応する公共地図画像を端末装置１００に送信する。この際、サービスサイトサーバ２００は、例えば、特定情報によって特定される位置を中心とする所定範囲の公共地図画像を送信する。その後、処理はステップＳ２０６に移行する。

ステップＳ２０６において、制御部１１８は、取得した公共地図画像を、例えば図３に示すようにして再生する。ステップＳ２０７において、制御部１１８は、風景画像を表示させるか否かを判定する。例えば、公共地図画像中の任意の位置がユーザによって指定された場合には、風景画像を表示させると判定される。ステップＳ２０７において風景画像を表示させないと判定された場合には、処理はステップＳ２２３に移行する。ステップＳ２０７において風景画像を表示させると判定された場合には、処理はステップＳ２０８に移行する。

ステップＳ２０８において、制御部１１８は、ユーザによって指定された位置に対応した風景画像の送信をサービスサイトサーバ２００に対して要求する。これを受けてサービスサイトサーバ２００は、ユーザによって指定された位置に対応した風景画像を送信する。その後、処理はステップＳ２０９に移行する。

ステップＳ２０９において、制御部１１８は、取得した風景画像を、例えば図４に示すようにして再生する。ステップＳ２１０において、制御部１１８の情報弁別部１１８１は、現在再生中の風景画像における構造物を検出する。以下、風景画像中の構造物検出処理について説明する。

ビル等の構造物は、重力に耐えるように地面に対して垂直に建てられていることが多い。したがって、ビル等の構造物は、２本の鉛直線を稜線として有する。この２本の鉛直線の内側と外側とで異なる画像特徴が検出されれば、稜線に囲まれた領域はビル等の構造物の領域であると推定される。

また、前述したように、風景画像は、例えば魚眼レンズを有するカメラのような全周を撮影可能なカメラを搭載した自動車を走行させながら、地図上の特定地点を実際に撮影することで得られる。ビル等の構造物は道路に面するように建てられていることが多いので、風景画像における構造物は道路に面するように写っていることが多い。このような道路に面しているような構造物もその稜線を検出することで推定することができる。

図９は、道路に面している構造物をその道路を走行している自動車等から撮影した場合の、実際の構造物と風景画像上の構造物との関係を示す図である。道に面している構造物８００の稜線は、同じ長さであったとしても、撮像素子の撮像面Ｉに結像される際に長さの異なる２つの直線になる。すなわち、構造物８００の稜線のうち、カメラとの距離が遠い側の稜線８００ａの画像上での長さは、カメラとの距離が近い側の稜線８００ｂの画像上での長さよりも短くなる。

ここで、撮像面Ｉにおける撮像中心の垂直位置を基準とした構造物８００の遠距離側の稜線８００ａの上端までの画像上での長さをｙｂ１、撮像面Ｉにおける撮像中心の垂直位置を基準とした近距離側の稜線８００ｂの上端までの画像上での長さをｙｂ２、ｙｂ１とｙｂ２との差をｙｂ１２、カメラのレンズ光軸Ｏの位置を基準とした構造物８００の上端までの高さをＨｂ、構造物８００の幅をＷ、カメラのレンズ中心から遠距離側の稜線８００ａまでの距離をＤｆ、カメラのレンズ中心から近距離側の稜線８００ｂまでの距離をＤｎ、カメラの焦点距離をＦとすると、以下の関係が成立する。
ｙｂ１２＝ｙｂ２−ｙｂ１＝（Ｈｂ・Ｆ／Ｄｎ）−（Ｈｂ・Ｆ／Ｄｆ）
ここで、Ｄｆ＝Ｄｎ＋Ｗであるから、以下の関係が成立する。
ｙｂ１２＝Ｈｂ・Ｗ・Ｆ／（Ｄｎ＋Ｗ）・Ｄｎ）
特に、Ｄｎ≫Ｗであれば、以下の（式１）の関係が成立する。
ｙｂ１２≒Ｈｂ・Ｗ・Ｆ／Ｄｎ^２ （式１）

同様に、撮像面Ｉにおける撮像中心の垂直位置を基準とした構造物８００の遠距離側の稜線８００ａの下端までの画像上での長さをｙｇ１、撮像面Ｉにおける撮像中心の垂直位置を基準とした近距離側の稜線８００ｂの下端までの画像上での長さをｙｇ２、ｙｇ１とｙｇ２との差をｙｇ１２、カメラのレンズ光軸Ｏの位置を基準とした構造物８００の下端までの高さをＨｇ、構造物８００の幅をＷ、カメラのレンズ中心から遠距離側の稜線８００ａまでの距離をＤｆ、カメラのレンズ中心から近距離側の稜線８００ｂまでの距離をＤｎ、カメラの焦点距離をＦとすると、以下の（式２）の関係が成立する。
ｙｇ１２≒Ｈｇ・Ｗ・Ｆ／Ｄｎ^２ （式２）

ここで、Ｈｂ、Ｈｇ及びＷは、構造物毎に決まる固定値である。したがって、焦点距離Ｆが固定であれば、画像上での稜線の長さの差ｙｂ１２及びｙｇ２１はＤｎによってのみ変化することが分かる。Ｄｎの変化は、風景画像の撮影位置の変化であると考えることができる。このため、個々の風景画像の撮影位置が既知であれば、ｙｂ１２又はｙｇ１２は、撮影位置の変化から計算される。風景画像から抽出される２つの鉛直線に対し、（式１）又は（式２）の計算から求めたｙｂ１２と実際にこれらの２つの鉛直線の長さの差から求めたｙｂ１２とが略一致すれば、これらの２つの鉛直線は、同じ構造物の稜線を表していると推定することができる。

なお、前述の（式１）及び（式２）では、撮影位置の変化を使用する必要がある。したがって、撮影位置が対応付けられていない風景画像における構造物は検出できない。これに対し、以下の（式３）で示すｙｂ２とｙｂ１と比及びｙｇ２とｙｇ１との比をそれぞれ求めるようにすることで、撮影位置の変化を使用しなくとも構造物の稜線を推定することが可能である。
ｙｂ２／ｙｂ１＝Ｄｆ／Ｄｎ
ｙｇ２／ｙｇ１＝Ｄｆ／Ｄｎ （式３）
（式３）を用いてＤｆ及びＤｎを消去すると、以下の（式４）の関係が得られる。
ｙｂ２／ｙｂ１＝ｙｇ２／ｙｇ１ （式４）

すなわち、風景画像から抽出される２つの鉛直線に対し、ｙｂ１、ｙｂ２、ｙｇ１、ｙｇ２が（式４）の関係を満たしていれば、これらの２つの鉛直線は、同じ構造物の稜線を表していると推定することができる。

さらに、魚眼レンズは、魚眼レンズを中心とした全周の画角の被写体の像を撮像素子に結像させる。このため、道路に面するように建てられた構造物であっても、図１０（ａ）に示すように、カメラの側面にある構造物は、図１０（ｂ）のようなカメラの正面から撮影された場合と同じように撮影される。このような風景画像については、正面から構造物を撮影することによって得られた風景画像として取り扱うことができる。この場合の構造物の稜線は、容易に推定することが可能である。

以下、構造物検出処理の具体例を説明する。図１１は、構造物検出処理の具体例を示すフローチャートである。ステップＳ３０１において、風景画像の鉛直方向を判別する。風景画像の鉛直方向を判別する手法としては、幾つかの手法が考えられる。例えば、風景画像の撮影時においてカメラの向き等から画像の鉛直方向を判別しておく手法が考えられる。この場合、情報弁別部１１８１は、風景画像に付随している画像の鉛直方向に関する情報を読み取ることによって、風景画像の鉛直方向を判別する。また、情報弁別部１１８１は、道路（地面）、空といった画像の鉛直方向を判別するための基準となる各種の対象物を風景画像から検出することによっても風景画像の鉛直方向は判別することができる。この他、画像の鉛直方向は、従来周知の各種の手法を用いる判別される。

ステップＳ３０２において、情報弁別部１１８１は、風景画像における鉛直線を構造物の稜線の候補として抽出する。鉛直線は、エッジ抽出フィルタ等のエッジ抽出技術を用いて抽出される。鉛直線の抽出手法は、エッジ抽出技術に限るものではない。鉛直線は、従来周知の各種の手法を用いて検出される。

ステップＳ３０３において、情報弁別部１１８１は、鉛直線を抽出できたか否かを判定する。ステップＳ３０３において鉛直線を抽出できたと判定された場合に、処理はステップＳ３０４に移行する。ステップＳ３０３において鉛直線を抽出できなかったと判定された場合に、処理はステップＳ３０８に移行する。この場合は、構造物は検出できなかったものとする。

ステップＳ３０４において、情報弁別部１１８１は、抽出された鉛直線のうちの近接する２つの鉛直線を選択する。

ステップＳ３０５において、情報弁別部１１８１は、選択した２つの鉛直線の間の画像特徴がそれら鉛直線の外の画像特徴と異なっているか否かを判定する。ここで、画像特徴とは、輝度分布、色分布等である。ステップＳ３０５において２つの鉛直線の間の画像特徴がそれら鉛直線の外の画像特徴と異なっていると判定された場合に、処理はステップＳ３０６に移行する。ステップＳ３０５において２つの鉛直線の間の画像特徴がそれら鉛直線の外の画像特徴と異なっていないと判定された場合に、処理はステップＳ３０８に移行する。この場合は、構造物は検出できなかったものとする。

ステップＳ３０６において、情報弁別部１１８１は、選択した２つの鉛直線について（式４）の関係が成立するか否かを判定する。ステップＳ３０６において２つの鉛直線について（式４）の関係が成立すると判定された場合に、処理はステップＳ３０７に移行する。ステップＳ３０６において２つの鉛直線について（式４）の関係が成立しないと判定された場合に、処理はステップＳ３０８に移行する。この場合は、構造物は検出できなかったものとする。

ステップＳ３０７において、情報弁別部１１８１は、選択した２つの鉛直線を構造物の鉛直線とする。そして、情報弁別部１１８１は、これらの鉛直線の間の画像領域を構造物の画像領域としてその画像領域の位置情報を図示しないメモリに記憶させる。その後、処理はステップＳ３０８に移行する。

ステップＳ３０８において、情報弁別部１１８１は、構造物検出処理を終了するか否かを判定する。すなわち、全ての鉛直線の組について構造物の検出を行ったと判定された場合には、構造物検出処理を終了すると判定される。ステップＳ３０８において構造物検出処理を終了しないと判定された場合には、処理はステップＳ３０４に戻る。この場合、情報弁別部１１８１は、別の組み合わせの鉛直線を選択して構造物の検出を継続する。ステップＳ３０８において構造物検出処理を終了すると判定された場合には、図１１の処理は終了される。

なお、前述の説明では、構造物は、画像内で直線に囲まれている物、例えばビルや家を想定している。これに対し、本実施形態における構造物は、人物等の主要被写体以外の背景全般と考えてもよい。この場合、構造物検出処理としては、人物等の主要被写体を検出し、検出した主要被写体以外の部分を構造物する処理が考えられる。

ここで、図８Ａ及び図８Ｂの説明に戻る。風景画像に対する構造物検出処理の後、ステップＳ２１１において、情報弁別部１１８１は、私的画像の弁別を行う。以下、情報弁別処理について説明する。図１２は、第１の実施形態の情報弁別処理について示すフローチャートである。

ステップＳ４０１において、情報弁別部１１８１は、私的情報記録部１０４１に記録されている私的画像のうちの１つを選択する。例えば、情報弁別部１１８１は、関連付けられている時刻が最新の私的画像を選択する。

ステップＳ４０２において、情報弁別部１１８１は、選択中の私的画像に位置情報が付随しているか否かを判定する。ステップＳ４０２において位置情報が付随していると判定された場合に、処理はステップＳ４０３に移行する。ステップＳ４０２において位置情報が付随していないと判定された場合に、処理はステップＳ４０５に移行する。

ステップＳ４０３において、情報弁別部１１８１は、選択中の私的画像に付随している位置情報が風景画像における特定の構造物の位置情報を示しているか否かを判定する。この判定は、現在の再生中の風景画像中の位置情報と選択中の私的画像に付随している位置情報とを比較することによって行われる。すなわち、風景画像中の位置情報と選択中の私的画像に付随している位置情報との差が所定値以内である場合には、選択中の私的画像に付随している位置情報が風景画像中の位置情報を示していると判定される。ステップＳ４０３において選択中の私的画像に付随している位置情報が風景画像中の位置情報を示していると判定された場合に、処理はステップＳ４０４に移行する。ステップＳ４０３において選択中の私的画像に付随している位置情報が風景画像中の位置情報を示していないと判定された場合に、処理はステップＳ４０５に移行する。

ステップＳ４０４において、情報弁別部１１８１は、選択中の私的画像を公共情報としても使用できる私的画像として抽出する。さらに、情報弁別部１１８１は、一致していると判定された風景画像の位置情報を図示しないメモリに記憶させる。その後、処理はステップＳ４０７に移行する。公共情報として使用できるかどうかは、肖像権や個人情報に留意して、顔検出で顔が見えないものや、文字検出で住所や名札など特定の文字が読み取れないものを選択してもよく、ユーザの意志を確認してもよく、風景画像など公開公共情報とほぼ一致する部分を該当するものとしてもよい。例えば、公開公共情報の風景にはなくとも、個人が撮影した写真の背景に雪が積もっている所等があれば、それはそれで、復号化して積雪を実感できるリッチ化された情報になったといえるので、重要なコンテンツである。もしも、公開公共情報の復号化がなければ、ともすれば、どこで撮ったかも分からない単なる雪景色で終わる可能性があるが、他の情報と組み合わせることで、例え、写っている人物を知らなくとも、重要な鑑賞対象となりうる。

ステップＳ４０５において、情報弁別部１１８１は、私的画像に対する構造物検出処理を行う。私的画像に対する構造物検出処理においても、風景画像に対する構造物検出処理と同様に、構造物の稜線をなす２本の鉛直線を検出することにより、それらの鉛直線に構造物があると推定され得る。なお、私的画像の場合、図２に示すように構造物は、正面から撮影されることが多い。したがって、図１０（ｂ）の場合と同様の考え方で構造物が検出され得る。勿論、図１１で説明した公共画像に対する構造物検出処理が用いられてもよい。

ステップＳ４０６において、情報弁別部１１８１は、私的画像から検出した構造物の中に風景画像と類似した構造物があるか否かを判定する。類似した構造物は、例えば風景画像における構造物の稜線と私的画像における構造物の稜線との間でのマッチングをとることによって判定される。ただし、風景画像における構造物は道路に面した状態で撮影されることが多く、私的画像における構造物は正面から撮影されることが多い。したがって、マッチングの際には、撮影向き、撮影距離、撮影画角等の違いを考慮して稜線の間隔等を補正することが好ましい。ステップＳ４０６において類似の構造物があると判定された場合に、処理はステップＳ４０４に移行する。この場合、情報弁別部１１８１は、選択中の私的画像を公共情報としても使用できる私的画像として抽出する。さらに、情報弁別部１１８１は、類似していると判定された風景画像の構造物の位置情報を図示しないメモリに記憶させる。その後、処理はステップＳ４０７に移行する。

ステップＳ４０７において、情報弁別部１１８１は、情報弁別処理を終了するか否かを判定する。すなわち、全ての私的画像について情報弁別を行ったと判定された場合には、情報弁別処理を終了すると判定される。ステップＳ４０７において情報弁別処理を終了しないと判定された場合には、処理はステップＳ４０１に戻る。この場合、情報弁別部１１８１は、別の私的画像を選択して構造物の検出を継続する。ステップＳ４０７において情報弁別処理を終了すると判定された場合には、図１２の処理は終了される。

ここで、図８Ａ及び図８Ｂの説明に戻る。情報弁別処理の後、ステップＳ２１２において、制御部１１８は、情報弁別部１１８１によって抽出された私的画像があるか否かを判定する。ステップＳ２１２において情報弁別部１１８１によって抽出された私的画像があると判定された場合には、処理はステップＳ２１３に移行する。ステップＳ２１２において情報弁別部１１８１によって抽出された私的画像がないと判定された場合には、処理はステップＳ２１８に移行する。

ステップＳ２１３において、制御部１１８の情報重畳部１１８２は、風景画像に情報弁別処理で抽出された私的画像を重畳して重畳風景画像を生成する。その後、処理はステップＳ２１４に移行する。私的画像の重畳位置は、情報弁別処理のステップＳ４０４において記憶された位置である。また、重畳の際には、風景画像の画像サイズに合わせて私的画像をトリミングしたり、拡大又は縮小したりすることが望ましい。

ステップＳ２１４において、制御部１１８は、情報重畳部１１８２で生成された重畳風景画像を、例えば図５に示すようにして再生する。ステップＳ２１５において、制御部１１８は、重畳風景画像を新たな公共情報として使用できるようにするか否かを判定する。例えば、制御部１１８は、重畳風景画像の再生中において、重畳風景画像を新たな（公開）公共情報として使用できるようにしてもよいかを例えば表示によってユーザに問い合わせる。ユーザは、この問い合わせに応じて重畳風景画像を新たな（公開）公共情報として使用してもよいか否かを指示する。この指示に基づいて、制御部１１８は、ステップＳ２１５の判定を行う。ステップＳ２１５において重畳風景画像を新たな（公開）公共情報として使用できるようにすると判定された場合に、処理はステップＳ２１６に移行する。ステップＳ２１５において重畳風景画像を新たな（公開）公共情報として使用できるようにしないと判定された場合に、処理はステップＳ２１８に移行する。

ステップＳ２１６において、制御部１１８は、通信部１１６により、情報重畳部１１８２で生成された重畳風景画像をサービスサイトサーバ２００に送信する。これにより、サービスサイトサーバ２００において、重畳風景画像を新たな（公開）公共情報として使用可能になる。

ステップＳ２１７において、制御部１１８は、重畳風景画像についての補助情報を補助情報記録部１０４２に記録する。補助情報は、例えば重畳風景画像を生成するのに用いられた風景画像の記録されているネットワーク３００上のアドレス（ＵＲＬ）、重畳風景画像における私的画像の合成位置の情報、私的画像のサイズ情報を含む。このような補助情報を記録しておくことにより、端末装置１００において風景画像から容易に重畳風景画像を生成することが可能である。本実施形態の例では、ステップＳ２１７の処理は、重畳風景画像を新たな（公開）公共情報として使用できるようにすると判定された場合の処理である。これに対し、ステップＳ２１７の処理は、重畳風景画像を新たな（公開）公共情報として使用できるようにしないと判定された場合にも行われてよい。このような構成により、端末装置１００のユーザは、重畳風景画像を私的に楽しむことが可能である。なお、この場合には、私的画像と合成される風景画像も私的情報記録部１０４１に記録しておくようにしてもよい。

ステップＳ２１８において、制御部１１８は、風景画像を自動変更するか否かを判定する。風景画像を自動変更するか否かは、端末装置１００のユーザによって設定されるものである。ステップＳ２１８において風景画像を自動変更すると判定された場合に、処理はステップＳ２１９に移行する。ステップＳ２１８において風景画像を自動変更しないと判定された場合に、処理はステップＳ２２０に移行する。

ステップＳ２１９において、制御部１１８は、自動変更の設定に従って必要な風景画像の送信をサービスサイトサーバ２００に対して要求する。その後、処理はステップＳ２２２に移行する。例えば、制御部１１８は、前方に所定距離だけずれた位置の風景画像の送信要求を所定時間毎に行う。これにより、所定距離ずつ前方の位置の風景画像が所定時間毎に順次に再生される。

ステップＳ２２０において、制御部１１８は、風景画像を手動変更するか否かを判定する。風景画像を手動変更するか否かは、端末装置１００のユーザによって風景画像の変更操作がなされたか否かに応じて判定されるものである。ステップＳ２２０において風景画像を手動変更すると判定された場合に、処理はステップＳ２２１に移行する。ステップＳ２２１において、制御部１１８は、ユーザ操作に従って必要な風景画像の送信をサービスサイトサーバ２００に対して要求する。その後、処理はステップＳ２２２に移行する。例えば、制御部１１８は、ユーザの操作によって所定距離だけ前方の位置の風景画像の再生が指示された場合には、その画像の送信要求を行う。これにより、ユーザ操作に応じた風景画像が再生される。ステップＳ２２０において風景画像を手動変更しないと判定された場合に、処理はステップＳ２２２に移行する。

ステップＳ２２２において、制御部１１８は、風景画像の再生を終了するか否かを判定する。風景画像の再生を終了するか否かは、端末装置１００のユーザによって風景画像の再生終了操作がなされたか否かに応じて判定されるものである。ステップＳ２２２において風景画像の再生を終了しないと判定された場合には、処理はステップＳ２０９に戻る。この場合、風景画像（又は重畳風景画像）の再生は継続される。ステップＳ２２２において風景画像の再生を終了すると判定された場合には、処理はステップＳ２２３に移行する。

ステップＳ２２３において、制御部１１８は、地図画像の再生を終了するか否かを判定する。例えば、地図表示アプリケーションの終了が指示された場合に、地図画像の再生を終了すると判定される。ステップＳ２２３において地図画像の再生を終了しないと判定された場合に、処理はステップＳ２０１に戻る。この場合、地図画像の再生が継続される。ステップＳ２２３において地図画像の再生を終了すると判定された場合に、図８Ａ及び図８Ｂの処理は終了される。

以上説明したように本実施形態では、ユーザが個人使用の目的で所有している私的情報から公共でも使用可能な私的情報が抽出される。これにより、私的情報と公開公共情報とを結び付け、多くの人が閲覧可能な公共情報をより楽しめる情報へと変化させることが可能である。私的情報の中には、ユーザが所有していることも忘れてしまっているような古い情報もあり得る。このような私的情報の再利用法としても本実施形態の技術は効果がある。

また、本実施形態では、重畳公共情報を、新たな（公開）公共情報として使用できるようにするか否かをユーザに決めさせるようにしている。これにより、ユーザが公衆に見せたくないと考えている私的情報が公開されてしまうことがない。一方で、生成された重畳公共情報は、ユーザが個人で楽しむことが可能である。

ここで、前述の実施形態においては、端末装置１００において情報弁別処理が行われる。情報弁別処理は、サービスサイトサーバ２００において行われてもよい。また、公共情報としての風景画像に私的情報としての私的画像を重畳する処理もサービスサイトサーバ２００において行われてよい。また、情報弁別処理がサービスサイトサーバ２００において行われる場合には、情報弁別処理に使用される私的情報は、端末装置１００で取得された私的画像に限らない。例えば、私的情報記録部２０２２に記録されているブログの情報を私的情報として前述したのと同様の情報弁別処理が行われてよい。

［第２の実施形態］
次に、本発明の第２の実施形態について説明する。第１の実施形態では、公共情報と類似部分（公共情報部）を有する私的情報は、公共情報として使用可能な私的情報であるとして抽出される。そして、プライバシーの保護についてはユーザの判断にまかせるようになっている。第２の実施形態は、よりプライバシーの保護について考慮した例である。なお、第２の実施形態において、第１の実施形態と同一の部分については説明を省略する。すなわち、通信システム１の構成については、図１の構成がそのまま適用されるので説明を省略する。

図１３は、第２の実施形態における１つの具体例としての端末装置１００の動作を示すフローチャートである。図１３は、図８Ａ及び図８Ｂと異なり、端末装置１００をカメラとして動作させるときの例である。したがって、図１３の処理は、カメラアプリケーションが起動された場合に開始される。また、図１３の例においては、公開公共情報は、公共地図画像及びそれに付随する風景画像である。また、私的情報は、ユーザが個人で撮影した画像である。

ステップＳ５０１において、制御部１１８は、動作モードが撮影モードであるか否かを判定する。本実施形態のカメラアプリケーションには、撮影モードと再生モードの２つの動作モードが設けられている。撮影モードは、私的画像を撮影するための動作モードである。再生モードは、撮影モードにおいて撮影された私的画像を再生するための動作モードである。動作モードは、ユーザの操作によって設定される。ステップＳ５０１において動作モードが撮影モードであると判定された場合に、処理はステップＳ５０２に移行する。ステップＳ５０１において動作モードが再生モードであると判定された場合に、処理はステップＳ５０８に移行する。

ステップＳ５０２において、制御部１１８は、撮像部としての機能を有する情報取得部１０２を制御して被写体の撮像を開始させる。そして、情報取得部１０２で得られた画像を表示部１０６にライブビュー表示する。

ステップＳ５０３において、情報取得部１０２で得られた画像の中の主要被写体を推定する。主要被写体は、例えば人の顔である。人の顔を検出するための手法は、パターンマッチング等の周知の手法を適用することができる。また、主要被写体は、画面中央の被写体等でもよい。

ステップＳ５０４において、制御部１１８は、主要被写体に対してピント合わせ・露出合わせを行うように情報取得部１０２を制御する。

ステップＳ５０５において、制御部１１８は、撮影動作を実行するか否かを判定する。例えば、ユーザの操作部１１４の操作によって撮影実行の指示がなされた場合に、撮影動作を実行すると判定される。ステップＳ５０５において撮影動作を実行すると判定された場合に、処理はステップＳ５０６に移行する。ステップＳ５０５において撮影動作を実行しないと判定された場合に、処理はステップＳ５０１に戻る。

ステップＳ５０６において、制御部１１８は、撮影動作を実行する。すなわち、制御部１１８は、情報取得部１０２を制御した主要被写体に係る画像を取得する。そして、制御部１１８は、取得した画像を私的画像として私的情報記録部１０４１に記録する。

ステップＳ５０７において、制御部１１８の情報弁別部１１８１は、私的情報記録部１０４１に記録された私的画像に対して情報弁別を行う。その後、処理はステップＳ５０１に戻る。以下、情報弁別処理について説明する。図１４は、第２の実施形態の情報弁別処理について示すフローチャートである。

ステップＳ６０１において、情報弁別部１１８１は、私的情報記録部１０４１に記録されている私的画像のうちの１つを選択する。

ステップＳ６０２において、情報弁別部１１８１は、選択中の私的画像に撮影位置情報が付随しているか否かを判定する。ステップＳ６０２において撮影位置情報が付随していないと判定された場合に、処理はステップＳ６０３に移行する。ステップＳ６０２において撮影位置情報が付随していると判定された場合に、処理はステップＳ６０５に移行する。

ステップＳ６０３において、情報弁別部１１８１は、私的画像に対する構造物検出処理を行う。その後、処理はステップＳ６０４に移行する。なお、構造物検出処理としては、第１の実施形態で説明した手法を用いることが可能である。ここでは説明を省略する。

ステップＳ６０４において、情報弁別部１１８１は、私的画像から構造物を検出することができたか否かを判定する。ステップＳ６０４において私的画像から構造物を検出することができたと判定された場合に、処理はステップＳ６０５に移行する。ステップＳ６０４において私的画像から構造物を検出することができなかったと判定された場合に、処理はステップＳ６０９に移行する。

ステップＳ６０５において、情報弁別部１１８１は、選択中の私的画像に人物が含まれているか否かを判定する。すなわち、私的画像における人物の部分は、個人情報である可能性が高い私的部分であるとして、基本的には公共情報としては使用されないようにする。ステップＳ６０５において選択中の私的画像に人物が含まれていると判定された場合に、処理はステップＳ６０６に移行する。ステップＳ６０５において選択中の私的画像に人物が含まれていないと判定された場合に、処理はステップＳ６０７に移行する。

ステップＳ６０６において、情報弁別部１１８１は、選択中の私的画像の撮影年代が所定年代（例えば１０年）よりも古いか否かを判定する。すなわち、人物が含まれている画像であったとしてもある程度の年代がたてば公開してよい画像であるとも考えられる。したがって、人物が含まれている画像であっても、撮影年代が古い場合には、公共情報としては使用できるようにする。ステップＳ６０６において選択中の私的画像の撮影年代が所定年代よりも古いと判定された場合に、処理はステップＳ６０７に移行する。ステップＳ６０６において選択中の私的画像の撮影年代が所定年代よりも古くないと判定された場合に、ステップＳ６０８に移行する。この所定年代は、著作権に合わせてもよいし、人物特定が不可能なら数年オーダーでもよい。

ステップＳ６０７において、情報弁別部１１８１は、選択中の私的画像に公共情報としても使用できる旨の使用可能情報を付与する。このように、使用可能かどうか、つまり公共情報になるかどうかは、権利保持者の権利放棄や公開了承の意志によって決まるので、さまざまな解釈が可能となるが、この「使用可能情報」の付与の如何によって分類は可能である。また、情報弁別部１１８１は、撮影位置情報又は構造物の位置情報を私的画像中の公共部分の位置情報として図示しないメモリに記憶させる。その後、処理はステップＳ６０９に移行する。ステップＳ６０８において、情報弁別部１１８１は、選択中の私的画像に公共情報としても使用できる旨の使用可能情報を付与する。また、情報弁別部１１８１は、撮影位置情報又は構造物の位置情報を私的画像中の公共部分の位置情報として図示しないメモリに記憶させる。さらに、情報弁別部１１８１は、人物の位置情報を私的画像中の私的部分の位置情報として図示しないメモリに記憶させる。その後、処理はステップＳ６０９に移行する。

ステップＳ６０９において、情報弁別部１１８１は、情報弁別処理を終了するか否かを判定する。すなわち、全ての私的画像について情報弁別を行ったと判定された場合には、情報弁別処理を終了すると判定される。ステップＳ６０９において情報弁別処理を終了しないと判定された場合には、処理はステップＳ６０１に戻る。この場合、情報弁別部１１８１は、別の私的画像を選択して構造物の検出を継続する。ステップＳ６０９において情報弁別処理を終了すると判定された場合には、図１４の処理は終了される。

ここで、図１３の説明に戻る。ステップＳ５０８において、制御部１１８は、私的情報記録部１０４１に記録されている私的画像の一覧を表示部１０６に表示させる。ステップＳ５０９において、制御部１１８は、ユーザの操作部１１４の操作によって私的画像の選択がなされたか否かを判定する。ステップＳ５０９において私的画像の選択がなされたと判定された場合に、処理はステップＳ５１０に移行する。ステップＳ５０９において私的画像の選択がなされていないと判定された場合に、処理はステップＳ５２１に移行する。

ステップＳ５１０において、制御部１１８は、選択された私的画像を表示部１０６に再生する。ステップＳ５１１において、制御部１１８は、選択中の私的画像に使用可能情報が付与されているか否かを判定する。ステップＳ５１１において選択中の私的画像に使用可能情報が付与されていると判定された場合に、処理はステップＳ５１２に移行する。ステップＳ５１１において選択中の私的画像に使用可能情報が付与されていないと判定された場合に、処理はステップＳ５２０に移行する。

ステップＳ５１２において、制御部１１８は、選択中の私的画像と関連する風景画像の送信をサービスサイトサーバ２００に要求する。この際、制御部１１８は、選択中の私的画像に関連付けられている撮影位置情報又は構造物の位置情報をサービスサイトサーバ２００に送信する。これを受けて、サービスサイトサーバ２００の制御部２０６の情報弁別部２０６１は、図１２の処理と同様にして、私的画像の撮影位置と一致した位置で撮影された風景画像又は私的画像の中の構造物と類似の構造物を有する風景画像を（公開）公共情報記録部２０２１から抽出する。そして、制御部２０６は、抽出した風景画像を端末装置１００に送信する。その後、処理はステップＳ５１３に移行する。

ステップＳ５１３において、制御部１１８は、選択中の私的画像に人物位置が関連づけられているか否かを判定する。ステップＳ５１３において選択中の私的画像に人物位置が関連づけられていると判定された場合に、処理はステップＳ５１４に移行する。ステップＳ５１３において選択中の私的画像に人物位置が関連づけられていないと判定された場合に、処理はステップＳ５１５に移行する。

ステップＳ５１４において、制御部１１８の情報重畳部１１８２は、選択中の私的画像における人物の部分に加工処理を施す。加工処理は、肖像権等を考慮して必要に応じて行われ、人物の部分の視認性を低下させる処理であって、ぼかし処理や黒塗り処理等が含まれる。なお、このような処理は、人物の顔に対してだけ行われてもよい。加工処理の後、情報重畳部１１８２は、加工処理済みの私的画像をステップＳ５１２で取得した風景画像に重畳して重畳風景画像を生成する。その後、処理はステップＳ５１６に移行する。私的画像の重畳位置は、私的画像に関連付けられている位置である。また、重畳の際には、風景画像の画像サイズに合わせて私的画像をトリミングしたり、拡大又は縮小したりすることが望ましい。

ステップＳ５１５において、情報重畳部１１８２は、加工処理をしていない私的画像をステップＳ５１２で取得した風景画像に重畳して重畳風景画像を生成する。その後、処理はステップＳ５１６に移行する。私的画像の重畳位置は、私的画像に関連付けられている位置である。また、重畳の際には、風景画像の画像サイズに合わせて私的画像をトリミングしたり、拡大又は縮小したりすることが望ましい。このとき、風景画像内の同じ位置に複数の私的画像が対応する場合があるが（例えば、小学校の校門の卒業式写真）、この場合は、風景との一体感を重視して、台紙となる共用の風景画像と、私的画像の風景部分とを比べ、構図の自然さや輪郭の一致度や色合い、明るさを考慮して、その連続感の良いものを選んでも良く、一番古いものや新しいものや、画像としての見栄えが良いもの等を選択して表示してもよい。もちろん、複数を重ねたり縮小したりして一覧表示したりしてもよい。また、風景に合わせて、四季によって画像を選んだり、取得した年代、朝昼晩の時刻や天気を合わせて選んだりしてもよい。

ステップＳ５１６において、制御部１１８は、情報重畳部１１８２で生成された重畳風景画像を、例えば図１５に示すようにして再生する。図１５に示すように、加工処理がなされている場合、人物の部分の視認性が低下される。これにより、私的部分が公開されず、プライバシーの保護が図られる。ステップＳ５１７において、制御部１１８は、重畳風景画像を新たな公開公共情報として使用できるようにするか否かを判定する。ステップＳ５１７において重畳風景画像を新たな公開公共情報として使用できるようにすると判定された場合に、処理はステップＳ５１８に移行する。ステップＳ５１７において重畳風景画像を新たな公開公共情報として使用できるようにしないと判定された場合に、処理はステップＳ５２０に移行する。

ステップＳ５１８において、制御部１１８は、通信部１１６により、情報重畳部１１８２で生成された重畳風景画像をサービスサイトサーバ２００に送信する。これにより、サービスサイトサーバ２００において、重畳風景画像を新たな公開公共情報として使用可能になる。

ステップＳ５１９において、制御部１１８は、重畳風景画像についての補助情報を補助情報記録部１０４２に記録する。補助情報は、例えば重畳風景画像を生成するのに用いられた風景画像の記録されているアドレス（ＵＲＬ）、重畳風景画像における私的画像の合成位置の情報、私的画像のサイズ情報を含む。このような補助情報を記録しておくことにより、端末装置１００において風景画像から容易に重畳風景画像を生成することが可能である。本実施形態の例では、ステップＳ５１９の処理は、重畳風景画像を新たな公開公共情報として使用できるようにすると判定された場合の処理である。これに対し、ステップＳ５１９の処理は、重畳風景画像を新たな公開公共情報として使用できるようにしないと判定された場合にも行われてよい。このような構成により、端末装置１００のユーザは、重畳風景画像を私的に楽しむことが可能である。なお、この場合には、私的画像と合成される風景画像も私的情報記録部１０４１に記録しておくようにしてもよい。

ステップＳ５２０において、制御部１１８は、再生中の私的画像を変更するか否かを判定する。再生中の私的画像を変更するか否かは、端末装置１００のユーザによる操作部１１４の操作によってなされるものである。ステップＳ５２０において私的画像を変更すると判定された場合に、処理はステップＳ５１０に戻る。この場合、変更後の私的画像が再生される。ステップＳ５２０において私的画像を変更しないと判定された場合に、処理はステップＳ５２１に移行する。

ステップＳ５２１において、制御部１１８は、再生モードを終了するか否かを判定する。再生モードを終了するか否かは、端末装置１００のユーザによって再生モードの終了操作がなされたか否かに応じて判定されるものである。ステップＳ５２１において再生モードを終了しないと判定された場合には、処理はステップＳ５１０に戻る。この場合、私的画像（又は重畳風景画像）の再生は視認性に応じてしばらく継続される方が良い。ステップＳ５１０に戻る際に、公開共用情報としての台紙のような背景画像は、逐次変更され、道路を進んでいくように表示すれば、古い街並みを散策したりドライブしたりする感覚で鑑賞が可能となり、鑑賞時の体験はさらにリアリティを増し、リッチなものになる。つまり、公共部分は、車載で動きながら動画撮影、または連続撮影したり、歩きながらの動画撮影、または連続撮影したりのように撮影位置を変更して得られた一連の画像群（ＣＧでも可）を構成するコマであるとも言える。私的画像は明滅するように表示されてもよいし、背景に応じて大きさを変えて消えて行くような合成、重畳を行ってもよい。ステップＳ５２１において再生モードを終了すると判定された場合には、処理はステップＳ５０１に戻る。

以上説明したように本実施形態では、第１の実施形態と同様の効果に加え、よりプライバシーの保護を考慮した重畳公共情報（複合情報）を生成することが可能である。

ここで、第２の実施形態の技術は、カメラアプリケーションへの適用例を示している。しかしながら、第２の実施形態の技術は、第１の実施形態と同様の地図表示アプリケーションにも適用される。逆に、第１の実施形態の技術は、第２の実施形態と同様のカメラアプリケーションにも適用される。

以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。

例えば、前述した実施形態では、公開公共情報は公共地図画像に付随した風景画像であり、私的情報はユーザが個人的に所有している画像であるとしている。これに対し、公共情報と私的情報は画像でなくてもよい。例えば、公共情報と私的情報は音声であってもよい。また、公共情報は地図画像であり、私的情報は音声であるといったように、公共情報と私的情報とは同じ種類の情報でなくてもよい。例えば、地図画像上の位置情報と音声の取得位置とが一致した場合には、両者を関連付けるようにすることも可能である。さらに、公開情報として説明したものは、必ずしもネット検索等で得られるものである必要はなく、ユーザが買って来た地図とか動画等でもよい。例えば、旅行ガイドの動画のＤＶＤ等を再生しながら、そこに自分が撮影した写真の画像を貼り付けて行くような用途でもよく、古い街並みであれば、伝記映画の中に街並みが出てきた場合に、そこに自分が撮影した場所が出てきた時に、その画像が重畳されて複合画像として表示される用途も考えられる。これは、出版物を公共情報と考えた応用である。さらに、個人の画像を他の人の撮影した背景画像と関連づけるという意味では、風景や街並みに限定する必要はなく、顕微鏡の画像をインターネット検索できたサンプル画像に重ねて表示したり、第三者が撮影した体内の画像に患者の病変の画像を貼り付けて見るといった用途にも応用が可能である。

また、前述の各動作フローチャートの説明において、便宜上「まず」、「次に」等を用いて動作を説明しているが、この順で動作を実施することが必須であることを意味するものではない。

また、上述した実施形態による各処理は、コンピュータとしてのＣＰＵ等に実行させることができるプログラムとして記憶させておくこともできる。この他、メモリカード、磁気ディスク、光ディスク、半導体メモリ等の外部記憶装置の記憶媒体に格納して配布することができる。そして、ＣＰＵ等は、この外部記憶装置の記憶媒体に記憶されたプログラムを読み込み、この読み込んだプログラムによって動作が制御されることにより、上述した処理を実行することができる。

１ 通信システム、１００ 端末装置、１０２ 情報取得部、１０４ 記録部、１０６ 表示部、１０８ 発音部、１１０ 時刻取得部、１１２ 位置取得部、１１４ 操作部、１１６ 通信部、１１８ 制御部、２００ サービスサイトサーバ、２０２ 記録部、２０４ 通信部、２０６ 制御部、３００ ネットワーク、１０４１ 私的情報記録部、１０４２ 補助情報記録部、１０４３ プログラム記録部、１１８１ 情報弁別部、１１８２ 情報重畳部、２０２１ 公共情報記録部、２０２２ 私的情報記録部、２０２３ プログラム記録部、２０６１ 情報弁別部、２０６２ 情報重畳部

Claims (9)

1. 情報弁別装置のユーザにより私的に使用される私的画像を取得する情報取得部と、
   前記情報取得部で取得された私的画像の中で特定の多数がアクセス可能である公共情報としても使用が可能な公共情報部と、前記公共情報としての使用が不能な私的情報部とを弁別する情報弁別部と、
   前記私的画像の前記公共情報部を前記私的画像とは別の公開公共画像に重畳する情報重畳部と、
   を具備し、
   前記情報弁別部は、前記公開公共画像と類似する構造物部分を前記私的画像と前記公開公共画像とのマッチングによって判定し、判定した構造物部分を前記私的画像における前記公共情報部とすることを特徴とする情報弁別装置。
2. 前記情報弁別部は、撮影年代が所定年代よりも古い前記私的画像を前記公共情報部とする請求項１に記載の情報弁別装置。
3. 前記情報弁別部は、前記私的情報部と前記公開公共画像とを関連付けるための補助情報を記録する補助情報記録部をさらに具備することを特徴とする請求項１に記載の情報弁別装置。
4. 前記私的情報部は、前記私的画像における人物部分であることを特徴とする請求項１に記載の情報弁別装置。
5. 前記公開公共画像は、撮影位置を変更して得られた風景画像群であることを特徴とする請求項１に記載の情報弁別装置。
6. 前記情報重畳部は、１つの風景画像に対して複数の公共情報部が弁別されている場合に、前記１つの風景画像に対する構図の自然さ、前記１つの風景画像に対する輪郭の一致度、前記１つの風景画像に対する色合い、前記１つの風景画像に対する明るさに応じて、前記複数の公共情報部の中から１つを選択し、選択した公共情報部を重畳することを特徴とする請求項５に記載の情報弁別装置。
7. 前記情報弁別部は、１つの風景画像に対して複数の公共情報部が弁別されている場合に、前記風景画像の季節、取得年代、時刻、気象条件に応じて色合い、前記１つの風景画像に対する明るさに応じて、前記複数の公共情報部の中から１つを選択し、選択した公共情報部を重畳することを特徴とする請求項５に記載の情報弁別装置。
8. 情報取得部により、情報弁別装置のユーザにより私的に使用される私的画像を取得することと、
   情報弁別部により、前記情報取得部で取得された私的画像の中で特定の多数がアクセス可能である公共情報としても使用が可能な公共情報部と、前記公共情報としての使用が不能な私的情報部とを弁別することと、
   情報重畳部により、前記私的画像の前記公共情報部を、前記私的画像とは別の公開公共画像に重畳することと、
   を具備し、
   前記弁別することは、前記公開公共画像と類似する構造物部分を前記私的画像と前記公開公共画像とのマッチングによって判定し、判定した構造物部分を前記私的画像における前記公共情報部とすることを含むこと特徴とする情報弁別方法。
9. 情報弁別装置のユーザにより私的に使用される私的画像を取得することと、
   前記取得された私的画像の中で特定の多数がアクセス可能である公共情報としても使用が可能な公共情報部と、前記公共情報としての使用が不能な私的情報部とを弁別することと、
   前記私的画像の前記公共情報部を、前記私的画像とは別の公開公共画像に重畳することと、
   をコンピュータに実行させるための情報弁別プログラムであって、
   前記弁別することは、前記公開公共画像と類似する構造物部分を前記私的画像と前記公開公共画像とのマッチングによって判定し、判定した構造物部分を前記私的画像における前記公共情報部とすることを含む情報弁別プログラム。