JP5877234B2 - 画像表示装置、画像表示方法及び画像表示プログラム - Google Patents

Description

本発明は画像を表示させるための画像表示装置及び画像表示方法に関し、特に日記テキスト等の文章に関連付けられた画像を表示する画像表示装置、画像表示方法及び画像表示プログラムに関する。

近年、ホームページに比べて作成が手軽な、所謂ブログ（blog：weblogの略）が流行している。また、このようなブログを使いやすくするアイデアも色々提案されている。

例えば、ブログはアップロードされたコンテンツが新しいものから順番に表示される、日記に近い体裁になっているものが多いが、こうしたブログをユーザが日々日記をつける感覚で簡単に作成できるシステムが提案されており、こうしたシステムを利用した様々なサービスも行われている。

ところで、例えば、ある場所に旅行をしたことがある人が、久しぶりにその場所に旅行をしたときに、その土地が開発工事等で変化してしまっていると、がっかりしてしまうということがあった。このような場合、風景が変化する旨の情報を事前に知り、風景が変化する前にその土地に赴いて撮影をしておきたいと思うであろうことが考えられる。このような風景の変化に応じた撮影に関連する技術として、例えば、特許文献１においては、工事の予定情報に従った順番で工事現場を撮影することにより、工事現場における各作業工程の画像を取得している。これにより、各作業工程における工事現場の変化に応じた画像を、作業手順どおりに撮影して得ることが可能である。

また、土地開発のような大きな変化がなくても、例えばその土地の紅葉やお祭り等のイベントがあれば、その土地に愛着を持った人であれば、その土地に行ってみたいと思うであろうことが考えられる。このような土地情報の配信に関する技術として、例えば、特許文献２においては、個人が興味を持った土地の各種情報を個人に配信できるようにしている。

特開２００５−５１６６５号公報 特開２００２−１５７２５３号公報

ここで、特許文献１において提案されている技術は、予めスケジュールされた予定に従って撮影する技術であり、不測の事態による風景の変化まで考慮できるものではない。また、特許文献２において提案されている技術では、風景の変化やイベント情報以外の不必要な情報までも配信されるおそれがある。

本発明は、上記の事情に鑑みてなされたもので、ユーザにとって思い出深い情報を適切にユーザに配信することができる画像表示装置、画像表示方法及び画像表示プログラムを提供することを目的とする。

上記の目的を達成するために、本発明の第１の態様の画像表示装置は、画像ファイルを記録するコンテンツ記録部と、上記コンテンツ記録部に記録された上記画像ファイルの画像の人物の表情に基づいて上記画像ファイルの画像が思い出になる画像を含む画像ファイルであるかを判定することによって、上記画像ファイルに関連した時刻情報を重要時刻に設定する設定部と、上記重要時刻から所定周期が経過した場合に、上記思い出になる画像を表示部に表示させる情報表示制御部とを具備することを特徴とする。

上記の目的を達成するために、本発明の第２の態様の画像表示方法は、設定部が、コンテンツ記録部に記録された画像ファイルの画像の人物の表情に基づいて上記画像ファイルの画像が思い出になる画像を含む画像ファイルであるかを判定することによって、上記画像ファイルに関連した時刻情報を重要時刻に設定し、情報表示制御部が、上記重要時刻から所定周期が経過した場合に、上記思い出になる画像を表示部に表示させることを特徴とする。

上記の目的を達成するために、本発明の第３の態様の画像表示プログラムは、コンテンツ記録部に記録された画像ファイルの画像の人物の表情に基づいて上記画像ファイルの画像が思い出になる画像を含む画像ファイルであるかを判定することによって、上記画像ファイルに関連した時刻情報を重要時刻に設定する機能と、上記重要時刻から所定周期が経過した場合に、上記思い出になる画像を表示部に表示させる機能とをコンピュータに実現させるための画像表示プログラム。
上記の目的を達成するために、本発明の第４の態様の画像表示装置は、日付を含むテキストを有する文章ファイルと画像ファイルとを記録するコンテンツ記録部と、好印象の記述がなされている上記テキストを有する文章ファイルに含まれる日付を重要日付に設定する設定部と、上記重要日付から所定周期が経過した場合に、上記重要日付に関連付けられている思い出になる画像を表示部に表示させる情報表示制御部とを具備することを特徴とする。

本発明によれば、ユーザにとって思い出深い情報を適切にユーザに配信することができる画像表示装置、画像表示方法及び画像表示プログラムを提供することができる。

本発明の一実施形態に係る画像表示装置を備える画像表示システムの構成を示す図である。 重要地名について説明するための図である。 サーバによって実行される制御について示すフローチャートである。 良好な表情判定処理の詳細について示すフローチャートである。 図５（ａ）は良好な表情の例を示す図であり、図５（ｂ）は良好でない表情の例を示す図である。 重要イベント情報の表示例について示す図である。

以下、図面を参照して本発明の実施形態を説明する。
図１は、本発明の一実施形態に係る画像表示装置を備える画像表示システムの構成を示す図である。図１に示す画像表示システムは、本発明の一実施形態に係る画像表示装置としての機能を有するサーバ１と、検索サイト２と、パーソナルコンピュータ（ＰＣ）３とを有し、これらがネットワーク４を介してそれぞれデータ通信自在に接続されている。また、ＰＣ３にはデジタルカメラ５がデータ通信自在に接続され、デジタルカメラ５において撮影して得られた画像ファイルを、ＰＣ３から、ネットワーク４を介してサーバ１に送信可能になされている。

サーバ１は、通信部１１と、記録部１２と、重要地名記録部１３と、情報表示制御部１４とを有している。

通信部１１は、サーバ１が検索サイト２、ＰＣ３と通信する際の通信制御を行う。
記録部１２は、コンテンツ記録部１２ａと、地名記録部１２ｂとを有している。コンテンツ記録部１２ａは日記等の文章ファイルとデジタルカメラ５等から送信される画像ファイルとを含むコンテンツをその作成日付と関連付けて記録する。地名記録部１２ｂはコンテンツ記録部１２ａに記録されているコンテンツから地名情報を抽出し、抽出した地名情報を、コンテンツに対応付けられた日付毎に整理して記録する。

重要地名記録部１３は、嗜好データベース１３ａを有し、嗜好データベース１３ａに記録されている情報等から、地名記録部１２ｂに記録されている地名の中でユーザが愛着を持っている土地の地名（以下、重要地名と称する）を抽出して記録する。また、この重要地名を検索キーワードとして検索サイト２にアクセスして記事の検索を行い、検索した記事から重要地に係る重要イベント情報を取得して記録する。

情報表示制御部１４はコンテンツ記録部１２ａに記録されているコンテンツをＰＣ３のディスプレイ上に表示させる際の制御を行う。また、情報表示制御部１４は重要地に係るイベント情報を所定の条件に従って表示させる際の制御も行う。

検索サイト２は、重要地名記録部１３によって抽出された重要地名を検索キーワードとして重要地名に関する記事を検索する。

ＰＣ３はウェブページをブラウジングするためのディスプレイやウェブページ上で各種操作を行うためのマウスやキーボード等の各種操作部を有する、一般的なコンピュータである。

デジタルカメラ５は、被写体を撮影して画像ファイルを作成する。このデジタルカメラ５の構成は特に限定されるものではないが、デジタルカメラ５にＧＰＳ機能を持たせれば、重要地名の位置情報を画像ファイルに付帯させておくことが可能である。なお、画像ファイルをＰＣ３又はサーバ１に入力できるものであれば、必ずしもデジタルカメラ５を用いる必要はない。

以上のような画像表示システムにおいて、ユーザがＰＣ３から画像ファイル及び文章ファイルをサーバ１に送ると、画像ファイル及び文章ファイルはサーバ１の通信部１１において受信される。その後、受信された画像ファイル及び文章ファイルはコンテンツ記録部１２ａに記録される。なお、デジタルカメラ５にネットワーク４に接続する機能を持たせた場合にはデジタルカメラ５からサーバ１に直接、画像ファイルを送信することも可能である。

ここで、本実施形態においては、デジタルカメラ５によって得られる画像ファイルの例えばヘッダ部に撮影日付（日時）情報が記録されている。また、ＰＣ３で作成される文章ファイルも日記形式等の日付を含む形式で記述されている。また、画像ファイルに写っている土地の地名が特定できる場合（例えばＧＰＳ機能を利用して）や文書ファイルに地名が含まれている場合には、それらによって特定される地名情報が日付毎に地名記録部１２ｂに記録される。

重要地名記録部１３では、コンテンツ記録部１２ａに記録されている文書ファイルや画像ファイルにおいて、文章中に何度も出てくる地名や、定期的に撮影がなされている地名、愛着を持っていると考えられる地名等を重要地名として抽出して記録する。なお、愛着を持っている地名か否かの判定は、嗜好データベース１３ａを用いて行われる。嗜好データベース１３ａには、例えば「楽しい」、「嬉しい」、「気持ちいい」、「懐かしい」等の、その土地に好印象を持っていることを示す好印象テキストが記録されている。そして、重要地名か否かの判定においては、文書ファイルに、地名とともに好印象テキストが含まれている場合に、ユーザがその土地に愛着を持っていると判定する。

例えば、図２の参照符号１０１で示すようなブログ記事（画像付き日記文章）がユーザによって作成された場合、記事の作成日「１月２０日」と「昨日」のテキストとから、記事の内容が「１月１９日」に起こったことが分かる。また、「メードリンク」という地名テキストと「楽しい」という好印象テキストとが含まれているので、そのときの体験はユーザによって楽しいものであり、「メードリンク」という土地がそのユーザにとって愛着のある重要地であると判定される。これらの判定結果は例えば参照符合１０２で示すような形式で日付毎に管理される。

また、重要地名の判定手法として、「夏休み」や「冬休み」等の特定の時期に訪れる土地を重要地名と判定するようにしても良い。さらに、画像内に人物が写っている場合には、その人物の表情から、その画像が思い出になるか否かを判定するようにしても良い。

以上のような各種の手法によって、重要地名が抽出されると、抽出された重要地名を検索キーワードとして検索サイト２において検索が行われ、重要地における重要イベント情報が取得される。ここで取得された重要イベント情報は所定の条件に従ってＰＣ３に表示される。この所定の条件について後述する。

図３は、サーバ１によって実行される制御について示すフローチャートである。図３において、サーバ１はＰＣ３又はデジタルカメラ５から画像ファイル又は文章ファイルを含むコンテンツが入力されたか否かを判定する（ステップＳ１）。ステップＳ１において、画像ファイル又は文章ファイルを含むコンテンツが入力された場合に、入力されたコンテンツをコンテンツ記録部１２ａに記録させる（ステップＳ２）。その後、サーバ１は、入力されたコンテンツから地名を特定できるか否かを判定する（ステップＳ３）。例えば画像ファイルの場合にはＧＰＳによって測定された地名情報（若しくは撮影位置情報）が含まれているか否かによって判定する。また、文章ファイルの場合には、図２で示したように地名テキストが含まれているか否かによって判定する。ステップＳ３の判定において、入力されたコンテンツから地名を特定できない場合に、サーバ１は図３の処理を終了する。

一方、ステップＳ３の判定において、地名が特定できた場合にサーバ１は特定できた地名を日付と関連付けて地名記録部１２ｂに記録させる（ステップＳ４）。次に、サーバ１は、ユーザによって入力されたコンテンツに好印象テキストが含まれているか否かを判定する（ステップＳ５）。ステップＳ５の判定において、「楽しい」、「嬉しい」、「気持ちいい」、「懐かしい」等の好印象テキストがコンテンツに含まれていない場合（画像ファイルのみのコンテンツの場合も含む）に、サーバ１は、ユーザによって入力されたコンテンツの内容が、休日又は休暇（休暇は予めユーザが設定しておくものとする）に対応する日のものであるか否かを判定する（ステップＳ６）。ステップＳ６の判定において、コンテンツの内容が休日又は休暇に対応する日のものでない場合に、サーバ１は、ユーザによって入力されたコンテンツにおける画像内の人物の表情が良好なものであるか否かを判定する（ステップＳ７）。ステップＳ７の判定において、画像内の人物の表情が良好なものでない場合（文章ファイルのみのコンテンツの場合も含む）に、サーバ１は図３に示す処理を終了する。

ここで、ステップＳ７の表情判定について説明する。図４は、良好な表情判定処理の詳細について示すフローチャートである。図４において、まず、サーバ１は画像内の陰影分布から画像内の顔部における目部、口部を検出する（ステップＳ１０１）。より具体的には画像のコントラストを強調した状態で画像内において略円形をしている顔部を検出し、顔部内の陰影の分布から目部及び鼻部を検出する。

ステップＳ１０１において目部、鼻部を検出した後、サーバ１は、両目の瞳を結ぶ直線Ａの上側の白眼部分の面積ＥＡ（図５（ａ）参照）を求める（ステップＳ１０２）。次に、サーバ１は、両目の瞳を結ぶ直線Ａの下側の白眼部分の面積ＥＢ（図５（ａ）参照）を求める（ステップＳ１０３）。ＥＡ及びＥＢを求めた後、サーバ１は、ＥＡとＥＢの差をＥＡとＥＢの和で正規化した値ＲＥを求める（ステップＳ１０４）。ここで、笑顔の場合には図５（ａ）に示すようにＥＢが０に近くなるため、結果ＲＥが大きくなる。逆に困った顔の場合には図５（ｂ）に示すようにＥＡが０に近くなるため、結果ＲＥが小さくなる。したがって、ＲＥの大小から良好な表情であるか否かを判定することが可能である。

ＲＥを求めた後、サーバ１は、口の両端を結ぶ直線Ｂの上側の唇部分の面積ＬＡ（図５（ｂ）参照）を求める（ステップＳ１０５）。次に、サーバ１は、口の両端を結ぶ直線Ｂの下側の唇部分の面積ＬＢ（図５（ｂ）参照）を求める（ステップＳ１０６）。ＬＡ及びＬＢを求めた後、サーバ１は、ＬＢとＬＡの差をＬＡとＬＢの和で正規化した値ＲＬを求める（ステップＳ１０７）。ここで、笑顔の場合には図５（ａ）に示すようにＬＡが０に近くなるため、結果ＲＬが大きくなる。逆に困った顔の場合には図５（ｂ）に示すようにＬＢが小さくなるため、結果ＲＬが小さくなる。したがって、ＲＬの大小からも良好な表情であるか否かを判定することが可能である。

ＲＥ及びＲＬを求めた後、サーバ１はＲＥとＲＬの和Ｒを求める（ステップＳ１０８）。このＲは大きいほどそのときの表情は笑顔（良好な表情）に近いものとなる。さらに、図５（ａ）の矢印Ｃで示したように口の端部に影があったり、歯が見えていたりすると笑顔の確率が高い。そこで、サーバ１は口部分に歯（白部分）が検出され、かつ口端部に影があるか否かを判定する（ステップＳ１０９）。ステップＳ１０９の判定において、口部分に歯が検出され、かつ口端部に影がある場合に、サーバ１はＲに１を加算する（ステップＳ１１０）。

一方、ステップＳ１０９の判定において、口部分に歯が検出され、かつ口端部に影がない場合、若しくはステップＳ１１０の後、サーバ１は眉間部分（目の間部分）に矢印Ｄで示すような皺があるか否かを判定する（ステップＳ１１１）。ステップＳ１１１の判定において、眉間部分に皺がある場合に、サーバ１はＲから１を減算する（ステップＳ１１２）。即ち、眉間に皺が検出されるような表情では笑顔とは言えないのでステップＳ１１１の判定を行う。

以上のようにして求められるＲは笑顔に近いほど高い数値となる。このＲにより、画像に写っている人物被写体の表情が良好か否かを判定することが可能である。即ち、ステップＳ１１１又はステップＳ１１２の後、サーバ１はＲの値が所定値（ここでは２としている）以上であるか否かを判定する（ステップＳ１１３）。そして、ステップＳ１１３の判定において、Ｒが２以上である場合に、サーバ１は人物の表情が良好な表情であると判定する（ステップＳ１１４）。一方、ステップＳ１１３の判定において、Ｒが２未満である場合に、サーバ１は人物の表情が良好な表情でないと判定する（ステップＳ１１５）。ステップＳ１１４又はステップＳ１１５の後、図４の処理を抜ける。なお、画像内には複数の人物が存在している場合も考えられる。この場合には、例えば、画像内の人数分だけのＲを求め、過半数以上の人物に対するＲが所定値以上の場合に良い表情の画像と判定するようにすれば良い。

ここで、再び図３の説明に戻る。図３のステップＳ５の判定において好印象テキストがコンテンツに含まれている場合、ステップＳ６の判定においてコンテンツの内容が休日又は休暇に対応する日のものである場合、ステップＳ７の判定において画像内の人物の表情が良好なものである場合に、サーバ１はステップＳ４において記録した地名を重要地名に設定するとともに（ステップＳ８）、該重要地名に関連付けられた日付を重要日付に設定する（ステップＳ９）。その後に、サーバ１は図３に示す処理を終了する。

また、ステップＳ１の判定において、コンテンツの入力がなされていない場合に、サーバ１は、所定周期（例えば、１日や１週間）が経過したか否かを判定する（ステップＳ１０）。ステップＳ１０の判定において、所定周期が経過した場合に、サーバ１はステップＳ８において設定した重要地名を検索キーワードとして、検索サイト２にアクセスして記事の検索を行う（ステップＳ１１）。記事の検索終了後、サーバ１は、検索した記事の中に重要イベント情報があるか否かを判定する（ステップＳ１２）。ステップＳ１２の判定において、検索した記事の中に、紅葉の情報、土地開発の情報、祭りの情報等の重要イベント情報がある場合に、サーバ１はその重要地におけるイベント情報をステップＳ２において記録したコンテンツとともに例えば図６のようにしてＰＣ３のディスプレイ上に表示させる（ステップＳ１４）。その後に、サーバ１は図３の処理を終了する。

例えば、図６は、重要地とされたメードリンクにおいて工事がなされる場合を示しており、このような記事が検索サイト２を利用して検索された場合には、工事がなされる旨の情報２０１と、その重要地に関してユーザが作成したコンテンツ２０２とがＰＣ３に表示される。図６のような工事の開発計画の情報であれば、ユーザにとって懐かしい風景が変わってしまうおそれがあるので、ユーザは往時を懐かしむとともに、風景が変わってしまう前にその土地にまた出かけたくなったりする。

ここで、図６に示す重要イベント情報の表示は、重要イベント情報の取得後、ユーザによってＰＣ３の電源が投入された場合に１回のみ表示させるようにしても良いし、重要イベントが実施されるまでは定期的に表示させるようにしても良い。

また、ステップＳ１２の判定において、検索した記事の中に重要イベント情報がない場合に、サーバ１は、重要日付に基づいて決定される重要期日になったか否かを判定する（ステップＳ１３）。この重要期日とは、ステップＳ９において重要日付化した日付と同じ日付（即ち、１年後、２年後、…）の所定日前（例えば２０日）以降の日付のことである。ステップＳ１３の判定において、重要期日になった場合に、サーバ１は重要日付が近づいている旨の情報を、ステップＳ２において記録したコンテンツとともにＰＣ３のディスプレイ上に表示させる（ステップＳ１４）。その後に、サーバ１は図３の処理を終了する。このようにしておくことにより、例えば入学式に撮影した画像を１年毎に鑑賞する等することが可能となる。これによってユーザは、懐かしい画像を思い出し、懐旧の情に浸ることができる。

また、ステップＳ１０の判定において、所定周期が経過していない場合に、サーバ１はユーザによってコンテンツの再生指示がなされたか否かを判定する（ステップＳ１５）。そして、ステップＳ１５の判定において、コンテンツの再生指示がなされていない場合には、図３の処理を終了する。一方、ステップＳ１５の判定において、コンテンツの再生指示がなされた場合に、サーバ１はユーザによって選択されたコンテンツをＰＣ３において再生する（ステップＳ１６）。その後、図３の処理を終了する。

以上説明したように、本実施形態によれば、ユーザがわざわざ時間をかけてイベント情報の検索を行わなくとも、重要なイベントがある土地に関するコンテンツを検索し、その検索したコンテンツを、相応しいタイミングでユーザに呈示することが可能である。このようにして呈示されたコンテンツを見せることにより、ユーザの懐かしさをかきたて、またその土地に行きたくさせたりすることができる。また、重要イベント情報はそのイベントが実際に行われる前に呈示するので、ユーザがその土地に再び行ったときに風景が変化していてユーザをがっかりさせたりする可能性を低減させることが可能である。

以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。

さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。

１…サーバ、２…検索サイト、３…パーソナルコンピュータ（ＰＣ）、４…ネットワーク、５…デジタルカメラ、１１…通信部、１２…記録部、１２ａ…コンテンツ記録部、１２ｂ…地名記録部、１３…重要地名記録部、１３ａ…嗜好データベース、１４…情報表示制御部。

Claims (8)

1. 画像ファイルを記録するコンテンツ記録部と、
   上記コンテンツ記録部に記録された上記画像ファイルの画像の人物の表情に基づいて上記画像ファイルの画像が思い出になる画像を含む画像ファイルであるかを判定することによって、上記画像ファイルに関連した時刻情報を重要時刻に設定する設定部と、
   上記重要時刻から所定周期が経過した場合に、上記思い出になる画像を表示部に表示させる情報表示制御部と、
   を具備することを特徴とする画像表示装置。
2. 上記設定部は、上記画像ファイルの画像の人物の表情が良好である場合に、上記画像ファイルに付帯した時刻情報を上記重要時刻に設定することを特徴とする請求項１に記載の画像表示装置。
3. 上記重要時刻は、地名と関連付けられていることを特徴とする請求項１又は２に記載の画像表示装置。
4. 日付を含むテキストを有する文章ファイルと画像ファイルとを記録するコンテンツ記録部と、
   好印象の記述がなされている上記テキストを有する文章ファイルに含まれる日付を重要日付に設定する設定部と、
   上記重要日付から所定周期が経過した場合に、上記重要日付に関連付けられている思い出になる画像を表示部に表示させる情報表示制御部と、
   を具備することを特徴とする画像表示装置。
5. 上記設定部は、上記画像ファイルの画像の人物の表情が良好である場合に、上記画像ファイルに付帯した時刻情報を上記重要日付に設定することを特徴とする請求項４に記載の画像表示装置。
6. 上記重要日付は、地名と関連付けられていることを特徴とする請求項４又は５に記載の画像表示装置。
7. 設定部が、コンテンツ記録部に記録された画像ファイルの画像の人物の表情に基づいて上記画像ファイルの画像が思い出になる画像を含む画像ファイルであるかを判定することによって、上記画像ファイルに関連した時刻情報を重要時刻に設定し、
   情報表示制御部が、上記重要時刻から所定周期が経過した場合に、上記思い出になる画像を表示部に表示させる、
   ことを特徴とする画像表示方法。
8. コンテンツ記録部に記録された画像ファイルの画像の人物の表情に基づいて上記画像ファイルの画像が思い出になる画像を含む画像ファイルであるかを判定することによって、上記画像ファイルに関連した時刻情報を重要時刻に設定する機能と、
   上記重要時刻から所定周期が経過した場合に、上記思い出になる画像を表示部に表示させる機能と、
   をコンピュータに実現させるための画像表示プログラム。

Images