JP6910629B2 - 歴史画像と現在画像の合成及び音声ガイドの表現方法。 - Google Patents

歴史画像と現在画像の合成及び音声ガイドの表現方法。 Download PDF

Info

Publication number
JP6910629B2
JP6910629B2 JP2016158760A JP2016158760A JP6910629B2 JP 6910629 B2 JP6910629 B2 JP 6910629B2 JP 2016158760 A JP2016158760 A JP 2016158760A JP 2016158760 A JP2016158760 A JP 2016158760A JP 6910629 B2 JP6910629 B2 JP 6910629B2
Authority
JP
Japan
Prior art keywords
image
dialogue
historical
information
displayed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016158760A
Other languages
English (en)
Other versions
JP2017037310A (ja
Inventor
敏夫 山崎
敏夫 山崎
阿部 誠
阿部  誠
山崎 博
博 山崎
Original Assignee
有限会社ヴェルク・ジャパン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 有限会社ヴェルク・ジャパン filed Critical 有限会社ヴェルク・ジャパン
Publication of JP2017037310A publication Critical patent/JP2017037310A/ja
Application granted granted Critical
Publication of JP6910629B2 publication Critical patent/JP6910629B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Instructional Devices (AREA)
  • Navigation (AREA)
  • Processing Or Creating Images (AREA)

Description

本発明は地域の歴史画像と現在画像の合成及び音声ガイドの表現方法に関する。
従来からカーナビ装置、歩行ナビにおいて多くの提案がされている。
例えば特許文献1(特開平1−263688号公報)では移動体(自動車、カーナビ装置、携帯装置)の移動につれて移動体の現在位置と進行方向をGPSやジャイロ等の機器で検出し、その周辺の地図情報またルート情報を移動体上のデータベースから読み出して移動体上のディスプレイ画面に地図又は走行ルートの画像として表示することが記載されている。
特許文献2(特開2004−212131号公報)には特許文献1と同様に移動体の現在位置周辺の地図情報また移動ルートを表示すると共に、移動体の移動に合わせて、且つ、移動体の利用者の選択に合わせて、周辺の情報の画像表示とそれに関連した音声の説明をデータベースから読み出して再生する方法が提案されている。
特許文献3(特開2012―154924号公報)には歴史的な建造物や風俗等の画像を含む歴史情報を地理的な座標に応じて画像表示し或いは説明を音声再生するナビゲーションシステムが提案されている。すなわち、同発明は移動ルート(経路)に沿った主要な施設又は自然空間又は歴史空間の画像・影像情報とその施設・空間に関する画像・音声情報を、ナビ装置上の(又はインターネット上の、又はクラウドコンピュータ上の)データベースから、場合により移動状態(空間状況)及び利用者の状況(意識状況)を勘案しながら、巧みに引出し、合成し、それらをナビ装置搭載のディスプレイにポップアップ影像を表示し、音声再生器により音声(又は音楽、又は両者)を提供する。この特許文献3の技術ではナビ装置を携行する使用者例えば観光者が現存しない歴史上の景観を見たい時にその現時点における位置から特定の方向を見た著名な景観をデータベースから読みだしてナビ装置に表示することにより、時代的景観を楽しむことができる。
特許文献4(特開平11−86027号公報)には過去の画像を階層化し或いは分類し且つ現在位置に関連付けて保存した歴史画像を利用して、現在地から見た過去を現在地点に関連して表示する。本発明でもその技術を利用できる。
特許文献5(特開2006―266902号公報)に記載の方法では、空間に配置した任意の環境音を、その場所から見える風景とともに楽しむことができ、本発明もその技術を利用出来る。
特開平1−263688号公報(特許第2606723号公報) 特開2004−212131号公報(特許第4050983号公報) 特開2012―154924号公報 特開平11−86027号公報(特許第3987620号公報) 特開2006―266902号公報(特許第4791064号公報)
特許文献3に記載の発明は、従来システムへの欠点と限界を解決し、利用者(運転者又は同乗者又は歩行者)にとっての煩わしい負担を減じつつ、移動にあわせ近くに存在する施設、自然空間又は歴史空間の情報を巧みに表示・解説して利用者にその場所やルートに沿った施設ないしは自然空間あるいは歴史空間の情報を提供することを可能にする。その結果、利用者は移動することで、そのルート周辺の施設の活動や自然空間の知識や感性情報を得ることが出来る。更に他のルートも移動することで、認識は面的に拡がり、その都市や地方の活動ないしは自然空間に係わる総合的な空間知識や感性教養を形成出来る。
特許文献3の利用活用の形態は、自動車による走行中、列車、船舶などの公共交通機関による移動中、及び歩行中などに共通に利用活用出来る。更に時代を異にする歴史上又は未来の情報を効率よく提供出来ることに特徴を有することで、利用中の時間の流れと歴史上の時間の流れも組み合わせることが出来る。
このためには、空間と時代・歴史を体系化したデータ構造が活用される。
更に、ここには、後に述べるシステムの自律的機能化がナビシステムに導入され、これが利用者との間に共同意図を形成することで、使い勝手を改良し、多様なニーズに対処するなど、従来のナビシステムでは実現出来なかった高度な自律的機能によるサービスが提供される。
さらに、特許文献3に記載の発明を各地域(世界の)多数の場所で多様な人々に利用可能とするために、データベースの制作を簡易化、効率化出来る入力編集系を工夫し、組み合わせる。これによって各地域の知識を有し、歴史を含む多くの分野の専門家による入力を可能とする。
特許文献4は本発明で利用できるかなり基本的な機能を記載しており、現在位置から特定の方向を見た対象に関する画像表示の技術が記載されている. 即ち、対象物に関する情報を分類して分類コード化し対象物の画像と分類コードと位置情報とを記憶した移動型記憶装置を用い、現在位置から特定の方向の実画像を撮像して実空間画像をモニターに表示又は指示針等で表示し、現在位置の座標と対象物への方位及び距離から対象物の位置を決定し、当該対象物の位置に関連した1つ以上の分類コードを前記モニターに階層表示し、必要な場合には前記分類コードの中の所望の分類コードが得られるまで高位、同位又は低位の階層を選択表示し、表示された分類コードから特定の施設に関する分類コードを指定することにより前記移動型記憶装置より前記施設に関する所望の情報を得てこれを前記モニターに表示する。仮想空間画像を一緒に表示することも可能であり、また特定した施設の前部を透明表示することも可能である。本発明はこの技術を改良に関連するものである。
しかしながら、特許文献3や特許文献4のナビ装置によると、例えば喪失した歴史的建造物(例えば城)が、携行者から見た方向にかざしたナビ装置のモニター画面にあたかも現在地から見た方向にあるかのように表示できるが、歴史上の画像が現在の景観といかなる位置関係にあるかが使用者には分かりにくいと同時に、映像と音声を直接結びつけて統合認識するのが困難な問題がある。本発明の目的はかかる課題を解決することにある。
簡単に述べると、本発明は移動ルート(経路)に沿った主要な施設又は自然空間又は歴史空間の画像・影像情報とその施設・空間に関する音声情報を、ナビ装置上の(又はインターネット上の、又はクラウドコンピュータ上の)データベースから、場合により移動状態(空間状況)及び利用者の状況(意識状況)を勘案しながら、引出し、合成し、それらをナビ装置搭載のディスプレイに表示し、また音声再生器により音声(又は音楽、又は両者)を提供する処理にあたり、ナビ装置を向けた任意位置、好ましくは中心位置に歴史画像を表示する一方、その歴史画像の周りには現在地周辺の現在の実画像を表示させることを特徴とする。この実画像としてはナビ装置に内蔵した光学系により得られる実画像を表示するか、またはその代わりに既に撮影され且つ記憶されている現在の画像があればそれをデータベースから呼び出して表示するものである。これにより現在の実像と歴史上の画像の位置関係を正確に把握することが出来る。かくして、本発明によると現在の景観の内部に歴史画像が表示されるので、現在の景観と歴史的な画像の位置関係がほぼ正確に認識できることになる。さらに、歴史の場面に入る機能のために、歴史画像の内部の現在の景観や、人物も配置できる。
また、同じ原理を使用する本発明の他の形態として、宇宙衛星等から得た現在位置を利用して、2つの歴史画像情報データベースより現在位置に対応する2つの画像を取得し、その中の一方のデータベースから特定領域に相当する一方の歴史画像を一つのフィルタ回路により取得し、他方のデータベースから前記特定領域以外の他方の歴史画像を他のフィルタ回路により取得し、これ等の画像を重層的にディスプレイ画面に表示することよりなる、2つの時代の歴史画像を重層的に同時に表示する方法も可能である。この方法によると、上記の方法において、現代の代わりに時代を用いることになり、ある時代から見た他の時代と言った2つの過去が同時に表現でき且つそれらの関係も知ることが可能になる。
以上の本発明を活用することにより、時代を超えた映像の関係を自由に組み合わせて取り扱いうると同時に、それらに関連した音声データを組み合わせて利用することが可能となる。
具体的に述べると、歴史画像の内部に1以上の人物、施設などが表現され、配置されるので、歴史画像の内部空間を情報交換の場として機能させ、情報を取得、交換する形態を具体化する。例えば、現在の人物が近傍の施設やそこから見える風景を意識しつつ歴史空間の内部で同様な施設や歴史風景を意識可能な歴史上の人物から、より的確な説明を受けることが可能になる。
これは特許文献3の[0012](発明の形態)ですでに示した広義のアフォーダンスを時代を異にする人物が共通に活用することを意味する。
この時空を超えた意識の協働は、現在人が歴史空間に入り、その位置、時代に対応する要求情報が、特許文献3などで示す、時空を連結したデータベースに送られ、その情報を踏まえた出力情報がより効果的に映像とともに音声出力される手段により、課題を解決する。
以下本発明を詳細に説明する。
(発明の構成)
本発明は、基本的には特許文献1〜5に記載された方法と構造を利用しうるが、本発明特有の改良点は、ナビ装置画面の限定領域(好ましくは中央領域)に主に歴史画像の一部を表示する一方、さらにその歴史画像の周りに現在地周辺の現在の画像を表示させる装置及び方法である。この現在の画像はナビ装置に内蔵した光学系により得られる実画像、または内蔵メモリまたは通信系から取得できる現在の画像であって、歴史画像が表示される画面領域の外側の領域に表示されるのである。
例えば図1のようにかつて船が行き交っていた水路を中心としてその周りの現在の景色や建造物を撮影してナビ装置画面に表示し、その際に画面の中央部又はフィルタ処理により空白にして残し、この空白部分に、歴史データベースから当時の名物の松の木や人物や船の画像を読出して表示することにより、現在の景観と歴史的な画像の位置関係がほぼ正確に認識できることになる。
本明細書では、歴史画像と現在地を結合して表示する技術及び音声サービスの前提として特許文献3(特開2012―154924号公報)を引用する。詳しい記載はここでは省略するが、必要に応じて同文献を参照されたい。以下では歴史画像と現在の実画像を組み合わせて表示する方法と装置を詳しく説明し、次に音声サービスとの関連をのべる。理解に必要な限度で引用文献3の記載及び図面を参照する。
まとめると本発明は次のとおりである。
1.まず宇宙衛星等から得た現在位置を利用して、カメラレンズ又はデータベースより得た現在の風景を示す画像データから特定領域をフィルタ回路により除去し、得られた画像をディスプレイ画面に表示し、これと並行して、歴史画像情報データベースより現在位置に対応する画像を取得し、その中から上記特定領域に相当する画像を別のフィルタ回路により取得し、この取得した画像を、前記特定領域に嵌め込むことにより、現在の画像に歴史画面を嵌め込んでなる画像を表示する、歴史及び現在画像を同時に表示する方法。
2.上記1において、前記ディスプレイに時代目盛を設けるとともに、データベースから前記歴史画面に対応する年代情報に基づいてポインタにより前記時代目盛を指し示すようにした方法。
3.上記1又は2において、前記特定領域は内部領域と外部領域を有し、前記歴史領域は前記外部領域に囲まれ且つ前記内部領域を取り囲んでいる方法。
4.宇宙衛星等から得た現在位置を利用して、2つの歴史画像情報データベースより現在位置に対応する2つの画像を取得し、その中の一方のデータベースから特定領域に相当する一方の歴史画像を一つのフィルタ回路により取得し、他方のデータベースから前記特定領域以外の他方の歴史画像を他のフィルタ回路によりこの取得し、これ等の画像を重層的にディスプレイ画面に表示することよりなる、2つの時代の歴史画像を重層的に同時に表示する方法。
更に、この得られた合成映像の内部に各時代の施設、人物などが配置されていることを利用して、これ等のうちから、特定の施設、人物などを選び、画面上で選択することにより、その対象(オブジェクト)が特定され、その各々に対応する情報要求を行うことにより、その信号が前記の施設、仮想画像、自然、ルートに関する空間・時間4次元の(4D)レーヤーデータベースにもたらされ、必要に応じてクラウドコンピュータデータベースと協調して対応する求める音声出力がもたらされることになる。この仕組みは、上記の各公知文献に記載されている個別空間に基づく出力情報と同様に、人物などの対応する情報出力がもたらされ、それらが関連して再生及び表示されることになる。この点は引用した特許文献に記載されている。
ただし、人物によってもたらされる出力情報には、単に機械的な単純な情報レベルと、より高度なレベルの情報が含まれる。このためには現在人及び歴史上の人物による相互の意識の流れの問題を考慮しなければならない。これについては後述する。
(具体的説明)
(実施例1)
図1はナビ本発明のナビ装置の表示画面の一例を説明する図であり、歩行ナビのディスプレイの画面構成の一例を示す。表示画面はナビ装置が宇宙衛星等から得た現在位置を利用してカメラレンズより得た現在の風景を示す実写画像又はデータベースから読みだした現代の実写画像を外側に表示する。この画像の構成方法としてはジャイロや宇宙衛星より現在地の座点を取得しナビ装置の移動速度を含めた余裕タイミングの計算結果により次々とタイムリーに地図画面上に影像表示情報を表示するか、又はカメラによる実写映像を取得し、その中から前記中央領域(又は任意領域)の部分をフィルタ回路により除去してディスプレイの画面に表示する。これと並行して、歴史画面を表示すべき歴史画像情報はデータベースより取得し、その中から上記中央部又は任意箇所以外の画像は他のフィルタ回路により除去し、実写映像が除去された前記中央領域に嵌め込むことにより、歴史画面を表示する。
図1の画面構成例では、表示された現在風景の中に、江戸時代の風景がはめ込まれた形で表示される。このように、現在の風景の一部が歴史画面により置換された状態となり、相互の位置関係が分かりやすい。
この現代画面及び歴史画面の表示方法の具体的一例としては、次が考えられる。
a. タブレットなどのナビ装置を持ち、特定の場所に来て、
b. ナビ装置を特定の方向にかざす。
c. 現代の風景を切り取るように歴史景観を画面にあらわす。
d. ボタン操作又はナビ装置を、画面を上にして水平にすることにより、この場所を示す地図が現れる。平面図又はバードビューで表示する。
e. 所望によりさらにナレーションにより解説を聞く。これは所望により対話に進むことができる。
f. 所望により.環境音(舟をこぐ水音など)も入れる。
g. 所望により歴史画面が存在した方角が分かるように方位目盛を表示することができる。
(実施例2)
図2の画面構成は歴史画面に表示される年代が分かるように時代目盛を用いたものであり、歴史画面の時代を示す時代目盛を設けるとともに、データベースからの歴史画面に対応してその年代を指し示すポインタを設けることにより、表示された画面内容の時代が表示される。
(実施例3)
次に、図3は図2の例と同様に現代映像(光学系からの実像又はデータベースに記憶されていて座標指定により読みだされた実像)の中に上記と同様に歴史画像を挿入した画面構成を示すものであるが、こうして表示された歴史画像の中にさらに別の現在画像を挿入した例である。例えばナビ装置を携帯する人の友人が歴史画像の内部に定めた特定領域の位置に入ったとき、その場で撮像してこれを歴史画像の中に配置する。例えば図3には現在人が歴史画像中で過去人と仲良く並んでいるような仮想的状態が実現できる。
(実施例4)
上記の実施例1〜3と技術的には本質的な違いはないが、同一の地理的座標を使用しながら2つの時代の画像を同時に表示する点で違う。この実施例の形態では、宇宙衛星等から得た現在位置を利用して、2つの歴史画像情報データベースより現在位置に対応する2つの画像を取得し、その中の一方のデータベースから特定領域に相当する一方の歴史画像を一つのフィルタ回路により取得し、他方のデータベースから前記特定領域以外の他方の歴史画像を他のフィルタ回路によりこの取得し、これ等の画像を重層的にディスプレイ画面に表示することよりなる、2つの時代の歴史画像を重層的に同時に表示する。
(実施例5)
更に上記の現在映像又は歴史映像の内部に、宇宙衛星等から得た利用者の現在位置の座標点を配置表示する。これは図1の右側に示してある。この実施例においては、歴史画像がバードビュー絵画等の場合には、このバードビュー絵画の背景に空間座標系のデータを一体化して組み合わせて現在位置にいる人物等をより広域映像の内部で位置関係を明確に表現する。これについては特許文献3(特に図1〜2とその説明)を参照されたい。これによりバードビュー絵画等で示された歴史映像内部を移動する人物、行列、船舶などを座標系を伴って自由に表現することが可能となる。
この時、その位置に対応する環境音などを映像内の人物が聞き、それを見ている利用者も選択によりその音声を聞くことができる。これは特許文献5に記載の方法により可能となる。すなわち、利用者の映像内部の空間に自身のエージェント(代理人)を配置して、その場所から見える風景や環境音を時空を超えて楽しむことができることになる。
(実施例6)
この実施例では、以上に述べた方法に、より進化した音声対応をいかに加えるかの方法を述べる。すでに、位置に対応したナレーションや環境音を提供する方法は特許文献2の図1〜3等で可能であるが、さらに画面に登場した人物との対話の形成の方法を述べる。この方法は図7〜8等を参照する。すなわち、現在と歴史画像の合成に用いた指定領域を活用してこれを行う。動作の概要は次のとおりである。
1.すでに現在と歴史画像の合成で用いた特定領域を活用する。
2.この特定領域の内部には、人物や種々のオプションが表示されているので、その中からサービス、対象選択決定制御回路15を使用して対象を選択する。
3.その選ばれた人物、オブジェクトの情報は対話エンジンにより対話の形成準備に入る。
4.対話エンジン(図7〜8)は4次元データベース20にアクセスして、人物、オブジェクトの情報を引き出し、文脈の形成を開始する。その動作は図8に示すように次のとおりである。
a.対話エンジンへの動作指令(質問の内容レベルの信号を含む)がもたらされる。
b.その信号は意識調和選択回路102を経て、質問の内容に調和する対話型が選ばれる。対話型は単純な形式から段階的に高度な対話へと進むメカニズムを採用し、柔軟性を持たせている。意識レベルには単純な意識調和系L-1と高度な意識調和系L-2が配置される。
c.単純な意識調和系L-1では知識のツリー構造をたどることにより単純な短文出力により動作する。高度な意識調和系L-2では技術の進歩に合わせ人間の通常の文脈理解に対応する。
d.すなわち、調和系L-1からの信号は、客観的知識構成回路132により、対応する時代と空間に関する客観的知識が対話のテーマに対応して選ばれ、単純文脈配置回路141を経て音声出力される。これは現在でもかなりの程度実用化が進み、公知の概念と方法が存在するが、対話は簡単に終了してしまう現実がある。本発明は、この問題を改良するものである。即ち、対応する歴史と空間が規定されていることで、質問、課題の対象(オブジェクト)を対話者相互に確認して把握し、認識できる環境を効果的に活用して対話を進化させて継続性を持たせる。
e.このために、すでに述べた通り、対話者同士は共通に対象(オブジェクト)を認知可能な広義のアフォーダンス空間内に位置取りしていることが第一であり、対象に関する情報を相互に引き出し、対話を形成することで、認識のミスマッチを防ぎ、対話をより確実なものにできる。さらに、同様の空間の内部におけるオブジェクトを超えて、話題が外部に展開する場合にも、共通の歴史の内部に存在することで対象が把握しやすく、対話の連続性が確保できる。対話者相互は話題の把握が形成されると、対話の連続性が獲得され、単純文脈配置回路141と、客観的知識構成回路132、そして音声入力、出力回路142が連携して機能する。これは、すでに公知の方法を部分的に利用しつつ、本発明で体系的に適用することで実現できる。
この対話の進行に合わせ、対応する時代の地図や景観図、更には歴史年表などを自動的に切り替えて表示して、理解を深め確実にすることも可能である。
f.次に、対話エンジンの基本構成(図8)に示すところのより高度な調和L−2の選択による通常型対話の系統について述べる。
通常型対話は、人間の自然な対話を実現するアプローチである。そのために、本発明では対話を最初からすべての領域に広げることなく、歴史とその空間に領域を限定しつつ、より興味深い内容を形成して、対話を構成しようとする試みからアプローチする。歴史とは過去から現在に至るその時代に生きた人々が意識し、体験し、記憶したが、記録や痕跡を残しつつも、その内容は確実に消え去っていった連続系である。
しかし、その歴史の時間と空間の内部には、人々により知識と感性が確実に存在していた。そこには確実に自然空間から、都市や建築物が作られ、種々の「もの」が存在し、これに行為が重なり、「こと」としての出来事や事件が存在していた。
すでに、特許文献1〜5にはこの内容に諸々の局面から複合的に対応しようとするものであり、多くはそれらに記載されている。
本発明では、時空を結ぶ4次元データベース等を活用しつつ、歴史空間に生きた人々との対話を構成する。
g.(具体的説明) 主に図8を参照するに、調和L−2よりの流れは、まず起動信号として、基本価値構成系121に至る。この形は対話基本制御回路120の内部で記憶蓄積構成部123をベースにして全体を制御する。L−2での通常対話は、機械的な単調応答を超えて対話のレベルを人間相互の対話に近づける工夫である。そのため、この人工知能内の対話基本制御回路120はこの対応のために次のように動作する。
h.まずデータベースの領域130に固有レベル131と一般レベル132を形成する。一般レベル132は客観的な知識を蓄積する一方、固有レベル131にはその時代、場所、人物などに固有の記憶、話題、エピソードなどを蓄積構成しておく。これ等には相互に連携した階層構造を持たせておく。これらはすでに説明した4次元空間データベースの一部をなす。
この前提のもとに、基本価値構成部121は、選択された特定の人物の個性を時空間上に構成する。その特定の人物の生きた時代と地域に関する知識群は体験の軸として時空間上に記憶される。ここにはエピソード記憶が加えられる。例えば、ユリウス・カエサルの生涯にかかわる歴史はかなりの程度明らかであり、自身の有名な著作もある。これ等はデータベースに蓄積される。ここには彼の行為とその結果の累積が形成され、その累積は価値判断の一つの基本を与える。そして、対話の開始は特定領域の選択を経て最初に入力された環境ステータス103をベースとして進む。即ち、基本構成部が環境ステータス103を通じて「今」の時間と場所に関する状況を把握するとき、意識的な状況(意識そのものではないが)の流れを形成しようとする。
この彼の意識的状況の流れが、相手への対応の企画を進める。記憶蓄積構成部123が検索され、その企画の実行に必要な知識制御部125、感性制御部124を通じて意見が形成され、出力は、彼の基本的な価値構成に制御され、文脈形成回路126を経て、言語構成となり、音声出力152される。
i.対話相手の人間(利用者)の脳内では、脳内情報活動180により、対応する意識の流れが生じている。この仕組みについては後述する。
そして、人間系181から対応する対話音声出力に加えて、時には、操作やジェスチャーが出力される。この情報は人工知能系の音声入力153、光学・操作入力154を経て、意味分析、統合系にもたらされる。
さらに、この情報は基本価値構成系121に伝達され、対応する判断を経て、1ステップ進んだ新たな対応ステータスからの情報とともに、次の対応の企画122の内部を更新し、新たな出力を生み出し、前記と同様なルートで音声出力される。このフィードバックループの循環を経て、対話は進んで行く。この過程の情報は記憶蓄積部123に記憶され、更にはデータベース130に蓄積されて行く。
さらに、この一連の流れは図の上部に示されている人工知脳機能形成支援回路160にモニターされている。この回路は、全体の情報の流れを解析可能とするために、人工知能と人間系の対応を総合的立場から構造的に記録把握している。そこでは、系全体を見通す超越的な内容も形成されるため、その内容をときには基本価値構成121に提供してループの能力を高め、更に機能の形成と進化を助ける。
この状態で音声入力信号は対話基本制御回路にもたらされ、対話のフィードバックが幾度も循環されることになる。この循環過程こそ、知識の学習、感性の刺激をもたらし、本システムに価値を与える。
以上で対話エンジンの基本的な構成を説明した。
しかし、ここで重要な関係を指摘しておく。
すなわち、対話エンジン(人工知能系と呼ぶ)に対し、利用者である人間系を含む全系統の有機的な働きにより全体の機能を発揮する関係がここにある。この人間系の特性を巧みに織り込んだシステム系の構築が実用性を確保し、魅力を形成するポイントであるので、以下にこの重要な関係を述べる。
J.人間の脳の構成と機能
人間の脳に関して、長期間の多くの研究と最近の分析機器による解析により、その構成と機能は解明されてきている。しかし、解明が到達できない領域もかなり残されている。ここではまず、脳の構成について最小限触れておく。
図9を参照するに、脳はその複雑な処理過程を実行するため、その進化の過程で、独特の構成と機能を実現してきた。脳の表面部分にはたくさんの皺が刻まれ、溝の入り組んだ大脳皮質がある。
ここには少なくとも300億個のニューロン(神経細胞)が含まれ、シナップスと呼ばれるつなぎ目は10万×100億個にも達する。この膨大な数のニューロンが脳のいろいろな場所で発光して活動電位が発生し、他の脳の部位と情報を相互に伝達しあう。
k.他の部位で重要な構造は視床があり、脳の中心に位置する。外界からの刺激は感覚受容管(目、耳、皮膚など)から脳に入る信号を伝える神経にはそれぞれ特定の視床の中の核(特殊核)につながり、それぞれの核の軸索を通じて大脳皮質の担当する部位へ信号を伝える。そして外界に対応する地図が形成される。こうした、どのニューロン群がどこにつながり、シナプス(伝達軸索)を作り、情報を伝えてゆくという流れを「投射」と呼ぶ。
l.皮質は視床のニューロンからたくさんの軸索を受け取りつつ、皮質の方からも視床への軸索を伸ばして相互にやり取りしている。その他の脳の構成としては海馬、大脳基底核、小脳などがある。
海馬は主に人の人生を通じて体験した出来事の記憶であるエピソード記憶を蓄える。
小脳は大脳皮質の基底部から突き出たように位置して、運動動作の調整や動作を順につなげて適切な運動を作り出す感覚運動ループを成立させる機能に関与する。
基底核は運動制御や動作を順序立てて継続して行くのにとくに重要な構造である。
基底核は脳の中央に位置し、皮質からの入力を受け、基底核内のいくつかの経路を介した後、情報を再び皮質に戻す。つまり、複数のシナプスを順に連ねたループを形成した多シナプス性のループ回路を形成している。
これは、皮質内の領域同士の結びつきとは全く異なる。つまり、皮質−皮質間や、皮質−視床間で働く、行ったり来たりの双方向性パターンは基底核ではほとんど見られない。
基底核の神経活動のほとんどは、神経伝達物質としてのGABAを使った抑制性のニューロンを通じて抑制したり、時には抑制を抑え興奮させることで、人の身体が慣れにより運動機能を獲得したり、意識しないで学習した能力を行うことができるのも、この基底核の活動に依存している。
m.最後に、もう一つの意識の維持や学習といった脳の活動になくてはならない構造を述べる。これは「価値系」と呼ばれている上行性の神経系で、脳幹や視床下部などに存在する核から、軸索を四方八方に伸ばし、脳の広い範囲に投射している。この脳の広い範囲に拡散して投射することにより、沢山のニューロンが同時にその伝達物質の影響を受ける点である。
この結果、生存に欠かせない統合された学習や記憶や運動の実行をコントロールすることができる。すなわち、脳はいろいろな部位で分業しつつも。多くの領域が複雑に関係し合い、全体として(すなわち複雑系として)結びつき統合化して機能しているのである。
n.ここには脳が最も重要な「意識」と言うプロセスを生み出すベースがある。「意識」とは統合されたままでありながら同時に次々と変化し推移する。意識は通常ひと塊りであり、何かを意識しているとき感覚入力、企画、想像、情動、つかの間の記憶から身体感覚、喜びや悲しみまで流れるように変化してゆく。
o.「意識」をここで基礎的な「原意識」と高度な「高次意識」とに分けて考える。
まず、意識は「現在進行中の知覚」と高度な「記憶」とのダイナミックな相互作用によって生起する。そこには「もの」や「こと」に反応して構成されるシーンが現れる。それが「原意識」である。「原意識」を持つ動物は過去の体験した危険又は良好な記憶を通じて、価値を関係付けて。生存に有利な行動を選択して行く。原意識は動物にとり生命維持のための基本である。
しかし、原意識のみを備えた動物は過去や未来と言う概念及び社会的な存在としての自己を持ち合わせていない。そして意識している自分を意識することもない。それでも何かに意識的に注意を向けたり、行動プランを実行したりはできる。「高次意識」は主に人類がようやく獲得した意識である。ここでは、いろいろな行為やできごとに「意味」を与えるためのまた過去や未来に展開する出来事を論理的に考えるための[しるし]として記号や符号を作り、扱うことができるようになり、そして言語が現れ、新しい知識が増し、意味能力がさらに開拓され、概念が爆発的に発達し、自己、過去、未来の概念が原意識に結びつく。原意識、高次意識、更に社会的、言語的に定義できる自己を備え、さらに、意識している自分を意識できる。そして言語の文脈を形成して、対話を行うことができる。
p.しかしこの最も重要な「意識」は今まで述べたように脳の構成と機能の複雑系の働きの中で生じることが確かであるが、意識自体はまだ解明されていない。ましてや、コンピュータシステムのアプリによって実現することはできない。
そこで、本発明においては、意識を有する利用者と、同じくシステム内の意識を有する(有していた)歴史人との間の対話を実現する手段を提供する。それを以下に説明する。
意識は主観性や一人称の視点にかかわる現象である。そのため、観察と言う観点から見れば、一人称的体験に第三者である観察者と自在にやり取りできる「共通言語」では書かれていない。
しかし、ここで重要な点は「同じ動物種に属している個体」同士の一人称的体験は共通性があることである。すなわち、人間は他人即ち「あなた」であることはどのようなことかを、同じ種である人として推測し、意識できる。
これは、ヒトの脳が持つ能力である。この能力を人と対話エンジンとの間に成立させようとする試みが可能性を持ちうる。すなわち、対話エンジンからの文脈を伴った音声出力が人間の自然な発声のレベルに近づき、時にはエピソード記憶が含まれる時、相手の人間に意識を発生させ、その意識の内部では対話エンジンの話からその話者の意識を自己の脳の機能として推測し、相手としての話者との共通の話題のシーンまで及ぶことまで可能となる。
ここには対話エンジンと利用者とのコミュニケーションの成立する基盤が形成できることになる。
人間の脳は仮想の世界に入ったり、物語の内部で登場人物の思いに共感し、感動できる幅を有する。この人間の特性を利用して、完全な意識それ自体を生み出し得ない対話エンジンの人工知能の限界を超えて対話のループを形成できるのである。
ここに、人工知能である対話エンジンと時空データベース系と人間系からなるユニークな関係は、利用者としての人間に歴史人などの相手の意識を意識させつつ対話を形成させる基盤を与える。
最後に、この対話人工知能と利用者である人間系を脳の働きの面からとらえて今後の発展の可能性を整理しておきたい。
図10のL−2では、人間の脳は1.意識的入力により専門分野の知識や空間・環境に対応した知識の蓄積を行う(歴史空間と活躍した人々におけるエピソード記憶に加え、文脈のネットワークに知識や表象を埋め込む)、2.概念を形成し、文脈により知識・記憶が効果的に呼び出せる基底核ループとシナプス結合を形成する(専門化)(環境からの情報入力または意識操作により記憶を呼び出し、再構成し、容易に文脈依存のコア活動を活性化できる)。3.ダイナミックコア活動を中心に自由に情報を再構築し、行動プランを企画実行できる(歴史空間の把握、背景の理解、芸術制作、学術研究高度な空間探索など)。
また、図10のL−1では、1.視覚、聴覚、体感等を通じての環境からの環境入力(ダイナミック・コア活動による意識が対象を集中的にとらえて内容を選択し、カテゴリーを把握する)。2.基底核ループは注目・注視等以外にかかわるダイナミックコアの皮質・脳活動を抑制する。3.深い集中ではコア活動に従事している前頭葉や頭頂葉と基底核ループが注目する再入力を活発化し、注意活動の中心となる。
以上の人間の脳内情報活動は今後のシステムの具体化に重要な知見を与える。
過去および現在の画像の同時重層的な表示は特許文献3の従来の表示装置に所望の画像のみを通過させるフィルター機能を追加することで実現できる。
本発明の第1実施例の方法により合成された現代と歴史の重畳された映像を表示する例を示す。 本発明の第2実施例の方法により合成された現代と歴史の重畳された映像の表示する他の例を示す図であり、時代目盛りの構成を示す。 本発明の第3実施例の方法により合成された現代と歴史の重畳された映像の表示するさらに他の例を示す図であり、歴史画像の内部に更に現代画像領域を配置。 本発明を実施するために用いる4次元時空間データ構造の説明図である。 本発明の方法の一部の実施に利用することができる従来技術の一例を示す。 特許文献3(特開2012―154924号)の技術である図5の装置の一部を改変して本発明を実施できるシステムにした実施例を示す。 図5の装置の一部を改変して本発明を実施できるシステムにしたさらに他の実施例を示す。 本発明の対話エンジンの基本構成を示す図である。 人間の脳の構成を示す図である。 意識調和系に関与する脳の機能変化を示す図である。 江戸時代の両国の花火を示す本発明の適用図である。 江戸時代の両国の花火を示す本発明の他の適用図である。 江戸時代の江戸城とその築城材料の産地を同時に示しつつ、都市江戸のダイナミックな構築を伝える図である。 本発明の一実施形態における装置において、年代目盛と地図とを同時に表示した画面を表す図である。 本発明の一実施形態における装置の構成を表す図である。 本発明の一実施形態における装置の画面における遷移を表す図である。 本発明の一実施形態における装置において、地図表示から歴史年表表示への切り替え途中を表す図である。 本発明の一実施形態における装置において、画面に表示される歴史年表のレイアウトを表す図である。 本発明の一実施形態における装置において、画面に表示される歴史年表のレイアウトを表す図である。 本発明の一実施形態における装置において、年代目盛と合成画像とを同時に表示した画面を表す図である。 本発明の一実施形態における装置の構成を表す図である。 本発明の一実施形態における装置において、バードビューを表示し、そのバードビューの中に歴史人とエージェントを配置した図である。 本発明の一実施形態における装置において、画面に表示される歴史年表の具体例を表した図である。 本発明の一実施形態における装置において、歴史年表を表示し、その歴史年表の中に歴史人を配置した図である。
本発明のレイヤー構造の活用を図5〜6を用いて説明する。図5は従来技術である。本発明は一例としてこの図の回路を使用できる。本発明ではさらに図5を改変して図6(左側の部分が図5の従来技術である)のように構成したものである。
図4のレイヤー構造は縦軸に時代軸を持ち、その時代軸に対応する複数のレイヤーに地図座標が対応し、各々の時代の空間の2次元及び3次元(立体)のデータが位置付けられている。移動者(利用者)は、この構造の現代に居ることになる。その自己位置PT1と読み出された現代の地図座標に対応し、各時代のレイヤーの同じ座標の自己位置PT2−−−PTnに移行出来る。(例えば、現在のある街角PT1から江戸時代の同じ街角(PT3)へ。)
この歴史空間PT3の属するレイヤーにはその時代の街や施設が座標付データとして位置付けられている。これを利用し、利用者の向きのある角度範囲(θT)の各座標にあるデータを読み出す。それが3次元影像の場合、施設、建築等の景観が求められる。(これは特許文献4:特開平11-86027に記述がある。)
それを図4では仮にEとする。EはT3の時代には実在であったが、T1の現代では存在しないが、T3のレイヤーにあるET3の像のデータが表示される(仮想)。
時代T3を選択した場合において、図4のように、利用者の位置を点PT3で示し、歴史上の人物か又は物語上の人物の位置を白抜きにしておく。このポインタ(図2Aでも同じく白抜きポインタで示す)は、歴史上の人物か又は物語上の人物による解説か又は文学表現ナレーションと当時の景色ET3や音楽を同期して再生する。こうして歴史上の登場人物か又は物語上の人物の見たこと感じたことと景色等の間の空間的及び歴史・時間的関係が系統的に示される。
この時代:歴史空間のレイヤーの選択はスライドスイッチを動かして、任意の時代を選択することが出来る。時代・歴史レイヤーには、各々その時代の関連する一般・背景データ(例えば、政治、文化、人物、経済、国際関係など)も収納され、カテゴリー別に引き出すことも出来る。図3にはポインタ9が使用されて表示されている時代を示すことができる。
図5は、従来例であるが本発明の方法を実施するために利用できるシステムの一例を示す。本発明では地図情報データベース10、施設、自然、歴史に関するデータベース20が使用される。データベース20は前述のようにナビ装置に搭載したものでも良いし、インターネット上のサーバ又はクラウドコンピュータ上のデータベースメモリを使用しても良い。後者の場合には使用前にナビのデータベースに情報をダウンロードしておけば能率的である。施設、自然、歴史に関するデータベースは施設、自然、歴史に関する映像情報とそれに関連した音声(音楽を含む)であって、上位概念と下位概念に属する少なくとも2つに階層化した(最大でも3階層程度が好ましい)ものであれば任意であるが、特許文献2のように、感情情報データベース21と知識情報データベース22とに分け、それを合成して再生することも、利用者がSW1からサービスを切り替えることにより分けて再生することも出来る。
施設、自然、歴史に関するデータベース20は上位階層の施設(総合施設、建物、競技場、公園、景観等)の影像とそれに属する下位階層の内容(総合施設なら商店、建物なら収容物や商品、競技場ならイベント等)である。そして、音声はそれらの説明やバックグラウンド音楽などである。
重要なことは各時代階層の施設、出来事には必ず地図座標が付せられてデータベースのメモリに記憶されていることである。
図6は図5の装置を利用して本発明を実施できるように改良した装置構成であり、本文に説明した作用を達成することができる。主たる部分は図6の現在画像データベース又はカメラa、歴史画像データベース及び現代画像データベースよりそれぞれのフィルタb、cを介して画像中の特定の部位を透過するか又は遮断することにより、同一地点における現在画像と、歴史画像との一部を透過又は遮断したうえ合成することにより、本発明のこれ等両種の画像を入れ子式に同時に構成することができる。
歩行ナビ利用の場合の特に効果を発揮するルートシナリオ機能の動作原理について説明する。図4に於いて、時代レイヤーにはルートが示されている。利用者(移動者)がこのルート上を移動する時、その移動につれて、次々とそのルート周辺に存在する対象(オブジェクト)が読み出され、表示される。
その読み出しは基本的に移動者の直前から遠方に向かって、移動のスピードと認識時間を勘案し、選別される。例えば、江戸時代のレイヤー上では当時の建築、施設が町並に合わせ読み出される。それと同時に現在のレイヤーから同座標の中央部分を透過させるフィルターを設けることにより、当時の画像を入れ子式に表示しうる。
さらに本発明に従って現在の実像を示す画面の中に歴史上の画面がはめ込まれ入れ子式に表示される(図1又は図2)。別法として、さらに歴史上の画面の中に現在の小画像が挿入される(図3)。
図1〜3に関して上に説明したように、現在と歴史上の画像、または実施例4(図示せず)のように2つの時代の画像がデータベースから読み出されて画面上に合成画像で表示される。即ち、光学系からの実画像又はデータベースから読みだされる現代画像は、図6に示したように、歴史画像がはめ込まれるべき領域をカットするフィルター回路bを通った後にディスプレイに表示され、他方、歴史画像は歴史画像を通過させるフィルタ回路cにより前記はめ込み領域の外側の領域を切り捨てられたのちに、加算器dにより前記現在の画像が切り抜かれた部分に嵌め込まれる。また、現在の画像の代わりに、2つの時代の画像を同様な方法で重畳することも可能であることは説明した通りである。
以上に述べた現在の利用が存在する位置から見た現在及び歴史画像(これを下位画像と呼ぶ)の構成法に加えて、利用者自身とその近傍を含む、全体を見通すバードビュー画像(上位画像と呼ぶ)を別の視座と構図により形成し、この下位と上位の画像を利用者のディスプレイに同時又は切り替えて表示するとき、新しい可能性が出てくる。
ここでは利用者が直接下位画像でとらえる内容は、上位画像により、利用者自身の位置をとらえる景観は全体の一部となり、相対化され、その内部で進行する時間変化を伴い、全体は超越的関係で理解可能となる。
例えば図11aは両国の花火に集まる両国橋、隅田川、花火見物の船を上位画像として表している。この図中には多数の人々が集まり、橋の上や船の中でそれぞれの近傍を含む景観を下位画像としてとらえつつ、その近くの環境音を聞いたり、花火を見ている。ここでは下位画像と上位画像が体系的に位置付けられている。
いま、この上位画像の内部に(A)で示す現在の船に乗った利用者が登場し、川面を移動するとする。この時、利用者のデバイスは宇宙衛星等を利用してその位置をとらえている。この位置情報は、上位画像に配置された位置座標データを示すアイコンとなって現れる。これをデバイスの画面を見ている利用者は、自身が歴史空間の内部を移行している意識の流れを形成することができる。
そして利用者の直接捉える現在の近傍風景(下位画像)と対比でき、そこに現在画像に囲まれた歴史画像がすでに述べた入れ子構造で形成できれば、さらに時空を超越した理解と意識の形成は確実なものとなる。
さらに、図11bは図11aの両国橋の橋詰をとらえた上位画像である。
ここには多数の江戸の人々が集まっている(歴史人21、22、23、24、25)。この空間の内部においては、多くの下位画像による風景が併存し、同時に多数の会話が交換されている。
ここにおいて、利用者はこの人々の集まる空間の空隙を選び、仮想的音センサーを画面をタッチして配置する。
そこからは、特許文献5に示す方法により、その場所に対応する環境音を距離と方位を伴って聞くことができる。
この機能を合わせることにより利用者は時空を超越して高度の臨場感を得ることができる。
さらに重要なことは、この歴史人の集う空間の空隙を見つけて、使用者は自身又は自身のエージェント(代理人11、12)を配置して、また歴史人を選び、歴史を超えた会話を行うことである。
この時、自身又は自身のエージェントと対応する歴史人は歴史を異にするが、同様な空間に存在し、現在人は歴史空間内の内部で局所的な下位画像を意識しつつ、歴史人との会話を開始することができる。この時、現在人と歴史人はその下位画像からもたらされる同様の景観を同時に意識可能な状態にある関係とを利用している。
これは特許文献3の[0012]に示すところの共通の対象(オブジェクト)を眺めうる光像の分布構造が存在する幾何学的座標範囲にいることを意味する)を活用している。この関係を利用して、現在人と歴史人の間の会話は、まず相互にメッセージ可能なオブジェクトを介して開始できる条件が生まれる。
この現在人、歴史人の会話は、図7で示す四次元データベース20にアクセスする対話エンジン図7〜図8を介して実行される。対話エンジンは着実性を重視して、サービス、対象選択決定制御回路15で規定される人物、オブジェクトがある程度限定された状況で機能を開始する。これは会話の共通のオブジェクトをともに意識した条件でオブジェクトの内容の解説等から開始される。この図の例においても、1.歴史画像の合成で用いた特定領域を活用する。2.この特定領域の内部には人や種々のオブジェクトが表示されているので、それらからサービス、対象選択決定制御回路15により対象を選ぶ。3.選ばれた人物、オブジェクトの情報は対話エンジン(図の右下隅)により対話形成の準備に入る。4.対話エンジンは4次元データベースにアクセスして、人物、オブジェクトの情報を引き出し、文脈の形成を開始する。その動作は図8に示すとおりである。なお、誤解を避けるために付言すると、歴史人を画面上に表示する場所には、画面上の歴史空間内に限定される必要は無く、画面上の任意の場所に表示することができる。例えば、歴史人を、図3に示す歴史画像領域に配置してもよく、現代画像領域に配置してもよい。そして、時空を超えた対話を実現してもよい。
対話エンジンの基本構成を図8に示す。
(a)S1:対話エンジンへの指令がもたらされる(質問の内容のレベルの信号を含む)。
(b)その信号は意識調和選択回路S2へ送られ、質問の内容に依存して選択スイッチにより通常型対話L-2か基礎型対話L-1が選択される。
(c)L1の場合には知識のツリー構造S3をたどることにより単純な短文出力を行う。L−2の場合には、技術の進展に合わせて人間の通常の文脈理解に対応する。
(d)人間意識との調和は図10に示す脳の機能変化を中心としつつ遷移を伴ない進む。
この時、特定領域の内部には人物や種々のオブジェクトが表示されるので、それらのうちから図5に示すサービス、対象選択決定制御回路15を用いて対話の対象を選ぶ。この操作は歴史地図及び年表上においても同様である。
その選ばれた人物、オブジェクトの情報は対話エンジンにより対話の形成準備に入る。
対話エンジンは4次元データベースにアクセスして人物、オブジェクトに関する情報を引き出し、一連の活動により文脈の形成を開始する。
この文脈の形成は重要である。この機能の活用に関してはすでに段落0033の実施例において述べてある。その動作を図8に示す。人間と機械との対話は単純に行うと、人間の意識において違和感を生じることになる。これをできる限り防止するために特に意識・調和選択回路102を配置する。この回路は、選択された人物、対話対象、状況(ステータス)に応じて、対話の基本的構成をあらかじめ選択する。すなわち、L1で示す基礎型対話に進むケースL−1と通常型対話に進むケースL−2のいずれかを選び、調和状態を作る。
基礎型対話は現在実用化されつつある方式であり、客観的知識構成回路132から内容を選んで出力を構成して進行する。これに対して人間は音声又は画面から入力して、対話を進めることができる。
前に述べたL−1レベルの場合、人の意識レベルは図の下側に示した視覚、聴覚等の直接的環境入力に対応した対話となり、人間の意識は対話エンジンの出力に近づく状態となる。これは、歴史人との対話においても、近い状況の空間情報を意識しつつ、単純な対話を形成できることを意味する。L−1は基本的に歴史の内部についての客観的知識を出力とする。
一方高度のL−2の通常型対話の実行は、情報処理の高度化と同時に人間の意識の流れに調和する機能を持たせる必要がある。
この意識の流れは図10に示すところの人間の脳内情報活動と連携する必要がある。図に示したように、通常型対話L−2のレベルでは、人間は意識的入力により知識を形成し、エピソード記憶に加えて文脈のネットワークに知識や表象を埋め込んでいる。ここに概念が形成され、文脈により知識や記憶が効果的に呼び出される。
対話エンジンの内部の文脈形成回路は人間の場合とは異なるが、同様なメカニズムを持ち、人間の脳内活動のタイミングと調和を形成しつつ、対話出力を進める。
L-2のレベルでは、歴史人の個人に依存する知識やエピソード記憶が加わることで共通体験も意識されて、人間の脳が持つ超越的意識又は無意識に対応させる。
この結果対話は物事の全体を見据えた構造的なものとなり、多様性を持ち、興味深いものとなる。個人の知識やエピソード記憶は個人的アーカイブズと4Dデータベースとの連携した情報交換を活用することもできる。
ここにおいて、現在と歴史の映像の合成には下位と上位の画像の組み合わせから複雑なシナリオを意識でき、理解しやすいバードビュー映像の出力などにより、空間の認知が構造化される。そこでは歴史地図が動作し、環境音を捉え、加えて歴史の流れを超えての対話が実現される。これ等が利用者の存在する空間内でデバイスの総合機能により実現されるとき、その空間は新たな価値を認識させる重要な可能性を提供するものである。
さらにこの総合機能の具体例を示す。
図12は江戸城を中心とする江戸の町を俯瞰するバードビュー画像(上位画像)である。このバードビュー画像の上部には伊豆半島からの石材の輸送ルートが見える。
このバードビュー画像は都市江戸が17世紀の始めから約30年間の建設努力の中で、石材や木材等の物資を受け入れつつ、港の水域を埋め立てつつ運河網を形成し続けるなど、構造化された企画力と実行力のダイナミズムを表現するタブレット内の上位画像として機能する。この内部にはポインターで示された利用者自身が江戸城の見晴台の石垣の上にいて、現代の大手町の高層ビル群を見つつ、悠長の歴史の流れに意識を合わせている状態である。
その時、タブレットの画面には下位の画像が現在映像の内部の特定領域に江戸の歴史画像を捉えつつあり、江戸の景観に意識が重なり、さらに江戸人との対話が形成される。
これは時空を超越すると同時に、その歴史の展開を動的に表現し得てデバイスの新たな可能性をもたらすことになる。
図21は、江戸城の大奥において、歴史人(御台所(みだいどころ)や姫)と、エージェントを配置した図である。図11bや図12の実施形態と同様、歴史人とエージェントとの対話が可能となっている。特筆すべきは、エージェント自身が、現代の衣装をまとうのではなく、当時の時代のTPOに相応しい衣装をまとっている点にある。例えば、エージェントは、歴史人として表示される人物と同様の衣装をまとって表示される。このようにエージェントを配置する際に、時代に合わせた衣装をまとわせた合成画像を配置して、臨場感を高めることができる。これは既に述べた(実施例6)のeに示した、対話者同士が共通に対象(オブジェクト)を認知可能な広義のアフォーダンス空間内において、対話の効果を高める方法でもある。
上記のように、本発明によれば、デバイスのコンテンツとアプリケーション、そして4次元データベースの体系を利用して、特定地域を含む2以上の歴史上の画像、又は歴史画像と現在の画像を、位置関係が認識できる重層的かつ超越的な形で提供するものであり、技術、文化、及び教育の発展に寄与することが大である。
ここで述べる回路及び系とは、ハードウェアのみ成らずソフトウェアで作られたものも含まれる。
上記本発明においては、時代目盛(又は年代目盛ともいう)の部分を起点として、歴史年表に切替表示することも可能である。以下では、歴史年表を用いた、更なる本発明の一実施形態について説明する。
<地図から年表への画面切替>
一実施形態において、本発明は、移動ナビゲーション装置(例:歩行ナビ装置、カーナビ装置など)の画面において、地図を表示する際に、年代目盛を一緒に表示することができる。あるいは、歴史年表の少なくとも一部を画面に表示することができる(この時、歴史年表については、年表全体を表示する必要はなく、歴史年表の中にある年代目盛が少なくとも表示されていればよい)。この年代目盛が、上述した図12に記載の時代目盛と同等の役割を果たすことができる。
図13は、画面のレイアウト図である。画面の大部分には地図が表示される。ここで述べる地図は、特定の形式の地図に限定されず、航空写真や、バードビューをイラスト化したものであってもよい。また、地図は必ずしも現代の地図に限定されず、特定の年代の地図(例:古地図又は将来の地図)であってもよい。そして、画面の左下側には、年代目盛(210)を表示することができる。そして、年代目盛の傍には、インジケータ(220)を表示することができる。このインジケータと年代目盛の組合せにより、画面に表示されている地図がどの年代のものであるかを示すことができる。また、地図上には、ユーザーが現在いる位置を示すインジケータを表示することができる(230)。
本発明の一実施形態に係る装置の構成を図14に示す。前記装置(300)は、装置の外部にあるGPS(310)と通信することができる。また、前記装置は、ネットワーク回線(320)(例:インターネット、WAN、LAN等)に接続し、特定のサーバ(例:データベースサーバ)(330)と通信することができる。こうした通信は、装置内の通信部(340)を用いて行うことができる。図14では、通信部は1つしか記載されていないが、例えば、ネットワーク通信用の通信部、及びGPS通信用の通信部のように、用途に応じて複数の通信部を設けてもよい。前記通信部を経て得られる情報は、制御部(350)において処理される。制御部は、装置外部から必要な情報を適宜取得することができる。その一方で、装置(300)内部に搭載される記憶部(360)からも必要な情報を適宜取得することができる。
記憶部(360)は、上述した知識データベース、感性データベースを記憶することができる。更に、記憶部は、ソフトウェア(プログラム)を記憶することができ、ソフトウェア(プログラム)は、制御部において実行することができる。また、記憶部は、地図情報(バードビューなども含む)を記憶することができる。そして、他のモジュールと連携して、後述する動作を実行することができる。表示部(370)は、制御部の指示を受けて適宜必要な情報を提示する。表示するための原理は、液晶、有機EL等公知技術を用いることができる。また、表示部は、ユーザーからの操作情報を受け取るため、タッチパネル式であってもよい。そして、表示部は、ユーザーからの操作情報を表す信号を、制御部に送信することができる。また、別のユーザーからの操作情報として、図14においては、別途音声部を設けて、音声による指示を信号化し、該信号を制御部に送信することができる。そして、制御部で内容を分析して、指示内容に従い装置を動作させてもよい。
制御部は、前記通信部を経由して、ネットワーク回線と接続し、更には、外部のサーバに接続して地図情報を取得することができる。及び/又は、制御部は、記憶部にアクセスして、地図情報を取得することができる。そして、制御部は、取得した地図情報を、表示部に表示させることができる。
制御部は、前記通信部を経由して、ネットワーク回線と接続し、更には、外部のサーバに接続して歴史年表(年代目盛や歴史情報等を含む)を取得することができる。及び/又は、制御部は、記憶部にアクセスして、歴史年表を取得することができる。そして、制御部は、取得した歴史年表(又は年代目盛)を、表示部に表示させることができる。
また、制御部は、地図情報の年代を分析し、インジケータを適切な位置に表示部に表示させる制御を行うことができる。例えば、地図の年代が、18世紀半ばごろであれば、インジケータが年代目盛上の18世紀半ば付近を指し示すような位置に表示させることができる。即ち、インジケータを、年代目盛上に重なるように表示してもよいし、あるいは、図13のインジケータ(220)のように年代目盛付近に表示してもよい。
さらに、制御部は、前記通信部を経由して、GPSと通信し、ユーザーの現在位置(より正確には装置の現在位置)に関する情報を取得することができる。そして、現在位置情報を、上述した地図上に表示することができる(図13 230)。
以下、ユーザーの操作に基づいて、地図表示から歴史年表表示へ切り替える際の処理の流れを説明する。
ユーザーは、図13の画面において、年代目盛を選択する(例えば、図15の矢印部分を選択する)動作を実行することができる。そして、前記操作に関する情報を、表示部から制御部に送ることができる。前記操作は、例えば、マウスポインタ等を用いる場合にはクリック操作でもよいし、タッチパネル方式であれば、タップ操作であってもよい。制御部は、前記操作に応答して、歴史年表を拡大表示させる指示を表示部に送信することができる。例えば、歴史年表の一部(例えば、年代目盛)しか表示されていない状態から、歴史年表全体を表示するように制御することができる(例えば、図15の状態から、図16の状態に切替、更には図16の矢印方向に歴史年表を拡大表示させ、最終的には図17に示すレイアウトを画面表示させることができる)。また、このとき年代目盛についても、適宜拡大縮小させることができる。そして、最終的には、図17に示すように、画面全体に歴史年表を表示することができる。ここで、地図表示から、歴史年表表示へ切り替える際には、必ずしも上述した拡大表示の方法を用いる必要は無い。例えば、地図表示ウィンドウを上方向にスワイプ等して、スクロールアウトして、その代わりとして、歴史年表を表示したウィンドウをスクロールインする方式を採用してもよい。いずれにしても、制御部は、ユーザーからの動作に応答して、表示画面を地図表示から歴史年表表示へと切り替える指示を、表示部に送信することができる。
本発明の装置では、過去の地図上に、ユーザーの現在位置を投影することができる。これにより、実際には体験することができない、過去の世界について、より現実性を増加させる形で体感することを促すことができる。また、過去の地図の中にユーザーの現在位置が示されることにより、過去の地図の時代の歴史についてのユーザーの関心を喚起することができる。そして、喚起されたユーザーの関心に応える形で、本発明の装置は歴史年表を効果的に表示することができる。
歴史年表の形式については、特に限定されないが、典型的には、図17に示すようなレイアウトであってもよい。例えば、年表の上側の見出し部分には年代目盛(260)を表示することができる。年代目盛については、複数種類表示してもよい(例えば、西暦、和暦、イスラム暦など)。一方、左側の見出し部分には、ジャンルを表示することができる。ジャンルについては、特に限定されず、様々なジャンルを表示することができる。例えば、政治、文化、技術、建設、災害、人物、などが挙げられるがこれらに限定されない。そして、上側の見出し(年代)と左側の見出し(ジャンル)に整合するように、歴史情報(例えば、特定の時点(又は期間)に発生した出来事を記した情報)を表示することができる。
このように、歴史年表に関する情報は、少なくとも、年代目盛情報、ジャンル情報、歴史情報が少なくとも含まれる。こうした情報は、装置の記憶部に記憶することができる。そして、制御部が記憶部にアクセスして取得し、表示部に表示させることができる。あるいは、こうした情報は、制御部がネットワーク経由で外部サーバ等に接続し、取得することができる。そして、表示部に表示させることができる。
歴史年表に表示するジャンルについては、ジャンル選択ボタン(250)をクリックすることにより、選択することができる。例えば、図17では、政治及び技術のジャンルが選択状態となっており、歴史年表上に表示することができる。表示部は、ユーザーがジャンル選択ボタン(250)を選択(例タップ、クリック等)する動作に応答して、どのジャンルが選択されたかを表す情報を制御部に送信する。これに応答して、制御部は、記憶部から、選択されたジャンルに該当する歴史情報を記憶部から取得する。あるいは、制御部は、ネットワーク経由で、外部サーバにクエリーを発行し、選択されたジャンルに該当する歴史情報を取得することができる。制御部は、このようにして得られた歴史情報(240)を、歴史年表に沿った形式に編集することができる。そして、制御部は、編集後の歴史情報(240)を表示するよう、表示部に指示を送信することができる。
このようにして、本発明の装置は、地図から歴史年表へ切替表示可能な移動ナビゲーション機能を提供することができる。これにより、ユーザーが特定の時代の地図上に自身を投影したときに、その空間に関する興味が喚起されることがある。例えば、今表示されている地図の年代及び場所は、どのような時代であり、どのような場所だったのか関心を持つ可能性がある。こうした場合に、素早く歴史年表を提示することにより、特定の時代の特定の場所に対する概要を知ることができる。こうして、ユーザーの知的欲求に素早く応えることができる。
また、歴史年表中に表示された歴史情報には、リンクを挿入することができる。例えば、図18に示すように、歴史情報「大坂冬の陣」の部分にリンクを挿入することができる。リンク部分を選択する動作(例:タップ、クリック等)を表示部が受け取ると、該動作に関する信号を表示部が制御部へ送信することができる。そして、制御部は、選択されたリンク部分に関する関連情報を、記憶部又は外部サーバから取得することができる。さらに、制御部は、取得した関連情報を表示するように、表示部に指示を送信することができる。
関連情報の表示方法については、特に限定されず、例えば、図18に示すように吹き出しの形式で、表示することができる。あるいは、歴史年表のウィンドウを一旦最小化して、別ウィンドウを起動して、該ウィンドウの中に関連情報を表示してもよい。
関連情報の形式については、特に限定されず、例えば、解説記事(テキスト文)、静止画、動画、音声、及びこれらの組合せであってもよい。また、リンク部分に関するキーワードに基づいてサーチエンジンで検索を行い、その検索結果を表示してもよい。あるいは、リンク部分は、特定のURLと関連づけられており、関連情報は、特定のURL上に存在するWebページであってもよい。
こうした機能を提供する事により、過去の地図の時代の歴史についてのユーザーの関心が高まった段階で、即座に関連情報を提供することができる。即ち、歴史年表は、関連情報を提供するための足掛かりとして機能させることができる。
図16〜図18に関連して、歴史年表の具体例を図22に示す。年代目盛は複数表示してもよい。例えば、西暦と和暦を同時に表示してもよい。更に10年単位での大きな目盛を表示すると同時に、これに隣接する形で1年単位の目盛を表示してもよい。歴史上の表現は、縦書き、横書き、及び両者の組み合わせでもよい。
また、上記実施形態において、歴史年表を切替表示する際に、場所及び時代を特定した形で歴史年表を表示することができる。歴史年表を切替表示する前の状態では、地図が表示され、更には、歴史年表の一部を構成される年代目盛も表示されている。従って、表示されている地図(場合によっては、更に年代目盛)から、場所及び年代の情報を、制御部が取得することができる。従って、制御部は、取得した場所及び年代に基づいて、記憶部にアクセス、又は外部サーバへ問い合わせを行い、特定の場所及び年代に関連する歴史情報のみを取得することができる。例えば、図15に表示されているのは、江戸時代の江戸城付近の地図である。この状態から、歴史年表を切替表示する場合、江戸時代の東京近辺に関する歴史情報を選択的に取得することができる。
実際のところ、表示されている地図に関連づけられている場所及び年代と、歴史年表に表示される場所及び年代は完全に一致する必要性はない。例えば、図15に表示されている地図が、西暦1600年頃の江戸城付近ものである場合、歴史年表については、西暦1550年〜西暦1650年の関東一帯といったように、年代と場所の範囲をある程度広げてもよい。どの程度広げるかについては、プログラム設計者又はユーザーが適宜設定することができる。
こうした仕組みを実現する場合、記憶部や外部サーバでは、歴史情報を、年代及び場所の情報と関連付けた形で共に記憶することが好ましい。これにより、年代及び場所に基づいて歴史情報を抽出することが可能となる。
このように、表示されている地図に関連づけられている場所及び年代を利用することにより、ユーザーが関心を持つ可能性の高い内容を優先的に歴史年表に予め反映させることができる。
上記実施形態において、ユーザーが、現在表示されている地図の年代とは異なる年代をの地図を表示することを望む可能性がある。こうした場合、ユーザーは、図13に表示されているインジケータをドラッグ操作する、又は年代目盛情報特定の位置を指定する等の操作により、特定の年代を指定することができる。表示部は、こうしたユーザの操作に関する情報(例えば、どの年代が指定されたかに関する情報)を、制御部に送信することができる。制御部は、指定された年代に基づいて、対応する年代の地図を、記憶部又は外部サーバから取得することができる。そして、制御部は、現在画面に表示されている地図を、新たに取得した地図に切替表示させる指示を、表示部に送信することができる。このように、年代目盛を用いて指定することにより、簡便且つ直感的に分かりやすい操作で地図の年代を切り替えることができる。また、歴史年表を切替表示する際にも、新たに表示した地図の年代及び場所に基づいて、歴史情報を抽出することができる。
一旦、歴史年表が画面に表示された後、本発明の装置では、幾つかの方法で、再度地図表示画面に切り替えることができる。例えば、図17のレイアウトに表示されている年代目盛(260)の部分を選択する操作(例:タップ、クリックなど)を行うことができる。あるいは、歴史年表が表示されているウィンドウをスクロールアウトさせる操作を行うことができる(ただし、この場合、歴史年表に表示されている年代目盛の範囲においてどの年が選択状態にあるかの情報を保持することが好ましい)。あるいは、上述したリンクにおいて、地図を表示させるための指示を挿入してもよい(この場合も、どの年代の地図を表示させるかを示す情報を保持することが好ましい)。表示部は、こうした操作に関する情報を、制御部に送信することができる。制御部は、選択された年代に基づいて、地図情報を、記憶部又は外部サーバから取得することができる。そして、制御部は、取得した地図を表示させる指示を、表示部に送信することができる。また、制御部は、年代目盛を表示させる指示を、表示部に送信することができる。年代目盛は、歴史年表に表示されている年代目盛の情報をそのまま利用してもよいし、記憶部又は外部サーバから新たに取得してもよい。いずれにしても、こうした仕組みにより、歴史年表表示状態(例:図17)から、地図表示状態(例:図13)へと切替を行うことができる。また、制御部は、切替後の画面において、インジケータを表示させる指示を表示部に送信することができる。インジケータが示す年代は、歴史年表において選択された年代である。
また、このように歴史年表から地図表示へ切替表示を行う際に、どの場所の地図を表示するかに関する情報を保持しておくことが好ましい。例えば、最後に表示した地図の場所に関する情報を保持してもよいし、歴史年表に関する情報の中に、場所に関する情報を保持してもよい。あるいは、歴史年表の歴史情報に挿入したリンクにおいて、場所に関する情報を保持してもよい。このようにして、地図表示と歴史年表表示とを切替表示する操作が簡便になる。
<重ね合わせ画像から年表への画面移動>
一実施形態において、本発明は、移動ナビゲーション装置(例:歩行ナビ装置、カーナビ装置など)の画面において、合成画像を表示する際に、年代目盛を画面に表示することができる。図19は、図3に示したものと同様に、現代画像(光学系からの実像又はデータベースに記憶されていて座標指定により読みだされた実像)の中に上記と同様に歴史画像を挿入した画面構成を示す(逆に、歴史画像の中に現代画像が挿入されてもよい)。ただし、図3との違いとして、右下に、年代目盛(410)とインジケータ(420)が表示されている。
これら年代目盛(410)とインジケータ(420)の機能は、図13に示した年代目盛(210)とインジケータ(220)と同様である。より具体的には、年代目盛(410)とインジケータ(420)の組合せによって表現される年代は、図19の合成画像で用いられている歴史画像がいつの年代のものかを表すことができる。
本発明の一実施形態に係る装置の構成を図20に示す。図20に示した装置の構成は、図14に示した装置の構成と同様となっている。ただし、図14に示した装置と比べて、更に撮像部(580)(例:カメラ)と方位センサ(590)を更に備えることができる。また、必要に応じて更にジャイロセンサ(600)を備えることができる。
前記装置(500)中に示した各モジュールは、図14に示した装置(300)と同様の機能を有することができる。また、撮像部(580)は、図1、図3及び図19に表示される現代画像を取得するための機能を有する。撮像部の典型的な例として、スマートフォンやタブレット端末に搭載されているカメラが挙げられる。撮像部で取得された現代画像は、制御部に送られ、制御部において、編集することができる。例えば、現代画像の一部を消去して、上述した歴史画像と組み合わせた画像を合成することができる。例えば、図1、図3及び図19にあるように現在画像の一部を消去して、消去した箇所に、消去した部分に対応する歴史画像を挿入した画像を合成することができる(逆に、歴史画像の一部を消去して、消去した箇所に、消去した部分に対応する現代画像を挿入した画像を合成することができる)。
記憶部(560)は、歴史画像データベース及び/又は現代画像データベースを備えることができる。また、歴史画像データベース及び/又は現代画像データベースは、外部サーバ(530)に記憶されてもよい。制御部(550)は、記憶部にアクセスする、及び/又は、外部サーバに問い合わせを行うことにより、歴史画像及び/又は現代画像を取得することができる。
従って、制御部において、現代画像と歴史画像を用いて合成画像を生成する際には、上述した撮像部から取得された現代画像ではなく、記憶部や外部データベースから取得された現代画像を用いてもよい。
方位センサは、前記装置がどの方角に向いているかを感知することができる。例えば、撮像部が備えるレンズがどの方向に向けられているかを感知することができる。こうした方向情報を、方位センサから制御部へ送信することができる。そして、GPSと通して取得した位置情報と組み合わせて、どの場所のどの方角の風景を取得するかを、制御部が決定することができる。その後、該決定に基づいて、記憶部及び/又は外部データベースから、前記決定に対応する場所及び方角の歴史画像を取得することができる。
また、装置(500)は、図14で示した装置(300)と同様、年代目盛を記憶部又は外部サーバから取得することができる。また、装置(500)は、前記年代目盛及びインジケータを、表示部に表示させる指示を行うことができる。ここで、年代目盛とインジケータの組合せによって表される年代は、歴史画像がどの年代のものであるかを示すことができる。
ユーザーは、図19の画面において、年代目盛を選択する動作を実行することができる。あるいは、合成画像が表示されているウィンドウをスクロールアウトさせる動作(例:スワイプ)を行ってもよい。そして、前記操作に関する情報を、表示部から制御部に送ることができる。前記操作は、例えば、マウスポインタ等を用いる場合にはクリック操作でもよいし、タッチパネル方式であれば、スワイプやタップによる操作であってもよい。制御部は、前記操作に応答して、歴史年表へ切替表示させる指示を表示部に送信することができる。そして、最終的には、図17に示すように、画面全体に歴史年表を表示することができる。いずれにしても、制御部は、ユーザーからの動作に応答して、表示画面を、合成画像表示から歴史年表表示へと切り替える指示を、表示部に送信することができる。
歴史年表を表示する方法については、地図表示から歴史年表への表示切替に関する実施形態で説明した仕組みと同様の仕組みで行うことができる。歴史年表についても同様の特徴を採用することができる。例えば、リンクの挿入やジャンル選択等の特徴を採用することができる。
前述した切り替え方法では、ユーザーが画面上にある年代目盛を選択する動作を行ったが、上記以外の方法で、歴史年表に切り替えることができる。より具体的に述べると、上述した実施例1では、ナビ装置を水平にすることにより(つまり、重力方向に対して画面が垂直になることにより)、画面に景観を表示した状態から、画面に平面図又はバードビューを表示した状態に切り替えている。これと同様の方法を採用することができる。
より具体的には、本発明の装置を、画面が重力方向に対して略平行(或いは装置が地面に地面に対して略垂直)となるように、特定の方向にかざす。こうした状態をジャイロセンサが検知し、該状態に関する情報を制御部に送信することができる。制御部は、該信号を受け取り、表示部に対して、現代画像と歴史画像を合成した画像を画面に表示する旨の指示を送信することができる。このとき、併せて、年代目盛も表示する。現代画像、歴史画像、及び年代目盛を表示するために必要な情報の取得方法については、上述した方法で取得できる。
続いて、本発明の装置を、画面が重力方向に対して略垂直(或いは装置が地面に対して略水平)となるようにして、特定の方向にかざす。こうした状態をジャイロセンサが検知し、該状態に関する情報を制御部に送信することができる。制御部は、該信号を受け取り、表示部に対して、歴史年表に切替表示する旨の指示を送信することができる。
以上のようにして、合成画像から歴史年表へ切替表示を行うことができる。切替表示の際、場所及び時代を特定した形で歴史年表を表示することができる。歴史年表を切替表示する前の状態では、合成画像が表示され、更には、歴史年表の一部を構成される年代目盛も表示されている。従って、表示されている合成画像に含まれる歴史画像(場合によっては、更に年代目盛)から、場所及び年代の情報を、制御部が取得することができる。従って、制御部は、取得した場所及び年代に基づいて、記憶部又は外部サーバ問い合わせを行い、取得した場所及び年代に関連する歴史情報のみを取得することができる。例えば、図19に表示されているのは、江戸時代の江戸のある場所の歴史画像を含む合成画像である。この状態から、歴史年表へ切替表示する場合、江戸時代の東京近辺に関する歴史情報を選択的に取得することができる。
歴史年表を表示する方法については、地図表示から歴史年表への表示切替に関する実施形態で説明した仕組みと同様の仕組みで行うことができる。歴史年表についても同様の特徴を採用することができる。例えば、リンクの挿入やジャンル選択等の特徴を採用することができる。
上記歴史年表においては、上述した重ね合わせ画像(図3)や上位画像(図11b)と同様に、歴史人及び/又はエージェントを配置することができる。この目的で、図14や図20のハードウェア構成に加えて、或いは該ハードウェア構成の一部を置き換えて、図8に表される対話エンジン用のハードウェア構成を利用してもよい。そして、この配置されたエージェントは、利用者との対話を行うことができる。例えば、簡略表示している図14や図20のハードウェア構成において、図8の対話エンジンを組み込んでもよい。こうした組み込みは、図8のデータベース系を図14や図20に表示されている記憶部や外部サーバ(例えば、図14の360及び330)に適用することによって実現してもよい。これらの図のハードウェア構成を、どのように組み合わせるかは、当業者が適宜なしうるところである。
図23は、歴史年表において、複数の歴史人を配置した実施形態を表す。歴史人の配置は、必ずしも、一つの人物につき、一つの歴史人に限定して配置する必要は無い。例えば、図23に示すように、松尾芭蕉について、幾つかのライフステージにおいて、複数の松尾芭蕉(例:アイコン)を配置してもよい。また、それぞれ配置される松尾芭蕉の画像は、ライフステージに合わせて異なって、表示されてもよい。こうした、表現は、記憶部(又はデータベース)に予め、各歴史人のライフステージごとの画像を記憶しておくことで実現できる。
歴史年表の中に同一人物の歴史人を複数配置することで、各ライフステージごとに体験学習を通じ形成された価値観と対話することが可能となる。人格と思想の形成においても、当人の努力により新しい境地を切り開くこともある例えば、図8では、データベース系において、人物・時代の固有的記憶・課題エピソード群と共に再構築された状況を記憶している。こうした記憶内容を、取り出す際に、年代フィルタ処理を行い、特定の年代までの記憶を取り出させるようにしてもよい。こうすることにより、例えば、図23の真ん中に表示される松尾芭蕉(神田川工事に携わったころの松尾芭蕉)の年代までの修業時代の松尾芭蕉の記憶を取り出すことができる。この記憶につづき、江戸の生活の中で、俳諧を深く模索し、多くの旅を重ね、「奥の細道」に至る。ここに「不易流行」(歴史を経て、変遷する現実と、一貫して不変なる存在)の思想とその境地が生まれた。芭蕉自身、平安時代に東北を旅した西行の歌枕をたどり、その残した記憶を求めている。現代の我々は芭蕉の文学とその背景の記憶に感性と知を体系的に求めることになる。更に、松尾芭蕉との対話は、歴史の変遷を経た東北の地を訪れ、その風景の内部でシステムを活用することでより大きな効果を生み出す。
図3の重ね合わせ画像や、図11bの上位画像でも、特定のライフステージにある歴史人を表示することは可能であるが、異なるライフステージの歴史人との対話に切り替えたい場合には、年代目盛を切り替える等の操作が必要となってしまう。この点、歴史年表においては、同時に複数のライフステージの歴史人を表示できるため、操作性が優れている。また、人間の認知機能の観点からも、歴史人の人生を理解しやすい。
以上に述べた本発明の機能は、ソフトウェア(プログラム)をインストールすることによって、実現することができる。例えば、上述したハードウェア構成は、公知のタブレット端末やスマートフォンで実現でき、ここにアプリをインストールすることによって実現することができる。
1 歩行ナビ装置
3 ディスプレイ
4 現代画像
5 歴史画像
6 上位画像(バードビュー画像)
7 視座
8 視界
9 時代目盛
10 地図データベース
11 地図画像の読取装置
12 現在画像データ又は映像取得回路
13 アンテナ
14 地図画像または現在画像の表示装置
15 サービス、対象選択決定制御回路
16 画像の切り替えスイッチ
17 施設に関する情報の読み出し及び音声分離装置
18 歴史階層切り替え装置
19 ズームアップ処理装置
20 歴史上の施設等画像に関するデータベース
21 感性情報データベース
22 知識情報データベース
23 音声回路
24 時間判別回路
25 移動ルート属性検出回路
26 利用履歴分析累積メモリ
27 移動ルート判別回路
29 地域判別回路
30 移動ルート属性判別回路
35 クラウドコンピュータ
a カメラ
b 現在画像のフィルタ
c 歴史画像のフィルタ
d 加算器
e 年代情報の抽出器

101 対話エンジンへの指令
102 意識調和選択回路
103 環境ステータス回路
104 対応ステータス回路

120 対話基本制御回路
121 基本価値制御回路(構成部)
122 対応企画路
123 記憶蓄積構成部
124 感性制御回路
125 知識制御回路
126 文脈形成回路

130 データベース系
131 固有レベルデータベース
132 一般レベルデータベース

141 単純文脈配置回路
142 音声出力装置
143 音声入力装置
144 操作入力装置

151 タイミング制御階御
152 音声出力回路
153 音声入力装置
154 光学・操作入力装置
160 人工知能機能形成支援回路
180 人間(脳内情報活動系)
181 人間系(意識の流れと出力系)


210 時代目盛
220 インジケータ
230 現在位置

240 歴史情報
250 ジャンル選択ボタン
260 時代目盛

300 移動ナビゲーション装置
310 GPS
320 ネットワーク回線
330 外部サーバ
340 通信部
350 制御部
360 記憶部
370 表示部

410 時代目盛
420 インジケータ

500 移動ナビゲーション装置
510 GPS
520 ネットワーク回線
530 外部サーバ
540 通信部
550 制御部
560 記憶部
570 表示部
580 撮像部
590 方位センサ
600 ジャイロセンサ

Claims (14)

  1. 宇宙衛星等から得られた現在位置を利用して、カメラレンズ又はデータベースより得た現在の風景を示す画像データに加え、歴史画像情報データベースより現在位置に対応する画像データを取得し、前記両画像データのうちの一方の画像データから特定領域をフィルタ回路により除去し、得られた画像をディスプレイ画面に表示し、これと並行して、上記特定領域に相当する画像を別のフィルタ回路により取得し、この取得した画像を、前記特定領域に表示することにより、現在の画像に歴史画面を嵌め込んでなる画像、または逆に歴史画像に現在の画像を嵌め込んでなる画像を表示する、歴史及び現在画像を同時に表示する方法であり、
    前記方法は、更に以下の(1)〜(3)のうち少なくとも1つの特徴を備える、方法:
    (1)前記歴史画面内に、使用者自身又は使用者自身のエージェントが配置されており、前記歴史画面内に存在する特定の歴史人を選ぶことにより、知識情報、感性情報データベース及び・又はクラウドコンピュータデータベースから、オブジェクト及び選択された歴史人の情報を対話エンジンが引き出して、当該情報を音声回路を経て聞くように構成され、前記オブジェクトは、前記使用者自身又は使用者自身のエージェントと、前記選択された歴史人が眺めうる共通の対象である、
    (2)前記ディスプレイに時代目盛を設けるとともに、データベースから、前記歴史画像に対応する時代を指し示すように構成され、前記時代目盛を起点として歴史年表が表示されるように構成される、
    (3)宇宙衛星等から得られた現在位置を利用して、カメラレンズ又はデータベースより得た画像である下位画像の視座(対象を捉える原点)の位置を内部に含み、又は歴史シナリオの場面を内部に含み、またはそれらの両者を内部に含む平面地図又はバードビュー画像を歴史データベースから取得し又は合成して作成して表示されるように構成される。
  2. 請求項1に記載の方法であって、前記方法は、前記(2)の特徴を備え、
    表示された前記歴史情報には、リンクが挿入されており、
    前記リンク先は、静止画、動画、音声、テキスト、検索結果、URL又はこれらの組合せとなっている
    方法。
  3. 請求項1又は2の方法であって、前記方法は、前記(2)の特徴を備え、
    前記歴史年表内には、ユーザーと対話可能な歴史人が配置されている、該方法。
  4. 請求項3の方法であって、前記歴史年表内には、同一人物の歴史人が単数又は複数配置されており、前記複数の配置された同一人物の歴史人は、ライフステージに応じて、特定の年代までの記憶が設定されており、これにより、各ライフステージごとに認知、体験、学習、エピソード記憶、又は人物・時代の固有的記憶を通じ形成された概念、価値観に基づいて対話することが可能となる、方法。
  5. 請求項1〜4のいずれか1項に記載の方法であって、前記(2)の特徴を備え、前記歴史年表が、場所情報及び年代情報に基づいて、表示され、前記場所情報及び年代情報は、現在の画像に歴史画面を嵌め込んでなる画像、または逆に歴史画像に現在の画像を嵌め込んでなる画像に基づく、方法。
  6. 請求項1に記載の方法であって、前記方法は、(1)の特徴を備え、前記歴史人は、使用者自身又は使用者自身のエージェントと、対話可能に構成される、方法。
  7. 請求項6の方法であって、選択された特定の人物の個性を構成する対話エンジンを通して、前記歴史人が対話可能に構成される、方法。
  8. 請求項1の方法であって、前記方法は、(3)の特徴を備え、
    前記歴史及び現在画像が同時に表示された状態から、平面地図又はバードビュー画像が表示された状態への切り替えが、画面を上にして水平にすることに応答して行われる、方法。
  9. 請求項1又は8の方法であって、前記方法は、(3)の特徴を備え、
    前記バードビュー内に、使用者自身又は使用者自身のエージェントが配置され、且つ、前記使用者自身又は使用者自身のエージェントと対話可能な歴史人が配置される、或いは、
    移動可能な船舶が使用者の位置情報に基づいて前記バードビュー内に配置される、
    方法。
  10. 請求項3、4、6、7及び9のいずれか1項に記載の方法であって、
    前記対話は、対話エンジンによって可能となり、
    前記対話エンジンは、質問の内容に依存して選択スイッチにより基礎型対話又は通常型対話を選択されるように構成される、方法。
  11. 請求項10の方法であって、
    前記基礎型対話の場合に、客観的知識構成回路により、対応する時代と空間に関する客観的知識が対話のテーマに対応して選ばれ、
    前記通常型対話の場合には、以上に加え、歴史人の個人に依存する知識、感性、思想、価値判断、又はエピソード記憶を踏まえた総合的対話が可能となるように構成される、方法。
  12. 請求項10又は11の方法であって、
    前記対話エンジンは、対話相手の音声入力及び/又は光学・操作入力を受信し、
    前記対話エンジンは、タイミング制御を行い、対話相手との対話を進め、
    前記対話エンジンは、フィードバックループの循環を経て、対話を進行させる、方法。
  13. 請求項12の方法であって、
    前記対話エンジンは、人工知能機能形成支援回路を備え、
    前記人工知能機能形成支援回路は、人間との対話を通じた前記のフィードバックループの情報の流れを記録把握し、対話機能を進化させる、方法。
  14. 請求項1〜13のいずれか1項に記載の方法を実施するためのソフトウェア。
JP2016158760A 2015-08-12 2016-08-12 歴史画像と現在画像の合成及び音声ガイドの表現方法。 Active JP6910629B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015159679 2015-08-12
JP2015159679 2015-08-12

Publications (2)

Publication Number Publication Date
JP2017037310A JP2017037310A (ja) 2017-02-16
JP6910629B2 true JP6910629B2 (ja) 2021-07-28

Family

ID=58049494

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016158760A Active JP6910629B2 (ja) 2015-08-12 2016-08-12 歴史画像と現在画像の合成及び音声ガイドの表現方法。

Country Status (1)

Country Link
JP (1) JP6910629B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6390992B1 (ja) * 2017-06-02 2018-09-19 秀敏 櫻井 ストリートビューワーシステム
JP6979685B2 (ja) * 2017-12-14 2021-12-15 国立大学法人電気通信大学 時空間情報提示システム及びプログラム
CN108827328A (zh) * 2018-04-24 2018-11-16 联想(北京)有限公司 语音交互方法、装置、系统和计算机可读介质
JP2018206396A (ja) * 2018-06-18 2018-12-27 秀敏 櫻井 ストリートビューワーシステム
JP7460145B2 (ja) * 2019-08-30 2024-04-02 有限会社ヴェルク・ジャパン 自動運転車輌用システム
CN112380338A (zh) * 2020-11-13 2021-02-19 言金刚 一种基于历史知识库的言历图谱的可视化方法和系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003058878A (ja) * 2001-08-17 2003-02-28 Ricoh Co Ltd 合成画像形成プログラム
JP2004145657A (ja) * 2002-10-24 2004-05-20 Space Tag Inc バーチャル博物館システム
JP4689330B2 (ja) * 2005-04-15 2011-05-25 学校法人立命館 時間軸を含む多次元データの表示システム及びそのプログラム
JP2008145935A (ja) * 2006-12-13 2008-06-26 Doshisha 歴史地図出力装置、歴史地図出力方法、およびプログラム
JP2011232515A (ja) * 2010-04-27 2011-11-17 Denso It Laboratory Inc 地図表示装置、方法及びプログラム
JP6003226B2 (ja) * 2012-05-23 2016-10-05 株式会社デンソー 車両周囲画像表示制御装置および車両周囲画像表示制御プログラム

Also Published As

Publication number Publication date
JP2017037310A (ja) 2017-02-16

Similar Documents

Publication Publication Date Title
JP6910629B2 (ja) 歴史画像と現在画像の合成及び音声ガイドの表現方法。
Park et al. A metaverse: Taxonomy, components, applications, and open challenges
JP7002684B2 (ja) 拡張現実および仮想現実のためのシステムおよび方法
JP2022046670A (ja) 対話型拡張現実表示を表示するためのシステム、方法、及び媒体
Thrift The ‘sentient’city and what it may portend
Benford et al. Performing mixed reality
JP2022050513A (ja) 拡張現実および仮想現実のためのシステムおよび方法
CN107407572A (zh) 沿路线搜索
Groo Bad film histories: ethnography and the early archive
Strausz Hesitant histories on the Romanian screen
Hjorth et al. Creative practice ethnographies
Kimura et al. Collectively sharing people’s visual and auditory capabilities: exploring opportunities and pitfalls
JP2020080154A (ja) 情報処理システム
CN117178271A (zh) 从时刻内容项的自动记忆创建和检索
KR102112074B1 (ko) 유니크베뉴를 포함하는 가상현실 이벤트 제공방법, 장치 및 프로그램
KR102276308B1 (ko) 참여자 단말 및 참관자 단말 기반 유니크베뉴 제공 방법, 장치 및 프로그램
KR102180765B1 (ko) 구성원 정보를 바탕으로 획득되는 유니크베뉴 제공 방법, 장치 및 프로그램
Lanson The Routledge Companion to Mobile Media Art
JP5865708B2 (ja) 施設、自然、歴史、ルートに関する画像及び音声の再生及びデータの制作方法
Psarras Emotive Terrains: Exploring the emotional geographies of city through walking as art, senses and embodied technologies
Favero Visual ethnography and emerging digital technologies
Redrobe et al. Deep mediations: thinking space in cinema and digital cultures
Douglas Performing mobilities
Calderon et al. The architectural cinematographer: creating architectural experiences in 3D real-time environments
Dowling Place-based journalism, aesthetics, and branding

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190415

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200124

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200310

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200511

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200923

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20201120

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210120

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210608

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210630

R150 Certificate of patent or registration of utility model

Ref document number: 6910629

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150