JP6910629B2 - 歴史画像と現在画像の合成及び音声ガイドの表現方法。 - Google Patents
歴史画像と現在画像の合成及び音声ガイドの表現方法。 Download PDFInfo
- Publication number
- JP6910629B2 JP6910629B2 JP2016158760A JP2016158760A JP6910629B2 JP 6910629 B2 JP6910629 B2 JP 6910629B2 JP 2016158760 A JP2016158760 A JP 2016158760A JP 2016158760 A JP2016158760 A JP 2016158760A JP 6910629 B2 JP6910629 B2 JP 6910629B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- dialogue
- historical
- information
- displayed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Electrically Operated Instructional Devices (AREA)
- Instructional Devices (AREA)
- Navigation (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Description
例えば特許文献1(特開平1−263688号公報)では移動体(自動車、カーナビ装置、携帯装置)の移動につれて移動体の現在位置と進行方向をGPSやジャイロ等の機器で検出し、その周辺の地図情報またルート情報を移動体上のデータベースから読み出して移動体上のディスプレイ画面に地図又は走行ルートの画像として表示することが記載されている。
特許文献5(特開2006―266902号公報)に記載の方法では、空間に配置した任意の環境音を、その場所から見える風景とともに楽しむことができ、本発明もその技術を利用出来る。
特許文献3の利用活用の形態は、自動車による走行中、列車、船舶などの公共交通機関による移動中、及び歩行中などに共通に利用活用出来る。更に時代を異にする歴史上又は未来の情報を効率よく提供出来ることに特徴を有することで、利用中の時間の流れと歴史上の時間の流れも組み合わせることが出来る。
更に、ここには、後に述べるシステムの自律的機能化がナビシステムに導入され、これが利用者との間に共同意図を形成することで、使い勝手を改良し、多様なニーズに対処するなど、従来のナビシステムでは実現出来なかった高度な自律的機能によるサービスが提供される。
また、同じ原理を使用する本発明の他の形態として、宇宙衛星等から得た現在位置を利用して、2つの歴史画像情報データベースより現在位置に対応する2つの画像を取得し、その中の一方のデータベースから特定領域に相当する一方の歴史画像を一つのフィルタ回路により取得し、他方のデータベースから前記特定領域以外の他方の歴史画像を他のフィルタ回路により取得し、これ等の画像を重層的にディスプレイ画面に表示することよりなる、2つの時代の歴史画像を重層的に同時に表示する方法も可能である。この方法によると、上記の方法において、現代の代わりに時代を用いることになり、ある時代から見た他の時代と言った2つの過去が同時に表現でき且つそれらの関係も知ることが可能になる。
具体的に述べると、歴史画像の内部に1以上の人物、施設などが表現され、配置されるので、歴史画像の内部空間を情報交換の場として機能させ、情報を取得、交換する形態を具体化する。例えば、現在の人物が近傍の施設やそこから見える風景を意識しつつ歴史空間の内部で同様な施設や歴史風景を意識可能な歴史上の人物から、より的確な説明を受けることが可能になる。
以下本発明を詳細に説明する。
本発明は、基本的には特許文献1〜5に記載された方法と構造を利用しうるが、本発明特有の改良点は、ナビ装置画面の限定領域(好ましくは中央領域)に主に歴史画像の一部を表示する一方、さらにその歴史画像の周りに現在地周辺の現在の画像を表示させる装置及び方法である。この現在の画像はナビ装置に内蔵した光学系により得られる実画像、または内蔵メモリまたは通信系から取得できる現在の画像であって、歴史画像が表示される画面領域の外側の領域に表示されるのである。
まとめると本発明は次のとおりである。
1.まず宇宙衛星等から得た現在位置を利用して、カメラレンズ又はデータベースより得た現在の風景を示す画像データから特定領域をフィルタ回路により除去し、得られた画像をディスプレイ画面に表示し、これと並行して、歴史画像情報データベースより現在位置に対応する画像を取得し、その中から上記特定領域に相当する画像を別のフィルタ回路により取得し、この取得した画像を、前記特定領域に嵌め込むことにより、現在の画像に歴史画面を嵌め込んでなる画像を表示する、歴史及び現在画像を同時に表示する方法。
2.上記1において、前記ディスプレイに時代目盛を設けるとともに、データベースから前記歴史画面に対応する年代情報に基づいてポインタにより前記時代目盛を指し示すようにした方法。
3.上記1又は2において、前記特定領域は内部領域と外部領域を有し、前記歴史領域は前記外部領域に囲まれ且つ前記内部領域を取り囲んでいる方法。
4.宇宙衛星等から得た現在位置を利用して、2つの歴史画像情報データベースより現在位置に対応する2つの画像を取得し、その中の一方のデータベースから特定領域に相当する一方の歴史画像を一つのフィルタ回路により取得し、他方のデータベースから前記特定領域以外の他方の歴史画像を他のフィルタ回路によりこの取得し、これ等の画像を重層的にディスプレイ画面に表示することよりなる、2つの時代の歴史画像を重層的に同時に表示する方法。
ただし、人物によってもたらされる出力情報には、単に機械的な単純な情報レベルと、より高度なレベルの情報が含まれる。このためには現在人及び歴史上の人物による相互の意識の流れの問題を考慮しなければならない。これについては後述する。
(具体的説明)
図1はナビ本発明のナビ装置の表示画面の一例を説明する図であり、歩行ナビのディスプレイの画面構成の一例を示す。表示画面はナビ装置が宇宙衛星等から得た現在位置を利用してカメラレンズより得た現在の風景を示す実写画像又はデータベースから読みだした現代の実写画像を外側に表示する。この画像の構成方法としてはジャイロや宇宙衛星より現在地の座点を取得しナビ装置の移動速度を含めた余裕タイミングの計算結果により次々とタイムリーに地図画面上に影像表示情報を表示するか、又はカメラによる実写映像を取得し、その中から前記中央領域(又は任意領域)の部分をフィルタ回路により除去してディスプレイの画面に表示する。これと並行して、歴史画面を表示すべき歴史画像情報はデータベースより取得し、その中から上記中央部又は任意箇所以外の画像は他のフィルタ回路により除去し、実写映像が除去された前記中央領域に嵌め込むことにより、歴史画面を表示する。
この現代画面及び歴史画面の表示方法の具体的一例としては、次が考えられる。
a. タブレットなどのナビ装置を持ち、特定の場所に来て、
b. ナビ装置を特定の方向にかざす。
c. 現代の風景を切り取るように歴史景観を画面にあらわす。
d. ボタン操作又はナビ装置を、画面を上にして水平にすることにより、この場所を示す地図が現れる。平面図又はバードビューで表示する。
e. 所望によりさらにナレーションにより解説を聞く。これは所望により対話に進むことができる。
f. 所望により.環境音(舟をこぐ水音など)も入れる。
g. 所望により歴史画面が存在した方角が分かるように方位目盛を表示することができる。
図2の画面構成は歴史画面に表示される年代が分かるように時代目盛を用いたものであり、歴史画面の時代を示す時代目盛を設けるとともに、データベースからの歴史画面に対応してその年代を指し示すポインタを設けることにより、表示された画面内容の時代が表示される。
次に、図3は図2の例と同様に現代映像(光学系からの実像又はデータベースに記憶されていて座標指定により読みだされた実像)の中に上記と同様に歴史画像を挿入した画面構成を示すものであるが、こうして表示された歴史画像の中にさらに別の現在画像を挿入した例である。例えばナビ装置を携帯する人の友人が歴史画像の内部に定めた特定領域の位置に入ったとき、その場で撮像してこれを歴史画像の中に配置する。例えば図3には現在人が歴史画像中で過去人と仲良く並んでいるような仮想的状態が実現できる。
上記の実施例1〜3と技術的には本質的な違いはないが、同一の地理的座標を使用しながら2つの時代の画像を同時に表示する点で違う。この実施例の形態では、宇宙衛星等から得た現在位置を利用して、2つの歴史画像情報データベースより現在位置に対応する2つの画像を取得し、その中の一方のデータベースから特定領域に相当する一方の歴史画像を一つのフィルタ回路により取得し、他方のデータベースから前記特定領域以外の他方の歴史画像を他のフィルタ回路によりこの取得し、これ等の画像を重層的にディスプレイ画面に表示することよりなる、2つの時代の歴史画像を重層的に同時に表示する。
更に上記の現在映像又は歴史映像の内部に、宇宙衛星等から得た利用者の現在位置の座標点を配置表示する。これは図1の右側に示してある。この実施例においては、歴史画像がバードビュー絵画等の場合には、このバードビュー絵画の背景に空間座標系のデータを一体化して組み合わせて現在位置にいる人物等をより広域映像の内部で位置関係を明確に表現する。これについては特許文献3(特に図1〜2とその説明)を参照されたい。これによりバードビュー絵画等で示された歴史映像内部を移動する人物、行列、船舶などを座標系を伴って自由に表現することが可能となる。
この時、その位置に対応する環境音などを映像内の人物が聞き、それを見ている利用者も選択によりその音声を聞くことができる。これは特許文献5に記載の方法により可能となる。すなわち、利用者の映像内部の空間に自身のエージェント(代理人)を配置して、その場所から見える風景や環境音を時空を超えて楽しむことができることになる。
この実施例では、以上に述べた方法に、より進化した音声対応をいかに加えるかの方法を述べる。すでに、位置に対応したナレーションや環境音を提供する方法は特許文献2の図1〜3等で可能であるが、さらに画面に登場した人物との対話の形成の方法を述べる。この方法は図7〜8等を参照する。すなわち、現在と歴史画像の合成に用いた指定領域を活用してこれを行う。動作の概要は次のとおりである。
1.すでに現在と歴史画像の合成で用いた特定領域を活用する。
2.この特定領域の内部には、人物や種々のオプションが表示されているので、その中からサービス、対象選択決定制御回路15を使用して対象を選択する。
3.その選ばれた人物、オブジェクトの情報は対話エンジンにより対話の形成準備に入る。
4.対話エンジン(図7〜8)は4次元データベース20にアクセスして、人物、オブジェクトの情報を引き出し、文脈の形成を開始する。その動作は図8に示すように次のとおりである。
a.対話エンジンへの動作指令(質問の内容レベルの信号を含む)がもたらされる。
b.その信号は意識調和選択回路102を経て、質問の内容に調和する対話型が選ばれる。対話型は単純な形式から段階的に高度な対話へと進むメカニズムを採用し、柔軟性を持たせている。意識レベルには単純な意識調和系L-1と高度な意識調和系L-2が配置される。
c.単純な意識調和系L-1では知識のツリー構造をたどることにより単純な短文出力により動作する。高度な意識調和系L-2では技術の進歩に合わせ人間の通常の文脈理解に対応する。
d.すなわち、調和系L-1からの信号は、客観的知識構成回路132により、対応する時代と空間に関する客観的知識が対話のテーマに対応して選ばれ、単純文脈配置回路141を経て音声出力される。これは現在でもかなりの程度実用化が進み、公知の概念と方法が存在するが、対話は簡単に終了してしまう現実がある。本発明は、この問題を改良するものである。即ち、対応する歴史と空間が規定されていることで、質問、課題の対象(オブジェクト)を対話者相互に確認して把握し、認識できる環境を効果的に活用して対話を進化させて継続性を持たせる。
e.このために、すでに述べた通り、対話者同士は共通に対象(オブジェクト)を認知可能な広義のアフォーダンス空間内に位置取りしていることが第一であり、対象に関する情報を相互に引き出し、対話を形成することで、認識のミスマッチを防ぎ、対話をより確実なものにできる。さらに、同様の空間の内部におけるオブジェクトを超えて、話題が外部に展開する場合にも、共通の歴史の内部に存在することで対象が把握しやすく、対話の連続性が確保できる。対話者相互は話題の把握が形成されると、対話の連続性が獲得され、単純文脈配置回路141と、客観的知識構成回路132、そして音声入力、出力回路142が連携して機能する。これは、すでに公知の方法を部分的に利用しつつ、本発明で体系的に適用することで実現できる。
この対話の進行に合わせ、対応する時代の地図や景観図、更には歴史年表などを自動的に切り替えて表示して、理解を深め確実にすることも可能である。
f.次に、対話エンジンの基本構成(図8)に示すところのより高度な調和L−2の選択による通常型対話の系統について述べる。
通常型対話は、人間の自然な対話を実現するアプローチである。そのために、本発明では対話を最初からすべての領域に広げることなく、歴史とその空間に領域を限定しつつ、より興味深い内容を形成して、対話を構成しようとする試みからアプローチする。歴史とは過去から現在に至るその時代に生きた人々が意識し、体験し、記憶したが、記録や痕跡を残しつつも、その内容は確実に消え去っていった連続系である。
しかし、その歴史の時間と空間の内部には、人々により知識と感性が確実に存在していた。そこには確実に自然空間から、都市や建築物が作られ、種々の「もの」が存在し、これに行為が重なり、「こと」としての出来事や事件が存在していた。
すでに、特許文献1〜5にはこの内容に諸々の局面から複合的に対応しようとするものであり、多くはそれらに記載されている。
本発明では、時空を結ぶ4次元データベース等を活用しつつ、歴史空間に生きた人々との対話を構成する。
g.(具体的説明) 主に図8を参照するに、調和L−2よりの流れは、まず起動信号として、基本価値構成系121に至る。この形は対話基本制御回路120の内部で記憶蓄積構成部123をベースにして全体を制御する。L−2での通常対話は、機械的な単調応答を超えて対話のレベルを人間相互の対話に近づける工夫である。そのため、この人工知能内の対話基本制御回路120はこの対応のために次のように動作する。
h.まずデータベースの領域130に固有レベル131と一般レベル132を形成する。一般レベル132は客観的な知識を蓄積する一方、固有レベル131にはその時代、場所、人物などに固有の記憶、話題、エピソードなどを蓄積構成しておく。これ等には相互に連携した階層構造を持たせておく。これらはすでに説明した4次元空間データベースの一部をなす。
この前提のもとに、基本価値構成部121は、選択された特定の人物の個性を時空間上に構成する。その特定の人物の生きた時代と地域に関する知識群は体験の軸として時空間上に記憶される。ここにはエピソード記憶が加えられる。例えば、ユリウス・カエサルの生涯にかかわる歴史はかなりの程度明らかであり、自身の有名な著作もある。これ等はデータベースに蓄積される。ここには彼の行為とその結果の累積が形成され、その累積は価値判断の一つの基本を与える。そして、対話の開始は特定領域の選択を経て最初に入力された環境ステータス103をベースとして進む。即ち、基本構成部が環境ステータス103を通じて「今」の時間と場所に関する状況を把握するとき、意識的な状況(意識そのものではないが)の流れを形成しようとする。
この彼の意識的状況の流れが、相手への対応の企画を進める。記憶蓄積構成部123が検索され、その企画の実行に必要な知識制御部125、感性制御部124を通じて意見が形成され、出力は、彼の基本的な価値構成に制御され、文脈形成回路126を経て、言語構成となり、音声出力152される。
i.対話相手の人間(利用者)の脳内では、脳内情報活動180により、対応する意識の流れが生じている。この仕組みについては後述する。
そして、人間系181から対応する対話音声出力に加えて、時には、操作やジェスチャーが出力される。この情報は人工知能系の音声入力153、光学・操作入力154を経て、意味分析、統合系にもたらされる。
さらに、この情報は基本価値構成系121に伝達され、対応する判断を経て、1ステップ進んだ新たな対応ステータスからの情報とともに、次の対応の企画122の内部を更新し、新たな出力を生み出し、前記と同様なルートで音声出力される。このフィードバックループの循環を経て、対話は進んで行く。この過程の情報は記憶蓄積部123に記憶され、更にはデータベース130に蓄積されて行く。
さらに、この一連の流れは図の上部に示されている人工知脳機能形成支援回路160にモニターされている。この回路は、全体の情報の流れを解析可能とするために、人工知能と人間系の対応を総合的立場から構造的に記録把握している。そこでは、系全体を見通す超越的な内容も形成されるため、その内容をときには基本価値構成121に提供してループの能力を高め、更に機能の形成と進化を助ける。
この状態で音声入力信号は対話基本制御回路にもたらされ、対話のフィードバックが幾度も循環されることになる。この循環過程こそ、知識の学習、感性の刺激をもたらし、本システムに価値を与える。
以上で対話エンジンの基本的な構成を説明した。
しかし、ここで重要な関係を指摘しておく。
すなわち、対話エンジン(人工知能系と呼ぶ)に対し、利用者である人間系を含む全系統の有機的な働きにより全体の機能を発揮する関係がここにある。この人間系の特性を巧みに織り込んだシステム系の構築が実用性を確保し、魅力を形成するポイントであるので、以下にこの重要な関係を述べる。
人間の脳に関して、長期間の多くの研究と最近の分析機器による解析により、その構成と機能は解明されてきている。しかし、解明が到達できない領域もかなり残されている。ここではまず、脳の構成について最小限触れておく。
図9を参照するに、脳はその複雑な処理過程を実行するため、その進化の過程で、独特の構成と機能を実現してきた。脳の表面部分にはたくさんの皺が刻まれ、溝の入り組んだ大脳皮質がある。
ここには少なくとも300億個のニューロン(神経細胞)が含まれ、シナップスと呼ばれるつなぎ目は10万×100億個にも達する。この膨大な数のニューロンが脳のいろいろな場所で発光して活動電位が発生し、他の脳の部位と情報を相互に伝達しあう。
k.他の部位で重要な構造は視床があり、脳の中心に位置する。外界からの刺激は感覚受容管(目、耳、皮膚など)から脳に入る信号を伝える神経にはそれぞれ特定の視床の中の核(特殊核)につながり、それぞれの核の軸索を通じて大脳皮質の担当する部位へ信号を伝える。そして外界に対応する地図が形成される。こうした、どのニューロン群がどこにつながり、シナプス(伝達軸索)を作り、情報を伝えてゆくという流れを「投射」と呼ぶ。
l.皮質は視床のニューロンからたくさんの軸索を受け取りつつ、皮質の方からも視床への軸索を伸ばして相互にやり取りしている。その他の脳の構成としては海馬、大脳基底核、小脳などがある。
海馬は主に人の人生を通じて体験した出来事の記憶であるエピソード記憶を蓄える。
小脳は大脳皮質の基底部から突き出たように位置して、運動動作の調整や動作を順につなげて適切な運動を作り出す感覚運動ループを成立させる機能に関与する。
基底核は運動制御や動作を順序立てて継続して行くのにとくに重要な構造である。
基底核は脳の中央に位置し、皮質からの入力を受け、基底核内のいくつかの経路を介した後、情報を再び皮質に戻す。つまり、複数のシナプスを順に連ねたループを形成した多シナプス性のループ回路を形成している。
これは、皮質内の領域同士の結びつきとは全く異なる。つまり、皮質−皮質間や、皮質−視床間で働く、行ったり来たりの双方向性パターンは基底核ではほとんど見られない。
基底核の神経活動のほとんどは、神経伝達物質としてのGABAを使った抑制性のニューロンを通じて抑制したり、時には抑制を抑え興奮させることで、人の身体が慣れにより運動機能を獲得したり、意識しないで学習した能力を行うことができるのも、この基底核の活動に依存している。
m.最後に、もう一つの意識の維持や学習といった脳の活動になくてはならない構造を述べる。これは「価値系」と呼ばれている上行性の神経系で、脳幹や視床下部などに存在する核から、軸索を四方八方に伸ばし、脳の広い範囲に投射している。この脳の広い範囲に拡散して投射することにより、沢山のニューロンが同時にその伝達物質の影響を受ける点である。
この結果、生存に欠かせない統合された学習や記憶や運動の実行をコントロールすることができる。すなわち、脳はいろいろな部位で分業しつつも。多くの領域が複雑に関係し合い、全体として(すなわち複雑系として)結びつき統合化して機能しているのである。
n.ここには脳が最も重要な「意識」と言うプロセスを生み出すベースがある。「意識」とは統合されたままでありながら同時に次々と変化し推移する。意識は通常ひと塊りであり、何かを意識しているとき感覚入力、企画、想像、情動、つかの間の記憶から身体感覚、喜びや悲しみまで流れるように変化してゆく。
o.「意識」をここで基礎的な「原意識」と高度な「高次意識」とに分けて考える。
まず、意識は「現在進行中の知覚」と高度な「記憶」とのダイナミックな相互作用によって生起する。そこには「もの」や「こと」に反応して構成されるシーンが現れる。それが「原意識」である。「原意識」を持つ動物は過去の体験した危険又は良好な記憶を通じて、価値を関係付けて。生存に有利な行動を選択して行く。原意識は動物にとり生命維持のための基本である。
しかし、原意識のみを備えた動物は過去や未来と言う概念及び社会的な存在としての自己を持ち合わせていない。そして意識している自分を意識することもない。それでも何かに意識的に注意を向けたり、行動プランを実行したりはできる。「高次意識」は主に人類がようやく獲得した意識である。ここでは、いろいろな行為やできごとに「意味」を与えるためのまた過去や未来に展開する出来事を論理的に考えるための[しるし]として記号や符号を作り、扱うことができるようになり、そして言語が現れ、新しい知識が増し、意味能力がさらに開拓され、概念が爆発的に発達し、自己、過去、未来の概念が原意識に結びつく。原意識、高次意識、更に社会的、言語的に定義できる自己を備え、さらに、意識している自分を意識できる。そして言語の文脈を形成して、対話を行うことができる。
p.しかしこの最も重要な「意識」は今まで述べたように脳の構成と機能の複雑系の働きの中で生じることが確かであるが、意識自体はまだ解明されていない。ましてや、コンピュータシステムのアプリによって実現することはできない。
そこで、本発明においては、意識を有する利用者と、同じくシステム内の意識を有する(有していた)歴史人との間の対話を実現する手段を提供する。それを以下に説明する。
意識は主観性や一人称の視点にかかわる現象である。そのため、観察と言う観点から見れば、一人称的体験に第三者である観察者と自在にやり取りできる「共通言語」では書かれていない。
しかし、ここで重要な点は「同じ動物種に属している個体」同士の一人称的体験は共通性があることである。すなわち、人間は他人即ち「あなた」であることはどのようなことかを、同じ種である人として推測し、意識できる。
これは、ヒトの脳が持つ能力である。この能力を人と対話エンジンとの間に成立させようとする試みが可能性を持ちうる。すなわち、対話エンジンからの文脈を伴った音声出力が人間の自然な発声のレベルに近づき、時にはエピソード記憶が含まれる時、相手の人間に意識を発生させ、その意識の内部では対話エンジンの話からその話者の意識を自己の脳の機能として推測し、相手としての話者との共通の話題のシーンまで及ぶことまで可能となる。
ここには対話エンジンと利用者とのコミュニケーションの成立する基盤が形成できることになる。
人間の脳は仮想の世界に入ったり、物語の内部で登場人物の思いに共感し、感動できる幅を有する。この人間の特性を利用して、完全な意識それ自体を生み出し得ない対話エンジンの人工知能の限界を超えて対話のループを形成できるのである。
ここに、人工知能である対話エンジンと時空データベース系と人間系からなるユニークな関係は、利用者としての人間に歴史人などの相手の意識を意識させつつ対話を形成させる基盤を与える。
最後に、この対話人工知能と利用者である人間系を脳の働きの面からとらえて今後の発展の可能性を整理しておきたい。
また、図10のL−1では、1.視覚、聴覚、体感等を通じての環境からの環境入力(ダイナミック・コア活動による意識が対象を集中的にとらえて内容を選択し、カテゴリーを把握する)。2.基底核ループは注目・注視等以外にかかわるダイナミックコアの皮質・脳活動を抑制する。3.深い集中ではコア活動に従事している前頭葉や頭頂葉と基底核ループが注目する再入力を活発化し、注意活動の中心となる。
以上の人間の脳内情報活動は今後のシステムの具体化に重要な知見を与える。
図4のレイヤー構造は縦軸に時代軸を持ち、その時代軸に対応する複数のレイヤーに地図座標が対応し、各々の時代の空間の2次元及び3次元(立体)のデータが位置付けられている。移動者(利用者)は、この構造の現代に居ることになる。その自己位置PT1と読み出された現代の地図座標に対応し、各時代のレイヤーの同じ座標の自己位置PT2−−−PTnに移行出来る。(例えば、現在のある街角PT1から江戸時代の同じ街角(PT3)へ。)
それを図4では仮にEとする。EはT3の時代には実在であったが、T1の現代では存在しないが、T3のレイヤーにあるET3の像のデータが表示される(仮想)。
時代T3を選択した場合において、図4のように、利用者の位置を点PT3で示し、歴史上の人物か又は物語上の人物の位置を白抜きにしておく。このポインタ(図2Aでも同じく白抜きポインタで示す)は、歴史上の人物か又は物語上の人物による解説か又は文学表現ナレーションと当時の景色ET3や音楽を同期して再生する。こうして歴史上の登場人物か又は物語上の人物の見たこと感じたことと景色等の間の空間的及び歴史・時間的関係が系統的に示される。
施設、自然、歴史に関するデータベース20は上位階層の施設(総合施設、建物、競技場、公園、景観等)の影像とそれに属する下位階層の内容(総合施設なら商店、建物なら収容物や商品、競技場ならイベント等)である。そして、音声はそれらの説明やバックグラウンド音楽などである。
重要なことは各時代階層の施設、出来事には必ず地図座標が付せられてデータベースのメモリに記憶されていることである。
その読み出しは基本的に移動者の直前から遠方に向かって、移動のスピードと認識時間を勘案し、選別される。例えば、江戸時代のレイヤー上では当時の建築、施設が町並に合わせ読み出される。それと同時に現在のレイヤーから同座標の中央部分を透過させるフィルターを設けることにより、当時の画像を入れ子式に表示しうる。
さらに本発明に従って現在の実像を示す画面の中に歴史上の画面がはめ込まれ入れ子式に表示される(図1又は図2)。別法として、さらに歴史上の画面の中に現在の小画像が挿入される(図3)。
そして利用者の直接捉える現在の近傍風景(下位画像)と対比でき、そこに現在画像に囲まれた歴史画像がすでに述べた入れ子構造で形成できれば、さらに時空を超越した理解と意識の形成は確実なものとなる。
ここには多数の江戸の人々が集まっている(歴史人21、22、23、24、25)。この空間の内部においては、多くの下位画像による風景が併存し、同時に多数の会話が交換されている。
ここにおいて、利用者はこの人々の集まる空間の空隙を選び、仮想的音センサーを画面をタッチして配置する。
そこからは、特許文献5に示す方法により、その場所に対応する環境音を距離と方位を伴って聞くことができる。
この機能を合わせることにより利用者は時空を超越して高度の臨場感を得ることができる。
この時、自身又は自身のエージェントと対応する歴史人は歴史を異にするが、同様な空間に存在し、現在人は歴史空間内の内部で局所的な下位画像を意識しつつ、歴史人との会話を開始することができる。この時、現在人と歴史人はその下位画像からもたらされる同様の景観を同時に意識可能な状態にある関係とを利用している。
これは特許文献3の[0012]に示すところの共通の対象(オブジェクト)を眺めうる光像の分布構造が存在する幾何学的座標範囲にいることを意味する)を活用している。この関係を利用して、現在人と歴史人の間の会話は、まず相互にメッセージ可能なオブジェクトを介して開始できる条件が生まれる。
(a)S1:対話エンジンへの指令がもたらされる(質問の内容のレベルの信号を含む)。
(b)その信号は意識調和選択回路S2へ送られ、質問の内容に依存して選択スイッチにより通常型対話L-2か基礎型対話L-1が選択される。
(c)L1の場合には知識のツリー構造S3をたどることにより単純な短文出力を行う。L−2の場合には、技術の進展に合わせて人間の通常の文脈理解に対応する。
(d)人間意識との調和は図10に示す脳の機能変化を中心としつつ遷移を伴ない進む。
この時、特定領域の内部には人物や種々のオブジェクトが表示されるので、それらのうちから図5に示すサービス、対象選択決定制御回路15を用いて対話の対象を選ぶ。この操作は歴史地図及び年表上においても同様である。
その選ばれた人物、オブジェクトの情報は対話エンジンにより対話の形成準備に入る。
対話エンジンは4次元データベースにアクセスして人物、オブジェクトに関する情報を引き出し、一連の活動により文脈の形成を開始する。
基礎型対話は現在実用化されつつある方式であり、客観的知識構成回路132から内容を選んで出力を構成して進行する。これに対して人間は音声又は画面から入力して、対話を進めることができる。
一方高度のL−2の通常型対話の実行は、情報処理の高度化と同時に人間の意識の流れに調和する機能を持たせる必要がある。
この意識の流れは図10に示すところの人間の脳内情報活動と連携する必要がある。図に示したように、通常型対話L−2のレベルでは、人間は意識的入力により知識を形成し、エピソード記憶に加えて文脈のネットワークに知識や表象を埋め込んでいる。ここに概念が形成され、文脈により知識や記憶が効果的に呼び出される。
対話エンジンの内部の文脈形成回路は人間の場合とは異なるが、同様なメカニズムを持ち、人間の脳内活動のタイミングと調和を形成しつつ、対話出力を進める。
L-2のレベルでは、歴史人の個人に依存する知識やエピソード記憶が加わることで共通体験も意識されて、人間の脳が持つ超越的意識又は無意識に対応させる。
この結果対話は物事の全体を見据えた構造的なものとなり、多様性を持ち、興味深いものとなる。個人の知識やエピソード記憶は個人的アーカイブズと4Dデータベースとの連携した情報交換を活用することもできる。
図12は江戸城を中心とする江戸の町を俯瞰するバードビュー画像(上位画像)である。このバードビュー画像の上部には伊豆半島からの石材の輸送ルートが見える。
このバードビュー画像は都市江戸が17世紀の始めから約30年間の建設努力の中で、石材や木材等の物資を受け入れつつ、港の水域を埋め立てつつ運河網を形成し続けるなど、構造化された企画力と実行力のダイナミズムを表現するタブレット内の上位画像として機能する。この内部にはポインターで示された利用者自身が江戸城の見晴台の石垣の上にいて、現代の大手町の高層ビル群を見つつ、悠長の歴史の流れに意識を合わせている状態である。
その時、タブレットの画面には下位の画像が現在映像の内部の特定領域に江戸の歴史画像を捉えつつあり、江戸の景観に意識が重なり、さらに江戸人との対話が形成される。
これは時空を超越すると同時に、その歴史の展開を動的に表現し得てデバイスの新たな可能性をもたらすことになる。
一実施形態において、本発明は、移動ナビゲーション装置(例:歩行ナビ装置、カーナビ装置など)の画面において、地図を表示する際に、年代目盛を一緒に表示することができる。あるいは、歴史年表の少なくとも一部を画面に表示することができる(この時、歴史年表については、年表全体を表示する必要はなく、歴史年表の中にある年代目盛が少なくとも表示されていればよい)。この年代目盛が、上述した図12に記載の時代目盛と同等の役割を果たすことができる。
一実施形態において、本発明は、移動ナビゲーション装置(例:歩行ナビ装置、カーナビ装置など)の画面において、合成画像を表示する際に、年代目盛を画面に表示することができる。図19は、図3に示したものと同様に、現代画像(光学系からの実像又はデータベースに記憶されていて座標指定により読みだされた実像)の中に上記と同様に歴史画像を挿入した画面構成を示す(逆に、歴史画像の中に現代画像が挿入されてもよい)。ただし、図3との違いとして、右下に、年代目盛(410)とインジケータ(420)が表示されている。
3 ディスプレイ
4 現代画像
5 歴史画像
6 上位画像(バードビュー画像)
7 視座
8 視界
9 時代目盛
10 地図データベース
11 地図画像の読取装置
12 現在画像データ又は映像取得回路
13 アンテナ
14 地図画像または現在画像の表示装置
15 サービス、対象選択決定制御回路
16 画像の切り替えスイッチ
17 施設に関する情報の読み出し及び音声分離装置
18 歴史階層切り替え装置
19 ズームアップ処理装置
20 歴史上の施設等画像に関するデータベース
21 感性情報データベース
22 知識情報データベース
23 音声回路
24 時間判別回路
25 移動ルート属性検出回路
26 利用履歴分析累積メモリ
27 移動ルート判別回路
29 地域判別回路
30 移動ルート属性判別回路
35 クラウドコンピュータ
a カメラ
b 現在画像のフィルタ
c 歴史画像のフィルタ
d 加算器
e 年代情報の抽出器
101 対話エンジンへの指令
102 意識調和選択回路
103 環境ステータス回路
104 対応ステータス回路
120 対話基本制御回路
121 基本価値制御回路(構成部)
122 対応企画路
123 記憶蓄積構成部
124 感性制御回路
125 知識制御回路
126 文脈形成回路
130 データベース系
131 固有レベルデータベース
132 一般レベルデータベース
141 単純文脈配置回路
142 音声出力装置
143 音声入力装置
144 操作入力装置
151 タイミング制御階御
152 音声出力回路
153 音声入力装置
154 光学・操作入力装置
160 人工知能機能形成支援回路
180 人間(脳内情報活動系)
181 人間系(意識の流れと出力系)
210 時代目盛
220 インジケータ
230 現在位置
240 歴史情報
250 ジャンル選択ボタン
260 時代目盛
300 移動ナビゲーション装置
310 GPS
320 ネットワーク回線
330 外部サーバ
340 通信部
350 制御部
360 記憶部
370 表示部
410 時代目盛
420 インジケータ
500 移動ナビゲーション装置
510 GPS
520 ネットワーク回線
530 外部サーバ
540 通信部
550 制御部
560 記憶部
570 表示部
580 撮像部
590 方位センサ
600 ジャイロセンサ
Claims (14)
- 宇宙衛星等から得られた現在位置を利用して、カメラレンズ又はデータベースより得た現在の風景を示す画像データに加え、歴史画像情報データベースより現在位置に対応する画像データを取得し、前記両画像データのうちの一方の画像データから特定領域をフィルタ回路により除去し、得られた画像をディスプレイ画面に表示し、これと並行して、上記特定領域に相当する画像を別のフィルタ回路により取得し、この取得した画像を、前記特定領域に表示することにより、現在の画像に歴史画面を嵌め込んでなる画像、または逆に歴史画像に現在の画像を嵌め込んでなる画像を表示する、歴史及び現在画像を同時に表示する方法であり、
前記方法は、更に以下の(1)〜(3)のうち少なくとも1つの特徴を備える、方法:
(1)前記歴史画面内に、使用者自身又は使用者自身のエージェントが配置されており、前記歴史画面内に存在する特定の歴史人を選ぶことにより、知識情報、感性情報データベース及び・又はクラウドコンピュータデータベースから、オブジェクト及び選択された歴史人の情報を対話エンジンが引き出して、当該情報を音声回路を経て聞くように構成され、前記オブジェクトは、前記使用者自身又は使用者自身のエージェントと、前記選択された歴史人が眺めうる共通の対象である、
(2)前記ディスプレイに時代目盛を設けるとともに、データベースから、前記歴史画像に対応する時代を指し示すように構成され、前記時代目盛を起点として歴史年表が表示されるように構成される、
(3)宇宙衛星等から得られた現在位置を利用して、カメラレンズ又はデータベースより得た画像である下位画像の視座(対象を捉える原点)の位置を内部に含み、又は歴史シナリオの場面を内部に含み、またはそれらの両者を内部に含む平面地図又はバードビュー画像を歴史データベースから取得し又は合成して作成して表示されるように構成される。 - 請求項1に記載の方法であって、前記方法は、前記(2)の特徴を備え、
表示された前記歴史情報には、リンクが挿入されており、
前記リンク先は、静止画、動画、音声、テキスト、検索結果、URL又はこれらの組合せとなっている
方法。 - 請求項1又は2の方法であって、前記方法は、前記(2)の特徴を備え、
前記歴史年表内には、ユーザーと対話可能な歴史人が配置されている、該方法。 - 請求項3の方法であって、前記歴史年表内には、同一人物の歴史人が単数又は複数配置されており、前記複数の配置された同一人物の歴史人は、ライフステージに応じて、特定の年代までの記憶が設定されており、これにより、各ライフステージごとに認知、体験、学習、エピソード記憶、又は人物・時代の固有的記憶を通じ形成された概念、価値観に基づいて対話することが可能となる、方法。
- 請求項1〜4のいずれか1項に記載の方法であって、前記(2)の特徴を備え、前記歴史年表が、場所情報及び年代情報に基づいて、表示され、前記場所情報及び年代情報は、現在の画像に歴史画面を嵌め込んでなる画像、または逆に歴史画像に現在の画像を嵌め込んでなる画像に基づく、方法。
- 請求項1に記載の方法であって、前記方法は、(1)の特徴を備え、前記歴史人は、使用者自身又は使用者自身のエージェントと、対話可能に構成される、方法。
- 請求項6の方法であって、選択された特定の人物の個性を構成する対話エンジンを通して、前記歴史人が対話可能に構成される、方法。
- 請求項1の方法であって、前記方法は、(3)の特徴を備え、
前記歴史及び現在画像が同時に表示された状態から、平面地図又はバードビュー画像が表示された状態への切り替えが、画面を上にして水平にすることに応答して行われる、方法。 - 請求項1又は8の方法であって、前記方法は、(3)の特徴を備え、
前記バードビュー内に、使用者自身又は使用者自身のエージェントが配置され、且つ、前記使用者自身又は使用者自身のエージェントと対話可能な歴史人が配置される、或いは、
移動可能な船舶が使用者の位置情報に基づいて前記バードビュー内に配置される、
方法。 - 請求項3、4、6、7及び9のいずれか1項に記載の方法であって、
前記対話は、対話エンジンによって可能となり、
前記対話エンジンは、質問の内容に依存して選択スイッチにより基礎型対話又は通常型対話を選択されるように構成される、方法。 - 請求項10の方法であって、
前記基礎型対話の場合に、客観的知識構成回路により、対応する時代と空間に関する客観的知識が対話のテーマに対応して選ばれ、
前記通常型対話の場合には、以上に加え、歴史人の個人に依存する知識、感性、思想、価値判断、又はエピソード記憶を踏まえた総合的対話が可能となるように構成される、方法。 - 請求項10又は11の方法であって、
前記対話エンジンは、対話相手の音声入力及び/又は光学・操作入力を受信し、
前記対話エンジンは、タイミング制御を行い、対話相手との対話を進め、
前記対話エンジンは、フィードバックループの循環を経て、対話を進行させる、方法。 - 請求項12の方法であって、
前記対話エンジンは、人工知能機能形成支援回路を備え、
前記人工知能機能形成支援回路は、人間との対話を通じた前記のフィードバックループの情報の流れを記録把握し、対話機能を進化させる、方法。 - 請求項1〜13のいずれか1項に記載の方法を実施するためのソフトウェア。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015159679 | 2015-08-12 | ||
JP2015159679 | 2015-08-12 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017037310A JP2017037310A (ja) | 2017-02-16 |
JP6910629B2 true JP6910629B2 (ja) | 2021-07-28 |
Family
ID=58049494
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016158760A Active JP6910629B2 (ja) | 2015-08-12 | 2016-08-12 | 歴史画像と現在画像の合成及び音声ガイドの表現方法。 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6910629B2 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018220856A1 (ja) * | 2017-06-02 | 2018-12-06 | 秀敏 櫻井 | ストリートビューワーシステム |
JP6979685B2 (ja) * | 2017-12-14 | 2021-12-15 | 国立大学法人電気通信大学 | 時空間情報提示システム及びプログラム |
CN108827328A (zh) * | 2018-04-24 | 2018-11-16 | 联想(北京)有限公司 | 语音交互方法、装置、系统和计算机可读介质 |
JP2018206396A (ja) * | 2018-06-18 | 2018-12-27 | 秀敏 櫻井 | ストリートビューワーシステム |
JP7460145B2 (ja) * | 2019-08-30 | 2024-04-02 | 有限会社ヴェルク・ジャパン | 自動運転車輌用システム |
CN112380338A (zh) * | 2020-11-13 | 2021-02-19 | 言金刚 | 一种基于历史知识库的言历图谱的可视化方法和系统 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003058878A (ja) * | 2001-08-17 | 2003-02-28 | Ricoh Co Ltd | 合成画像形成プログラム |
JP2004145657A (ja) * | 2002-10-24 | 2004-05-20 | Space Tag Inc | バーチャル博物館システム |
JP4689330B2 (ja) * | 2005-04-15 | 2011-05-25 | 学校法人立命館 | 時間軸を含む多次元データの表示システム及びそのプログラム |
JP2008145935A (ja) * | 2006-12-13 | 2008-06-26 | Doshisha | 歴史地図出力装置、歴史地図出力方法、およびプログラム |
JP2011232515A (ja) * | 2010-04-27 | 2011-11-17 | Denso It Laboratory Inc | 地図表示装置、方法及びプログラム |
JP6003226B2 (ja) * | 2012-05-23 | 2016-10-05 | 株式会社デンソー | 車両周囲画像表示制御装置および車両周囲画像表示制御プログラム |
-
2016
- 2016-08-12 JP JP2016158760A patent/JP6910629B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2017037310A (ja) | 2017-02-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6910629B2 (ja) | 歴史画像と現在画像の合成及び音声ガイドの表現方法。 | |
Park et al. | A metaverse: Taxonomy, components, applications, and open challenges | |
JP7002684B2 (ja) | 拡張現実および仮想現実のためのシステムおよび方法 | |
JP2022046670A (ja) | 対話型拡張現実表示を表示するためのシステム、方法、及び媒体 | |
Ehret et al. | Embodied composition in real virtualities: Adolescents’ literacy practices and felt experiences moving with digital, mobile devices in school | |
Thrift | The ‘sentient’city and what it may portend | |
CN107407572A (zh) | 沿路线搜索 | |
KR20200100046A (ko) | 정보 처리 장치, 정보 처리 방법 및 프로그램 | |
CN117178271A (zh) | 从时刻内容项的自动记忆创建和检索 | |
KR102180765B1 (ko) | 구성원 정보를 바탕으로 획득되는 유니크베뉴 제공 방법, 장치 및 프로그램 | |
KR102276308B1 (ko) | 참여자 단말 및 참관자 단말 기반 유니크베뉴 제공 방법, 장치 및 프로그램 | |
Shore | Egocentric and allocentric perspective in cultural models | |
Lanson | The Routledge Companion to Mobile Media Art | |
Psarras | Emotive Terrains: Exploring the emotional geographies of city through walking as art, senses and embodied technologies | |
JP5865708B2 (ja) | 施設、自然、歴史、ルートに関する画像及び音声の再生及びデータの制作方法 | |
Favero | Visual ethnography and emerging digital technologies | |
Kelly | Making the bones sing: The feminist history play, 1976-2010 | |
Douglas | Performing mobilities | |
Dowling | Place-based journalism, aesthetics, and branding | |
KR102276306B1 (ko) | 숙박시설 보유 유무를 기준으로 분류된 유니크베뉴 제공 방법, 장치 및 프로그램 | |
KR102276307B1 (ko) | 시간 정보를 포함하는 유니크베뉴 제공 방법, 장치 및 프로그램 | |
Issevenler | Time and power: The will to temporalize in digital culture | |
Lim et al. | Empathic interaction with a virtual guide | |
Rapatzikou et al. | Locative media and narrative in North American literature and culture | |
Bala et al. | 6 FRAGMENTS OF LAURA & HA-VITA |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190415 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200124 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200310 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200511 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200923 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20201120 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210120 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210608 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210630 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6910629 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |