JP6419410B2 - 音声記録のジオタギング - Google Patents

音声記録のジオタギング Download PDF

Info

Publication number
JP6419410B2
JP6419410B2 JP2012147015A JP2012147015A JP6419410B2 JP 6419410 B2 JP6419410 B2 JP 6419410B2 JP 2012147015 A JP2012147015 A JP 2012147015A JP 2012147015 A JP2012147015 A JP 2012147015A JP 6419410 B2 JP6419410 B2 JP 6419410B2
Authority
JP
Japan
Prior art keywords
location
file
audio
image
recording
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012147015A
Other languages
English (en)
Other versions
JP2013015838A (ja
Inventor
ハワード、オリバー、ヒックマン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
U Blox AG
Original Assignee
U Blox AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by U Blox AG filed Critical U Blox AG
Publication of JP2013015838A publication Critical patent/JP2013015838A/ja
Application granted granted Critical
Publication of JP6419410B2 publication Critical patent/JP6419410B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/68Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/687Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/68Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Television Signal Processing For Recording (AREA)
  • Telephone Function (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本発明は、オーディオ録音について、オーディオ録音が行なわれた1つ以上の場所についての情報を注記として付加することに関する。本発明は、特に、オーディオおよび画像データを単一のファイルにまとめて保存することを可能にするファイルフォーマットに関する。
さまざまなデジタルオーディオフォーマットが存在する。最も一般的かつ広く採用されているフォーマットの1つは、MPEG−1またはMPEG−2 Audio Layer 3規格にもとづく。これは、一般に、このフォーマットに関するファイル名拡張子によって「MP3」と称される。他のオーディオファイルフォーマットとして、Advanced Audio Coding(AAC)、Windows Media Audio(WMA)などの独自規格、およびFree Lossless Audio Codec(FLAC)などの自由に利用できるコーデックなど、他の国際規格が挙げられる。
オーディオコンテンツを説明するために、オーディオファイルにメタデータを与えることが知られている。オーディオファイルは、音楽用として使用されることが多く、オーディオファイルフォーマットに関連付けられるメタデータの多くは、この用途によって影響される。例えば、アーティスト名、トラック番号、トラックタイトル、およびアルバムタイトルなどといった情報のためのメタデータ要素(フィールド、または「タグ」)を提供することが典型的である。
「ID3v2」が、MP3フォーマットおよびいくつかの他のオーディオファイルフォーマットにおいて一般的に使用されているメタデータコンテナのための非公式な規格である。MP3そのものと同様に、ID3v2も広く採用されている。他の種類のオーディオファイルは、別のメタデータフォーマットを使用することができる。例えば、Advanced Systems Format(ASF)を、WMAファイルおよび関連のメタデータのためのコンテナとして使用することができる。
しかしながら、ID3v2などの従来からのメタデータの仕様は、音楽の録音に関して有用なメタデータの記述以外のメタデータの記述をほとんどサポートしていない。特に、音声の録音が行なわれた場所を記述することが、ほとんどまたはまったく規定されていない。
本発明の一態様によれば、オーディオ録音にジオタグを付加する方法であって、
オーディオ録音が行なわれた場所を割り出すステップと、
前記場所の表示を含む画像または該画像を含むファイルへの参照を得るステップと、
前記オーディオ録音と、前記画像または該画像を含む別のファイルへの参照と、を含む単一のファイルを作成するステップと
を含んでおり、
前記場所の表示が、前記場所を含む地図、前記場所を含む航空または衛星写真、ならびに前記場所を特定すべく前記画像に重ねられた文章のうちの少なくとも1つを含む方法が提供される。
前記画像を含むファイルへの参照は、画像のURLなど、画像を取り出すことができるアドレスであってよい。
前記画像を得るステップは、画像を生成するステップを含むことができる。あるいは、画像を本発明の方法の外部で生成し、本発明の方法を実施する装置が、その画像(または、画像への参照)を得てもよい。すなわち、画像を生成する装置と、前記単一のファイルを作成する装置とが、同じ装置であっても、異なる装置であってもよい。
この方法がオーディオの録音と同時に実行される場合には、前記場所を割り出すステップが、場所を確立するためにGPS受信機などの測位システムを使用するステップを含むことができる。あるいは、この方法が事後に(オーディオの録音の後で)実行される場合には、前記場所を割り出すステップが、前もって確立された場所を読み出すステップを含むことができる。例えば、場所を、オーディオを含んでいるファイルのメタデータに提供することができ、あるいは他の方法でオーディオに関連付けることができる。
前記場所を含む航空写真は、好ましくは垂直航空写真であり、すなわち前記場所へとほぼ垂直下方を向いたカメラによって取得された平面図の写真画像である。同じことが、前記場所の衛星写真にも当てはまる。これらの上空からの写真による表現はどちらも、地図と同様、画像を参照することによって(地表の)二次元における地点を一意に特定することができるという特徴を有する。また、地図または航空/衛星写真を参照することによって、録音場所の領域をナビゲートすることも可能である。
地図を、(写真による表現とは対照的に)地理的特徴の象徴的な図式表現として定めることができる。地図および写真による表現を、(例えば、航空写真に道路などの記号を重ねることによって)組み合わせることも可能である。すなわち、単一の画像が写真および地図の両方を含むことが可能である。
好ましくは、地図または写真が、地図または写真上で前記場所の位置を特定するマークを含んでいる。当該領域の俯瞰図におけるマーク(または、記号)は、典型的には、録音場所の表示としてユーザにとってすぐに理解可能である。また、ユーザがその場所への道のりを見つけようと試みる場合の助けとしてもきわめて有用である。
好ましくは、画像がファイルに埋め込まれる。これは、画像ファイルとオーディオ録音とが離れてしまう問題および画像ファイルへのリンクが古くなるという問題の可能性を回避する。
好ましい実施形態によれば、オーディオ録音に録音場所によるジオタグを付加する方法であって、
前記場所の表示を含む画像を生成するステップと、
前記オーディオ録音と前記画像とを含む単一のファイルを作成するステップと
を含んでおり、
前記場所の表示が、前記場所の地図および/または前記場所を特定すべく前記画像に重ねられた文章を含む方法が提供される。
オーディオが録音された場所を保存することは、音楽トラックについては自明には有用でないかもしれないが、多数の用途において有用である。例えば、音声メモまたは口述記録に取得場所を注記することが、多くの用途において望ましいと考えられる。他の種類の場所特有のオーディオとして、科学、保護、または娯楽の目的のための野生生物(例えば、鳥の鳴き声)の音の録音を挙げることができる。
場所を記述するというこの必要性に対応するために、専用または独自のメタデータの形態を開発することが可能であると考えられる。しかしながら、そのようなメタデータは、すでに広く採用されている基準および標準から逸脱し、既存の装置およびソフトウェアとの互換性を欠くことになると考えられる。特定の場所メタデータを理解するようにはプログラムされていないと考えられるこれらの既存のツールが、場所メタデータを単純に無視することが期待できるにとどまる。これは、例えばメタデータが「コメント」用に確保されたテキストフィールドに埋め込まれた場合に生じうる。しかしながら、これは、既存のツールを使用して場所メタデータにアクセスすることが困難かつ直観的でないため、依然として問題を呈すると考えられる。
本発明は、場所メタデータをピクチャに埋め込むことによってこれらの問題を回避する。本発明者らは、オーディオファイルフォーマットが音楽を保存するために従来使用されているため、アルバムアートワークを含むように意図された1つ以上の画像のオーディオファイルへの埋め込みをサポートすることが比較的一般的であることに気が付いた。あるいは、1つ以上のそのような画像へのリンクをオーディオファイルに埋め込むことができる。いずれの場合も、これらのメタデータ要素を、オーディオファイルのジオタグ付けという課題への技術的解決策を提供するために利用することができる(ジオタグは、デジタルメディアアイテムに地理的位置を特定するメタデータを追加することを意味する)。
この技術的解決策は、オーディオファイルを取り扱う装置およびソフトウェアにより、埋め込まれた画像メタデータおよびリンクされた画像が処理される従来からの方法に良好に適合する。例えば、装置が、音楽トラックを再生しているときに表示画面上にアルバムアートワークの画像を表示することが典型的である。同様に、コンピュータのオペレーティングシステムなどのソフトウェアが、ファイルシステムにおいてファイルを表わすためのアイコンとして画像を使用することができる。どちらの場合も、本発明は、録音の場所がユーザへと視覚的に(音楽トラックのアートワークの代わりに)表示されるという効果を有する。このようにして、本発明は、既存の標準、ハードウェア、およびソフトウェアとの後方互換性を有する方法で、便利かつ直観的な場所の表現を提供する。さらに、必要となる追加の努力もわずかである。多くの場合、通常であれば空または未使用のままであるメタデータフィールドが利用される。これは、多くの種類のオーディオ録音において、アルバムアートは入手できず、あるいは重要でないからである。
重ねられる文章は、文字による形態での位置座標、逆ジオコーディングによる所番地、あるいは両方を含むことができる(逆ジオコーディングは、場所の座標を人間にとって理解可能な所番地または地名に変換するプロセスである)。文章を、無地の背景または写真に重ねることができ、あるいは画像が場所の地図を含む場合には、その地図に重ねることができる。このように、この文脈において、文章を「重ねる」とは、画像内に文字を、画像が観察されるときに視認可能であるように描画することを意味する。
画像は、一様または無地の背景に文章が重ねられる第1の部分と、別の地図部分とを含むモザイクであってよい。これは、文章を重ねることによって地図の視覚的特徴が遮られることを回避する。また、文章と背景との間の良好なコントラストを保証することによって、文章の読み易さの向上も可能である。
好ましくは、前記単一のファイルは、デジタルオーディオファイルフォーマットによりフォーマットされている。
適切なオーディオファイルフォーマットの1つのグループは、画像をメタデータの一部として埋め込むことを可能にしているフォーマットである。そのようなファイルフォーマットとして、これらに限られるわけではないが、MP3、AAC、WMA(少なくともASFファイルに含まれるとき)、Audio Interchange File Format(AIFF)、MPEG−4 Audio(M4A)、およびMPEG−4 Audio Book File(M4B)が挙げられる。他のグループは、そのような画像へのリンク(参照)の埋め込みを可能にしているファイルフォーマットを含む。
いくつかのファイルフォーマットは、画像の直接的な埋め込みおよび画像へのリンクの埋め込みの両方をサポートすることができる。例えば、OggコンテナフォーマットにおいてVorbisコーデックとともに使用されるように意図されたVorbisCommentメタデータフォーマットにMETADATA_BLOCK_PICTUREという名称のフィールドを加えることが提案されている。この提案によるフィールドは、ユーザの好みに従って画像のリンクまたは埋め込みを可能にする。
画像を、オーディオファイルフォーマットのうちのメタデータ用に確保された部分に埋め込むことができる。
特に、画像を、メタデータのうちのフロントカバーまたはバックカバーなどのアルバムアートワーク用に確保された部分に埋め込むことができる。適切なメタデータの種類として、とりわけID3v2タグおよびVorbisコメントを挙げることができる。
ファイルが、MP3ファイルであってよく、画像が、ID3v2仕様による「添付ピクチャ」(APIC)フレームに埋め込まれる。
ID3v2仕様は、APICフレームを、オーディオファイルに直接関係したピクチャを収容するものと定義している。したがって、取得の場所の記述を含む画像を埋め込むことは、この非公式な規格に矛盾しない。仕様によれば、APICは、Joint Photographic Experts Group(JPEG)またはPortable Network Graphics(PNG)ファイルとして埋め込まれなければならない。この方法で埋め込まれたJPEGアルバムアートは、例えばMP3再生機のソフトウェアおよびハードウェアにおいて広くサポートされている。
他の実施形態においては、前記単一のファイルが、画像への参照を含むことができる。この場合、参照は、画像を得ることができる(電子)アドレスへのリンクを含むことができる。このリンクは、例えばローカルファイルアドレスまたはインターネット経由で画像を得ることを可能にするURLであってよい。
画像へのリンクだけを埋め込むことは、前記単一のファイルの総サイズが重要な関心事である場合に有益である。実際の画像データを埋め込むことは、ファイルサイズを増加させる傾向にある。
オーディオ録音の録音場所を、ファイルの1つ以上の文字または数字メタデータタグにも記載することができる。
場所を、機械読み取り可能な形態および人間が読み取り可能な視覚的形態で提示することが好ましい。さらに場所を文字または数字のフィールドにも記載することで、これが達成される。例えば、記載は、所番地、地名、あるいは緯度および経度または地図上の格子の参照などの地理的座標を含むことができる。
ファイルが、MP3ファイルであってよく、場所を、ID3v2仕様によるUnique File Identifierフレームに記載することができる。
ID3v2仕様において公表されている「Unique File Identifier」(UFID)フレームは、2つの部分、すなわちUniform Resource Locator(URL)を含む文字列である「Owner Identifier」および最大64バイトのバイナリデータであってよい実際の「Identifier」を提供する。Owner Identifierが、データベースを管理する組織を特定する。Identifierが地理的場所の座標を含む場合、Owner Identifierがラベルとして機能でき、オーディオファイルを処理する装置またはソフトウェアプログラムがIdentifierを正しく解釈する(あるいは、正しく解釈するための方法を発見する)ことを可能にする。
画像を、JPEGファイルとして提供することができ、オーディオ録音の録音場所が、好ましくはJPEGファイルの1つ以上のEXIFメタデータタグに記載される。
Exchangeable Image File Format(EXIF)は、メタデータをJPEG画像に埋め込む方法を定義し、場所情報のための標準タグを提供する。これは、JPEGがオーディオファイルに埋め込まれるため、場所情報を標準化された機械読み取り可能な形態(画像においてユーザにとっても視認可能である)でオーディオファイルにもたらすことを可能にする。慣例的に、EXIFメタデータは、写真を撮影したカメラの場所を記載することが予定されている。しかしながら、この例では、EXIFメタデータが、オーディオ録音の録音場所である地図または写真に示された現場における場所を記載するために使用される。この場合に、これは、通常は(航空または衛星写真の場合の)写真の撮影場所とは異なる。
録音の場所が、録音の進行中に変化してもよく、前記場所の表示が、複数の不連続な場所、場所範囲、または軌跡のうちの少なくとも1つを記載することができる。
例えば、場所の表示が、オーディオを録音した装置が訪れた複数の特定の地点を示すことができる。それらの地点を、地図上のマークすることができ、および/または画像上に重ねられる文字にて列挙することができる。上述の地点は、オーディオ録音の開始時および終了時の装置の場所に対応する少なくとも始点および終点を好ましくは含む。変化する録音場所の表示を、代表地点の座標ならびにその地点を中心とする変動の範囲によって記載することも可能である。代表地点は、訪れた場所の範囲の平均位置または中心位置であってよく、あるいは始点または終点であってよい。同様に、画像が、録音装置が録音を行ないつつ辿った軌跡の表示を含んでもよい。これを、辿った経路を描く地図上の線(直線または曲線)によって表示することができる。
本発明の別の態様によれば、オーディオ録音に録音場所によるジオタグを付加する方法であって、
オーディオ録音を含むデジタルオーディオファイルを作成するステップと、
前記場所を前記デジタルオーディオファイルの1つ以上のメタデータタグに記載するステップと
を含んでおり、
前記オーディオファイルが、MP3ファイルであり、前記場所が、ID3v2仕様によるUnique File Identifierフレームに記載される方法が提供される。
使用可能な種々のメタデータ要素のうちで、場所情報を保存するためにUnique File Identifierを使用することは、すでに上述したようにきわめて有利である。
さらに、コンピュータ上で実行されたときに先行のいずれかの請求項のすべてのステップを実行するように適合されたコンピュータプログラムコード手段を含んでいるコンピュータプログラムが提供され、そのようなコンピュータプログラムは、コンピュータ読み取り可能な媒体上に具現化される。
本発明のさらなる態様によれば、オーディオ録音と、画像または画像を含む別途のファイルへの参照と、を含むデジタルオーディオファイルであって、前記画像が、前記オーディオ録音が行なわれた場所を含む地図、該場所を含む航空または衛星写真、および該場所を特定すべく前記画像に重ねられた文章のうちの少なくとも1つを含んでいるデジタルオーディオファイルが提供される。
好ましい実施形態によれば、オーディオ録音と画像とを含むデジタルオーディオファイルであって、前記画像が、前記オーディオ録音が行なわれた場所を示す地図および/またはこの場所を特定する図式的な文章を含んでいるデジタルオーディオファイルが提供される。
文章が、例えば単に画像のメタデータにおける文字表現を使用する場合と異なり、画像上に図式的(および視覚的)に表わされる。
本発明の別の態様によれば、オーディオ録音と少なくとも1つのメタデータタグとを含むデジタルオーディオファイルであって、前記タグが、前記オーディオ録音が行なわれた場所を記載しており、前記オーディオファイルが、MP3ファイルであり、前記場所が、ID3v2仕様によるUnique File Identifierフレームに記載されているデジタルオーディオファイルが提供される。
好ましくは、これらのオーディオファイルは、揮発性または不揮発性メモリ回路、CDまたはDVDなどの光ディスク、あるいはハードディスクまたはテープなどの磁気記憶媒体など(ただし、これらに限られるわけではない)のコンピュータ読み取り可能な媒体上に具現化される。
本発明のさらに別の態様によれば、オーディオ録音にジオタグを付加するための装置であって、
オーディオ録音を保存するためのメモリと、
前記オーディオ録音が行なわれた場所を割り出し、
該場所を示す画像または該画像を含むファイルへの参照を得、
前記オーディオ録音と、前記画像または該画像を含む別途のファイルへの参照と、を含む単一のファイルを前記メモリに作成する
ように適合されたプロセッサと
を備えており、
前記画像が、前記場所を含む地図、前記場所を含む航空または衛星写真、ならびに前記場所を特定すべく前記画像に重ねられた文章のうちの少なくとも1つによって前記場所を示している装置が提供される。
本発明のさらに別の態様は、オーディオ録音にジオタグを付加するための装置であって、
オーディオ録音を保存するためのメモリと、
前記オーディオ録音が行なわれた場所を割り出し、
前記オーディオ録音と、前記場所を記載する1つ以上のメタデータタグと、を含むデジタルオーディオファイルを前記メモリに作成する
ように適合されたプロセッサと
を備えており、
前記オーディオファイルが、MP3ファイルであり、前記場所が、ID3v2仕様によるUnique File Identifierフレームに記載される装置を提供する。
次に、本発明を、添付の図面を参照してあくまでも例として説明する。
場所を示す画像が埋め込まれている本発明の実施形態によるオーディオファイルの構造の一例を示している。 本発明の実施形態に従って動作するように構成された一群のハードウェア装置のブロック図を示している。 第2の実施形態に従って動作するように適合されたスマートフォンのブロック図である。 一実施形態による方法のフロー図である。 本発明の実施形態によるファイルを再生しているときのメディア再生機のユーザインターフェイスを示している。 比較例によるオーディオ録音を再生しているときの同じメディア再生機のユーザインターフェイスを示している。
本発明者らは、録音場所を特定または示す情報を視覚的な形態でデジタルオーディオファイルに埋め込むことが可能であること、すなわち視覚的なメタデータを使用してオーディオファイルにジオタグを付加することが可能であることを認識した。これにより、場所情報をユーザへと容易に提示できるほか、デジタルオーディオを楽しむために使用されている多数の既存のハードウェア装置およびソフトウェアプログラムとの後方互換性も提供することができる。
図1が、場所の視覚的な表示をオーディオファイルに埋め込むときに使用することができる、本発明の好ましい実施形態によるファイル構造を示している。デジタルオーディオファイル1が、広く採用されているMP3フォーマットで提供されている。ファイル1は、MP3規格に従ってエンコードされた不可逆圧縮によるオーディオ4を含んでいる。ID3v2タグ2が、オーディオファイル1の先頭に含まれている。これらのタグは、JPEG画像ファイル6を収容する少なくとも1つの添付ピクチャ(APIC)フレーム5を含んでいる。JPEGファイル6の中に、圧縮された画像データ8およびEXIFタグ7が存在する。さらに、ID3v2メタデータは、1つ以上のUFIDタグおよび任意の他のタグ(「UFID」の下方に並んだ空白の箇条書きの点によって示されているとおり)を含む。
図1の例において、ID3v2メタデータが、ファイルの先頭に位置することに留意されたい。これは、(例えば、ストリーミングの用途において)好ましいものの、必須ではない。代案として、ID3v2メタデータをファイルの終わりに付け加えることが可能である。
画像8の内容が、2つの方法でMP3オーディオデータの録音の場所を視覚的に示す。第1に、録音場所が地図上にマークされる。点、星印、または十字、あるいは地図上の場所を指す矢印など、任意の好都合なマーキングの形態を使用することができる。第2に、画像内に説明文が提供される。説明文は、上書きによる文章として描画することができ、好ましくは画像の別の部分(例えば、地図の画像の上方または下方の無地の背景の領域)に備えられる。これは、地図および説明文の両方が容易に判読可能であり、互いに干渉することがないことを保証するうえで役に立つ。説明文を、録音場所の地理的座標(緯度および経度)、録音場所の郵便の宛て先または地名、あるいは両方で構成することができる。
オーディオファイル1がソフトウェアまたはハードウェアによって処理されるとき、ID3v2メタデータから画像8をデコードし、表示することができる。例えば、従来からのメディア再生機が、オーディオ録音を再生しながら画像を表示(音楽トラックについてアルバムアートを表示するのと同じ方法で)することができる。画像8を、コンピュータのオペレーティングシステムのファイル管理ソフトウェアによって、オーディオファイル1のファイルアイコンとして表示してもよい。これは、グラフィカルユーザインターフェイス(GUI)にて、ユーザへの録音場所の便利かつ容易に理解できる提示を可能にする。
加えて、場所が、メタデータの他の場所に機械読み取り可能な形態でエンコードされる。この例では、場所が、JPEGファイル6のEXIF部分7の地理的場所タグへと書き込まれる。座標は、ID3v2タグのUnique File Identifierフレーム(UFID)の識別子としても使用される。UFIDのOwner Identifier部分が、識別子の座標情報を解釈することができるデータベースへのリンクを含んでいる。位置情報を機械読み取り可能な形態でも提供することによって、位置にもとづくさらなる自動処理が可能にされる。
図2が、本発明の実施形態による装置の構成のブロック図である。デジタルディクタフォンなどのオーディオ録音装置10が、現場においてユーザによって携行される。別途の(外部の)GPS受信装置20も、ユーザによって携行される。ユーザが音声メモを口述するとき、オーディオ録音装置が、エンコードされたオーディオコンテンツを含むMP3ファイルを生成し、録音の時刻を注記として付け加える。この注記を、オーディオファイルの作成日時によって与えてもよいし、日時をオーディオファイルのメタデータに埋め込んでもよいし、あるいは両方でもよい。
一方で、オーディオ録音装置10に接続されていないGPS受信機20が、ユーザの訪れた場所についてのログを保持する。GPS装置20がGPS衛星から信号を定期的に受信し、受信した信号を処理して測位(position fix)を得ることによって、これを行う。各々の測位に、受信機20がその位置にあったときの時刻が注記として付加される。結果が、不連続な位置および関連のタイムスタンプからなるログである。
後に、ユーザがオーディオ録音装置10およびGPS受信機20の両方をパーソナルコンピュータ30へと接続する。オーディオファイルが、オーディオ録音装置10によってコンピュータのメモリ32へとアップロードされ、GPS追跡ログが、GPS受信機20によってメモリ32へとアップロードされる。コンピュータのプロセッサ34が、オーディオ録音のタイムスタンプをGPS追跡ログのタイムスタンプと比較することによって、オーディオファイルの録音の場所を割り出すようにプログラムされている。測位の空間的および/または時間的な間隔が大きい場合には、GPS測位の間の補間を使用することができる。これに類似した方法が、デジタル写真のジオタグ付けの当技術分野において公知であることに、留意されたい。当業者であれば、これらの方法を本発明によるオーディオファイルのジオタグ付けに適合させうることを、理解できるであろう。
ひとたびオーディオファイルの録音場所が確立されると、コンピュータ30が、その場所を示す地図を生成するように制御される。適切な画像を、内部に(コンピュータのメモリ32に)保存された地図データベースのデータを使用して合成でき、あるいはコンピュータ30が、遠隔/外部のプロバイダからの地図画像を要求してもよい。具体的な地理的場所の座標にもとづいて地図画像を生成または取得する方法は、当業者にとってよく知られている。さらに、コンピュータ30は、場所の説明を、画像の別の部分に重ねられる文章として描画する。例えば、キャプションバーを地図の上方または下方に付け加えることができる。描画される文章による場所の説明として、位置座標、逆ジオコーディングによる住所または地名、あるいは両方を含むことができる。
上述した第1の実施形態においては、GPS受信機20は、完全に機能するリアルタイムGPS受信機である。すなわち、リアルタイムでGPS信号を受信および処理し、測位(例えば、緯度および経度の座標)を生成するように適合されている。GPS信号を受信し、受信したGPS信号をサンプリングしてGPS信号サンプルを生成し、これらのサンプルを後の処理のためにローカルに保存するGPS受信機を提供することも、当技術分野において公知である。「保存および事後処理(store and process late)」または「キャプチャおよび処理(capture and process)」の受信機として知られるこの形式の受信機は、リアルタイムGPS受信機と比べ、電池がより長持ちし、コストがより低く、より複雑でないという利点を有することができる。これは、キャプチャおよび処理の受信機は、個々の衛星信号を検出し、これらの衛星までの疑似距離を計算し、これらの疑似距離を三辺測量の計算を使用して処理して測位を生成するために必要な、演算に関して負荷が多大である処理を、実行する必要がないためである。
図2に示した本発明の実施形態は、GPS受信機20がキャプチャおよび処理のGPS受信機である場合にも等しく適用可能である。この場合、コンピュータ30のプロセッサ34が、保存されたGPS信号サンプルがGPS受信機からアップロードされた後で、このGPS信号サンプルの最終的な処理を実行する。すなわち、GPS信号サンプルおよび関連のタイムスタンプの組に代えて、GPS追跡ログが存在する。出来事の場所を割り出すための方法であって、キャプチャおよび処理のGPS受信機における使用に適した方法が、米国特許第7,659,848号に記載されていることに留意されたい。今や当業者であれば、この方法を、オーディオ録音がなされた場所を割り出すために、本発明の実施形態において使用できることを、理解できるであろう。
図3が、本発明の別の実施形態の実行に適したスマートフォン100のブロック図を示している。この実施形態と図2の実施形態との間の主たる相違は、スマートフォン100においてはすべての構成要素が装置に一体化されている点である。次に、この実施形態を、図3ならびにこの実施形態による方法を示している図4のフロー図を参照して説明する。
オーディオ録音ユニット110が、マイクロプロセッサ134の制御のもとでオーディオ信号の録音を実行する(ステップ210)。録音されたオーディオは、メモリ132内のファイルに保存される(ステップ215)。また、オーディオ録音装置110の作動により、スマートフォン100の現在位置を割り出す(ステップ220)ために、GPS受信機120の動作も生じる。GPS受信機120によって割り出された位置にもとづき、マイクロプロセッサ134が、遠隔の地図データベースサーバ(図示されていない)への要求を行なうように無線通信インターフェイス140を制御する。これらに限られるわけではないが、無線LAN接続、GPRSまたは3Gモバイルインターネット接続などの携帯電話データ接続、など、任意の適切な無線通信リンクを使用することができる。
地図画像が、地図データベースサーバから取得される(ステップ230)。スマートフォン100のプロセッサ134が、場所の座標を画像上の図式的な文字として描画することによって、視覚的な注記を付加する。随意により、プロセッサ134は、逆ジオコーディングサービスに連絡するように無線通信インターフェイス140を制御することができる。これは、場所の座標を地名または住所に変換することを可能にする。この文字による情報を、画像上に図式的に描画することも可能である。ひとたびスマートフォン100によって注記入りの地図が生成および取得(ステップ230)されたならば、これがオーディオファイル1に付加され、メモリ132に保存される。オーディオファイル1への地図の埋め込み(ステップ240)は、図1に関して上述したとおりである。
本発明の他の実施形態において、各々のオーディオファイルについて2つ以上の場所を保存することが可能であることに、留意されたい。これは、例えばオーディオ録音を行なったユーザが、録音を行ないながら移動していた場合に適切である可能性がある。この場合、オーディオファイルが、単にただ1つの唯一の場所に関連付けられるだけではない。むしろ、ユーザの移動の軌跡が取得の場所を描写する。これを、さまざまな方法で画像8に表わすことができる。録音の進行中にGPS受信機20または120によって測定されたいくつかの不連続な位置を、地図上にマークすることができ、および/または、図式的な説明文に列挙することができる。あるいは、地図上に描かれる線を、ユーザが辿った実際の経路を表わすために使用することができる。他の技術的解決策は、録音の開始時および終了時の装置の推定位置だけを示すことであってよい。これに代え、あるいはこれに加えて、複数の位置を、座標の数値範囲へと変換することもできる。同様に、この範囲を示すために、文字による注記を選択することができる(例えば、すべてが同じ都市に位置する一式の位置または場所の範囲を、その都市の名称によって注記できる)。
複数の場所に関係したオーディオ録音の1つの現実的な例は、ガイド付き旅行である。解説のオーディオ録音を、解説の各々の部分に関係する場所に関連付けることが望ましいと考えられる。例えば、バス旅行においては、通常は観光ガイドがバスが通過する種々の場所を紹介する。旅行全体を、訪れた各々の場所についての位置情報とともに録音することが有利であると考えられる。後に、タイムスタンプを比較することによって、位置を録音の該当部分に照らし合わせることができる。
図5および6が、本発明の実施形態の有用性を示している。図5が、一実施形態にしたがってフォーマットされたオーディオファイル1を再生しているときのマルチメディア再生機300のグラフィカルユーザインターフェイス(GUI)を示している。このGIUを、例えば上述のスマートフォン100の表示装置150またはパーソナルコンピュータの視覚表示ユニット(VDU)に表示することができる。メディア再生ソフトウェアが、ファイル1に埋め込まれた画像を読み取り、画面上に表示する。これは、従来からの音楽トラックについてアルバムカバーを表示する方法と同じ方法で行なわれる。実際、メディア再生機300は、表示される画像がアルバムアートの一部でないことに気付く必要すらない。画像は、オーディオ録音が行なわれた場所を示す地図8aを含む。実際の場所が、地図8aの下辺に位置する字幕バー8bにおいて重ね書きの文字にて画像上に表示されている。さらに、この具体的な場所が、場所をマークする星形の記号8cによって地図上に示されている。画像8にオーディオ録音を提供することによって、メディア再生機の変更を必要とすることなく、メディア再生機300は、オーディオ録音が行なわれた場所をユーザに示すことができる。これは、例えばオーディオ録音が場所特有の観測に関係する場合にきわめて有用である。そのような種類の観測の1つは、ストリートファーニチャなどといった(不動の)物体または装置の検査の際に録音される音声メモであってよい。その場合、(例えば、修理または再検査のために)同じ場所へと確実かつ容易に移動できることがきわめて望まれる。これが、図5の実施形態によって達成される。
対照的に、図6は、オーディオファイルに画像が提供されていない(あるいは、オーディオファイルに画像がリンクされていない)比較例を示している。ここでは、メディア再生機300が、追加の情報をユーザに伝えることがない汎用のアイコンを表示している。
本発明を、図面および以上の説明において詳しく図示および説明したが、そのような図示および説明は、例示または典型であって、本発明を限定するものではないと理解されるべきであり、本発明は開示された実施形態に限られない。
特に、本発明は、典型的な実施形態において使用される特定の標準的なフォーマットの使用に限定されない。これは、デジタルオーディオファイルのフォーマット(不可逆または可逆のどちらの圧縮が使用されてもよく、あるいはどちらの圧縮も使用されなくてもよい)、メタデータのフォーマット、およびオーディオファイルに埋め込まれる画像のフォーマットを含む。相互運用性の促進のために、公式または非公式に標準化され、あるいは一般的に使用されているフォーマットを採用することが好ましい。当業者であれば、さまざまな種類のメタデータがさまざまな種類のオーディオファイルにおける使用に適し、および/またはさまざまな種類のオーディオファイルにおける使用を意図されていることを、理解できるであろう。他の装置およびソフトウェアプログラムとの可能な限り幅広い相互運用性を保証するために、そのような意図された組み合わせを使用することが好ましいであろう。
それでもなお、一般に、画像を任意の所望の方法でオーディオ録音と同じファイルに埋め込むことができる。
図2の実施形態においては、GPS受信機20が、オーディオ録音装置10とは別の装置として示されている。当然ながら、別の同様の実施形態においては、GPS受信機20およびオーディオ録音装置10を、1つの製品に一体化させることができる。
本発明の実施形態を、物理的に別々の電子装置および/または演算装置を使用して、分散形式で実現することができる。例えば、オーディオ録音装置およびGPS受信機が、録音が行なわれた場所を記述する場所メタデータが埋め込まれたデジタルオーディオファイルを作成するために協働することができる。このメタデータを、適切な文字または数字フィールド(すでに上述したID3v2タグ「UFID」など)を使用してオーディオファイルに挿入することができる。次いで、デジタルオーディオファイルを、サーバコンピュータであってよいコンピュータなどの別の装置へともたらすことができる。サーバコンピュータを、UFIDタグを分析し、場所の座標を読み取り、その場所を図式的に示す適切な画像を生成するように構成することができる。この画像を、サーバによってオーディオファイルに埋め込むことができる。あるいは、サーバが、画像へのリンクを埋め込んでもよい。別の代案として、オーディオファイルおよび画像を、別々のファイルとしてクライアント装置(図3のスマートフォン100と同様の)へと返してもよい。次いで、スマートフォンが、好みに応じて画像をオーディオファイルに埋め込むか、あるいは画像へのリンクをオーディオファイルに埋め込むことができる。これらの例においては、本発明の実施形態による方法が、協働するさまざまな装置によって実行される。
当業者であれば、請求される発明を実行するにあたり、開示した実施形態の他の変種を、図面、明細書、および添付の特許請求の範囲の検討から理解および達成することができる。特許請求の範囲において、用語「・・・を含む(comprising)」は、他の構成要素または工程の存在を排除するものではなく、不定冠詞「a」または「an」は、複数であることを排除するものではない。ただ1つのプロセッサまたは他のユニットが、特許請求の範囲に記載されるいくつかの項目の機能を実行することができる。たとえ特定の手段が互いに別々の従属請求項に記載されていても、それらの手段の組み合わせを有利に使用することができないという意味ではない。コンピュータプログラムを、他のハードウェアと一緒に供給され、あるいは他のハードウェアの一部として供給される光学記憶媒体または半導体媒体などの適切な媒体上に保存/分配することができるが、インターネットあるいは他の有線または無線の電気通信システムなどを介して他の形態で流通させてもよい。特許請求の範囲におけるいかなる参照符号も、範囲を限定するものとして解釈してはならない。

Claims (9)

  1. オーディオ録音にジオタグする方法であって、
    オーディオ録音が行なわれた場所を決定するステップ(220)と、
    前記場所の表示を含む画像を得るステップ(230)と、
    前記オーディオ録音(4)と、前記画像(8)と、を含む単一のファイル(1)を作成するステップ(215、240)と、
    を含んでおり、
    前記場所の表示が、前記場所を含む地図(8a)、前記場所を含む航空または衛星写真、ならびに前記場所を特定すべく前記画像に重ねられたテキスト(8b)のうちの少なくとも1つを含み、
    ここにおいて、
    前記ファイル(1)が、MP3ファイルであり、
    前記画像(8)が、ID3v2仕様による添付ピクチャフレームに埋め込ま
    前記オーディオ録音が行なわれた場所が、ID3v2仕様によるUnique File Identifierフレームに記載される、
    方法。
  2. 前記場所の表示が、前記場所を含む地図(8a)あるいは航空または衛星写真を含んでおり、
    該地図または写真が、該地図または写真上で前記場所の位置を特定するマーク(8c)を含んでいる、請求項1に記載の方法。
  3. 前記画像(8)が、JPEGファイル(6)として提供され、
    前記オーディオ録音が行なわれた場所が、該JPEGファイル(6)の1つ以上のEXIFメタデータタグ(7)にも記載される、請求項1〜のいずれか一項に記載の方法。
  4. 録音の場所が、録音の進行中に変化しており、
    前記場所の表示が、複数の不連続な場所、場所範囲、または軌跡のうちの少なくとも1つを記載する、請求項1〜のいずれか一項に記載の方法。
  5. オーディオ録音に、録音場所をジオタグする方法であって、
    オーディオ録音を含むデジタルオーディオファイルを作成するステップと、
    前記デジタルオーディオファイルの1つ以上のメタデータタグに前記場所を記載するステップと、
    を含んでおり、
    前記オーディオファイルが、MP3ファイルであり、
    前記場所が、ID3v2仕様によるUnique File Identifierフレームに記載される、方法。
  6. コンピュータ上で実行されたときに請求項1〜5のいずれか一項に記載のすべてのステップを実行するように構成されたコンピュータプログラムコードを含んでいる、コンピュータプログラム。
  7. 請求項に記載のコンピュータプログラムを格納したコンピュータ読み取り可能な記憶媒体。
  8. オーディオ録音にジオタグするための装置であって、
    オーディオ録音を保存するためのメモリ(32、132)と、
    プロセッサ(34、134)と、を備えており、
    前記プロセッサ(34、134)は、
    前記オーディオ録音が行なわれた場所を決定し、
    該場所を示す画像(8)を得、
    前記オーディオ録音(4)と、前記画像(8)と、を含む単一のファイル(1)を前記メモリ(32、132)に作成する
    ように構成され、
    前記画像が、前記場所を含む地図(8a)、前記場所を含む航空または衛星写真、ならびに前記場所を特定すべく前記画像に重ねられた文章(8b)のうちの少なくとも1つによって前記場所を示しており、
    ここにおいて、
    前記ファイル(1)が、MP3ファイルであり、
    前記画像(8)が、ID3v2仕様による添付ピクチャフレームに埋め込ま
    前記オーディオ録音が行なわれた場所が、ID3v2仕様によるUnique File Identifierフレームに記載される、
    装置。
  9. オーディオ録音にジオタグするための装置であって、
    オーディオ録音を保存するためのメモリ(32、132)と、
    プロセッサ(34、134)と、を備えており、
    前記プロセッサ(34、134)は、
    前記オーディオ録音が行なわれた場所を決定し、
    前記オーディオ録音(4)と、前記場所を記載する1つ以上のメタデータタグ(2)と、を含むデジタルオーディオファイル(1)を前記メモリに作成する
    ように構成され、
    前記オーディオファイルが、MP3ファイルであり、
    前記場所が、ID3v2仕様によるUnique File Identifierフレームに記載される、装置。
JP2012147015A 2011-06-30 2012-06-29 音声記録のジオタギング Active JP6419410B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP11172258.3A EP2541438B1 (en) 2011-06-30 2011-06-30 Geotagging of audio recordings
EP11172258.3 2011-06-30

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2018129440A Division JP2018197865A (ja) 2011-06-30 2018-07-06 音声記録のジオタギング

Publications (2)

Publication Number Publication Date
JP2013015838A JP2013015838A (ja) 2013-01-24
JP6419410B2 true JP6419410B2 (ja) 2018-11-07

Family

ID=44484093

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2012147015A Active JP6419410B2 (ja) 2011-06-30 2012-06-29 音声記録のジオタギング
JP2018129440A Pending JP2018197865A (ja) 2011-06-30 2018-07-06 音声記録のジオタギング

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2018129440A Pending JP2018197865A (ja) 2011-06-30 2018-07-06 音声記録のジオタギング

Country Status (4)

Country Link
US (1) US8923547B2 (ja)
EP (1) EP2541438B1 (ja)
JP (2) JP6419410B2 (ja)
CN (1) CN102890699B (ja)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201117441D0 (en) 2011-10-10 2011-11-23 Skype Ltd Populating user data
JP2013089130A (ja) * 2011-10-20 2013-05-13 Sony Corp 情報処理装置、情報処理方法、プログラム、及び記録媒体
US8843316B2 (en) * 2012-01-09 2014-09-23 Blackberry Limited Method to geo-tag streaming music
US9200919B2 (en) * 2012-06-05 2015-12-01 Apple Inc. Method, system and apparatus for selectively obtaining map image data according to virtual camera velocity
US8526677B1 (en) * 2012-07-16 2013-09-03 Google Inc. Stereoscopic camera with haptic feedback for object and location detection
CN103400592A (zh) * 2013-07-30 2013-11-20 北京小米科技有限责任公司 录音方法、播放方法、装置、终端及系统
CN104751868B (zh) * 2013-12-31 2018-12-11 海能达通信股份有限公司 语音录制方法、通话录音回放方法以及相关装置和系统
US9830359B2 (en) * 2013-12-31 2017-11-28 Cellco Partnership Marking and searching mobile content by location
WO2015100587A1 (zh) * 2013-12-31 2015-07-09 海能达通信股份有限公司 语音录制方法、通话录音回放方法以及相关装置和系统
US20170243159A1 (en) * 2014-03-05 2017-08-24 Co Vouch, Llc Tracking Systems And Methods For Commodities
US9396354B1 (en) 2014-05-28 2016-07-19 Snapchat, Inc. Apparatus and method for automated privacy protection in distributed images
US9113301B1 (en) 2014-06-13 2015-08-18 Snapchat, Inc. Geo-location based event gallery
US10824654B2 (en) 2014-09-18 2020-11-03 Snap Inc. Geolocation-based pictographs
CN105894755A (zh) * 2014-11-13 2016-08-24 支录奎 一种基于报警信号叠加地理信息的研究
US10311916B2 (en) 2014-12-19 2019-06-04 Snap Inc. Gallery of videos set to an audio time line
US9385983B1 (en) 2014-12-19 2016-07-05 Snapchat, Inc. Gallery of messages from individuals with a shared interest
US10616239B2 (en) 2015-03-18 2020-04-07 Snap Inc. Geo-fence authorization provisioning
US10135949B1 (en) 2015-05-05 2018-11-20 Snap Inc. Systems and methods for story and sub-story navigation
US10354425B2 (en) 2015-12-18 2019-07-16 Snap Inc. Method and system for providing context relevant media augmentation
US10489103B1 (en) 2016-11-15 2019-11-26 Philip A Gruebele Wearable audio recorder and retrieval software applications
CN106844631A (zh) * 2017-01-20 2017-06-13 深圳天珑无线科技有限公司 数字媒体结合定位打卡信息的移动设备及方法
US10582277B2 (en) * 2017-03-27 2020-03-03 Snap Inc. Generating a stitched data stream
US10581782B2 (en) * 2017-03-27 2020-03-03 Snap Inc. Generating a stitched data stream
SE542269C2 (en) * 2017-12-21 2020-03-31 Telia Co Ab Methods and apparatuses for determining meta data related to media content
US10984123B2 (en) 2018-12-10 2021-04-20 International Business Machines Corporation On-line transmission and control of geographic declaration data
CN109769213B (zh) * 2019-01-25 2022-01-14 努比亚技术有限公司 用户行为轨迹记录的方法、移动终端及计算机存储介质

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6282362B1 (en) * 1995-11-07 2001-08-28 Trimble Navigation Limited Geographical position/image digital recording and display system
JPH11248478A (ja) * 1998-03-02 1999-09-17 Mitsumi Electric Co Ltd 位置認識装置
US7188186B1 (en) * 1999-09-03 2007-03-06 Meyer Thomas W Process of and system for seamlessly embedding executable program code into media file formats such as MP3 and the like for execution by digital media player and viewing systems
JP2001292389A (ja) * 2000-04-07 2001-10-19 Kenwood Corp コンテンツ処理装置、コンテンツ処理方法及び記録媒体
JP3752159B2 (ja) * 2001-05-11 2006-03-08 株式会社デンソー 情報記録装置
JP2005176118A (ja) * 2003-12-12 2005-06-30 Canon Inc 撮影記録表示装置
EP1706828A1 (en) * 2004-01-09 2006-10-04 Koninklijke Philips Electronics N.V. Method of automatically including context related links
JP4873846B2 (ja) * 2004-10-05 2012-02-08 ソニー株式会社 入力装置
US8018573B2 (en) * 2005-02-22 2011-09-13 Asml Netherlands B.V. Lithographic apparatus and device manufacturing method
JP2007166084A (ja) * 2005-12-12 2007-06-28 Olympus Imaging Corp カメラ及びカメラの表示方法
CN100502483C (zh) * 2006-01-19 2009-06-17 北京维多美雅数字传媒技术有限公司 自制和分享视频贺卡的方法与设备
US9865240B2 (en) * 2006-12-29 2018-01-09 Harman International Industries, Incorporated Command interface for generating personalized audio content
US7659848B2 (en) 2008-04-29 2010-02-09 Geotate B.V. Event location determination
TWI416928B (zh) * 2009-01-21 2013-11-21 Htc Corp 管理與顯示行動裝置影像及關聯地理位置資料的方法、系統及裝置
US20110009159A1 (en) 2009-07-10 2011-01-13 Hrvoje Muzina Method for capturing files with a portable electronic device

Also Published As

Publication number Publication date
CN102890699B (zh) 2018-08-03
CN102890699A (zh) 2013-01-23
US8923547B2 (en) 2014-12-30
EP2541438A1 (en) 2013-01-02
US20130004014A1 (en) 2013-01-03
EP2541438B1 (en) 2018-11-07
JP2013015838A (ja) 2013-01-24
JP2018197865A (ja) 2018-12-13

Similar Documents

Publication Publication Date Title
JP6419410B2 (ja) 音声記録のジオタギング
US7334186B2 (en) System and method for creation of video annotations
US8447787B2 (en) System and method for geocoding content
US7908556B2 (en) Method and system for media landmark identification
US20110231745A1 (en) Slideshow creator
US7904483B2 (en) System and method for presenting geo-located objects
EP1798664B1 (en) Using multi-resolution visual codes to facilitate information browsing in the physical world
US8433707B2 (en) Reverse geo-coding for track path
US20050216464A1 (en) Automated authoring tool and method to facilitate inclusion of maps and other geographical data into travelogues
Chagnaud et al. Visualization of documented 3D cities
US8898179B2 (en) Method for extracting attribute data from a media file
TWI590173B (zh) Interactive Advertising Approach and Its Interactive System
KR101449816B1 (ko) 좌표 정보 변환 장치 및 방법
KR20120075609A (ko) 사용자의 관심 장소 기반 컨텐츠 정보 제공 방법 및 그에 적합한 컨텐츠 데이터 구조 및 이를 구현하는 클라이언트 단말
TWI305886B (ja)
US8782564B2 (en) Method for collaborative display of geographic data
KR100950070B1 (ko) 기행 정보 콘텐츠 제작 장치 및 방법과 콘텐츠 재생 장치
JP2004356902A (ja) 信号記録再生装置及び信号記録再生方法
US7646939B2 (en) Electronic album editing system, electronic album editing method and electronics album editing program
WO2019030551A1 (en) METHOD FOR APPLYING METADATA TO IMMERSIVE MULTIMEDIA FILES
TW201303699A (zh) 連結地圖軌跡與多媒體資訊的電腦可讀取式指令、圖形化使用者介面及系統
TWM503622U (zh) 互動式廣告的互動系統
SEEGER Using Geographic Information, Multimedia and Landscape Modeling as Integrated Visualization Tools in Developing Highway Corridor Management Plans
TW201101064A (en) Method for capturing files with a portable electronic device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150603

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160728

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160805

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161107

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170421

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170628

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170908

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20171208

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20180309

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180706

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20180816

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180911

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181010

R150 Certificate of patent or registration of utility model

Ref document number: 6419410

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250