RU2463663C2 - Устройство захвата изображения, сервер обеспечения дополнительной информации и система фильтрации дополнительной информации - Google Patents

Устройство захвата изображения, сервер обеспечения дополнительной информации и система фильтрации дополнительной информации Download PDF

Info

Publication number
RU2463663C2
RU2463663C2 RU2009141616/08A RU2009141616A RU2463663C2 RU 2463663 C2 RU2463663 C2 RU 2463663C2 RU 2009141616/08 A RU2009141616/08 A RU 2009141616/08A RU 2009141616 A RU2009141616 A RU 2009141616A RU 2463663 C2 RU2463663 C2 RU 2463663C2
Authority
RU
Russia
Prior art keywords
information
image
elements
additional information
landmark
Prior art date
Application number
RU2009141616/08A
Other languages
English (en)
Other versions
RU2009141616A (ru
Inventor
Цутому МУКАИ (JP)
Цутому МУКАИ
Йоити ИКЕДА (JP)
Йоити ИКЕДА
Масару ЯМАОКА (JP)
Масару ЯМАОКА
Такахиро САТО (JP)
Такахиро САТО
Мицуаки ОСИМА (JP)
Мицуаки ОСИМА
Original Assignee
Панасоник Корпорэйшн
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Панасоник Корпорэйшн filed Critical Панасоник Корпорэйшн
Publication of RU2009141616A publication Critical patent/RU2009141616A/ru
Application granted granted Critical
Publication of RU2463663C2 publication Critical patent/RU2463663C2/ru

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00204—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00204—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server
    • H04N1/00244—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server with a server, e.g. an internet server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32144—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
    • H04N1/32149—Methods relating to embedding, encoding, decoding, detection or retrieval operations
    • H04N1/32203—Spatial or amplitude domain methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32144—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
    • H04N1/32149—Methods relating to embedding, encoding, decoding, detection or retrieval operations
    • H04N1/32203—Spatial or amplitude domain methods
    • H04N1/32208—Spatial or amplitude domain methods involving changing the magnitude of selected pixels, e.g. overlay of information or super-imposition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808—Management of client data
    • H04N21/25841—Management of client data involving the geographical location of the client
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4314—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for fitting data in a restricted space on the screen, e.g. EPG data in a rectangular grid
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4532—Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/475—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data
    • H04N21/4755—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data for defining user preferences, e.g. favourite actors or genre
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6581—Reference data, e.g. a movie identifier for ordering a movie or a product identifier in a home shopping application
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H04N21/8153—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics comprising still images, e.g. texture, background image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/16—Analogue secrecy systems; Analogue subscription systems
    • H04N7/173—Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal
    • H04N7/17309—Transmission or handling of upstream communications
    • H04N7/17318—Direct or substantially direct transmission and handling of requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00—Still video cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077—Types of the still picture apparatus
    • H04N2201/0084—Digital still camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/3253—Position information, e.g. geographical position at time of capture, GPS data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3273—Display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3278—Transmission

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computer Hardware Design (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • Studio Devices (AREA)
  • Processing Or Creating Images (AREA)
  • Instructional Devices (AREA)
  • Navigation (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)
  • Television Signal Processing For Recording (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Traffic Control Systems (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

Изобретение относится к устройству захвата изображения, такому как камера, для фильтрации информации наземных ориентиров. Техническим результатом является уменьшение количества вычислений для получения информации наземных ориентиров и оптимизация отображения дополнительной информации. Устройство (102) захвата изображения содержит: блок (114) формирования изображения, который захватывает цифровое изображение; блок (112) связи, который получает множество элементов дополнительной информации от заранее заданного картографического сервера (120), который хранит множество элементов дополнительной информации, каждый из которых соответствует объекту, содержащемуся в цифровом изображении, захваченном блоком (114); блок (113) извлечения информации отображения, который выбирает дополнительную информацию, которая должна быть отображена, среди множества элементов дополнительной информации, полученных блоком (112) связи; и блок (116) обработки отображения с наложением и блок (117) отображения, которые отображают только дополнительную информацию, выбранную блоком (113) среди множества элементов дополнительной информации, с наложением на цифровое изображение, захваченное блоком (114). 4 н. и 11 з.п. ф-лы, 72 ил.

Description

Область техники
Настоящее изобретение имеет отношение к устройству захвата изображения, такому как камера, для фильтрации информации наземных ориентиров, отображаемой в изображении, в котором множество элементов информации наземных ориентиров на захваченном объекте накладываются друг на друга.
Уровень техники
Традиционно существуют системы отображения изображений местности, которые отображают на изображениях местности, захваченных устройствами захвата изображения, описательную информацию (информацию наземных ориентиров) изображений местности, наложенную на изображения местности. Описательная информация включает в себя, например, названия изображений местности. Такие системы отображения изображений местности позволяют пользователю узнать, например, название здания в месте путешествия посредством нацеливания устройства захвата изображения на здание.
Система нанесения меток на изображение местности в патентной ссылке 1, включает в себя терминал нанесения меток на изображение местности, который получает информацию изображения местности, и сервер нанесения меток на изображение местности, который соединен с терминалом нанесения меток на изображение местности через сеть связи. Патентная ссылка 1 раскрывает методику, которая позволяет узнавать название наземного ориентира на изображении, захваченном пользователем, с использованием устройства захвата изображения посредством отображения информации меток, переданной от сервера нанесения меток на изображение местности, в позиции, соответствующей позиции наземного ориентира на изображении, с наложением на изображение местности, полученное терминалом нанесения меток на изображение местности. Система нанесения меток на изображение местности в патентной ссылке 1 раскрывает методику поддержки пользователя для подтверждения маршрута путешествия в системе автомобильной навигации, тем самым облегчая привязку фактической местности к изображению.
Фиг. 1 иллюстрирует конфигурацию системы нанесения меток на изображение местности, раскрытой в патентной ссылке 1. Терминал 5112 нанесения меток на изображение местности получает позицию захвата изображения, угол обзора, фокусное расстояние и другую информацию в то время, когда производится захват изображения, и передает информацию центру 5113 нанесения меток на изображение местности. Центр 5113 нанесения меток на изображение местности заранее формирует данные карты в компьютере в виде трехмерных данных. Центр 5113 нанесения меток на изображение местности формирует компьютерное графическое изображение местности, рассматриваемое с терминала нанесения меток на изображение местности 5112, в трехмерном пространстве в компьютере, на основе информации, принятой от терминала нанесения меток на изображение местности 5112 при захвате изображения. Центр нанесения меток на изображение местности 5112 получает географическую информацию, представленную названиями конструкций, включенных в изображение местности, от сформированного компьютерного графического изображения, и передает географическую информацию на терминал нанесения меток на изображение местности 5112.
Терминал 5112 нанесения меток на изображение местности отображает принятую географическую информацию с наложением на изображение в соответствующих позициях, где предполагается отображение строений, включенных в изображение, которое является фактической местностью.
Патентная ссылка 1: Патент Японии № 3225882
Раскрытие изобретения
Задачи, которые изобретение должно решить
Однако в патентной ссылке 1 наземные ориентиры отображаются с наложением для разъяснения соответствия между фактической местностью и захваченным изображением местности. Таким образом, когда терминал 5112 нанесения меток на изображение местности используется для просмотра множества элементов информации наземных ориентиров и множество элементов информации наземных ориентиров, таких как названия строения и сооружения, отображено в изображении с наложением, увеличение количества наземных ориентиров, включенных в захваченное изображение, приводит к увеличению количества наземных ориентиров, которые должны быть отображены в устройстве захвата изображения. Поскольку изображение, отображаемое на устройстве захвата изображения, является маленьким, пользователь имеет трудности при просмотре изображения, включающего в себя большое количество наземных ориентиров. Таким образом, существует проблема ухудшения возможности просмотра отображения пользователем. Например, когда изображения зданий захвачены на расстоянии, отображаются все названия зданий, расположенных ближе к пользователю. Таким образом, существует проблема, что пользователь имеет трудности в понимании соответствия между зданиями и наземными ориентирами.
Кроме того, поскольку нет вертикальной корреляции между (i) расстоянием от традиционного устройства захвата изображения до строения и (ii) изображением строения, захваченным устройством захвата изображения, существует проблема сложности отображения множества элементов информации наземных ориентиров в позиции фактического строения с наложением. Чтобы решить проблему, в патентной ссылке 1 создается пространство обзора с использованием компьютерных графических изображений. Другими словами, в патентной ссылке 1 центр 5113 нанесения меток на изображение местности предварительно создает данные карты в компьютере в виде трехмерных данных, чтобы получить информацию наземных ориентиров захваченного изображения местности. Затем терминал 5112 нанесения меток на изображение местности (устройство захвата изображения) передает информацию позиции, угол обзора, фокусное расстояние и информацию размера изображения центру 5113 нанесения меток на изображение местности. Затем центр 5113 нанесения меток на изображение местности получает пространство обзора, рассматриваемое из устройства захвата изображения, и получает информацию о строениях, присутствующих в пространстве обзора. Кроме того, каждый раз, когда информация позиции, угол обзора, фокусное расстояние и информация размера изображения изменяются, необходимо вычислить пространство обзора для получения информации о строениях. В соответствии с этим существует проблема огромного роста объема вычислений на сервере для получения информации наземных ориентиров.
Кроме того, система нанесения меток на изображение местности в патентной ссылке 1 включает в себя блок обработки изображения, который разделяет полученное изображение на подполя, каждое из которых включает в себя объекты. Поскольку устройство захвата изображения должно извлекать края, существует проблема огромного роста объема вычислений на устройстве захвата изображения.
Средства для решения задач
Настоящее изобретение было задумано в связи с такими ситуациями, и оно использует следующие блоки для решения упомянутых выше проблем.
Другими словами, устройство захвата изображения включает в себя: блок формирования изображения, выполненный с возможностью захватывать цифровое изображение; блок получения дополнительной информации, выполненный с возможностью получать множество элементов дополнительной информации от заранее заданного устройства хранения, которое хранит множество элементов дополнительной информации, каждый из элементов множества дополнительной информации соответствует объекту, включенному в цифровое изображение, захваченное блоком формирования изображения; блок выбора, выполненный с возможностью выбирать для отображения один элемент из множества элементов дополнительной информации среди множества элементов дополнительной информации, полученных с помощью блока получения дополнительной информации; и блок отображения, выполненный с возможностью отображать только дополнительную информацию с наложением на цифровое изображение, захваченное блоком формирования изображения, дополнительная информация выбирается блоком выбора среди множества элементов дополнительной информации.
Таким образом, устройство захвата изображения может воспрепятствовать отображению излишней дополнительной информации, в то время как отображается полезная дополнительная информация, и отображать оптимальное количество элементов дополнительной информации.
Результат изобретения
Настоящее изобретение позволяет воспрепятствовать отображению излишней дополнительной информации и отображать оптимальное количество элементов дополнительной информации.
Краткое описание чертежей
Фиг. 1 иллюстрирует конфигурацию предшествующей области техники.
Фиг. 2 иллюстрирует конфигурацию варианта осуществления 1 настоящего изобретения.
Фиг. 3 иллюстрирует конфигурацию блока обнаружения информации фильтра.
Фиг. 4 показывает пример данных, которые будут переданы от устройства захвата изображения на картографический сервер.
Фиг. 5 показывает блок-схему последовательности операций, указывающую вариант осуществления процесса, выполняемого устройством захвата изображения, от захвата изображения до передачи описательной информации устройства захвата изображения.
Фиг. 6 показывает блок-схему последовательности операций, указывающую вариант осуществления процесса, выполняемого картографическим сервером, от получения наземных ориентиров до передачи наземных ориентиров на устройство захвата изображения.
Фиг. 7 иллюстрирует диапазоны, в которых картографический сервер получает информацию наземных ориентиров.
Фиг. 8 показывает пример диапазонов информации наземных ориентиров, которая будет передана с картографического сервера на устройство захвата изображения.
Фиг. 9 показывает блок-схему последовательности операций, указывающую вариант осуществления процесса, выполняемого устройством захвата изображения, от получения наземных ориентиров до выполнения отображения с наложением.
Фиг. 10 иллюстрирует пример сеточной структуры для использования при фильтрации посредством устройства захвата изображения.
Фиг. 11 иллюстрирует пример способа фильтрации отображения, выполняемого устройством захвата изображения.
Фиг. 12 иллюстрирует пример таблицы соответствия между полями отображения и коэффициентами масштабирования.
Фиг. 13 иллюстрирует пример способа получения подробной информации наземного ориентира.
Фиг. 14 иллюстрирует пример способа получения подробной информации наземного ориентира.
Фиг. 15 иллюстрирует пример способа фильтрации с использованием иерархических уровней.
Фиг. 16 иллюстрирует конфигурацию варианта осуществления 2 в соответствии с настоящим изобретением.
Фиг. 17 иллюстрирует схематический чертеж системы в соответствии с вариантом осуществления 2.
Фиг. 18 показывает блок-схему последовательности операций, указывающую вариант осуществления процесса, выполняемого устройством захвата изображения, от захвата изображения до передачи описательной информации устройства захвата изображения.
Фиг. 19 показывает блок-схему последовательности операций, указывающую вариант осуществления процесса, выполняемого картографическим сервером, от формирования наземных ориентиров до передачи наземных ориентиров на устройство захвата изображения.
Фиг. 20 иллюстрирует пример конфигурации варианта осуществления 2 в соответствии с настоящим изобретением.
Фиг. 21 иллюстрирует пример конфигурации варианта осуществления 2 в соответствии с настоящим изобретением.
Фиг. 22 иллюстрирует пример конфигурации варианта осуществления 2 в соответствии с настоящим изобретением.
Фиг. 23 иллюстрирует пример конфигурации варианта осуществления 3 в соответствии с настоящим изобретением.
Фиг. 24 показывает пример данных, которые будут переданы от устройства захвата изображения на картографический сервер, в соответствии с вариантом осуществления 3 настоящего изобретения.
Фиг. 25 показывает блок-схему последовательности операций, указывающую вариант осуществления процесса, выполняемого картографическим сервером, от формирования наземных ориентиров до передачи наземных ориентиров на устройство захвата изображения.
Фиг. 26 показывает блок-схему последовательности операций, указывающую вариант осуществления процесса, выполняемого устройством захвата изображения, от получения наземных ориентиров до выполнения отображения наземных ориентиров с наложением.
Фиг. 27 - пример отображенных наземных ориентиров в соответствии с приоритетами.
Фиг. 28 иллюстрирует пример конфигурации варианта осуществления 4 в соответствии с настоящим изобретением.
Фиг. 29 показывает пример данных, которые будут переданы от устройства захвата изображения на картографический сервера, в соответствии с вариантом осуществления 4 настоящего изобретения.
Фиг. 30 показывает блок-схему последовательности операций, указывающую вариант осуществления процесса, выполняемого картографическим сервером, от формирования наземных ориентиров до передачи наземных ориентиров на устройство захвата изображения.
Фиг. 31 показывает блок-схему последовательности операций, указывающую вариант осуществления процесса, выполняемого устройством захвата изображения, от получения наземных ориентиров до выполнения отображения наземных ориентиров с наложением.
Фиг. 32 показывает пример диапазонов наземных ориентиров, которые должны быть переданы с картографического сервера на устройство захвата изображения.
Фиг. 33 иллюстрирует пример конфигурации аспекта настоящего изобретения.
Фиг. 34 показывает пример данных, которые будут переданы от устройства захвата изображения на картографический сервер.
Фиг. 35 иллюстрирует пример конфигурации аспекта настоящего изобретения.
Фиг. 36 показывает пример данных, которые будут переданы от устройства захвата изображения на картографический сервер.
Фиг. 37 показывает пример данных, которые будут переданы от устройства захвата изображения на картографический сервер.
Фиг. 38 иллюстрирует пример способа отображения информации наземных ориентиров с наложением.
Фиг. 39 иллюстрирует пример способа отображения информации наземных ориентиров с наложением.
Фиг. 40 иллюстрирует пример способа отображения информации наземных ориентиров с наложением
Фиг. 41 иллюстрирует пример способа отображения информации наземных ориентиров с наложением.
Фиг. 42 иллюстрирует пример способа отображения информации наземных ориентиров с наложением.
Фиг. 43 иллюстрирует пример способа отображения информации наземных ориентиров с наложением.
Фиг. 44 иллюстрирует пример способа отображения информации наземных ориентиров с наложением.
Фиг. 45 иллюстрирует пример способа отображения информации наземных ориентиров с наложением.
Фиг. 46 иллюстрирует пример способа отображения информации наземных ориентиров с наложением.
Фиг. 47 иллюстрирует пример способа отображения информации наземных ориентиров с наложением.
Фиг. 48 иллюстрирует пример способа отображения информации наземных ориентиров с наложением.
Фиг. 49 иллюстрирует пример способа отображения информации наземных ориентиров с наложением.
Фиг. 50 иллюстрирует пример способа отображения информации наземных ориентиров с наложением.
Фиг. 51 иллюстрирует пример способа отображения информации наземных ориентиров с наложением.
Фиг. 52 иллюстрирует состояния отображения фактических изображений и изображений компьютерной графики в соответствии с аспектом настоящего изобретения.
Фиг. 53 иллюстрирует состояния отображения фактических изображений и изображений компьютерной графики в соответствии с аспектом настоящего изобретения.
Фиг. 54 иллюстрирует состояния отображения фактических изображений и изображений компьютерной графики в соответствии с аспектом настоящего изобретения.
Фиг. 55 иллюстрирует состояния отображения фактических изображений и изображений компьютерной графики в соответствии с аспектом настоящего изобретения.
Фиг. 56 иллюстрирует состояния отображения фактических изображений и изображений компьютерной графики в соответствии с аспектом настоящего изобретения.
Фиг. 57 иллюстрирует состояния отображения фактических изображений и изображений компьютерной графики в соответствии с аспектом настоящего изобретения.
Фиг. 58 иллюстрирует состояния отображения фактических изображений и изображений компьютерной графики в соответствии с аспектом настоящего изобретения.
Фиг. 59 иллюстрирует состояния отображения фактических изображений и изображений компьютерной графики в соответствии с аспектом настоящего изобретения.
Фиг. 60 иллюстрирует состояния отображения фактических изображений и изображений компьютерной графики в соответствии с аспектом настоящего изобретения.
Фиг. 61 иллюстрирует состояния отображения фактических изображений и изображений компьютерной графики в соответствии с аспектом настоящего изобретения.
Фиг. 62 иллюстрирует состояния отображения фактических изображений и изображений компьютерной графики в соответствии с аспектом настоящего изобретения.
Фиг. 63 иллюстрирует состояния отображения фактических изображений и изображений компьютерной графики в соответствии с аспектом настоящего изобретения.
Фиг. 64 иллюстрирует состояния отображения фактических изображений и изображений компьютерной графики в соответствии с аспектом настоящего изобретения.
Фиг. 65 иллюстрирует способ объединения фактического изображения с другим изображением в соответствии с аспектом настоящего изобретения.
Фиг. 66 показывает блок-схему последовательности операций способа объединения изображений в соответствии с аспектом настоящего изобретения.
Фиг. 67 показывает блок-схему последовательности операций способа объединения изображений в соответствии с аспектом настоящего изобретения.
Фиг. 68 показывает блок-схему последовательности операций способа объединения изображений в соответствии с аспектом настоящего изобретения.
Фиг. 69 иллюстрирует конфигурацию варианта осуществления 7 в соответствии с настоящим изобретением.
Фиг. 70 показывает блок-схему последовательности операций, указывающую вариант осуществления, в котором устройство захвата изображения отображает наземные ориентиры с наложением на основе введенного направления.
Фиг. 71 иллюстрирует пример отображения множества элементов информации наземных ориентиров вместе с каждым направлением, в котором захвачено изображение.
Фиг. 72 показывает пример формата данных, которые будут переданы от устройства захвата изображения на картографический сервер.
Позиционные обозначения
102 Устройство захвата изображения
103 Блок получения информации позиции
104 Блок обнаружения информации позиции
105 Блок вывода информации позиции
106 Блок получения направления захвата изображения
107 Блок обнаружения направления захвата изображения
108 Блок вывода направления захвата изображения
109 Блок обнаружения информации фильтра
110 Блок вывода информации фильтра
111 Блок получения информации фильтра
112 Блок связи
113 Блок извлечения информации отображения
114 Блок формирования изображения
115 Блок обработки изображения
116 Блок обработки отображения с наложением
117 Блок отображения
118 База картографических данных
119 Блок извлечения информации наземных ориентиров
120 Картографический сервер
121 Блок формирования описательной информации устройства захвата изображения
122 Блок получения информации диапазона захвата изображения
550 Направляющая
Предпочтительный вариант осуществления изобретения
Будет описана система фильтрации изображения местности в соответствии с осуществлением 1 настоящего изобретения со ссылкой на чертежи.
(Вариант осуществления 1)
Устройство захвата изображения (устройство 102 захвата изображения 102) в соответствии с вариантом осуществления 1 содержит: блок формирования изображения (блок 114 формирования изображения и блок 115 обработки изображения 115), выполненный с возможностью захватывать цифровое изображение; блок получения дополнительной информации (блок 112 связи), выполненный с возможностью получать множество элементов дополнительной информации от заранее заданного устройства хранения (картографического сервера 120), которое хранит множество элементов дополнительной информации, каждый элемент из множества элементов дополнительной информации соответствует объекту, содержащемуся в цифровом изображении, захваченном блоком формирования изображения; блок выбора (блок 113 извлечения отображаемой информации), выполненный с возможностью выбирать для отображения один элемент из множества элементов дополнительной информации среди множества элементов дополнительной информации, полученных с помощью блока получения дополнительной информации; и блок отображения (блок 116 обработки отображения с наложением и блок 117 отображения), выполненный с возможностью отображать только дополнительную информацию с наложением на цифровое изображение, захваченное блоком формирования изображения, дополнительная информация выбирается блоком выбора среди множества элементов дополнительной информации.
Таким образом, вместе с цифровым изображением отображается только выбранная полезная дополнительная информация среди всего множества элементов дополнительной информации, содержащих соответствующие объекты, содержащиеся в цифровом изображении. Таким образом, предотвращается отображение слишком большого количества элементов дополнительной информации, в то время как отображается полезная дополнительная информация, и может быть отображено приемлемое количество элементов дополнительной информации.
Кроме того, устройство захвата изображения в соответствии с вариантом осуществления 1 дополнительно содержит: блок получения позиции захвата изображения (блок 103 получения информации позиции), выполненный с возможностью получать позицию захвата изображения, в которой блок формирования изображения захватывает цифровое изображение; и блок получения направления захвата изображения (блок 106 получения направления захвата изображения), выполненный с возможностью получать направление захвата изображения, в котором блок формирования изображения захватывает цифровое изображение, причем блок получения дополнительной информации выполнен с возможностью получать из заранее заданного устройства хранения дополнительной информации каждый элемент из множества элементов дополнительной информации, соответствующих полученному направлению захвата изображения и полученной позиции захвата изображения, заранее заданное устройство хранения дополнительной информации хранит множество элементов дополнительной информации для объектов, захваченных в цифровом изображении, совместно с направлениями захвата изображения и позициями захвата изображения, и цифровое изображение захватывается в направлении захвата изображения относительно позиции захвата изображения.
Таким образом, устройство захвата изображения определяет поле, захваченное в цифровом изображении, и определяет каждый объект, содержащийся в цифровом изображении и содержащий позицию в заданном поле. После получения позиции и направления захвата изображения устройство захвата изображения получает дополнительную информацию, содержащуюся в каждом из объектов и соответствующую полученным позиции и направлению захвата изображения. Посредством этого, например, цифровое изображение передается устройству хранения дополнительной информации для подробного анализа переданного цифрового изображения без уведомления о позиции и направлении захвата изображения. Этот процесс устраняет необходимость в сложном механизме, включающем в себя получение необходимой дополнительной информации устройством захвата изображения. Таким образом, устройство захвата изображения может получить необходимую дополнительную информацию с помощью простого механизма.
Кроме того, в устройстве захвата изображения в соответствии с вариантом осуществления 1 элементы множества элементов дополнительной информации соответственно содержат позиции объектов, блок формирования изображения выполнен с возможностью получать коэффициент масштабирования, используемый при захвате цифрового изображения, и блок выбора выполнен с возможностью выбирать соответствующий один элемент из множества элементов дополнительной информации, который содержит позицию на расстоянии от полученной позиции захвата изображения, расстояние становится больше по мере увеличения полученного коэффициента масштабирования и имеет заранее заданное соответствие с коэффициентом масштабирования.
Таким образом, изображение захватывается при коэффициенте масштабирования, который делает возможным существенное увеличение. Когда пользователь интересуется объектом, который находится на более далеком расстоянии, дополнительная информация об объекте может быть отображена более точно.
Кроме того, устройство захвата изображения в соответствии с вариантом осуществления 1 дополнительно содержит блок получения направления захвата изображения, выполненный с возможностью получать направление захвата изображения, в котором блок формирования изображения захватывает цифровое изображение, причем блок выбора выполнен с возможностью вычислять диапазон позиций на основе позиции захвата изображения, направления захвата изображения и коэффициента масштабирования, которые были получены, диапазон позиций (i) содержит диапазон, в котором расстояние от полученной позиции захвата изображения соответствует полученному коэффициенту масштабирования, и (ii) ориентирован в направлении захвата изображения относительно полученной позиции захвата изображения, и выбирать соответствующий один элемент из множества элементов дополнительной информации, который содержит позицию, содержащуюся в вычисленном диапазоне позиций.
Таким образом, устройство захвата изображения отображает дополнительную информацию в позиции в диапазоне, определяемом позицией захвата изображения и направлением захвата изображения, в котором было захвачено изображение. Таким образом, устройство захвата изображения выбирает и отображает дополнительную информацию, указывающую, что во внимание приняты не только расстояние до объекта, для которого отображается дополнительная информация, но также и позиция захвата изображения и направление захвата изображения. Таким образом, полезная дополнительная информация может быть выбрана и отображена более точно и надежно.
Кроме того, отображается дополнительная информация, расположенная в пределах некоторого диапазона, имеющего умеренную ширину, с тем чтобы такая полезная дополнительная информация могла быть отображена более надежно.
Кроме того, устройство захвата изображения в соответствии с вариантом осуществления 1 дополнительно содержит блок обнаружения сотрясения камеры, выполненный с возможностью обнаруживать сотрясение камеры, вызванное тем, что фотограф сотрясает устройство захвата изображения, причем блок отображения выполнен с возможностью непрерывно отображать соответствующий один элемент из множества элементов дополнительной информации, который отображается, когда блок обнаружения сотрясения камеры начинает обнаруживать сотрясение камеры, в то время как блок обнаружения сотрясения камеры обнаруживает сотрясение камеры фотографом.
Таким образом, обнаруживается сотрясение камеры. Когда полученный коэффициент масштабирования не является приемлемым для использования при выборе дополнительной информации, которая должна быть отображена, непрерывно отображается дополнительная информация, которая отображалась непосредственно до того, как она стала неприемлемой, и которая используется, когда начато обнаружение дополнительной информации, тем самым препятствуя тому, чтобы отображение дополнительной информации стало нечитаемым. Таким образом, даже когда отображение является непрерывно читаемым и затем происходит сотрясение камеры, становится возможным приемлемое отображение.
Кроме того, в устройстве захвата изображения в соответствии с вариантом осуществления 1 элементы множества элементов дополнительной информации соответственно содержат позиции объектов, блок формирования изображения выполнен с возможностью получать фокусное расстояние, используемое при захвате цифрового изображения, и блок выбора выполнен с возможностью выбирать соответствующий один элемент множества элементов дополнительной информации, который содержит позицию на расстоянии от полученной позиции захвата изображения, расстояние становится больше по мере увеличения полученного фокусного расстояния и имеет заранее заданное соответствие с фокусным расстоянием.
Таким образом, когда изображение захвачено на более далеком расстоянии с более длинным фокусным расстоянием и пользователь интересуется объектом, который находится на более далеком расстоянии, дополнительная информация объекта, который находится на более далеком расстоянии и интересует пользователя, может быть отображена более точно и надежно.
Кроме того, устройство захвата изображения в соответствии с вариантом осуществления 1 дополнительно содержит блок распознавания человека, выполненный с возможностью распознавать человека, изображение которого захватывается; и блок фокусировки на человеке, выполненный с возможностью выполнять фокусировку на человеке, распознанном блоком распознавания человека, причем блок формирования изображения выполнен с возможностью получать коэффициент масштабирования, используемый при захвате цифрового изображения, и блок выбора выполнен с возможностью выбирать соответствующий один элемент из множества элементов дополнительной информации в позиции на расстоянии от полученной позиции захвата изображения, расстояние становится более длинным по мере увеличения полученного коэффициента масштабирования и имеет заранее заданное соответствие с коэффициентом масштабирования, когда блок формирования изображения захватывает цифровое изображение посредством фокусировки на человеке с использованием блока фокусировки на человеке.
Таким образом, когда блок распознавания человека распознает человека и блок фокусировки на человеке выполняет фокусировку на человеке, в случае, когда изображение захвачено с фокусным расстоянием, при котором пользователю не показывается какая-либо полезная дополнительная информация, один или более элементов из множества элементов дополнительной информации выбирается в соответствии с коэффициентом масштабирования, а не фокусным расстоянием. Таким образом, поскольку устройство захвата изображения имеет функцию для распознавания человека и фокусировки на человеке, дополнительная информация может быть выбрана в соответствии с коэффициентом масштабирования, и выбранная дополнительная информация может быть отображена.
Кроме того, в устройстве захвата изображения в соответствии с вариантом осуществления 1 элементы множества элементов дополнительной информации соответственно содержат позиции объектов, блок формирования изображения выполнен с возможностью получать угол обзора, используемый при захвате цифрового изображения, и блок выбора выполнен с возможностью выбирать соответствующий один элемент из множества элементов дополнительной информации в соответствии с позицией в заранее заданном диапазоне, определяемом посредством обзора с полученным углом обзора с полученной позиции захвата изображения.
Таким образом, выбирается дополнительная информация об объекте, который находится в заранее заданном диапазоне и интересует пользователя, когда отображается цифровое изображение, рассматриваемое с позиции захвата изображения с углом обзора. В соответствии с этим необходимая дополнительная информация может быть выбрана и отображена более подходящим образом.
Кроме того, в устройстве захвата изображения в соответствии с вариантом осуществления 1 блок выбора выполнен с возможностью выбирать соответствующий один или более элементов из множества элементов дополнительной информации, каждый из которых соответствует позиции, содержащейся в подполе, для каждого из подполей, полученных посредством разделения поля на заранее заданный единичный угол, поле определяется посредством обзора с полученным углом обзора с полученной позиции захвата изображения, и множество элементов дополнительной информации имеет заранее заданное количество.
Кроме того, в устройстве захвата изображения в соответствии с вариантом осуществления 1 каждый элемент из множества элементов дополнительной информации содержит иерархическую информацию, определяющую иерархический уровень, содержащий соответствующий один из объектов, среди иерархических уровней, содержащих более низкий иерархический уровень и более высокий иерархический уровень, более низкий иерархический уровень содержит объект, являющийся частью объекта более высокого иерархического уровня, и
блок выбора выполнен с возможностью выбирать один или более иерархических уровней, которые должны быть выбраны среди иерархических уровней, каждый из одного или более иерархических уровней имеет общее количество элементов дополнительной информации, не превышающее заранее заданного количества, в множестве элементов дополнительной информации (i) каждый элемент содержит иерархическую информацию, указывающую один из иерархических уровней, и (ii) каждый элемент соответствует позиции, содержащейся в подполе; и выбирать соответствующий один или более элементов из множества элементов дополнительной информации, содержащиеся на выбранном одном или более иерархических уровнях.
Таким образом, один или более элементов из множества элементов дополнительной информации, имеющих количество и находящихся на подходящем иерархическом уровне, могут быть выбраны и отображены.
Кроме того, в устройстве захвата изображения в соответствии с вариантом осуществления 1 элементы множества элементов дополнительной информации соответственно содержат позиции объектов, и блок выбора выполнен с возможностью выбирать соответствующий один элемент из множества элементов дополнительной информации, соответствующий позиции в заранее заданном пространстве обзора, определенном посредством обзора в полученном направлении захвата изображения с полученной позиции захвата изображения.
Кроме того, в устройстве захвата изображения в соответствии с вариантом осуществления 1 блок выбора выполнен с возможностью выбирать соответствующий один элемент из множества элементов дополнительной информации, соответствующий позиции, содержащейся в сетке, для каждой из сеток, полученных посредством разделения пространства обзора.
Кроме того, в устройстве захвата изображения в соответствии с вариантом осуществления 1 блок выбора выполнен с возможностью выбирать соответствующий один или более элементов из множества элементов дополнительной информации, соответствующих позициям, содержащимся в подполе и имеющим заранее заданное количество, для каждого из подполей, полученных посредством разделения пространства обзора, подполя соответственно имеют различные расстояния от полученной позиции захвата изображения.
Кроме того, в устройстве захвата изображения в соответствии с вариантом осуществления 1 каждый элемент из множества элементов дополнительной информации содержит иерархическую информацию, определяющую иерархический уровень, содержащий соответствующий один из объектов, среди иерархических уровней, содержащих более низкий иерархический уровень и более высокий иерархический уровень, более низкий иерархический уровень содержит объект, являющийся частью объекта более высокого иерархического уровня, и блок выбора выполнен с возможностью выбирать один или более иерархических уровней среди иерархических уровней, каждый из одного или более иерархических уровней имеет общее количество элементов множества информации выбора, не превышающее заранее заданного количества, в множестве элементов информации выбора (i) каждый элемент содержит соответствующий один элемент из множества элементов иерархической информации, определяющий соответствующий один из иерархических уровней, (ii) соответственно содержит позиции, содержащиеся в разделенных подполя; и выбирать соответствующий один или более элементов из множества элементов дополнительной информации, содержащихся на выбранном одном или более иерархических уровнях.
Кроме того, в устройстве захвата изображения в соответствии с вариантом осуществления 1 блок выбора выполнен с возможностью выбирать один или более элементов из множества элементов дополнительной информации в подполях в диапазоне от дополнительной информации, соответствующей позиции, имеющей наименьший угол от полученного направления захвата изображения, до дополнительной информации, соответствующей позиции, имеющей угол, заранее заданный по счету после наименьшего угла, от полученного направления захвата изображения, когда количество элементов множества элементов дополнительной информации, соответствующих позициям в подполях, превышает заранее заданное количество.
Кроме того, в устройстве захвата изображения в соответствии с вариантом осуществления 1 элементы множества элементов дополнительной информации соответственно содержат категории объектов и блок выбора выполнен с возможностью выбирать соответствующий один элемент из множества элементов дополнительной информации, принадлежащий к заранее заданной категории, среди множества элементов дополнительной информации, полученного блоком получения дополнительной информации.
Кроме того, в устройстве захвата изображения в соответствии с вариантом осуществления 1 категории включают в себя по меньшей мере один элемент множества, состоящего из класса, ранга популярности и порядка извлечения.
Кроме того, устройство захвата изображения в соответствии с вариантом осуществления 1 дополнительно содержит: блок хранения информации идентификации, выполненный с возможностью хранить информацию идентификации пользователя для идентификации пользователя; и блок получения информации пользователя, выполненный с возможностью передавать хранимую информацию идентификации пользователя на информационный сервер, который хранит заранее заданную информацию соответствия категорий между информацией идентификации пользователя и категорией, и получать соответствующую одну из категорий, соответствующую информации соответствия категорий, которой соответствует переданная информация идентификации пользователя, причем блок выбора выполнен с возможностью выбирать соответствующий один элемент из множества элементов дополнительной информации с использованием полученной категории в качестве заранее заданной категории.
Кроме того, устройство захвата изображения в соответствии с вариантом осуществления 1 дополнительно содержит: блок приема информации пользователя, выполненный с возможностью принимать заранее заданную категорию как заранее заданную категорию от пользователя, причем блок выбора выполнен с возможностью выбирать соответствующий один из множества элементов дополнительной информации на основе категории, содержащейся в соответствующем одном элементе из множества элементов дополнительной информации, и принятой категории.
Кроме того, в устройстве захвата изображения в соответствии с вариантом осуществления 1 множество элементов дополнительной информации соответственно содержат высоты объектов и блок выбора выполнен с возможностью выбирать соответствующий один элемент из множества элементов дополнительной информации, имеющий высоту не меньше заранее заданной высоты.
Таким образом, выбирается и отображается дополнительная информация объекта, который (i) легко увидеть, (ii) легко заинтересует пользователя и (iii) больше по высоте, чтобы могла быть точно отображена дополнительная информация, которая легко заинтересует пользователя и является необходимой.
Кроме того, в устройстве захвата изображения в соответствии с вариантом осуществления 1 блок выбора выполнен с возможностью выбирать один или более элементов из множества элементов дополнительной информации, имеющие заранее заданное количество для каждого из подполей, соответственно содержащих позиции, подполя (i) получены посредством разделения заранее заданного пространства обзора, определенного посредством обзора в полученном направлении захвата изображения с полученной позиции захвата изображения, и (ii) имеют различные расстояния от позиции захвата изображения.
Кроме того, в устройстве захвата изображения в соответствии с вариантом осуществления 1 элементы множества элементов дополнительной информации соответственно содержат категории иерархических уровней высоты для отнесения элементов из множества элементов дополнительной информации к иерархическим уровням высоты в соответствии с каждой из высот объектов, высоты содержатся во множество элементов дополнительной информации, и блок выбора выполнен с возможностью выбирать соответствующую одну из категорий иерархических уровней высоты для каждого из подполей, категории иерархических уровней высоты имеют заранее заданное количество, и выбирать соответствующий один элемент из множества элементов дополнительной информации, содержащий выбранную категорию иерархического уровня высоты.
Кроме того, в устройстве захвата изображения в соответствии с вариантом осуществления 1 блок выбора выполнен с возможностью выбирать соответствующий один или более элементов из множества элементов дополнительной информации в диапазоне от дополнительной информации, имеющей самую большую высоту, до дополнительной информации, имеющей высоту, заранее заданную по счету после самой большой высоты, когда количество элементов множества элементов дополнительной информации, соответствующих позициям подполей, превышает заранее заданное количество.
Кроме того, в устройстве захвата изображения в соответствии с вариантом осуществления 1 множество элементов дополнительной информации соответственно содержат позиции объектов и устройство захвата изображения дополнительно содержит блок получения разрешающей способности, выполненный с возможностью получать разрешающую способность, когда блок отображения выполняет отображение, и блок выбора выполнен с возможностью выбирать соответствующий один или более элементов из множества элементов дополнительной информации среди множества элементов дополнительной информации, соответствующих позиции в заранее заданном поле, определенном посредством просмотра в полученном направлении захвата изображения с полученной позиции захвата изображения, на основе позиции захвата изображения, направления захвата изображения и разрешающей способности, которые получены, соответствующий один или более элементов из множества элементов дополнительной информации имеют количество, определенное согласно соответствию разрешающей способности между разрешающей способностью и количеством элементов множества элементов дополнительной информации, и количество элементов множества элементов дополнительной информации увеличивается по мере увеличения разрешающей способности.
Кроме того, в устройстве захвата изображения в соответствии с вариантом осуществления 1 множество элементов дополнительной информации соответственно содержит позиции объектов, устройство захвата изображения содержит блок обнаружения информации области отображения, выполненный с возможностью получать размеры области отображения блока отображения, и блок выбора выполнен с возможностью выбирать соответствующий один или более элементов из множества элементов дополнительной информации среди множества элементов дополнительной информации, соответствующих позиции в заранее заданном поле, определенном посредством просмотра в полученном направлении захвата изображения с полученной позиции захвата изображения, на основе позиции захвата изображения, направления захвата изображения и размеров области отображения, которые получены, соответствующий один или более элементов из множества элементов дополнительной информации имеют количество, определенное согласно соответствию области отображения между размерами области отображения и количеством элементов множества элементов дополнительной информации, и количество элементов множества элементов дополнительной информации увеличивается по мере увеличения размеров области отображения.
Устройство захвата изображения в соответствии с вариантом осуществления 1 дополнительно содержит блок получения подробной информации, выполненный с возможностью передавать идентификатор для идентификации соответствующего одного элемента из множества элементов дополнительной информации на заранее заданное устройство хранения подробной информации, которое хранит подробную информацию соответствующего одного элемента из множества элементов дополнительной информации, и получать подробную информацию соответствующего одного элемента из множества элементов дополнительной информации, идентифицированного переданным идентификатором, от устройства хранения подробной информации.
Устройство захвата изображения в соответствии с вариантом осуществления 1 дополнительно содержит блок получения подробной информации, выполненный с возможностью передавать идентификатор для идентификации соответствующего одного элемента из множества элементов дополнительной информации на заранее заданное устройство хранения адреса хранения, которое хранит адрес хранения подробной информации соответствующего одного элемента из множества элементов дополнительной информации, получать адрес хранения подробной информации соответствующего одного элемента из множества элементов дополнительной информации, идентифицированного переданным идентификатором, от устройства хранения адреса хранения, и получать подробную информацию посредством доступа к адресату, обозначенному полученным адресом хранения.
Кроме того, в устройстве захвата изображения в соответствии с вариантом осуществления 1 подробная информация соответствующего одного элемента из множества элементов дополнительной информации: является информацией, отличающейся от информации, содержащейся в соответствующем одном элементе из множества элементов дополнительной информации; и содержит по меньшей мере один элемент множества, состоящего из (i) сетевого информационного содержания, относящегося к соответствующему одному из объектов в Интернете, (ii) модели компьютерной графики (CG) соответствующего одного из объектов и (iii) аналогичного изображения, показывающего соответствующий один из объектов, которое было захвачено ранее, и блок получения подробной информации выполнен с возможностью получать подробную информацию, которая идентифицирована идентификатором, содержащимся в соответствующем одном элементе из множества элементов дополнительной информации, и которая хранится на сервере в заранее заданной сети, соединенной с устройством захвата изображения.
Устройство захвата изображения в соответствии с вариантом осуществления 1 дополнительно содержит блок приема запроса подробной информации, выполненный с возможностью принимать запрос получения подробной информации оператора, причем блок получения подробной информации выполнен с возможностью получать подробную информацию, когда блок приема запроса подробной информации принимает запрос получения подробной информации.
Кроме того, в устройстве захвата изображения в соответствии с вариантом осуществления 1 блок приема запроса подробной информации выполнен с возможностью, когда выполняется операция масштабирования для увеличения изображения соответствующего одного из объектов, содержащихся в цифровом изображении, принимать операцию масштабирования в качестве запроса получения подробной информации соответствующего одного из объектов, показанных на увеличенном цифровом изображении.
Таким образом, при операции масштабирования для увеличения изображения объекта, который интересует пользователя, запрос получения подробной информации может быть принят естественным образом и просто.
Кроме того, в устройстве захвата изображения в соответствии с вариантом осуществления 1 множество элементов дополнительной информации соответственно содержат позиции объектов, блок выбора выполнен с возможностью, когда коэффициент масштабирования изменяется в соответствии с операцией оператора, выбирать соответствующий один элемент из множества элементов дополнительной информации, который должен быть отображен вновь блоком отображения на основе измененного коэффициента масштабирования, коэффициент масштабирования используется, когда блок формирования изображения захватывает цифровое изображение, и блок приема запроса подробной информации выполнен с возможностью принимать операцию в качестве запроса получения подробной информации, когда количество элементов множества элементов дополнительной информации, которые выбраны в соответствии с операцией с использованием измененного коэффициента масштабирования, не превышает заранее заданное количество.
Кроме того, сервер обеспечения дополнительной информации (картографический сервер 120) в соответствии с вариантом осуществления 1 содержит: базу данных (базу 118 картографических данных), которая хранит множество элементов дополнительной информации объектов; блок приема, выполненный с возможностью принимать от заранее заданного другого устройства позицию захвата изображения и направление захвата изображения, в каждом из которых захвачено цифровое изображение; блок извлечения дополнительной информации (блок 119 извлечения информации наземных ориентиров), выполненный с возможностью извлекать из базы данных один или более элементов из множества элементов дополнительной информации, соответствующие объектам, содержащимся в цифровом изображении, согласно тому, соответствуют ли позиции объектов позиции захвата изображения и направлению захвата изображения, которые приняты блоком приема, на основе принятой информации; и блок передачи, выполненный с возможностью передавать извлеченный один или более элементов из множества элементов дополнительной информации на другое устройство.
Кроме того, в сервере обеспечения дополнительной информации в соответствии с вариантом осуществления 1 блок извлечения дополнительной информации выполнен с возможностью извлекать дополнительную информацию периферии объекта, имеющего позицию на периферии области изображения цифрового изображения, в качестве части множества элементов дополнительной информации после извлечения одного или более элементов из множества элементов дополнительной информации, и блок передачи выполнен с возможностью передавать извлеченный один или более элементов из множества элементов дополнительной информации и извлеченную дополнительную информацию периферии на другое устройство.
Кроме того, сервер обеспечения дополнительной информации в соответствии с вариантом осуществления 1 принимает от другого устройства коэффициент масштабирования, используемый при захвате цифрового изображения в направлении захвата изображения относительно позиции захвата изображения, которые приняты, и извлекает из базы данных соответствующий один элемент из множества элементов дополнительной информации объекта в позиции, содержащейся в заранее заданном подполе, которое находится на расстоянии от полученной позиции захвата изображения, расстояние становится больше по мере повышения полученного коэффициента масштабирования для увеличения и имеет заранее заданное соответствие с коэффициентом масштабирования, и подполе содержится в поле, находящемся в заранее заданной позиции и ориентированном в направлении захвата изображения относительно позиции захвата изображения.
Кроме того, в сервере обеспечения дополнительной информации в соответствии с вариантом осуществления 1 блок приема выполнен с возможностью принимать фокусное расстояние, используемое при захвате цифрового изображения, и блок извлечения дополнительной информации выполнен с возможностью извлекать из базы данных соответствующий один элемент из множества элементов дополнительной информации объекта в позиции, содержащейся в заранее заданном подполе, которое находится на расстоянии от полученной позиции захвата изображения, расстояние становится больше по мере увеличения полученного фокусного расстояния и имеет заранее заданное соответствие с фокусным расстоянием, и подполе содержится в поле, ориентированном в направлении захвата изображения относительно позиции захвата изображения.
Кроме того, в сервере обеспечения дополнительной информации в соответствии с вариантом осуществления 1 блок приема выполнен с возможностью принимать угол обзора, используемый при захвате цифрового изображения, и блок извлечения дополнительной информации выполнен с возможностью извлекать из базы данных соответствующий один элемент из множества элементов дополнительной информации, соответствующий объекту, содержащему позицию в заранее заданное поле, определенном направлением захвата изображения и углом обзора относительно позиции захвата изображения.
Кроме того, в сервере обеспечения дополнительной информации в соответствии с вариантом осуществления 1 элементы множества элементов дополнительной информации соответственно содержат категории объектов, и блок извлечения дополнительной информации выполнен с возможностью извлекать только соответствующий один элемент из множества элементов дополнительной информации, принадлежащий к заранее заданной категории среди категорий.
Кроме того, в сервере обеспечения дополнительной информации в соответствии с вариантом осуществления 1 множество элементов дополнительной информации соответственно содержат высоты объектов, и блок извлечения дополнительной информации выполнен с возможностью извлекать только соответствующий один элемент из множества элементов дополнительной информации, имеющий высоту не меньше заранее заданной высоты.
Кроме того, в сервере обеспечения дополнительной информации в соответствии с вариантом осуществления 1 блок приема выполнен с возможностью принимать разрешающую способность, используемую при захвате цифрового изображения, и блок извлечения дополнительной информации выполнен с возможностью извлекать только соответствующий один или более элементов из множества элементов дополнительной информации, имеющих количество, определенное согласно соответствию разрешающей способности между коэффициентом масштабирования и количеством элементов множества элементов дополнительной информации, и количество элементов множества элементов дополнительной информации увеличивается по мере повышения принятой разрешающей способности.
Кроме того, в сервере обеспечения дополнительной информации в соответствии с вариантом осуществления 1 блок приема выполнен с возможностью принимать от другого устройства размеры области отображения, в которой отображается цифровое изображение, и блок извлечения дополнительной информации выполнен с возможностью извлекать только соответствующий один или более элементов из множества элементов дополнительной информации, имеющие количество, определенное согласно заранее заданному соответствию области отображения между размерами области отображения и количеством элементов множества элементов дополнительной информации, и количество элементов множества элементов дополнительной информации увеличивается по мере увеличения размеров области отображения.
Кроме того, сервер обеспечения дополнительной информации в соответствии с вариантом осуществления 1 содержит: блок хранения описательной информации, выполненный с возможностью хранить описательную информацию фотографа; и блок приема идентифицирующей информации, выполненный с возможностью принимать от другого устройства идентифицирующую информацию для идентификации фотографа, который захватывает цифровое изображение, причем блок извлечения дополнительной информации содержит блок получения описательной информации, выполненный с возможностью получать описательную информацию фотографа из блока хранения описательной информации, описательная информация идентифицируется посредством принятой идентифицирующей информации.
Кроме того, сервер обеспечения дополнительной информации в соответствии с вариантом осуществления 1 содержит: блок приема идентификатора, выполненный с возможностью принимать от другого устройства идентификатор для идентификации соответствующего одного элемента из множества элементов дополнительной информации; и блок передачи подробной информации, выполненный с возможностью передавать адрес хранения на другое устройство, адрес хранения хранит подробную информацию соответствующего одного элемента из множества элементов дополнительной информации, идентифицированного посредством принятого идентификатора.
Кроме того, сервер обеспечения дополнительной информации в соответствии с вариантом осуществления 1 содержит: блок приема идентификатора, выполненный с возможностью принимать идентификатор для идентификации соответствующего одного элемента из множества элементов дополнительной информации, хранимых сервером обеспечения дополнительной информации; и блок передачи подробной информации, выполненный с возможностью после приема идентификатора получать из заранее заданной базы данных подробную информацию соответствующего одного элемента из множества элементов дополнительной информации, идентифицированного принятым идентификатором, и передавать полученную подробную информацию на другое устройство.
Кроме того, в сервере обеспечения дополнительной информации в соответствии с вариантом осуществления 1 подробная информация представляет собой: информацию, отличающуюся от информации, содержащейся в соответствующем одном элементе из множества элементов дополнительной информации; и содержит по меньшей мере один элемент множества, состоящего из (i) сетевого информационного содержания, относящегося к соответствующему одному из объектов в Интернете, (ii) модели компьютерной графики (CG) соответствующего одного из объектов и (iii) аналогичного изображения, показывающего соответствующий один из объектов, которое было захвачено ранее, и сервер обеспечения дополнительной информации содержит базу данных, которая хранит подробную информацию.
Кроме того, система фильтрации дополнительной информации (система 101) в соответствии с вариантом осуществления 1 содержит: устройство захвата изображения (устройство 102 захвата изображения), выполненное с возможностью захватывать цифровое изображение; и сервер обеспечения дополнительной информации (картографический сервер 120), который передает множество элементов дополнительной информации объектов, захваченных устройством захвата изображения, на устройство захвата изображения, устройство захвата изображения содержит: блок формирования изображения (блок 114 формирования изображения и блок 115 обработки изображения), выполненный с возможностью захватывать цифровое изображение; блок получения позиции захвата изображения, выполненный с возможностью получать позицию захвата изображения, в которой блок формирования изображения захватывает цифровое изображение; блок получения направления захвата изображения, выполненный с возможностью получать направление захвата изображения, в котором блок формирования изображения захватывает цифровое изображение; блок передачи, выполненный с возможностью передавать позицию захвата изображения и направление захвата изображения, которые получены, на сервер обеспечения дополнительной информации; блок получения дополнительной информации, выполненный с возможностью получать множество элементов дополнительной информации из сервера обеспечения дополнительной информации, в множестве элементов дополнительной информации каждый элемент соответствует объектам, содержащимся в цифровом изображении, захваченном блоком формирования изображения; блок выбора, выполненный с возможностью выбирать соответствующий один элемент из множества элементов дополнительной информации, который должен быть отображен, среди множества элементов дополнительной информации, полученных блоком получения дополнительной информации; и блок отображения, выполненный с возможностью отображать соответствующий один элемент из множества элементов дополнительной информации с наложением на цифровое изображение, захваченное блоком формирования изображения, соответствующий один элемент из множества элементов дополнительной информации выбран блоком выбора, и сервер обеспечения дополнительной информации содержит: блок приема, выполненный с возможностью принимать от устройства захвата изображения позицию захвата изображения и направление захвата изображения; базу данных, которая хранит множество элементов дополнительной информации объектов, содержащихся в цифровом изображении; блок извлечения дополнительной информации, выполненный с возможностью извлекать из базы данных один или более элементов из множества элементов дополнительной информации согласно тому, соответствуют ли позиции объектов позиции захвата изображения и направлению захвата изображения, которые приняты блоком приема, на основе принятой информации; и блок передачи, выполненный с возможностью передавать извлеченный один или более элементов из множества элементов дополнительной информации на устройство захвата изображения.
Кроме того, в устройстве захвата изображения в соответствии с вариантом осуществления 1 блок отображения выполнен с возможностью отображать соответствующий один элемент из множества элементов дополнительной информации, выбранный блоком выбора, горизонтально в части устройства захвата изображения, часть соответствует направлению в ориентации позиции соответствующего одного из объектов выбранной дополнительной информации относительно полученной позиции захвата изображения.
Кроме того, в устройстве захвата изображения в соответствии с вариантом осуществления 1 блок отображения выполнен с возможностью отображать соответствующий один элемент из множества элементов дополнительной информации, выбранный блоком выбора, вертикально в части устройства захвата изображения, часть соответствует расстоянию до позиции соответствующего одного из объектов выбранной дополнительной информации относительно полученной позиции захвата изображения.
Кроме того, в устройстве захвата изображения в соответствии с вариантом осуществления 1 блок отображения выполнен с возможностью отображать: цифровое изображение, полученное блоком захвата изображения; прямоугольник на отображенном цифровом изображении; и только соответствующий один элемент из множества элементов дополнительной информации объектов с наложением на цифровое изображение, соответствующий один элемент из множества элементов дополнительной информации содержится в отображенном прямоугольнике среди множества элементов дополнительной информации, выбранных блоком выбора.
Кроме того, в устройстве захвата изображения в соответствии с вариантом осуществления 1 прямоугольник, который должен быть отображен, представляет собой прямоугольник, имеющий высоту, равную высоте цифрового изображения, отображенного блоком отображения, и блок отображения выполнен с возможностью отображать прямоугольник горизонтально в центре отображенного цифрового изображения.
Кроме того, система фильтрации изображения местности в соответствии с аспектом A варианта осуществления 1 содержит: блок формирования изображения, выполненный с возможностью захватывать цифровое изображение; блок получения информации позиции захвата изображения, выполненный с возможностью получать информацию позиции, указывающую место, в котором блок формирования изображения захватывает цифровое изображение; блок получения направления захвата изображения, выполненный с возможностью получать направление, в котором блок формирования изображения захватывает цифровое изображение; блок получения дополнительной информации, выполненный с возможностью получать множество элементов дополнительной информации на основе места и направления, в которых блок формирования изображения захватывает цифровое изображение, в множестве элементов дополнительной информации элементы (i) представлены названиями объектов и т.д. и (ii) соответствуют информации объекта, содержащегося в цифровом изображении, захваченном блоком формирования изображения; блок выбора, выполненный с возможностью выбирать соответствующий один элемент из множества элементов дополнительной информации, который должен быть отображен, среди множества элементов дополнительной информации, полученного блоком получения дополнительной информации; и блок отображения, выполненный с возможностью отображать соответствующий один элемент из множества элементов дополнительной информации с наложением на цифровое изображение, захваченное блоком формирования изображения, соответствующий один элемент из множества элементов дополнительной информации выбран блоком выбора.
Кроме того, система фильтрации изображения местности в соответствии с аспектом B варианта осуществления 1 содержит: устройство захвата изображения, выполненное с возможностью захватывать цифровое изображение; и сервер обеспечения дополнительной информации, который передает множество элементов дополнительной информации об объектах, причем устройство захвата изображения, содержит: блок получения информации позиции захвата изображения, выполненный с возможностью получать информацию позиции, указывающую место, в котором блок формирования изображения захватывает цифровое изображение; блок получения направления захвата изображения, выполненный с возможностью получать направление, в котором блок формирования изображения захватывает цифровое изображение; блок передачи, выполненный с возможностью передавать место и направление, которые получены, на сервер обеспечения дополнительной информации; блок получения дополнительной информации, выполненный с возможностью получать от сервера обеспечения дополнительной информации множество элементов дополнительной информации на основе места и направления, в которых блок формирования изображения захватывает цифровое изображение, в множестве элементов дополнительной информации элементы представлены названиями объектов и соответствуют информации объектов, содержащихся в цифровом изображении, захваченном блоком формирования изображения; и блок выбора, выполненный с возможностью выбирать соответствующий один элемент из множества элементов дополнительной информации, который должен быть отображен, среди множества элементов дополнительной информации, полученного блоком получения дополнительной информации; и блок отображения, выполненный с возможностью отображать соответствующий один элемент из множества элементов дополнительной информации с наложением на цифровое изображение, захваченное блоком формирования изображения, соответствующий один элемент из множества элементов дополнительной информации выбран блоком выбора, и сервер обеспечения дополнительной информации содержит: базу данных, которая хранит множество элементов дополнительной информации об объектах; блок приема, выполненный с возможностью принимать место и направление, которые получены; блок извлечения дополнительной информации, выполненный с возможностью извлекать из базы данных соответствующий один или более элементов из множества элементов дополнительной информации для каждого из объектов, содержащихся в цифровом изображении, в соответствии с принятой информацией; и блок передачи, выполненный с возможностью передавать извлеченную информацию.
В соответствии с аспектами A и B устройство захвата изображения может отображать только информацию, соответствующую цели пользователя, тем самым позволяя пользователю видеть улучшенный список множества элементов информации наземных ориентиров. Кроме того, поскольку картографический сервер, который передает информацию наземных ориентиров, не должен вычислять пространство обзора устройства захвата изображения, картографический сервер может уменьшить количество вычислений для получения информации наземных ориентиров. Кроме того, без вычисления пространства обзора информация наземных ориентиров, которая должна быть отображена устройством захвата изображения, может быть отображена таким образом, чтобы пользователь мог понять соответствие между информацией наземных ориентиров и фактическим изображением местности. Кроме того, устройство захвата изображения может уменьшить количество вычислений.
Фиг. 2-14, 38-44, 45 и 47-50 являются чертежами в соответствии с вариантом осуществления 1.
Фиг. 2 иллюстрирует конфигурацию варианта осуществления 1 настоящего изобретения.
Полная конфигурация варианта осуществления 1 (система 101) главным образом включает в себя устройство 102 захвата изображения и картографический сервер 120.
Устройство 102 захвата изображения формирует вспомогательную информацию на устройстве 102 захвата изображения с использованием блока 121 формирования описательной информации устройства захвата изображения и передает сформированную вспомогательную информацию картографическому серверу 120 через блок 112 связи. В качестве типичного примера предполагается, что устройство 102 захвата изображения 102 является цифровой фотокамерой.
Устройство 102 захвата изображения содержит блок 103 получения информации позиции, блок 106 получения направления захвата изображения, блок 111 получения информации фильтра, блок 121 формирования описательной информации устройства захвата изображения, блок 122 получения информации диапазона захвата изображения, блок 112 связи, блок 113 извлечения информации отображения, блок 114 формирования изображения, блок 115 обработки изображения, блок 116 обработки отображения с наложением и блок 117 отображения.
Блок 103 получения информации позиции содержит блок 104 обнаружения информации позиции, который получает информацию позиции устройства 102 захвата изображения, и блок 105 вывода информации позиции, который выдает информацию позиции. Блок 103 получения информации позиции является устройством, которое определяет и выдает позицию устройства 102 захвата изображения.
Система глобального позиционирования (GPS) предпочтительно используется в качестве типичного способа обнаружения информации позиции с помощью блока 104 обнаружения информации позиции. Однако получение информации позиции с помощью блока 104 обнаружения информации позиции не ограничено исключительным использованием системы GPS. В дополнение к системе GPS в качестве методики определения позиции могут использоваться датчик ускорения и датчик направления, когда система GPS не может быть использована, и дают тот же самый эффект, как использование системы GPS.
Кроме того, в качестве способа обнаружения информации позиции с помощью блока 104 обнаружения информации позиции может использоваться описанный далее способ. Другими словами, в таких местах, как экскурсионная зона, где много пользователей делают фотоснимки, информация позиции может быть заранее вынесена на знак и т.п., и пользователь может вручную получить такую информацию позиции. Таким образом, информация позиции может быть получена, даже когда не доступна информация позиции от системы GPS. Кроме того, с помощью такой методики можно ожидать минимизации ошибки измерения информации. Кроме того, информация позиции может храниться в QR-коде (коде быстрого ответа), который должен быть отображен на знаке, и информация позиции может быть считана посредством захвата QR-кода. Таким образом, пользователь не должен вручную вводить информацию позиции, и тем самым повышается удобство и предотвращается неправильный ввод информации позиции пользователем. Кроме того, без формирования такого QR-кода с информацией позиции тот же самый эффект, как при использовании системы GPS, может быть получен посредством широковещания информации позиции от беспроводной базовой станции, включающей в себя беспроводную локальную сеть и систему радиосвязи малой дальности, и получения информации позиции посредством устройства захвата изображения через блок 112 связи. Кроме того, помимо блока 112 связи, показанного на фиг. 2, может быть отдельно обеспечен блок связи для получения информации позиции. Такие конфигурации предназначены для дополнительного увеличения точности получения информации позиции с использованием способа беспроводной связи, в котором связь возможна только на коротком расстоянии.
Кроме того, блок 103 получения информации позиции может являться устройством, отдельным от устройства 102 захвата изображения. Например, с использованием функции для определения информации позиции, установленной в мобильном телефоне, информация позиции может быть передана с мобильного телефона на устройство 102 захвата изображения при связи с малой дальностью. Таким образом, устройство 102 захвата изображения не должно дополнительно содержать датчик для получения информации позиции, и тем самым может ожидаться эффект достижения миниатюризации и сокращения веса устройства 102 захвата изображения.
Далее, блок 106 получения направления захвата изображения содержит блок 107 обнаружения направления захвата изображения, который получает информацию направления, указывающую ориентацию линзы устройства 102 захвата изображения, и блок 108 вывода направления захвата изображения, который выдает информацию направления захвата изображения. Блок 106 получения направления захвата изображения является устройством, которое обнаруживает и выдает информацию направления устройства 102 захвата изображения. В качестве способа обнаружения направления захвата изображения может использоваться электромагнитный компас.
Далее, блок 122 получения информации диапазона захвата изображения получает информацию (информацию диапазона) о диапазоне, который будет захвачен устройством 102 захвата изображения. Информация диапазона представляет собой диапазон, который будет захвачен устройством 102 захвата изображения. Хотя блок 122 получения информации диапазона захвата изображения предпочтительно получает, например, информацию в диапазоне 10-270 градусов, информация не ограничена таким диапазоном, а может представлять собой информацию коэффициента масштабирования линзы и информацию ширины угла камеры. Кроме того, когда устройство 102 захвата изображения использует функцию масштабирования и т.д. и имеет ограничения по функциям, которые могут быть использованы устройством 102 захвата изображения, устройство 102 захвата изображения может получить информацию наибольшего диапазона, который может быть захвачен устройством 102 захвата изображения. Благодаря этому, когда устройство 102 захвата изображения получает информацию наземных ориентиров, даже в случае, если захватываемый диапазон изменяется в соответствии с выбором переключателя и изменением коэффициента масштабирования, устройство 102 захвата изображения плавно отображает информацию наземных ориентиров.
При этом информация, полученная устройством 102 захвата изображения для извлечения информации наземных ориентиров, такая как информация позиции и информация направления захвата изображения, которая определена устройством 102 захвата изображения, совместно называется описательной информацией устройства захвата изображения.
Далее будет описан блок 121 формирования описательной информации устройства захвата изображения. Информация, сформированная блоком 103 получения информации позиции, блоком 106 получения направления захвата изображения и блоком 122 получения информации диапазона захвата изображения, передается от блока передачи, содержащегося в блоке 112 связи (фиг. 2), на картографический сервер 120 как пакет (называемый описательной информацией устройства захвата изображения), к которому добавляется заголовок с помощью блока 121 формирования описательной информации устройства захвата изображения. Другими словами, блок 121 формирования описательной информации устройства захвата изображения получает каждую сформированную информацию и передает полученную информацию как описательную информацию устройства захвата изображения на картографический сервер 120.
Хотя адрес картографического сервера 120 предпочтительно заранее записан в памяти устройства 102 захвата изображения, этот адрес может быть изменен пользователем в соответствии с новой записью. Благодаря этому описательная информация устройства захвата изображения может быть передана на картографический сервер 120, имеющий новый адрес, даже когда адрес картографического сервера 120 изменен. Кроме того, даже когда другой картографический сервер начинает обслуживание, перенос системы пользователя становится более простым.
Затем блок 112 связи передает информацию позиции, полученную блоком 103 получения информации позиции, и информацию направления захвата изображения, полученную блоком 106 получения направления захвата изображения, на картографический сервер 120.
Блок 112 связи предпочтительно должен использовать беспроводную локальную сеть, но не обязательно ограничен этим. Блок 112 связи может использовать связь с помощью базовой станции, например мобильный телефон, систему персональных мобильных телефонов (PHS) и протокол глобальной совместимости для микроволнового доступа (WiMAX). В качестве альтернативы он может временно передать описательную информацию устройства захвата изображения на другое устройство связи, и другое устройство связи может передать описательную информацию устройства захвата изображения на картографический сервер 120. Например, возможная конфигурация состоит в том, что устройство 102 захвата изображения (блок 106 получения направления захвата изображения) передает описательную информацию устройства захвата изображения мобильному телефону с использованием связи малой дальности, такой как беспроводная локальная сеть, технология сверхширокой полосы пропускания (UWB) и технология ZigBee, и затем мобильный телефон передает описательную информацию устройства захвата изображения, переданную мобильному телефону, на картографический сервер 120. Блок 112 связи устройства 102 захвата изображения может быть миниатюризирован посредством процессов передачи данных от устройства 102 захвата изображения на другое устройство связи с помощью связи малой дальности и последующей передачи описательной информации устройства захвата изображения от другого устройства связи на картографический сервер 120. Кроме того, время работы устройства 102 захвата изображения может быть продлено, поскольку может быть минимизировано потребление электроэнергии для передачи описательной информации устройства захвата изображения.
Кроме того, когда устройство 102 захвата изображения, содержащее блок 112 связи, который имеет упомянутую выше конфигурацию, не может осуществить связь с картографическим сервером 120 из-за ухудшения в среде передачи радиоволн, информация позиции и информация захвата изображения могут быть временно сохранены в памяти устройства 102 захвата изображения. После того как связь с картографическим сервером 120 станет возможна, блок 112 связи может передать сохраненную информацию позиции и информацию захвата изображения на картографический сервер 120, и устройство 102 захвата изображения может добавить информацию наземных ориентиров, полученную от картографического сервера 120, к заголовку захваченного изображения. В качестве альтернативы, информация позиции и информация захвата изображения могут быть переданы посредством выполнения ближней связи с другим устройством (например, мобильным телефоном), которое может осуществить связь с картографическим сервером 120, с тем чтобы получить информацию наземных ориентиров от картографического сервера 120 через другое устройство.
Далее, картографический сервер 120 содержит базу 118 картографических данных и блок 119 извлечения информации наземных ориентиров.
База 118 картографических данных хранит информацию о наземных ориентирах (информацию наземных ориентиров) с информацией позиции. База 118 картографических данных хранит информацию наземных ориентиров, содержащую идентификатор каждого наземного ориентира, название наземного ориентира, широту, долготу, адрес, номера телефона, описательное имя, иерархический номер и приоритет. Иерархический номер, содержащийся в информации наземных ориентиров, предназначен для иерархического управления множеством элементов информации наземных ориентиров. Например, информация наземных ориентиров здания и наземные ориентиры арендаторов в здании могут храниться иерархически посредством присвоения одной и той же широты и долготы для здания и арендаторов в качестве каждого элемента информации наземных ориентиров и присвоения более высокого приоритета иерархическому порядку здания, чем иерархическому порядку каждого из арендаторов. Кроме того, информация наземных ориентиров содержит все данные, описания и метаданные, которые должны быть сохранены в базе 118 картографических данных. Хотя типичными примерами информации наземных ориентиров являются названия зданий и сооружений, такие как "Здание A", "Храм B", "Гора C", описательная информация предприятий общественного питания и мест отдыха, например информация адреса URL и информация купона каждого из предприятий общественного питания, информационное содержание, созданное пользователем через картографический сервер, и метаданные, информация наземных ориентиров не ограничивается этим. Например, дневники, написанные пользователем и содержащиеся в службе социальной сети (SNS), привязанной к картографическому серверу, и такая информация, как изображения, видео и метаданные, также относятся к информации наземных ориентиров.
Затем блок 119 извлечения информации наземных ориентиров извлекает информацию наземных ориентиров, содержащихся в изображении, захваченном устройством 102 захвата изображения, и информацию наземных ориентиров периферии изображения из базы 118 картографических данных на основе описательной информации устройства захвата изображения, полученной от устройства 102 захвата изображения, и передает извлеченную информацию устройству 102 захвата изображения. Даже когда пользователь выполняет операцию панорамирования или изменения масштаба изображения на устройстве 102 захвата изображения, в то время как блок 119 извлечения информации наземных ориентиров передает информацию наземных ориентиров периферии изображения, устройство 102 захвата изображения может отобразить информацию наземных ориентиров без какого-либо времени ожидания с использованием ранее переданной информации периферии изображения.
Информация наземных ориентиров, переданная картографическим сервером 120, ограничена важной информацией, такой как название здания. По желанию такая информация, как адрес URL или метаданные, может быть повторно передана от картографического сервера 120, когда устройство 102 захвата изображения запрашивает информацию, или устройство 102 захвата изображения заранее должно задать тип информации наземных ориентиров, которая должна передаваться. Поскольку такой процесс уменьшает количество данных, которые должны извлекаться блоком 119 извлечения информации наземных ориентиров из базы 118 картографических данных, можно ожидать эффекта ускорения извлечения. Кроме того, поскольку размер данных информации наземных ориентиров, переданной от картографического сервера 120 на устройство 102 захвата изображения, уменьшен, можно ожидать достижения эффекта сокращения времени ожидания для устройства 102 захвата изображения при получении информации наземных ориентиров.
Затем блок приема, содержащийся в блоке 112 связи устройства 102 захвата изображения, передает информацию наземных ориентиров, принятую от картографического сервера 120, блоку 113 извлечения информации отображения.
Блок 111 получения информации фильтра содержит блок 109 обнаружения информации фильтра, который обнаруживает информацию о фильтрации информации наземных ориентиров, полученной от картографического сервера 120, для отображения только той информации наземных ориентиров, которая предпочтительна пользователю, и блок 110 вывода информации фильтра, который передает информацию, обнаруженную блоком 109 обнаружения информации фильтра.
Фиг. 3 иллюстрирует подробные сведения о блоке 109 обнаружения информации фильтра.
Блок 109 обнаружения информации фильтра, содержащий блок 201 обнаружения информации разрешения отображения и блок 202 обнаружения категории пользователя, выполняет фильтрацию полученной из них информации обнаружения.
Блок 201 обнаружения информации разрешения отображения обнаруживает информацию разрешения блока 117 отображения (фиг. 2), который отображает информацию изображения, захваченную устройством 102 захвата изображения и информацию наземных ориентиров с наложением. Блок 210 обнаружения информации разрешения отображения может представлять собой память для информации разрешения.
Далее, блок 202 обнаружения категории пользователя обнаруживает информацию категории отображаемых наземных ориентиров в соответствии с пользователем. Далее описаны примеры категорий отображаемых наземных ориентиров в соответствии с пользователем. Категории наземных ориентиров включают в себя: названия городов и областей; предприятия общественного питания, представленные ресторанами, кафе и барами; жилые помещения; категории, созданные форумами картографических серверов; категории магазинов и сервисных служб, представленные супермаркетами и мини-маркетами, службами проката кинофильмов и DVD-дисков, аптеками, банками, торговыми центрами и универмагами; категории транспорта, представленные аэропортами, станциями и автозаправочными пунктами; ландшафтные категории, представленные названиями гор и рек; категории экскурсионных зон, представленные местами поклонения и храмами и горячими источниками; категории сооружений, такие как парки, школы, больницы, библиотеки и почтовые отделения; и категории информации о дорожном движении для отображения информации о дорожном движении. Однако категории наземных ориентиров не ограничены этими категориями.
Блок 113 извлечения информации отображения (фиг. 2) фильтрует информацию наземных ориентиров на основе информации фильтра, полученной от блока 111 получения информации фильтра. Более конкретные способы фильтрации будут описаны позже. Блок 113 извлечения информации отображения передает отфильтрованную информацию наземных ориентиров блоку 116 обработки отображения с наложением.
Устройство 102 захвата изображения получает изображение местности через блок 114 формирования изображения. После выполнения обработки изображения блок 115 обработки изображения передает данные изображения местности блоку 116 обработки отображения с наложением.
Затем блок 116 обработки отображения с наложением выполняет обработку для отображения информации наземных ориентиров, извлеченной блоком 113 извлечения информации отображения, с наложением на данные изображения местности, полученные блоком 115 обработки изображения. Когда информация наземных ориентиров не отображается с наложением в соответствии с действием пользователя, блок 116 обработки отображения с наложением передает данные изображения от блока 115 обработки изображения 115 блоку 117 отображения без процесса наложения изображения.
Затем блок 117 отображения отображает информацию захвата изображения и информацию наземных ориентиров с наложением. Поскольку блок 117 отображения снабжен кнопками и функцией сенсорного экрана, он может иметь функцию отображения более подробной информации наземных ориентиров в ответ на действие пользователя.
Фиг. 4 показывает пример формата данных, которые должны быть переданы от устройства 102 захвата изображения на картографический сервер 120.
К данным, которые должны быть переданы от устройства 102 захвата изображения на картографический сервер 120, добавляются универсальное координированное время, информация широты и информация долготы, указывающие информацию позиции захвата, направление движения, указывающее направление захвата изображения относительно севера, информация диапазона захвата изображения и информация идентификатора устройства 102 захвата изображения.
Информация идентификатора устройства 102 захвата изображения используется для распознавания идентификации устройства 102 захвата изображения, которое обращается к картографическому серверу 120. Идентификатор может представлять собой любой идентификатор, который однозначно определяет устройство 102 захвата изображения. То же самое преимущество, как с использованием информации идентификатора, может быть получено с использованием MAC-адреса устройства беспроводной связи. Кроме того, идентификатор устройства 102 захвата изображения не обязательно ограничен одним идентификатором. Например, когда несколько пользователей совместно используют устройство 102 захвата изображения, идентификатор может быть создан для каждого из пользователей.
Формат данных, которые должны быть переданы, не ограничен описанным здесь форматом. Точность информации позиции может быть улучшена с использованием вычисления поправки посредством дифференциальной системы GPS (DGPS), при помощи добавления к формату данных качества системы GPS, количества спутников системы GPS, c которых может быть принята информация, возраста данных системы DGPS, идентификатора опорной станции системы GPS.
Далее будут описаны режимы устройства захвата изображения. Устройство 102 захвата изображения имеет (i) нормальный режим захвата изображения для захвата изображений, (ii) режим захвата с отображением наземных ориентиров для отображения наземных ориентиров на экране при получении информации для захвата изображения и информации периферии и (iii) режим воспроизведения для воспроизведения захваченного изображения на экране. Пользователь может установить любой режим через функциональный интерфейс.
Когда пользователь нацеливает устройство 102 захвата изображения на объект, который должен быть захвачен, устройство 102 захвата изображения отображает изображение, содержащее объект, и информацию наземных ориентиров объекта на экране в режиме захвата с отображением наземных ориентиров. Далее описан процесс получения информации наземных ориентиров объекта, который должен быть захвачен, в режиме захвата с отображением наземных ориентиров посредством устройства 102 захвата изображения.
Фиг. 5 показывает блок-схему последовательности операций, указывающую процессы, выполняемые устройством 102 захвата изображения, от захвата изображения местности до передачи описательной информации устройства захвата изображения на картографический сервер 120.
Когда пользователь переключает режим на режим отображения наземных ориентиров с использованием переключателя и других средств (этап S401), устройство 102 захвата изображения переходит в режим отображения наземных ориентиров (этап S402). Блок 121 формирования описательной информации устройства захвата изображения из устройства 102 захвата изображения (фиг. 2) формирует описательную информацию устройства захвата изображения (этап 404) и передает эту информацию на картографический сервер 120 (этап 405).
Далее будет описан вариант изменения устройства 102 захвата изображения. Хотя описательная информация устройства захвата изображения включает в себя информацию позиции устройства 102 захвата изображения и информацию о направлении захвата изображения, блок 104 обнаружения информация позиции и блок 107 обнаружения направления захвата изображения могут быть обеспечены отдельно в другом устройстве, что исключает их из основного блока захвата (устройства 102 захвата изображения). Например, блок приема (см. блок 112 связи на фиг. 2) устройства захвата изображения (устройства 102 захвата изображения) может принять информацию позиции и направление захвата изображения, которые получены мобильным телефоном, содержащим блок 104 обнаружения информации позиции и блок 107 обнаружения направления захвата изображения. Поскольку устройство 102 захвата изображения, содержащее устройство беспроводной связи малой дальности, может получить информацию позиции и направление захвата изображения через мобильный телефон, оно не содержит блок обнаружения, такой как датчик для обнаружения информации позиции и направления захвата изображения. Таким образом, имеется эффект предоставления возможности миниатюризации устройства 102 захвата изображения.
Далее будут описаны подробности процесса передачи описательной информации устройства захвата изображения посредством устройства 102 захвата изображения на этапе 405. Устройство 102 захвата изображения передает информацию на картографический сервер 120, указанный с помощью сетевого адреса. При этом устройство 102 захвата изображения использует сетевой адрес (адрес URL) картографического сервера 120, сохраненный в области памяти устройства 102 захвата изображения 102 в качестве информации настроек устройства. Сохраненный адрес картографического сервера 120 может быть изменен пользователем на любой адрес с использованием функционального интерфейса устройства 102 захвата изображения.
Фиг. 6 показывает блок-схему последовательности операций, показывающую процессы, выполняемые картографическим сервером 120, от приема описательной информации устройства захвата изображения до передачи информации наземных ориентиров на устройство 102 захвата изображения.
Картографический сервер 120 сначала проверяет, следует ли принять описательную информацию устройства захвата изображения (этап 501). После приема описательной информации устройства захвата изображения картографический сервер 120 анализирует описательную информацию устройства захвата изображения, обращается к базе 118 картографических данных (этап 502) и получает информацию наземных ориентиров (информацию наземных ориентиров в диапазоне захвата изображения), содержащихся в изображении местности, захваченном устройством захвата 102 изображения (этап 503). Картографический сервер 120 передает полученную информацию наземных ориентиров в диапазоне захвата изображения на устройство 102 захвата изображения (этап 504). После передачи информации наземных ориентиров в диапазоне захвата изображения на устройство 102 захвата изображения картографический сервер 120 получает информацию наземных ориентиров на периферии диапазона захвата изображения (информацию наземных ориентиров на периферии захваченного изображения ) (этап 505) и передает полученную информацию наземных ориентиров на периферии захваченного изображения на устройство 102 захвата изображения (Этап 506).
Далее будет подробно описан способ на этапе S505 для получения информации наземных ориентиров картографическим сервером 120 на основе описательной информации устройства захвата изображения, принятой на этапе S503.
Фиг. 7 иллюстрирует области, в которых картографический сервер 120 получает информацию наземных ориентиров на основе описательной информации устройства захвата изображения.
Картографический сервер 120 принимает описательную информацию устройства захвата изображения, содержащую информацию позиции и информацию направления, переданную устройством 102 захвата изображения (этап 501 на фиг. 6). Затем блок 119 извлечения информации наземных ориентиров картографического сервера 120 извлекает из базы 118 картографических данных информацию наземных ориентиров на карте в диапазоне (диапазоне получения информации наземных ориентиров диапазона захвата изображения), который немного больше, чем диапазон захвата изображения, полученный из описательной информации устройства захвата изображения (диапазон захвата изображения устройства 102 захвата изображения, который представлен пунктирной линией на фиг. 7) (этап 503).
Диапазон захвата изображения представляет собой имеющий форму сектора диапазон, как проиллюстрировано на фиг. 7. Позиция центрального угла сектора представляет собой позицию устройства 102 захвата изображения. Кроме того, биссектриса центрального угла сектора, а именно направленная вверх стрелка на фиг. 7, соответствует направлению захвата изображения, в котором устройство 102 захвата изображения захватывает изображение. Кроме того, центральный угол сектора представляет собой информацию диапазона захвата изображения, содержащуюся в описательной информации устройства захвата изображения.
Кроме того, заранее заданное значение, хранимое картографическим сервером 120, используется в качестве радиуса сектора, представляющего собой диапазон получения информации наземных ориентиров диапазона захвата изображения, другими словами, в качестве расстояния от устройства 102 захвата изображения до дуги диапазона получения информации наземных ориентиров диапазона захвата изображения.
В качестве заранее заданного значения предпочтительно установлен 5-километровый радиус от устройства 102 захвата изображения. Если предположить, что устройство 102 захвата изображения расположено на высоте 1,5 метра над поверхностью земли, 5-километровый радиус является приблизительным расстоянием до горизонта. Однако заранее заданное значение не обязательно равно 5 километрам. Например, высота позиции устройства 102 захвата изображения вычисляется с использованием информации позиции устройства 102 захвата изображения и информации высоты над уровнем моря, хранящейся на картографическом сервере 120, и предполагается, что устройство 102 захвата изображения расположено, например, на 1,5 метра выше поверхности земли. Тогда расстояние от устройства 102 захвата изображения до горизонта, вычисленное на основе высоты над уровнем моря устройства 102 захвата изображения, устанавливается равным радиусу наземных ориентиров, извлеченному посредством блока 119 извлечения информации наземных ориентиров, содержащегося в картографическом сервере 120, а именно заранее заданному значению. В соответствии с этим диапазон информации наземных ориентиров может быть сужен более точно.
Фиг. 8 показывает пример диапазона информации наземных ориентиров, которая будет передана от картографического сервера 120 на устройство 102 захвата изображения.
Диапазон получения информации наземных ориентиров на периферии захваченного изображения, показанный на фиг. 7, имеет угол сектора, который шире угла диапазона получения информации наземных ориентиров диапазона захвата изображения, находящегося внутри диапазона получения информации наземных ориентиров на периферии захваченного изображения. Как проиллюстрировано на фиг. 8, картографический сервер 120 сначала передает информацию наземных ориентиров диапазона захвата изображения на устройство 102 захвата изображения (этап 504 на фиг. 6), получает информацию наземных ориентиров в информации наземных ориентиров периферии захваченного изображения (этап 505) и передает полученную информацию наземных ориентиров периферии захваченного изображения на устройство 102 захвата изображения (этап 506). Чтобы осуществить процессы, время ожидания формирования информации наземных ориентиров диапазона захвата изображения сокращается, и устройство 102 захвата изображения хранит информацию наземных ориентиров периферии диапазона захваченного изображения. Эти процессы принесут эффект предоставления возможности быстрого отображения информации наземных ориентиров без повторного ожидания процесса получения информации наземных ориентиров, выполняемого картографическим сервером 120, когда устройство 102 захвата изображения 102 осуществляет панорамирование.
Фиг. 8 показывает пример, в котором: угол сектора, покрывающего диапазон получения информации наземных ориентиров на периферии захваченного изображения, равен 140 градусам в пределах диапазона приблизительно от 250 до 110 градусов (250-110=140); угол сектора, покрывающего диапазон получения информации наземных ориентиров диапазона захвата изображения, равен 109 градусам (<140 градусов) в пределах диапазона приблизительно от 237 до 128 градусов (237-128=109); и угол сектора, покрывающего диапазон захвата изображения (угол обзора) равен 55 градусам (<82 градусов<140 градусов) в пределах диапазона приблизительно от 210 до 155 градусов (210-155=55).
Блок 119 извлечения информация наземных ориентиров (фиг.2) извлекает множество элементов информации наземных ориентиров из базы 118 картографических данных и передает извлеченное множество элементов информации наземных ориентиров на устройство 102 захвата изображения, которое передало описательную информацию устройства захвата изображения.
Блок приема (см. блок 112 связи на фиг.2) устройства 102 захвата изображения принимает множество элементов информации наземных ориентиров, переданное от картографического сервера 120, и блок 117 отображения отображает на экране устройства 102 захвата изображения часть множества или все множество элементов информации наземных ориентиров, принятое блоком приема, вместе с захваченными изображениями, полученными блоком 114 формирования изображения и блоком 115 обработки изображения. Устройство 102 захвата изображения хранит один из режимов отображения всех наземных ориентиров, в котором отображается вся информация наземных ориентиров, и отображения части наземных ориентиров, в котором отображается часть информации наземных ориентиров, в области памяти блока хранения, содержащегося в устройстве захвата 102 изображения, в качестве информации настройки отображения наземных ориентиров.
Такая настройка отображения наземных ориентиров позволяет пользователю изменять текущий режим отображения на любой режим отображения наземных ориентиров с использованием функционального интерфейса устройства 102 захвата изображения. Другими словами, устройство 102 захвата изображения может изменить информацию настройки отображения наземных ориентиров, которая будет сохранена, в ответ на операцию функционального интерфейса.
Фиг. 9 показывает блок-схему последовательности операций процесса, выполняемого устройством 102 захвата изображения, для отображения информации наземных ориентиров и чтобы заставить блок 117 отображения отображать информацию наземных ориентиров с наложением.
Поскольку операция, выполняемая устройством 102 захвата изображения над информацией наземных ориентиров диапазона захвата изображения, является в основном такой же операцией, которая выполняется над диапазоном получения информации наземных ориентиров периферии захваченного изображения, эти элементы информации наземных ориентиров вместе называются информацией наземных ориентиров, и далее описывается способ фильтрации информации наземных ориентиров.
Когда устройство 102 захвата изображения принимает множество элементов информации наземных ориентиров от картографического сервера 120 ("да" на этапе 801), оно получает информацию фильтра для фильтрации информации наземных ориентиров, которая будет отображена, из принятого множества элементов информации наземных ориентиров (этап 803). Информация фильтра будет описана подробно позже. Устройство 102 захвата изображения выполняет фильтрацию принятой информации наземных ориентиров на основе информации фильтра и отображает информацию наземных ориентиров с наложением на захваченное изображение местности с использованием блока 117 отображения.
Устройство 102 захвата изображения проверяет, следует ли получить множество элементов информации наземных ориентиров от картографического сервера 120 (этап 801). Когда устройство 102 захвата изображения принимает множество элементов информации наземных ориентиров, оно определяет, следует ли отображать все наземные ориентиры, которые затем должны быть приняты. Устройство 102 захвата изображения сохраняет параметры настройки изображения всех наземных ориентиров в блоке хранения для того, чтобы определить, должны ли быть отображены все наземные ориентиры. Когда параметры настройки отображения показывают, что отображаются все наземные ориентиры ("да" на этапе 802), определяется, что должны отображаться все принятые наземные ориентиры. Когда параметры настройки отображения не показывают индикацию отображения ("нет" на этапе 802), отображается только часть наземных ориентиров, а не все наземные ориентиры.
Параметры настройки отображения по желанию устанавливаются пользователем. Например, пользователь переключает кнопку отображения наземных ориентиров, с тем чтобы устройство 102 захвата изображения могло переключаться между режимом отображения всех наземных ориентиров и режимом, в котором должен отображаться только отфильтрованный наземный ориентир.
Когда должны быть отображены все наземные ориентиры ("да" на этапе 802), устройство 102 захвата изображения отображает захваченное изображение местности, полученное через линзу устройства 102 захвата изображения, и информацию наземных ориентиров, полученную от картографического сервера 120, с наложением с использованием блока 116 обработки отображения с наложением (этап 805).
Напротив, когда не должны быть отображены все наземные ориентиры ("да" на этапе 802), устройство 102 захвата изображения отображает только информацию наземных ориентиров, которая была отфильтрована (этапы 803-805). Блок 113 извлечения информации отображения сначала получает информацию о фильтрации информации наземных ориентиров от блока 111 получения информации фильтра (этап 803) и извлекает информацию наземных ориентиров, которая должна быть отображена, на основе полученной информация фильтра (этап 804). Блок 116 обработки отображения с наложением отображает извлеченную информацию наземных ориентиров с наложением на изображение местности, полученное блоком 115 обработки изображения (этап 805).
Далее описывается способ фильтрации.
Когда в устройстве 102 захвата изображения установлен режим отображения части наземных ориентиров, блок 113 извлечения информации отображения извлекает информацию наземных ориентиров, которая должна быть отображена, из множества элементов информации наземных ориентиров, принятого от картографического сервера 120. Устройство 102 захвата изображения выполняет фильтрацию на основе описательной информации устройства захвата изображения, полученной из составляющих элементов в устройстве 102 захвата изображения. Более определенно, устройство 102 захвата изображения сужает поле, в котором отображается информация наземных ориентиров, в соответствии с коэффициентом масштабирования устройства 102 захвата изображения и расстоянием от позиции захвата. Другими словами, устройство 102 захвата изображения сужает информацию наземных ориентиров до поля, соответствующего расстоянию, и изменяет название наземного ориентира, который должен быть отображен, в соответствии с разрешающей способностью отображения.
Как описано выше, картографический сервер 120 хранит множество элементов информации наземных ориентиров, которые хранятся иерархически. Более определенно, картографический сервер 120 хранит более подробную информацию наземных ориентиров по мере того, как иерархический уровень становится глубже (больше). Например, названия зданий хранятся на более высоком иерархическом уровне, название одного из зданий хранится на иерархическом уровне, расположенном ниже, чем иерархический уровень зданий, и названия арендаторов в здании хранятся на иерархическом уровне, расположенном еще ниже, чем иерархический уровень здания. Другими словами, картографический сервер 120 хранит не только информацию наземных ориентиров, но также и иерархические отношения между (i) множеством элементов информации наземных ориентиров всех наземных ориентиров, которые выше по рангу, и (ii) множеством элементов информации наземных ориентиров части наземных ориентиров, которые ниже по рангу. Таким образом, множество элементов информации наземных ориентиров, которые должны быть сохранены, иерархически разделено.
Устройство 102 захвата изображения разделяет пространство, захваченное устройством 102 захвата изображения, на поля в соответствии с расстоянием от устройства 102 захвата изображения для отображения информации наземных ориентиров, переданной от картографического сервера 120. Затем устройство 102 захвата изображения определяет максимальное количество наземных ориентиров, которое может быть отображено в поле, в соответствии с информацией разрешающей способности устройства 102 захвата изображения. Устройство 102 захвата изображения увеличивает максимальное количество отображаемых наземных ориентиров по мере увеличения разрешающей способности изображения, которое должно быть отображено.
Фиг. 10 иллюстрирует названия пространств, которые разделяют множество элементов информации наземных ориентиров.
Информация наземных ориентиров, хранимая базой 118 картографических данных (фиг. 2), содержащейся в картографическом сервере 120, включает в себя информацию позиции, показывающую, какому пространству (полю сетки) на фиг. 10 принадлежит позиция наземного ориентира из информации наземных ориентиров.
Окружение устройства 102 захвата изображения разделено на поля в соответствии с тем, находится ли расстояние от устройства 102 захвата изображения в заранее заданном диапазоне, как проиллюстрировано на фиг. 10. Фиг. 10 иллюстрирует случай, в котором окружение устройства 102 захвата изображения разделено на 3 поля. Разделенные поля определены как первое поле на коротком расстоянии, второе поле на среднем расстоянии и третье поле на далеком расстоянии.
Кроме того, как проиллюстрировано на фиг. 10, окружение устройства 102 захвата изображения разделено на поля в соответствии с тем, находится ли угол относительно направления захвата изображения устройства 102 захвата изображения в заранее заданном диапазоне, и диапазон захвата изображения горизонтально разделен на эти поля. В дальнейшем каждое из этих разделенных полей называется диапазоном. Тогда диапазон в близости по направлению захвата изображения называется первым диапазоном, более широкий диапазон, чем первый диапазон, называется вторым диапазоном и намного более широкий диапазон, который шире второго диапазона, называется третьим диапазоном.
В дальнейшем одно пространство, разделенное на поля или диапазоны, называется сеточным полем.
В соответствии с операцией приближения, выполняемой устройством 102 захвата изображения, уменьшается ширина диапазона, который должен быть захвачен. Когда устанавливается больший коэффициент масштабирования, угол диапазона захвата изображения уменьшается. В соответствии с этой особенностью устройство 102 захвата изображения устанавливает угол диапазона, который должен использоваться для фильтрации, равным меньшему углу. Например, предположим случай, в котором диапазон захвата изображения разделен на 3 диапазона. Когда коэффициент масштабирования увеличивается, ширина диапазона, который должен использоваться, уменьшается. Другими словами, когда коэффициент масштабирования увеличивается, ширина диапазона, который должен использоваться, относительно увеличивается.
При этом количество полей, диапазонов, иерархических уровней не ограничено описанным здесь. Кроме того, устройство 102 захвата изображения предпочтительно имеет многоосевой датчик для разделения пространства на диапазоны. Другими словами, выполняя обычную операцию захвата, устройство 102 захвата изображения обнаруживает ориентацию устройства 102 захвата изображения с использованием электромагнитного компаса для обнаружения отклонения в горизонтальном направлении. Когда устройство 102 захвата изображения наклонено на 90 градусов относительно ориентации обычной операции захвата для захвата изображения, которое является более длинным по вертикали, предпочтительно, чтобы электромагнитный компас был переключен на электромагнитный компас для обнаружения отклонения устройства 102 захвата изображения в горизонтальном направлении, с тем чтобы электромагнитный компас использовался для установки направления, в котором ориентировано устройство 102 захвата изображения, и для разделения диапазонов. Таким образом, даже когда устройство 102 захвата изображения повернуто на 90 градусов, становятся возможными точная установка диапазонов и обнаружение направления захвата изображения.
Устройство 102 захвата изображения определяет верхний предел количества наземных ориентиров, которые будут отображены в одном сеточном поле, в соответствии с разрешающей способностью, при которой устройство 102 захвата изображения захватывает изображение. Чем выше становится разрешающая способность, тем больше количество наземных ориентиров, которые будут отображены для поля.
Далее описывается пример, в котором верхний предел количества наземных ориентиров, которые будут отображены в одном сеточном поле (максимальное количество наземных ориентиров, которые будут отображены в сеточном поле), равен 2. В дальнейшем имеются случаи, когда сеточное поле упоминается просто как поле для удобства написания.
Упомянутые выше пункты будут подробно описаны позже.
Фиг.11 иллюстрирует количество наземных ориентиров в каждом иерархическом уровне и иерархические уровни наземных ориентиров, которые будут фактически отображены.
Каждый элемент информации наземных ориентиров, хранимый в базе 118 картографических данных (фиг.2), содержащейся в картографическом сервере 120, содержит иерархическую информацию, указывающую иерархический уровень, которому принадлежит наземный ориентир из информации наземных ориентиров. Иерархическая информация показывает: (i) когда иерархический уровень наземного ориентира ниже, чем другие иерархические уровни наземных ориентиров, приоритет наземного ориентира ниже по рангу; (ii) когда иерархический уровень наземного ориентира такой же, как у других наземных ориентиров, наземный ориентир находится в том же самом ранге, как другие наземные ориентиры; и (iii) когда иерархический уровень наземного ориентира выше, чем у других наземных ориентиров, приоритет наземного ориентира выше по рангу. Иерархическая информация соответствует описанному выше иерархическому отношению.
Затем устройство 102 захвата изображения извлекает через блок 113 извлечения информации отображения часть множества элементов информации наземных ориентиров, определенную иерархической информацией, содержащейся в каждом элементе информации наземных ориентиров, из множества элементов информации наземных ориентиров, полученного картографическим сервером 120. Другими словами, оно выбирает и отображает один или более элементов информации наземных ориентиров, которые были извлечены из множества элементов информации наземных ориентиров.
Например, на фиг. 11 информация наземных ориентиров представлена крестиком в пределах первого диапазона в третьем поле. Информация наземных ориентиров принадлежит первому иерархическому уровню и содержит иерархическую информацию, указывающую первый иерархический уровень. Другая информация наземных ориентиров, которая представлена крестиком в пределах второго диапазона в третьем поле второго иерархического уровня на фиг. 11 и которая отличается от информации наземных ориентиров на первом иерархическом уровне, показывает пример информации наземных ориентиров, принадлежащей второму иерархическому уровню.
Устройство 102 захвата изображения отображает даже информацию наземного ориентира, который находится на самом глубоком иерархическом уровне, таким образом, чтобы не превысить количество отображаемых наземных ориентиров в сеточном поле.
Тогда, когда количество наземных ориентиров с самым высоким рангом, а именно на первом иерархическом уровне на фиг. 11, превышает максимальное количество наземных ориентиров, которые должны быть отображены в сеточном поле, устройство 102 захвата изображения отображает наземные ориентиры таким образом, чтобы не превысить максимальное количество наземных ориентиров, которые должны быть отображены в сеточном поле, посредством задания приоритета сеточному полю в диапазоне, расположенном ближе к центру диапазонов.
Предположим случай, в котором максимальное количество наземных ориентиров, которые должны быть отображены в одном сеточном поле, равно 2. В третьем поле, поскольку количество наземных ориентиров на первом иерархическом уровне равно 1, количество наземных ориентиров на втором иерархическом уровне равно 2, и количество наземных ориентиров на третьем иерархическом уровне равно 4, должна быть отображена соответствующая информация наземных ориентиров вплоть до второго иерархического уровня, имеющего такое же количество наземных ориентиров, как максимальное количество наземных ориентиров, отображаемых в поле сетки. Кроме того, во втором поле количество наземных ориентиров на третьем иерархическом уровне равно 1 и количество наземных ориентиров на четвертом иерархическом уровне равно 2, поэтому должны быть отображены наземные ориентиры на четвертом иерархическом уровне. Кроме того, количество наземных ориентиров в первом поле первого иерархического уровня уже превышает максимальное количество отображаемых наземных ориентиров. В этом случае устройство 102 захвата изображения фильтрует наземные ориентиры, которые должны быть отображены, в соответствии с диапазоном. Другими словами, поскольку количество наземных ориентиров в первом поле и в первом диапазоне равно 2, и количество наземных ориентиров в первом поле и во втором диапазоне равно 4 должны быть отображены наземные ориентиры в первом поле и в первом диапазоне.
При этом поле, которое будет отображено, может быть извлечено в соответствии с коэффициентом масштабирования устройства 102 захвата изображения.
Фиг. 12 иллюстрирует пример таблицы соответствия между коэффициентами масштабирования и полями отображения.
Устройство 102 захвата изображения выполняет извлечение в соответствии с коэффициентом масштабирования в следующей процедуре, описанной со ссылкой на фиг. 12.
Окружение устройства 102 захвата изображения разделено на 3 поля расстоянием от позиции захвата, и устройство 102 захвата изображения имеет функцию изменения масштаба изображения для захвата изображения с коэффициентом масштабирования в пределах от 1 до 10 в качестве функции оптического масштабирования (физически управляемое изменение масштаба изображения с помощью линзы). Таким образом, устройство 102 захвата изображения извлекает информацию наземных ориентиров: первого поля (поля короткого расстояния) с коэффициентом масштабирования от 1 до 3; второго поля (поля среднего расстояния) с коэффициентом масштабирования от 3 до 6; и третьего поля (поля далекого расстояния) с коэффициентом масштабирования от 6 до 10. Другими словами, устройство 102 захвата изображения извлекает наземный ориентир, расположенный ближе к позиции захвата изображения, когда коэффициент масштабирования ниже, и извлекает наземный ориентир, расположенный далеко от позиции захвата изображения, когда коэффициент масштабирования выше. Посредством этого может быть отображена только та информация наземных ориентиров в поле, которую пользователь желает знать, и тем самым повышается удобство пользователя.
Способы выбора иерархических порядков наземных ориентиров включают в себя: способ извлечения наземных ориентиров в иерархическом порядке не ниже второго иерархического порядка; способ извлечения наземных ориентиров в иерархическом порядке, имеющем наименьшее количество наземных ориентиров; и способ извлечения наземных ориентиров в иерархическом порядке, который предопределен пользователем. Кроме того, иерархический порядок может быть автоматически выбран так, чтобы количество наземных ориентиров наилучшим образом приближалось к максимальному количеству наземных ориентиров, которые должны быть отображены.
Кроме того, поле отображения не обязательно определено в соответствии с коэффициентом масштабирования. Поле отображения может быть изменено в соответствии с фокусным расстоянием устройства 102 захвата изображения, а не коэффициентом масштабирования. Другими словами, на фиг. 11, когда фокусное расстояние устройства 102 захвата изображения является более коротким, отображается наземный ориентир объекта, присутствующего в первом поле. Когда фокусное расстояние устройства 102 захвата изображения является более длинным, отображается наземный ориентир объекта в третьем поле. Когда устройство 102 захвата изображения имеет функцию автофокусировки, пользователь может получить информацию наземных ориентиров объекта, которую пользователь желает знать, без управления кнопкой масштабирования устройства 102 захвата изображения.
Кроме того, когда распознается человеческое лицо в случае, когда устройство 102 захвата изображения имеет функцию фокусировки с распознаванием лица для фокусировки на лице, и функция фокусировки с распознаванием лица не активизирована, поле отображения, в котором отображаются наземные ориентиры, может быть определено в соответствии с фокусным расстоянием. Когда функция фокусировки с распознаванием лица активизирована, устройство 102 захвата изображения может быть оборудовано функцией для перехода в режим для определения поля отображения с функцией масштабирования устройства 102 захвата изображения. Таким образом, когда в пределах изображения местности появляется лицо пешехода, фокусное расстояние изменяется без внезапного изменения в поле изображения в устройстве 102 захвата изображения, оборудованном функцией фокусировки с распознаванием лица, что тем самым приводит к стабилизации в поле отображения наземных ориентиров.
Кроме того, когда количество элементов информации наземных ориентиров, извлеченных с использованием расстояния захвата и иерархического порядка, превышает максимальное количество наземных ориентиров, которое должно быть отображено, устройство 102 захвата изображения сужает количество элементов информации наземных ориентиров, выбирая один или более приоритетов. Например, способы извлечения наземных ориентиров с использованием приоритетов включают в себя: способ извлечения наземных ориентиров, имеющих заранее заданный или больший приоритет; способ извлечения наземных ориентиров, имеющих самый высокий приоритет; и способ извлечения наземных ориентиров, имеющих приоритет, заранее заданный пользователем. Кроме того, приоритеты могут быть автоматически выбраны так, чтобы количество наземных ориентиров наилучшим образом приближалось к верхнему пределу количества наземных ориентиров, которые должны быть отображены.
При этом устройство 102 захвата изображения может извлечь наземный ориентир на основе подполей, полученных посредством горизонтального разделения поля, в котором отображено множество элементов информации наземных ориентиров. Например, устройство 102 захвата изображения извлекает информацию наземных ориентиров, содержащихся в заранее заданном поле, задавая 30 градусов слева в качестве левого поля, 30 градусов в центре в качестве центрального поля и 30 градусов справа в качестве правого поля, когда угол обзора в горизонтальном направлении является прямым. Способы установки заранее заданного подполя из подполей в горизонтальном направлении включают в себя: (i) способ ограничения заранее заданного подполя центральным подполем; и (ii) способ, установленный пользователем с использованием функционального интерфейса устройства 102 захвата изображения. В частности, когда пользователь устанавливает поля, пользователь может установить горизонтальные подполя в качестве информации настроек устройства 102 захвата изображения перед захватом изображения или выбрать горизонтальные подполя и сбросить установку подполей после того, как блок 117 отображения отображает наземные ориентиры и захваченные изображения.
Блок 116 обработки отображения с наложением формирует изображение, которое будет отображено на экране с наложением на захваченное изображение всей информации наземных ориентиров (в режиме отображения всех наземных ориентиров) или информации наземных ориентиров (в режиме отображения части наземных ориентиров), извлеченной блоком 113 извлечения информации отображения. Далее будет описан типичный способ отображения информации наземных ориентиров.
Фиг. 38 иллюстрирует пример экрана отображения наземных ориентиров.
Такой текст, как "Гостиница W" и "Гостиница Y", который находится в верхней части фиг. 38 в области визуального отображения, содержащей линию горного хребта и дорогу, выровненную с Магазином одежды A и Магазином одежды C, представляет собой текст, добавленный просто для удобства разъяснения, а не текст, отображаемый устройством 102 захвата изображения.
С другой стороны, матрица прямоугольных областей представляет собой область отображения наземных ориентиров для отображения информации наземных ориентиров устройством 102 захвата изображения. Кроме того, каждый текст, такой как "Магазин одежды A" и "Магазин одежды C" в области отображения наземных ориентиров, представляет собой текст, отображаемый устройством 102 захвата изображения в качестве информации наземных ориентиров.
Устройство 102 захвата изображения имеет область отображения изображения в верхней части и область отображения наземных ориентиров, предусмотренную под участком отображения изображения. В области отображения наземных ориентиров названия наземных ориентиров отображены горизонтально в тех же самых позициях, которые занимают поля сетки, содержащие захваченные объекты. Таким образом, пользователь может легко проследить соответствия между объектами и соответствующими наземными ориентирами. Кроме того, в области отображения наземных ориентиров наземные ориентиры, удаленные от устройства 102 захвата изображения, отображаются в верхней части области отображения, и наземные ориентиры, расположенные ближе к устройству 102 захвата изображения, отображаются в нижней части области отображения. Кроме того, в области отображения наземных ориентиров наземные ориентиры, расположенные в одной и той же области, которые удаленны от устройства 102 захвата изображения, отображаются в верхней части области отображения, и наземные ориентиры, расположенные в одной и той же области, которые находятся ближе к устройству 102 захвата изображения, отображаются в нижней части области отображения. Таким образом, с помощью области, выделенной объекту, и посредством изменения отображаемых частей в области пользователь может узнавать приблизительное расстояния между устройством 102 захвата изображения и объектом и визуально узнавать относительную перспективу между устройством 102 захвата изображения и объектом.
Кроме того, устройство 102 захвата изображения отмечает или подсвечивает название наземного ориентира, который является самым близким к направлению захвата изображения и находится прямо спереди устройства 102 захвата изображения. В качестве примера отметки на название наземного ориентира по желанию помещается курсор. Поскольку пользователь часто обращается к информации наземных ориентиров, которая находится в центре области отображения и расположена спереди, пользователь избавляется от необходимости перемещать курсор в режиме отображения подробной информации о наземном ориентире.
Кроме того, рядом с названием наземного ориентира может быть отображено линейное расстояние между устройством 102 захвата изображения и объектом или длина пути, необходимого для достижения объекта. Знание расстояния до объекта позволяет пользователю рассматривать варианты средств транспортировки для достижения объекта.
Кроме того, область отображения наземных ориентиров может быть предусмотрена не в нижней части экрана, а в верхней части, в левой части и в правой части экрана. Когда область отображения наземных ориентиров предусматривается в левой части или в правой части экрана, названия наземных ориентиров объектов в направлении между позицией захвата изображения и объектами выравниваются по горизонтали и названия наземных ориентиров объектов выравниваются сверху вниз в области отображения в соответствии с каждым расстоянием от позиции захвата изображения до объектов.
Фиг. 39 иллюстрирует пример отображения экрана, в котором ориентиры отображаются в правой части экрана. Фиг. 39 представляет собой чертеж, который отображает ориентиры, выравнивая от нижней части к верхней части экрана в порядке от наземного ориентира, находящегося ближе к позиции захвата изображения.
Посредством этого становится понятным относительное отношение между позицией отображения наземного ориентира и расстоянием от устройства 102 захвата изображения до объекта. Кроме того, пользователь может визуально понять информацию для определения, какой объект более удален, чем другие предметы, даже когда невооруженный глаз не может различить, какой объект более удален от других. Кроме того, наземные ориентиры могут быть по горизонтали разделены на столбцы.
Фиг. 40 иллюстрирует пример отображения, в котором наземные ориентиры отображаются в двух столбцах. Отображение наземных ориентиров в столбцах приносит эффект облегчения понимания позиций наземных ориентиров в горизонтальном направлении.
Фиг. 41 иллюстрирует пример отображения, которое отображает наземные ориентиры соответственно в частях отображения, соответствующих областям.
Как проиллюстрировано на фиг. 41, названия наземных ориентиров объектов в третьей области, которая является самой удаленной от устройства 102 захвата изображения, могут быть отображены в правой верхней части отображения, названия наземных ориентиров объектов во второй области могут быть отображены в правой средней части отображения, и названия наземных ориентиров объектов в первой области, которая является самой ближней к устройству 102 захвата изображения, могут быть отображены в правой нижней части отображения. Посредством этого пользователь может легко узнать, в какой области находится наземный ориентир, показывающий информацию объекта. Таким образом, когда устройство 102 захвата изображения используется в окружении, содержащем большое количество наземных ориентиров, таких как высотные здания, шанс неправильного понимания соотношения между объектом и наземным ориентиром будет уменьшен.
Наземные ориентиры, которые должны быть отображены на экране, могут быть дополнительно отфильтрованы пользователем, устанавливающим класс наземных ориентиров для отображения, как способ отображения информации наземных ориентиров с наложением.
Фиг. 42 иллюстрирует пример экрана функционального меню.
До захвата изображения пользователь может выбрать класс наземных ориентиров, которые должны отображаться с более высоким приоритетом, с использованием функционального меню устройства 102 захвата изображения, с тем чтобы могли отображаться наземные ориентиры, соответствующие предпочтению пользователя.
В примере на фиг. 42 для установки класса наземных ориентиров, которые отображаются с более высоким приоритетом, в качестве доступных для выбора классов отображаются "мода", "досуг", "общественные места", "транспорт", "жилье", "питание", "популярные места" и "другое". Однако классы не ограничены этим. Кроме того, когда захватывается изображение с учетом выбора "популярных мест" среди возможных классов, наземные ориентиры, имеющие большее количество посещений адреса URL, могут быть отображены с более высоким приоритетом, и могут быть отображены наземные ориентиры, имеющие большее количество поисковых запросов в службах поиска вебсайтов наземных ориентиров, содержащихся в изображении на устройстве 102 захвата изображения. Кроме того, когда среди возможных классов выбрано "другое", пользователь может ввести любое ключевое слово класса с использованием программной клавиатуры, которая будет отображена на экране, с тем чтобы наземные ориентиры, которые имеют отношение к ключевому слову класса и содержатся в информации наземных ориентиров, могли быть отображены с более высоким приоритетом.
Фиг. 43 иллюстрирует пример способа отображения подробной информации объекта.
Пользователь выбирает наземный ориентир с использованием функционального интерфейса устройства 102 захвата изображения, чтобы могла быть отображена подробная информация наземного ориентира. Например, имеется способ выбора наземного ориентира посредством отображения курсора для выбора наземного ориентира в пределах области отображения наземных ориентиров, и перемещения курсора с использованием клавиши со стрелками (перемещаемой в стороны и вверх и вниз), как предусмотрено в большом количестве цифровых фотокамер. Когда наземный ориентир выбран, на экране отображается область отображения подробной информации наземного ориентира и в области отображения подробной информации наземного ориентира отображаются идентификатор, название наземного ориентира, адрес URL наземного ориентира, широта, долгота, адрес, номер телефона, описательное название, иерархический порядок и приоритет.
При этом экран устройства 102 захвата изображения может представлять собой сенсорный экран, который может обнаруживать касание пальца пользователя, и наземный ориентир может быть выбран с помощью касания сенсорного экрана. Поскольку сенсорный экран избавляет от необходимости клавиши управления курсором для выбора наземного ориентира, это дает эффект миниатюризации устройства 102 захвата изображения и расширения области экрана отображения.
Когда выбранный наземный ориентир имеет информацию адреса URL наземного ориентира и адрес URL отображается в области отображения подробной информации наземного ориентира, пользователь отображает вебсайт, указанный адресом URL на экране, с использованием функционального интерфейса устройства 102 захвата изображения. Когда пользователь выбирает адрес URL наземного ориентира с использованием функциональной клавиши устройства 102 захвата изображения с помощью адреса URL наземного ориентира, отображаемого в области отображения подробной информации наземного ориентира, активизируется средство просмотра вебсайтов, предусмотренное в устройстве 102 захвата изображения, вебсайт, указанный выбранным адресом URL, считывается из Интернета, и вебсайт отображается на экране.
Когда имеется сложность во внедрении средства просмотра вебсайтов в устройство 102 захвата изображения, выбранный адрес URL наземного ориентира может быть передан на внешнее устройство, которое содержит средство просмотра вебсайтов, например на мобильный телефон.
Устройство 102 захвата изображения может передать свой уникальный идентификатор при обращении к адресу URL наземного ориентира. Идентификатор разъясняет, какое устройство захвата изображения обращается к вебсайту. Когда устройство захвата изображения обращается, например, к вебсайту пункта общественного питания, устройство захвата изображения может отобразить информацию купона пункта общественного питания, которая отличается от информации, полученной посредством обычного доступа персонального компьютера (PC) через Интернет. Это происходит потому, что доступ с устройства захвата изображения указывает, что пользователь, имеющий устройство захвата изображения, с большой вероятностью находится ближе к объекту, и поэтому возможно эффективно привлечь больше клиентов к объекту благодаря рекламе. Помимо этого, реклама с ограниченным предложением может быть отображена только тому пользователю, который выполняет доступ к вебсайту с устройства захвата изображения, учитывая то преимущество, что устройство захвата изображения с большой вероятностью находится ближе к объекту. Посредством этого могут быть достигнуты удобство пользователя и эффективная реклама поставщика услуг.
Хотя фиг. 43 показывает способ, в котором пользователь выбирает наземный ориентир с использованием функционального интерфейса устройства 102 захвата изображения, с тем чтобы могла быть отображена подробная информация наземных ориентиров, пока количество наземных ориентиров не больше заранее заданного значения, наземный ориентир может быть отображен вместе с подробной информацией. Таким образом, пользователь может опустить процессы отображения подробной информации, такие как выбор наземного ориентира и нажатие кнопки подробного отображения.
Также, кроме подробного отображения, когда количество наземных ориентиров, которые должны быть отображены, не больше заранее заданного значения, может быть отображена информация адреса URL посредством обращения к адресу URL наземного ориентира. С помощью этой функции пользователь может узнать больше подробной информации объекта, поскольку количество информации адреса URL больше, чем в описании подробного отображения.
Фиг. 44 иллюстрирует вариант изменения, в котором устройство 102 захвата изображения обращается к адресу URL через операцию масштабирования.
Как показано на фиг. 44, только один наземный ориентир отображается при наибольшем коэффициенте масштабирования на экране через операцию масштабирования устройства 102 захвата изображения. Когда пользователь выполняет дальнейшее увеличение коэффициента масштабирования, может быть активизировано средство просмотра вебсайтов, с тем чтобы пользователь мог автоматически обратиться к адресу URL наземного ориентира, отображенного на экране. Благодаря этому пользователь может без заметных переходов обратиться к адресу URL наземного ориентира с использованием только операции масштабирования. Когда увеличенный на экране наземный ориентир не имеет информации адреса URL, средство просмотра вебсайтов предпочтительно не должно быть активизировано.
Фиг. 47 иллюстрирует другую конфигурацию для способа отображения с наложением в соответствии с аспектом настоящего изобретения.
Область отображения для отображения названий наземных ориентиров, содержащихся в информации наземных ориентиров, предусмотрена в нижней части экрана. Захваченные объекты и названия наземных ориентиров, соответствующие объектам, отображаются с соответствием друг другу в горизонтальном направлении в области отображения экрана. Кроме того, названия наземных ориентиров объектов отображаются в соответствии с расстоянием от позиции захвата до каждого соответствующего объекта сверху вниз в области отображения. Например, когда наземные ориентиры отображаются, как указано стрелкой на фиг. 47, расстояния до соответствующих объектов, отображенных как наземные ориентиры, становятся дальше по порядку от первой строки ко второй строке.
Способ отображения наземных ориентиров с коэффициентом увеличения 1x проиллюстрирован на экране 4601 отображения, и способ отображения наземных ориентиров с коэффициентом увеличения 5x проиллюстрирован на экране 4602 отображения. Устройство 102 захвата изображения отображает более близкий наземный ориентир при более низком коэффициенте увеличения и отображает более далекий наземный ориентир при более высоком коэффициенте увеличения.
Изменение области отображения для наземных ориентиров в соответствии с коэффициентом масштабирования, например, позволяет пользователю, который желает узнать названия в отдаленной области через увеличение коэффициента масштабирования, отобразить информацию только более далеких наземных ориентиров посредством отображения более далеких наземных ориентиров с использованием функции масштабирования без отображения более близких наземных ориентиров.
Когда название наземного ориентира, который должен быть отображен, имеет текст, превышающий заранее заданное количество символов, устройство 102 захвата изображения может отобразить наземный ориентир, опуская лишнюю часть названия и уменьшая название. Посредством этого, даже когда объект имеет длинное название, наземный ориентир и объект могут быть отображены с наложением с сохранением горизонтального соотношения между объектом и наземным ориентиром.
Кроме того, информационный картографический сервер (картографический сервер) может заранее добавить сокращенное название к наземному ориентиру, имеющему длинное название, и сокращенная информация и официальное название могут быть переданы на устройство 102 захвата изображения. Таким образом, устройство 102 захвата изображения может отобразить наземный ориентир, имеющий длинное название, используя сокращенное название, и дополнительно отобразить подробную информацию посредством действия пользователя.
Когда картографический сервер, имеющий более высокую вычислительную мощность, хранит сокращенное название и официальное название и передает эту информацию на устройство 102 захвата изображения, скорость ответа устройства 102 захвата изображения для отображения наземных ориентиров может быть увеличена, и удобство пользователя может быть повышено.
Кроме того, картографический сервер, который заранее записывает наземный ориентир с официальным названием и сокращенным названием, может отобразить наземный ориентир в сокращенном формате, который легко понятен пользователю.
Устройство 102 захвата изображения может передать на картографический сервер 120 описательную информацию устройства захвата изображения вместе с информацией для вычисления отображаемой длины названия наземного ориентира. Картографический сервер 120 может определить сокращенное название на основе этой информации. Информация разрешающей способности предпочтительно необходима для того, чтобы узнать длину названия наземного ориентира, который должен быть отображен. Когда устройство захвата изображения, имеющее более высокую разрешающую способность, отображает наземный ориентир, название наземного ориентира сокращается до относительно более длинного названия. Кроме того, когда устройство захвата изображения, имеющее более низкую разрешающую способность, отображает наземный ориентир, название наземного ориентира сокращается до более короткого названия. Таким образом, наземный ориентир может быть отображен с длиной в соответствии с разрешающей способностью отображения.
Наземные ориентиры, которые должны быть отображены на экране, могут дополнительно быть отфильтрованы посредством ограничения позиции наземных ориентиров, которые должны быть отображены, в горизонтальном направлении. Например, как проиллюстрировано на фиг. 45, устройство 102 захвата изображения отображает прямоугольник в центре экрана от верхней части до нижней части. Тогда более близкий наземный ориентир отображается при более низком коэффициенте масштабирования, в то время как более далекий наземный ориентир отображается при более высоком коэффициенте масштабирования. Эта конфигурация может сузить количество наземных ориентиров, и не только в случае выполнения фильтрации в соответствии с коэффициентом масштабирования. Кроме того, предпочтительной является система, в которой ширина прямоугольника, который сужает наземные ориентиры, может быть изменена на любую ширину с использованием кнопки масштабирования или клавиши управления курсором устройства 102 захвата изображения через функциональный интерфейс, и прямоугольник может по желанию быть выбран из числа прямоугольников, которые предусмотрены заранее. Таким образом, может быть отображено количество наземных ориентиров только в том диапазоне, который пользователь желает знать. Кроме того, посредством сужения диапазона отображения может быть отображена более подробная информация.
Кроме того, блок отображения устройства 102 захвата изображения может быть оснащен функцией сенсорного экрана, с тем чтобы пользователь мог изменить диапазон отображения наземных ориентиров в соответствии с шириной, определенной с помощью прикосновения двух пальцев. Таким образом, пользователь может выбрать диапазон отображения наземных ориентиров не только в центре, но также и в правой части экрана, тем самым принося эффект расширения выбора диапазона отображения наземных ориентиров.
Фиг. 48 иллюстрирует вариант изменения, в котором устройство 102 захвата изображения фильтрует наземные ориентиры в соответствии с информацией высоты, содержащейся в информации наземных ориентиров.
Устройство 102 захвата изображения может дополнительно отфильтровать наземные ориентиры, которые должны быть отображены на экране, в соответствии с информацией высоты, содержащейся в информации наземных ориентиров. Когда захватывается пункт, в котором наземные ориентиры расположены близко, например, как проиллюстрировано на фиг. 48, наземные ориентиры, суженные посредством фильтрации в соответствии с коэффициентом масштабирования, отображаются в порядке, начиная с наземного ориентира, имеющего информацию с большей высотой. Имеется несколько более высоких наземных ориентиров, которые полностью скрыты другими наземными ориентирами. Таким образом, наземные ориентиры, имеющие информацию с большей высотой, выбираются и отображаются с более высоким приоритетом, с тем чтобы избежать отображения наземных ориентиров, которые находятся вне поля зрения пользователя (экрана захвата).
Хотя названия наземных ориентиров объектов отображаются в соответствии с каждым расстоянием от позиции захвата до соответствующего объекта сверху вниз в области отображения в варианте осуществления 1, в соответствии с действием пользователя с использованием функционального интерфейса устройства 102 захвата изображения можно задать, отображается ли область отображения наземных ориентиров или нет. Например, имеется другая конфигурация, в которой область отображения наземных ориентиров отображается сразу после того, как пользователь выполняет действие, и область отображения наземных ориентиров не отображается спустя заранее заданное время после начала отображения. Таким образом, наземные ориентиры могут быть отображены только тогда, когда они нужны пользователю.
Фиг. 49 иллюстрирует вариант изменения с отображением информации карты относительно периферии наземного ориентира посредством устройства 102 захвата изображения.
Устройство 102 захвата изображения может отобразить информацию карты относительно периферии наземного ориентира конкретной информации наземных ориентиров, которая подробно отображена, как проиллюстрировано на фиг. 49. Таким образом, можно увидеть географическую информацию относительно периферии наземного ориентира.
Фиг. 50 иллюстрирует вариант изменения с отображением информации позиции устройства 102 захвата изображения вместе с информацией карты посредством устройства 102 захвата изображения.
Устройство 102 захвата изображения может отобразить информацию позиции устройства 102 захвата изображения вместе с информацией карты, как проиллюстрировано на фиг. 50. Таким образом, имеется эффект облегчения понимания (i) физического маршрута от текущего местоположения до наземного ориентира, который отображен подробно, и (ii) относительного соотношения позиций между местоположением и наземным ориентиром.
Фиг. 45 иллюстрирует вариант изменения с отображением прямоугольной области посредством устройства 102 захвата изображения.
Когда предпочтительно сузить диапазон отображения наземных ориентиров, устройство 102 захвата изображения может отобразить прямоугольную область, как проиллюстрировано на фиг. 45, посредством управления кнопкой масштабирования при отображении захваченного изображения, и отобразить информацию наземных ориентиров, ограниченную прямоугольной областью. Прямоугольная область может быть установлена в центре отображения посредством управления кнопкой масштабирования, и тем самым задается два боковых симметричных диапазона на отображении. В качестве альтернативы, область, в которой отображается информация наземных ориентиров, может быть определена посредством позиционирования прямоугольной области с использованием кнопки масштабирования и дальнейшего перемещения прямоугольной области в ту или иную сторону с использованием клавиши управления курсором. Обычно кнопка масштабирования используется для увеличения и уменьшения области отображения информации наземных ориентиров, когда изображение захватывается. Таким образом, конфигурация изменения области отображения посредством управления кнопкой масштабирования позволяет пользователю интуитивно изменять область отображения.
Фиг. 13 иллюстрирует вариант изменения устройства 1201 захвата изображения и т.д.
Будет описано отображение подробной информации наземного ориентира через доступ к Интернету с помощью действия пользователя со ссылкой на фиг. 13. База данных, хранимая картографическим сервером 1204, хранит уникальный для наземного ориентира идентификатор и информацию адреса URL. Картографический сервер 1204 не добавляет информацию URL к информации наземных ориентиров, которая будет передана на устройство 1201 захвата изображения.
Устройство 1201 захвата изображения сохраняет данные, содержащие идентификатор и название наземного ориентира (идентификатор LM-ID), не содержащие адрес URL, как данные 1202 (1). Предположим, что идентификатор LM-ID представляют собой строку "J-126574", которая идентифицирует Гостиницу Фудзи как название наземного ориентира.
Далее будут описаны действия пользователя для получения доступа к информации адреса URL Гостиницы Фудзи.
Когда пользователь запрашивает информацию адреса URL Гостиницы Фудзи с помощью щелчка на значке Гостиницы Фудзи, который отображается с наложением, устройство 1201 захвата изображения передает информацию конкретного идентификатора LM-ID на картографический сервер 1204 (2). Другими словами, устройство 1201 захвата изображения передает идентификатор LM-ID "J-126574" Гостиницы Фудзи. Картографический сервер 1204 хранит подробную информацию для идентификатора LM-ID и счетчик. Когда устройство 1201 захвата изображения передает запрос о передаче подробной информации для идентификатора LM-ID на картографический сервер 1204, картографический сервер 1204 подсчитывает количество обращений по адресу URL (3) и при этом передает информацию адреса URL для идентификатора LM-ID. После подсчета количества обращений картографический сервер 1204 передает информацию адреса URL переданного идентификатора на устройство 1201 захвата изображения (4). При этом картографический сервер 1204, который принял идентификатор Гостиницы Фудзи, увеличивает количество обращений для Гостиницы Фудзи и передает информацию адреса URL Гостиницы Фудзи на устройство 1201 захвата изображения. Когда устройство 1201 захвата изображения получает информацию адреса URL от картографического сервера 1204 (5), оно обращается ко второму серверу 1205, который является местом назначения адреса URL (6). В ответ на обращение второй сервер 1205 передает информацию места назначения адреса URL на устройство 1201 захвата изображения (7). Устройство 1201 захвата изображения, которое получило информацию места назначения адреса URL, отображает на экране подробную информацию, описанную в месте назначения адреса URL, как проиллюстрировано на экране 1203 отображения (8).
С помощью конфигурации, показанной на фиг. 13, картографический сервер 1204 может узнать информацию наземных ориентиров URL, к которым обращается пользователь. Таким образом, картографический сервер 1204 может узнать информацию популярных наземных ориентиров и предъявить счет на оплату лицу, управляющему адресом URL объекта, к которому обращается устройство 1201 захвата изображения, тем самым принося экономическую выгоду для лица, управляющего картографическим сервером 1204. Кроме того, когда картографический сервер 1204 передает информацию адреса URL на устройство 1201 захвата изображения, он также может передать дополнительную информацию, относящуюся к информации наземных ориентиров, доступ к которой запрашивает пользователь.
Фиг. 14 иллюстрирует вариант изменения устройства 1201 захвата изображения и т.д.
Кроме того, доступ по адресу URL устройством 1201 захвата изображения может быть выполнен в соответствии с конфигурацией, показанной на фиг. 14. Сначала устройство 1201 захвата изображения передает информацию конкретного идентификатора LM-ID на картографический сервер 1204 (2). Картографический сервер 1204 увеличивает счетчик идентификатора LM-ID (3) и обращается по адресу URL, который соответствует идентификатору LM-ID (4). В ответ второй сервер 1205 передает на картографический сервер 1204 информацию места назначения адреса URL, которая соответствует идентификатору LM-ID и по которому обратился картографический сервер 1204 (5). Картографический сервер 1204 передает данные, содержащие информацию места назначения адресата URL и дополнительную информацию, на устройство 1201 захвата изображения (6). Устройство 1201 захвата изображения, которое получило информацию адреса URL, отображает информацию адреса URL и дополнительную информацию на экране (8). При помощи конфигурации, показанной на фиг. 14, картографический сервер 1204 может передать на устройство 1201 захвата изображения дополнительную информацию, имеющую отношение к информации наземных ориентиров, доступ к которой запрашивает пользователь.
Хотя дополнительная информация предпочтительно представляет собой рекламу, относящуюся к информации наземных ориентиров, к которой запрашивается доступ и т.п., информация не ограничена этим. Например, когда наземный ориентир указывает пункт общественного питания и гостиницу, в качестве дополнительной информации может быть отображен купон.
Кроме того, когда картографический сервер 1204 управляет хронологией доступа другого устройства 1201 захвата изображения, в случае, когда пользователь обращается по адресу URL Гостиницы Фудзи, картографический сервер 1204 может отобразить информацию наземных ориентиров, к которой обращались ранее и к которой затем обращался другой пользователь. Таким образом, может быть рекомендована информация наземных ориентиров, к которой пользователь желает обратиться далее.
Когда устройство 1201 захвата изображения обращается по адресу URL, картографический сервер 1204 может управлять хронологией доступа устройства 1201 захвата изображения при помощи конфигурации, показанной на фиг. 14, чтобы дать возможность доступа через картографический сервер 1204. Таким образом, становится возможным выставить счет на оплату лицу, управляющему адресом URL объекта, к которому обращается устройство 1201 захвата изображения, и тем самым достигается экономическая выгода для лица, управляющего картографическим сервером 1204. Кроме того, лицо, управляющее картографическим сервером 1204, может выставить счет на оплату лицу, запрашивающему рекламу, когда реклама размещается на вебсайте в качестве дополнительной информации, и тем самым достигается другая экономическая выгода для лица, управляющего картографическим сервером 1204.
(Вариант осуществления 2)
Система фильтрации дополнительной информации в соответствии с вариантом осуществления 2 содержит: устройство захвата изображения, выполненное с возможностью захватывать цифровое изображение; и устройство отображения изображения, выполненное с возможностью отображать множество элементов дополнительной информации с наложением на цифровое изображение, каждый из элементов множества элементов дополнительной информации соответствует объекту, содержащемуся в цифровом изображении, устройство захвата изображения содержит: блок формирования изображения, выполненный с возможностью захватывать цифровое изображение; блок получения позиции захвата изображения, выполненный с возможностью получать позицию захвата изображения, в которой блок формирования изображения захватывает цифровое изображение; блок получения направления захвата изображения, выполненный с возможностью получать направление захвата изображения, в котором блок формирования изображения захватывает цифровое изображение; и устройство вывода, выполненное с возможностью выдавать цифровое изображение, захваченное блоком формирования изображения, позицию захвата изображения, полученную блоком получения позиции захвата изображения, и направление захвата изображения, полученное блоком получения направления захвата изображения, и устройство отображения изображения содержит: блок ввода, выполненный с возможностью ввода цифрового изображения, позиции захвата изображения и направления захвата изображения, выданных устройством вывода; блок получения дополнительной информации, выполненный с возможностью получать множество элементов дополнительной информации, (i) каждый из которых соответствует соответствующему одному из объектов, содержащихся в цифровом изображении, и (ii) соответствующих позиции захвата изображения и направлению захвата изображения, введенных блоком ввода; блок выбора, выполненный с возможностью выбирать соответствующий один элемент из множества элементов дополнительной информации, который должен быть отображен, среди множества элементов дополнительной информации, полученного блоком получения дополнительной информации; и блок отображения, выполненный с возможностью отображать соответствующий один элемент из множества элементов дополнительной информации с наложением на введенное цифровое изображение, соответствующий один элемент из множества элементов дополнительной информации выбран блоком выбора.
Кроме того, система фильтрации дополнительной информации в соответствии с вариантом осуществления 2 содержит: устройство захвата изображения, выполненное с возможностью захватывать цифровое изображение; устройство отображения изображения, выполненное с возможностью отображать множество элементов дополнительной информации с наложением на цифровое изображение; и сервер обеспечения дополнительной информации, который передает множество элементов дополнительной информации объектов, содержащихся в цифровом изображении, на устройство отображения изображения, устройство захвата изображения содержит: блок формирования изображения, выполненный с возможностью захватывать цифровое изображение; блок получения позиции захвата изображения, выполненный с возможностью получать позицию захвата изображения, в которой блок формирования изображения захватывает цифровое изображение; блок получения направления захвата изображения, выполненный с возможностью получать направление захвата изображения, в котором блок формирования изображения захватывает цифровое изображение; и устройство вывода, выполненное с возможностью выдавать цифровое изображение, захваченное блоком формирования изображения, позицию захвата изображения, полученную блоком получения захвата изображения, и направление захвата изображения, полученное блоком получения направления захвата изображения, устройство отображения изображения содержит: блок ввода, выполненный с возможностью вводить цифровое изображение, позицию захвата изображения и направление захвата изображения, выданные устройством вывода; блок получения дополнительной информации, выполненный с возможностью передавать позицию захвата изображения и направление захвата изображения, введенные блоком ввода, на сервер обеспечения дополнительной информации и получать множество элементов дополнительной информации от сервера обеспечения дополнительной информации, в множестве элементов дополнительной информации элементы (i) соответствуют объектам, содержащимся в цифровом изображении, и (ii) соответствуют позиции захвата изображения и направлению захвата изображения, которые переданы; блок выбора, выполненный с возможностью выбирать соответствующий один из множества элементов дополнительной информации, который должен быть отображен, среди множества элементов дополнительной информации, полученного блоком получения дополнительной информации; и блок отображения, выполненный с возможностью отображать соответствующий один элемент из множества элементов дополнительной информации с наложением на введенное цифровое изображение, соответствующий один элемент из множества элементов дополнительной информации выбран блоком выбора, и сервер обеспечения дополнительной информации содержит: базу данных, которая хранит множество элементов дополнительной информации объектов; блок приема, выполненный с возможностью принимать позицию захвата изображения и направление захвата изображения, которые переданы; блок извлечения дополнительной информации, выполненный с возможностью извлекать из базы данных один или более элементов из множества элементов дополнительной информации, (i) соответствующих объектам, содержащимся в цифровом изображении, и (ii) соответствующих позиции захвата изображения и направлению захвата изображения, которые приняты блоком приема; и блок передачи, выполненный с возможностью передавать извлеченный один или более элементов из множества элементов дополнительной информации на устройство отображения изображения.
Фиг. 16, 17, 46 и 18-22 являются чертежами для варианта осуществления 2.
Фиг. 16 иллюстрирует конфигурацию системы 1501 в соответствии с другим осуществлением настоящего изобретения.
Система 1501 в соответствии с вариантом осуществления 2, главным образом, включает в себя устройство 1502 захвата изображения, дисплей 1550 и картографический сервер 120.
В варианте осуществления 2 информация наземных ориентиров накладывается на изображение, захваченное устройством 1502 захвата изображения, и полученное изображение отображается. Конфигурация, которая отделяет устройство 1502 захвата изображения от дисплея 1550, может привести к увеличению области отображения дисплея 1550. Кроме того, в качества прикладного применения этой конфигурации дисплей дома, например, может объединять захваченное на открытой местности изображение с информацией наземных ориентиров.
Фиг. 17 иллюстрирует пример прикладного применения варианта осуществления 2.
Устройство 1601 захвата изображения передает информацию захваченного изображения и описательную информацию захвата на дисплей 1603 с использованием переносной внешней памяти 1602. Дисплей 1603 получает информацию наземных ориентиров от картографического сервера 1504 и выполняет отображение с наложением. Дисплей 1603 обычно содержит процессор с более высокой производительностью, чем устройство 1601 захвата изображения, и средство для доступа к Интернету. Эта конфигурация не требует, чтобы устройство 1601 захвата изображения содержало прибор для доступа к картографическому серверу 1504, что дает возможность миниатюризации устройства 1601 захвата изображения. Кроме того, дисплей 1603, имеющий больший экран, чем у устройства 1601 захвата изображения, может отобразить захваченное изображение с наложением, и функциональная кнопка или блок дистанционного управления дисплея 1603 может устанавливать элементы отображения, тем самым повышая удобство пользователя.
Устройство 1502 захвата изображения содержит блок 103 получения информации позиции, блок 106 получения направления захвата изображения, блок 122 получения информации диапазона захвата изображения, блок 1521 формирования описательной информации устройства захвата изображения, блок 1541 управления внешней памятью, блок 1514 формирования изображения и блок 1515 обработки изображения.
Устройство 1502 захвата изображения формирует вспомогательную информацию относительно устройства 1502 захвата изображения с использованием блока 1521 формирования описательной информации устройства захвата изображения и сохраняет сформированную вспомогательную информацию вместе с захваченным изображением в переносной внешней памяти, которой управляет блок 1541 управления внешней памятью, с использованием блока 1541 управления внешней памятью.
В качестве типичных примеров предполагается, что устройство 1502 захвата изображения является цифровой фотокамерой, и переносная внешняя память, управляемая блоком 1541 управления внешней памятью, является картой энергонезависимой памяти.
Блок 103 получения информации позиции представляет собой устройство, которое измеряет и выдает позицию устройства 1502 захвата изображения.
Блок 103 получения информации позиции выполняет те же самые процессы, как блок 103 получения информации позиции на фиг.2 в соответствии с вариантом осуществления 1. Устройство 1502 захвата изображения, содержащее блок связи, такой как беспроводная локальная сеть и система радиосвязи малой дальности, может принимать информацию позиции, которая передается от беспроводной базовой станции, содержащей беспроводную локальную сеть и систему радиосвязи малой дальности, без формирования QR-кода с информацией позиции, а получая тот же самый эффект, как от системы GPS.
Блок 106 получения направления захвата изображения представляет собой устройство, которое обнаруживает информацию направления устройства 1502 захвата изображения и выдает обнаруженную информацию направления. Блок 106 получения направления захвата изображения выполняет те же самые процессы, как блок 106 получения направления захвата изображения на фиг.2 в соответствии с вариантом осуществления 1.
Блок 104 обнаружения информации позиции и блок 107 обнаружения направления захвата изображения могут быть отделены от устройства 1502 захвата изображения и установлены в другом приборе. Например, блок приема устройства захвата изображения (устройства 1502 захвата изображения) может принимать информацию позиции и направление захвата изображения, которые получены мобильным телефоном, содержащим блок 104 обнаружения информации позиции и блок 107 обнаружения направления захвата изображения. Таким образом, поскольку устройство 1502 захвата изображения может получать информацию позиции и направление захвата изображения с помощью устройства беспроводной связи малой дальности от мобильного телефона, содержащего информацию позиции, оно не содержит датчик для обнаружения информации позиции и направления захвата изображения. Таким образом, имеется эффект предоставления возможности миниатюризации устройства 1502 захвата изображения.
Блок 122 получения информации диапазона захвата изображения получает информацию диапазона, захваченного устройством захвата изображения 1502. Информационный блок получения диапазона захвата изображения 122 выполняет ту же самую обработку, как информационный блок получения диапазона захвата изображения 122 на фиг.2 согласно Варианту осуществления 1.
Когда устройство 1502 захвата изображения обнаруживает нажатие затвора, содержащегося в устройстве 1502 захвата изображения, блок 1514 формирования изображения получает изображение изображения местности, блок 1515 обработки изображения выполняет обработку полученного изображения местности, и полученные данные изображения сохраняются в переносной внешней памяти через блок 1541 управления внешней памятью. Блок 1521 формирования описательной информации устройства захвата изображения передает блоку 1541 управления внешней памятью информацию (называемую описательной информацией устройства захвата изображения), сформированную блоком 103 получения информации позиции, блоком 106 получения направления захвата изображения и блоком 122 получения информации диапазона захвата изображения в качестве данных заголовка изображения. Блок 1541 управления внешней памятью сохраняет данные заголовка изображения, принятые от блока 1521 формирования описательной информации устройства захвата изображения в заголовочной части данных изображения, сохраненных в переносной внешней памяти.
Стандарт EXIF (формат файлов изображений для обмена) является типичным примером формата заголовка изображения. Заголовок изображения предпочтительно сформирован в соответствии с таким стандартом.
Переносная внешняя память, управляемая блоком 1541 управления внешней памятью устройства 1502 захвата изображения, может быть вставлена в устройство 1502 захвата изображения и дисплей 1550 и удалена из них. Кроме того, переносная внешняя память для хранения описательной информации устройства захвата изображения и информации изображения в устройстве 1502 захвата изображения удаляется из устройства 1502 захвата изображения и вставляется в дисплей 1550. В качестве типичного примера предполагается, что дисплей 1550 представляет собой устройство, имеющее больший дисплей, например телевизор и персональный компьютер (PC).
Кроме того, дисплей 1550 содержит блок 1544 управления внешней памятью, блок 111 получения информации фильтра, блок 1512 связи, блок 1513 извлечения информации отображения, блок 1516 обработки отображения с наложением и блок 1517 отображения.
Дисплей 1550 принимает ввод пользователя через функциональный интерфейс, содержащийся в дисплее 1550, с тем чтобы пользователь мог выполнить поиск или задать данные изображения, которые пользователь желает просмотреть, среди множества данных изображений, хранящихся в переносной внешней памяти.
Блок 1544 управления внешней памятью передает данные изображения, заданные пользователем среди данных изображений, хранящихся в переносной внешней памяти, находящейся внутри дисплея 1550, блоку 1516 обработки отображения с наложением. Кроме того, блок 1544 управления внешней памятью одновременно передает описательную информацию устройства захвата изображения, сохраненную как заголовочные данные изображения вместе с данными изображения, блоку 1512 связи.
Блок 1512 связи прилагает информацию заголовка связи и т.д. к описательной информации устройства захвата изображения, которая должна быть передана, и передает полученную информацию от блока передачи, содержащегося в блоке 1512 связи, на картографический сервер 120. Хотя адрес картографического сервера 120 предпочтительно заранее записан во внутренней памяти дисплея 1550, адрес может быть изменен пользователем в соответствии с операцией ввода. Посредством этого, например, может поддерживаться изменение адреса картографического сервера 120. Кроме того, даже когда другой картографический сервер 120 начинает обслуживание, перенос системы пользователя становится более простым.
Блок 1512 связи предпочтительно должен использовать беспроводную или проводную локальную сеть, но не обязательно ограничен этим. Блок 1512 связи может использовать связь с помощью базовой станции, например мобильный телефон, систему персональных мобильных телефонов (PHS) и протокол глобальной совместимости для микроволнового доступа (WiMAX). В качестве альтернативы он может временно передать описательную информацию устройства захвата изображения на другое устройство связи, и другое устройство связи может передать описательную информацию устройства захвата изображения на картографический сервер 120. Например, когда блок 1512 связи передает описательную информацию устройства захвата изображения на мобильный телефон с использованием связи малой дальности, такой как беспроводная локальная сеть, технология сверхширокой полосы пропускания (UWB) и технология ZigBee, мобильный телефон может передать описательную информацию устройства захвата изображения на картографический сервер 120. Блок 1512 связи дисплея 1550 может быть миниатюризирован посредством передачи данных от дисплея 1550 на другой прибор связи с помощью связи малой дальности и последующей передачи описательной информации устройства захвата изображения от другого прибора связи на картографический сервер 120. Кроме того, может быть минимизировано потребление электроэнергии для передачи описательной информации устройства захвата изображения дисплеем 1550.
Картографический сервер 120 передает информацию относительно наземных ориентиров (информацию наземных ориентиров) на дисплей 1550. Картографический сервер 120 выполняет те же самые процессы, как картографический сервер 120 на фиг. 2 в соответствии с вариантом осуществления 1. Однако блок 119 извлечения информации наземных ориентиров передает всю информацию наземных ориентиров, содержащихся в изображении, захваченном устройством 1502 захвата изображения, от базы 118 картографических данных на основе описательная информация устройства захвата изображения, полученной от устройства 1502 захвата изображения.
Кроме того, блок приема, содержащийся в блоке 1512 связи дисплея 1550, передает информацию наземных ориентиров, принятую от картографического сервера 120, блоку 1513 извлечения информации отображения.
Блок 111 получения информации фильтра содержит: блок 109 обнаружения информации фильтра, который обнаруживает информацию относительно фильтрации только той информации наземных ориентиров, которая предпочтительна пользователю, из наземных ориентиров, полученных от картографического сервера 120; и блок 110 вывода информации фильтра, который передает информацию, обнаруженную блоком 109 обнаружения информации фильтра. Блок 111 получения информации фильтра выполняет те же самые процессы, как блок 111 получения информации фильтра на фиг. 2 в соответствии с вариантом осуществления 1.
Конфигурация блока 109 обнаружения информации фильтра является той же самой, как конфигурация на фиг. 2 в соответствии с вариантом осуществления 1.
Блок 1513 извлечения информации отображения выполняет фильтрацию информации наземных ориентиров на основе информации фильтра, полученной от блока 111 получения информации фильтра. Конкретный способ фильтрации, описанный в варианте осуществления 1, применяется к варианту осуществления 2. Блок 1513 извлечения информации отображения передает отфильтрованную информацию наземных ориентиров блоку 1516 обработки отображения с наложением.
После приема ввода для выбора изображения от пользователя дисплей 1550 выполняет последовательность процессов для передачи описательной информации устройства захвата изображения на картографический сервер 120 и приема информации наземных ориентиров от картографического сервера 120. Однако процессы получения наземных ориентиров не ограничены такой последовательностью во времени. Например, когда переносная внешняя память вставлена в дисплей 1550 и когда пользователь прекращает ввод в течение заранее заданного промежутка времени, дисплей 1550 может выполнить процессы получения наземных ориентиров над всеми данными изображений в переносной внешней памяти в фоновом режиме в соответствии с порядком, заданным таблицей размещения файлов (FAT) данных изображений, или порядком времени захвата изображения данных изображений. Прием наземных ориентиров до того, как пользователь начинает операцию или во время бездействия значительно уменьшает время ожидания для получения наземных ориентиров, когда изображение и наземный ориентир отображаются с наложением, и тем самым пользователь может удобно работать с дисплеем 1550.
Блок 1516 обработки отображения выполняет процессы для отображения информации наземных ориентиров, извлеченной блоком 1513 извлечения информации отображения для наложения на данные изображения местности, полученные от блока 1544 управления внешней памятью. В зависимости от действия пользователя блок 1516 обработки отображения с наложением не отображает информацию наземных ориентиров с наложением. В таком случае блок 1516 обработки отображения с наложением передает данные изображения блоку 1517 отображения в неизменном виде.
Затем блок 1517 отображения отображает информацию наземных ориентиров с наложением на информацию захвата изображения.
Фиг. 46 иллюстрирует дисплей 1550 и блок 4501 дистанционного управления. Как проиллюстрировано на фиг. 46, дисплей 1550 имеет кнопку управления основного блока и блок 4501 дистанционного управления. Таким образом, дисплей 1550 может иметь функцию для отображения подробной информации наземных ориентиров после приема действия пользователя.
Формат данных, переданных от дисплея 1550 на картографический сервер 120, является тем же самым, как формат, показанный на фиг. 4 в качестве примера варианта осуществления 1.
Дисплей 1550 имеет режим обычного воспроизведения для воспроизведения захваченного изображения на экране и режим отображения наземных ориентиров для обзора изображения с отображением наземных ориентиров на экране, а также для получения подробной информации о наземных ориентирах, с тем чтобы пользователь мог установить любой режим через функциональный интерфейс дисплея 1550. Когда пользователь выбирает данные изображения в переносной внешней памяти, находящейся в дисплее 1550, через функциональный интерфейс дисплея 1550, выбранное изображение и информация наземных ориентиров, соответствующая выбранному изображению, отображаются на экране в качестве изображения в режиме отображения наземных ориентиров. Далее описываются процессы для получения информации наземных ориентиров, содержащихся в выбранном изображении, в режиме отображения наземных ориентиров.
Фиг. 18 показывает блок-схему последовательности операций, указывающую процессы, выполняемые дисплеем 1550, от воспроизведения данных изображения местности до передачи описательной информации устройства захвата изображения на картографический сервер 120.
Когда переключатель или другое средство переключается в режим отображения наземных ориентиров (этап 401), дисплей 1550 переходит в режим отображения наземных ориентиров (этап 402). Затем блок 1512 связи дисплея 1550 передает описательную информацию устройства захвата изображения на картографический сервер 120 (этап 405).
Сетевой адрес (адрес URL) картографического сервера 120, который должен использоваться, хранится в области внутренней памяти дисплея 1550 в качестве информации настроек устройства. Адрес картографического сервера 120 может быть изменен пользователем на любой адрес с использованием функционального интерфейса дисплея 1550.
Фиг. 19 показывает блок-схему последовательности операций, указывающую процессы, выполняемые картографическим сервером 120, от приема описательной информации устройства захвата изображения до передачи информации наземных ориентиров на устройство 1502 захвата изображения.
Картографический сервер 120 сначала проверяет, следует ли принять описательную информацию устройства захвата изображения (этап 501).
После приема описательной информации устройства захвата изображения картографический сервер 120 анализирует описательную информацию устройства захвата изображения, выполняет доступ к базе 118 картографических данных (этап 502), получает информацию наземных ориентиров (информацию наземных ориентиров диапазона захвата изображения), содержащихся в изображении местности данных изображения (этап 503), и передает информацию наземных ориентиров на дисплей 1550 (этап 504).
Способ получения информации наземных ориентиров посредством картографического сервера 120 на основе описательной информации устройства захвата изображения является тем же самым, как способ в соответствии с вариантом осуществления 1.
Фиг. 7 иллюстрирует диапазоны для получения информации наземных ориентиров посредством картографического сервера 120 на основе описательной информации устройства захвата изображения. Фиг. 7 в соответствии с вариантом осуществления 1 будет использоваться для варианта осуществления 2.
Картографический сервер 120 принимает описательную информацию устройства захвата изображения, содержащую информацию позиции и информацию направления, переданную дисплеем 1550. Затем блок 119 извлечения информации наземных ориентиров картографического сервера 120 извлекает из базы 118 картографических данных информацию наземных ориентиров на карте, которые находятся в немного большем диапазоне, чем диапазон захвата изображения, полученный из описательной информации устройства захвата изображения. Диапазон захвата изображения представляет собой диапазон, имеющий форму сектора. Позиция центрального угла сектора представляет собой позицию устройства 1502 захвата изображения. Кроме того, биссектриса центрального угла сектора соответствует направлению захвата изображения, в котором устройство 1502 захвата изображения захватывает изображение. Кроме того, центральный угол сектора представляет собой информацию диапазона захвата изображения, содержащуюся в описательной информации устройства захвата изображения. Кроме того, заранее заданное значение, хранимое картографическим сервером 120, используется в качестве радиуса сектора, другими словами, расстояния от устройства 1502 захвата изображения до дуги диапазона получения информации наземных ориентиров диапазона захвата изображения. Заранее заданное значение предпочтительно установлено в пределах 5-километрового радиуса от устройства 1502 захвата изображения. Если предположить, что устройство 1502 захвата изображения расположено на высоте 1,5 метра над поверхностью земли, 5-километровый радиус является приблизительным расстоянием до горизонта.
Блок 119 извлечения информации наземных ориентиров извлекает множество элементов информации наземных ориентиров из базы 118 картографических данных и передает извлеченное множество элементов информации наземных ориентиров на дисплей 1550, который передал описательную информацию устройства захвата изображения.
Блок приема дисплея 1550 (см. блок 1512 связи на фиг. 16) принимает информацию наземных ориентиров, переданную от картографического сервера 120, и отображает на экране дисплея 1550 часть информации или всю информацию наземных ориентиров, принятую блоком приема, вместе с захваченными изображениями, полученными блоком 1544 управления внешней памятью. Дисплей 1550 хранит один из режимов отображения всех наземных ориентиров, в котором отображается вся информация наземных ориентиров, и отображения части наземных ориентиров, в котором отображается часть информации наземных ориентиров, во внутренней области памяти в качестве информации настройки отображения наземных ориентиров.
Такая настройка отображения наземных ориентиров позволяет пользователю изменять текущий режим отображения на любой режим отображения наземных ориентиров с использованием функционального интерфейса дисплея 1550.
Блок-схема последовательности операций дисплея 1550 для отображения информации наземных ориентиров, чтобы заставить блок 1517 отображения отображать информацию наземных ориентиров с наложением, является такой же, как блок-схема последовательности операций, показанная на фиг. 9 в качестве примера варианта осуществления 1.
Способ фильтрации информации наземных ориентиров в соответствии с вариантом осуществления 1 будет применен к варианту осуществления 2.
Фиг. 20 иллюстрирует конфигурацию для устройства захвата изображения 1902 для хранения информации масштабирования в переносной внешней памяти.
При фильтрации наземных ориентиров с использованием информации масштабирования устройства 1902 захвата изображения описательная информация устройства захвата изображения должна содержать информацию масштабирования устройства 1902 захвата изображения. Фиг. 20 иллюстрирует конфигурацию устройства 1902 захвата изображения для получения информации масштабирования и сохранения ее в качестве описательной информации устройства захвата изображения в переносной внешней памяти. Блок 1960 получения информации масштабирования содержит блок 1961 обнаружения информации масштабирования, который получает коэффициент масштабирования устройства 1902 захвата изображения, и блок 1962 вывода информации масштабирования, который выдает полученный коэффициент масштабирования.
Процессы отображения с наложением и способ отображения соответствующей информации наземных ориентиров с наложением на выбранные пользователем данные изображения в соответствии с вариантом осуществления 1 будут применены к варианту осуществления 2. На экране, содержащемся в дисплее 1950 в соответствии с вариантом осуществления 2, наземные ориентиры отображаются с наложением: в нижней части экрана; горизонтально; с использованием информации класса, содержащейся в информации наземных ориентиров; и в соответствии с вариантом осуществления 1.
Хотя вариант осуществления 2 описывает способ, в котором устройство захвата изображения передает информацию изображения и описательную информацию устройства захвата изображения на дисплей с использованием переносной внешней памяти, для передачи этой информации не обязательно используется переносная внешняя память.
Например, устройство радиосвязи малой дальности, установленное на устройстве захвата изображения и на дисплее, может передавать данные через беспроводную связь вместо блока 1514 управления внешней памяти. Хотя технология сверхширокой полосы пропускания (UWB) является предпочтительной в качестве системы радиосвязи малой дальности, могут использоваться технология ZigBee, одноранговая беспроводная локальная сеть произвольной структуры (ad hoc), технология Bluetooth (торговая марка) и другие технологии. Беспроводная связь, используемая вместо переносной внешней памяти, избавляет пользователя от необходимости удаления или вставки переносной внешней памяти соответственно из или в устройство захвата изображения и дисплей и может дополнительно сократить время ожидания для передачи данных.
Кроме того, радиосвязь малой дальности позволяет получать данные и описательную информацию устройства захвата изображения посредством последовательного доступа к устройству захвата изображения без копирования информации, хранящейся в устройстве захвата изображения, в блок управления внешней памятью дисплея. Таким образом, информация наземных ориентиров может быть отображена с наложением без оставления информации, полученной устройством захвата изображения, в дисплее. Например, когда дисплей, установленный третьим лицом, отображает информацию наземных ориентиров, имеется эффект избавления от необходимости стирания данных устройства захвата изображения для защиты конфиденциальности фотографа.
Хотя вариант осуществления 2 описывает прием ввода пользователя с использованием функциональной кнопки и блока дистанционного управления, включенного в дисплей, ввод не ограничен этими функциональными интерфейсами ввода. Например, присоединение двухмерного указательного устройства, такого как мышь, к дисплею позволяет пользователю управлять курсором, отображаемым на экране дисплея, и одновременно вводить выбор информации наземных ориентиров, отображенной с наложением на экране. Кроме того, с помощью датчика движения для обнаружения положения и движения пользователя, прикрепленного на части тела пользователя или размещенного в дисплее, пользователь может вводить действие с использованием собственного положения и движения в дисплее. Прием ввода от пользователя с использованием такого двухмерного указательного устройства и датчика движения позволяет пользователю выполнять интуитивное и плавное действие по сравнению с действием с использованием функциональной кнопки или блока дистанционного управления, даже когда пользователь отдален от дисплея.
Хотя вариант осуществления 2 использует телевизор в качестве типичного дисплея, дисплей не ограничивается этим. Например, дисплей может являться персональным компьютером, устройством записи на жесткий диск и другими устройствами, каждое из которых содержит (i) память большой емкости, такую как жесткий диск, и (ii) блок управления внешней памятью, который может получать данные, хранящиеся в переносной внешней памяти. В устройстве, содержащем такую память, данные изображения, захваченные пользователем, часто передаются из переносной внешней памяти на запоминающее устройство для хранения данных изображений. При такой конфигурации не только данные изображений, хранящиеся в переносной внешней памяти, но также и данные изображений, ранее захваченных и перенесенных в память пользователем, могут быть отображены с наложением на них информации наземных ориентиров в соответствии с вариантом осуществления 2.
Кроме того, когда дисплей является, например, персональным компьютером или устройством записи на жесткий диск, информация наземных ориентиров может быть отображена с наложением на данные изображения, выбранные пользователем через функциональный интерфейс дисплея. Кроме того, когда среди множества данных изображений, хранящихся в памяти, содержащейся в устройстве захвата изображения, выбраны данные изображения, и другие данные изображения захвачены в местоположении, расположенном ближе к местоположению, в котором были захвачены выбранные данные изображения, другие данные изображения могут быть уменьшены и отображены на выбранных данных изображения. При такой конфигурации пользователь может легко искать данные изображений, ранее захваченные в местоположении, расположенном ближе к местоположению, в котором были захвачены выбранные данные изображения.
Хотя в варианте осуществления 2 дисплей выполняет фильтрацию информации наземных ориентиров, соответствующей данным изображений, и отображает отфильтрованную информацию наземных ориентиров с наложением на данные изображения, информация наземных ориентиров может быть сохранена в области памяти, такой как переносная внешняя память. Например, информация наземных ориентиров, соответствующая данным изображения, сохраняется в заголовочной части данных изображения. При такой конфигурации, даже когда переносная внешняя память, которая хранит данные изображения с информацией наземных ориентиров, перемещается на другое устройство, которое имеет трудности во взаимодействии с картографическим сервером, такое как цифровая фотокамера, информация наземных ориентиров может быть отображена с наложением на данные изображения на экране другого устройства.
При этом данные изображения, содержащие множество идентичных элементов информации наземных ориентиров и информации местоположения захвата, могут быть перечислены и сохранены в соответствующих папках запоминающего устройства на устройстве захвата изображения. Кроме того, информация наземных ориентиров и информация местоположения захвата могут использоваться в качестве ключа поиска для данных изображений, с тем чтобы производительность поиска данных изображений могла быть улучшена.
Хотя в варианте осуществления 2 картографический сервер извлекает информацию наземных ориентиров, соответствующую диапазону захвата изображения, и дисплей выполняет фильтрацию извлеченной информации наземных ориентиров для отображения отфильтрованной информации наземных ориентиров с наложением, дисплей может отобразить информацию наземных ориентиров, фильтрованную картографическим сервером, для наложения на изображение.
Фиг. 21 является пояснительным чертежом, который иллюстрирует конфигурацию для фильтрации картографическим сервером.
Например, как проиллюстрировано на фиг. 21, информация фильтра, выданная блоком 111 получения информации фильтра, передается блоку 1512 связи как часть описательной информации устройства захвата изображения, и блок 1512 связи передает описательную информацию устройства захвата изображения, содержащую информацию фильтра, на картографический сервер 120. Картографический сервер 120 содержит блок 1513 извлечения информации отображения, который выполняет фильтрацию информации наземных ориентиров, выданной блоком 119 извлечения информации наземных ориентиров, с использованием информации фильтра, содержащейся в описательной информации устройства захвата изображения, переданной от дисплея 1550, и затем передает отфильтрованную информацию наземных ориентиров на дисплей 1550.
Такая конфигурация позволяет улучшить скорость обработки дисплея и уменьшить стоимость, поскольку дисплей не выполняет фильтрацию информации наземных ориентиров, имеющую относительно большую нагрузку обработки.
Фиг. 22 иллюстрирует систему, включающую в себя картографический сервер 120, содержащий блок 111 получения информации фильтра и другие составляющие элементы.
Как проиллюстрировано на фиг. 22 в качестве другой конфигурации, картографический сервер 120 содержит блок 111 получения информации фильтра и блок 2160 хранения информации фильтра. Блок 2160 хранения информации фильтра хранит информацию фильтра, ранее записанную в блок 111 получения информации фильтра через средство просмотра вебсайтов на терминале для работы в Интернете пользователем, и выполняет фильтрацию информации наземных ориентиров в ответ на запрос от дисплея 1550. При такой конфигурации дисплей не обязательно должен содержать блок получения информации фильтра, и тем самым улучшается скорость обработки дисплея и уменьшается стоимость. Кроме того, можно однородно управлять информацией фильтра нескольких пользователей на картографическом сервере, и тем самым предоставляется возможность легкого понимания использования системы в соответствии с вариантом осуществления 2.
(Вариант осуществления 3)
Фиг. 23-27 являются чертежами для варианта осуществления 3.
Далее будет описан вариант осуществления 3 в соответствии с настоящим изобретением. Вариант осуществления 3 использует предпочтения фотографа на интернет-форуме в качестве источника для фильтрации информации наземных ориентиров, которая должна быть отображена устройством захвата изображения. Такая фильтрация называется фильтрацией с помощью служб социальных сетей (SNS). Картографический сервер присваивает приоритеты для отображения информации наземных ориентиров на основе предпочтений фотографа на интернет-форуме.
Фиг. 23 иллюстрирует конфигурацию в соответствии с вариантом осуществления 3.
Конфигурация на фиг. 23 в соответствии с вариантом осуществления 3 настоящего изобретения главным образом содержит устройство 2201 захвата изображения, картографический сервер 2209 и сервер 2205 форума.
Устройство 2202 захвата изображения далее содержит блок 2203 получения идентификатора пользователя форума в дополнение к конфигурации в соответствии с вариантом осуществления 1. Блок 2203 получения идентификатора пользователя форума получает информацию для картографического сервера 2209, выполняющего доступ к интернет-форуму. Полученная информация включает в себя адрес URL интернет-форума и идентификатор пользователя.
Хотя идентификатор пользователя форума предпочтительно записан в устройстве захвата изображения заранее, он может быть записан посредством действия пользователя.
Блок 121 формирования описательной информации устройства захвата изображения добавляет информацию идентификатора форума к пакету, который будет передан на картографический сервер 2209, описанный со ссылкой на фиг. 4 в соответствии с вариантом осуществления 1. Информация идентификатора форума представляет собой информацию для идентификации идентификатора форума, в котором зарегистрирован фотограф. Идентификатор предпочтительно является идентификатором интернет-форума, но не ограничен этим. Если идентификатор устройства захвата изображения заранее зарегистрирован на интернет-форуме, идентификатор устройства захвата изображения может использоваться в качестве альтернативы идентификатору интернет-форума.
Когда для доступа к интернет-форуму необходима, например, аутентификация с помощью пароля, устройство захвата изображения, заранее хранящее пароль, может передать пароль вместе с идентификатором. В качестве альтернативы, когда интернет-форум принимает доступ от устройства захвата изображения, которое было ранее зарегистрировано на интернет-форуме, обратно на устройство захвата изображения с интернет-форума может быть отослана только ограниченная информация для использования при фильтрации.
Картографический сервер 2209 содержит базу 118 картографических данных, блок 2207 извлечения информации наземных ориентиров и блок 2206 преобразования идентификатора форума.
База 118 картографических данных хранит информацию относительно наземных ориентиров (информацию наземных ориентиров).
Блок 2206 преобразования идентификатора форума преобразовывает идентификатор форума, принятый от устройства 2202 захвата изображения в идентификатор интернет-форума и передает идентификатор интернет-форума серверу 2205 форума. База 2204 данных форума хранит данные пользователя на сервере 2205 форума.
Далее будет описан сервер форума. Основные цели серверов форумов состоят в том, чтобы предоставить пользователям, регистрирующимся на серверах форумов, сайт для общения друг с другом. Пользователь делится с другими пользователями такой информацией, как свой профиль, дневники, обзоры продуктов и знакомства пользователя.
Блок 2208 извлечения предпочтений получает информацию предпочтений пользователя из базы 2204 данных форума. Информация профиля пользователя может быть получена из секции профиля, и поиск данных может быть выполнен с использованием содержания дневников пользователя, но не ограничиваясь этим. Информация предпочтений включает в себя личную информацию, такую как возраст, пол и семейное положение, хобби, специальные навыки, годовой доход и информация об окружении.
Блок 2207 извлечения информации наземных ориентиров извлекает информацию наземных ориентиров, имеющую высокое сродство с предпочтениями пользователя, из базы 118 картографических данных на основе информации предпочтений. При этом информации наземных ориентиров, имеющей высокое сродство с предпочтениями пользователя, задается приоритет. Например, для пользователя, который интересуется местами поклонения и храмами, задается приоритет информации наземных ориентиров мест поклонения и храмов. Кроме того, информации таких географических наземных ориентиров, как горы и реки, задается приоритет для пользователя, который интересуется альпинизмом.
Фиг. 24 показывает пример формата данных, которые будут переданы от устройства 2202 захвата изображения на картографический сервер 2209.
К данным добавляется универсальное координированное время, информация широты и информация долготы, указывающая информацию позиции захвата, направление движения, указывающее направление захвата изображения относительно севера, информация диапазона захвата изображения и информация идентификатора устройства 2202 захвата изображения. Информация идентификатора устройства 2202 захвата изображения используется для распознавания, какое устройство 2202 захвата изображения выполняет доступ к картографическому серверу 2209. Идентификатор может представлять собой любой идентификатор, который однозначно определяет устройство 2202 захвата изображения.
Кроме того, данные включают в себя адрес URL интернет-форума и информацию идентификатора для идентификации форума. Информация адреса URL не обязательно должна передаваться как информация идентификатора для идентификации форума, если картографический сервер 2209 прикрепляет идентификатор, который однозначно определяет устройство 2202 захвата изображения, к адресу URL интернет-форума. Кроме того, если картографический сервер 2209 заранее регистрирует информацию идентификатора интернет-форума и информацию идентификатора для однозначного определения устройства 2202 захвата изображения, идентификатор форума может быть заменен на идентификатор 2202 устройства захвата изображения. Кроме того, есть случаи, когда несколько пользователей совместно используют устройство 2202 захвата изображения. Пользователи переключают информацию, указывающую, какой пользователь использует устройство 2202 захвата изображения, прежде чем захватить изображение объекта с использованием устройства 2202 захвата изображения. Поскольку идентификатор форума отличается для каждого пользователя, устройство 2202 захвата изображения, заранее регистрирующее информацию идентификатора каждого пользователя, может передать информацию идентификатора пользователя, который использует устройство 2202 захвата изображения, на картографический сервер 2209 посредством переключения между пользователями.
Процедуры, выполняемые устройством 2202 захвата изображения от захвата изображения местности до передачи описательной информации устройства захвата изображения на картографический сервер 2209, являются такими же, как на фиг. 5 в соответствии с вариантом осуществления 1. Блок 121 формирования описательной информации устройства захвата изображения принимает информацию, переданную не только от блока 103 получения информации позиции, блока 106 получения направления захвата изображения и блока 122 получения информации диапазона захвата изображения, но также и от блока 2203 получения идентификатора пользователя форума. Формат данных, которые будут переданы от устройства 2202 захвата изображения на картографический сервер 2209, является таким же, как описано на фиг. 24.
Фиг. 25 показывает блок-схему последовательности операций, указывающую процессы, выполняемые картографическим сервером 2209, от получения описательной информации устройства захвата изображения до передачи информации наземных ориентиров на устройство 2202 захвата изображения. Картографический сервер 2209 сначала проверяет, следует ли принять описательную информацию устройства захвата изображения (этап 501).
Затем картографический сервер 2209 выполняет доступ к серверу форума и извлекает информацию предпочтений из описательной информации фотографа на интернет-форуме (этап 2407).
После извлечения информации предпочтений картографический сервер 2209 выполняет доступ к базе 118 картографических данных (этап 502), добавляет приоритет к информации наземных ориентиров в соответствии с извлеченными предпочтениями (этап 2408) и получает информацию наземных ориентиров (информацию наземных ориентиров диапазона захвата изображения), содержащихся в изображении местности, захваченном устройством захвата изображения (этап 503). После передачи информации наземных ориентиров диапазона захвата изображения на устройство 2202 захвата изображения картографический сервер 2209 получает информацию наземных ориентиров на периферии диапазона захвата изображения (информацию наземных ориентиров периферии захваченного изображения) (этап 505) и передает полученную информацию наземных ориентиров периферии захваченного изображения на устройство 2202 захвата изображения (этап 506).
Фиг. 26 показывает блок-схему последовательности операций процесса, выполняемого устройством 2202 захвата изображения, для отображения информации наземных ориентиров и чтобы заставить блок 117 отображения отображать информацию наземных ориентиров с наложением.
Поскольку обработка информации наземных ориентиров диапазона захвата изображения в основном является такой же, как для информации наземных ориентиров периферии захваченного изображения, эти элементы информации совместно называются информацией наземных ориентиров, и далее будет описан способ фильтрации информации наземных ориентиров.
Устройство 2202 захвата изображения проверяет, следует ли получить множество элементов информации наземных ориентиров от картографического сервера 2209 (этап 801). Когда устройство 2202 захвата изображения принимает множество элементов информации наземных ориентиров, оно определяет, следует ли отображать все наземные ориентиры, которые будут затем приняты. Настройка отображения всех наземных ориентиров по желанию устанавливается пользователем. Например, режим отображения всех наземных ориентиров и режим, в котором должны быть отображены только отфильтрованные наземные ориентиры, могут быть переключены посредством кнопки отображения наземных ориентиров. Когда должны быть отображены все наземные ориентиры, устройство 2202 захвата изображения отображает информацию наземных ориентиров, полученную от картографического сервера 2209, с наложением на захваченное изображение местности, полученное через линзу устройства 2202 захвата изображения (этап 805). Напротив, когда не должны отображаться все наземные ориентиры, устройство 2202 захвата изображения получает приоритет через фильтрацию с помощью служб социальных сетей (SNS) на основе таблицы предпочтений фотографа и информации блока 111 получения информации фильтра (этап 2503) и определяет информацию наземных ориентиров, которые должны быть отображены, на основе приоритета и информации (этап 2504). Блок 116 обработки отображения с наложением отображает определенную информация наземных ориентиров с наложением на изображение местности, полученное блоком 115 обработки изображения (этап 805).
Фиг. 27 представляет собой разъяснительный чертеж для информации наземных ориентиров, которая должна быть отображена.
Задание диапазонов и полей является таким же, как описано в варианте осуществления 1. На фиг. 27 значения представляют информацию приоритета для отображения наземных ориентиров с использованием фильтрации с помощью служб социальных сетей (SNS). Устройство 2202 захвата изображения ограничивает количество наземных ориентиров, которые должны быть отображены для каждого поля. Более определенно, устройство 2202 захвата изображения сначала отображает элементы информации наземных ориентиров, имеющие самый высокий приоритет. Кроме того, когда множество элементов информации наземных ориентиров имеют один и тот же приоритет и количество элементов информации наземных ориентиров, которые должны быть отображены, превышают максимальное количество, используется меньший диапазон, другими словами, информация наземных ориентиров, ориентированная в направлении захвата изображения устройства 2202 захвата изображения, отображается с более высоким приоритетом. Фиг. 27 иллюстрирует приоритеты всех наземных ориентиров и наземных ориентиров, которые должны быть фактически отображены, в предположении, что максимальное количество наземных ориентиров, которые будут отображены в поле, например, равно 2. В первом поле отображаются два элемента информации наземных ориентиров, соответствующих наземному ориентиру, имеющему приоритет 3, и наземному ориентиру, имеющему приоритет 2. Во втором поле отображаются три элемента информации наземных ориентиров, каждый из которых соответствует наземному ориентиру, имеющему приоритет 3. В этом случае информация наземных ориентиров в меньшем диапазоне отображается с более высоким приоритетом. Другими словами, отображается информация наземных ориентиров в первом диапазоне. В третьем поле отображаются наземные ориентиры, каждый из которых имеет приоритет 3, что является наиболее приоритетным.
Способ отображения в соответствии с вариантом осуществления 1 применяется к варианту осуществления 2. Для расположенных по приоритетам классов отображения наземных ориентиров, проиллюстрированных на фиг. 42, отображается информация наземных ориентиров приоритетных классов и далее в соответствии с предпочтениями.
При этом в соответствии с вариантом осуществления 3 способ фильтрации с использованием служб социальных сетей (SNS) и способ отображения в соответствии с вариантом осуществления 1 могут быть переключены. Таким образом, пользователь может выбрать способ извлечения информации наземных ориентиров среди других многочисленных способов извлечения.
(Вариант осуществления 4)
Фиг. 28-32 являются чертежами в соответствии с вариантом осуществления 4.
Вариант осуществления 4 описывает конфигурацию, в которой устройство 102 захвата изображения добавляет информацию для фильтрации наземных ориентиров, которые должны быть отображены, к описательной информации устройства захвата изображения, которая будет передана на картографический сервер 120 и в которой картографический сервер 120 выполняет фильтрацию наземных ориентиров, которые должны быть отображены с наложением устройством 102 захвата изображения. Поскольку вариант осуществления 4 реализован посредством переноса на картографический сервер 120 функций фильтрации посредством устройства 102 захвата изображения в соответствии с вариантами осуществления 1-3, вариант осуществления 4 будет описан посредством изменения варианта осуществления 1 в качестве типичного примера. Кроме того, вариант осуществления 4 главным образом будет описывать операции, отличающиеся от операций варианта осуществления 1.
Фиг. 28 иллюстрирует конфигурацию системы в соответствии с вариантом осуществления 4.
Блок 121 формирования описательной информации устройства захвата изображения формирует описательную информацию устройства захвата изображения на основе информации позиции, полученной блоком 103 получения информации позиции, информации направления захвата изображения, полученной блоком 106 получения направления захвата изображения, информации фильтра, полученной блоком 111 получения информации фильтра, и информации диапазона захвата изображения, полученной блоком 122 получения информации диапазона захвата изображения, и передает полученную информацию на картографический сервер 120. На картографическом сервере 120 блок 119 извлечения информации наземных ориентиров получает из базы 118 картографических данных информацию наземных ориентиров, содержащихся в диапазоне захвата изображения устройства 102 захвата изображения в описательной информации устройства захвата изображения, и блок 2713 извлечения информации отображения извлекает информацию отображения наземных ориентиров с использованием информации от блока 111 получения информации фильтра. Блок 115 обработки изображения обрабатывает информацию захвата изображения, полученную блоком 114 формирования изображения. Блок 116 обработки отображения с наложением устройства 102 захвата изображения накладывает информацию отображения наземных ориентиров на информацию изображения местности, полученную блоком 115 обработки изображения. Затем блок 117 отображения отображает наземный ориентир с наложением на изображение местности.
Фиг. 29 показывает пример формата данных, которые будут переданы от устройства 102 захвата изображения на картографический сервер 120.
В дополнение к формату, описанному в варианте осуществления 1, добавляется информация, полученная блоком 111 получения информации фильтра. Способ отображения с использованием информации фильтра в соответствии с вариантом осуществления 1 применяется к варианту осуществления 2. Операции устройства 102 захвата изображения для передачи описательной информации устройства захвата изображения на картографический сервер 120 описаны в варианте осуществления 1 со ссылкой на фиг. 5.
Фиг. 30 показывает блок-схему последовательности операций, указывающую пример процессов, выполняемых картографическим сервером 120, от захвата описательной информации устройства захвата изображения до передачи информации наземных ориентиров, которая должна быть отображена с наложением устройством 102 захвата изображения.
После проверки приема описательной информации устройства захвата изображения (этап 501) картографический сервер 120 выполняет доступ к базе 118 картографических данных на основе описательной информации устройства захвата изображения (этап 502).
Фиг. 32 иллюстрирует диапазон, который будет захвачен устройством 102 захвата изображения.
Картографический сервер 120 сначала получает информацию наземных ориентиров в диапазоне захвата изображения, проиллюстрированном на фиг. 32. Затем картографический сервер 120 извлекает информацию наземных ориентиров отображения диапазона захвата изображения, которая будет фактически передана устройству 102 захвата изображения, из информации наземных ориентиров отображения диапазона захвата изображения (этап 2907) и передает извлеченную информацию наземных ориентиров отображения диапазона захвата изображения на устройство 102 захвата изображения (этап 2904). После передачи информации наземных ориентиров отображения на устройства захвата изображения из группы захвата картографический сервер получает информацию наземных ориентиров на периферии диапазона захвата изображения устройств захвата изображения (этап 505), получает информацию наземных ориентиров, которая должна быть отображена, когда устройство захвата изображения выполняет панорамирование (информацию наземных ориентиров отображения периферии захваченного изображения) (этап 2908), и передает полученную информацию на устройства захвата изображения (этап 2906). В соответствии с вариантом осуществления 4 устройство 102 захвата изображения повторно передает описательную информацию устройства захвата изображения на картографический сервер 120 и обновляет информацию наземных ориентиров отображения, когда информация позиции и информация направления захвата изображения изменяются на не менее чем заранее заданное значение. В случае панорамирования, когда направление захвата изображения устройства 102 захвата изображения изменяется на диапазон информации наземных ориентиров отображения периферии захваченного изображения, устройство 102 захвата изображения предпочтительно повторно передает описательную информацию устройства захвата изображения на картографический сервер.
Фиг. 31 показывает блок-схему последовательности операций, указывающую пример процессов, выполняемых устройством 102 захвата изображения, от получения информации наземных ориентиров, которая должна быть отображена, до отображения информации наземных ориентиров с наложением на захваченное изображение местности.
После приема информации наземных ориентиров отображения диапазона захвата изображения устройство захвата изображения сразу отображает изображение местности с наложением на информацию наземных ориентиров в соответствии с вариантом осуществления 4.
Способ отображения с наложением в соответствии с вариантом осуществления 1 применяется к варианту осуществления 4.
(Вариант осуществления 5)
(1) Первым аспектом варианта осуществления 5 является устройство обеспечения виртуального мира, содержащее:
блок отображения изображения, выполненный с возможностью отображать изображение, полученное посредством захвата части реального мира;
блок хранения первого соответствия, выполненный с возможностью хранить первое соответствие между частью реального мира и идентичной частью в заранее заданном виртуальном мире, созданном посредством виртуализации реального мира; и
блок обеспечения виртуального мира, выполненный с возможностью обеспечивать виртуальный мир из части виртуального мира, имеющего первое соответствие с частью реального мира, захваченного в отображенном изображении.
В соответствии с первым аспектом виртуальный мир начинает обеспечиваться от части, соответствующей части захваченного реального мира. Например, виртуальный мир начинает просто обеспечиваться из соответствующей части без какой-либо сложной операции для задания позиции, направления и области начальной части.
При этом при отображении захваченных изображений, когда соблюдены заранее заданные начальные условия, блок обеспечения виртуального мира может автоматически начать обеспечивать виртуальный мир из части.
(2) Вторым аспектом варианта осуществления 5 является устройство обеспечения виртуального мира в соответствии с первым аспектом, дополнительно содержащее:
блок получения позиции захвата изображения, выполненный с возможностью получать позицию захвата изображения, которое должно быть отображено; и
блок хранения второго соответствия, выполненный с возможностью хранить второе соответствие между позицией захвата изображения и частью реального мира, захваченного в позиции захвата изображения,
причем блок обеспечения виртуального мира, выполнен с возможностью начинать обеспечивать виртуальный мир из части виртуального мира, имеющего хранимое первое соответствие с частью реального мира, имеющего хранимое второе соответствие с позицией захвата изображения.
В соответствии со вторым аспектом, например, простая конфигурация с использованием позиции захвата изображения позволяет обеспечить виртуальный мир из соответствующей части посредством анализа подробностей изображения без какой-либо сложной обработки для идентификации части, соответствующей части в виртуальном мире.
(3) Третьим аспектом варианта осуществления 5 является устройство обеспечения виртуального мира в соответствии со вторым аспектом, дополнительно содержащее:
вспомогательный блок получения, выполненный с возможностью получать направление захвата изображения (или направление захвата изображения и угол обзора), в котором захвачено отображенное изображение,
причем во втором соответствии позиция захвата изображения и направление захвата изображения (или позиция захвата изображения, направление захвата изображения и угол обзора) соответствуют части реального мира и
причем блок обеспечения виртуального мира выполнен с возможностью начинать обеспечивать виртуальный мир из части реального мира, соответствующей позиции захвата изображения и направлению захвата изображения (или позиции захвата изображения, направлению захвата изображения и углу обзора).
С помощью третьего аспекта часть, из которой начинает обеспечиваться виртуальный мир, будет более точной для поддержания направления захвата изображения и т.д., и виртуальный мир может быть обеспечен из соответствующей части с более высокой точностью.
Фиг 52-62 и 64 являются чертежами для варианта осуществления 5.
Вариант осуществления 5 описывает способ замены отображенного фактического изображения, использующего реальное изображение, на компьютерную графику, созданную на основе данных трехмерной (3D) проекции на сервере, другими словами, на изображение компьютерной графики. При этом реальное изображение захватывается с использованием устройства захвата изображения, такого как фотокамера, мобильный телефон с фотокамерой, портативный компьютер с фотокамерой.
Фиг. 52 иллюстрирует фактическое изображение 501a, которое является изображением, первоначально захваченным фотокамерой.
Посредством электронного или оптического увеличения коэффициента масштабирования для фактического изображения 501a, например, может быть получено фактическое изображение 501b и затем фактическое изображение 501c. На этапе 520a для дальнейшего увеличения обзора при установке режима, в котором фактическое изображение автоматически переключается на изображение компьютерной графики при удовлетворении заранее заданного условия, фактическое изображение 501c переключается на изображение 510a компьютерной графики, и отображается изображение компьютерной графики с высоким разрешением объекта 530c. Более конкретно заранее заданное условие состоит в том, что когда существенное количество пикселей в пределах фактического изображения на экране становится не больше заранее заданного значения, например, R1, фактическое изображение автоматически переключается на изображению компьютерной графики. С другой стороны, в режиме, в котором фактическое изображение не переключается на изображение компьютерной графики, даже когда разрешающая способность или общее количество пикселей становятся не больше заранее заданного значения на этапе 520a или когда нет изображения компьютерной графики, соответствующего объекту 530a, увеличенное фактическое изображение 501e отображается, как оно есть. В этом случае для электронного увеличения объекта 530a, как оно есть, отображается объект 530b. Объект 530b настолько грубый, что могут быть видны пиксели или точки изображения. В соответствии с настоящим изобретением фактическое изображение автоматически переключается на изображение 510a компьютерной графики, поэтому для пользователя имеется эффект просмотра объекта в виде изображения с высоким разрешением или входа в виртуальный магазин или виртуальный музей.
В описании способа получения изображения 510a компьютерной графики устройство 102 захвата изображения настоящего изобретения получает 3 элемента информации: информацию позиции, когда изображение было захвачено, как проиллюстрировано на фиг. 1, направление захвата изображения и диапазон захвата изображения. Эти элементы информации передаются на картографический сервер 120. Затем картографический сервер 120 выполняет трехмерную обработку изображения с использованием трехмерной информации в базе 118 картографических данных на основе информации позиции захвата изображения, направления захвата изображения и диапазона захвата изображения, чтобы сформировать изображение компьютерной графики с высоким разрешением, как проиллюстрированное изображение 510a компьютерной графики на фиг. 52. Затем изображение компьютерной графики передается на устройство 102 захвата изображения с использованием сети, такой как Интернет, и отображается на блоке 117 отображения.
Когда устройство 102 захвата изображения, такое как обычная потребительская фотокамера, имеет плохую точность информации позиции, направления захвата изображения и диапазона захвата изображения устройства 102 захвата изображения, устройство 102 захвата изображения передает данные фактического изображения 501a и/или данные фактического изображения 501c или грубые данные на сервер. Сервер формирует изображение 510a компьютерной графики, аналогичное фактическому изображению в его позиции, направлении и диапазоне, и получает точную позицию, направление захвата изображения и диапазон захвата изображения через сопоставление образов между сформированным изображением компьютерной графики и фактическим изображением. Сверка изображения 510 компьютерной графики с фактическим изображением 501 с помощью сопоставления образцов может компенсировать неточность захваченных данных позиции, направления захвата изображения и диапазона захвата изображения устройства 102 захвата изображения.
Упомянутое выше изображение 510a компьютерной графики на фиг. 52 показывает, что настоящее изобретение предназначено не просто для получения изображения с высоким разрешением. Когда в объекте 530c имеется какое-либо изображение трехмерной компьютерной графики, нажатие кнопки "вперед" или кнопки увеличения дает возможность войти в здание через объект 530c, который является входом в здание. Кроме того, в соответствии с настоящим изобретением в виртуальном пространстве может быть установлена виртуальная направляющая 550, и тем самым пользователь может перемещаться с помощью простых действий. Подробности будут описаны позже. Изображение 510b компьютерной графики иллюстрирует внутренний вид здания. При этом нажатие кнопки "вперед" и кнопки "направо" на крестообразном переключателе или поворот направо устройства 102 захвата изображения, такого как мобильный телефон с фотокамерой, приводит к обнаружению вращения направо датчиком направления захвата изображения, таким как шестиосный датчик ускорения и датчик угловой скорости. Тем самым можно увидеть правую картину 530d в виде изображения 510c компьютерной графики. Кроме того, наклон устройства 102 захвата изображения вперед вокруг фронтальной оси позволяет пользователю перемещаться вперед, и его наклон назад вокруг фронтальной оси позволяет пользователю перемещаться назад.
Далее представлена схема аспекта настоящего изобретения и будут подробно описаны операции со ссылкой на чертежи, такие как фиг. 53.
Фиг. 53 иллюстрирует фактическое изображение 501f, которое было фактически захвачено.
После выбора "увеличения масштаба" на этапе 520b изображение раскрывается (увеличивается) на этапе 520c, приводя к увеличению здания 530e на фактическом изображении 501g. Когда фактическое изображение 501g содержит трехмерные данные внутреннего вида здания, на экране отображается метка 540a.
Когда на этапе 520d выбирается "увеличения масштаба" и отображенное изображение имеет заранее заданную разрешающую способность или количество пикселей, не превышающее заранее заданное значение на этапе 520f, фактическое изображение 501g переключается на изображение трехмерной компьютерной графики, как проиллюстрировано на изображении 510d компьютерной графики. Без "увеличения масштаба" на этапе 520d изображение 510d компьютерной графики переключается на изображение 510e компьютерной графики, например, посредством нажатия метки 540a на этапе 520e для выбора. При выборе "увеличения масштаба" на этапе 520g после изображения 510d компьютерной графики дверь 530f открывается, как проиллюстрировано на изображении 510e компьютерной графики, чтобы дать возможность пользователю войти в здание 530e без заметного перехода. Дальнейший выбор действия "вперед" на этапе 520h переводит в приемную ресторана, как проиллюстрировано на изображении 510f компьютерной графики. Поворот устройства 102 захвата изображения налево или нажатие стрелки "налево" на этапе 520i приводит к обзору комнаты, находящейся слева от приемной, и столика 530g, как проиллюстрировано на этапе 510g. При этом отображение фотографии фактического ресторана вместо изображения 510g компьютерной графики может произвести эффект передачи атмосферы в ресторане клиентам. Кроме того, отображение видеосъемки комнаты в реальном времени вместо изображения 510g компьютерной графики может произвести эффект узнавания текущей заполненности или наличия мест в ресторане. При этом выполняется распознавание лиц, например, с закрашиванием части лица клиента, чтобы воспрепятствовать отображению на экране личной информации клиента и тем самым предоставить возможность защиты личной информации. Пометка только того места, на котором не сидит клиент, или размещение на месте, на котором кто-то сидит, виртуального человека, созданного посредством компьютерной графики, может сообщить пользователю о наличии свободных мест и атмосфере ресторана, при этом защищая личную информацию.
Как проиллюстрировано на изображении 510g компьютерной графики на фиг. 54, когда имеется столик 530g и выбирается "увеличение масштаба" на этапе 520j, на столике 530g появляется меню 530h, как проиллюстрировано на изображении 510h компьютерной графики. Кроме того, когда на этапе 520k выбирается "увеличение масштаба", на изображении 510i компьютерной графики отображаются пункты меню 530h. Когда на этапе 520m выбирается "конец", пользователь возвращается к входу, где имеется дверь 530f, как проиллюстрировано на изображении 510j компьютерной графики. Когда на этапе 520n выбирается "уменьшение масштаба", здание 530i слева на изображении 510k компьютерной графики отображается в режиме "запаздывания" без возврата к фактическому изображению. Затем на этапе 520p камера нацеливается налево, и на этапе 520q выбирается "увеличение масштаба" (увеличение), и отображается входная дверь 530j с меткой 540b, как проиллюстрировано на изображении 510m компьютерной графики. Когда на этапе 520r масштаб изображения еще более увеличивается, входная дверь 530j увеличивается, как проиллюстрировано на изображении 510n компьютерной графики. Когда масштаб изображения еще более увеличивается или пользователь следует вдоль направляющей 550, входная дверь 530j открывается, как проиллюстрировано на фиг. 55, чтобы предоставить пользователю возможность войти в здание без заметного перехода. Когда на этапе 520s масштаб изображения еще более увеличивается, в глубине становится видна входная дверь 530k. Когда на этапе 520t масштаб изображения еще более увеличивается, входная дверь 530k открывается, как проиллюстрировано на изображении 510r компьютерной графики. Когда на этапе 520u масштаб изображения еще более увеличивается, продукт 530m отображается на изображении 510s компьютерной графики. При дальнейшем выборе действий "увеличение масштаба" или "вперед" на этапе 521a отображается описательная информация продукта 530m, например, цена, отображается, как на изображении 510t компьютерной графики. Когда на этапе 521b выбирается действие "возврат", изображение компьютерной графики возвращается к входной двери 530j здания, как на изображении 511а компьютерной графики, последовательно через изображения 510u, 510v и 510w, проиллюстрированные на фиг.56. При выборе "возврата к фактическому изображению" на этапе 521d изображение возвращается к фактическому изображению, как фактическое изображение 501g.
Когда камера нацеливается направо на этапе 521е, отображается здание 530р, которое находится через два здания направо. Когда камера нацеливается направо на этапе 521f, в центре отображается входная дверь 530q, как проиллюстрировано на фиг.57. При выборе "увеличения масштаба" на этапе 521g изображение увеличивается, или пользователь перемещается вдоль направляющей 550. Когда разрешающая способность или общее количество пикселей изображения становятся не выше заранее заданного значения, изображение переключается с фактического изображения на изображение 511b компьютерной графики. При дальнейшем выборе "увеличения масштаба" на этапе 521i отображается внутренний вид здания без заметного перехода, как показано на изображении 511с компьютерной графики. При перемещении вдоль направляющей 550 камера нацеливается направо на этапе 521j, или выбирается стрелка "направо" на крестообразном переключателе, чтобы можно было увидеть правую картину 530r в виде изображения 511d компьютерной графики. Без направляющей 550 фотокамера нацеливается вверх на этапе 521k. При выборе "увеличения масштаба" на этапе 521m метка 540с и картина 530r отображаются, как показано на изображении 511е компьютерной графики. При дальнейшем увеличении на этапе 521n отображается изображение 511f компьютерной графики. Хотя имеется проблема в том, что у новичка есть трудности с движением в трехмерном пространстве из-за сложного трехмерного ввода, направляющая 550, которая будет описана позже, может решить проблему. При выборе "уменьшения масштаба" на этапе 521p на фиг. 58 изображение уменьшается, например, до изображения 511g компьютерной графики. Когда на этапе 521q настройка 1 включена, процесс переходит на этап 521r, фотокамера нацеливается вверх. Когда центр экрана соответствует метке 540c и выбирается кнопка "ввод" на этапе 522a, информация продукта картины 530r, например ее цена, размер и материал, отображается в изображении 511i компьютерной графики. Когда на этапе 521q настройка 1 выключена, процесс переходит на этап 522b, включается переключатель описания, чтобы отобразилось изображение 511i компьютерной графики. Когда оператор выбирает "покупку" на этапе 522c, отображается изображение 511j компьютерной графики, на котором отображена информация счета, и на этапе 522b взимается оплата за услугу. Когда оператор не выбирает "покупку" на этапе 522c, процесс переходит на этап 522e. При выборе "уменьшения масштаба" изображение уменьшается до изображения 511k компьютерной графики. При выборе "уменьшения масштаба" на этапе 522f и при настройке 3 на этапе 522g отображаются изображение 511m компьютерной графики, которое уменьшено, и стрелка 540d, указывающая налево для указания направления для возврата ко входу, в который оператор первоначально вошел.
На этапе 522j на фиг. 59, когда камера нацеливается налево, отображаются изображение 511n компьютерной графики и стрелка 540e, указывающая направление для возврата. При выборе "уменьшения масштаба" на этапе 522 КБ отображаются входная дверь 530q, в которую оператор первоначально вошел, и стрелка 540f, указывающая направление для возврата, как показано на изображении 511p компьютерной графики. При выборе "уменьшения масштаба" на этапе 522m отображается входная дверь 530q, как показано на изображении 511q компьютерной графики.
На этапе 522g на фиг. 58 при выключенной настройке 3, когда оператор переходит на этап 522i и выбирает "возврат", процесс переходит на изображение 511q компьютерной графики на следующей фиг. 59. На этапе 522n, когда настройка 4 включена, изображение уменьшается для отображения фактического изображения 501j. Когда на этапе 522m настройка 4 выключена, процесс автоматически возвращается к фактическому изображению 501j. На этапе 522r, когда камера нацеливается направо, справа отображается вход 530s здания, как показано на фактическом изображении 501k. На этапе 522s, когда выбирается "увеличение масштаба", отображаются метка 540g и вход 530s, как показано на фактическом изображении 501m. При этом на этапе 522n, когда включена настройка 4, изображение уменьшается на этапе 522q, и разрешающая способность или общее количество пикселей изображения становятся не больше заранее заданного значения, изображение переключается с изображения компьютерной графики на фактическое изображение 501j.
На этапе 522t на следующей фиг. 60, когда включена настройка 5, изображение увеличивается на этапе 523a. Когда разрешающая способность или общее количество пикселей изображения становятся больше заранее заданного значения, процесс переходит на этап 523b, и фактическое изображение отображается, как оно есть. Когда разрешающая способность или общее количество пикселей изображения становятся не больше заранее заданного значения, изображение переключается с фактического изображения на изображение 511r компьютерной графики. На этапе 523c, когда изображение увеличивается, дверь 530s открывается и дает возможность войти, например, в виртуальный магазин. Когда настройка 5 выключена на этапе 522t, с помощью щелчка на этапе 522u изображение переходит на изображение 511s компьютерной графики. Виртуальный магазин снабжен направляющими 550f, 550h и 550g, которые облегчат действия. Подробности будут описаны позже. На этапе 523d, когда пользователь осматривает виртуальный магазин и совершает покупку на этапе 523e, с пользователя взимается оплата за покупку на этапе 523f, и он выходит из здания на этапе 523g. На этапе 523e, когда пользователь не совершает покупку, он выходит из здания на этапе 523g.
Когда настройка 6 выключена на этапе 523h, изображению задаются характеристики запаздывания. Когда настройка 6 включена, у изображения нет характеристик запаздывания. На фиг. 52, когда общее количество пикселей на экране достигает R1 на этапе 510a, фактическое изображение автоматически переключается на изображение компьютерной графики. На этапе 523j на фиг. 60, когда масштаб изображения уменьшается, процесс переходит на этап 523k. Затем, когда изображение имеет параметр R1, который задает такую же разрешающую способность, как для переключения на изображение компьютерной графики с фактического изображения, изображение компьютерной графики автоматически переключается на фактическое изображение 501n.
Когда настройка 6 выключена на этапе 523h, поскольку изображение имеет характеристики запаздывания, процесс переходит на этап 523m и масштаб изображения уменьшается. На этапе 523n, когда изображение достигает общего количества R1 пикселей, которое ранее считалось, когда изображение переключалось с фактического изображения на изображение компьютерной графики, изображение компьютерной графики не переключается на фактическое изображение. Когда общее количество R1 пикселей становится равным количеству R2 пикселей, другими словами, количество пикселей R1>R2, изображение переключается с изображения компьютерной графики на фактическое изображение 501p. При таких характеристиках запаздывания часто изображение компьютерной графики и фактическое изображение поочередно переключаются до или после достижения общего количества R1 пикселей, которое является точкой переключения, тем самым препятствуя миганию экрана. Кроме того, когда настройка 6 выключена, чтобы обеспечить для изображения характеристики запаздывания, оператор может находиться в виртуальном пространстве в течение длительного периода времени.
Общее количество R1 пикселей, которое является точкой переключения фактического изображения на изображение компьютерной графики в соответствии с настоящим изобретением, изменяется в зависимости от количества объектов или наземных ориентиров в начальном изображении. Когда имеется большое количество объектов или наземных ориентиров, как в фактическом изображении 501a на фиг. 52 с электронным масштабированием, общее количество R1 пикселей для переключения между изображениями устанавливается равным меньшему значению, чем когда количество объектов меньше.
Наоборот, когда в начальном изображении имеется малое количество объектов или наземных ориентиров, общее количество R1 пикселей для переключения устанавливается равным большему значению.
Когда масштаб фактического изображения объекта увеличивается электронным способом, изображение постепенно становится грубым. Однако, когда количество объектов меньше и масштаб фактического изображения увеличивается, в случае, когда фактическое изображение содержит большее общее количество пикселей, фактическое изображение переключается на изображение компьютерной графики на более ранней стадии увеличения масштаба. Когда количество объектов меньше, фактическое изображение переключается на изображение компьютерной графики при электронном увеличении масштаба на более ранней стадии. Таким образом, имеется эффект быстрого преобразования фактического изображения в изображение компьютерной графики. Когда имеется большее количество объектов, электронное увеличение масштаба изображения должно быть выполнено до некоторой степени. Таким образом, фактическое изображение медленно переключается на изображение компьютерной графики. Таким образом, имеется эффект быстрого выполнения операции.
Кроме того, когда используется оптическое изменение масштаба, фактическое изображение автоматически переключается на изображение компьютерной графики в соответствии с общим количеством пикселей для каждого объекта. Фактическое изображение 501a на фиг. 52 имеет меньшее общее количество пикселей для каждого объекта. Однако оптическое изменение масштаба изображения заставляет изображение иметь большее общее количество пикселей для каждого объекта, как на фактическом изображения 501c. Таким образом, когда общее количество P1 пикселей для каждого объекта становится равным заранее заданному значению или больше него при оптическом изменении масштаба изображения, фактическое изображение переключается на изображение компьютерной графики. Таким образом, когда имеется меньше объектов, имеется эффект быстрого автоматического переключения фактического изображения на изображение компьютерной графики.
На следующей фиг.61 нацеливание камеры направо на этапе 523v приводит к получению фактического изображения 501q. На этапе 523q камера нацеливается направо, и масштаб изображения увеличивается на этапе 523r. Таким образом, получается увеличенное фактическое изображение 501r. Когда масштаб изображения дальше увеличивается на этапе 523s, получается дополнительно увеличенное фактическое изображение 501s.
При "увеличении масштаба" на этапе 523t получается фактическое изображение 501t, в котором здание 530t увеличено. При этом, поскольку в здание 530t нет входа, что отличает его от других зданий, оператор не может войти в создание 530t, просто увеличивая фактическое изображение. Таким образом, когда настройка 7 включена на этапе 523u, выбор виртуального режима на этапе 524a позволяет переключить изображение на изображение 512a компьютерной графики, и оператор входит в виртуальное пространство, даже когда изображение содержит большое количество пикселей. Поскольку изображение 512а компьютерной графики снабжено направляющими 550а, 550b и 550с, перемещение вдоль каждой из направляющих 550а, 550b и 550с избавляет от необходимости выполнения сложных трехмерных операций, тем самым упрощая операции. Когда настройка 8 выключена на этапе 524b, оператор переходит на этап 524с и перемещается вдоль шины 550b. Когда настройка 9 выключена на этапе 524е следующей фиг.62, оператор поворачивается налево на направляющей 530b на этапе 524g и перемещается вдоль направляющей 550с. При выборе "продолжения" на этапе 524h оператор достигает точки пересечения направляющей 550с и направляющей 550d. Когда настройка 10 выключена на этапе 524i, оператор поворачивает налево в точке пересечения направляющих 550с и 550d на этапе 524d, и спереди становится виден вход 530u, как проиллюстрировано на изображении 512е компьютерной графики. При выборе "вперед" на этапе 524k оператор перемещается вдоль шины 550d и может войти в здание, как показано на изображении 512f компьютерной графики. На этапе 524m оператор входит в здание. Внутри здания, перемещаясь вдоль направляющей 550d и направляющей 550е, оператор может автоматически войти в левую комнату 530х.
При этом виртуальная направляющая 550, обеспеченная в трехмерном пространстве, упрощает операции оператора. С помощью направляющей операции ограничиваются действиями "вперед", "назад", "поворот направо" и "поворот налево", выполняемыми посредством четырех переключателей. Таким образом, имеется эффект предоставления возможности движения в пределах виртуального пространства с использованием одной функциональной кнопки. Виртуальная направляющая установлена заранее посредством привязки направления обзора, высоты обзора и диапазона обзора позиции виртуального человека на направляющей к информации позиции на направляющей. Таким образом, как проиллюстрировано на изображении 511s компьютерной графики на фиг. 60, виртуальный человек, входящий в виртуальный магазин, сначала перемещается вдоль направляющей 550f. При выборе "поворота направо" в точке пересечения направляющих 550f и 550h виртуальный человек нацеливается в направлении картины 530y. При выборе "вперед" на направляющей 550h виртуальный человек встает перед картиной 530y. Когда виртуальный человек достигает конца направляющей 550h, изображение установлено в позиции на направляющей 550h, где предопределены "направление захвата изображения виртуальной камеры", "высота обзора (точка зрения)" и "диапазон обзора (изменение масштаба)". Таким образом, имеется эффект получения изображения, которое можно легко просмотреть, например, как проиллюстрировано на изображении 511e компьютерной графики на фиг. 57.
Традиционный способ без использования направляющей нуждается в управлении человеком для направления в трехмерном пространстве, как проиллюстрировано на предыдущем чертеже фиг. 57. Таким образом, необходимо, чтобы: (i) камера была нацелена направо на этапе 521j; (ii) камера была нацелена вверх на этапе 521k после продвижения оператора вперед; и (ii) масштаб изображения был увеличен на этапе 521m. Поскольку операции должны выполняться аккуратно, неумелому новичку требуется выполнить сложные операции в трехмерном пространстве, пока он не войдет в виртуальный магазин и увидит картину 530r, что потребует немало времени. Однако, поскольку обеспечена виртуальная направляющая, и направление обзора, высота обзора и диапазон обзора заранее установлены для каждой позиции виртуальной направляющей в соответствии с настоящим изобретением, оператор должен только нажать кнопки "вперед", "поворот направо" и "вперед" до достижения изображения 511е компьютерной графики с картиной 530r на фиг.57 и включать и выключать настройку. Таким образом, имеется значительный эффект сокращения количества ввода оператора и повышения удобства использования.
При этом на этапе 524b на фиг.61, когда настройка 8 включена, нажатие кнопки перехода на этапе 524d позволяет оператору перейти к изображению 512f компьютерной графики для входа в виртуальный магазин от входа здания 530t. Кроме того, на этапе 524i на фиг.62, когда настройка 10 включена, оператор может войти в виртуальный магазин посредством лишь щелчка по метке 540g (этап 524j). Оператор входит в здание на этапе 524m и выполняет проверку внутри здания (этап 524n). При выборе "возврат" на этапе 524р отображается текст "звонок?" и "номер телефона" на этапе 524q. При выборе "ОК" на этапе 524s выполняется автоматический вызов по номеру телефона с использованием мобильного телефона с камерой на этапе 524t, и оператор переходит на этап 525а. Кроме того, на этапе 524r отображается статус резервирования и вопрос "резерв?". При выборе "ОК" на этапе 524u и когда и "резервирование возможно" на этапе 524v, оператор выполняет резервирование на этапе 524w и переходит на этап 525a. При этом, когда оператор получает информацию о наличии в виртуальном пространстве, этап резервирования места в виртуальном магазине может быть добавлен к этапу 524w. Таким образом, пользователь может выполнить резервирование в магазине и заказ места, найдя любимое место в виртуальном пространстве. Кроме того, когда оператор получает информацию о наличии мест в виртуальном пространстве, он или она может активизировать экран резервирования мест посредством нажатия кнопки резервирования перед доступным местом или дальнейшего увеличения места, с тем чтобы оператор мог сделать резервирование в магазине желаемого места перед доступным местом в виртуальном пространстве. Таким образом, пользователь может узнать концептуальное изображение места заранее и зарезервировать место, аналогичное концептуальному изображению предпочтительного места. Когда настройка 9 включена на этапе 525a, оператор переходит к изображению 512g компьютерной графики. Когда настройка 9 выключена на этапе 525a, пользователь переходит к изображению 512h компьютерной графики и перемещается вперед. Далее будет описано изображение в случае ухода с направляющей 550. После отображения изображения 512g компьютерной графики нацеливание камеры налево приводит к изображению 512h компьютерной графики, содержащему здание 530t в центре. Если (i) выбрано "уменьшения масштаба" на этапе 525d, (ii) выбрано "да" на этапе 525e, проверяющем "настройку 11", и (iii) фактическое изображение имеет разрешающую способность или общее количество пикселей не ниже заранее заданного значения R3 на этапе 525f, изображение компьютерной графики переключается на фактическое изображение 501u. Другими словами, когда настройка 11 включена, масштаб изображения уменьшается. После достижения заранее заданной разрешающей способности изображение автоматически переключается на фактическое изображение, имеющее характеристики запаздывания. Когда настройка 11 выключена, изображение не переключается на фактическое изображение, тем самым позволяя оператору видеть изображение компьютерной графики с ориентацией камеры, как изображение 512i компьютерной графики.
При отображении изображения компьютерной графики 512i, когда камера нацеливается направо на этапе 525 г, здание, находящееся непосредственно справа, отображается в центре экрана, как на изображении 512j компьютерной графики. При выборе "увеличения масштаба" на этапе 525h увеличенное изображение входа 530w отображается, как на изображении 512k компьютерной графики. При выборе "увеличения масштаба" дверь открывается, чтобы дать возможность наблюдателю войти в здание 530v.
Таким образом, удобство использования будет значительно повышено с помощью направляющей в виртуальном пространстве. Кроме того, поскольку изображение обеспечено характеристиками запаздывания после переключения фактического изображения на изображение компьютерной графики, имеется эффект стабилизации отображения изображения.
Хотя в соответствии с вариантом осуществления 5 направляющая 550 отображается с наложением на изображении компьютерной графики, направляющая 551a может быть отображена на фактическом изображении 513a, как проиллюстрировано на фиг. 64. При этом смещение между фактическим изображением и изображением компьютерной графики исправляется посредством сопоставления образов между ними. Тогда отображение с помощью изображения компьютерной графики только направляющих 551a-551d с наложением на фактическое изображение позволяет отобразить направляющие 551 на изображении 513a. При этом, поскольку направление захвата изображения камеры изменяется из стороны в сторону и вверх и вниз в соответствии с сотрясением камеры и т.п., шестиосный датчик ускорения и датчик угловой скоростной обнаруживают величину сотрясения. Дорога или проход на фактическом изображении могут соответствовать направляющей 551 посредством измерения величины сотрясения в направлении захвата изображения камеры и панорамирования направляющей 551 на изображении в соответствии с величиной сотрясения. При этом корректирование сотрясения камеры с использованием функции корректирования сотрясения может уменьшить количество исправлений направляющей.
Кроме того, когда пользователь желает найти заведение конкретной категории, например ресторан, режим отображения устанавливается как "ресторан" на этапе 526a, и затем на изображении 513a отображаются направляющие 551b, 551c и 551d, каждая из которых указывает только точку ответвления к ресторану. При этом, когда пользователь устанавливает доступный ценовой предел равным 50 долларам или меньше, отображаются только направляющие 551c и 551d, каждая из которых указывает точку ответвления к ресторану. Кроме того, направляющая 551 к ресторану в нерабочее время не отображается или обозначается пунктиром. Хотя отображается только изображение 513a, может быть получен такой же эффект, даже когда изображение 513a является изображением компьютерной графики.
Когда режим отображения установлен как "питейное заведение" на этапе 526b, на изображении 513b отображаются направляющие 551f и 551g, каждая из которых указывает только точку ответвления к питейному заведению. При этом фактическое изображение и изображение компьютерной графики, которое должно быть отображено, могут достичь одинакового эффекта. На фактическом изображении направляющая, такая как направляющая 551a, панорамируется в соответствии с движением камеры, с тем чтобы фактическое изображение направляющей и направляющая 551a соответствовали друг другу. На изображении компьютерной графики, например, когда камера нацеливается направо, датчик ускорения или датчик угловой скорости обнаруживают движение камеры, с тем чтобы изображение компьютерной графики и направляющая 550 были скорректированы для соответствия между фактическим изображением и изображением компьютерной графики в направлении захвата изображения камеры. Когда отображается изображение компьютерной графики, изображение компьютерной графики может быть скорректировано посредством обнаружения движения фактического изображения, захваченного камерой, или смещение между фактическим изображением и изображением компьютерной графики может быть скорректировано посредством сопоставления образов между фактическим изображением и изображением компьютерной графики.
Каждая из стрелок 540h и 540i указывает направляющую, через которую оператор может перейти к следующей точке пересечения, отображенной на экране, в качестве способа отображения направляющей 551, как на изображении 513c. Когда пользователь нажимает кнопку "направо" на этапе 526c и изображение компьютерной графики отображается на этапе 526d, отображается дверь заведения, как на изображении 513d компьютерной графики. Когда кнопка "вперед" нажимается перед дверью, как на этапе 523c на фиг. 60, оператор может войти в заведение, как показано на изображении 511s компьютерной графики. Перемещаясь вдоль направляющих 550f, 550h и 550g в заведении, оператор может просмотреть меню и товары в заведении. В соответствии с настоящим изобретением, хотя направляющая к ресторану в нерабочие часы обозначена пунктиром, пользователь может войти в ресторан в нерабочее время. Когда пользователь входит ресторан и находит его привлекательным, он или она может зарезервировать место в ресторане. Таким образом, имеется экономический эффект в том, чтобы воспрепятствовать потере возможного клиента. Поскольку последующие этапы подробно описаны ранее, описание опускается.
На этапе 526d, когда изображение 513c иллюстрирует фактическое изображение 513e, отображаются направляющая 551b и стрелка 540k. При этом, когда пользователь выбирает "направление направо" на этапе 526e, фактическое изображение переключается на изображение компьютерной графики, и отображается дверь 530s, как на изображении 513d компьютерной графики. Затем на этапе 523c на фиг. 60 при выборе кнопки "вперед" пользователь может войти в виртуальное заведение, как показано на изображении 511s компьютерной графики. При этом пользователь может переместиться от фактического изображения на этапе 526e к изображению 510d компьютерной графики на этапе 520g на фиг. 53 и на этапе 520r на фиг. 54.
В соответствии с этим, даже когда пользователь не входит в фактическое заведение, он или она может узнать атмосферу заведения внутри, заполненность или цены заведения. Кроме того, пользователь может сделать резервирование места в ресторане и купить там товары. Таким образом, настоящее изобретение может повысить удобство пользователя.
Как описано выше, настоящее изобретение может выполнять переключение между фактическим изображением и изображением компьютерной графики в виртуальном пространстве. Таким образом, когда пользователь захватывает фактическое изображение с использованием мобильного телефона с камерой, он или она может получить значительный эффект автоматического входа в изображение компьютерной графики в виртуальном мире из реального мира при необходимости, как описано в варианте осуществления 5.
Хотя автоматический процесс объединения фотографий заканчивается на этапах 622m и 623h, пользователь может перейти на этап для ручного выбора фоновой фотографии, которая будет объединена, и для объединения портрета с выбранной фоновой фотографией после этапов 622m и 623h. Таким образом, даже когда фотография представляет собой фоновую фотографию, содержащую ненужный объект, пользователь может выбрать фотографию, которая может быть допустима для объединения портрета с выбранной фотографией, и получить составную фотографию, содержащую портрет.
Когда пользователь отказывается от покупки составной фотографии на этапе 624f, процесс останавливается на этапе 624g. Однако пользователь может позже купить составную фотографию с высоким разрешением без водяного знака. Например, когда пользователь отказывается купить составную фотографию, составная фотография с водяным знаком или составная фотография, имеющая более низкое разрешение, сохраняется в терминале, и составная фотография с высоким разрешением без водяного знака сохраняется на сервере в течение заранее заданного промежутка времени (например, 7 дней). Когда пользователь отказывается купить составную фотографию, составная фотография с водяным знаком или составная фотография, имеющая более низкое разрешение, воспроизводятся и отображаются, и пользователя снова спрашивают о покупке составной фотографии. Таким образом, даже когда пользователь желает купить составную фотографию позже, нет необходимости повторять составную обработку, и тем самым уменьшается нагрузка обработки на сервере. Кроме того, напоминание о составной фотографии с водяным знаком или составной фотографии, имеющей более низкое разрешение, которые сохранены в терминале, позволяет пользователю купить составную фотографию с высоким разрешением, и тем самым повышается удобство пользователя.
Далее будет описан особый функциональный способ.
В соответствии с аспектом настоящего изобретения имеется три режима, включающих в себя режим, который позволяет пользователю свободно перемещаться в пределах трехмерного пространства; двухмерный режим, который ограничивает движение вверх высотой человека, который стоит на поверхности в трехмерном пространстве, или на полу здания, или на лестнице; и режим направляющей (одномерный режим), который позволяет пользователю перемещаться вдоль направляющей, предусмотренной в двухмерном пространстве. Способы переключения из двухмерного или трехмерного режима в режим направляющей включают в себя способ автоматического переключения в режим направляющей, когда пользователь перемещается на направляющую в качестве начального шага. Когда пользователь перемещается на направляющую, в качестве следующего шага имеется способ переключения в режим направляющей с помощью нажатия или щелчка по кнопке для режима направляющей.
При переключении из двухмерного или трехмерного режима в режим направляющей (одномерный режим), предполагая, что точка 560a пересечения между направляющими 551a и 551b является точкой пересечения с порядковым номером n на изображении 513a на фиг. 64, изображение отображается с точки обзора с высотой, полученной, когда человек стоит на позиции точки пересечения с порядковым номером (n-1) или на точке направляющей 551, которая является предшествующей точке 560a пересечения. Вариант осуществления 5 описывает пример, когда на этапе 526c нажимается кнопка "направо". Напротив, предполагая, что вместо кнопки "направо" нажата кнопка "вперед", точка обзора сдвигается в точку 560a пересечения, и отображается точка 560b пересечения в самой предшествующей позиции. Когда отображается точка 560b пересечения и нажимается кнопка "вперед", точка обзора сдвигается в точку 560b пересечения, и точка 560c пересечения отображается в самой предшествующей позиции.
Таким образом, поскольку точка обзора каждый раз сдвигается при одном нажатии кнопки или одном щелчке, режим направляющей (одномерный режим) в основном позволяет выполнять пошаговое панорамирование в одномерном пространстве, тем самым обеспечивая эффект существенного упрощения операций по сравнению с операциями в трехмерном или двухмерном режиме.
Однако, когда расстояние между точками пересечения более длинное и на коротком расстоянии нет точки пересечения, точка обзора переходит на далекое расстояние с помощью лишь одного щелчка. В таком случае пользователь может потерять из виду свою позицию. Когда расстояние между точками пересечения больше, установка позиции остановки точки обзора предотвращает значительное изменение точки обзора с помощью одного щелчка. Позиция остановки точки обзора устанавливается (i) для каждого здания, которому дан наземный ориентир, и с обеих сторон направляющей или (ii) в позиции, полученной посредством разделения расстояния между двумя точками пересечения на равные длины.
В будущем ожидается, что возникает проблема, при которой пользователь теряет из виду свою позицию, когда точка обзора значительно изменяется с помощью одного щелчка кнопки, как описано выше. Однако, поскольку настоящее изобретение может предотвращать значительное изменение точки обзора, имеется эффект предотвращения потери из виду свой позиции пользователем. Хотя вариант осуществления 5 описывает случай, когда направляющая обеспечена на двухмерной плоскости, пользователь может перемещаться на более высокие и более низкие уровни, имеющие различные высоты, с использованием направляющей на лестнице или полу лифта. В соответствии с этим способом режим направляющей позволяет перемещение, кроме перемещения в воздухе. С помощью нажатия кнопки изменения режима пользователь может из режима направляющей вернуться к двухмерному или трехмерному режиму.
(Вариант осуществления 6)
Устройство захвата изображения в соответствии с вариантом осуществления 6 содержит блок выбора человека, выполненный с возможностью принимать заранее заданное действие для выбора человека среди людей на цифровом изображении, отображаемом блоком отображения, причем блок получения подробной информации выполнен с возможностью получать в качестве подробной информации изображение, показывающее соответствующий один из объектов множества элементов дополнительной информации от заранее заданного сервера в сети, и блок отображения выполнен с возможностью объединять полученное изображение на области изображения, показывающей людей, отличающихся от выбранного человека, и содержащей соответствующий один или более объектов в цифровом изображении.
Сервер обеспечения дополнительной информации в соответствии с вариантом осуществления 6 принимает от другого устройства конкретную информацию для задания нередактируемой области, в которой изображение, показывающее одного человека или более людей, и аналогичное изображение не объединяются; получает из базы данных аналогичное изображение, (i) показывающее соответствующий один из объектов множества элементов дополнительной информации и (ii) захваченное до цифрового изображения; и объединяет полученное аналогичное изображение на области изображения, отличающейся от нередактируемой области принятого цифрового изображения, область изображения соответствующего одного из объектов показывает человека.
Фиг. 65-68 являются чертежами для варианта осуществления 6.
Вариант осуществления 6 описывает способ стирания объекта, отличающегося от конкретного человека, на портрете.
Фиг. 65 иллюстрирует терминал 641 и сервер 642.
Сначала будет кратко описан способ получения фактического изображения 601a, показывающего людей 631a, 631b, 631c и 631d и фоновое изображение 611a, как проиллюстрировано на фиг. 65.
На этапе 621a терминал 641 передает на сервер 642 данные, содержащие данные изображения, местоположение, направление захвата изображения, высоту захвата и диапазон захвата изображения фактического изображения 601a.
После получения данных изображения и т.д. сервер 642 выполняет в базе 643 данных изображений, хранящейся на сервере 642, поиск изображения, которое является наиболее похожим на фактическое изображение 601a по его данным позиции, направлению захвата изображения, высоте захвата и диапазону захвата изображения, извлекает или создает через объединение фоновое изображение 611a без людей и передает полученное фоновое изображение 611a на терминал 641, такой как фотокамера и персональный компьютер.
Затем на этапе 621b терминал 641 создает фактическое изображение 601b, показывающее только портрет человека 631a посредством вырезания фактического изображения 601b из фактического изображения 601a.
Затем на этапе 621c терминал 641 объединяет фактическое изображение 601b, которое показывает только одного человека и создано терминалом 641, с фоновым изображением 611a, переданным от сервера 642, для создания объединенного изображения 605a.
Далее будет описан подробный процесс со ссылкой на блок-схемы последовательности операций, показанные на фиг. 66, 67 и 68.
Фиг. 66 показывает блок-схему последовательности операций системы в соответствии с вариантом осуществления 6.
Будет описана блок-схема последовательности операций на фиг. 66.
На этапе 622a терминал 641 получает данные позиции, направление захвата изображения и промежуток времени захвата изображения камеры и, возможно, данные, включающие в себя погодные условия и угол падения солнечного света, и передает полученные данные позиции и т.д. на сервер 642. При этом, когда данные погодных условий не присутствуют на этапе 622b, на этапе 622c терминал 641 выполняет доступ к серверу погодных условий для получения данных погодных условий области, где изображение было захвачено, на основе данных позиции и данных времени захвата изображения. Когда сервер 642 принимает данные погодных условий, процесс переходит на этап 622c.
На этапе 622c сервер 642 обращается к базе 643 данных фотографий (фиг. 65), хранящей данные фотографий на сервере 642, для поиска фотографии, имеющей такой же промежуток времени захвата изображения, позицию, направление и диапазон захвата изображения.
На этапе 622d, когда сервер 642 проверяет через выполнение проверки или определение базы 643 данных, например, что данные нескольких изображений, имеющих такие же дату и время, присутствуют ("да") в базе 643 данных, процесс переходит на этапу 623a. Когда нет данных изображений, имеющих такие же дату и время ("нет"), на этапе 622e сервера 642 проверяет, присутствуют ли в базе 643 данных фотографические данные, имеющие такие же погодные условия и такой же промежуток времени захвата изображения, с другой датой в течение 10 дней от даты захвата изображения. При выборе "да" на этапе 622e процесс переходит на этап 623a. При выборе "нет" на этапе 622e, процесс переходит на этап 622g, и сервер 642 проверяет, присутствуют ли в базе 643 данных данные угла падения солнечного света во время захвата изображения. При выборе "нет" процесс переходит на этап 622f, и угол падения солнечного света вычисляется на основе данных, таких как позиция захвата изображения и дата и время на сервере. Затем процесс переходит на этап 622j. На этапе 622j сервер 642 проверяет, присутствуют ли в базе 643 данных фотографические данные, имеющие такой же угол падения солнечного света и погодные условия, с другой датой в течение 30 дней от даты захвата изображения. При выборе "да" процесс переходит на этап 623a. При выборе "нет" процесс переходит на этап 622k, и сервер 642 проверяет, присутствуют ли в базе 643 данных данные изображения, имеющие такой же промежуток времени захвата изображения в другом году и такие же погодные условия. При выборе "да" процесс переходит на этап 623a, и при выборе "нет" процесс заканчивается на этапе 622m.
Фиг. 67 показывает блок-схему последовательности операций, являющуюся продолжением блок-схемы последовательности операций на фиг. 66.
На этапе 623a следующей фиг. 67 выбирается конкретный человек для вырезания человека или объекта, которых предпочтительно сохранить, из исходной фотографии 601a. При этом конкретный человек выбирается посредством технологии распознавания лица. Когда имеется несколько людей, которые должны быть сохранены, каждому человеку дается приоритет. Когда изображение другого человека или объекта наложено на изображение выбранного человека, человек или объект также включаются в фотографию. На этапе 623b выполняется распознавание лиц и распознавание людей на фоновом изображении 611a, которое должно быть фоном, и выбирается фотография, показывающая наименьшее количество людей. На этапе 623c выполняется проверка, равно ли нулю количество показанных на фотографии людей, и при выборе "да" процесс переходит на этап 624a. При выборе "нет" выполняется проверка, показывает ли исходное изображение 601a каких-либо людей в области изображения фоновой фотографии 1 (611b). При этом область изображения соответствует области изображения, показывающей портрет человека 631a, которого предпочтительно сохранить. При выборе "да", другими словами, когда нет мешающего изображения, процесс переходит на этап 624a. При выборе "нет", другими словами, когда имеется мешающее изображение, на этапе 623e в базе данных 643, содержащейся на фотографическом сервере 642, среди изображений, таких как фактические изображения 601c и 602e, выполняется поиск фотографии 2 (601e), не показывающей в области изображения человека, соответствующего мешающему портрету 631h. При выборе "да" на этапе 623f создается фоновая фотография 3 (601f), на которой только область изображения ненужного портрета 631h на фоновой фотографии 1 (601d) заменяется на соответствующую область изображения ненужного портрета 631h на фоновой фотографии 2, и процесс переходит на этап 604a. Другими словами, фоновая фотография 3 (601f) не показывает мешающего изображения в области изображения, показывающей портрет человека 631a. Если на этапе 623e сделан выбор "нет", на этапе 623g выполняется проверка, находится ли портрет 631h другого человека на фоновой фотографии 1 (611b) позади портрета человека 631a на фактическом изображении 601a. При выборе "да", поскольку фоновая фотография, показывающая ненужного человека, находится позади портрета человека 631a и может использоваться как фоновая фотография, процесс переходит на этап 624a. Если на этапе 623g сделан выбор "нет", поскольку ненужный портрет не может быть стерт, процесс заканчивается на этапе 623h.
Фиг. 68 показывает блок-схему последовательности операций, являющуюся продолжением блок-схемы последовательности операций на фиг. 67.
На фиг. 68 фоновая фотография отображается на дисплее терминала, такого как персональный компьютер и фотокамера на этапе 624a. При выборе фотографом кнопки "OK" на этапе 624b сервер создает составную фотографию посредством прикрепления вырезанного изображения портрета человека 631a на фоновую фотографию 2 или 3 на этапе 624c. На этапе 624d сервер передает на терминал, такой как камера, составную фотографию с видимым водяным знаком или составное изображение, полученное посредством уменьшения разрешения составной фотографии, и счет, указывающий цену полученной составной фотографии. На этапе 624e данные отображаются на дисплее терминала пользователя. Только когда пользователь вводит заказ на покупку ("да") на этапе 624f, терминал передает на сервер данные согласия на оплату счета, содержащие номер кредитной карты и информацию электронных денег. После завершения процедуры оплаты счета на этапе 624i сервер передает на терминал составную фотографию с высоким разрешением без водяного знака. На этапе 624k терминал принимает данные составной фотографии и отображает их на экране. Затем процесс заканчивается на этапе 624m.
(Вариант осуществления 7)
Система фильтрации дополнительной информации в соответствии с вариантом осуществления 7 содержит: устройство захвата изображения, выполненное с возможностью захватывать цифровое изображение; и сервер обеспечения дополнительной информации, который передает множество элементов дополнительной информации объектов, которые должны быть захвачены, на устройство захвата изображения, причем устройство захвата изображения содержит: блок формирования изображения, выполненный с возможностью захватывать цифровое изображение; блок получения коэффициента масштабирования, выполненный с возможностью получить используемый коэффициент масштабирования, когда блок формирования изображения захватывает цифровое изображение; блок получения позиции захвата изображения, выполненный с возможностью получать позицию захвата изображения, в которой блок формирования изображения захватывает цифровое изображение; блок передачи, выполненный с возможностью передавать коэффициент масштабирования и позицию захвата изображения, которые были получены, на заранее заданный сервер обеспечения дополнительной информации; блок получения дополнительной информации, выполненный с возможностью получать множество элементов дополнительной информации от сервера обеспечения дополнительной информации, в множестве элементов дополнительной информации каждый элемент (i) соответствует объектам, содержащимся в цифровом изображении, захваченном блоком формирования изображения, и (ii) соответствует позиции захвата изображения и коэффициенту масштабирования, которые переданы блоком передачи; блок ввода направления, выполненный с возможностью принимать ввод от оператора и получать направление, назначенное оператором через ввод; и блок отображения, выполненный с возможностью отображать цифровое изображение, захваченное блоком формирования изображения, в соответствии с направлением, полученным блоком ввода направления, выбирать соответствующий один элемент из множества элементов дополнительной информации среди множества элементов дополнительной информации, полученного блоком получения дополнительной информации, и отображать выбранный соответствующий один элемент из множества элементов дополнительной информации с наложением на цифровое изображение, множество элементов дополнительной информации соответственно содержит позиции объектов, и сервер обеспечения дополнительной информации содержит: базу данных, которая хранит множество элементов дополнительной информации объектов; блок приема, выполненный с возможностью принимать позицию захвата изображения и коэффициент масштабирования, которые были переданы; блок извлечения дополнительной информации, выполненный с возможностью извлекать из базы данных один или более элементов из множества элементов дополнительной информации, каждый элемент (i) соответствует объектам, содержащимся в цифровом изображении, и (ii) соответствует позиции захвата изображения и направлению захвата изображения, которые приняты блоком приема, на основе принятой информации; блок выбора, выполненный с возможностью выбирать соответствующий один элемент из множества элементов дополнительной информации, соответствующий позиции захвата изображения и коэффициенту масштабирования, которые приняты блоком приема, среди множества элементов дополнительной информации, извлеченных блоком извлечения дополнительной информации; и блок передачи, выполненный с возможностью передавать выбранный соответствующий один элемент из множества элементов дополнительной информации на устройство захвата изображения.
Фиг. 69-71, 32, 33-36, 14 и 50 являются чертежами для варианта осуществления 7.
Вариант осуществления 7 описывает конфигурацию для фильтрации наземных ориентиров, которые должны быть отображены на устройстве захвата изображения, без использования информации, указывающей направление, в котором устройство захвата изображения ориентировано при захвате изображения. В варианте осуществления 7 предполагается, что картографический сервер 120 имеет функцию для фильтрации наземных ориентиров. Способ фильтрации наземных ориентиров является таким же, как способ фильтрации, описанный в вариантах осуществления 1 и 2, и конфигурация для фильтрации на картографическом сервере 120 является такой же, как в варианте осуществления 4. Таким образом, далее будут главным образом описаны отличия от варианта осуществления 4.
Фиг. 69 иллюстрирует конфигурацию системы 101 в соответствии с вариантом осуществления 7.
Блок 121 формирования описательной информации устройства захвата изображения формирует описательную информацию устройства захвата изображения на основе информации позиции, полученной блоком 103 получения информации позиции, информации направления захвата изображения, полученной блоком 1960 получения информации масштабирования, информации фильтра, полученной блоком 111 получения информации фильтра, и информации диапазона захвата изображения, полученной блоком 122 получения информации диапазона захвата изображения, и передает полученную в результате информацию на картографический сервер 120.
Хотя фиг. 7 схематично иллюстрирует диапазон захвата изображения в соответствии с вариантом осуществления 1, вариант осуществления 7 не обрабатывает направление захвата изображения устройства захвата изображения. Таким образом, для удобства предполагается, что диапазон захвата изображения равен 360 градусам вокруг позиции захвата изображения, и извлечению подлежит информация наземных ориентиров вокруг позиции захвата изображения.
Картографический сервер 120 получает из базы 118 картографических данных 118 информацию наземных ориентиров, в которой позиция информации наземных ориентиров включена в диапазон захвата изображения устройства 102 захвата изображения. При этом блок 119 извлечения информации наземных ориентиров идентифицирует диапазон захвата изображения из описательной информации устройства захвата изображения. Затем блок 2713 извлечения информации отображения извлекает информацию отображения наземных ориентиров с использованием информации от блока 111 получения информации фильтра. Блок 2713 извлечения информации отображения устанавливает поля в соответствии с информацией коэффициента масштабирования, как проиллюстрировано на фиг. 8-12, и выполняет фильтрацию информации наземных ориентиров. Как описано выше, предполагается, что диапазон захвата изображения равен 360 градусам вокруг позиции захвата изображения.
Блок 115 обработки изображения обрабатывает захваченную информацию, полученную блоком 114 формирования изображения.
Блок 5115 ввода информации направления принимает ввод пользователя через функциональный интерфейс устройства 102 захвата изображения и получает направление, в котором пользователь желает отобразить наземный ориентир. Блок 5116 выбора наземных ориентиров выбирает информацию наземных ориентиров, расположенных в направлении, назначенном пользователем через блок 5115 ввода информации направления, из множества элементов информации наземных ориентиров, принятой от картографического сервера 120.
Блок 116 обработки отображения с наложением устройства 102 захвата изображения накладывает информацию наземных ориентиров на информацию изображения местности, полученную блоком 115 обработки изображения. Затем блок 117 отображения отображает изображение местности и наземный ориентир с наложением.
Процедуры, выполняемые картографическим сервером 120, от приема описательной информации устройства захвата изображения до передачи информации наземных ориентиров, которые должны быть отображены с наложением устройством 102 захвата изображения, являются такими же, как показанные на фиг. 30 в соответствии с вариантом осуществления 2.
Фиг. 70 показывает блок-схему последовательности операций, указывающую пример процессов, выполняемых устройством 102 захвата изображения, от получения информации наземных ориентиров до отображения информации наземных ориентиров с наложением на захваченное изображение местности.
Устройство 102 захвата изображения получает информацию направления, введенную пользователем (этап 5117), выбирает информацию наземных ориентиров, назначенную с помощью введенной информации направления, на основе информация позиции, содержащейся в информации наземных ориентиров (этап 5119), и отображает выбранную информацию наземных ориентиров с наложением на захваченное изображение (этап 3002). После приема информации наземных ориентиров от сервера, когда пользователь не ввел информацию направления, направление для выбора наземного ориентира предположительно устанавливается в заранее заданном направлении, например на север.
Фиг. 71 иллюстрирует пример отображения наземных ориентиров.
На фиг. 71 область отображения наземных ориентиров обеспечена в нижней части экрана. Верхняя средняя часть области отображения наземных ориентиров отображает направление для отображаемых в данный момент наземных ориентиров, и верхние стороны области отображения наземных ориентира соответственно отображают западное и восточное направления от направления для отображаемых в данный момент наземных ориентиров. В примере отображения, проиллюстрированном в области отображения наземных ориентиров на фиг. 71, "Кафе P" является выделенным. Например, после нажатия на кнопку "направо" становится выделенным "Цветочный магазин D". После дальнейшего нажатия на кнопку "направо", становится выделенным "северо-восток", являющийся направлением далее на восток. При этом при нажатии кнопки "направо" или кнопки "ввод" отображаемый наземный ориентир переключается с наземного ориентира, расположенного по направлению на "север", на наземный ориентир, расположенный по направлению на "северо-восток".
Упомянутая выше конфигурация не обязательно должна использовать информацию ориентации устройства 102 захвата изображения, когда захватывается изображение. Поскольку устройство захвата изображения выполняет фильтрацию, поиск и отображение наземного ориентира, конфигурация, использующая электромагнитный компас для обнаружения направления, не является необходимой, тем самым делая устройство 102 захвата изображения недорогим.
Кроме того, в соответствии с вариантом осуществления 7, когда картографический сервер 120 извлекает информацию наземных ориентиров, он выполняет фильтрацию полностью вокруг позиции захвата изображения в качестве диапазона захвата изображения, поскольку информация направления захвата изображения не доступна. Однако направление, в котором захвачено изображение, может быть оценено на основе подробностей захвата изображения, переданного от устройства 102 захвата изображения на картографический сервер 120 и принятого картографическим сервером 120. Например, картографический сервер 120 содержит блок проверки полей, который выполняет сопоставление образов для изображения, например, сопоставление образов между строением в известной позиции и ее захваченным изображением. Когда они сопоставлены друг с другом, направление захвата изображения может быть оценено с использованием позиции захвата изображения и позиции объекта, имеющего соответствие с двухмерными координатами объекта в изображении. Когда картографический сервер 120 может оценить направление при захвате изображения, направление избавляет от необходимости извлечения наземных ориентиров полностью вокруг позиции захвата изображения, тем самым ускоряя фильтрацию и улучшая точность фильтрации.
Настоящее изобретение позволяет отображать информацию наземных ориентиров сразу после того, как устройство 102 захвата изображения выполняет панорамирование, отображая наземный ориентир. Таким образом, картографический сервер 120 передает информацию наземных ориентиров в диапазоне захвата изображения устройства 102 захвата изображения и передает информацию наземных ориентиров вокруг диапазона захвата изображения в фоновом режиме, когда обработка отображения с наложением выполняется устройством 102 захвата изображения. Однако картографический сервер 120 не должен передавать информацию наземных ориентиров вокруг диапазона захвата изображения и может передать только информацию наземных ориентиров в диапазоне захвата изображения, в котором устройство 102 захвата изображения захватывает изображение. В соответствии с этим, поскольку имеются случаи, когда устройство 102 захвата изображения не выполняет панорамирование, пользователь может ожидать эффект уменьшения количества данных, которые будут переданы от картографического сервера 120 на устройство 102 захвата изображения.
Фиг. 33 иллюстрирует систему 101 для измерения информацию высоты устройства 102 захвата изображения.
Вариант осуществления 7 в соответствии с настоящим изобретением может иметь конфигурацию, показанную на фиг. 33, для измерения информации высоты устройства 102 захвата изображения. Блок 3221 получения информации высоты содержит блок 3222 обнаружения информации высоты, который обнаруживает информацию высоты, и блок 3223 вывода информации высоты, который передает обнаруженную информацию высоты блоку 121 формирования описательной информации устройства захвата изображения.
Фиг. 34 иллюстрирует пример формата данных, которые будут переданы от блока 121 формирования описательной информации устройства захвата изображения через блок 112 связи.
Картографический сервер 120 может знать расстояние от устройства 102 захвата изображения до горизонта посредством получения информации высоты. Таким образом, устройство 102 захвата изображения может знать, что диапазон информации наземных ориентиров передан с высокой точностью, например информация наземных ориентиров от крыши здания. Без блока 3221 получения информации высоты картографический сервер 120 может вычислить информацию высоты устройства 102 захвата изображения с использованием информации позиции устройства 102 захвата изображения и информации горизонталей на карте.
Вариант осуществления 7 в соответствии с настоящим изобретением может дополнительно иметь конфигурацию, показанную на фиг. 35, для измерения информации высоты устройства 102 захвата изображения. Блок 3221 получения информации высоты содержит блок 3222 обнаружения информации высоты, который обнаруживает информацию высоты, и блок 3223 вывода информации высоты, который передает обнаруженную информацию высоты блоку 121 формирования описательной информации устройства захвата изображения. Кроме того, блок 3424 получения информации угловой высоты содержит блок 3425 обнаружения информации угловой высоты 3425 и блок 3426 вывода информации угловой высоты.
Фиг. 36 иллюстрирует пример формата данных, которые будут переданы от блока 121 формирования описательной информации устройства захвата изображения через блок 112 связи.
Картографический сервер 120 может знать диапазон захвата изображения устройства 102 захвата изображения с использованием информации позиции, информации диапазона захвата изображения, информации высоты и информации угловой высоты устройства 102 захвата изображения с высокой точностью. Таким образом, картографический сервер 120 может с высокой точностью знать диапазон информации наземных ориентиров, которые должны быть переданы на устройство 102 захвата изображения.
Фильтр с помощью служб социальных сетей (SNS) может быть объединен с фильтром масштабирования. Например, конфигурация для изменения области отображения и вариант осуществления 3 могут быть объединены с использованием информации масштабирования. Информация масштабирования определяет область отображения. Кроме того, в области отображения отображается информация с более высоким приоритетом с использованием фильтра с помощью служб социальных сетей (SNS), с тем чтобы пользователь мог отобразить информацию наземных ориентиров, которая соответствует предпочтениям пользователя, в пределах области, в которой пользователь желает знать информацию наземных ориентиров.
Хронологии операций устройства захвата изображения каждого пользователя могут быть сохранены в соответствующих блоках памяти, и фильтрация может быть выполнена с использованием способа фильтрации, имеющего более высокую частоту использования.
Фильтр с помощью служб социальных сетей (SNS) может определять предпочтения пользователя на основе информации форума, к которому принадлежит пользователь, информации вебсайта, имеющего более высокое посещение пользователями, информации форума, ключевых слов, которые часто используются для поиска, и другой информации.
Диапазон информации наземных ориентиров, которые должны быть передан от сервера, может быть разделен на некоторые уровни, и полученные уровни могут быть изменены в соответствии с оставшимся уровнем батареи и интенсивности сигнала. Например, диапазон информации наземных ориентиров может быть разделен на три уровня, то есть вся информация наземных ориентиров "в пределах 5-километрового квадрата", информация наземных ориентиров "в пределах сектора с углом захвата изображения" и "никакая информация наземных ориентиров не получена". Когда оставшийся уровень батареи равен заранее заданному уровню или ниже его, диапазон информации наземных ориентиров определен как "никакая информация наземных ориентиров не получена". Таким образом, связь с картографическим сервером приостанавливается, и приоритет отдается операции захвата изображения, а не отображению информации наземных ориентиров. Когда интенсивность радиосигнала ниже, получение информации наземных ориентиров в пределах 5-километрового квадрата может дать эффект прекращения разряда батареи через уменьшение количества доступа к картографическому серверу. Кроме того, внешняя память, в которой хранится информация наземных ориентиров, распространяется в таких местах, как экскурсионная зона и парк развлечений. Таким образом, внешняя память может получить информацию наземных ориентиров даже в том месте, где связь с картографическим сервером невозможна.
Кроме того, в том месте, где связь испытывает затруднения, связь с картографическим сервером может быть приостановлена, пока информация позиции не изменится, с тем чтобы можно было предотвратить разряд батареи, происходящий из-за ненужной связи.
Кроме того, когда блок получения информации позиции не может использоваться из-за поломки, связь с картографическим сервером может быть приостановлена, с тем чтобы можно было предотвратить разряд батареи, происходящий из-за ненужной связи.
Кроме того, информация профиля службы социальной сети (SNS) может быть перезаписана в соответствии с описательной информацией наземных ориентиров объекта, захваченного пользователем. Например, когда в разделе профиля интернет-форума предусмотрена форма "недавние интересы", и у пользователя есть много информации о наземных ориентирах относительно мест поклонения и храмов, информация о местах поклонения и храмах автоматически записывается в форму. Таким образом, могут стать известны неосознанные и потенциальные интересы пользователя.
Блок 103 получения информации на фиг.2 не обязательно ограничен системой GPS. Например, информация позиции может быть измерена посредством вычисления позиции относительно узлов доступа в соответствии с интенсивностью приема сигнала беспроводной локальной сети.
Кроме того, в соответствии с настоящим изобретением доступен способ получения информации позиции без использования беспроводной локальной сети, а посредством вычисления расстояния относительно мобильного телефона или базовой станции системы персональных мобильных телефонов (PHS).
Кроме того, хотя блок 103 получения информации позиции, содержащийся в устройстве 102 захвата изображения, получает информацию позиции, настоящее изобретение не ограничено этим. Блок 104 обнаружения информации позиции и блок 107 обнаружения направления захвата изображения могут быть отделены от устройства 102 захвата изображения и обеспечены в другом устройстве. Например, блок приема устройства 102 захвата изображения может принять информацию позиции и направление захвата изображения, которые получены мобильным телефоном, содержащим блок 104 обнаружения информации позиции и блок 107 обнаружения направления захвата изображения. Кроме того, функция системы GPS другого прибора, такого как мобильный телефон, может быть получена через связь малой дальности и другие средства.
Кроме того, предполагая, что транспортное средство, такое как самолет и поезд, содержит блок измерения информации позиции с высокой точностью, измеренная информация позиции может быть передана с использованием беспроводного сигнала, и беспроводный терминал может получить информацию позиции через прием.
При этом в соответствии с вариантами осуществления 1-3 настоящего изобретения картографический сервер 120 может быть выполнен со следующей возможностью для уменьшения информации наземных ориентиров, которая должна быть передана на устройство захвата изображения.
Фиг. 37 показывает пример формата данных, которые будут переданы от устройства захвата изображения на картографический сервер.
Устройство захвата изображения передает информацию относительно максимального отображаемого количества наземных ориентиров в каждом поле в качестве описательной информации устройства захвата изображения, которая будет передана на картографический сервер, как показано на фиг. 37. Картографический сервер сужает иерархические уровни наземных ориентиров, которые должны быть переданы, в соответствии с принятым максимальным отображаемым количеством наземных ориентиров. В соответствии со способом фильтрации устройства захвата изображения варианта осуществления 1 картографический сервер передает только информацию наземных ориентиров в самом глубоком иерархическом уровне и в пределах диапазона наземных ориентиров, которые должны быть отображены устройством захвата изображения, другими словами, в пределах диапазона, который не превышает количество наземных ориентиров, отображаемых в каждом поле. Когда количество наземных ориентиров в самом высоком ранге превышает максимальное отображаемое количество наземных ориентиров в каждом поле, картографический сервер передает наземные ориентиры в поле сетки и в пределах диапазона ближе к центру диапазонов, чтобы не превысить максимальное количество отображаемых наземных ориентиров в каждом поле. Таким образом, информация наземных ориентиров, которая должна быть передана с картографического сервера на устройство захвата изображения, будет уменьшена, отклик для отображения наземных ориентиров становится быстрее, и удобство пользователя может быть повышено.
Фиг. 15 иллюстрирует, что картографический сервер передает информацию наземных ориентиров на более глубоком иерархическом уровне.
Кроме того, картографический сервер может передавать не только информацию наземных ориентиров, переданных от устройства захвата изображения, но также и наземные ориентиры по иерархическим уровням, в каждом из которых установлено максимальное количество отображаемых наземных ориентиров в каждом поле. После передачи устройство захвата изображения может передать наземные ориентиры в намного более глубоком иерархическом уровне на картографический сервер. Посредством этого, поскольку информация наземных ориентиров, которая должна быть передана с картографического сервера на устройство захвата изображения, будет уменьшена по сравнению с конфигурацией в соответствии с вариантом осуществления 1, объем информации, который должен быть передан, будет уменьшен, а также будет сокращен период времени передачи. Кроме того, когда пользователь сужает область отображения наземных ориентиров, устройство захвата изображения может отобразить наземные ориентиры, не запрашивая у картографического сервера передачу информацию наземных ориентиров снова. Таким образом, отклик для отображения наземных ориентиров станет быстрее, и тем самым можно ожидать повышение удобства пользователя.
Расстояния от устройств захвата изображения до каждого поля не обязательно должны быть одинаковыми и могут быть переменными, например, в соответствии с коэффициентом масштабирования. Когда коэффициент масштабирования ниже, вероятно, пользователь очень желает узнать информацию наземных ориентиров более близкого объекта в первом поле. Напротив, когда коэффициент масштабирования выше, вероятно, пользователь очень желает узнать информацию наземных ориентиров отдаленного объекта в третьем поле. Таким образом, например, когда коэффициент масштабирования ниже, радиус первого поля устанавливается меньшим и радиус третьего поля устанавливается большим. Кроме того, по мере увеличения коэффициента масштабирования соответственно радиус первого поля устанавливается большим и радиус третьего поля устанавливается меньшим. Поскольку количество наземных ориентиров, которые должны быть отображены в поле, ограничено, такая конфигурация позволяет отобразить большое количество информации наземных ориентиров объектов в поле, о котором пользователь желает узнать.
Пользователь может настроить устройство захвата изображения таким образом, чтобы размер сеточного поля был переменным. Другими словами, диапазон поля и ширина диапазона (угол диапазона) могут быть переменным с использованием переключателя пользователя и т.д. Таким образом, может быть отображен наземный ориентир в сеточном поле, которое пользователь желает получить, и тем самым повышается удобство пользователя.
Способ фильтрации отображения в соответствии с настоящим изобретением не обязательно ограничен способом, описанным со ссылкой на фиг. 11, то есть способом отображения наземных ориентиров в самом глубоком иерархическом уровне без превышения количества наземных ориентиров, отображаемых в каждом поле.
Например, каждому наземному ориентиру может быть дан приоритет, и наземные ориентиры могут быть отображены в порядке от наземного ориентира, имеющего самый высокий приоритет в самом низком иерархическом уровне, без превышения количества наземных ориентиров, отображаемых в каждом поле. Например, имеется способ назначения более высокого приоритета более высокому строению. Способ может снизить возможность отображения наземного ориентира объекта, который фактически не виден для устройства захвата изображения из-за более высокого строения, стоящего перед объектом. В качестве альтернативы, может быть назначен более высокий приоритет отображения наземного ориентира объекта, имеющего более высокую возможность быть видимым для устройства захвата изображения.
Кроме того, приоритет дается каждому объекту в соответствии с частотой доступа к наземному ориентиру объекта, который должен быть отображен устройством захвата изображения. Другими словами, картографический сервер может управлять хронологиями наземных ориентиров, отображаемых устройством захвата изображения, и назначать более высокий приоритет объекту, имеющему больше запросов отображения наземного ориентира. Предполагается, что наземный ориентир известной достопримечательности отображается большее количество раз. С помощью этих способов имеются эффекты назначения более высоких приоритетов достопримечательностям и известной информации о достопримечательностях в незнакомом пользователю месте.
Фиг. 51 иллюстрирует устройство захвата изображения, которое отображает прямоугольник.
Устройство захвата изображения может быть обеспечено функцией распознавания изображения для способа отображения с наложением, как раскрыто в вариантах осуществления настоящего изобретения. Как проиллюстрировано на фиг. 51, наземный ориентир, на котором размещен курсор в области отображения, может быть выделен прямоугольником на соответствующей части изображения местности. Наземный ориентир, имеющий подробную информацию, может быть отображен другим способом отображения (например, с отображением пунктирного прямоугольника вокруг части изображения местности). Поскольку предполагается, что устройство захвата изображения обычно отображает изображение местности, содержащее объекты, имеется эффект, при котором фотограф может легко узнать, какой наземный ориентир выбран, посредством выделения контура объекта, в котором размещен курсор. Кроме того, контур объекта, который может быть подробно отображен, выделяется с помощью другого способа выделения, с тем чтобы пользователь мог интуитивно понять, какой объект имеет подробную информацию, и тем самым повышается удобство использования.
Фиг. 72 показывает пример формата данных, которые будут переданы от устройства 102 захвата изображения на картографический сервер 120. Элементы, включенные в формат, являются коллекцией всех элементов в каждом из форматов, описанных со ссылкой на фиг. 4 и 24. Устройство захвата изображения может передавать данные, имеющие такой формат, на картографический сервер. При этом после передачи данных, имеющих этот формат, система может выполнить два типа процессов, описанных выше в различных частях, несмотря на процессы, подлежащие изменению при обработке в зависимости от того, удовлетворено ли заранее заданное условие.
Функциональные блоки, описанные в соответствии с вариантами осуществления настоящего изобретения, обычно реализуются в виде интегральной схемы или большой интегральной схемы (LSI). Большие интегральные схемы могут быть выполнены как отдельные индивидуальные микросхемы или как одна микросхема, включающая в себя часть или все из них.
Упомянута большая интегральная схема, но имеются случаи, в которых из-за различия степени интеграции используются интегральная схема (IC), системная большая интегральная схема, сверхбольшая интегральная схема и ультра-большая интегральная схема.
Кроме того, средство для схемной интеграции не ограничено большой интегральной схемой, и также доступна реализация со специализированной схемой или процессором общего назначения. Также приемлемо использование программируемой вентильной матрицы (FPGA), которая может быть запрограммирована после изготовления большой интегральной схемы, и реконфигурируемый микропроцессор, в котором соединения и параметры настройки ячеек схемы в пределах большой интегральной схемы могут быть реконфигурированы. В качестве альтернативы, процессор может выполнять управление посредством исполнения управляющей программы, сохраненной в постоянном запоминающем устройстве (ПЗУ; ROM), с помощью аппаратного ресурса, содержащего микропроцессор и память.
Кроме того, когда в результате развития полупроводниковой технологии или другой производной технологии появится технология интегральных схем, которая заменит большие интегральные схемы, такая технология естественным образом может быть использована для интеграции функциональных блоков. Ожидается, что к технологии интегральных схем будет применяться биотехнология.
Промышленная применимость
Настоящее изобретение полезно в качестве методики отображения только желаемой пользователем информации наземных ориентиров на изображении, имеющем множество элементов информации наземных ориентиров.

Claims (15)

1. Устройство захвата изображения, содержащее:
блок формирования изображения, выполненный с возможностью захватывать цифровое изображение;
блок получения позиции захвата изображения, выполненный с возможностью получать информацию позиции захвата изображения, указывающую позицию, в которой захвачено цифровое изображение;
блок получения направления захвата изображения, выполненный с возможностью получать информацию направления захвата изображения, указывающую направление, в котором захвачено цифровое изображение;
блок получения дополнительной информации, выполненный с возможностью получать множество элементов дополнительной информации из устройства хранения дополнительной информации, которое хранит множество элементов дополнительной информации, причем в множестве элементов дополнительной информации каждый элемент соответствует заранее заданному объекту, и каждый элемент содержит информацию позиции объекта, указывающую позицию соответствующего одного из объектов;
блок выбора, выполненный с возможностью разделять на подполя пространство обзора, определенное информацией позиции захвата изображения и информацией направления захвата изображения, и выбирать для каждого из подполей соответствующий один или более элементов дополнительной информации, имеющих количество, не превышающее количество, которое установлено в соответствующем одном из подполей, среди множества элементов дополнительной информации, содержащего множество элементов информации позиций объектов, соответственно указывающих позиции, содержащиеся в подполях; и
блок отображения, выполненный с возможностью отображать соответствующий один или более элементов из множества элементов дополнительной информации с наложением на цифровое изображение, причем соответствующий один или более элементов из множества элементов дополнительной информации выбраны упомянутым блоком выбора.
2. Устройство захвата изображения по п.1,
в котором каждый из объектов, соответствующих множеству элементов дополнительной информации, отнесен к одному из иерархических уровней, и второй объект отнесен ко второму иерархическому уровню ниже первого иерархического уровня, при этом второй объект является частью первого объекта, отнесенного к первому иерархическому уровню, каждый элемент из множества элементов дополнительной информации дополнительно содержит иерархическую информацию, указывающую соответствующий один из иерархических уровней, к которому принадлежат объекты, и
упомянутый блок выбора выполнен с возможностью выбирать самый низкий иерархический уровень среди иерархических уровней для каждого из подполей, и соответствующий один элемент из множества элементов дополнительной информации, причем самый низкий иерархический уровень соответствует одному или более элементам из множества элементов дополнительной информации, соответственно содержащим множество элементов информации позиции объектов и множество элементов иерархической информации, при этом соответствующий один элемент из множества элементов дополнительной информации содержит: (i) соответствующий один элемент из множества элементов информации позиции объектов, указывающей позицию в соответствующем одном из подполей; и (ii) соответствующий один элемент из множества элементов иерархической информации, указывающей самый низкий иерархический уровень, и один или более элементов из множества элементов дополнительной информации имеют количество, не превышающее установленное количество.
3. Устройство захвата изображения по п.1,
в котором упомянутый блок выбора выполнен с возможностью выбирать один или более элементов из множества элементов дополнительной информации, которые должны быть отображены, и имеющие количество, не превышающее установленное количество, в по меньшей мере одном из подполей, и не выбирать какое-либо множество из множества элементов дополнительной информации в подполях, кроме по меньшей мере одного из подполей.
4. Устройство захвата изображения по п.1,
в котором подполя представляют собой поля, полученные посредством деления пространства обзора в соответствии с расстоянием от позиции, обозначенной информацией позиции захвата изображения.
5. Устройство захвата изображения по п.4, дополнительно содержащее:
блок получения коэффициента масштабирования, выполненный с возможностью получать информацию коэффициента масштабирования, указывающую используемый коэффициент масштабирования, когда упомянутый блок формирования изображения захватывает цифровое изображение,
причем упомянутый блок выбора выполнен с возможностью:
выбирать среди подполей по меньшей мере одно из подполей в соответствии с коэффициентом масштабирования, обозначенным информацией коэффициента масштабирования, выбирать в выбранном одном из подполей соответствующий один элемент из множества элементов дополнительной информации, которые должны быть отображены и имеющие количество, не превышающее установленное количество, и не выбирать какое-либо множество элементов дополнительной информации, которые должны быть отображены в подполях, кроме выбранного одного из подполей; и
выбирать соответствующее одно из подполей, которое более отдалено от позиции, обозначенной информацией позиции захвата изображения, по мере увеличения коэффициента масштабирования, обозначенного информацией коэффициента масштабирования.
6. Устройство захвата изображения по п.1,
в котором подполя представляют собой поля, полученные посредством разделения угла обзора пространства обзора на заранее заданный единичный угол.
7. Устройство захвата изображения по п.1, дополнительно содержащее:
блок приема запроса подробной информации, выполненный с возможностью, когда выполняется операция масштабирования для увеличения изображения объекта, содержащегося в цифровом изображении, принимать операцию масштабирования в качестве запроса получения подробной информации объекта, который был увеличен; и
блок получения подробной информации, выполненный с возможностью, когда упомянутый блок приема запроса подробной информации принимает запрос получения подробной информации, получать подробную информацию увеличенного объекта от устройства хранения подробной информации, которое хранит подробную информацию увеличенного объекта.
8. Устройство обеспечения дополнительной информации, содержащее:
базу данных, которая хранит множество элементов дополнительной информации, каждый из которых соответствует заранее заданному объекту и содержит информацию позиции объекта, указывающую позицию соответствующего одного из объектов;
блок приема, выполненный с возможностью принимать от устройства захвата изображения информацию позиции, указывающую заранее заданную позицию, и информацию направления, указывающую заранее заданное направление;
блок выбора, выполненный с возможностью разделять на подполя пространство обзора, ориентированное в направлении, обозначенном информацией направления, относительно позиции, обозначенной информацией позиции, и выбирать для каждого из подполей соответствующий один или более элементов из множества элементов дополнительной информации, имеющих количество, не превышающее количество, которое установлено в соответствующем одном из подполей, среди множества элементов дополнительной информации, содержащих множество элементов информации позиции объектов, соответственно указывающих позиции, содержащиеся в подполях; и
блок передачи, выполненный с возможностью передавать на устройство захвата изображения соответствующий один или более элементов из множества элементов дополнительной информации, выбранных упомянутым блоком выбора.
9. Устройство обеспечения дополнительной информации по п.8,
в котором каждый из объектов, соответствующих множеству элементов дополнительной информации, отнесен к одному из иерархических уровней, и второй объект отнесен ко второму иерархическому уровню ниже первого иерархического уровня, при этом второй объект является частью первого объекта, отнесенного к первому иерархическому уровню,
каждый элемент из множества элементов дополнительной информации дополнительно содержит иерархическую информацию, указывающую соответствующий один из иерархических уровней, к которому принадлежат объекты, и
упомянутый блок выбора выполнен с возможностью выбирать самый низкий иерархический уровень среди иерархических уровней для каждого из подполей и соответствующий один элемент из множества элементов дополнительной информации, причем самый низкий иерархический уровень соответствует одному или более элементам из множества элементов дополнительной информации, соответственно содержащим множество элементов информации позиции объектов и множество элементов иерархической информации, при этом соответствующий один элемент из множества элементов дополнительной информации содержит: (i) соответствующий один элемент из множества элементов информации позиции объектов, указывающей позицию в соответствующем одном из подполей; и (ii) соответствующий один элемент из множества элементов иерархической информации, указывающей самый низкий иерархический уровень, и один или более элементов из множества элементов дополнительной информации имеют количество, не превышающее установленное количество.
10. Устройство обеспечения дополнительной информации по п.8,
в котором упомянутый блок выбора выполнен с возможностью выбирать один или более элементов из множества элементов дополнительной информации, которые должны быть отображены, и имеющие количество, не превышающее установленное количество, в по меньшей мере одном из подполей, и не выбирать какое-либо множество элементов дополнительной информации в подполях, кроме по меньшей мере одного из подполей.
11. Устройство обеспечения дополнительной информации по п.8,
в котором подполя представляют собой поля, полученные посредством деления пространства обзора в соответствии с расстоянием от позиции, обозначенной информацией позиции захвата изображения.
12. Устройство обеспечения дополнительной информации по п.11,
в котором упомянутый блок выбора выполнен с возможностью дополнительно принимать от устройства захвата изображения информацию коэффициента масштабирования, указывающую коэффициент масштабирования, при этом коэффициент масштабирования используется, когда цифровое изображение захватывается в позиции, обозначенной информацией позиции, и в направлении, обозначенном информацией направления,
причем упомянутый блок выбора выполнен с возможностью:
выбирать среди подполей по меньшей мере одно из подполей в соответствии с коэффициентом масштабирования, обозначенным информацией коэффициента масштабирования, выбирать в выбранном одном из подполей соответствующий один элемент из множества элементов дополнительной информации, которые должны быть отображены и имеющие количество, не превышающее установленное количество, и не выбирать какое-либо множество элементов дополнительной информации, которые должны быть отображены в подполях, кроме выбранного одного из подполей; и
выбирать соответствующее одно из подполей, которое более отдалено от позиции, обозначенной информацией позиции захвата изображения, по мере увеличения коэффициента масштабирования, обозначенного информацией коэффициента масштабирования.
13. Устройство обеспечения дополнительной информации по п.8,
в котором подполя представляют собой поля, полученные посредством разделения угла обзора пространства обзора на заранее заданный единичный угол.
14. Способ захвата изображения, содержащий этапы, на которых:
захватывают цифровое изображение;
получают информацию позиции захвата изображения, указывающую позицию, в которой захвачено цифровое изображение;
получают информацию направления захвата изображения, указывающую направление, в котором захвачено цифровое изображение;
получают множество элементов дополнительной информации из устройства хранения дополнительной информации, которое хранит множество элементов дополнительной информации, при этом в множестве элементов дополнительной информации каждый элемент соответствует заранее заданному объекту, и каждый элемент содержит информацию позиции объекта, указывающую позицию соответствующего одного из объектов;
разделяют на подполя пространство обзора, определенное информацией позиции захвата изображения и информацией направления захвата изображения, и выбирают для каждого из подполей соответствующий один или более элементов дополнительной информации, имеющих количество, не превышающее количество, которое установлено в соответствующем одном из подполей, среди множества элементов дополнительной информации, содержащего множество элементов информации позиций объектов, соответственно указывающих позиции, содержащиеся в подполях; и
отображают соответствующий один или более элементов из множества элементов дополнительной информации с наложением на цифровое изображение, причем соответствующий один или более элементов из множества элементов дополнительной информации выбраны на упомянутом этапе выбора.
15. Способ использования устройства обеспечения дополнительной информации, которое хранит множество элементов дополнительной информации, каждый из которых соответствует заранее заданному объекту, и содержит информацию позиции объекта, указывающую позицию соответствующего одного из объектов, при этом упомянутый способ содержит этапы, на которых:
принимают от заранее заданного устройства захвата изображения информацию позиции, указывающую заранее заданную позицию, и информацию направления, указывающую заранее заданное направление;
разделяют на подполя пространство обзора, ориентированное в направлении, обозначенном информацией направления, относительно позиции, обозначенной информацией позиции, и выбирают для каждого из подполей соответствующий один или более элементов из множества элементов дополнительной информации, имеющих количество, не превышающее количество, которое установлено в соответствующем одном из подполей, среди множества элементов дополнительной информации, содержащих множество элементов информации позиции объектов, соответственно указывающих позиций, содержащееся в подполях; и
передают на устройство захвата изображения соответствующий один или более элементов из множества элементов дополнительной информации, выбранные на упомянутом этапе выбора.
RU2009141616/08A 2007-05-31 2008-05-30 Устройство захвата изображения, сервер обеспечения дополнительной информации и система фильтрации дополнительной информации RU2463663C2 (ru)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2007144806 2007-05-31
JP2007-144806 2007-05-31

Publications (2)

Publication Number Publication Date
RU2009141616A RU2009141616A (ru) 2011-07-10
RU2463663C2 true RU2463663C2 (ru) 2012-10-10

Family

ID=40093369

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2009141616/08A RU2463663C2 (ru) 2007-05-31 2008-05-30 Устройство захвата изображения, сервер обеспечения дополнительной информации и система фильтрации дополнительной информации

Country Status (7)

Country Link
US (1) US8264584B2 (ru)
EP (1) EP2154481B1 (ru)
JP (1) JP5184217B2 (ru)
CN (1) CN101680766B (ru)
BR (1) BRPI0812782B1 (ru)
RU (1) RU2463663C2 (ru)
WO (1) WO2008149537A1 (ru)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2574354C2 (ru) * 2014-06-16 2016-02-10 Карме Фармасьютикал Лимитед Устройство для показа товара и оформления его покупки
RU2595965C2 (ru) * 2014-12-09 2016-08-27 Общество с ограниченной ответственностью "ПРОФИТ ФАРМ" Система продажи товаров с использованием сетевых технологий
RU2602386C1 (ru) * 2015-05-26 2016-11-20 Общество с ограниченной ответственностью "Лаборатория 24" Способ визуализации объекта
RU2611455C1 (ru) * 2015-10-21 2017-02-22 Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования "Ивановский государственный химико-технологический университет" (ИГХТУ) Система определения местоположения транспортного средства в пути
RU2619721C2 (ru) * 2013-09-18 2017-05-17 Кэнон Кабусики Кайся Устройство захвата изображений, система захвата изображений и способ управления для устройства захвата изображений
RU2622843C2 (ru) * 2015-09-24 2017-06-20 Виталий Витальевич Аверьянов Способ управления устройством обработки изображения
US10825250B2 (en) 2015-07-17 2020-11-03 Devar Entertainment Limited Method for displaying object on three-dimensional model
RU2741479C2 (ru) * 2016-06-27 2021-01-26 ДжиЭндДжи КОММЕРС ЛТД. Система и способ предоставления мобильной рекламы
RU2745828C1 (ru) * 2017-03-17 2021-04-01 Юнити Ипр Апс Способ и система для автоматизированного предохранения от столкновений и сохранения композиции камеры

Families Citing this family (157)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4735258B2 (ja) 2003-04-09 2011-07-27 株式会社ニコン 露光方法及び装置、並びにデバイス製造方法
TW201834020A (zh) 2003-10-28 2018-09-16 日商尼康股份有限公司 照明光學裝置、曝光裝置、曝光方法以及元件製造方法
TW201809801A (zh) 2003-11-20 2018-03-16 日商尼康股份有限公司 光學照明裝置、曝光裝置、曝光方法、以及元件製造方法
TW201809727A (zh) 2004-02-06 2018-03-16 日商尼康股份有限公司 偏光變換元件
KR101504765B1 (ko) 2005-05-12 2015-03-30 가부시키가이샤 니콘 투영 광학계, 노광 장치 및 노광 방법
JP5267029B2 (ja) 2007-10-12 2013-08-21 株式会社ニコン 照明光学装置、露光装置及びデバイスの製造方法
US8379187B2 (en) 2007-10-24 2013-02-19 Nikon Corporation Optical unit, illumination optical apparatus, exposure apparatus, and device manufacturing method
US9116346B2 (en) 2007-11-06 2015-08-25 Nikon Corporation Illumination apparatus, illumination method, exposure apparatus, and device manufacturing method
TWI403156B (zh) 2008-08-08 2013-07-21 尼康股份有限公司 Carrying information machines, photographic devices, and information acquisition systems
WO2010075456A1 (en) 2008-12-22 2010-07-01 Intelligent Spatial Technologies, Inc. System and method for initiating actions and providing feedback by pointing at object of interest
US8483519B2 (en) 2008-12-22 2013-07-09 Ipointer Inc. Mobile image search and indexing system and method
CN102246121B (zh) * 2008-12-25 2016-01-13 松下知识产权经营株式会社 信息显示装置和信息显示方法
WO2010078455A1 (en) * 2008-12-30 2010-07-08 Intelligent Spatial Technologies, Inc. Mobile image search and indexing system and method
EP2214122B1 (en) * 2009-02-03 2013-07-17 Harman Becker Automotive Systems GmbH Methods and devices for assisting a vehicle driver
TWI514337B (zh) 2009-02-20 2015-12-21 尼康股份有限公司 Carrying information machines, photographic devices, and information acquisition systems
JP4816748B2 (ja) 2009-03-06 2011-11-16 ソニー株式会社 ナビゲーション装置及びナビゲーション方法
JP5257157B2 (ja) * 2009-03-11 2013-08-07 ソニー株式会社 撮像装置、撮像装置の制御方法およびプログラム
JP5272843B2 (ja) * 2009-03-25 2013-08-28 株式会社Ｊｖｃケンウッド 情報表示方法、情報表示システム、および、携帯端末
US20100325552A1 (en) * 2009-06-19 2010-12-23 Sloo David H Media Asset Navigation Representations
KR101584304B1 (ko) 2009-07-20 2016-01-11 삼성전자주식회사 콘텐츠 요청 장치 및 방법
US20120135744A1 (en) 2009-07-21 2012-05-31 Kota Enterprises, Llc Systems and methods for generating and managing communication rules associated with geographic locations
US8289347B2 (en) * 2009-07-29 2012-10-16 International Business Machines Corporation Enabling a user to choose a representative landmark to display at a particular zoom level on a digital map
US20110025816A1 (en) * 2009-07-31 2011-02-03 Microsoft Corporation Advertising as a real-time video call
CN102484769B (zh) * 2009-08-24 2016-02-03 三星电子株式会社 移动装置
JP2011055250A (ja) * 2009-09-02 2011-03-17 Sony Corp 情報提供方法及び装置、情報表示方法及び携帯端末、プログラム、並びに情報提供システム
US8908033B2 (en) * 2009-09-29 2014-12-09 Avaya Inc. Utilizing presence information for the purpose of enhanced surveillance
US9154560B2 (en) * 2009-10-12 2015-10-06 Qualcomm Incorporated Method and system for building annotation layers based on location aware user context information
KR101631497B1 (ko) 2009-11-13 2016-06-27 삼성전자주식회사 디스플레이 장치, 사용자 단말 장치 및 그 방법들
KR101302134B1 (ko) * 2009-12-18 2013-08-30 한국전자통신연구원 복합 센서정보 제공 장치 및 방법
JP5297366B2 (ja) * 2009-12-18 2013-09-25 株式会社パスコ 撮影対象情報生成装置及び撮影対象情報生成プログラム
TW201122711A (en) * 2009-12-23 2011-07-01 Altek Corp System and method for generating an image appended with landscape information
KR100985737B1 (ko) * 2010-02-05 2010-10-06 (주)올라웍스 단말 장치의 시야에 포함되는 객체에 대한 정보를 제공하기 위한 방법, 단말 장치 및 컴퓨터 판독 가능한 기록 매체
US9420251B2 (en) * 2010-02-08 2016-08-16 Nikon Corporation Imaging device and information acquisition system in which an acquired image and associated information are held on a display
US20110196888A1 (en) * 2010-02-10 2011-08-11 Apple Inc. Correlating Digital Media with Complementary Content
JP5414572B2 (ja) * 2010-03-01 2014-02-12 株式会社ゼンリンデータコム 地図表示制御装置、地図表示制御方法及び地図表示制御プログラム
KR101674946B1 (ko) * 2010-04-16 2016-11-22 엘지전자 주식회사 이동 단말기 및 그 제어 방법
JP5255595B2 (ja) * 2010-05-17 2013-08-07 株式会社エヌ・ティ・ティ・ドコモ 端末位置特定システム、及び端末位置特定方法
US8941686B2 (en) 2010-06-08 2015-01-27 Panasonic Intellectual Property Corporation Of America Information display apparatus, display control integrated circuit, and display control method for superimposing, for display, information onto images captured in a time sequence
JP5614116B2 (ja) * 2010-06-11 2014-10-29 株式会社ニコン 通信端末
KR101638914B1 (ko) * 2010-06-15 2016-07-12 엘지전자 주식회사 이동 단말기 및 이것의 객체 관련 정보 디스플레이 방법
KR101638915B1 (ko) * 2010-06-15 2016-07-12 엘지전자 주식회사 이동 단말기 및 이것의 영상 디스플레이 방법
US8687094B2 (en) * 2010-06-15 2014-04-01 Lg Electronics Inc. Mobile terminal and method of displaying object related information therein
JP2012002595A (ja) * 2010-06-15 2012-01-05 Sony Corp 情報処理装置、情報処理方法、情報処理システム、及びプログラム
KR101687612B1 (ko) * 2010-06-18 2016-12-20 엘지전자 주식회사 이동 단말기 및 그 제어 방법
KR101667585B1 (ko) * 2010-06-25 2016-10-19 엘지전자 주식회사 이동 단말기 및 이것의 객체 정보 디스플레이 방법
US8963954B2 (en) * 2010-06-30 2015-02-24 Nokia Corporation Methods, apparatuses and computer program products for providing a constant level of information in augmented reality
US9910866B2 (en) * 2010-06-30 2018-03-06 Nokia Technologies Oy Methods, apparatuses and computer program products for automatically generating suggested information layers in augmented reality
KR101347518B1 (ko) * 2010-08-12 2014-01-07 주식회사 팬택 필터의 선택이 가능한 증강 현실 사용자 장치 및 방법, 그리고, 증강 현실 서버
KR101357262B1 (ko) * 2010-08-13 2014-01-29 주식회사 팬택 필터 정보를 이용한 객체 인식 장치 및 방법
KR101429250B1 (ko) * 2010-08-20 2014-09-25 주식회사 팬택 단계별 객체 정보 제공이 가능한 단말 장치 및 방법
JP5549475B2 (ja) * 2010-08-20 2014-07-16 株式会社ニコン 電子機器
JP2012065263A (ja) * 2010-09-17 2012-03-29 Olympus Imaging Corp 撮影機器
JP5635348B2 (ja) * 2010-09-21 2014-12-03 オリンパスイメージング株式会社 画像記録装置
US9710554B2 (en) * 2010-09-23 2017-07-18 Nokia Technologies Oy Methods, apparatuses and computer program products for grouping content in augmented reality
JP5514062B2 (ja) * 2010-09-30 2014-06-04 株式会社日立ソリューションズ 電子機器、情報付き撮像画面表示方法及びプログラム
KR101357260B1 (ko) * 2010-10-22 2014-02-03 주식회사 팬택 증강 현실 사용자 인터페이스 제공 장치 및 방법
JP2012094955A (ja) * 2010-10-25 2012-05-17 Nikon Corp カメラ
US8407225B2 (en) 2010-10-28 2013-03-26 Intellectual Ventures Fund 83 Llc Organizing nearby picture hotspots
US8627391B2 (en) * 2010-10-28 2014-01-07 Intellectual Ventures Fund 83 Llc Method of locating nearby picture hotspots
JP5636882B2 (ja) * 2010-11-01 2014-12-10 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
EP2450667B1 (en) * 2010-11-09 2016-11-02 Harman Becker Automotive Systems GmbH Vision system and method of analyzing an image
US8265866B2 (en) * 2010-12-15 2012-09-11 The Boeing Company Methods and systems for augmented navigation
US9959644B2 (en) 2010-12-21 2018-05-01 Qualcomm Incorporated Computerized method and device for annotating at least one feature of an image of a view
US9429438B2 (en) * 2010-12-23 2016-08-30 Blackberry Limited Updating map data from camera images
WO2012100765A1 (de) * 2011-01-25 2012-08-02 Garmin Switzerland Gmbh Verfahren zum betrieb eines mobilen elektrischen geräts
US8451344B1 (en) * 2011-03-24 2013-05-28 Amazon Technologies, Inc. Electronic devices with side viewing capability
CN103443839B (zh) * 2011-03-28 2016-04-13 松下知识产权经营株式会社 图像显示装置
JP5786411B2 (ja) * 2011-03-31 2015-09-30 株式会社Ｊｖｃケンウッド 情報処理システム、検索装置、及びプログラム
KR101829063B1 (ko) * 2011-04-29 2018-02-14 삼성전자주식회사 지도서비스에서 마커 표시방법
US9336240B2 (en) 2011-07-15 2016-05-10 Apple Inc. Geo-tagging digital images
JP5775392B2 (ja) * 2011-08-03 2015-09-09 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、およびプログラム
US20130061147A1 (en) * 2011-09-07 2013-03-07 Nokia Corporation Method and apparatus for determining directions and navigating to geo-referenced places within images and videos
CN103959241B (zh) * 2011-09-30 2018-05-11 英特尔公司 用于促进计算设备处基于情景感知模型的图像合成及渲染的机制
JP5932278B2 (ja) * 2011-10-04 2016-06-08 キヤノン株式会社 表示制御装置、表示制御装置の制御方法、プログラム
JP2013085200A (ja) * 2011-10-12 2013-05-09 Canon Inc 画像処理装置、画像処理方法、及びプログラム
JP5858754B2 (ja) * 2011-11-29 2016-02-10 キヤノン株式会社 撮影装置、表示方法及びプログラム
CN104145474A (zh) * 2011-12-07 2014-11-12 英特尔公司 引导式图像拍摄
WO2013088696A1 (ja) * 2011-12-13 2013-06-20 パナソニック株式会社 コンテンツ選択装置、およびコンテンツ選択方法
US8704904B2 (en) 2011-12-23 2014-04-22 H4 Engineering, Inc. Portable system for high quality video recording
JP5930708B2 (ja) * 2011-12-27 2016-06-08 三菱電機エンジニアリング株式会社 作業管理装置および作業管理システム
IN2014CN04659A (ru) * 2011-12-27 2015-09-18 Sony Corp
CN103186914A (zh) * 2011-12-29 2013-07-03 方正国际软件(北京)有限公司 漫画附加信息处理系统、漫画附加信息处理方法和终端
JP2013149034A (ja) 2012-01-18 2013-08-01 Canon Inc 画像表示装置、画像表示方法及びプログラム
CN104067331B (zh) * 2012-01-23 2016-08-17 三菱电机株式会社 地图数据构造、地图数据制作方法、以及车载信息终端装置
JP5633526B2 (ja) * 2012-01-30 2014-12-03 コニカミノルタ株式会社 情報処理装置、および情報処理装置の制御方法、ならびに情報処理装置の制御プログラム
JP2013161390A (ja) * 2012-02-08 2013-08-19 Sony Corp サーバ、クライアント端末、システム、およびプログラム
JP5927966B2 (ja) * 2012-02-14 2016-06-01 ソニー株式会社 表示制御装置、表示制御方法、及びプログラム
JP5891843B2 (ja) * 2012-02-24 2016-03-23 ソニー株式会社 クライアント端末、サーバ、およびプログラム
US8749634B2 (en) 2012-03-01 2014-06-10 H4 Engineering, Inc. Apparatus and method for automatic video recording
US9313394B2 (en) 2012-03-02 2016-04-12 H4 Engineering, Inc. Waterproof electronic device
US9723192B1 (en) 2012-03-02 2017-08-01 H4 Engineering, Inc. Application dependent video recording device architecture
JP2013207357A (ja) * 2012-03-27 2013-10-07 Sony Corp サーバ、クライアント端末、システムおよびプログラム
JP5247909B2 (ja) * 2012-03-29 2013-07-24 キャンバスマップル株式会社 画像表示装置、画像表示方法、およびコンピュータプログラム
JP2012170100A (ja) * 2012-03-29 2012-09-06 Canvas Mapple Co Ltd 画像表示装置、画像表示方法、およびコンピュータプログラム
EP2672458A3 (en) * 2012-06-06 2017-04-26 Samsung Electronics Co., Ltd Terminal, apparatus and method for providing an augmented reality service
JP2014035384A (ja) * 2012-08-08 2014-02-24 Casio Comput Co Ltd 表示制御装置、表示制御方法及びプログラム
US8595317B1 (en) 2012-09-14 2013-11-26 Geofeedr, Inc. System and method for generating, accessing, and updating geofeeds
WO2014046424A1 (en) 2012-09-18 2014-03-27 Samsung Electronics Co., Ltd. Information transmission method and system, and device
KR102057196B1 (ko) * 2012-09-18 2019-12-18 삼성전자주식회사 정보 전송 방법 및 시스템과 그 기기
EP2915038A4 (en) * 2012-10-31 2016-06-29 Outward Inc DELIVERY OF VIRTUALIZED CONTENT
US10462499B2 (en) 2012-10-31 2019-10-29 Outward, Inc. Rendering a modeled scene
KR101988311B1 (ko) * 2012-11-07 2019-06-12 엘지전자 주식회사 디지털 디바이스 및 그 제어 방법
US8639767B1 (en) 2012-12-07 2014-01-28 Geofeedr, Inc. System and method for generating and managing geofeed-based alerts
US8655983B1 (en) 2012-12-07 2014-02-18 Geofeedr, Inc. System and method for location monitoring based on organized geofeeds
US20140160148A1 (en) * 2012-12-10 2014-06-12 Andrew J. Barkett Context-Based Image Customization
US9307353B2 (en) 2013-03-07 2016-04-05 Geofeedia, Inc. System and method for differentially processing a location input for content providers that use different location input formats
US8850531B1 (en) 2013-03-07 2014-09-30 Geofeedia, Inc. System and method for targeted messaging, workflow management, and digital rights management for geofeeds
US8612533B1 (en) 2013-03-07 2013-12-17 Geofeedr, Inc. System and method for creating and managing geofeeds
US8849935B1 (en) 2013-03-15 2014-09-30 Geofeedia, Inc. Systems and method for generating three-dimensional geofeeds, orientation-based geofeeds, and geofeeds based on ambient conditions based on content provided by social media content providers
US8862589B2 (en) 2013-03-15 2014-10-14 Geofeedia, Inc. System and method for predicting a geographic origin of content and accuracy of geotags related to content obtained from social media and other content providers
US9317600B2 (en) 2013-03-15 2016-04-19 Geofeedia, Inc. View of a physical space augmented with social media content originating from a geo-location of the physical space
JP6087184B2 (ja) * 2013-03-21 2017-03-01 任天堂株式会社 情報処理プログラム、情報処理システム、情報処理装置、および、情報提示方法
WO2014176745A1 (en) * 2013-04-28 2014-11-06 Tencent Technology (Shenzhen) Company Limited Providing navigation information to a point of interest on real-time street views using a mobile device
JP6179231B2 (ja) * 2013-07-10 2017-08-16 株式会社リコー 端末装置、情報処理プログラム、情報処理方法および情報処理システム
US20160255139A1 (en) * 2016-03-12 2016-09-01 Yogesh Chunilal Rathod Structured updated status, requests, user data & programming based presenting & accessing of connections or connectable users or entities and/or link(s)
CN103533248A (zh) * 2013-10-24 2014-01-22 腾讯科技（上海）有限公司 一种图像处理的方法、终端及系统
JP2015125502A (ja) * 2013-12-25 2015-07-06 ソニー株式会社 画像処理装置及び画像処理方法、表示装置及び表示方法、コンピューター・プログラム、並びに画像表示システム
JP6442827B2 (ja) * 2014-01-06 2018-12-26 富士通株式会社 情報提供装置、情報提供プログラム、情報提供方法、及び情報提供システム
US9661462B2 (en) * 2014-02-14 2017-05-23 Sapient Corporation Location-based digital media platform
US20150241240A1 (en) * 2014-02-26 2015-08-27 Honda Motor Co., Ltd. Navigation device having a zoom in and zoom out feature based on a number of waypoints to be viewed
US9613448B1 (en) 2014-03-14 2017-04-04 Google Inc. Augmented display of information in a device view of a display screen
JP2016004340A (ja) * 2014-06-16 2016-01-12 セイコーエプソン株式会社 情報配信システム、頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム
JP5963325B2 (ja) * 2014-08-14 2016-08-03 インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ マーカに基づいて特定される情報を提示する装置、方法およびプログラム
US10270780B2 (en) * 2014-08-18 2019-04-23 Dropbox, Inc. Access management using electronic images
JP6539966B2 (ja) 2014-09-18 2019-07-10 カシオ計算機株式会社 情報出力装置、情報出力方法、およびプログラム
US10181219B1 (en) * 2015-01-21 2019-01-15 Google Llc Phone control and presence in virtual reality
JP5914714B2 (ja) * 2015-02-12 2016-05-11 オリンパス株式会社 撮影機器および撮影方法
WO2016157406A1 (ja) * 2015-03-31 2016-10-06 日立マクセル株式会社 画像取得装置および画像ファイル生成方法ならびに画像ファイル生成プログラム
US9641770B2 (en) * 2015-06-18 2017-05-02 Wasaka Llc Algorithm and devices for calibration and accuracy of overlaid image data
US9485318B1 (en) 2015-07-29 2016-11-01 Geofeedia, Inc. System and method for identifying influential social media and providing location-based alerts
US9464914B1 (en) 2015-09-01 2016-10-11 International Business Machines Corporation Landmark navigation
JP6468656B2 (ja) * 2015-09-30 2019-02-13 Kddi株式会社 Ａｒ情報表示装置
WO2017080929A1 (en) * 2015-11-12 2017-05-18 Philips Lighting Holding B.V. Image processing system
JP6318196B2 (ja) * 2016-07-06 2018-04-25 オリンパス株式会社 画像処理装置、画像処理方法及び画像処理プログラム
JP7095953B2 (ja) * 2017-01-19 2022-07-05 株式会社大林組 画像管理システム、画像管理方法、及び画像管理プログラム
US11294951B2 (en) * 2017-03-06 2022-04-05 Micware Co., Ltd. Information processing device, information processing system, and information processing program
JP6907047B2 (ja) 2017-06-28 2021-07-21 キヤノン株式会社 情報処理装置、その制御方法およびプログラム
CN107566850A (zh) * 2017-08-11 2018-01-09 北京安云世纪科技有限公司 一种基于移动终端的视频直播方法及装置
JP6396568B1 (ja) * 2017-09-19 2018-09-26 ヤフー株式会社 提供プログラム、提供装置、提供方法、端末装置および情報提供装置
US11164380B2 (en) * 2017-12-05 2021-11-02 Samsung Electronics Co., Ltd. System and method for transition boundaries and distance responsive interfaces in augmented and virtual reality
CN108253972A (zh) * 2018-01-11 2018-07-06 深圳市晟达机械设计有限公司 一种导航精度高的车载导航系统
JP6607987B2 (ja) * 2018-03-19 2019-11-20 株式会社Ｌｉｆｕｌｌ 情報提供システム、サーバ装置、及び情報提供方法
US10897577B2 (en) * 2018-06-26 2021-01-19 Canon Kabushiki Kaisha Image capturing system, image capturing apparatus, illumination apparatus, and control method
JP2020057297A (ja) * 2018-10-04 2020-04-09 カシオ計算機株式会社 画像表示装置、画像表示方法、及び、プログラム
JP2022034571A (ja) * 2018-11-26 2022-03-04 住友電気工業株式会社 交通情報処理サーバ、交通情報の処理方法、及びコンピュータプログラム
WO2020121056A2 (en) * 2018-12-13 2020-06-18 Orcam Technologies Ltd. Wearable apparatus and methods
RU2716415C1 (ru) * 2019-02-04 2020-03-12 Общество с ограниченной ответственностью "Сити Консьерж" Способ интерактивной навигации на основе краудсорсинга с мультимедийным сопровождением и дополненной реальностью
US10944921B2 (en) 2019-03-27 2021-03-09 Rovi Guides, Inc. Replacing a background portion of an image
US11025837B2 (en) 2019-03-27 2021-06-01 ROVl GUIDES, INC. Replacing a background portion of an image
US10887531B2 (en) 2019-03-27 2021-01-05 Rovi Guides, Inc. Replacing a background portion of an image
KR102030984B1 (ko) * 2019-06-17 2019-10-11 주식회사 마크애니 Cctv 영상의 관리, 열람 및 반출을 위한 시스템 및 그 방법
WO2020259694A1 (zh) * 2019-06-27 2020-12-30 贝壳找房(北京)科技有限公司 当前空间内物品信息的显示方法、装置及介质
JP7296265B2 (ja) * 2019-07-03 2023-06-22 日立Astemo株式会社 運転情報制御装置および運転情報制御システム
US11227007B2 (en) 2019-07-23 2022-01-18 Obayashi Corporation System, method, and computer-readable medium for managing image
CN112822389B (zh) * 2019-11-18 2023-02-24 北京小米移动软件有限公司 照片拍摄方法、照片拍摄装置及存储介质
JPWO2023127430A1 (ru) * 2021-12-28 2023-07-06
US11756333B1 (en) * 2022-02-18 2023-09-12 Dell Products, L.P. Systems and methods for detecting postures of a user of an IHS (information handling system)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6222583B1 (en) * 1997-03-27 2001-04-24 Nippon Telegraph And Telephone Corporation Device and system for labeling sight images
RU2250182C1 (ru) * 2004-07-13 2005-04-20 Бабак Владимир Петрович Устройство синтеза картографических изображений
EP1622081A1 (en) * 2003-04-21 2006-02-01 NEC Corporation Video object recognition device and recognition method, video annotation giving device and giving method, and program

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0933271A (ja) * 1995-07-21 1997-02-07 Canon Inc ナビゲーション装置及び撮像装置
JP3053172B2 (ja) 1997-07-11 2000-06-19 日本電信電話株式会社 距離参照型景観ラベリング装置およびシステム
JP3225882B2 (ja) 1997-03-27 2001-11-05 日本電信電話株式会社 景観ラベリングシステム
US8432414B2 (en) * 1997-09-05 2013-04-30 Ecole Polytechnique Federale De Lausanne Automated annotation of a view
JP3434715B2 (ja) * 1998-11-09 2003-08-11 日本電信電話株式会社 移動支援装置及び移動支援方法
US6307573B1 (en) * 1999-07-22 2001-10-23 Barbara L. Barros Graphic-information flow method and system for visually analyzing patterns and relationships
EP1193626A4 (en) 1999-10-14 2003-07-09 Yamaha Motor Co Ltd TRAVEL ORGANIZATION SYSTEM
JP2001215871A (ja) * 2000-01-28 2001-08-10 Nihon Computer Graphic Co Ltd 案内用略図の作成方法、該方法を実施するコンピュータプログラムを記録した情報記録媒体、及び案内用略図作成システム
JP2001216309A (ja) * 2000-01-31 2001-08-10 Keio Gijuku 対象物特定装置及びカメラ
JP3760980B2 (ja) 2000-09-01 2006-03-29 アイシン・エィ・ダブリュ株式会社 地図表示装置、記録媒体及び地図表示方法
JP4236372B2 (ja) 2000-09-25 2009-03-11 インターナショナル・ビジネス・マシーンズ・コーポレーション 空間情報利用システムおよびサーバシステム
JP4590770B2 (ja) * 2001-04-06 2010-12-01 三菱電機株式会社 都市景観表示装置
GB2378074B (en) * 2001-07-27 2005-08-24 Hewlett Packard Co Image capturing device
EP1478904A2 (en) 2002-01-23 2004-11-24 M-Spatial Limited Schematic generation
JP4281402B2 (ja) 2003-04-21 2009-06-17 ソニー株式会社 画像管理システム及び画像管理方法、並びにコンピュータ・プログラム
JP3972366B2 (ja) * 2003-09-26 2007-09-05 マツダ株式会社 車両用情報提供装置
JP2005149409A (ja) * 2003-11-19 2005-06-09 Canon Inc 画像再生方法及び装置
JP2005181611A (ja) * 2003-12-18 2005-07-07 Matsushita Electric Ind Co Ltd 画像処理装置
US20060195858A1 (en) * 2004-04-15 2006-08-31 Yusuke Takahashi Video object recognition device and recognition method, video annotation giving device and giving method, and program
JP2006318356A (ja) 2005-05-16 2006-11-24 Sanyo Electric Co Ltd 道路情報配信システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6222583B1 (en) * 1997-03-27 2001-04-24 Nippon Telegraph And Telephone Corporation Device and system for labeling sight images
EP1622081A1 (en) * 2003-04-21 2006-02-01 NEC Corporation Video object recognition device and recognition method, video annotation giving device and giving method, and program
RU2250182C1 (ru) * 2004-07-13 2005-04-20 Бабак Владимир Петрович Устройство синтеза картографических изображений

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2619721C2 (ru) * 2013-09-18 2017-05-17 Кэнон Кабусики Кайся Устройство захвата изображений, система захвата изображений и способ управления для устройства захвата изображений
RU2574354C2 (ru) * 2014-06-16 2016-02-10 Карме Фармасьютикал Лимитед Устройство для показа товара и оформления его покупки
RU2595965C2 (ru) * 2014-12-09 2016-08-27 Общество с ограниченной ответственностью "ПРОФИТ ФАРМ" Система продажи товаров с использованием сетевых технологий
US10347000B2 (en) 2015-05-26 2019-07-09 Devar Entertainment Limited Entity visualization method
RU2602386C1 (ru) * 2015-05-26 2016-11-20 Общество с ограниченной ответственностью "Лаборатория 24" Способ визуализации объекта
WO2016190783A1 (ru) * 2015-05-26 2016-12-01 Общество с ограниченной ответственностью "Лаборатория 24" Способ визуализации объекта
US10825250B2 (en) 2015-07-17 2020-11-03 Devar Entertainment Limited Method for displaying object on three-dimensional model
RU2622843C2 (ru) * 2015-09-24 2017-06-20 Виталий Витальевич Аверьянов Способ управления устройством обработки изображения
RU2611455C1 (ru) * 2015-10-21 2017-02-22 Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования "Ивановский государственный химико-технологический университет" (ИГХТУ) Система определения местоположения транспортного средства в пути
RU2741479C2 (ru) * 2016-06-27 2021-01-26 ДжиЭндДжи КОММЕРС ЛТД. Система и способ предоставления мобильной рекламы
RU2770436C2 (ru) * 2016-06-27 2022-04-18 ДжиЭндДжи КОММЕРС ЛТД. Система и способ предоставления мобильной рекламы
RU2745828C1 (ru) * 2017-03-17 2021-04-01 Юнити Ипр Апс Способ и система для автоматизированного предохранения от столкновений и сохранения композиции камеры
US11508116B2 (en) 2017-03-17 2022-11-22 Unity IPR ApS Method and system for automated camera collision and composition preservation

Also Published As

Publication number Publication date
CN101680766A (zh) 2010-03-24
BRPI0812782B1 (pt) 2019-01-22
RU2009141616A (ru) 2011-07-10
JP2009017540A (ja) 2009-01-22
CN101680766B (zh) 2013-01-23
US8264584B2 (en) 2012-09-11
JP5184217B2 (ja) 2013-04-17
EP2154481B1 (en) 2024-07-03
BRPI0812782A2 (pt) 2014-12-09
WO2008149537A1 (ja) 2008-12-11
EP2154481A1 (en) 2010-02-17
EP2154481A4 (en) 2014-09-10
US20100149399A1 (en) 2010-06-17

Similar Documents

Publication Publication Date Title
RU2463663C2 (ru) Устройство захвата изображения, сервер обеспечения дополнительной информации и система фильтрации дополнительной информации
JP5739874B2 (ja) 向きに基づいた検索システム及び方法
US8271497B2 (en) Information processing apparatus and information processing method outputting information on movement of person
US8051089B2 (en) Systems and methods for location-based real estate service
US8572077B2 (en) System and method for displaying information in response to a request
US7359797B2 (en) System and method for displaying images in an online directory
KR101213857B1 (ko) 가상 세계
KR101213868B1 (ko) 가상 세계
US7777648B2 (en) Mode information displayed in a mapping application
US8880535B1 (en) System and method for selecting user generated content related to a point of interest
KR102014761B1 (ko) 공간객체 검색결과 정렬 방법, 시스템 및 컴퓨터 독취가능 저장장치
US20080033641A1 (en) Method of generating a three-dimensional interactive tour of a geographic location
CN104641399A (zh) 用于创建环境并用于共享环境中基于位置的体验的系统和方法
TWI642002B (zh) 適地性空間物件可視範圍管理方法與系統
JP2014182838A (ja) 地理的エリアの公開格付けを取得する情報システム
CA3241150A1 (en) Methods and apparatus to select and present level-change way points for indoor navigation systems

Legal Events

Date Code Title Description
PC41 Official registration of the transfer of exclusive right

Effective date: 20150206