JPWO2010073616A1 - 情報表示装置および情報表示方法 - Google Patents

情報表示装置および情報表示方法 Download PDF

Info

Publication number
JPWO2010073616A1
JPWO2010073616A1 JP2010543851A JP2010543851A JPWO2010073616A1 JP WO2010073616 A1 JPWO2010073616 A1 JP WO2010073616A1 JP 2010543851 A JP2010543851 A JP 2010543851A JP 2010543851 A JP2010543851 A JP 2010543851A JP WO2010073616 A1 JPWO2010073616 A1 JP WO2010073616A1
Authority
JP
Japan
Prior art keywords
information
video
unit
display
display device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010543851A
Other languages
English (en)
Other versions
JP5328810B2 (ja
Inventor
江村　恒一
恒一 江村
康朗 稲富
康朗 稲富
純子 上田
純子 上田
寿樹 金原
寿樹 金原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2010543851A priority Critical patent/JP5328810B2/ja
Publication of JPWO2010073616A1 publication Critical patent/JPWO2010073616A1/ja
Application granted granted Critical
Publication of JP5328810B2 publication Critical patent/JP5328810B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42202—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] environmental sensors, e.g. for detecting temperature, luminosity, pressure, earthquakes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622—Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • H04N21/4725—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content using interactive regions of the image, e.g. hot spots
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Marketing (AREA)
  • Computer Hardware Design (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Ecology (AREA)
  • Emergency Management (AREA)
  • Environmental & Geological Engineering (AREA)
  • Environmental Sciences (AREA)
  • Remote Sensing (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Studio Devices (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Position Input By Displaying (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

実世界映像に映し出されたオブジェクトに関する情報のうちユーザが知りたい情報を、見易く表示することができる情報表示装置。この情報表示装置（１００）は、実世界映像を入力する映像入力部（３００）と、入力された実世界映像に映し出されるオブジェクトと実世界映像の視点との間の距離を取得する距離取得部（６５０）と、オブジェクトに関する情報と実世界映像とを重畳した映像を出力するオブジェクト重畳部（７１０）と、オブジェクト重畳部（７１０）が出力する情報を制御する情報出力制御部（６９０）とを有し、情報出力制御部（６９０）は、取得された距離に応じて、オブジェクト重畳部（７１０）が出力する情報の提示の仕方を決定する。

Description

本発明は、実世界映像と実世界映像に映し出されるオブジェクトに関する情報とを重畳して表示する情報表示装置および情報表示方法に関する。
風景の撮影映像といった実世界映像には、各種の施設等のオブジェクトが映し出される。実世界映像とその実世界映像に映し出されるオブジェクトに関する情報（以下「オブジェクト情報」という）とを、１つの画面に重畳して表示する画像表示装置が、各種分野で用いられている。このような技術は、「拡張現実感」（Augmented Reality）と呼ばれており、また、「強調現実感」、「強化現実感」などとも呼ばれている。この技術を応用した拡張現実感装置は、移動しながらその都度情報を取得する場合に便利である。
実世界映像とオブジェクト情報とを重畳して表示する装置（以下単に「情報表示装置」という）において、表示するオブジェクト情報を制御する技術が、例えば特許文献１および特許文献２に記載されている。
図１は、特許文献１記載の情報表示装置の構成を示す図である。図２は、特許文献１記載の情報表示装置が入力する実世界映像の一例を示す図である。図３は、図１に示す情報表示装置が図２に示す入力映像に対応して表示する、実世界映像とオブジェクト情報とを重畳した映像（以下「情報重畳映像」という）の一例を示す図である。
図２に示すように、オブジェクト１１の近くには、そのオブジェクトを識別するための、独立した既知のマーカ１２が予め配置されている。
図１において、情報表示装置２０は、実世界の画像を入力する画像入力部２１と、入力画像からマーカ１２を抽出するマーカ抽出部２２と、抽出されたマーカ１２を用いて位置姿勢を演算するマーカ認識部２３とを有する。更に、情報表示装置２０は、マーカ１２に予め関連付けたオブジェクト情報を入手する関連情報入手部２４と、オブジェクト情報の加工処理をするモデルデータ作成部２５と、入力画像と加工した情報とを重畳表示する表示部２６とを有する。この結果、図３に示すように、オブジェクト１１の画像を含む実世界の画像３１と、オブジェクト１１に関するオブジェクト情報３２とを重畳した、画像３３が表示される。
また、特許文献１記載の情報表示装置のモデルデータ作成部２５は、表示している情報の描画位置を、入力画像の変化に同期して変化させ、オブジェクトの表示位置に追従させる。したがって、特許文献１記載の情報表示装置は、例えば、標本の周りを回りながら撮影が行われる場合でも、入力画像の視点の動き（カメラのユーザの動き）に正確に同期して、情報を表示することができる。
図４は、特許文献２記載の情報表示装置の構成を示す図である。図４において、情報表示装置４０は、ユーザの視点の位置を検出する視点位置検出部４１と、ディスプレイ４７の位置を検出するディスプレイ位置検出部４２と、映し出されるオブジェクトを検出する対象位置検出部４３とを有する。そして、情報表示装置４０は、ユーザ視点とディスプレイ４７の中心位置とを結ぶ線上に位置するオブジェクトを特定する対象特定部４４と、オブジェクト情報を記憶装置から取得する対象情報検索部４５とを有する。更に、情報表示装置４０は、ユーザ視点とディスプレイ４７との距離に応じて、表示する参照情報の詳細度を選択する映像生成部４６を有する。この結果、ユーザ視点がディスプレイに近づいたときに、より詳細な情報が表示される。
特開２００４−４８６７４号公報 特開平８−１９０６４０号公報
しかしながら、特許文献１記載の技術および特許文献２記載の技術では、ユーザが知りたい情報を見易く表示することができないという課題がある。
特許文献１記載の情報表示装置では、例えば、実世界映像にマーカを配置したオブジェクトが多数存在する場合、表示される情報の量が多くなり、情報が煩雑となるだけでなく、実世界映像が見難くなる。
特許文献２記載の情報表示装置では、情報表示の対象となるオブジェクトを制限することができるが、オブジェクトに対する注目度がユーザ視点のディスプレイへの接近度に対応しない場合、情報の過不足が発生するおそれがある。
本発明の目的は、実世界映像に映し出されたオブジェクトに関する情報のうちユーザが知りたい情報を、見易く表示することができる情報表示装置および情報表示方法を提供することである。
本発明の情報表示装置は、実世界映像を入力する映像入力部と、入力された前記実世界映像に映し出されるオブジェクトと前記実世界映像の視点との間の距離を取得する距離取得部と、前記オブジェクトに関する情報と前記実世界映像とを重畳した映像を出力するオブジェクト重畳部と、前記オブジェクト重畳部が表示する前記情報を制御する情報出力制御部とを有し、前記情報出力制御部は、取得された前記距離に応じて、前記オブジェクト重畳部が出力する前記情報の提示の仕方を決定する。
本発明の情報表示方法は、実世界映像を入力するステップと、入力された前記実世界映像に映し出されるオブジェクトと前記実世界映像の視点との間の距離を取得するステップと、取得された前記距離に応じて、前記オブジェクトに関する情報の提示の仕方を決定するステップと、決定された提示の仕方で提示されるように、前記情報と前記実世界映像とを重畳して出力するステップとを有する。
本発明によれば、実世界映像の視点とオブジェクトとの間の距離に応じた提示の仕方で、オブジェクトに関する情報を提示するため、オブジェクトに関する情報のうちユーザが知りたい情報を、見易く提示することが可能となる。
従来の情報表示装置の構成を示す第１の図 従来の情報表示装置による入力映像の一例を示す図 従来の情報表示装置による情報重畳映像の一例を示す図 従来の情報表示装置の構成を示す第２の図 本発明の実施の形態１に係る情報表示装置の外観図 実施の形態１に係る情報表示装置の構成を示すブロック図 実施の形態１におけるオブジェクト情報テーブルの内容の一例を示す図 実施の形態１における表示情報決定ルールの内容の一例を示す図 実施の形態１に係る情報表示装置の動作を示すフローチャート 実施の形態１における入力映像の一例を示す図 実施の形態１における情報重畳映像の一例を示す図 本発明の実施の形態２に係る情報表示装置の構成を示すブロック図 実施の形態２における情報表示装置の動作を示すフローチャート 実施の形態２におけるＩｎｆｏモードにてズーム操作が行われたときの表示映像の変化の一例を示す図 実施の形態２におけるＰｈｏｔｏ＋Ｉｎｆｏモードにてズーム操作が行われたときの表示映像の変化の一例を示す図 実施の形態２におけるＰｈｏｔｏ＋Ｉｎｆｏモードにて絞り操作が行われたときの表示映像の変化の一例を示す図 Ｉｎｆｏモードにてフォーカスロック操作が行われたときの、表示映像の変化の一例を示す図 本発明の実施の形態３に係る情報表示装置の構成を示すブロック図 本発明の実施の形態４に係る情報表示装置の構成を示すブロック図 実施の形態４におけるＰｈｏｔｏ＋Ｉｎｆｏモードにてタッチ操作が行われたときの表示映像の変化の一例を示す図 本発明の実施の形態５に係る情報表示装置の構成を示すブロック図 実施の形態５におけるオブジェクト情報テーブルの内容の一例を示す図 実施の形態５におけるＰｈｏｔｏ＋Ｉｎｆｏモードにてタッチ操作が行われたときの表示映像の変化の一例を示す図
以下、本発明の各実施の形態について、図面を参照して詳細に説明する。
（実施の形態１）
本発明の実施の形態１は、実世界映像を表示しながら撮影操作を待機するデジタルスチルカメラに本発明を適用した例である。まず、本発明の実施の形態１に係る情報表示装置の操作インタフェースの概要について説明する。
図５は、本実施の形態に係る情報表示装置の外観図である。図５は、操作状態における情報表示装置を、上方から見たときの平面図である。
図５において、情報表示装置１００は、薄い直方体の本体部２００と、本体部２００の外側に配置された映像入力部３００、映像表示部４００、および操作インタフェース部５００とを有する。操作インタフェース部５００は、操作入力部５１０およびモード切替入力部５２０を有する。
映像入力部３００は、レンズ、シャッター、および撮像素子（いずれも図示せず）を有し、実世界映像を入力する。映像入力部３００は、フォーカス、絞り、およびズームを操作可能な構成となっている。
映像表示部４００は、例えば液晶ディスプレイ（図示せず）を有し、画像および映像の表示を行う。
本体部２００は、映像入力部３００が入力した実世界映像の、映像表示部４００への表示および撮影を行う。また、本体部２００は、実世界画像とその実世界映像に映し出されるオブジェクト情報とを重畳した情報重畳映像を、映像表示部４００に表示する。このとき、本体部２００は、実世界映像の視点（情報表示装置１００の位置）とオブジェクトとの間の距離を取得し、取得した距離に応じて、表示するオブジェクト情報の提示の仕方を決定する。
操作入力部５１０は、ユーザ操作を受け付け、受け付けたユーザ操作を、本体部２００が入力する実世界映像と、表示されるオブジェクト情報とに反映させる。操作入力部５１０は、レバー５１１およびボタン５１２を有する。レバー５１１は、ボタン５１２を中心として弧状に回転させることが可能なノブである。ボタン５１２は、半押しおよび全押しの２段階の押下が可能となっている。
モード切替入力部５２０は、スイッチ５２１と、スイッチ５２１を３箇所の係止位置間でスライドさせるスライド部５２２とを有し、本体部２００の動作が異なる３つのモードに対するユーザからの切り替え操作を受け付ける。本実施の形態においては、１つ目のモードは、実世界映像のみを表示するモード（以下「Ｐｈｏｔｏモード」という）である。２つ目のモードは、オブジェクト情報のみを表示するモード（以下「Ｉｎｆｏモード」という）である。３つ目のモードは、実世界映像とオブジェクト情報とを重畳した映像を表示するモード（以下「Ｐｈｏｔｏ＋Ｉｎｆｏモード」という）である。
次に、情報表示装置１００の構成について説明する。
図６は、情報表示装置１００の構成を示すブロック図である。図５と同一部分には、同一符号を付し、これについての説明を適宜省略する。
図６において、情報表示装置１００は、操作入力部５１０、モード切替入力部５２０、動作制御部６１０、レンズ制御部６２０、映像入力部３００、映像認識部６３０、自位置姿勢算出部６４０、距離取得部６５０、オブジェクト測位部６６０、端末通信部６７０、オブジェクト情報検索部６８０、情報出力制御部６９０、情報位置決定部７００、オブジェクト重畳部７１０、および映像表示部４００を有する。
操作入力部５１０は、ユーザ操作の内容を示す情報（以下「操作情報」という）を、動作制御部６１０へ出力する。
モード切替入力部５２０は、設定されているモードを示す情報（以下「モード情報」という）を、動作制御部６１０へ出力する。
動作制御部６１０は、入力されたモード情報に応じて、レンズ制御部６２０、情報出力制御部６９０、およびオブジェクト重畳部７１０の動作を制御する。
具体的には、動作制御部６１０は、Ｐｈｏｔｏモードのとき、レンズ制御部６２０に対して操作情報を出力する一方で、情報出力制御部６９０の動作を停止させ、オブジェクト重畳部７１０に対して実世界映像のみの表示を行わせる。また、動作制御部６１０は、Ｐｈｏｔｏ＋Ｉｎｆｏモードのとき、レンズ制御部６２０に対して操作情報を出力し、かつ情報出力制御部６９０を動作させ、オブジェクト重畳部７１０に対して情報重畳映像の表示を行わせる。また、動作制御部６１０は、Ｉｎｆｏモードのとき、レンズ制御部６２０の動作を停止させ、かつ情報出力制御部６９０の動作を停止させ、オブジェクト重畳部７１０に対して表示中の情報重畳映像を固定表示させる。
レンズ制御部６２０は、映像入力部３００のレンズを制御する。具体的には、レンズ制御部６２０は、入力される操作情報に応じて、映像入力部３００が入力する実世界映像のズームの倍率、フォーカス位置、および絞り値を制御する。
映像入力部３００は、入力した実世界映像（以下「入力映像」という）を、映像認識部６３０、情報位置決定部７００、およびオブジェクト重畳部７１０へ出力する。また、映像入力部３００は、レンズの合焦点（以下「フォーカス点」という）を示す情報を、映像認識部６３０およびオブジェクト重畳部７１０へ出力する。
映像認識部６３０は、入力映像に映し出されるオブジェクトを認識する。具体的には、映像認識部６３０は、入力映像に対してパタンマッチング処理等の画像認識処理を行い、建物や看板等のオブジェクトが映し出されている入力映像上の領域（以下「オブジェクト領域」という）を抽出する。そして、映像認識部６３０は、抽出したオブジェクト領域の入力映像上の位置を示す情報（以下「領域情報」という）を、距離取得部６５０、オブジェクト測位部６６０、および情報位置決定部７００へ出力する。
なお、映像認識部６３０は、オブジェクト領域が複数存在する場合には、後段の処理をオブジェクトごとに行うために、領域情報のそれぞれに識別情報を付加し、出力することが望ましい。
自位置姿勢算出部６４０は、実世界映像が入力される時点の、情報表示装置１００の位置および姿勢を算出する。具体的には、自位置姿勢算出部６４０は、角速度センサおよびＧＰＳ（global positioning system）センサ等を用いて、映像入力部３００の視点の位置および光軸方向を算出する。そして、自位置姿勢算出部６４０は、算出結果（以下「位置姿勢情報」という）を、距離取得部６５０およびオブジェクト測位部６６０へ出力する。
距離取得部６５０は、入力映像の視点から映像認識部６３０により認識されたオブジェクトまでの水平距離（以下「オブジェクト距離」という）を取得する。
具体的には、距離取得部６５０は、レーザ式の測距センサ等を用いて、映像認識部６３０から各オブジェクトの領域情報に対応する各オブジェクトまでの実距離を、それぞれ測定する。そして、距離取得部６５０は、測定された実距離を、位置姿勢情報から算出されるオブジェクトの方向の仰角に基づいて水平距離に換算し、オブジェクト距離として、オブジェクト測位部６６０および情報出力制御部６９０へ出力する。なお、地面の傾斜が大きい地域での用途等、用途によっては、オブジェクト距離は、水平距離ではなく実距離をそのまま採用してもよい。
オブジェクト測位部６６０は、自位置姿勢算出部６４０からの位置姿勢情報、映像認識部６３０からの領域情報、および距離取得部６５０からのオブジェクト距離を取得する。次に、オブジェクト測位部６６０は、取得した情報から入力映像に映し出されたオブジェクトの実世界における位置（以下単に「オブジェクトの位置」という）を測定する。更に、オブジェクト測位部６６０は、測定結果を、緯度と経度とによって示す情報（以下「緯度経度情報」という）を、オブジェクト情報検索部６８０および情報出力制御部６９０へ出力する。
端末通信部６７０は、インターネット等の通信ネットワーク７２０を介して、オブジェクト情報データベース（ＤＢ）７３０を備えた情報サーバ７４０と、通信を行う。オブジェクト情報データベース７３０は、オブジェクトの位置に対応付けて、各種オブジェクト情報をオブジェクト情報ごとに蓄積したオブジェクト情報テーブルを予め格納している。
図７は、オブジェクト情報データベース７３０が格納するオブジェクト情報テーブルの内容の一例を示す図である。
図７に示すように、オブジェクト情報テーブル８１０は、オブジェクトのＩＤ８１１およびオブジェクトの位置８１２に対応付けて、詳細度の異なるレベル１〜レベル４のオブジェクト情報８１３〜８１６を記述している。上述の情報サーバ７４０は、位置８１２をインデックスとして、オブジェクト情報テーブル８１０から、対応するＩＤ８１１およびレベル１〜レベル４のオブジェクト情報８１３〜８１６を取得することが可能となっている。
レベル１のオブジェクト情報８１３は、施設種別を示す記号である。レベル２のオブジェクト情報８１４は、施設の名称である。レベル３のオブジェクト情報８１５は、施設のトピック情報である。また、レベル４のオブジェクト情報８１６は、施設の詳細情報である。すなわち、レベル１〜レベル４のオブジェクト情報８１３〜８１６は、この順に、情報の詳細度が高くなっている。
例えば、「緯度：ｘｘｘ１、経度：ｘｘｘ２」という位置に存在するオブジェクトには、施設種別として「Ｂ」が、施設名称として「Ｘタワー」が、それぞれ対応付けられている。また、「緯度：ｘｘｘ１、経度：ｘｘｘ２」という位置に存在するオブジェクトには、更に、トピックス情報と詳細情報がそれぞれ対応付けられている。具体的には、トピック情報として「吹き抜けに雪が降るイベント開催中」が、詳細情報として「１３：００、１５：００、１７：００に降雪・・・」が、それぞれ対応付けられている。したがって、「緯度：ｘｘｘ１、経度：ｘｘｘ２」という緯度経度情報を検索キーとした場合は、これらのオブジェクト情報が検索されることになる。
図６のオブジェクト情報検索部６８０は、オブジェクトの位置を示す緯度経度情報を検索キーとして、オブジェクト情報を検索する。
具体的には、オブジェクト情報検索部６８０は、端末通信部６７０を介して、入力された緯度経度情報を、オブジェクト情報データベース７３０に対する検索クエリとして、情報サーバ７４０へ送信する。そして、オブジェクト情報検索部６８０は、情報サーバ７４０から返信されたオブジェクト情報を、情報出力制御部６９０へ出力する。ここで返信されるオブジェクト情報は、ＩＤ８１１およびレベル１〜レベル４のオブジェクト情報８１３〜８１６の全てとする。なお、情報表示装置１００が先に表示対象となるオブジェクト情報の詳細度のレベルを決定する場合には、オブジェクト情報検索部６８０は、そのレベルのオブジェクト情報のみを検索して取得するようにしてもよい。
情報出力制御部６９０は、オブジェクト距離に応じて、オブジェクト情報の提示の仕方を制御する。
具体的には、情報出力制御部６９０は、表示情報決定ルールを予め格納し、この表示情報決定ルールに従って、表示対象となるオブジェクトに関するオブジェクト情報、および表示対象となる情報量の異なるオブジェク情報を決定する。すなわち、情報出力制御部６９０は、表示対象として、オブジェクトと、情報量の程度とを決定する。そして、情報出力制御部６９０は、表示対象とすることを決定したオブジェクト情報（以下「表示オブジェクト情報」という）を、情報位置決定部７００およびオブジェクト重畳部７１０へ出力する。ここでは、表示情報決定ルールは、オブジェクト距離がより短いオブジェクトほど、より詳細度のレベルが高いオブジェクト情報を表示対象として決定することを規定するものとする。
図８は、表示情報決定ルールの内容の一例を示す図である。
図８に示すように、表示情報決定ルール８２０は、オブジェクト距離８２１の範囲ごとに、オブジェクト情報の表示非表示と、表示する場合のオブジェクト情報のレベルとを、決定内容８２２として規定する。例えば、「３００ｍ以上かつ４００ｍ未満」というオブジェクト距離８２１には、「レベル１」という決定内容８２２が規定されている。これは、オブジェクト距離が３００ｍ以上かつ４００ｍ未満の場合には、レベル１のオブジェクト情報（ここでは施設種別を示す記号）を、表示オブジェクト情報に決定することを意味する。また、表示情報決定ルール８２０は、ある範囲内において、オブジェクト距離８２１がより短いほど、より詳細度のレベルが高いオブジェクト情報を対応付けている。したがって、表示情報決定ルール８２０に従うことにより、表示されるオブジェクト情報は、オブジェクト距離がより短いほど、より詳細な内容となる。
図６の情報位置決定部７００は、入力映像の奥行き方向を検出し、検出した奥行き方向に揃うように、各表示オブジェクト情報の表示位置を決定する。次に、情報位置決定部７００は、決定結果（以下「表示レイアウト情報」という）を、オブジェクト重畳部７１０へ出力する。具体的には、情報位置決定部７００は、入力映像に含まれる直線成分から消失点を検出する。そして、情報位置決定部７００は、消失点、領域情報、および表示オブジェクト情報に基づいて、消失点から放射状に伸びる線分に沿うように、かつ、オブジェクト領域と重ならないように、各表示オブジェクト情報の表示位置を決定する。
なお、情報位置決定部７００は、複数のオブジェクト領域の縁を結ぶ線に沿うように、各表示オブジェクト情報の表示位置を決定するようにしてもよい。これにより、情報位置決定部７００は、オブジェクト領域と重ならないように、かつ、オブジェクトの実世界での配置関係に対応させた状態で、簡単に各表示オブジェクト情報の表示位置を決定することができる。
オブジェクト重畳部７１０は、入力映像上に表示レイアウト情報が示す位置に表示オブジェクト情報を配置した情報重畳映像を表示する映像データを生成し、生成した映像データを、映像表示部４００へ出力する。具体的には、オブジェクト重畳部７１０は、Ｐｈｏｔｏモードのときには、入力映像のみを表示する映像データを生成し、Ｉｎｆｏモードのとき、またはＰｈｏｔｏ＋Ｉｎｆｏモードのときには、情報重畳映像を表示する映像データを生成する。
映像表示部４００は、オブジェクト重畳部７１０で生成された映像データを、映像化して液晶ディスプレイに表示する。
情報表示装置１００は、例えば、ＣＰＵ（central processing unit）、制御プログラムを格納したＲＯＭ（read only memory）等の記憶媒体、ＲＡＭ（random access memory）等の作業用メモリ等を有する。この場合には、上記各部の機能は、ＣＰＵが制御プログラムを実行することで実現される。
このような情報表示装置１００によれば、オブジェクトに関する情報を、入力映像の視点とオブジェクトとの間の距離に応じた情報の提示の仕方で、入力映像に重畳して表示することができる。
次に、以上説明した構成を有する情報表示装置１００の動作について説明する。ここでは、Ｐｈｏｔｏ＋Ｉｎｆｏモードにおける動作について説明する。
図９は、情報表示装置１００の動作を示すフローチャートである。
まず、ステップＳ１０１０において、映像入力部３００は、実世界映像を入力し、入力映像を、映像認識部６３０、情報位置決定部７００、およびオブジェクト重畳部７１０へ送る。
図１０は、映像入力部３００が入力する入力映像の一例を示す図である。ここでは、図１０に示すように、入力映像８３０には、道路８３１に沿って手前側から順に位置する第１〜第３のオブジェクト８３２−１〜８３２−３が映し出されているものとする。第１〜第３のオブジェクト８３２−１〜８３２−３は、異なる施設の建物である。
そして、図９のステップＳ１０２０において、映像認識部６３０は、入力映像から一つ以上のオブジェクト領域を抽出および識別する。例えば、映像認識部６３０は、図１０に示す入力映像８３０から、第１〜第３のオブジェクト８３２−１〜８３２−３のそれぞれのオブジェクト領域として、第１〜第３のオブジェクト領域８３３−１〜８３３−３を抽出および識別する。そして、映像認識部６３０は、識別したオブジェクト領域から、その全てまたは任意のオブジェクト領域を、処理対象として選択する。
映像認識部６３０は、例えば、予め設定された閾値の数の範囲内で、認識率の高いオブジェクト領域を優先して選択したり、焦点が合っているオブジェクト領域およびその前後のある範囲に含まれるオブジェクト領域のみを選択する。認識率とは、例えば、一つの映像の中に１００のオブジェクト領域が抽出される場合に、それらを均等に扱うのではなく、優先順位に従って処理するために、オブジェクト領域の特徴に基づくオブジェクト領域の確からしさを示す指標をいう。オブジェクト領域の特徴は、例えば、背景とオブジェクトの境界の画素値の傾斜の急峻度、または、オブジェクト領域内の画素値が高い尾根の部分（エッジ）が囲んでいる領域の面積の大きさ等である。このように、実際に処理対象とするオブジェクト領域を制限することにより、後段の処理負荷を軽減することができる。
そして、ステップＳ１０３０において、映像認識部６３０は、処理対象として選択したオブジェクト領域の中から１つのオブジェクト領域を選択する。そして、映像認識部６３０は、選択したオブジェクト領域の領域情報を、距離取得部６５０、オブジェクト測位部６６０、および情報位置決定部７００へ送る。
そして、ステップＳ１０４０において、距離取得部６５０は、自位置姿勢算出部６４０および映像認識部６３０から入力される情報に基づいて、選択されているオブジェクトのオブジェクト距離を算出する。そして、距離取得部６５０は、算出したオブジェクト距離を、オブジェクト測位部６６０および情報出力制御部６９０へ送る。
具体的には、まず、自位置姿勢算出部６４０は、角速度センサおよびＧＰＳセンサ等を用いて算出した、映像入力部３００の視点の位置および光軸方向を、位置姿勢情報として生成し、距離取得部６５０およびオブジェクト測位部６６０へ送る。そして、距離取得部６５０は、レーザ式の測距センサ等を用いて、映像認識部６３０からの領域情報に基づいて、各オブジェクトまでの実距離をそれぞれ測定する。そして、距離取得部６５０は、測定された実距離を、位置姿勢情報から算出されるオブジェクトの方向の仰角に基づいて水平距離に換算し、オブジェクト距離として出力する。
そして、ステップＳ１０５０において、オブジェクト測位部６６０は、位置姿勢情報と、位置姿勢情報から算出されるオブジェクトの方向の方位と、オブジェクト距離とを用いて、オブジェクト領域に対応するオブジェクトの位置を算出する。次に、オブジェクト測位部６６０は、算出したオブジェクトの位置の緯度経度情報を、オブジェクト情報検索部６８０および情報出力制御部６９０へ送る。
そして、ステップＳ１０６０において、オブジェクト情報検索部６８０は、緯度経度情報を検索キーとする検索クエリを情報サーバ７４０へ送り、対応するオブジェクト情報を取得する。そして、オブジェクト情報検索部６８０は、取得したオブジェクト情報を、情報出力制御部６９０へ送る。
そして、ステップＳ１０７０において、情報出力制御部６９０は、表示対象となるオブジェクト（以下「表示オブジェクト」という）を決定する。情報出力制御部６９０は、例えば、取得したオブジェクト情報の全てや、焦点が合っているオブジェクト領域に対応するオブジェクト、または、その周辺範囲に含まれるオブジェクト領域に対応するオブジェクト等を決定する。また、情報出力制御部６９０は、例えば、表示の対象となるオブジェクトの属性（ホテル、百貨店等）が指定されている場合には、指定された属性に該当するオブジェクトを表示オブジェクトに決定してもよい。
そして、ステップＳ１０８０において、情報出力制御部６９０は、上述の表示情報決定ルールを用いて、オブジェクト距離がより短いほどより詳細度のレベルがより高くなるように、情報量を決定する。ここで決定される情報量は、表示オブジェクトのオブジェクト情報を提示する際の情報量である。
そして、情報出力制御部６９０は、決定した表示オブジェクトと、決定した情報量に該当するオブジェクト情報を、表示オブジェクト情報として、情報位置決定部７００およびオブジェクト重畳部７１０へ送る。
そして、ステップＳ１０９０において、情報位置決定部７００は、複数のオブジェクト領域の配置パタンや、入力映像に含まれる直線成分から、入力映像の奥行きを表す線分を算出する。
そして、ステップＳ１１００において、情報位置決定部７００は、ステップＳ１０９０において算出した線分に基づいて表示レイアウトを決定し、表示レイアウト情報をオブジェクト重畳部７１０へ送る。
そして、ステップＳ１１１０において、オブジェクト重畳部７１０は、表示レイアウト情報に従って表示オブジェクト情報を配置した情報重畳映像の映像データを生成する。
そして、ステップＳ１１２０において、映像認識部６３０は、ステップＳ１０２０において処理対象として選択されたオブジェクト領域のうち、未処理のオブジェクト領域が残っているか否かを判断する。映像認識部６３０は、未処理のオブジェクト領域が残っている場合には（Ｓ１１２０：ＹＥＳ）、ステップＳ１０３０へ戻り、未処理のオブジェクト領域を選択して、ステップＳ１０３０〜Ｓ１１１０の処理を実行する。この結果、複数の表示オブジェクト情報が存在する場合には、ステップＳ１１１０において、複数のオブジェクト情報が重畳された映像データが生成される。また、映像認識部６３０は、未処理のオブジェクト領域が残っていない場合には（Ｓ１１２０：ＮＯ）、ステップＳ１１３０へ進む。
ステップＳ１１３０において、オブジェクト重畳部７１０は、生成した映像データを、映像表示部４００に出力し、情報重畳映像を表示させる。
そして、ステップＳ１１４０において、情報表示装置１００は、ユーザ操作等（例えば、Ｐｈｏｔｏモードに切り替えられる操作等）により情報重畳映像の表示の停止を指示されたか否かを判断する。情報表示装置１００は、情報重畳映像の表示の停止を指示されていない場合には（Ｓ１１４０：ＮＯ）、ステップＳ１０１０へ戻り、情報重畳映像の表示の停止を指示された場合には（Ｓ１１４０：ＹＥＳ）、一連の処理を終了する。
図１１は、映像表示部４００が表示する情報重畳映像の一例を示す図である。ここでは、図７に示すオブジェクト情報テーブル８１０および図８に示す表示情報決定ルール８２０に基づいて、図１０に示す入力映像に対応して表示される情報重畳映像を示す。また、図１０に示す第１〜第３のオブジェクト８３２−１〜８３２−３が、それぞれ、図７に示すＩＤ「００１」、ＩＤ「００２」、ＩＤ「００３」に該当するオブジェクトであるものとする。
ここでは、第１〜第３のオブジェクト８３２−１〜８３２−３のそれぞれのオブジェクト距離は、１５０ｍ、２５０ｍ、３５０ｍであるものとする。この場合、第１〜第３のオブジェクト領域８３３−１〜８３３−３に対して、レベル３（トピック情報）、レベル２（施設名称）、レベル１（施設種別を示す記号）のオブジェクト情報のレベルが、それぞれ決定される。そして、第１〜第３のオブジェクト領域８３３−１〜８３３−３に対して、順に、ＩＤ「００１」のレベル３のオブジェクト情報、ＩＤ「００２」のレベル２のオブジェクト情報、ＩＤ「００３」のレベル１のオブジェクト情報が、表示オブジェクト情報として決定される。
図１１に示すように、情報重畳映像８４０では、入力映像８３０に、第１〜第３のオブジェクト領域８３３−１〜８３３−３に対応する第１〜第３のオブジェクト情報８４１−１〜８４１−３が、重ねて描画される。また、第１〜第３のオブジェクト情報８４１−１〜８４１−３は、入力画像の奥行きを示す線分８４２（実際には表示されない）に沿って、かつ、第１〜第３のオブジェクト情報８４１−１〜８４１−３と重ならないように、配置される。
また、第１〜第３のオブジェクト情報８４１−１〜８４１−３の内容は、入力画像８３０の視点により近いほど、つまり、より手前側ほど、詳細な内容となる。具体的には、例えば、最も手前側の第１のオブジェクト情報８４１−１の情報量は、２０文字と多く、遠方の第３のオブジェクト情報８４１−３の情報量は、１文字と少ない。
ユーザは、移動しながら逐次の情報取得を行う場合、通常、施設に立ち寄るか否か等の判断を、より近くに位置する施設に対して先に行う。このため、ユーザは、より近くに位置する施設に関する情報については詳細に知りたいと考える。また、遠くに位置する施設に関しては、なんらかの情報が表示されると、進む方面の決定等に便利である。一方で、遠くに位置する施設に関する情報も詳細に表示されると、ユーザが詳しく知りたいと望む情報や入力画像が見難くなる。
したがって、図１１に示すような情報重畳映像によれば、ユーザが知りたい情報をユーザに対して見易く表示することができ、ユーザの移動や行動をより適切に支援することができる。
なお、情報表示装置１００は、入力映像に映し出されるオブジェクトの像が連続的に移動する場合は、オブジェクト領域の画像を追尾して、表示中のオブジェクト情報を画面上で移動させるようにするようにしてもよい。このようにすることにより、情報表示装置１００は、ステップ１０２０〜Ｓ１０７０の処理を省略し、処理負荷を軽減することができる。
また、情報表示装置１００は、オブジェクトが建物等の固定物の場合には、位置姿勢情報の変化に基づいて、オブジェクト領域、オブジェクト距離、奥行きを示す線分を再計算することができる。このことにより、情報表示装置１００は、ステップＳ１０８０〜Ｓ１１００の処理を簡略化し、処理負荷を軽減することができる。
また、オブジェクト領域が複数存在する場合には、情報表示装置１００は、ステップＳ１０３０〜Ｓ１１１０を一括でまとめて処理してもよい。
また、情報表示装置１００は、ステップＳ１０３０〜Ｓ１０８０の処理とステップＳ１０９０の処理等の、同時並行で行うことができる複数の処理を、同時並行で行うようにしてもよい。
以上説明したように、本実施の形態に係る情報表示装置１００は、オブジェクトに関する情報を、実世界映像の視点とオブジェクトとの間の距離に応じた情報量で、実世界映像に重畳して表示することができる。すなわち、本実施の形態に係る情報表示装置１００は、情報表示装置１００を携帯するユーザからオブジェクトまでの距離に応じて、オブジェクト情報の提示の仕方を変えながら実世界映像との重畳表示を行う。
これにより、本実施の形態に係る情報表示装置１００は、近いオブジェクトの情報は多く、遠いオブジェクトの情報は少なく、奥行きに合わせた表示を行うことができる。したがって、本実施の形態に係る情報表示装置１００は、表示情報が多すぎて混乱しないように表示することができ、ユーザが知りたい情報を見易く表示することが可能となる。
なお、本実施の形態に係る情報表示装置１００は、緯度経度情報の取得や、オブジェクトの特定またはオブジェクト情報の特定を、特許文献１記載の手法等、他の手法を用いて行うようにしてもよい。
（実施の形態２）
本発明の実施の形態２は、表示されるオブジェクト情報をユーザ操作に基づいて変化させるようにした例である。
カメラのユーザは、入力映像に映し出されたあるオブジェクトに注目したとき、そのオブジェクトに対するズーム操作、フォーカス操作、絞り操作、およびフォーカスロック操作等を行うことが多い。逆にいうと、これらの操作の対象となったオブジェクトは、ユーザがより詳細な情報を望むオブジェクトである可能性が高い。
そこで、本実施の形態に係る情報表示装置は、操作入力部５１０におけるユーザ操作を、入力される実世界映像に反映させ（映像のズームやフォーカス等）、かつ、その実世界映像に連動してオブジェクト情報を変化させる。
まず、本実施の形態に係る情報表示装置の構成について説明する。
図１２は、本実施の形態に係る情報表示装置の構成を示すブロック図であり、実施の形態１の図６に対応するものである。図６と同一部分には、同一符号を付し、これについての説明を省略する。
図１２において、本実施の形態に係る情報表示装置１００ａは、図６の動作制御部６１０、映像認識部６３０、情報出力制御部６９０、およびオブジェクト重畳部７１０に替えて、これらとは異なる動作制御部６１０ａ、映像認識部６３０ａ、情報出力制御部６９０ａ、およびオブジェクト重畳部７１０ａを有する。
動作制御部６１０ａは、モード切替入力部５２０に設定されているモードに応じて、操作入力部５１０におけるユーザ操作を、入力される実世界映像と表示されるオブジェクト情報にどのように反映させるかを制御する。
具体的には、動作制御部６１０は、Ｐｈｏｔｏモードのとき、ユーザ操作を入力映像に反映させ、Ｐｈｏｔｏ＋Ｉｎｆｏモードのとき、更に、表示されるオブジェクト情報を入力映像に連動して変化させる。また、動作制御部６１０は、Ｉｎｆｏモードのとき、ユーザ操作を表示されるオブジェクト情報にのみ反映させ、入力映像（つまりレンズ制御）には反映させない。
映像認識部６３０ａは、入力映像に映し出されるオブジェクトを認識するとともに、フォーカス点が位置するオブジェクトのオブジェクト領域、またはその周辺のオブジェクトを含むオブジェクト領域を選択し、対応する領域情報を出力する。具体的には、映像認識部６３０ａは、被写界深度の範囲内に位置しており焦点が合っているオブジェクトのオブジェクト領域を選択する。すなわち、映像認識部６３０ａは、ズーム操作、フォーカス操作、および絞り操作によって、オブジェクト情報を表示させるオブジェクトに対するユーザの選択を受け付けることができるようになっている。
情報出力制御部６９０ａは、オブジェクト距離に応じて、表示するオブジェクト情報とその情報量とを制御する。また、情報出力制御部６９０ａは、絞り操作が行われたとき、被写界深度の範囲内に位置するオブジェクトを表示対象と決定し、ズーム操作が行われたとき、ズームの倍率に応じて、表示するオブジェクト情報を制御する。
オブジェクト重畳部７１０ａは、表示レイアウト情報に従って表示オブジェクト情報を配置し、かつ、フォーカス位置を示すアイコンを重畳した情報重畳映像の映像データを生成する。また、オブジェクト重畳部７１０ａは、フォーカスロック操作が行われたとき、表示中のオブジェクト情報の表示形態を切り替える。
また、動作制御部６１０ａは、情報表示装置１００ａに設けた絞り調節部（例えば、操作入力部５１０のレバー５１１を用いる）により、映像入力部３００の絞り操作が行われたとき、これを検出し、絞り操作の内容を示す操作情報を生成する。
次に、情報表示装置１００ａの動作について説明する。
図１３は、情報表示装置１００ａの動作を示すフローチャートであり、実施の形態１の図９に対応するものである。図９と同一部分には、同一ステップ番号を付し、これについての説明を省略する。
実世界映像が入力されると（Ｓ１０１０）、ステップＳ２０１０において、動作制御部６１０ａは、操作入力部５１０から操作情報が入力されたか否かを判断する。動作制御部６１０ａは、操作情報が入力された場合には（Ｓ２０１０：ＹＥＳ）、ステップＳ２０２０へ進み、操作情報が入力されていない場合には（Ｓ２０１０：ＮＯ）、図９のステップＳ１０２０へ進む。操作情報は、例えば、操作入力部５１０のレバー５１１を右に３０度動かしたことを示す情報である。
ステップＳ２０２０において、動作制御部６１０ａは、Ｐｈｏｔｏ＋ＩｎｆｏモードまたはＰｈｏｔｏモードか否か、つまり、レンズ制御を行うモードか否かを判断する。動作制御部６１０ａは、Ｐｈｏｔｏ＋ＩｎｆｏモードまたはＰｈｏｔｏモードである場合には（Ｓ２０２０：ＹＥＳ）、ステップＳ２０３０へ進み、Ｉｎｆｏモードである場合には（Ｓ２０２０：ＮＯ）、ステップＳ２０４０へ進む。
ステップＳ２０４０において、動作制御部６１０ａは、Ｐｈｏｔｏ＋ＩｎｆｏモードまたはＩｎｆｏモードか否か、つまり、オブジェクト情報表示を含むモードか否かを判断する。動作制御部６１０ａは、Ｐｈｏｔｏ＋ＩｎｆｏモードまたはＩｎｆｏモードである場合には（Ｓ２０４０：ＹＥＳ）、ステップＳ２０５０へ進み、Ｐｈｏｔｏモードである場合には（Ｓ２０４０：ＮＯ）、図９のステップＳ１０２０へ進む。
ステップＳ２０５０において、動作制御部６１０ａは、入力された操作情報に基づいて、フォーカス操作が行われたかどうかを判断する。動作制御部６１０ａは、フォーカス操作が行われた場合には（Ｓ２０５０：ＹＥＳ）、ステップＳ２０６０へ進み、フォーカス操作が行われていない場合には（Ｓ２０５０：ＮＯ）、ステップＳ２０７０へ進む。
ステップＳ２０６０において、動作制御部６１０ａは、映像認識部６３０ａに対して、フォーカス点の合焦距離を示す合焦距離情報を取得させ、ステップＳ２０７０へ進む。映像認識部６３０ａは、例えば、レンズのズーム値およびフォーカス値を取得し、これらの値と合焦距離とを予め対応付けて記述した距離テーブルを参照することにより、合焦位置情報を取得する。
ステップＳ２０７０において、動作制御部６１０ａは、入力された操作情報に基づいて、絞り操作が行われたかどうかを判断する。動作制御部６１０ａは、絞り操作が行われた場合には（Ｓ２０７０：ＹＥＳ）、ステップＳ２０８０へ進み、絞り操作が行われていない場合には（Ｓ２０７０：ＮＯ）、ステップＳ２０９０へ進む。
ステップＳ２０８０において、動作制御部６１０ａは、情報出力制御部６９０ａに対して、レンズの被写界深度を示す被写界深度情報を取得させ、ステップＳ２０９０へ進む。情報出力制御部６９０ａは、例えば、レンズのズーム値、フォーカス値、および絞り値を取得し、これらの値と被写界深度とを予め対応付けて記述した被写界深度テーブルを参照することにより、被写界深度情報を取得する。
ステップＳ２０９０において、動作制御部６１０ａは、入力された操作情報に基づいて、ズーム操作が行われたかどうかを判断する。動作制御部６１０ａは、ズーム操作が行われた場合には（Ｓ２０９０：ＹＥＳ）、ステップＳ２１００へ進み、ズーム操作が行われていない場合には（Ｓ２０９０：ＮＯ）、ステップＳ２１１０へ進む。
ステップＳ２１００において、動作制御部６１０ａは、情報出力制御部６９０ａに対して、ズーム倍率を示す倍率情報を取得させ、ステップＳ２１１０へ進む。情報出力制御部６９０ａは、例えば、レンズのズーム値を取得し、この値とズーム倍率とを予め対応付けて記述した倍率テーブルを参照することにより、倍率情報を取得する。
ステップＳ２１１０において、動作制御部６１０ａは、入力された操作情報に基づいて、フォーカスロック操作が行われたかどうかを判断する。動作制御部６１０ａは、フォーカスロック操作が行われた場合には（Ｓ２１１０：ＹＥＳ）、ステップＳ２１２０へ進み、フォーカスロック操作が行われていない場合には（Ｓ２１１０：ＮＯ）、図９のステップＳ１０２０へ進む。
ステップＳ２１２０において、動作制御部６１０ａは、オブジェクト重畳部７１０ａに対して、フォーカスロックの対象となったオブジェクトを示す合焦オブジェクト情報を取得させ、図９のステップＳ１０２０へ進む。オブジェクト重畳部７１０ａは、例えば、フォーカス点が位置するオブジェクトの領域情報に基づいて、合焦オブジェクト情報を取得する。
そして、情報表示装置１００ａは、図９のステップ１０２０〜Ｓ１１４０を実行し、情報重畳映像を表示する。但し、各ステップの処理は、上記ステップＳ２０６０、Ｓ２０８０、Ｓ２１００、Ｓ２１２０における情報取得に応じて、実施の形態１とは異なる内容の処理を行う。実施の形態１とは異なる処理内容について説明する。
ステップＳ１０３０において、映像認識部６３０ａは、ステップＳ２０６０において取得した合焦距離情報に基づいて、フォーカス点またはフォーカス点の周辺のオブジェクト領域を代表する候補点または候補領域を判定する。そして、映像認識部６３０ａは、判定した候補点または候補領域を示すマークを、オブジェクト重畳部７１０ａに表示させる。このマーク表示は、例えば、映像認識部６３０ａがフォーカス点の周辺のオブジェクト領域のみを選択し、情報位置決定部７００が領域情報に基づいてマークの位置を決定し、オブジェクト重畳部７１０ａが決定された位置にマークを重畳する。
そして、映像認識部６３０ａは、候補点または候補領域から、表示可能な情報量や提示の仕方を決定する。例えば、映像認識部６３０ａは、オブジェクト数、オブジェクト領域が全入力映像に占める割合、および全入力映像のうちのオブジェクト領域以外の領域の輝度や色の変化の度合い等に基づいて、表示可能な情報量を含む提示の仕方を決定する。そして、映像認識部６３０ａは、オブジェクト数とそれぞれのオブジェクト情報の情報量とを比較して、提示する情報量が過多にならないように、候補点または候補領域を選択する。オブジェクト情報を表示可能な領域は、オブジェクト領域以外の領域、または、オブジェクト領域以外の領域にオブジェクト領域の一部を加えた領域である。
なお、映像認識部６３０ａは、候補点または候補領域を、ユーザの操作を受けて指定してもよい。その際には、例えば、映像表示部４００がタッチパネル型の入力部を兼ねており、ユーザが触れた領域に応じて選択を受け付ける。また、映像認識部６３０ａは、十字キーなどの他の操作部に対するユーザ操作を受けて、操作する候補点または候補領域の移動、および選択か非選択の決定を行ってもよい。
そして、映像認識部６３０ａは、抽出されたオブジェクト領域の領域情報を、距離取得部６５０、オブジェクト測位部６６０、および情報位置決定部７００へ送り、ステップＳ１０４０へ進む。映像認識部６３０ａは、自動的にあるいはユーザ操作により、候補点または候補領域が選択された場合には、選択された点または領域に該当するオブジェクト領域の領域情報を送る。
また、ステップＳ１０７０において、情報出力制御部６９０ａは、ステップＳ２０８０で取得した被写界深度情報に基づいて、被写界深度の範囲内に位置するオブジェクトに対応するオブジェクト情報を、表示オブジェクト情報に決定する。
この結果、Ｐｈｏｔｏ＋Ｉｎｆｏモードのときには、フォーカス点付近の鮮明に映し出されたオブジェクトのオブジェクト情報が、表示されることになる。
また、ステップＳ１０８０において、情報出力制御部６９０ａは、ステップＳ２１００において取得した倍率情報に基づいて、ズームの倍率がより高いほど詳細度のレベルが高くなるように、表示オブジェクト情報を決定する。例えば、情報出力制御部６９０ａは、ズームの倍率に応じて詳細度のレベルを変更して、表示オブジェクト情報を決定する。具体的には、表示情報決定ルールに規定される詳細度のレベルを、小さなズームアップのときには１つ上げ、大きなズームアップのときには２つ上げる。
この結果、Ｐｈｏｔｏ＋Ｉｎｆｏモードのときには、入力映像に対するズーム操作に連動（同期）してオブジェクト情報の詳細度が変化することになり、Ｉｎｆｏモードのときには、オブジェクト情報の詳細度のみが変化することになる。
また、ステップＳ１１１０において、オブジェクト重畳部７１０ａは、ステップＳ２１２０において取得した合焦オブジェクト情報に基づいて、表示中のオブジェクト情報の表示形態を変更して、入力映像と重畳出力する。例えば、オブジェクト重畳部７１０ａは、表示中のオブジェクト情報の透過度を高くし、入力画像がオブジェクト情報を通して透けて見えるようにする。
この結果、Ｐｈｏｔｏ＋Ｉｎｆｏモードのときには、入力映像に対するフォーカスロック操作に連動（同期）してオブジェクト情報の表示形態が変化することになる。一方、Ｉｎｆｏモードのときには、オブジェクト情報の表示形態のみが変化することになる。
また、Ｐｈｏｔｏモードのときには、情報出力制御部６９０ａの動作は停止しているので、オブジェクト情報の表示は行われないことになる。
なお、図１３に示すフローチャートのうち、同時並行が可能な処理については同時並行で実行するようにしてもよいことは、図９のフローチャートと同様である。
以下、各種操作が行われたときの表示映像の変化の例について説明する。
図１４は、Ｉｎｆｏモードにてズーム操作が行われたときの、表示映像の変化の一例を示す図であり、実施の形態１の図１１に対応するものである。
まず、図１４Ａに示すように、第１のオブジェクト領域８３３−１にフォーカス点８５１が位置し、第１のオブジェクト情報８４１−１のみが表示されているものとする。この状態で、図１４Ｂに示すように、Ｉｎｆｏモードにてズームアップの操作が行われると、図１４Ｃに示すように、入力映像はズームアップされない状態で、第１のオブジェクト情報８４１−１の詳細度のレベルが高くなる。
このように、オブジェクト情報の詳細度のみを操作可能とすることにより、ユーザは、入力画像の状態はそのままで、所望のオブジェクトに関するより詳細な情報を得ることができる。
図１５は、Ｐｈｏｔｏ＋Ｉｎｆｏモードにてズーム操作が行われたときの、表示映像の変化の一例を示す図であり、図１４に対応するものである。
まず、図１５Ａに示すように、第１のオブジェクト領域８３３−１にフォーカス点８５１が位置し、第１のオブジェクト情報８４１−１のみが表示されているものとする。この状態で、図１５Ｂに示すように、Ｐｈｏｔｏ＋Ｉｎｆｏモードにてズームアップの操作が行われると、図１５Ｃに示すように、入力映像はズームアップされる。さらに、図１５Ｃに示すように、入力映像のズームアップと連動する形で、第１のオブジェクト情報８４１−１の詳細度のレベルが高くなる。
このように、通常のズーム操作と連動させてオブジェクト情報の詳細度を変化させることにより、ユーザは、注目するオブジェクトへのズームイン操作という自然な操作で、所望のオブジェクトに関するより詳細な情報を得ることができる。
図１６は、Ｐｈｏｔｏ＋Ｉｎｆｏモードにて絞り操作が行われたときの、表示映像の変化の一例を示す図であり、図１１に対応するものである。
まず、図１６Ａに示すように、第１〜第３のオブジェクト情報８４１−１〜８４１−３が表示されているものとする。この状態で、図１６Ｂに示すように、Ｐｈｏｔｏ＋Ｉｎｆｏモードにて絞りを開放する操作が行われたとする。すると、図１６Ｃに示すように、例えば、フォーカス点８５１の近くに、第１および第２の候補点８５２−１、８５２−２がガイド表示される。そして、最終的な表示は、絞りを開放する操作によって狭められた被写界深度の範囲内に位置する方、つまり、第２の８５２−２に対応するオブジェクト情報８４１−２のみの表示に絞られる。
このように、本実施の形態では、通常の絞り操作と連動（同期）させてオブジェクト情報の詳細度を変化可能とした。これにより、ユーザは、注目するオブジェクトが限定されているときに絞りを開くという自然な操作で、所望のオブジェクトに関するより詳細な情報を得ることができる。また、ユーザは、絞りの調整により、表示されるオブジェクト情報の数を調整することができる。
図１７は、Ｉｎｆｏモードにてフォーカスロック操作が行われたときの、表示映像の変化の一例を示す図であり、図１５に対応するものである。
まず、図１７Ａに示す例は、第１のオブジェクト情報８４１−１のみが表示されているものとする。この状態で、図１７Ｂに示すように、Ｉｎｆｏモードにてフォーカスロックの操作が行われると、図１７Ｃに示すように、第１のオブジェクト情報８４１−１は、透過度５０％となる。
このように、本実施の形態では、通常のフォーカスロック操作と連動させてオブジェクト情報の表示態様を変化させることを可能とした。このことにより、ユーザは、そのオブジェクトに対してフォーカスロックされたことをより確実に知ることができる。また、透過させる場合には、ユーザは、オブジェクト情報を確認しながら、入力画像の全体を視認することができる。
このように、本実施の形態に係る情報表示装置１００ａは、表示対象となるオブジェクト情報や、表示されるオブジェクト情報の詳細度を、ユーザが簡単に選択することを可能にする。また、本実施の形態に係る情報表示装置１００ａは、表示されるオブジェクト情報を、入力映像に対する操作、つまり通常のカメラ操作に連動させて変化させるか、独立して操作可能とするかを、ユーザが任意に選択することを可能にする。したがって、本実施の形態に係る情報表示装置１００ａは、実世界映像のオブジェクト情報のうち、ユーザが知りたい情報を、より一層見易く、かつ、より一層的確に表示することができる。また、本実施の形態に係る情報表示装置１００ａは、所望の複数のオブジェクトについてのオブジェクト情報を簡単に表示することができる。すなわち、本実施の形態に係る情報表示装置１００ａは、ユーザが知りたい対象およびユーザが求める情報量に対する直感的な制御を実現することができ、ユーザが簡単な操作で見たい情報だけを、適切な情報量で提供することができる。
なお、本実施の形態に係る情報表示装置１００ａの操作入力部５１０における具体的な操作内容と、ズーム等の内部的な調整内容との対応関係は、特定のものに限定されない。また、オブジェクト情報の詳細度は、連続的に変化可能としてもよい。特に、操作入力部５１０が、時間長さや回転角度等、連続的な変量を任意に設定可能である場合には、情報表示装置１００ａは、設定された変量に連動して、オブジェクト情報の詳細度を連続的に変化させて表示してもよい。通常、ズーム操作は、連続的にズーム率を変化させることができるようになっている。したがって、情報表示装置１００ａがズーム率に連動させてオブジェクト情報の詳細度を変化させることが考えられる。
また、本実施の形態に係る情報表示装置１００ａは、操作入力部５１０のレバー５１１が右に回された際にオブジェクト情報をより詳細となるものとしたが、これに限定されない。例えば、本実施の形態に係る情報表示装置１００ａは、レバー５１１が左に回された際にはより大まかな詳細度を設定し、右に回された際にはより細かい間隔で詳細度を設定するようにしてもよいし、これとは左右逆の機能を有してもよい。
また、操作入力部５１０の形態は、上記内容に限定されるものではなく、ズームの倍率等を調整可能な形態であればよい。具体的には、操作入力部５１０の形態は、例えば、映像入力部３００のレンズの絞りリング等を用いる形態や、十字キー等を用いる形態等、ズーム操作と独立の操作を行うことができる態様としてもよい。ユーザは、例えば、映像表示部４００に表示される絞り値を見ながら、十字キー等を操作することができる。
また、モード切替入力部５２０の形態は、上記内容に限定されるものではなく、「Ｉｎｆｏ、Ｖｉｄｅｏ＋Ｉｎｆｏ、Ｖｉｄｅｏ」、「ナビゲーション、移動、カメラ」等の他の表記を用いてもよいし、ダイヤル式を採用してもよい。
また、フォーカスロック操作がされたときのオブジェクト情報の表示形態の変化は、上記内容に限定されない。例えば、表示形態の変化は、任意の透過度への変更や、情報の強調表示等でもよい。強調表示は、例えば、文字の色、濃さ、輝度、太さ、およびフォントの変化、文字の点滅、文字を囲む枠線の表示、オブジェクト情報表示領域の縁の強調および地の色や輝度の変更を含む。
また、情報表示装置１００ａは、表示対象となるオブジェクトの数に応じて、オブジェクト情報の詳細度のレベルを変化させるようにしてもよい。具体的には、例えば、情報表示装置１００ａは、表示対象となるオブジェクトの数が少ないときは、オブジェクト情報の詳細度のレベルを、表示情報決定ルールが規定するレベルよりも上げるようにする。
また、情報表示装置１００ａは、シャッター速度に応じてオブジェクト情報の有効時間帯を制御してもよい。具体的には、例えば、情報表示装置１００ａは、速いシャッター速度を選択することにより、現在時刻または指定した時刻の前後または前または後の時間幅が狭い時間内に関連づけられている情報を提示する。あるいは、情報表示装置１００ａは、遅いシャッター速度を選択することにより、現在時刻または指定した時刻の前後または前または後の時間幅が広い時間内に関連づけられている情報を提示するか、を連続的に制御する。
また、情報表示装置１００ａは、他のカメラ操作およびカメラ設定（例えば、露出補正（感度調整）の度合い）に対応させて、オブジェクト情報の詳細度や表示形態を変化させるようにしてもよい。具体的には、例えば、情報表示装置１００ａは、視点から見える範囲の施設の情報を提示するか、それとも視点からは見えない建物の裏側の施設の情報をも含めて提示するか、を制御する。
また、情報表示装置１００ａは、カメラにおける撮影メニューと同様の、ダイヤル式または同等のメニューによって、レストラン情報、アミューズメント情報等、表示の対象となるオブジェクト情報のジャンルを選択できるようにしてもよい。
また、情報表示装置１００ａは、ポインタを合わせされたオブジェクト領域やオブジェクト情報の色を変化させるようにしてもよい。更に、情報表示装置１００ａは、オブジェクト情報の検索インタフェースを備え、検索結果のオブジェクト情報を、色を変えたり、点滅させたり、矢印などのポインタで指し示しながら映像に重畳して表示したりするようにしてもよい。
（実施の形態３）
本発明の実施の形態３は、着脱可能な記憶媒体に情報重畳映像を記録するようにした例である。
情報重畳映像を記録することは、生成された情報重畳映像を後で別の場所で利用可能とすれば、施設の場所や評判等の情報を第三者に伝えることが容易となり、便利である。そこで、本実施の形態では、生成した情報重畳映像を、単に表示するだけでなく、着脱可能な記憶媒体に記録するようにした。
図１８は、本実施の形態に係る情報表示装置の構成を示すブロック図であり、実施の形態１の図６に対応するものである。図６と同一部分には、同一符号を付し、これについての説明を省略する。
図１８において、本実施の形態に係る情報表示装置１００ｂは、記憶媒体７５０ｂおよび記録・読出部７６０ｂを有する。記憶媒体７５０ｂは、記録・読出部７６０ｂに接続されている。記録・読出部７６０ｂは、オブジェクト重畳部７１０と映像表示部４００との間に配置されている。
記憶媒体７５０ｂは、着脱可能な記憶媒体であり、例えばＳＤメモリカードである。
記録・読出部７６０ｂは、情報重畳映像記録モードのとき、情報重畳映像の映像データを、映像表示部４００へ転送するとともに、記憶媒体７５０ｂに記録する。また、記録・読出部７６０ｂは、情報重畳映像再生モードのとき、記憶媒体７５０ｂから記憶媒体７５０ｂに記録された情報重畳映像の映像データを読みだし、映像表示部４００へ送る。
情報重畳映像記録モードおよび情報重畳映像再生モードの設定は、例えば、操作入力部５１０および動作制御部６１０によって行うようにすればよい。また、情報重畳映像の映像データは、入力映像とオブジェクト情報の画像とが合成された映像データ、あるいは、入力映像のデータとオブジェクト情報に関するデータとが情報重畳映像を再現可能な状態で分離されたものであってもよい。オブジェクト情報に関するデータとは、例えば、映像データと重畳する際の、映像内の空間的位置を表す座標（表示レイアウト情報）と映像の時間的位置を表すタイムコードとに対応付けて、オブジェクト情報を記録したデータである。
このような情報表示装置は、撮影した実世界映像と、撮影時点のオブジェクト情報とを同時に記録し、また、記録したこれらの情報を、別の情報表示装置等で読出して表示することができる。
なお、記憶媒体としては、光ディスク、半導体メモリ、ＣＤ（compact disc）、ＤＶＤ（digital versatile disk）、およびＢＤ（blu-ray disk）等のメモリデバイス、ハードディスク、ネットワーク上の任意のメモリ、並びに光メモリ等の新規のメモリ等、各種の記憶媒体を適用することができる。
（実施の形態４）
本発明の実施の形態４は、タッチパネルを用いてユーザ操作を受け付けるようにした例である。
入力映像を、ファインダではなくディスプレイで確認しながら撮影を行うユーザも多い。このようなユーザにとっては、入力映像に映し出されたあるオブジェクトに注目したとき、そのオブジェクトに対するフォーカス操作およびフォーカスロック操作等を、直接ディスプレイ上のオブジェクトを指定できると、使用勝手が良い。そこで、本実施の形態に係る情報表示装置は、タッチパネルによる操作入力部を搭載し、上述の操作を実現する。
まず、本実施の形態に係る情報表示装置の構成について説明する。
図１９は、本実施の形態に係る情報表示装置の構成を示すブロック図であり、実施の形態２の図１２に対応するものである。図１２と同一部分には、同一符号を付し、これについての説明を省略する。
図１９において、本実施の形態に係る情報表示装置１００ｃは、図１２の映像表示部４００に替えて、映像表示・操作入力部４００ｃを有する。
映像表示・操作入力部４００ｃは、液晶ディスプレイ（実施の形態２の映像表示部４００に相当）と一体型のタッチパネル（図示せず）を有する。映像表示・操作入力部４００ｃは、ユーザのタッチ操作により、少なくとも、フォーカス点を画面上の任意の位置に設定するフォーカス操作と、現状の焦点距離を保持するフォーカスロック操作とを受け付ける。
そして、映像表示・操作入力部４００ｃは、受け付けたタッチ操作の内容を示す操作情報を、動作制御部６１０ａへ出力する。より具体的には、映像表示・操作入力部４００ｃは、フォーカス点を指定する操作が行われたとき、その指定された位置にレンズを合焦させることを指示する操作情報を、動作制御部６１０ａへ出力する。また、映像表示・操作入力部４００ｃは、フォーカスロック操作が行われたとき、フォーカスロック操作が行われたことを示す操作情報を、動作制御部６１０ａへ出力する。
次に、情報表示装置１００ｃの動作について説明する。
ユーザは、例えば、タッチパネルの、オブジェクト情報を確認しようとするオブジェクトの映像の近傍に、指先を触れる。すると、映像表示・操作入力部４００ｃは、タッチされた箇所の位置をフォーカス点として指定する操作情報を、動作制御部６１０ａへ出力する（図１３のステップＳ２０１０：ＹＥＳ）。
以降の動作は、実施の形態２と同様である。すなわち、映像認識部６３０ａは、入力映像に映し出されるオブジェクトを認識する。そして、映像認識部６３０ａは、フォーカス点が位置するオブジェクトのオブジェクト領域、またはその周辺のオブジェクトを含むオブジェクト領域を選択し、対応する領域情報を出力する。この結果、映像表示・操作入力部４００ｃには、ユーザが指先を触れた箇所の近辺にフォーカスされた映像と、その近辺のオブジェクトのオブジェクト情報が表示される。
このように、情報表示装置１００ｃは、タッチ操作によって、オブジェクト情報を表示させるオブジェクトに対するユーザの選択を受け付けることができるようになっている。
図２０は、Ｐｈｏｔｏ＋Ｉｎｆｏモードにてタッチ操作が行われたときの、表示映像の変化の一例を示す図であり、図１６に対応するものである。
まず、図２０Ａに示すように、第１〜第３のオブジェクト領域８３３−１〜８３３−３が存在するものとする。この状態で、図２０Ｂおよび図２０Ｃに示すように、Ｐｈｏｔｏ＋Ｉｎｆｏモードにて、映像表示・操作入力部４００ｃに対して指８６１でタッチ操作が行われ、第１のオブジェクト領域８３３−１にフォーカス点の位置が指定されたとする。すると、図２０Ｃに示すように、例えば、指定された位置８６２がフォーカス点となりガイド表示されると共に、第１のオブジェクト情報８４１−１が表示される。
このように、本実施の形態に係る情報表示装置１００ｃは、ディスプレイに対する直接の指定操作により、オブジェクトに対するフォーカス操作およびフォーカスロック操作等を受け付ける。これにより、ユーザは、注目するオブジェクトを表示画面上でタッチするという自然な操作により、所望のオブジェクトに関するより詳細な情報を得ることができる。
なお、タッチパネル操作を入力される実世界映像に反映させない場合には、情報表示装置１００ｃは、タッチパネル操作の操作情報を、映像認識部６３０に入力してもよい。この場合、映像認識部６３０は、例えば、タッチされた位置のオブジェクト領域を抽出し、抽出したオブジェクト領域のみを処理対象として選択すればよい。
また、映像認識部６３０は、ビルのような明確なオブジェクトがない状況においても、映像全体または映像の一部をオブジェクト領域として同様に処理してもよい。例えば、海と空を映した映像もしくは空のみ映した映像においては、空の部分をオブジェクトとして、空間座標に関連付けた情報をオブジェクト情報として表示してもよい。
（実施の形態５）
本発明の実施の形態５は、タッチパネルを用いて更に詳細なユーザ操作を受け付けるようにした例である。
ディスプレイ上の同一位置または狭い範囲に対応して多くのオブジェクト情報が登録されている場合がある。そこで、本実施の形態に係る情報表示装置は、タッチパネル上で、ユーザから表示対象の条件の絞り込み操作を受け付けることにより、表示オブジェクト情報の絞り込みを行う。
まず、本実施の形態に係る情報表示装置の構成について説明する。
図２１は、本実施の形態に係る情報表示装置の構成を示すブロック図であり、実施の形態４の図１９に対応するものである。図１９と同一部分には、同一符号を付し、これについての説明を省略する。
図２１において、本実施の形態に係る情報表示装置１００ｄは、図１９の映像表示部・操作入力部４００ｃと情報出力制御部６９０ａとに替えて、これらと異なる映像表示・操作入力部４００ｄと情報出力制御部６９０ｄとを有する。
映像表示・操作入力部４００ｄは、表示対象の条件を指定する条件指定操作を受け付ける。ここでは、条件指定操作は、少なくとも、オブジェクト距離を指定する操作、およびオブジェクト情報の有効時間を指定する操作を含む。オブジェクト情報の有効時間（以下、単に「有効時間」という）とは、オブジェクト情報が有効とされる期間を代表する日時である。映像表示・操作入力部４００ｄは、条件指定操作が行われたとき、条件指定操作の内容を示す操作情報を、情報出力制御部６９０ｄへ出力する。条件指定操作の受け付けの詳細については、後述する。
情報出力制御部６９０ｄは、映像表示・操作入力部４００ｄから入力される操作情報が示す条件指定操作に応じて、表示するオブジェクト情報を制御する。より具体的には、情報出力制御部６９０ｄは、オブジェクト距離を指定する操作が行われたとき、指定されたオブジェクト距離に該当するオブジェクトのオブジェクト情報を、表示オブジェクト情報に決定する。また、情報出力制御部６９０ｄは、有効時間を指定する操作が行われたとき、指定された有効時間に該当するオブジェクト情報を、表示オブジェクト情報に決定する。
また、本実施の形態では、実施の形態１〜実施の形態４とは異なる内容のオブジェクト情報テーブルが、オブジェクト情報データベース７３０に格納されているものとする。
図２２は、本実施の形態におけるオブジェクト情報テーブルの内容の一例を示す図である。
図２２に示すように、オブジェクト情報テーブル８１０ｄは、オブジェクトのＩＤ８１１およびオブジェクトの位置８１２だけでなく、有効時間８１７ｄにも対応付けて、オブジェクト情報８１３〜８１６を記述している。また、ここでは、オブジェクト情報８１３〜８１６の属性が、実施の形態１〜実施の形態４とは異なっている。
レベル１のオブジェクト情報８１３は、施設に関する一般利用者による投稿（口コミ情報）のラベル情報である。レベル２のオブジェクト情報８１４は、口コミ情報の詳細情報である。レベル３のオブジェクト情報８１５は、施設に関するコメントやトピック情報である。また、レベル４のオブジェクト情報８１６は、施設に関して更に外部の情報を参照する先のＵＲＬ（uniform resource locator）等を示す参照情報である。すなわち、レベル１〜レベル４のオブジェクト情報８１３〜８１６は、レベルの数や各レベルに記載する情報について、自由に情報の粒度を設定することができる。
例えば、「緯度：ｘｘ１、経度：ｙｙ２」という位置と、「２００９／１１／４、８:３０」という有効時間との組み合わせには、口コミ情報のラベルとして「振替輸送で足止め」が対応付けられている。また、「緯度：ｘｘ１、経度：ｙｙ２」という位置と、「２００９／１１／４、２０：３０」という有効時間との組み合わせには、口コミ情報のラベルとして「ライブ開催」が対応付けられている。すなわち、同一のオブジェクトであっても、有効時間が異なる場合、異なるオブジェクト情報が対応付けられている。
次に、情報表示装置１００ｄの動作について説明する。
ユーザは、例えば、タッチパネルの、後述するインジケータに触れることにより、条件指定操作を行う。すると、映像表示・操作入力部４００ｄは、条件指定操作の内容（オブジェクト距離や有効時間）を示す操作情報を、情報出力制御部６９０ｄへ出力する。
情報出力制御部６９０ｄは、オブジェクト距離を指定する条件指定操作の操作情報が入力されたとき、指定されたオブジェクト距離に該当するオブジェクト情報を、表示オブジェクト情報に決定する。また、情報出力制御部６９０ｄは、有効時間を指定する条件指定操作の操作情報が入力されたとき、指定された有効時間に該当するオブジェクト情報を、表示オブジェクト情報に決定する。
表示オブジェクトが決定された後の動作は、実施の形態４と同様である。この結果、映像表示・操作入力部４００ｄに表示されるオブジェクト情報は、ユーザが指定した条件（オブジェクト距離や有効時間）に該当するオブジェクト情報に絞られる。
なお、オブジェクト情報の絞り込みは、オブジェクト情報検索部６８０において行うようにしてもよい。この場合には、オブジェクト情報検索部６８０は、条件指定操作の内容を示す操作情報を入力し、次のような動作を行う。
オブジェクト情報検索部６８０は、オブジェクト距離を指定する条件指定操作の操作情報が入力されたとき、例えば、自位置を中心とし指定されたオブジェクト距離を半径とする範囲を、緯度経度情報として算出する。そして、オブジェクト情報検索部６８０は、緯度経度情報を検索キーとして、実施の形態２と同様に、オブジェクト情報を検索する。
具体的には、オブジェクト情報検索部６８０は、端末通信部６７０を介して、緯度経度範囲情報を、オブジェクト情報データベース７３０ｄに対する検索クエリとして、情報サーバ７４０へ送信する。
そして、オブジェクト情報検索部６８０は、情報サーバ７４０から返信されたオブジェクト情報を、情報出力制御部６９０へ出力する。オブジェクト情報検索部６８０は、有効時間についても同様に情報出力制御部６９０へ出力する。
以下、各種操作が行われたときの表示映像の変化の例について説明する。
図２３は、Ｐｈｏｔｏ＋Ｉｎｆｏモードにてタッチ操作が行われたときの、表示映像の変化の一例を示す図であり、図１６に対応するものである。図１６と同一部分には同一符号を付し、これについての説明を省略する。
図２３に示すように、映像表示・操作入力部４００ｄが表示する情報重畳映像８４０ｄは、距離インジケータ８７１および有効時間インジケータ８７２を有する。距離インジケータは、現在フォーカスされている各オブジェクト領域のオブジェクト距離を、距離マーク８７３によって表示する。有効時間インジケータ８７２は、現在フォーカスされているオブジェクト領域のオブジェクト情報の有効時間を、時間マーク８７４によって表示する。ここで、フォーカスされているオブジェクト領域とは、フォーカス点またはフォーカス点の周辺のオブジェクト領域である。
映像表示・操作入力部４００ｄは、距離マーク８７３および時間マーク８４７を表示するために、情報出力制御部６９０ｄから、フォーカスされている各オブジェクト領域のオブジェクト情報を予め取得する。
ここでは、第１および第２のオブジェクト領域８３３−１、８３３−２が、フォーカスされているオブジェクト領域であるものとする。
この場合、距離インジケータ８７１は、第１および第２のオブジェクト領域８３３−１、８３３−２にそれぞれ対応する、１５０ｍを示す第１の距離マーク８７３−１と、２５０ｍを示す第２の距離マーク８７３−２とを表示する。
また、有効時間インジケータ８７２は、第１および第２のオブジェクト領域８３３−１、８３３−２に対応して存在する各オブジェクト情報の、有効時間を示す第１および第２の時間マーク８７４−１、８７４−２を表示する。
映像表示・操作入力部４００ｄは、デフォルトで、いずれかの距離マーク８７３および時間マーク８７４を１つずつ選択された状態にしておく。ここでは、表示オブジェクト情報のレベルがレベル１であり、第１の距離マーク８７３−１がデフォルトで選択されているものとする。また、第１のオブジェクト領域８３３−１に対応する第１および第２の時間マーク８７３−１、８７３−２は、それぞれ、「８：３０」、「２０：３０」を示し、第１の時間マーク８７３−１がデフォルトで選択されているものとする。
この場合、図２３Ａに示すように、表示されるオブジェクト情報は、第１のオブジェクト領域８３３−１のオブジェクト情報のうち、有効時間「８：３０」に対応する情報である「振替輸送で足止め」に絞られる。
この状態で、図２３Ｂおよび図２３Ｃに示すように、指８６１によって第２の時間マーク８７３−２がタッチされたとする。すると、図２３Ｃに示すように、表示されるオブジェクト情報は、有効時間「２０：３０」に対応する情報である「ライブ開催」に変更される。
なお、情報重畳映像８４０ｄは、どのオブジェクト距離およびどの有効時間に対応するオブジェクト情報を現在表示しているかを表示することが望ましい。ここでは、距離インジケータ８７１および有効時間インジケータ８７２の色によってこの表示が行われている例を示しているが、距離マーク８７３および時間マーク８７４の色変化や点滅等を用いてもよい。
このように、本実施の形態に係る情報表示装置は、表示されるオブジェクト情報の絞込みを、ディスプレイのタッチ操作により行うことができる。また、本実施の形態に係る情報表示装置は、絞り込みの条件の指定を、ディスプレイに表示されたオブジェクト距離および有効時間の中から選択することにより行うことができる。
したがって、本実施の形態に係る情報表示装置は、同一オブジェクトに複数のオブジェクト情報が付与される場合や、画面における同一の座標や狭い範囲に複数のオブジェクト情報が付与される場合でも、閲覧が行い易くなる。更には、本実施の形態に係る情報表示装置は、画面上にオブジェクトが映し出されていない場合においても、フォーカス位置周辺の任意のオブジェクトのオブジェクト情報ついて、検索、選択、および閲覧を可能にする。すなわち、ユーザは、注目するオブジェクトを表示画面上でタッチするという自然な操作で、所望のオブジェクトに関するより詳細な情報を得ることができる。
なお、指定可能な条件は、オブジェクト距離および有効時間に限定されるものではなく、オブジェクト情報テーブルに含まれる情報に関する各種条件を採用することができる。例えば、指定可能な条件は、オブジェクト情報の登録時間および設定時間等を採用してもよい。
なお、以上説明した各実施の形態では、予め定められた情報サーバからオブジェクト情報を取得するものとして説明したが、検索エンジンを利用して、通信ネットワーク上で適切なオブジェクト情報を検索ようにしてもよい。
また、各実施の形態では、オブジェクト情報データベースを外部装置に配置し、通信ネットワーク経由で取得されるものとして説明したが、予め情報表示装置にオブジェクトデータベースを備えた構成としてもよい。また、情報表示装置は、必要なオブジェクト情報を保持していない場合にのみ、外部装置から当該オブジェクト情報を取得するようにしてもよい。
また、情報表示装置は、一度取得したオブジェクト情報をキャッシュしておき、外部からの取得を再度行わないように構成してもよい。
また、予め詳細度のレベルごとにオブジェクト情報を用意するのではなく、情報表示装置が、指定された詳細度のレベルに合うように、文章要約機能等を用いて、オブジェクト情報を編集するようにしてもよい。
また、用途によっては、オブジェクト距離がより遠いほど詳細な情報となるようにしたり、フォーカス位置により近いほどより詳細な情報となるようにしてもよい。また、後者の場合には、フォーカス位置からの距離に対して、情報の簡素化（詳細化）の割合を対称としてもよいし、非対称としてもよい。具体的には、例えば、被写界深度に合わせて、フォーカス位置よりも手前側のオブジェクトについては簡素化（詳細化）の割合を少なく、フォーカス位置よりも奥側のオブジェクトについては簡素化（詳細化）の割合を大きくする。
２００８年１２月２５日出願の特願２００８−３３１４５１の日本出願に含まれる明細書、図面および要約書の開示内容は、すべて本願に援用される。
本発明に係る情報表示装置および情報表示方法は、実世界映像に映し出されたオブジェクトに関する情報のうちユーザが知りたい情報を、見易く表示することができる情報表示装置および情報表示方法として有用である。具体的には、本発明は、実世界映像と情報との重畳表示を行う拡張現実感システムとして有用であり、例えば、訓練用、教育用、宇宙開発用、ウェアラブルシステム、エンタテイメントシステムの用途に応用することができる。また、本発明は、ユーザが情報を得たいと望む対象およびその情報量の直感的な制御を行う実世界情報検索システムとして有用であり、例えば、デジタルスチルカメラ、デジタルビデオカメラ、カーナビゲーションシステム、携帯電話機によるナビゲーションシステム、計測・測量システムの用途に応用することができる。
１００、１００ａ、１００ｂ、１００ｃ、１００ｄ 情報表示装置
２００ 本体部
３００ 映像入力部
４００ 映像表示部
４００ｃ、４００ｄ 映像表示・操作入力部
５００ 操作インタフェース部
５１０ 操作入力部
５１１ レバー
５１２ ボタン
５２０ モード切替入力部
５２１ スイッチ
５２２ スライド部
６１０、６１０ａ 動作制御部
６２０ レンズ制御部
６３０、６３０ａ 映像認識部
６４０ 自位置姿勢算出部
６５０ 距離取得部
６６０ オブジェクト測位部
６７０ 端末通信部
６８０ オブジェクト情報検索部
６９０、６９０ａ、６９０ｄ 情報出力制御部
７００ 情報位置決定部
７１０、７１０ａ オブジェクト重畳部
７２０ 通信ネットワーク
７３０ オブジェクト情報データベース
７４０ 情報サーバ
７５０ｂ 記憶媒体
７６０ｂ 記録・読出部
本発明は、実世界映像と実世界映像に映し出されるオブジェクトに関する情報とを重畳して表示する情報表示装置および情報表示方法に関する。
風景の撮影映像といった実世界映像には、各種の施設等のオブジェクトが映し出される。実世界映像とその実世界映像に映し出されるオブジェクトに関する情報（以下「オブジェクト情報」という）とを、１つの画面に重畳して表示する画像表示装置が、各種分野で用いられている。このような技術は、「拡張現実感」（Augmented Reality）と呼ばれており、また、「強調現実感」、「強化現実感」などとも呼ばれている。この技術を応用した拡張現実感装置は、移動しながらその都度情報を取得する場合に便利である。
実世界映像とオブジェクト情報とを重畳して表示する装置（以下単に「情報表示装置」という）において、表示するオブジェクト情報を制御する技術が、例えば特許文献１および特許文献２に記載されている。
図１は、特許文献１記載の情報表示装置の構成を示す図である。図２は、特許文献１記載の情報表示装置が入力する実世界映像の一例を示す図である。図３は、図１に示す情報表示装置が図２に示す入力映像に対応して表示する、実世界映像とオブジェクト情報とを重畳した映像（以下「情報重畳映像」という）の一例を示す図である。
図２に示すように、オブジェクト１１の近くには、そのオブジェクトを識別するための、独立した既知のマーカ１２が予め配置されている。
図１において、情報表示装置２０は、実世界の画像を入力する画像入力部２１と、入力画像からマーカ１２を抽出するマーカ抽出部２２と、抽出されたマーカ１２を用いて位置姿勢を演算するマーカ認識部２３とを有する。更に、情報表示装置２０は、マーカ１２に予め関連付けたオブジェクト情報を入手する関連情報入手部２４と、オブジェクト情報の加工処理をするモデルデータ作成部２５と、入力画像と加工した情報とを重畳表示する表示部２６とを有する。この結果、図３に示すように、オブジェクト１１の画像を含む実世界の画像３１と、オブジェクト１１に関するオブジェクト情報３２とを重畳した、画像３３が表示される。
また、特許文献１記載の情報表示装置のモデルデータ作成部２５は、表示している情報の描画位置を、入力画像の変化に同期して変化させ、オブジェクトの表示位置に追従させる。したがって、特許文献１記載の情報表示装置は、例えば、標本の周りを回りながら撮影が行われる場合でも、入力画像の視点の動き（カメラのユーザの動き）に正確に同期して、情報を表示することができる。
図４は、特許文献２記載の情報表示装置の構成を示す図である。図４において、情報表示装置４０は、ユーザの視点の位置を検出する視点位置検出部４１と、ディスプレイ４７の位置を検出するディスプレイ位置検出部４２と、映し出されるオブジェクトを検出する対象位置検出部４３とを有する。そして、情報表示装置４０は、ユーザ視点とディスプレイ４７の中心位置とを結ぶ線上に位置するオブジェクトを特定する対象特定部４４と、オブジェクト情報を記憶装置から取得する対象情報検索部４５とを有する。更に、情報表示装置４０は、ユーザ視点とディスプレイ４７との距離に応じて、表示する参照情報の詳細度を選択する映像生成部４６を有する。この結果、ユーザ視点がディスプレイに近づいた
ときに、より詳細な情報が表示される。
特開２００４−４８６７４号公報 特開平８−１９０６４０号公報
しかしながら、特許文献１記載の技術および特許文献２記載の技術では、ユーザが知りたい情報を見易く表示することができないという課題がある。
特許文献１記載の情報表示装置では、例えば、実世界映像にマーカを配置したオブジェクトが多数存在する場合、表示される情報の量が多くなり、情報が煩雑となるだけでなく、実世界映像が見難くなる。
特許文献２記載の情報表示装置では、情報表示の対象となるオブジェクトを制限することができるが、オブジェクトに対する注目度がユーザ視点のディスプレイへの接近度に対応しない場合、情報の過不足が発生するおそれがある。
本発明の目的は、実世界映像に映し出されたオブジェクトに関する情報のうちユーザが知りたい情報を、見易く表示することができる情報表示装置および情報表示方法を提供することである。
本発明の情報表示装置は、実世界映像を入力する映像入力部と、入力された前記実世界映像に映し出されるオブジェクトと前記実世界映像の視点との間の距離を取得する距離取得部と、前記オブジェクトに関する情報と前記実世界映像とを重畳した映像を出力するオブジェクト重畳部と、前記オブジェクト重畳部が表示する前記情報を制御する情報出力制御部とを有し、前記情報出力制御部は、取得された前記距離に応じて、前記オブジェクト重畳部が出力する前記情報の提示の仕方を決定する。
本発明の情報表示方法は、実世界映像を入力するステップと、入力された前記実世界映像に映し出されるオブジェクトと前記実世界映像の視点との間の距離を取得するステップと、取得された前記距離に応じて、前記オブジェクトに関する情報の提示の仕方を決定するステップと、決定された提示の仕方で提示されるように、前記情報と前記実世界映像とを重畳して出力するステップとを有する。
本発明によれば、実世界映像の視点とオブジェクトとの間の距離に応じた提示の仕方で、オブジェクトに関する情報を提示するため、オブジェクトに関する情報のうちユーザが知りたい情報を、見易く提示することが可能となる。
従来の情報表示装置の構成を示す第１の図 従来の情報表示装置による入力映像の一例を示す図 従来の情報表示装置による情報重畳映像の一例を示す図 従来の情報表示装置の構成を示す第２の図 本発明の実施の形態１に係る情報表示装置の外観図 実施の形態１に係る情報表示装置の構成を示すブロック図 実施の形態１におけるオブジェクト情報テーブルの内容の一例を示す図 実施の形態１における表示情報決定ルールの内容の一例を示す図 実施の形態１に係る情報表示装置の動作を示すフローチャート 実施の形態１における入力映像の一例を示す図 実施の形態１における情報重畳映像の一例を示す図 本発明の実施の形態２に係る情報表示装置の構成を示すブロック図 実施の形態２における情報表示装置の動作を示すフローチャート 実施の形態２におけるＩｎｆｏモードにてズーム操作が行われたときの表示映像の変化の一例を示す図 実施の形態２におけるＰｈｏｔｏ＋Ｉｎｆｏモードにてズーム操作が行われたときの表示映像の変化の一例を示す図 実施の形態２におけるＰｈｏｔｏ＋Ｉｎｆｏモードにて絞り操作が行われたときの表示映像の変化の一例を示す図 Ｉｎｆｏモードにてフォーカスロック操作が行われたときの、表示映像の変化の一例を示す図 本発明の実施の形態３に係る情報表示装置の構成を示すブロック図 本発明の実施の形態４に係る情報表示装置の構成を示すブロック図 実施の形態４におけるＰｈｏｔｏ＋Ｉｎｆｏモードにてタッチ操作が行われたときの表示映像の変化の一例を示す図 本発明の実施の形態５に係る情報表示装置の構成を示すブロック図 実施の形態５におけるオブジェクト情報テーブルの内容の一例を示す図 実施の形態５におけるＰｈｏｔｏ＋Ｉｎｆｏモードにてタッチ操作が行われたときの表示映像の変化の一例を示す図
以下、本発明の各実施の形態について、図面を参照して詳細に説明する。
（実施の形態１）
本発明の実施の形態１は、実世界映像を表示しながら撮影操作を待機するデジタルスチルカメラに本発明を適用した例である。まず、本発明の実施の形態１に係る情報表示装置の操作インタフェースの概要について説明する。
図５は、本実施の形態に係る情報表示装置の外観図である。図５は、操作状態における情報表示装置を、上方から見たときの平面図である。
図５において、情報表示装置１００は、薄い直方体の本体部２００と、本体部２００の外側に配置された映像入力部３００、映像表示部４００、および操作インタフェース部５００とを有する。操作インタフェース部５００は、操作入力部５１０およびモード切替入力部５２０を有する。
映像入力部３００は、レンズ、シャッター、および撮像素子（いずれも図示せず）を有し、実世界映像を入力する。映像入力部３００は、フォーカス、絞り、およびズームを操作可能な構成となっている。
映像表示部４００は、例えば液晶ディスプレイ（図示せず）を有し、画像および映像の表示を行う。
本体部２００は、映像入力部３００が入力した実世界映像の、映像表示部４００への表示および撮影を行う。また、本体部２００は、実世界画像とその実世界映像に映し出されるオブジェクト情報とを重畳した情報重畳映像を、映像表示部４００に表示する。このと
き、本体部２００は、実世界映像の視点（情報表示装置１００の位置）とオブジェクトとの間の距離を取得し、取得した距離に応じて、表示するオブジェクト情報の提示の仕方を決定する。
操作入力部５１０は、ユーザ操作を受け付け、受け付けたユーザ操作を、本体部２００が入力する実世界映像と、表示されるオブジェクト情報とに反映させる。操作入力部５１０は、レバー５１１およびボタン５１２を有する。レバー５１１は、ボタン５１２を中心として弧状に回転させることが可能なノブである。ボタン５１２は、半押しおよび全押しの２段階の押下が可能となっている。
モード切替入力部５２０は、スイッチ５２１と、スイッチ５２１を３箇所の係止位置間でスライドさせるスライド部５２２とを有し、本体部２００の動作が異なる３つのモードに対するユーザからの切り替え操作を受け付ける。本実施の形態においては、１つ目のモードは、実世界映像のみを表示するモード（以下「Ｐｈｏｔｏモード」という）である。２つ目のモードは、オブジェクト情報のみを表示するモード（以下「Ｉｎｆｏモード」という）である。３つ目のモードは、実世界映像とオブジェクト情報とを重畳した映像を表示するモード（以下「Ｐｈｏｔｏ＋Ｉｎｆｏモード」という）である。
次に、情報表示装置１００の構成について説明する。
図６は、情報表示装置１００の構成を示すブロック図である。図５と同一部分には、同一符号を付し、これについての説明を適宜省略する。
図６において、情報表示装置１００は、操作入力部５１０、モード切替入力部５２０、動作制御部６１０、レンズ制御部６２０、映像入力部３００、映像認識部６３０、自位置姿勢算出部６４０、距離取得部６５０、オブジェクト測位部６６０、端末通信部６７０、オブジェクト情報検索部６８０、情報出力制御部６９０、情報位置決定部７００、オブジェクト重畳部７１０、および映像表示部４００を有する。
操作入力部５１０は、ユーザ操作の内容を示す情報（以下「操作情報」という）を、動作制御部６１０へ出力する。
モード切替入力部５２０は、設定されているモードを示す情報（以下「モード情報」という）を、動作制御部６１０へ出力する。
動作制御部６１０は、入力されたモード情報に応じて、レンズ制御部６２０、情報出力制御部６９０、およびオブジェクト重畳部７１０の動作を制御する。
具体的には、動作制御部６１０は、Ｐｈｏｔｏモードのとき、レンズ制御部６２０に対して操作情報を出力する一方で、情報出力制御部６９０の動作を停止させ、オブジェクト重畳部７１０に対して実世界映像のみの表示を行わせる。また、動作制御部６１０は、Ｐｈｏｔｏ＋Ｉｎｆｏモードのとき、レンズ制御部６２０に対して操作情報を出力し、かつ情報出力制御部６９０を動作させ、オブジェクト重畳部７１０に対して情報重畳映像の表示を行わせる。また、動作制御部６１０は、Ｉｎｆｏモードのとき、レンズ制御部６２０の動作を停止させ、かつ情報出力制御部６９０の動作を停止させ、オブジェクト重畳部７１０に対して表示中の情報重畳映像を固定表示させる。
レンズ制御部６２０は、映像入力部３００のレンズを制御する。具体的には、レンズ制御部６２０は、入力される操作情報に応じて、映像入力部３００が入力する実世界映像のズームの倍率、フォーカス位置、および絞り値を制御する。
映像入力部３００は、入力した実世界映像（以下「入力映像」という）を、映像認識部６３０、情報位置決定部７００、およびオブジェクト重畳部７１０へ出力する。また、映像入力部３００は、レンズの合焦点（以下「フォーカス点」という）を示す情報を、映像認識部６３０およびオブジェクト重畳部７１０へ出力する。
映像認識部６３０は、入力映像に映し出されるオブジェクトを認識する。具体的には、映像認識部６３０は、入力映像に対してパタンマッチング処理等の画像認識処理を行い、建物や看板等のオブジェクトが映し出されている入力映像上の領域（以下「オブジェクト領域」という）を抽出する。そして、映像認識部６３０は、抽出したオブジェクト領域の入力映像上の位置を示す情報（以下「領域情報」という）を、距離取得部６５０、オブジェクト測位部６６０、および情報位置決定部７００へ出力する。
なお、映像認識部６３０は、オブジェクト領域が複数存在する場合には、後段の処理をオブジェクトごとに行うために、領域情報のそれぞれに識別情報を付加し、出力することが望ましい。
自位置姿勢算出部６４０は、実世界映像が入力される時点の、情報表示装置１００の位置および姿勢を算出する。具体的には、自位置姿勢算出部６４０は、角速度センサおよびＧＰＳ（global positioning system）センサ等を用いて、映像入力部３００の視点の位置および光軸方向を算出する。そして、自位置姿勢算出部６４０は、算出結果（以下「位置姿勢情報」という）を、距離取得部６５０およびオブジェクト測位部６６０へ出力する。
距離取得部６５０は、入力映像の視点から映像認識部６３０により認識されたオブジェクトまでの水平距離（以下「オブジェクト距離」という）を取得する。
具体的には、距離取得部６５０は、レーザ式の測距センサ等を用いて、映像認識部６３０から各オブジェクトの領域情報に対応する各オブジェクトまでの実距離を、それぞれ測定する。そして、距離取得部６５０は、測定された実距離を、位置姿勢情報から算出されるオブジェクトの方向の仰角に基づいて水平距離に換算し、オブジェクト距離として、オブジェクト測位部６６０および情報出力制御部６９０へ出力する。なお、地面の傾斜が大きい地域での用途等、用途によっては、オブジェクト距離は、水平距離ではなく実距離をそのまま採用してもよい。
オブジェクト測位部６６０は、自位置姿勢算出部６４０からの位置姿勢情報、映像認識部６３０からの領域情報、および距離取得部６５０からのオブジェクト距離を取得する。次に、オブジェクト測位部６６０は、取得した情報から入力映像に映し出されたオブジェクトの実世界における位置（以下単に「オブジェクトの位置」という）を測定する。更に、オブジェクト測位部６６０は、測定結果を、緯度と経度とによって示す情報（以下「緯度経度情報」という）を、オブジェクト情報検索部６８０および情報出力制御部６９０へ出力する。
端末通信部６７０は、インターネット等の通信ネットワーク７２０を介して、オブジェクト情報データベース（ＤＢ）７３０を備えた情報サーバ７４０と、通信を行う。オブジェクト情報データベース７３０は、オブジェクトの位置に対応付けて、各種オブジェクト情報をオブジェクト情報ごとに蓄積したオブジェクト情報テーブルを予め格納している。
図７は、オブジェクト情報データベース７３０が格納するオブジェクト情報テーブルの内容の一例を示す図である。
図７に示すように、オブジェクト情報テーブル８１０は、オブジェクトのＩＤ８１１およびオブジェクトの位置８１２に対応付けて、詳細度の異なるレベル１〜レベル４のオブジェクト情報８１３〜８１６を記述している。上述の情報サーバ７４０は、位置８１２をインデックスとして、オブジェクト情報テーブル８１０から、対応するＩＤ８１１およびレベル１〜レベル４のオブジェクト情報８１３〜８１６を取得することが可能となっている。
レベル１のオブジェクト情報８１３は、施設種別を示す記号である。レベル２のオブジェクト情報８１４は、施設の名称である。レベル３のオブジェクト情報８１５は、施設のトピック情報である。また、レベル４のオブジェクト情報８１６は、施設の詳細情報である。すなわち、レベル１〜レベル４のオブジェクト情報８１３〜８１６は、この順に、情報の詳細度が高くなっている。
例えば、「緯度：ｘｘｘ１、経度：ｘｘｘ２」という位置に存在するオブジェクトには、施設種別として「Ｂ」が、施設名称として「Ｘタワー」が、それぞれ対応付けられている。また、「緯度：ｘｘｘ１、経度：ｘｘｘ２」という位置に存在するオブジェクトには、更に、トピックス情報と詳細情報がそれぞれ対応付けられている。具体的には、トピック情報として「吹き抜けに雪が降るイベント開催中」が、詳細情報として「１３：００、１５：００、１７：００に降雪・・・」が、それぞれ対応付けられている。したがって、「緯度：ｘｘｘ１、経度：ｘｘｘ２」という緯度経度情報を検索キーとした場合は、これらのオブジェクト情報が検索されることになる。
図６のオブジェクト情報検索部６８０は、オブジェクトの位置を示す緯度経度情報を検索キーとして、オブジェクト情報を検索する。
具体的には、オブジェクト情報検索部６８０は、端末通信部６７０を介して、入力された緯度経度情報を、オブジェクト情報データベース７３０に対する検索クエリとして、情報サーバ７４０へ送信する。そして、オブジェクト情報検索部６８０は、情報サーバ７４０から返信されたオブジェクト情報を、情報出力制御部６９０へ出力する。ここで返信されるオブジェクト情報は、ＩＤ８１１およびレベル１〜レベル４のオブジェクト情報８１３〜８１６の全てとする。なお、情報表示装置１００が先に表示対象となるオブジェクト情報の詳細度のレベルを決定する場合には、オブジェクト情報検索部６８０は、そのレベルのオブジェクト情報のみを検索して取得するようにしてもよい。
情報出力制御部６９０は、オブジェクト距離に応じて、オブジェクト情報の提示の仕方を制御する。
具体的には、情報出力制御部６９０は、表示情報決定ルールを予め格納し、この表示情報決定ルールに従って、表示対象となるオブジェクトに関するオブジェクト情報、および表示対象となる情報量の異なるオブジェク情報を決定する。すなわち、情報出力制御部６９０は、表示対象として、オブジェクトと、情報量の程度とを決定する。そして、情報出力制御部６９０は、表示対象とすることを決定したオブジェクト情報（以下「表示オブジェクト情報」という）を、情報位置決定部７００およびオブジェクト重畳部７１０へ出力する。ここでは、表示情報決定ルールは、オブジェクト距離がより短いオブジェクトほど、より詳細度のレベルが高いオブジェクト情報を表示対象として決定することを規定するものとする。
図８は、表示情報決定ルールの内容の一例を示す図である。
図８に示すように、表示情報決定ルール８２０は、オブジェクト距離８２１の範囲ごとに、オブジェクト情報の表示非表示と、表示する場合のオブジェクト情報のレベルとを、決定内容８２２として規定する。例えば、「３００ｍ以上かつ４００ｍ未満」というオブジェクト距離８２１には、「レベル１」という決定内容８２２が規定されている。これは、オブジェクト距離が３００ｍ以上かつ４００ｍ未満の場合には、レベル１のオブジェクト情報（ここでは施設種別を示す記号）を、表示オブジェクト情報に決定することを意味する。また、表示情報決定ルール８２０は、ある範囲内において、オブジェクト距離８２１がより短いほど、より詳細度のレベルが高いオブジェクト情報を対応付けている。したがって、表示情報決定ルール８２０に従うことにより、表示されるオブジェクト情報は、オブジェクト距離がより短いほど、より詳細な内容となる。
図６の情報位置決定部７００は、入力映像の奥行き方向を検出し、検出した奥行き方向に揃うように、各表示オブジェクト情報の表示位置を決定する。次に、情報位置決定部７００は、決定結果（以下「表示レイアウト情報」という）を、オブジェクト重畳部７１０へ出力する。具体的には、情報位置決定部７００は、入力映像に含まれる直線成分から消失点を検出する。そして、情報位置決定部７００は、消失点、領域情報、および表示オブジェクト情報に基づいて、消失点から放射状に伸びる線分に沿うように、かつ、オブジェクト領域と重ならないように、各表示オブジェクト情報の表示位置を決定する。
なお、情報位置決定部７００は、複数のオブジェクト領域の縁を結ぶ線に沿うように、各表示オブジェクト情報の表示位置を決定するようにしてもよい。これにより、情報位置決定部７００は、オブジェクト領域と重ならないように、かつ、オブジェクトの実世界での配置関係に対応させた状態で、簡単に各表示オブジェクト情報の表示位置を決定することができる。
オブジェクト重畳部７１０は、入力映像上に表示レイアウト情報が示す位置に表示オブジェクト情報を配置した情報重畳映像を表示する映像データを生成し、生成した映像データを、映像表示部４００へ出力する。具体的には、オブジェクト重畳部７１０は、Ｐｈｏｔｏモードのときには、入力映像のみを表示する映像データを生成し、Ｉｎｆｏモードのとき、またはＰｈｏｔｏ＋Ｉｎｆｏモードのときには、情報重畳映像を表示する映像データを生成する。
映像表示部４００は、オブジェクト重畳部７１０で生成された映像データを、映像化して液晶ディスプレイに表示する。
情報表示装置１００は、例えば、ＣＰＵ（central processing unit）、制御プログラムを格納したＲＯＭ（read only memory）等の記憶媒体、ＲＡＭ（random access memory）等の作業用メモリ等を有する。この場合には、上記各部の機能は、ＣＰＵが制御プログラムを実行することで実現される。
このような情報表示装置１００によれば、オブジェクトに関する情報を、入力映像の視点とオブジェクトとの間の距離に応じた情報の提示の仕方で、入力映像に重畳して表示することができる。
次に、以上説明した構成を有する情報表示装置１００の動作について説明する。ここでは、Ｐｈｏｔｏ＋Ｉｎｆｏモードにおける動作について説明する。
図９は、情報表示装置１００の動作を示すフローチャートである。
まず、ステップＳ１０１０において、映像入力部３００は、実世界映像を入力し、入力
映像を、映像認識部６３０、情報位置決定部７００、およびオブジェクト重畳部７１０へ送る。
図１０は、映像入力部３００が入力する入力映像の一例を示す図である。ここでは、図１０に示すように、入力映像８３０には、道路８３１に沿って手前側から順に位置する第１〜第３のオブジェクト８３２−１〜８３２−３が映し出されているものとする。第１〜第３のオブジェクト８３２−１〜８３２−３は、異なる施設の建物である。
そして、図９のステップＳ１０２０において、映像認識部６３０は、入力映像から一つ以上のオブジェクト領域を抽出および識別する。例えば、映像認識部６３０は、図１０に示す入力映像８３０から、第１〜第３のオブジェクト８３２−１〜８３２−３のそれぞれのオブジェクト領域として、第１〜第３のオブジェクト領域８３３−１〜８３３−３を抽出および識別する。そして、映像認識部６３０は、識別したオブジェクト領域から、その全てまたは任意のオブジェクト領域を、処理対象として選択する。
映像認識部６３０は、例えば、予め設定された閾値の数の範囲内で、認識率の高いオブジェクト領域を優先して選択したり、焦点が合っているオブジェクト領域およびその前後のある範囲に含まれるオブジェクト領域のみを選択する。認識率とは、例えば、一つの映像の中に１００のオブジェクト領域が抽出される場合に、それらを均等に扱うのではなく、優先順位に従って処理するために、オブジェクト領域の特徴に基づくオブジェクト領域の確からしさを示す指標をいう。オブジェクト領域の特徴は、例えば、背景とオブジェクトの境界の画素値の傾斜の急峻度、または、オブジェクト領域内の画素値が高い尾根の部分（エッジ）が囲んでいる領域の面積の大きさ等である。このように、実際に処理対象とするオブジェクト領域を制限することにより、後段の処理負荷を軽減することができる。
そして、ステップＳ１０３０において、映像認識部６３０は、処理対象として選択したオブジェクト領域の中から１つのオブジェクト領域を選択する。そして、映像認識部６３０は、選択したオブジェクト領域の領域情報を、距離取得部６５０、オブジェクト測位部６６０、および情報位置決定部７００へ送る。
そして、ステップＳ１０４０において、距離取得部６５０は、自位置姿勢算出部６４０および映像認識部６３０から入力される情報に基づいて、選択されているオブジェクトのオブジェクト距離を算出する。そして、距離取得部６５０は、算出したオブジェクト距離を、オブジェクト測位部６６０および情報出力制御部６９０へ送る。
具体的には、まず、自位置姿勢算出部６４０は、角速度センサおよびＧＰＳセンサ等を用いて算出した、映像入力部３００の視点の位置および光軸方向を、位置姿勢情報として生成し、距離取得部６５０およびオブジェクト測位部６６０へ送る。そして、距離取得部６５０は、レーザ式の測距センサ等を用いて、映像認識部６３０からの領域情報に基づいて、各オブジェクトまでの実距離をそれぞれ測定する。そして、距離取得部６５０は、測定された実距離を、位置姿勢情報から算出されるオブジェクトの方向の仰角に基づいて水平距離に換算し、オブジェクト距離として出力する。
そして、ステップＳ１０５０において、オブジェクト測位部６６０は、位置姿勢情報と、位置姿勢情報から算出されるオブジェクトの方向の方位と、オブジェクト距離とを用いて、オブジェクト領域に対応するオブジェクトの位置を算出する。次に、オブジェクト測位部６６０は、算出したオブジェクトの位置の緯度経度情報を、オブジェクト情報検索部６８０および情報出力制御部６９０へ送る。
そして、ステップＳ１０６０において、オブジェクト情報検索部６８０は、緯度経度情
報を検索キーとする検索クエリを情報サーバ７４０へ送り、対応するオブジェクト情報を取得する。そして、オブジェクト情報検索部６８０は、取得したオブジェクト情報を、情報出力制御部６９０へ送る。
そして、ステップＳ１０７０において、情報出力制御部６９０は、表示対象となるオブジェクト（以下「表示オブジェクト」という）を決定する。情報出力制御部６９０は、例えば、取得したオブジェクト情報の全てや、焦点が合っているオブジェクト領域に対応するオブジェクト、または、その周辺範囲に含まれるオブジェクト領域に対応するオブジェクト等を決定する。また、情報出力制御部６９０は、例えば、表示の対象となるオブジェクトの属性（ホテル、百貨店等）が指定されている場合には、指定された属性に該当するオブジェクトを表示オブジェクトに決定してもよい。
そして、ステップＳ１０８０において、情報出力制御部６９０は、上述の表示情報決定ルールを用いて、オブジェクト距離がより短いほどより詳細度のレベルがより高くなるように、情報量を決定する。ここで決定される情報量は、表示オブジェクトのオブジェクト情報を提示する際の情報量である。
そして、情報出力制御部６９０は、決定した表示オブジェクトと、決定した情報量に該当するオブジェクト情報を、表示オブジェクト情報として、情報位置決定部７００およびオブジェクト重畳部７１０へ送る。
そして、ステップＳ１０９０において、情報位置決定部７００は、複数のオブジェクト領域の配置パタンや、入力映像に含まれる直線成分から、入力映像の奥行きを表す線分を算出する。
そして、ステップＳ１１００において、情報位置決定部７００は、ステップＳ１０９０において算出した線分に基づいて表示レイアウトを決定し、表示レイアウト情報をオブジェクト重畳部７１０へ送る。
そして、ステップＳ１１１０において、オブジェクト重畳部７１０は、表示レイアウト情報に従って表示オブジェクト情報を配置した情報重畳映像の映像データを生成する。
そして、ステップＳ１１２０において、映像認識部６３０は、ステップＳ１０２０において処理対象として選択されたオブジェクト領域のうち、未処理のオブジェクト領域が残っているか否かを判断する。映像認識部６３０は、未処理のオブジェクト領域が残っている場合には（Ｓ１１２０：ＹＥＳ）、ステップＳ１０３０へ戻り、未処理のオブジェクト領域を選択して、ステップＳ１０３０〜Ｓ１１１０の処理を実行する。この結果、複数の表示オブジェクト情報が存在する場合には、ステップＳ１１１０において、複数のオブジェクト情報が重畳された映像データが生成される。また、映像認識部６３０は、未処理のオブジェクト領域が残っていない場合には（Ｓ１１２０：ＮＯ）、ステップＳ１１３０へ進む。
ステップＳ１１３０において、オブジェクト重畳部７１０は、生成した映像データを、映像表示部４００に出力し、情報重畳映像を表示させる。
そして、ステップＳ１１４０において、情報表示装置１００は、ユーザ操作等（例えば、Ｐｈｏｔｏモードに切り替えられる操作等）により情報重畳映像の表示の停止を指示されたか否かを判断する。情報表示装置１００は、情報重畳映像の表示の停止を指示されていない場合には（Ｓ１１４０：ＮＯ）、ステップＳ１０１０へ戻り、情報重畳映像の表示の停止を指示された場合には（Ｓ１１４０：ＹＥＳ）、一連の処理を終了する。
図１１は、映像表示部４００が表示する情報重畳映像の一例を示す図である。ここでは、図７に示すオブジェクト情報テーブル８１０および図８に示す表示情報決定ルール８２０に基づいて、図１０に示す入力映像に対応して表示される情報重畳映像を示す。また、図１０に示す第１〜第３のオブジェクト８３２−１〜８３２−３が、それぞれ、図７に示すＩＤ「００１」、ＩＤ「００２」、ＩＤ「００３」に該当するオブジェクトであるものとする。
ここでは、第１〜第３のオブジェクト８３２−１〜８３２−３のそれぞれのオブジェクト距離は、１５０ｍ、２５０ｍ、３５０ｍであるものとする。この場合、第１〜第３のオブジェクト領域８３３−１〜８３３−３に対して、レベル３（トピック情報）、レベル２（施設名称）、レベル１（施設種別を示す記号）のオブジェクト情報のレベルが、それぞれ決定される。そして、第１〜第３のオブジェクト領域８３３−１〜８３３−３に対して、順に、ＩＤ「００１」のレベル３のオブジェクト情報、ＩＤ「００２」のレベル２のオブジェクト情報、ＩＤ「００３」のレベル１のオブジェクト情報が、表示オブジェクト情報として決定される。
図１１に示すように、情報重畳映像８４０では、入力映像８３０に、第１〜第３のオブジェクト領域８３３−１〜８３３−３に対応する第１〜第３のオブジェクト情報８４１−１〜８４１−３が、重ねて描画される。また、第１〜第３のオブジェクト情報８４１−１〜８４１−３は、入力画像の奥行きを示す線分８４２（実際には表示されない）に沿って、かつ、第１〜第３のオブジェクト情報８４１−１〜８４１−３と重ならないように、配置される。
また、第１〜第３のオブジェクト情報８４１−１〜８４１−３の内容は、入力画像８３０の視点により近いほど、つまり、より手前側ほど、詳細な内容となる。具体的には、例えば、最も手前側の第１のオブジェクト情報８４１−１の情報量は、２０文字と多く、遠方の第３のオブジェクト情報８４１−３の情報量は、１文字と少ない。
ユーザは、移動しながら逐次の情報取得を行う場合、通常、施設に立ち寄るか否か等の判断を、より近くに位置する施設に対して先に行う。このため、ユーザは、より近くに位置する施設に関する情報については詳細に知りたいと考える。また、遠くに位置する施設に関しては、なんらかの情報が表示されると、進む方面の決定等に便利である。一方で、遠くに位置する施設に関する情報も詳細に表示されると、ユーザが詳しく知りたいと望む情報や入力画像が見難くなる。
したがって、図１１に示すような情報重畳映像によれば、ユーザが知りたい情報をユーザに対して見易く表示することができ、ユーザの移動や行動をより適切に支援することができる。
なお、情報表示装置１００は、入力映像に映し出されるオブジェクトの像が連続的に移動する場合は、オブジェクト領域の画像を追尾して、表示中のオブジェクト情報を画面上で移動させるようにするようにしてもよい。このようにすることにより、情報表示装置１００は、ステップ１０２０〜Ｓ１０７０の処理を省略し、処理負荷を軽減することができる。
また、情報表示装置１００は、オブジェクトが建物等の固定物の場合には、位置姿勢情報の変化に基づいて、オブジェクト領域、オブジェクト距離、奥行きを示す線分を再計算することができる。このことにより、情報表示装置１００は、ステップＳ１０８０〜Ｓ１１００の処理を簡略化し、処理負荷を軽減することができる。
また、オブジェクト領域が複数存在する場合には、情報表示装置１００は、ステップＳ１０３０〜Ｓ１１１０を一括でまとめて処理してもよい。
また、情報表示装置１００は、ステップＳ１０３０〜Ｓ１０８０の処理とステップＳ１０９０の処理等の、同時並行で行うことができる複数の処理を、同時並行で行うようにしてもよい。
以上説明したように、本実施の形態に係る情報表示装置１００は、オブジェクトに関する情報を、実世界映像の視点とオブジェクトとの間の距離に応じた情報量で、実世界映像に重畳して表示することができる。すなわち、本実施の形態に係る情報表示装置１００は、情報表示装置１００を携帯するユーザからオブジェクトまでの距離に応じて、オブジェクト情報の提示の仕方を変えながら実世界映像との重畳表示を行う。
これにより、本実施の形態に係る情報表示装置１００は、近いオブジェクトの情報は多く、遠いオブジェクトの情報は少なく、奥行きに合わせた表示を行うことができる。したがって、本実施の形態に係る情報表示装置１００は、表示情報が多すぎて混乱しないように表示することができ、ユーザが知りたい情報を見易く表示することが可能となる。
なお、本実施の形態に係る情報表示装置１００は、緯度経度情報の取得や、オブジェクトの特定またはオブジェクト情報の特定を、特許文献１記載の手法等、他の手法を用いて行うようにしてもよい。
（実施の形態２）
本発明の実施の形態２は、表示されるオブジェクト情報をユーザ操作に基づいて変化させるようにした例である。
カメラのユーザは、入力映像に映し出されたあるオブジェクトに注目したとき、そのオブジェクトに対するズーム操作、フォーカス操作、絞り操作、およびフォーカスロック操作等を行うことが多い。逆にいうと、これらの操作の対象となったオブジェクトは、ユーザがより詳細な情報を望むオブジェクトである可能性が高い。
そこで、本実施の形態に係る情報表示装置は、操作入力部５１０におけるユーザ操作を、入力される実世界映像に反映させ（映像のズームやフォーカス等）、かつ、その実世界映像に連動してオブジェクト情報を変化させる。
まず、本実施の形態に係る情報表示装置の構成について説明する。
図１２は、本実施の形態に係る情報表示装置の構成を示すブロック図であり、実施の形態１の図６に対応するものである。図６と同一部分には、同一符号を付し、これについての説明を省略する。
図１２において、本実施の形態に係る情報表示装置１００ａは、図６の動作制御部６１０、映像認識部６３０、情報出力制御部６９０、およびオブジェクト重畳部７１０に替えて、これらとは異なる動作制御部６１０ａ、映像認識部６３０ａ、情報出力制御部６９０ａ、およびオブジェクト重畳部７１０ａを有する。
動作制御部６１０ａは、モード切替入力部５２０に設定されているモードに応じて、操作入力部５１０におけるユーザ操作を、入力される実世界映像と表示されるオブジェクト情報にどのように反映させるかを制御する。
具体的には、動作制御部６１０は、Ｐｈｏｔｏモードのとき、ユーザ操作を入力映像に反映させ、Ｐｈｏｔｏ＋Ｉｎｆｏモードのとき、更に、表示されるオブジェクト情報を入力映像に連動して変化させる。また、動作制御部６１０は、Ｉｎｆｏモードのとき、ユーザ操作を表示されるオブジェクト情報にのみ反映させ、入力映像（つまりレンズ制御）には反映させない。
映像認識部６３０ａは、入力映像に映し出されるオブジェクトを認識するとともに、フォーカス点が位置するオブジェクトのオブジェクト領域、またはその周辺のオブジェクトを含むオブジェクト領域を選択し、対応する領域情報を出力する。具体的には、映像認識部６３０ａは、被写界深度の範囲内に位置しており焦点が合っているオブジェクトのオブジェクト領域を選択する。すなわち、映像認識部６３０ａは、ズーム操作、フォーカス操作、および絞り操作によって、オブジェクト情報を表示させるオブジェクトに対するユーザの選択を受け付けることができるようになっている。
情報出力制御部６９０ａは、オブジェクト距離に応じて、表示するオブジェクト情報とその情報量とを制御する。また、情報出力制御部６９０ａは、絞り操作が行われたとき、被写界深度の範囲内に位置するオブジェクトを表示対象と決定し、ズーム操作が行われたとき、ズームの倍率に応じて、表示するオブジェクト情報を制御する。
オブジェクト重畳部７１０ａは、表示レイアウト情報に従って表示オブジェクト情報を配置し、かつ、フォーカス位置を示すアイコンを重畳した情報重畳映像の映像データを生成する。また、オブジェクト重畳部７１０ａは、フォーカスロック操作が行われたとき、表示中のオブジェクト情報の表示形態を切り替える。
また、動作制御部６１０ａは、情報表示装置１００ａに設けた絞り調節部（例えば、操作入力部５１０のレバー５１１を用いる）により、映像入力部３００の絞り操作が行われたとき、これを検出し、絞り操作の内容を示す操作情報を生成する。
次に、情報表示装置１００ａの動作について説明する。
図１３は、情報表示装置１００ａの動作を示すフローチャートであり、実施の形態１の図９に対応するものである。図９と同一部分には、同一ステップ番号を付し、これについての説明を省略する。
実世界映像が入力されると（Ｓ１０１０）、ステップＳ２０１０において、動作制御部６１０ａは、操作入力部５１０から操作情報が入力されたか否かを判断する。動作制御部６１０ａは、操作情報が入力された場合には（Ｓ２０１０：ＹＥＳ）、ステップＳ２０２０へ進み、操作情報が入力されていない場合には（Ｓ２０１０：ＮＯ）、図９のステップＳ１０２０へ進む。操作情報は、例えば、操作入力部５１０のレバー５１１を右に３０度動かしたことを示す情報である。
ステップＳ２０２０において、動作制御部６１０ａは、Ｐｈｏｔｏ＋ＩｎｆｏモードまたはＰｈｏｔｏモードか否か、つまり、レンズ制御を行うモードか否かを判断する。動作制御部６１０ａは、Ｐｈｏｔｏ＋ＩｎｆｏモードまたはＰｈｏｔｏモードである場合には（Ｓ２０２０：ＹＥＳ）、ステップＳ２０３０へ進み、Ｉｎｆｏモードである場合には（Ｓ２０２０：ＮＯ）、ステップＳ２０４０へ進む。
ステップＳ２０４０において、動作制御部６１０ａは、Ｐｈｏｔｏ＋ＩｎｆｏモードまたはＩｎｆｏモードか否か、つまり、オブジェクト情報表示を含むモードか否かを判断す
る。動作制御部６１０ａは、Ｐｈｏｔｏ＋ＩｎｆｏモードまたはＩｎｆｏモードである場合には（Ｓ２０４０：ＹＥＳ）、ステップＳ２０５０へ進み、Ｐｈｏｔｏモードである場合には（Ｓ２０４０：ＮＯ）、図９のステップＳ１０２０へ進む。
ステップＳ２０５０において、動作制御部６１０ａは、入力された操作情報に基づいて、フォーカス操作が行われたかどうかを判断する。動作制御部６１０ａは、フォーカス操作が行われた場合には（Ｓ２０５０：ＹＥＳ）、ステップＳ２０６０へ進み、フォーカス操作が行われていない場合には（Ｓ２０５０：ＮＯ）、ステップＳ２０７０へ進む。
ステップＳ２０６０において、動作制御部６１０ａは、映像認識部６３０ａに対して、フォーカス点の合焦距離を示す合焦距離情報を取得させ、ステップＳ２０７０へ進む。映像認識部６３０ａは、例えば、レンズのズーム値およびフォーカス値を取得し、これらの値と合焦距離とを予め対応付けて記述した距離テーブルを参照することにより、合焦位置情報を取得する。
ステップＳ２０７０において、動作制御部６１０ａは、入力された操作情報に基づいて、絞り操作が行われたかどうかを判断する。動作制御部６１０ａは、絞り操作が行われた場合には（Ｓ２０７０：ＹＥＳ）、ステップＳ２０８０へ進み、絞り操作が行われていない場合には（Ｓ２０７０：ＮＯ）、ステップＳ２０９０へ進む。
ステップＳ２０８０において、動作制御部６１０ａは、情報出力制御部６９０ａに対して、レンズの被写界深度を示す被写界深度情報を取得させ、ステップＳ２０９０へ進む。情報出力制御部６９０ａは、例えば、レンズのズーム値、フォーカス値、および絞り値を取得し、これらの値と被写界深度とを予め対応付けて記述した被写界深度テーブルを参照することにより、被写界深度情報を取得する。
ステップＳ２０９０において、動作制御部６１０ａは、入力された操作情報に基づいて、ズーム操作が行われたかどうかを判断する。動作制御部６１０ａは、ズーム操作が行われた場合には（Ｓ２０９０：ＹＥＳ）、ステップＳ２１００へ進み、ズーム操作が行われていない場合には（Ｓ２０９０：ＮＯ）、ステップＳ２１１０へ進む。
ステップＳ２１００において、動作制御部６１０ａは、情報出力制御部６９０ａに対して、ズーム倍率を示す倍率情報を取得させ、ステップＳ２１１０へ進む。情報出力制御部６９０ａは、例えば、レンズのズーム値を取得し、この値とズーム倍率とを予め対応付けて記述した倍率テーブルを参照することにより、倍率情報を取得する。
ステップＳ２１１０において、動作制御部６１０ａは、入力された操作情報に基づいて、フォーカスロック操作が行われたかどうかを判断する。動作制御部６１０ａは、フォーカスロック操作が行われた場合には（Ｓ２１１０：ＹＥＳ）、ステップＳ２１２０へ進み、フォーカスロック操作が行われていない場合には（Ｓ２１１０：ＮＯ）、図９のステップＳ１０２０へ進む。
ステップＳ２１２０において、動作制御部６１０ａは、オブジェクト重畳部７１０ａに対して、フォーカスロックの対象となったオブジェクトを示す合焦オブジェクト情報を取得させ、図９のステップＳ１０２０へ進む。オブジェクト重畳部７１０ａは、例えば、フォーカス点が位置するオブジェクトの領域情報に基づいて、合焦オブジェクト情報を取得する。
そして、情報表示装置１００ａは、図９のステップ１０２０〜Ｓ１１４０を実行し、情報重畳映像を表示する。但し、各ステップの処理は、上記ステップＳ２０６０、Ｓ２０８
０、Ｓ２１００、Ｓ２１２０における情報取得に応じて、実施の形態１とは異なる内容の処理を行う。実施の形態１とは異なる処理内容について説明する。
ステップＳ１０３０において、映像認識部６３０ａは、ステップＳ２０６０において取得した合焦距離情報に基づいて、フォーカス点またはフォーカス点の周辺のオブジェクト領域を代表する候補点または候補領域を判定する。そして、映像認識部６３０ａは、判定した候補点または候補領域を示すマークを、オブジェクト重畳部７１０ａに表示させる。このマーク表示は、例えば、映像認識部６３０ａがフォーカス点の周辺のオブジェクト領域のみを選択し、情報位置決定部７００が領域情報に基づいてマークの位置を決定し、オブジェクト重畳部７１０ａが決定された位置にマークを重畳する。
そして、映像認識部６３０ａは、候補点または候補領域から、表示可能な情報量や提示の仕方を決定する。例えば、映像認識部６３０ａは、オブジェクト数、オブジェクト領域が全入力映像に占める割合、および全入力映像のうちのオブジェクト領域以外の領域の輝度や色の変化の度合い等に基づいて、表示可能な情報量を含む提示の仕方を決定する。そして、映像認識部６３０ａは、オブジェクト数とそれぞれのオブジェクト情報の情報量とを比較して、提示する情報量が過多にならないように、候補点または候補領域を選択する。オブジェクト情報を表示可能な領域は、オブジェクト領域以外の領域、または、オブジェクト領域以外の領域にオブジェクト領域の一部を加えた領域である。
なお、映像認識部６３０ａは、候補点または候補領域を、ユーザの操作を受けて指定してもよい。その際には、例えば、映像表示部４００がタッチパネル型の入力部を兼ねており、ユーザが触れた領域に応じて選択を受け付ける。また、映像認識部６３０ａは、十字キーなどの他の操作部に対するユーザ操作を受けて、操作する候補点または候補領域の移動、および選択か非選択の決定を行ってもよい。
そして、映像認識部６３０ａは、抽出されたオブジェクト領域の領域情報を、距離取得部６５０、オブジェクト測位部６６０、および情報位置決定部７００へ送り、ステップＳ１０４０へ進む。映像認識部６３０ａは、自動的にあるいはユーザ操作により、候補点または候補領域が選択された場合には、選択された点または領域に該当するオブジェクト領域の領域情報を送る。
また、ステップＳ１０７０において、情報出力制御部６９０ａは、ステップＳ２０８０で取得した被写界深度情報に基づいて、被写界深度の範囲内に位置するオブジェクトに対応するオブジェクト情報を、表示オブジェクト情報に決定する。
この結果、Ｐｈｏｔｏ＋Ｉｎｆｏモードのときには、フォーカス点付近の鮮明に映し出されたオブジェクトのオブジェクト情報が、表示されることになる。
また、ステップＳ１０８０において、情報出力制御部６９０ａは、ステップＳ２１００において取得した倍率情報に基づいて、ズームの倍率がより高いほど詳細度のレベルが高くなるように、表示オブジェクト情報を決定する。例えば、情報出力制御部６９０ａは、ズームの倍率に応じて詳細度のレベルを変更して、表示オブジェクト情報を決定する。具体的には、表示情報決定ルールに規定される詳細度のレベルを、小さなズームアップのときには１つ上げ、大きなズームアップのときには２つ上げる。
この結果、Ｐｈｏｔｏ＋Ｉｎｆｏモードのときには、入力映像に対するズーム操作に連動（同期）してオブジェクト情報の詳細度が変化することになり、Ｉｎｆｏモードのときには、オブジェクト情報の詳細度のみが変化することになる。
また、ステップＳ１１１０において、オブジェクト重畳部７１０ａは、ステップＳ２１２０において取得した合焦オブジェクト情報に基づいて、表示中のオブジェクト情報の表示形態を変更して、入力映像と重畳出力する。例えば、オブジェクト重畳部７１０ａは、表示中のオブジェクト情報の透過度を高くし、入力画像がオブジェクト情報を通して透けて見えるようにする。
この結果、Ｐｈｏｔｏ＋Ｉｎｆｏモードのときには、入力映像に対するフォーカスロック操作に連動（同期）してオブジェクト情報の表示形態が変化することになる。一方、Ｉｎｆｏモードのときには、オブジェクト情報の表示形態のみが変化することになる。
また、Ｐｈｏｔｏモードのときには、情報出力制御部６９０ａの動作は停止しているので、オブジェクト情報の表示は行われないことになる。
なお、図１３に示すフローチャートのうち、同時並行が可能な処理については同時並行で実行するようにしてもよいことは、図９のフローチャートと同様である。
以下、各種操作が行われたときの表示映像の変化の例について説明する。
図１４は、Ｉｎｆｏモードにてズーム操作が行われたときの、表示映像の変化の一例を示す図であり、実施の形態１の図１１に対応するものである。
まず、図１４Ａに示すように、第１のオブジェクト領域８３３−１にフォーカス点８５１が位置し、第１のオブジェクト情報８４１−１のみが表示されているものとする。この状態で、図１４Ｂに示すように、Ｉｎｆｏモードにてズームアップの操作が行われると、図１４Ｃに示すように、入力映像はズームアップされない状態で、第１のオブジェクト情報８４１−１の詳細度のレベルが高くなる。
このように、オブジェクト情報の詳細度のみを操作可能とすることにより、ユーザは、入力画像の状態はそのままで、所望のオブジェクトに関するより詳細な情報を得ることができる。
図１５は、Ｐｈｏｔｏ＋Ｉｎｆｏモードにてズーム操作が行われたときの、表示映像の変化の一例を示す図であり、図１４に対応するものである。
まず、図１５Ａに示すように、第１のオブジェクト領域８３３−１にフォーカス点８５１が位置し、第１のオブジェクト情報８４１−１のみが表示されているものとする。この状態で、図１５Ｂに示すように、Ｐｈｏｔｏ＋Ｉｎｆｏモードにてズームアップの操作が行われると、図１５Ｃに示すように、入力映像はズームアップされる。さらに、図１５Ｃに示すように、入力映像のズームアップと連動する形で、第１のオブジェクト情報８４１−１の詳細度のレベルが高くなる。
このように、通常のズーム操作と連動させてオブジェクト情報の詳細度を変化させることにより、ユーザは、注目するオブジェクトへのズームイン操作という自然な操作で、所望のオブジェクトに関するより詳細な情報を得ることができる。
図１６は、Ｐｈｏｔｏ＋Ｉｎｆｏモードにて絞り操作が行われたときの、表示映像の変化の一例を示す図であり、図１１に対応するものである。
まず、図１６Ａに示すように、第１〜第３のオブジェクト情報８４１−１〜８４１−３が表示されているものとする。この状態で、図１６Ｂに示すように、Ｐｈｏｔｏ＋Ｉｎｆ
ｏモードにて絞りを開放する操作が行われたとする。すると、図１６Ｃに示すように、例えば、フォーカス点８５１の近くに、第１および第２の候補点８５２−１、８５２−２がガイド表示される。そして、最終的な表示は、絞りを開放する操作によって狭められた被写界深度の範囲内に位置する方、つまり、第２の８５２−２に対応するオブジェクト情報８４１−２のみの表示に絞られる。
このように、本実施の形態では、通常の絞り操作と連動（同期）させてオブジェクト情報の詳細度を変化可能とした。これにより、ユーザは、注目するオブジェクトが限定されているときに絞りを開くという自然な操作で、所望のオブジェクトに関するより詳細な情報を得ることができる。また、ユーザは、絞りの調整により、表示されるオブジェクト情報の数を調整することができる。
図１７は、Ｉｎｆｏモードにてフォーカスロック操作が行われたときの、表示映像の変化の一例を示す図であり、図１５に対応するものである。
まず、図１７Ａに示す例は、第１のオブジェクト情報８４１−１のみが表示されているものとする。この状態で、図１７Ｂに示すように、Ｉｎｆｏモードにてフォーカスロックの操作が行われると、図１７Ｃに示すように、第１のオブジェクト情報８４１−１は、透過度５０％となる。
このように、本実施の形態では、通常のフォーカスロック操作と連動させてオブジェクト情報の表示態様を変化させることを可能とした。このことにより、ユーザは、そのオブジェクトに対してフォーカスロックされたことをより確実に知ることができる。また、透過させる場合には、ユーザは、オブジェクト情報を確認しながら、入力画像の全体を視認することができる。
このように、本実施の形態に係る情報表示装置１００ａは、表示対象となるオブジェクト情報や、表示されるオブジェクト情報の詳細度を、ユーザが簡単に選択することを可能にする。また、本実施の形態に係る情報表示装置１００ａは、表示されるオブジェクト情報を、入力映像に対する操作、つまり通常のカメラ操作に連動させて変化させるか、独立して操作可能とするかを、ユーザが任意に選択することを可能にする。したがって、本実施の形態に係る情報表示装置１００ａは、実世界映像のオブジェクト情報のうち、ユーザが知りたい情報を、より一層見易く、かつ、より一層的確に表示することができる。また、本実施の形態に係る情報表示装置１００ａは、所望の複数のオブジェクトについてのオブジェクト情報を簡単に表示することができる。すなわち、本実施の形態に係る情報表示装置１００ａは、ユーザが知りたい対象およびユーザが求める情報量に対する直感的な制御を実現することができ、ユーザが簡単な操作で見たい情報だけを、適切な情報量で提供することができる。
なお、本実施の形態に係る情報表示装置１００ａの操作入力部５１０における具体的な操作内容と、ズーム等の内部的な調整内容との対応関係は、特定のものに限定されない。また、オブジェクト情報の詳細度は、連続的に変化可能としてもよい。特に、操作入力部５１０が、時間長さや回転角度等、連続的な変量を任意に設定可能である場合には、情報表示装置１００ａは、設定された変量に連動して、オブジェクト情報の詳細度を連続的に変化させて表示してもよい。通常、ズーム操作は、連続的にズーム率を変化させることができるようになっている。したがって、情報表示装置１００ａがズーム率に連動させてオブジェクト情報の詳細度を変化させることが考えられる。
また、本実施の形態に係る情報表示装置１００ａは、操作入力部５１０のレバー５１１が右に回された際にオブジェクト情報をより詳細となるものとしたが、これに限定されな
い。例えば、本実施の形態に係る情報表示装置１００ａは、レバー５１１が左に回された際にはより大まかな詳細度を設定し、右に回された際にはより細かい間隔で詳細度を設定するようにしてもよいし、これとは左右逆の機能を有してもよい。
また、操作入力部５１０の形態は、上記内容に限定されるものではなく、ズームの倍率等を調整可能な形態であればよい。具体的には、操作入力部５１０の形態は、例えば、映像入力部３００のレンズの絞りリング等を用いる形態や、十字キー等を用いる形態等、ズーム操作と独立の操作を行うことができる態様としてもよい。ユーザは、例えば、映像表示部４００に表示される絞り値を見ながら、十字キー等を操作することができる。
また、モード切替入力部５２０の形態は、上記内容に限定されるものではなく、「Ｉｎｆｏ、Ｖｉｄｅｏ＋Ｉｎｆｏ、Ｖｉｄｅｏ」、「ナビゲーション、移動、カメラ」等の他の表記を用いてもよいし、ダイヤル式を採用してもよい。
また、フォーカスロック操作がされたときのオブジェクト情報の表示形態の変化は、上記内容に限定されない。例えば、表示形態の変化は、任意の透過度への変更や、情報の強調表示等でもよい。強調表示は、例えば、文字の色、濃さ、輝度、太さ、およびフォントの変化、文字の点滅、文字を囲む枠線の表示、オブジェクト情報表示領域の縁の強調および地の色や輝度の変更を含む。
また、情報表示装置１００ａは、表示対象となるオブジェクトの数に応じて、オブジェクト情報の詳細度のレベルを変化させるようにしてもよい。具体的には、例えば、情報表示装置１００ａは、表示対象となるオブジェクトの数が少ないときは、オブジェクト情報の詳細度のレベルを、表示情報決定ルールが規定するレベルよりも上げるようにする。
また、情報表示装置１００ａは、シャッター速度に応じてオブジェクト情報の有効時間帯を制御してもよい。具体的には、例えば、情報表示装置１００ａは、速いシャッター速度を選択することにより、現在時刻または指定した時刻の前後または前または後の時間幅が狭い時間内に関連づけられている情報を提示する。あるいは、情報表示装置１００ａは、遅いシャッター速度を選択することにより、現在時刻または指定した時刻の前後または前または後の時間幅が広い時間内に関連づけられている情報を提示するか、を連続的に制御する。
また、情報表示装置１００ａは、他のカメラ操作およびカメラ設定（例えば、露出補正（感度調整）の度合い）に対応させて、オブジェクト情報の詳細度や表示形態を変化させるようにしてもよい。具体的には、例えば、情報表示装置１００ａは、視点から見える範囲の施設の情報を提示するか、それとも視点からは見えない建物の裏側の施設の情報をも含めて提示するか、を制御する。
また、情報表示装置１００ａは、カメラにおける撮影メニューと同様の、ダイヤル式または同等のメニューによって、レストラン情報、アミューズメント情報等、表示の対象となるオブジェクト情報のジャンルを選択できるようにしてもよい。
また、情報表示装置１００ａは、ポインタを合わせされたオブジェクト領域やオブジェクト情報の色を変化させるようにしてもよい。更に、情報表示装置１００ａは、オブジェクト情報の検索インタフェースを備え、検索結果のオブジェクト情報を、色を変えたり、点滅させたり、矢印などのポインタで指し示しながら映像に重畳して表示したりするようにしてもよい。
（実施の形態３）
本発明の実施の形態３は、着脱可能な記憶媒体に情報重畳映像を記録するようにした例である。
情報重畳映像を記録することは、生成された情報重畳映像を後で別の場所で利用可能とすれば、施設の場所や評判等の情報を第三者に伝えることが容易となり、便利である。そこで、本実施の形態では、生成した情報重畳映像を、単に表示するだけでなく、着脱可能な記憶媒体に記録するようにした。
図１８は、本実施の形態に係る情報表示装置の構成を示すブロック図であり、実施の形態１の図６に対応するものである。図６と同一部分には、同一符号を付し、これについての説明を省略する。
図１８において、本実施の形態に係る情報表示装置１００ｂは、記憶媒体７５０ｂおよび記録・読出部７６０ｂを有する。記憶媒体７５０ｂは、記録・読出部７６０ｂに接続されている。記録・読出部７６０ｂは、オブジェクト重畳部７１０と映像表示部４００との間に配置されている。
記憶媒体７５０ｂは、着脱可能な記憶媒体であり、例えばＳＤメモリカードである。
記録・読出部７６０ｂは、情報重畳映像記録モードのとき、情報重畳映像の映像データを、映像表示部４００へ転送するとともに、記憶媒体７５０ｂに記録する。また、記録・読出部７６０ｂは、情報重畳映像再生モードのとき、記憶媒体７５０ｂから記憶媒体７５０ｂに記録された情報重畳映像の映像データを読みだし、映像表示部４００へ送る。
情報重畳映像記録モードおよび情報重畳映像再生モードの設定は、例えば、操作入力部５１０および動作制御部６１０によって行うようにすればよい。また、情報重畳映像の映像データは、入力映像とオブジェクト情報の画像とが合成された映像データ、あるいは、入力映像のデータとオブジェクト情報に関するデータとが情報重畳映像を再現可能な状態で分離されたものであってもよい。オブジェクト情報に関するデータとは、例えば、映像データと重畳する際の、映像内の空間的位置を表す座標（表示レイアウト情報）と映像の時間的位置を表すタイムコードとに対応付けて、オブジェクト情報を記録したデータである。
このような情報表示装置は、撮影した実世界映像と、撮影時点のオブジェクト情報とを同時に記録し、また、記録したこれらの情報を、別の情報表示装置等で読出して表示することができる。
なお、記憶媒体としては、光ディスク、半導体メモリ、ＣＤ（compact disc）、ＤＶＤ（digital versatile disk）、およびＢＤ（blu-ray disk）等のメモリデバイス、ハードディスク、ネットワーク上の任意のメモリ、並びに光メモリ等の新規のメモリ等、各種の記憶媒体を適用することができる。
（実施の形態４）
本発明の実施の形態４は、タッチパネルを用いてユーザ操作を受け付けるようにした例である。
入力映像を、ファインダではなくディスプレイで確認しながら撮影を行うユーザも多い。このようなユーザにとっては、入力映像に映し出されたあるオブジェクトに注目したとき、そのオブジェクトに対するフォーカス操作およびフォーカスロック操作等を、直接ディスプレイ上のオブジェクトを指定できると、使用勝手が良い。そこで、本実施の形態に
係る情報表示装置は、タッチパネルによる操作入力部を搭載し、上述の操作を実現する。
まず、本実施の形態に係る情報表示装置の構成について説明する。
図１９は、本実施の形態に係る情報表示装置の構成を示すブロック図であり、実施の形態２の図１２に対応するものである。図１２と同一部分には、同一符号を付し、これについての説明を省略する。
図１９において、本実施の形態に係る情報表示装置１００ｃは、図１２の映像表示部４００に替えて、映像表示・操作入力部４００ｃを有する。
映像表示・操作入力部４００ｃは、液晶ディスプレイ（実施の形態２の映像表示部４００に相当）と一体型のタッチパネル（図示せず）を有する。映像表示・操作入力部４００ｃは、ユーザのタッチ操作により、少なくとも、フォーカス点を画面上の任意の位置に設定するフォーカス操作と、現状の焦点距離を保持するフォーカスロック操作とを受け付ける。
そして、映像表示・操作入力部４００ｃは、受け付けたタッチ操作の内容を示す操作情報を、動作制御部６１０ａへ出力する。より具体的には、映像表示・操作入力部４００ｃは、フォーカス点を指定する操作が行われたとき、その指定された位置にレンズを合焦させることを指示する操作情報を、動作制御部６１０ａへ出力する。また、映像表示・操作入力部４００ｃは、フォーカスロック操作が行われたとき、フォーカスロック操作が行われたことを示す操作情報を、動作制御部６１０ａへ出力する。
次に、情報表示装置１００ｃの動作について説明する。
ユーザは、例えば、タッチパネルの、オブジェクト情報を確認しようとするオブジェクトの映像の近傍に、指先を触れる。すると、映像表示・操作入力部４００ｃは、タッチされた箇所の位置をフォーカス点として指定する操作情報を、動作制御部６１０ａへ出力する（図１３のステップＳ２０１０：ＹＥＳ）。
以降の動作は、実施の形態２と同様である。すなわち、映像認識部６３０ａは、入力映像に映し出されるオブジェクトを認識する。そして、映像認識部６３０ａは、フォーカス点が位置するオブジェクトのオブジェクト領域、またはその周辺のオブジェクトを含むオブジェクト領域を選択し、対応する領域情報を出力する。この結果、映像表示・操作入力部４００ｃには、ユーザが指先を触れた箇所の近辺にフォーカスされた映像と、その近辺のオブジェクトのオブジェクト情報が表示される。
このように、情報表示装置１００ｃは、タッチ操作によって、オブジェクト情報を表示させるオブジェクトに対するユーザの選択を受け付けることができるようになっている。
図２０は、Ｐｈｏｔｏ＋Ｉｎｆｏモードにてタッチ操作が行われたときの、表示映像の変化の一例を示す図であり、図１６に対応するものである。
まず、図２０Ａに示すように、第１〜第３のオブジェクト領域８３３−１〜８３３−３が存在するものとする。この状態で、図２０Ｂおよび図２０Ｃに示すように、Ｐｈｏｔｏ＋Ｉｎｆｏモードにて、映像表示・操作入力部４００ｃに対して指８６１でタッチ操作が行われ、第１のオブジェクト領域８３３−１にフォーカス点の位置が指定されたとする。すると、図２０Ｃに示すように、例えば、指定された位置８６２がフォーカス点となりガイド表示されると共に、第１のオブジェクト情報８４１−１が表示される。
このように、本実施の形態に係る情報表示装置１００ｃは、ディスプレイに対する直接の指定操作により、オブジェクトに対するフォーカス操作およびフォーカスロック操作等を受け付ける。これにより、ユーザは、注目するオブジェクトを表示画面上でタッチするという自然な操作により、所望のオブジェクトに関するより詳細な情報を得ることができる。
なお、タッチパネル操作を入力される実世界映像に反映させない場合には、情報表示装置１００ｃは、タッチパネル操作の操作情報を、映像認識部６３０に入力してもよい。この場合、映像認識部６３０は、例えば、タッチされた位置のオブジェクト領域を抽出し、抽出したオブジェクト領域のみを処理対象として選択すればよい。
また、映像認識部６３０は、ビルのような明確なオブジェクトがない状況においても、映像全体または映像の一部をオブジェクト領域として同様に処理してもよい。例えば、海と空を映した映像もしくは空のみ映した映像においては、空の部分をオブジェクトとして、空間座標に関連付けた情報をオブジェクト情報として表示してもよい。
（実施の形態５）
本発明の実施の形態５は、タッチパネルを用いて更に詳細なユーザ操作を受け付けるようにした例である。
ディスプレイ上の同一位置または狭い範囲に対応して多くのオブジェクト情報が登録されている場合がある。そこで、本実施の形態に係る情報表示装置は、タッチパネル上で、ユーザから表示対象の条件の絞り込み操作を受け付けることにより、表示オブジェクト情報の絞り込みを行う。
まず、本実施の形態に係る情報表示装置の構成について説明する。
図２１は、本実施の形態に係る情報表示装置の構成を示すブロック図であり、実施の形態４の図１９に対応するものである。図１９と同一部分には、同一符号を付し、これについての説明を省略する。
図２１において、本実施の形態に係る情報表示装置１００ｄは、図１９の映像表示部・操作入力部４００ｃと情報出力制御部６９０ａとに替えて、これらと異なる映像表示・操作入力部４００ｄと情報出力制御部６９０ｄとを有する。
映像表示・操作入力部４００ｄは、表示対象の条件を指定する条件指定操作を受け付ける。ここでは、条件指定操作は、少なくとも、オブジェクト距離を指定する操作、およびオブジェクト情報の有効時間を指定する操作を含む。オブジェクト情報の有効時間（以下、単に「有効時間」という）とは、オブジェクト情報が有効とされる期間を代表する日時である。映像表示・操作入力部４００ｄは、条件指定操作が行われたとき、条件指定操作の内容を示す操作情報を、情報出力制御部６９０ｄへ出力する。条件指定操作の受け付けの詳細については、後述する。
情報出力制御部６９０ｄは、映像表示・操作入力部４００ｄから入力される操作情報が示す条件指定操作に応じて、表示するオブジェクト情報を制御する。より具体的には、情報出力制御部６９０ｄは、オブジェクト距離を指定する操作が行われたとき、指定されたオブジェクト距離に該当するオブジェクトのオブジェクト情報を、表示オブジェクト情報に決定する。また、情報出力制御部６９０ｄは、有効時間を指定する操作が行われたとき、指定された有効時間に該当するオブジェクト情報を、表示オブジェクト情報に決定する
。
また、本実施の形態では、実施の形態１〜実施の形態４とは異なる内容のオブジェクト情報テーブルが、オブジェクト情報データベース７３０に格納されているものとする。
図２２は、本実施の形態におけるオブジェクト情報テーブルの内容の一例を示す図である。
図２２に示すように、オブジェクト情報テーブル８１０ｄは、オブジェクトのＩＤ８１１およびオブジェクトの位置８１２だけでなく、有効時間８１７ｄにも対応付けて、オブジェクト情報８１３〜８１６を記述している。また、ここでは、オブジェクト情報８１３〜８１６の属性が、実施の形態１〜実施の形態４とは異なっている。
レベル１のオブジェクト情報８１３は、施設に関する一般利用者による投稿（口コミ情報）のラベル情報である。レベル２のオブジェクト情報８１４は、口コミ情報の詳細情報である。レベル３のオブジェクト情報８１５は、施設に関するコメントやトピック情報である。また、レベル４のオブジェクト情報８１６は、施設に関して更に外部の情報を参照する先のＵＲＬ（uniform resource locator）等を示す参照情報である。すなわち、レベル１〜レベル４のオブジェクト情報８１３〜８１６は、レベルの数や各レベルに記載する情報について、自由に情報の粒度を設定することができる。
例えば、「緯度：ｘｘ１、経度：ｙｙ２」という位置と、「２００９／１１／４、８:３０」という有効時間との組み合わせには、口コミ情報のラベルとして「振替輸送で足止め」が対応付けられている。また、「緯度：ｘｘ１、経度：ｙｙ２」という位置と、「２００９／１１／４、２０：３０」という有効時間との組み合わせには、口コミ情報のラベルとして「ライブ開催」が対応付けられている。すなわち、同一のオブジェクトであっても、有効時間が異なる場合、異なるオブジェクト情報が対応付けられている。
次に、情報表示装置１００ｄの動作について説明する。
ユーザは、例えば、タッチパネルの、後述するインジケータに触れることにより、条件指定操作を行う。すると、映像表示・操作入力部４００ｄは、条件指定操作の内容（オブジェクト距離や有効時間）を示す操作情報を、情報出力制御部６９０ｄへ出力する。
情報出力制御部６９０ｄは、オブジェクト距離を指定する条件指定操作の操作情報が入力されたとき、指定されたオブジェクト距離に該当するオブジェクト情報を、表示オブジェクト情報に決定する。また、情報出力制御部６９０ｄは、有効時間を指定する条件指定操作の操作情報が入力されたとき、指定された有効時間に該当するオブジェクト情報を、表示オブジェクト情報に決定する。
表示オブジェクトが決定された後の動作は、実施の形態４と同様である。この結果、映像表示・操作入力部４００ｄに表示されるオブジェクト情報は、ユーザが指定した条件（オブジェクト距離や有効時間）に該当するオブジェクト情報に絞られる。
なお、オブジェクト情報の絞り込みは、オブジェクト情報検索部６８０において行うようにしてもよい。この場合には、オブジェクト情報検索部６８０は、条件指定操作の内容を示す操作情報を入力し、次のような動作を行う。
オブジェクト情報検索部６８０は、オブジェクト距離を指定する条件指定操作の操作情報が入力されたとき、例えば、自位置を中心とし指定されたオブジェクト距離を半径とす
る範囲を、緯度経度情報として算出する。そして、オブジェクト情報検索部６８０は、緯度経度情報を検索キーとして、実施の形態２と同様に、オブジェクト情報を検索する。
具体的には、オブジェクト情報検索部６８０は、端末通信部６７０を介して、緯度経度範囲情報を、オブジェクト情報データベース７３０ｄに対する検索クエリとして、情報サーバ７４０へ送信する。
そして、オブジェクト情報検索部６８０は、情報サーバ７４０から返信されたオブジェクト情報を、情報出力制御部６９０へ出力する。オブジェクト情報検索部６８０は、有効時間についても同様に情報出力制御部６９０へ出力する。
以下、各種操作が行われたときの表示映像の変化の例について説明する。
図２３は、Ｐｈｏｔｏ＋Ｉｎｆｏモードにてタッチ操作が行われたときの、表示映像の変化の一例を示す図であり、図１６に対応するものである。図１６と同一部分には同一符号を付し、これについての説明を省略する。
図２３に示すように、映像表示・操作入力部４００ｄが表示する情報重畳映像８４０ｄは、距離インジケータ８７１および有効時間インジケータ８７２を有する。距離インジケータは、現在フォーカスされている各オブジェクト領域のオブジェクト距離を、距離マーク８７３によって表示する。有効時間インジケータ８７２は、現在フォーカスされているオブジェクト領域のオブジェクト情報の有効時間を、時間マーク８７４によって表示する。ここで、フォーカスされているオブジェクト領域とは、フォーカス点またはフォーカス点の周辺のオブジェクト領域である。
映像表示・操作入力部４００ｄは、距離マーク８７３および時間マーク８４７を表示するために、情報出力制御部６９０ｄから、フォーカスされている各オブジェクト領域のオブジェクト情報を予め取得する。
ここでは、第１および第２のオブジェクト領域８３３−１、８３３−２が、フォーカスされているオブジェクト領域であるものとする。
この場合、距離インジケータ８７１は、第１および第２のオブジェクト領域８３３−１、８３３−２にそれぞれ対応する、１５０ｍを示す第１の距離マーク８７３−１と、２５０ｍを示す第２の距離マーク８７３−２とを表示する。
また、有効時間インジケータ８７２は、第１および第２のオブジェクト領域８３３−１、８３３−２に対応して存在する各オブジェクト情報の、有効時間を示す第１および第２の時間マーク８７４−１、８７４−２を表示する。
映像表示・操作入力部４００ｄは、デフォルトで、いずれかの距離マーク８７３および時間マーク８７４を１つずつ選択された状態にしておく。ここでは、表示オブジェクト情報のレベルがレベル１であり、第１の距離マーク８７３−１がデフォルトで選択されているものとする。また、第１のオブジェクト領域８３３−１に対応する第１および第２の時間マーク８７３−１、８７３−２は、それぞれ、「８：３０」、「２０：３０」を示し、第１の時間マーク８７３−１がデフォルトで選択されているものとする。
この場合、図２３Ａに示すように、表示されるオブジェクト情報は、第１のオブジェクト領域８３３−１のオブジェクト情報のうち、有効時間「８：３０」に対応する情報である「振替輸送で足止め」に絞られる。
この状態で、図２３Ｂおよび図２３Ｃに示すように、指８６１によって第２の時間マーク８７３−２がタッチされたとする。すると、図２３Ｃに示すように、表示されるオブジェクト情報は、有効時間「２０：３０」に対応する情報である「ライブ開催」に変更される。
なお、情報重畳映像８４０ｄは、どのオブジェクト距離およびどの有効時間に対応するオブジェクト情報を現在表示しているかを表示することが望ましい。ここでは、距離インジケータ８７１および有効時間インジケータ８７２の色によってこの表示が行われている例を示しているが、距離マーク８７３および時間マーク８７４の色変化や点滅等を用いてもよい。
このように、本実施の形態に係る情報表示装置は、表示されるオブジェクト情報の絞込みを、ディスプレイのタッチ操作により行うことができる。また、本実施の形態に係る情報表示装置は、絞り込みの条件の指定を、ディスプレイに表示されたオブジェクト距離および有効時間の中から選択することにより行うことができる。
したがって、本実施の形態に係る情報表示装置は、同一オブジェクトに複数のオブジェクト情報が付与される場合や、画面における同一の座標や狭い範囲に複数のオブジェクト情報が付与される場合でも、閲覧が行い易くなる。更には、本実施の形態に係る情報表示装置は、画面上にオブジェクトが映し出されていない場合においても、フォーカス位置周辺の任意のオブジェクトのオブジェクト情報ついて、検索、選択、および閲覧を可能にする。すなわち、ユーザは、注目するオブジェクトを表示画面上でタッチするという自然な操作で、所望のオブジェクトに関するより詳細な情報を得ることができる。
なお、指定可能な条件は、オブジェクト距離および有効時間に限定されるものではなく、オブジェクト情報テーブルに含まれる情報に関する各種条件を採用することができる。例えば、指定可能な条件は、オブジェクト情報の登録時間および設定時間等を採用してもよい。
なお、以上説明した各実施の形態では、予め定められた情報サーバからオブジェクト情報を取得するものとして説明したが、検索エンジンを利用して、通信ネットワーク上で適切なオブジェクト情報を検索ようにしてもよい。
また、各実施の形態では、オブジェクト情報データベースを外部装置に配置し、通信ネットワーク経由で取得されるものとして説明したが、予め情報表示装置にオブジェクトデータベースを備えた構成としてもよい。また、情報表示装置は、必要なオブジェクト情報を保持していない場合にのみ、外部装置から当該オブジェクト情報を取得するようにしてもよい。
また、情報表示装置は、一度取得したオブジェクト情報をキャッシュしておき、外部からの取得を再度行わないように構成してもよい。
また、予め詳細度のレベルごとにオブジェクト情報を用意するのではなく、情報表示装置が、指定された詳細度のレベルに合うように、文章要約機能等を用いて、オブジェクト情報を編集するようにしてもよい。
また、用途によっては、オブジェクト距離がより遠いほど詳細な情報となるようにしたり、フォーカス位置により近いほどより詳細な情報となるようにしてもよい。また、後者の場合には、フォーカス位置からの距離に対して、情報の簡素化（詳細化）の割合を対称
としてもよいし、非対称としてもよい。具体的には、例えば、被写界深度に合わせて、フォーカス位置よりも手前側のオブジェクトについては簡素化（詳細化）の割合を少なく、フォーカス位置よりも奥側のオブジェクトについては簡素化（詳細化）の割合を大きくする。
２００８年１２月２５日出願の特願２００８−３３１４５１の日本出願に含まれる明細書、図面および要約書の開示内容は、すべて本願に援用される。
本発明に係る情報表示装置および情報表示方法は、実世界映像に映し出されたオブジェクトに関する情報のうちユーザが知りたい情報を、見易く表示することができる情報表示装置および情報表示方法として有用である。具体的には、本発明は、実世界映像と情報との重畳表示を行う拡張現実感システムとして有用であり、例えば、訓練用、教育用、宇宙開発用、ウェアラブルシステム、エンタテイメントシステムの用途に応用することができる。また、本発明は、ユーザが情報を得たいと望む対象およびその情報量の直感的な制御を行う実世界情報検索システムとして有用であり、例えば、デジタルスチルカメラ、デジタルビデオカメラ、カーナビゲーションシステム、携帯電話機によるナビゲーションシステム、計測・測量システムの用途に応用することができる。
１００、１００ａ、１００ｂ、１００ｃ、１００ｄ 情報表示装置
２００ 本体部
３００ 映像入力部
４００ 映像表示部
４００ｃ、４００ｄ 映像表示・操作入力部
５００ 操作インタフェース部
５１０ 操作入力部
５１１ レバー
５１２ ボタン
５２０ モード切替入力部
５２１ スイッチ
５２２ スライド部
６１０、６１０ａ 動作制御部
６２０ レンズ制御部
６３０、６３０ａ 映像認識部
６４０ 自位置姿勢算出部
６５０ 距離取得部
６６０ オブジェクト測位部
６７０ 端末通信部
６８０ オブジェクト情報検索部
６９０、６９０ａ、６９０ｄ 情報出力制御部
７００ 情報位置決定部
７１０、７１０ａ オブジェクト重畳部
７２０ 通信ネットワーク
７３０ オブジェクト情報データベース
７４０ 情報サーバ
７５０ｂ 記憶媒体
７６０ｂ 記録・読出部

Claims (18)

  1. 実世界映像を入力する映像入力部と、
    入力された前記実世界映像に映し出されるオブジェクトと前記実世界映像の視点との間の距離を取得する距離取得部と、
    前記オブジェクトに関する情報と前記実世界映像とを重畳した映像を出力するオブジェクト重畳部と、
    前記オブジェクト重畳部が出力する前記情報を制御する情報出力制御部と、を有し、
    前記情報出力制御部は、
    取得された前記距離に応じて、前記オブジェクト重畳部が出力する前記情報の提示の仕方を決定する、
    情報表示装置。
  2. 前記情報出力制御部は、
    前記距離がより短いほど、より多い情報量およびより強調した提示形態の少なくとも１つを、前記オブジェクト重畳部が出力する前記情報に対して決定する、
    請求項１記載の情報表示装置。
  3. 前記実世界映像の視点の位置を取得する自位置姿勢取得部と、
    入力された前記実世界映像に映し出されるオブジェクトの実世界における位置を取得するオブジェクト測位部と、を更に有し、
    前記オブジェクト測位部は、
    取得された前記視点の位置と、前記視点を基準としたオブジェクトの距離、方位および仰角とに基づいて、前記オブジェクトの位置を取得する、
    請求項１記載の情報表示装置。
  4. 入力された前記実世界映像から、前記実世界映像に映し出されるオブジェクトを認識する映像認識部、を更に有し、
    前記情報出力制御部は、
    認識された前記オブジェクトに関する情報のうち、決定された前記情報の提示の仕方に対応する情報を、前記オブジェクト重畳部に対して出力させる、
    請求項３記載の情報表示装置。
  5. 前記オブジェクト測位部は、
    認識された前記オブジェクトの前記実世界映像上の領域と、前記実世界映像の視点および視界とに基づいて、前記オブジェクトの位置を取得する、
    請求項３記載の情報表示装置。
  6. 前記映像入力部が入力する前記実世界映像のズームの倍率を変化させるレンズ制御部、を更に有し、
    前記情報出力制御部は、
    前記実世界映像のズームの倍率がより大きいほど、より多い情報量を決定する、
    請求項２記載の情報表示装置。
  7. 前記情報出力制御部は、
    情報表示の対象となるオブジェクトの数がより少ないほど、オブジェクトごとの前記情報に対してより多い情報量を決定する、
    請求項２記載の情報表示装置。
  8. 前記情報出力制御部は、
    入力された前記実世界映像に映し出されるオブジェクトの中から、情報表示の対象となるオブジェクトを決定する、
    請求項１記載の情報表示装置。
  9. 前記情報出力制御部は、
    所定のオブジェクト数の範囲内で、情報表示の対象となるオブジェクトを決定する、
    請求項８記載の情報表示装置。
  10. 前記映像入力部が入力する前記実世界映像の合焦位置を変化させるレンズ制御部、を更に有し、
    前記情報出力制御部は、
    前記合焦位置に近いオブジェクトを、情報表示の対象に決定する、
    請求項８記載の情報表示装置。
  11. 前記レンズ制御部は、
    所定の操作を受けて前記合焦位置を固定し、
    前記オブジェクト重畳部は、
    前記合焦位置が固定されたときに提示している情報の提示の仕方を変化させる、
    請求項１０記載の情報表示装置。
  12. 前記映像入力部が入力する前記実世界映像の被写界深度を変化させるレンズ制御部、を更に有し、
    前記情報出力制御部は、
    前記被写界深度の範囲内に位置するオブジェクトを、情報表示の対象に決定する、
    請求項８記載の情報表示装置。
  13. 前記オブジェクト重畳部は、
    認識された前記オブジェクトの前記実世界映像上の領域に対応付けて、そのオブジェクトに関する情報を表示する、
    請求項３記載の情報表示装置。
  14. 複数のオブジェクトの情報が表示されるときに、前記複数のオブジェクトの実世界での配置関係に対応する位置に、前記複数のオブジェクトの情報の表示位置を決定する情報位置決定部、を更に有する、
    請求項４記載の情報表示装置。
  15. 前記情報位置決定部は、
    入力された前記実世界映像の奥行き方向を検出し、複数のオブジェクトの情報が表示されるときに前記奥行き方向に揃うように、前記複数のオブジェクトの情報の表示位置を決定する、
    請求項１４記載の情報表示装置。
  16. ユーザ操作を受け付ける操作入力部と、
    前記ユーザ操作を、入力される前記実世界映像に反映させるモードと、前記ユーザ操作を、提示される前記オブジェクトの情報に反映させるモードと、前記ユーザ操作を、入力される前記実世界映像に反映させ、かつ、入力される前記実世界映像に連動して前記オブジェクトの情報を変化させるモードと、を切り替えて設定する動作制御部、を更に有する、
    請求項１記載の情報表示装置。
  17. 前記オブジェクト重畳部によって表示される前記実世界映像に対するタッチパネル操作により、ユーザ操作を受け付ける操作入力部、を更に有する、
    請求項１記載の情報表示装置
  18. 実世界映像を入力するステップと、
    入力された前記実世界映像に映し出されるオブジェクトと前記実世界映像の視点との間の距離を取得するステップと、
    取得された前記距離に応じて、前記オブジェクトに関する情報の提示の仕方を決定するステップと、
    決定された提示の仕方で提示されるように、前記情報と前記実世界映像とを重畳して出力するステップと、
    を有する情報表示方法。
JP2010543851A 2008-12-25 2009-12-22 情報表示装置および情報表示方法 Expired - Fee Related JP5328810B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010543851A JP5328810B2 (ja) 2008-12-25 2009-12-22 情報表示装置および情報表示方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2008331451 2008-12-25
JP2008331451 2008-12-25
JP2010543851A JP5328810B2 (ja) 2008-12-25 2009-12-22 情報表示装置および情報表示方法
PCT/JP2009/007113 WO2010073616A1 (ja) 2008-12-25 2009-12-22 情報表示装置および情報表示方法

Related Child Applications (2)

Application Number Title Priority Date Filing Date
JP2013100308A Division JP5588542B2 (ja) 2008-12-25 2013-05-10 情報表示装置
JP2013100306A Division JP5611412B2 (ja) 2008-12-25 2013-05-10 情報表示装置

Publications (2)

Publication Number Publication Date
JPWO2010073616A1 true JPWO2010073616A1 (ja) 2012-06-07
JP5328810B2 JP5328810B2 (ja) 2013-10-30

Family

ID=42287263

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2010543851A Expired - Fee Related JP5328810B2 (ja) 2008-12-25 2009-12-22 情報表示装置および情報表示方法
JP2013100308A Expired - Fee Related JP5588542B2 (ja) 2008-12-25 2013-05-10 情報表示装置
JP2013100306A Expired - Fee Related JP5611412B2 (ja) 2008-12-25 2013-05-10 情報表示装置

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2013100308A Expired - Fee Related JP5588542B2 (ja) 2008-12-25 2013-05-10 情報表示装置
JP2013100306A Expired - Fee Related JP5611412B2 (ja) 2008-12-25 2013-05-10 情報表示装置

Country Status (5)

Country Link
US (1) US9204050B2 (ja)
EP (1) EP2378392B1 (ja)
JP (3) JP5328810B2 (ja)
CN (1) CN102246121B (ja)
WO (1) WO2010073616A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016053965A (ja) * 2015-10-14 2016-04-14 株式会社日本総合研究所 宣伝情報提供システム、宣伝情報提供方法および宣伝情報提供プログラム

Families Citing this family (112)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8730156B2 (en) * 2010-03-05 2014-05-20 Sony Computer Entertainment America Llc Maintaining multiple views on a shared stable virtual space
US9204050B2 (en) * 2008-12-25 2015-12-01 Panasonic Intellectual Property Management Co., Ltd. Information displaying apparatus and information displaying method
JP5525201B2 (ja) 2009-07-28 2014-06-18 パナソニック株式会社 画像合成装置、画像符号化装置、コンピュータプログラム、記録媒体
US8611592B2 (en) * 2009-08-26 2013-12-17 Apple Inc. Landmark identification using metadata
US9420251B2 (en) 2010-02-08 2016-08-16 Nikon Corporation Imaging device and information acquisition system in which an acquired image and associated information are held on a display
JP5512378B2 (ja) * 2010-04-28 2014-06-04 株式会社Ｎｔｔドコモ オブジェクト表示装置、オブジェクト表示システム及びオブジェクト表示方法
KR101606727B1 (ko) * 2010-06-25 2016-03-28 엘지전자 주식회사 휴대 단말기 및 그 동작 방법
JP2012029164A (ja) * 2010-07-26 2012-02-09 Konica Minolta Business Technologies Inc 携帯端末及び装置管理方法
KR101347518B1 (ko) * 2010-08-12 2014-01-07 주식회사 팬택 필터의 선택이 가능한 증강 현실 사용자 장치 및 방법, 그리고, 증강 현실 서버
KR101357262B1 (ko) * 2010-08-13 2014-01-29 주식회사 팬택 필터 정보를 이용한 객체 인식 장치 및 방법
WO2012023253A1 (ja) * 2010-08-20 2012-02-23 パナソニック株式会社 受信表示装置、情報発信装置、光無線通信システム、受信表示用集積回路、情報発信用集積回路、受信表示プログラム、情報発信プログラム、及び光無線通信方法
KR101429250B1 (ko) * 2010-08-20 2014-09-25 주식회사 팬택 단계별 객체 정보 제공이 가능한 단말 장치 및 방법
US20120067954A1 (en) * 2010-09-16 2012-03-22 Madhav Moganti Sensors, scanners, and methods for automatically tagging content
US8655881B2 (en) 2010-09-16 2014-02-18 Alcatel Lucent Method and apparatus for automatically tagging content
US8533192B2 (en) 2010-09-16 2013-09-10 Alcatel Lucent Content capture device and methods for automatically tagging content
US8666978B2 (en) 2010-09-16 2014-03-04 Alcatel Lucent Method and apparatus for managing content tagging and tagged content
JP5578719B2 (ja) * 2010-09-17 2014-08-27 株式会社 ミックウェア 情報システム、端末装置、広告出力方法、およびプログラム
JP2012065263A (ja) 2010-09-17 2012-03-29 Olympus Imaging Corp 撮影機器
JP5170223B2 (ja) * 2010-12-07 2013-03-27 カシオ計算機株式会社 情報表示システム、情報表示装置、情報提供装置、および、プログラム
KR101669119B1 (ko) * 2010-12-14 2016-10-25 삼성전자주식회사 다층 증강 현실 시스템 및 방법
US8514295B2 (en) * 2010-12-17 2013-08-20 Qualcomm Incorporated Augmented reality processing based on eye capture in handheld device
WO2012094564A1 (en) * 2011-01-06 2012-07-12 Veveo, Inc. Methods of and systems for content search based on environment sampling
JP5014494B2 (ja) * 2011-01-21 2012-08-29 パナソニック株式会社 情報処理装置、拡張現実感システム、情報処理方法、及び情報処理プログラム
JP5511084B2 (ja) 2011-02-08 2014-06-04 パナソニック株式会社 通信装置、通信システム、通信方法、及び通信プログラム
US8314790B1 (en) 2011-03-29 2012-11-20 Google Inc. Layer opacity adjustment for a three-dimensional object
US8576223B1 (en) * 2011-03-29 2013-11-05 Google Inc. Multiple label display for 3D objects
US20140300570A1 (en) * 2011-09-26 2014-10-09 Nec Casio Mobile Communications, Ltd. Mobile information processing terminal
US9606992B2 (en) * 2011-09-30 2017-03-28 Microsoft Technology Licensing, Llc Personal audio/visual apparatus providing resource management
JP6121647B2 (ja) * 2011-11-11 2017-04-26 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
JP5783885B2 (ja) * 2011-11-11 2015-09-24 株式会社東芝 情報提示装置、その方法及びそのプログラム
KR20130056529A (ko) * 2011-11-22 2013-05-30 삼성전자주식회사 휴대용 단말기에서 증강현실 서비스를 제공하기 위한 장치 및 방법
TWI430012B (zh) * 2011-12-05 2014-03-11 Hannspree Inc 影像擷取觸控顯示器
WO2013099473A1 (ja) * 2011-12-27 2013-07-04 ソニー株式会社 サーバ
KR101303166B1 (ko) * 2012-01-26 2013-09-09 엘지전자 주식회사 이동 단말기 및 그의 사진 검색방법
US9773345B2 (en) * 2012-02-15 2017-09-26 Nokia Technologies Oy Method and apparatus for generating a virtual environment for controlling one or more electronic devices
JP6028351B2 (ja) * 2012-03-16 2016-11-16 ソニー株式会社 制御装置、電子機器、制御方法、及びプログラム
JP6056178B2 (ja) * 2012-04-11 2017-01-11 ソニー株式会社 情報処理装置、表示制御方法及びプログラム
JP5921320B2 (ja) * 2012-04-27 2016-05-24 富士通テン株式会社 表示システム、携帯装置、車載装置、及び、プログラム
GB201208088D0 (en) * 2012-05-09 2012-06-20 Ncam Sollutions Ltd Ncam
US9147221B2 (en) * 2012-05-23 2015-09-29 Qualcomm Incorporated Image-driven view management for annotations
CN104396266B (zh) * 2012-06-29 2017-10-13 丰田自动车株式会社 图像信息提供装置、图像信息提供系统、图像信息提供方法
KR101899977B1 (ko) * 2012-07-10 2018-09-19 엘지전자 주식회사 이동 단말기 및 그것의 제어 방법
CN103577788A (zh) * 2012-07-19 2014-02-12 华为终端有限公司 增强现实的实现方法和装置
JP6070705B2 (ja) * 2012-07-24 2017-02-01 日本電気株式会社 情報処理装置、そのデータ処理方法、およびプログラム
TWI475474B (zh) * 2012-07-30 2015-03-01 Mitac Int Corp Gesture combined with the implementation of the icon control method
TWI451344B (zh) * 2012-08-27 2014-09-01 Pixart Imaging Inc 手勢辨識系統及手勢辨識方法
TWI494792B (zh) * 2012-09-07 2015-08-01 Pixart Imaging Inc 手勢辨識系統及方法
JP6007712B2 (ja) * 2012-09-28 2016-10-12 ブラザー工業株式会社 ヘッドマウントディスプレイ、それを作動させる方法およびプログラム
US9501831B2 (en) * 2012-10-02 2016-11-22 Google Inc. Identification of relative distance of objects in images
JP6064510B2 (ja) * 2012-10-19 2017-01-25 トヨタ自動車株式会社 情報提供装置および情報提供方法
JP6157094B2 (ja) * 2012-11-21 2017-07-05 キヤノン株式会社 通信装置、設定装置、通信方法、設定方法、及び、プログラム
US9298970B2 (en) 2012-11-27 2016-03-29 Nokia Technologies Oy Method and apparatus for facilitating interaction with an object viewable via a display
EP3734555A1 (en) 2012-12-10 2020-11-04 Sony Corporation Display control apparatus, display control method, and program
JP5751430B2 (ja) * 2012-12-19 2015-07-22 コニカミノルタ株式会社 画像処理端末、画像処理システム、および画像処理端末の制御プログラム
US9996150B2 (en) * 2012-12-19 2018-06-12 Qualcomm Incorporated Enabling augmented reality using eye gaze tracking
GB2511386A (en) * 2012-12-21 2014-09-03 Syngenta Ltd Herbicidal compositions
JP5652467B2 (ja) * 2012-12-25 2015-01-14 カシオ計算機株式会社 情報表示システム、情報表示装置、情報提供装置、および、プログラム
JP6111659B2 (ja) * 2012-12-28 2017-04-12 セイコーエプソン株式会社 表示装置、および、表示装置の制御方法
EP4093019A1 (en) * 2013-01-17 2022-11-23 Canon Kabushiki Kaisha Image pickup apparatus, remote control apparatus, and methods of controlling image pickup apparatus and remote control apparatus
JP6287849B2 (ja) 2013-02-22 2018-03-07 ソニー株式会社 ヘッドマウントディスプレイ、画像表示装置及び画像表示方法
US9946963B2 (en) 2013-03-01 2018-04-17 Layar B.V. Barcode visualization in augmented reality
JP6160154B2 (ja) * 2013-03-22 2017-07-12 セイコーエプソン株式会社 頭部装着型表示装置を利用した情報表示システム、頭部装着型表示装置を利用した情報表示方法、および、頭部装着型表示装置
JP6315895B2 (ja) * 2013-05-31 2018-04-25 キヤノン株式会社 撮像装置、画像処理装置、撮像装置の制御方法、画像処理装置の制御方法、プログラム
KR20150008733A (ko) * 2013-07-15 2015-01-23 엘지전자 주식회사 안경형 휴대기기 및 그의 정보 투사면 탐색방법
JP6225538B2 (ja) * 2013-07-24 2017-11-08 富士通株式会社 情報処理装置、システム、情報提供方法および情報提供プログラム
JP6314427B2 (ja) * 2013-10-31 2018-04-25 キヤノンマーケティングジャパン株式会社 撮像装置、情報処理装置、制御方法およびプログラム
JP2015164001A (ja) * 2014-02-28 2015-09-10 株式会社丸山製作所 ガイド装置
CN103942049B (zh) 2014-04-14 2018-09-07 百度在线网络技术（北京）有限公司 增强现实的实现方法、客户端装置和服务器
EP3637410A1 (en) * 2014-04-22 2020-04-15 Nippon Telegraph And Telephone Corporation Video presentation device, dynamic illusion presentation device, video generation device, method thereof, data structure, and program
DE102014208663A1 (de) * 2014-05-08 2015-11-12 Conti Temic Microelectronic Gmbh Vorrichtung und verfahren zur bereitstellung von informationsdaten zu einem in einem videobildstrom enthaltenen objekt einer fahrzeugumgebung
JP6326996B2 (ja) * 2014-06-13 2018-05-23 富士通株式会社 端末装置、情報処理システム、及び表示制御プログラム
JP2016004340A (ja) * 2014-06-16 2016-01-12 セイコーエプソン株式会社 情報配信システム、頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム
JP2016018367A (ja) * 2014-07-08 2016-02-01 沖電気工業株式会社 情報処理装置、情報処理方法、及びプログラム
JP2016110245A (ja) * 2014-12-03 2016-06-20 株式会社Ｔ．Ｊ．Ｐｒｏｍｏｔｉｏｎ 表示システム、表示方法、コンピュータプログラム、コンピュータが読み取り可能な記憶媒体
JP6424601B2 (ja) * 2014-12-10 2018-11-21 富士通株式会社 表示制御方法、情報処理プログラム、及び情報処理装置
US9836814B2 (en) * 2015-01-09 2017-12-05 Panasonic Intellectual Property Management Co., Ltd. Display control apparatus and method for stepwise deforming of presentation image radially by increasing display ratio
US9918008B2 (en) * 2015-02-06 2018-03-13 Wipro Limited Method and device for assisting a user to capture images
JP5914714B2 (ja) * 2015-02-12 2016-05-11 オリンパス株式会社 撮影機器および撮影方法
CN106406507B (zh) * 2015-07-30 2020-03-27 株式会社理光 图像处理方法以及电子设备
JP2017054185A (ja) 2015-09-07 2017-03-16 株式会社東芝 情報処理装置、情報処理方法及び情報処理プログラム
JP6065084B2 (ja) * 2015-10-30 2017-01-25 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
JP2017096635A (ja) * 2015-11-18 2017-06-01 アイシン・エィ・ダブリュ株式会社 目的地設定システム、方法およびプログラム
JP6333871B2 (ja) * 2016-02-25 2018-05-30 ファナック株式会社 入力画像から検出した対象物を表示する画像処理装置
CN108885845B (zh) * 2016-03-24 2021-02-26 三菱电机株式会社 辅助图像显示装置、辅助图像显示方法和计算机可读的记录介质
US10025376B2 (en) 2016-04-27 2018-07-17 Rovi Guides, Inc. Methods and systems for displaying additional content on a heads up display displaying a virtual reality environment
EP3650994A1 (en) * 2016-04-27 2020-05-13 Rovi Guides, Inc. Methods and systems for displaying additional content on a heads up display displaying a virtual reality environment
JP6440910B2 (ja) * 2016-07-29 2018-12-19 三菱電機株式会社 表示装置、表示制御装置および表示制御方法
CN109643468B (zh) * 2016-08-19 2023-10-20 索尼公司 图像处理装置和图像处理方法
US10559087B2 (en) * 2016-10-14 2020-02-11 Canon Kabushiki Kaisha Information processing apparatus and method of controlling the same
JP7009057B2 (ja) * 2016-11-15 2022-01-25 株式会社リコー 表示装置、表示システム、及びプログラム
JP2018088118A (ja) * 2016-11-29 2018-06-07 パイオニア株式会社 表示制御装置、制御方法、プログラム及び記憶媒体
JP6987208B2 (ja) * 2016-11-29 2021-12-22 パイオニア株式会社 表示制御装置、制御方法、プログラム及び記憶媒体
JP6193466B1 (ja) * 2016-12-09 2017-09-06 株式会社ドワンゴ 画像表示装置、画像処理装置、画像処理システム、画像処理方法及び画像処理プログラム
CN110291575A (zh) * 2017-02-10 2019-09-27 夏普株式会社 图像处理装置以及图像处理程序
KR20180131856A (ko) * 2017-06-01 2018-12-11 에스케이플래닛 주식회사 배송 물품 정보 제공 방법 및 이를 위한 장치
JP7065383B2 (ja) * 2017-06-30 2022-05-12 パナソニックＩｐマネジメント株式会社 表示システム、情報提示システム、表示システムの制御方法、プログラム、及び移動体
US10607082B2 (en) 2017-09-09 2020-03-31 Google Llc Systems, methods, and apparatus for image-responsive automated assistants
JP7013786B2 (ja) * 2017-10-16 2022-02-01 富士フイルムビジネスイノベーション株式会社 情報処理装置、プログラム及び制御方法
EP3716220B1 (en) * 2017-11-20 2024-02-21 Rakuten Group, Inc. Information processing device, information processing method, and information processing program
US11164380B2 (en) * 2017-12-05 2021-11-02 Samsung Electronics Co., Ltd. System and method for transition boundaries and distance responsive interfaces in augmented and virtual reality
JP7110738B2 (ja) * 2018-06-05 2022-08-02 大日本印刷株式会社 情報処理装置、プログラム及び情報処理システム
US10719995B2 (en) * 2018-10-23 2020-07-21 Disney Enterprises, Inc. Distorted view augmented reality
US12131590B2 (en) * 2018-12-05 2024-10-29 Xerox Corporation Environment blended packaging
US11321411B1 (en) * 2018-12-28 2022-05-03 Meta Platforms, Inc. Systems and methods for providing content
JP6720385B1 (ja) * 2019-02-07 2020-07-08 株式会社メルカリ プログラム、情報処理方法、及び情報処理端末
JP2021157256A (ja) * 2020-03-25 2021-10-07 ブラザー工業株式会社 情報処理装置、表示プログラムを記憶した記憶媒体、及び表示方法
US10979672B1 (en) 2020-10-20 2021-04-13 Katmai Tech Holdings LLC Web-based videoconference virtual environment with navigable avatars, and applications thereof
CN112995507A (zh) * 2021-02-08 2021-06-18 北京蜂巢世纪科技有限公司 提示对象位置的方法及装置
JP7453193B2 (ja) 2021-09-27 2024-03-19 Kddi株式会社 ユーザの周辺状況に連動して音声合成に基づく音声を制御する携帯装置、プログラム及び方法
JPWO2023119527A1 (ja) * 2021-12-22 2023-06-29
CN115170629A (zh) * 2022-09-08 2022-10-11 杭州海康慧影科技有限公司 一种伤口信息获取方法、装置、设备及存储介质
JP2024055512A (ja) * 2022-10-07 2024-04-18 株式会社日立製作所 表示方法、表示システム

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5815411A (en) * 1993-09-10 1998-09-29 Criticom Corporation Electro-optic vision system which exploits position and attitude
US6037936A (en) 1993-09-10 2000-03-14 Criticom Corp. Computer vision system with a graphic user interface and remote camera control
JPH08190640A (ja) 1995-01-12 1996-07-23 Hitachi Ltd 情報表示方法および情報提供システム
JP2000194467A (ja) 1998-12-24 2000-07-14 Matsushita Electric Ind Co Ltd 情報表示装置、情報処理装置、機器制御装置、及び測距装置
JP4486175B2 (ja) * 1999-01-29 2010-06-23 株式会社日立製作所 立体地図表示装置および方法
US6751620B2 (en) * 2000-02-14 2004-06-15 Geophoenix, Inc. Apparatus for viewing information in virtual space using multiple templates
JP3967866B2 (ja) * 2000-04-28 2007-08-29 パイオニア株式会社 ナビゲーション装置及びナビゲーションプログラムがコンピュータで読取可能に記録された情報記録媒体
JP3406965B2 (ja) 2000-11-24 2003-05-19 キヤノン株式会社 複合現実感提示装置及びその制御方法
JP2003167659A (ja) 2001-11-28 2003-06-13 Fujitsu Ltd 情報処理装置および情報オブジェクトの表示方法
JP2004048674A (ja) 2002-05-24 2004-02-12 Olympus Corp 視野一致型情報呈示システム、並びに、それに用いられる携帯情報端末及びサーバ
JP2004151085A (ja) * 2002-09-27 2004-05-27 Canon Inc 情報処理方法及び情報処理装置
JP4298407B2 (ja) 2002-09-30 2009-07-22 キヤノン株式会社 映像合成装置及び映像合成方法
JP4026146B2 (ja) 2004-01-20 2007-12-26 マツダ株式会社 車両用画像表示装置、車両用画像表示方法及び車両用画像表示プログラム
JP4061379B2 (ja) * 2004-11-29 2008-03-19 国立大学法人広島大学 情報処理装置、携帯端末、情報処理方法、情報処理プログラム、およびコンピュータ読取可能な記録媒体
US7720436B2 (en) * 2006-01-09 2010-05-18 Nokia Corporation Displaying network objects in mobile devices based on geolocation
JP4246195B2 (ja) * 2005-11-01 2009-04-02 パナソニック株式会社 カーナビゲーションシステム
JP4793685B2 (ja) 2006-03-31 2011-10-12 カシオ計算機株式会社 情報伝送システム、撮像装置、情報出力方法、及び、情報出力プログラム
US20080136958A1 (en) 2006-12-11 2008-06-12 Pentax Corporation Camera having a focus adjusting system and a face recognition function
JP4743892B2 (ja) 2007-02-08 2011-08-10 Ｋｄｄｉ株式会社 撮影画像に付加画像を重畳させて表示する端末及びプログラム
US8264584B2 (en) 2007-05-31 2012-09-11 Panasonic Corporation Image capturing apparatus, additional information providing server, and additional information filtering system
JP4600515B2 (ja) 2008-05-07 2010-12-15 ソニー株式会社 情報提示装置及び情報提示方法、撮像装置、並びにコンピュータ・プログラム
JP2010118019A (ja) 2008-11-14 2010-05-27 Sharp Corp 端末装置、配信装置、端末装置の制御方法、配信装置の制御方法、制御プログラムおよび記録媒体
US8397181B2 (en) * 2008-11-17 2013-03-12 Honeywell International Inc. Method and apparatus for marking a position of a real world object in a see-through display
US9204050B2 (en) * 2008-12-25 2015-12-01 Panasonic Intellectual Property Management Co., Ltd. Information displaying apparatus and information displaying method

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016053965A (ja) * 2015-10-14 2016-04-14 株式会社日本総合研究所 宣伝情報提供システム、宣伝情報提供方法および宣伝情報提供プログラム

Also Published As

Publication number Publication date
JP2013211027A (ja) 2013-10-10
CN102246121A (zh) 2011-11-16
JP5328810B2 (ja) 2013-10-30
EP2378392B1 (en) 2016-04-13
EP2378392A1 (en) 2011-10-19
US9204050B2 (en) 2015-12-01
US20110254861A1 (en) 2011-10-20
JP2013225311A (ja) 2013-10-31
WO2010073616A1 (ja) 2010-07-01
EP2378392A4 (en) 2012-09-05
JP5611412B2 (ja) 2014-10-22
CN102246121B (zh) 2016-01-13
JP5588542B2 (ja) 2014-09-10

Similar Documents

Publication Publication Date Title
JP5611412B2 (ja) 情報表示装置
KR102618495B1 (ko) 영상 처리 장치 및 방법
JP4752827B2 (ja) 地図情報表示装置、地図情報表示方法、及びプログラム
US10230779B2 (en) Content provision system, information processing apparatus and content reproduction method
CN101662584B (zh) 信息处理设备和方法
JP5980222B2 (ja) コンテンツ処理装置、コンテンツ処理方法およびプログラム
JP5398970B2 (ja) 移動通信装置、制御方法
CN105210379A (zh) 显示控制装置、显示控制方法和程序
CN103002208A (zh) 电子装置和图像拾取设备
KR20190107012A (ko) 정보 처리 장치, 정보 처리 방법, 및 프로그램
CN104255022B (zh) 为相机添加虚拟变焦能力的服务器、客户终端、系统和可读介质
CN111680238B (zh) 信息分享方法、装置和存储介质
US20120002094A1 (en) Image pickup apparatus for providing reference image and method for providing reference image thereof
CN113905175A (zh) 视频生成方法、装置、电子设备及可读存储介质
KR20190120106A (ko) 동영상의 대표 이미지를 결정하는 방법 및 그 방법을 처리하는 전자 장치
JP2013183218A (ja) 動画再生装置および動画再生プログラム
JP2010009192A (ja) 情報表示システム及びそれを用いた携帯情報端末
JP4870503B2 (ja) カメラ、ブログ管理システム
KR20110052247A (ko) 촬영 이미지를 제공하는 촬영 장치, 촬영 이미지 및 연관 이미지를 디스플레이하는 디스플레이 장치 및 그 방법들
JP5325012B2 (ja) 歌唱者画像撮影機能を有するカラオケシステム
US10026198B2 (en) Method, system and electronic device for at least one of efficient graphic processing and salient based learning
WO2023021759A1 (ja) 情報処理装置、情報処理方法
JP2011043931A (ja) 情報処理装置、表示制御方法およびプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120911

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120911

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130312

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130424

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130702

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130723

R150 Certificate of patent or registration of utility model

Ref document number: 5328810

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees