JP6304238B2 - 表示制御装置、表示制御方法および記録媒体 - Google Patents

表示制御装置、表示制御方法および記録媒体 Download PDF

Info

Publication number
JP6304238B2
JP6304238B2 JP2015508122A JP2015508122A JP6304238B2 JP 6304238 B2 JP6304238 B2 JP 6304238B2 JP 2015508122 A JP2015508122 A JP 2015508122A JP 2015508122 A JP2015508122 A JP 2015508122A JP 6304238 B2 JP6304238 B2 JP 6304238B2
Authority
JP
Japan
Prior art keywords
display control
virtual object
imaging
captured image
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015508122A
Other languages
English (en)
Other versions
JPWO2014156257A1 (ja
Inventor
フランク ニールセン
フランク ニールセン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2014156257A1 publication Critical patent/JPWO2014156257A1/ja
Application granted granted Critical
Publication of JP6304238B2 publication Critical patent/JP6304238B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Studio Devices (AREA)

Description

本開示は、表示制御装置、表示制御方法および記録媒体に関する。
近年、撮像画像を画像信号として記録媒体に記憶するカメラが普及している。カメラは、ズーム操作を検出すると、望遠機能によって遠方の景色を順次に表示することが可能である。しかし、無限にズーム操作を行うことはできないため、遠方の景色を無限に表示し続けることは困難であった。そこで、遠方の景色をズーム操作に応じて仮想的に表示することが可能な技術が開示されている（例えば、特許文献１参照）。かかる技術によれば、無限にズーム操作を行って遠方の景色を仮想的に際限なく表示することが可能である。
特願２０１２−０２４７７２
しかしながら、かかる技術においては、カメラの位置情報および方向情報に基づいて表示対象の仮想オブジェクトが移動されるため、実空間における撮像範囲の移動量に対する仮想オブジェクトの移動量の割合が撮像倍率に関わらず一定となっている。しかし、撮像倍率に関わらず、実空間における撮像範囲の移動量に対する仮想オブジェクトの移動量の割合を一定とすると、ユーザの使用感が向上しないことが想定される。したがって、撮像箇所に対応する仮想オブジェクトを表示する場合において、ユーザの使用感を向上させることが可能な技術が実現されることが望ましい。
本開示によれば、撮像範囲が撮像された撮像画像を取得する画像取得部と、前記撮像画像に映る撮像対象に応じた仮想オブジェクトが表示されるように表示部を制御する表示制御部と、を備え、前記表示制御部は、前記撮像画像の撮像倍率に応じて、実空間における前記撮像範囲の移動量に対する仮想画像における前記仮想オブジェクトの移動量の割合が変化するように前記仮想オブジェクトを表示させる、表示制御装置が提供される。
また、本開示によれば、撮像範囲が撮像された撮像画像を取得することと、前記撮像画像に映る撮像対象に応じた仮想オブジェクトが表示されるように表示部を制御することと、前記撮像画像の撮像倍率に応じて、実空間における前記撮像範囲の移動量に対する仮想画像における前記仮想オブジェクトの移動量の割合が変化するように前記仮想オブジェクトを表示させることと、を含む、表示制御方法が提供される。
また、本開示によれば、コンピュータを、撮像範囲が撮像された撮像画像を取得する画像取得部と、前記撮像画像に映る撮像対象に応じた仮想オブジェクトが表示されるように表示部を制御する表示制御部と、を備え、前記表示制御部は、前記撮像画像の撮像倍率に応じて、実空間における前記撮像範囲の移動量に対する仮想画像における前記仮想オブジェクトの移動量の割合を変化するように前記仮想オブジェクトを表示させる、表示制御装置として機能させるためのプログラムを記録した、コンピュータに読み取り可能な記録媒体が提供される。
以上説明したように本開示によれば、撮像箇所に対応する仮想オブジェクトを表示する場合において、ユーザの使用感を向上させることが可能である。
本開示の実施形態に係る情報処理システムの構成例を示す図である。 本開示の実施形態に係る表示制御装置の機能構成例を示す図である。 本開示の実施形態に係る情報処理装置の機能構成例を示す図である。 本開示の実施形態に係る情報処理システムの概要を説明するための図である。 本開示の実施形態に係る情報処理システムの動作例を説明するための図である。 撮像倍率に応じた仮想オブジェクトの抽出について説明するための図である。 実空間における撮像範囲の移動量と仮想画像における仮想オブジェクトの移動量との関係の例を説明するための図である。 本開示の実施形態に係る情報処理システムの動作例を示すフローチャートである。 撮像範囲の変化量と撮像倍率と表示内容との関係の例を説明するための図である。 撮像画像の鮮明度と表示内容との関係の例を説明するための図である。 仮想オブジェクトが表示され得る撮像倍率の範囲の表示例を示す図である。 仮想画像の各領域に対応付けられている推奨撮像倍率の表示例を示す図である。 撮像倍率に応じて仮想オブジェクトの姿勢を変化させる例を説明するための図である。 本開示の実施形態に係る表示制御装置のハードウェア構成例を示す図である。 本開示の実施形態に係る情報処理装置のハードウェア構成例を示す図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、本明細書および図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットまたは数字を付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
また、以下に示す項目順序に従って当該「発明を実施するための形態」を説明する。
１．実施形態
１−１．情報処理システムの構成例
１−２．表示制御装置の機能構成例
１−３．情報処理装置の機能構成例
１−４．情報処理システムの概要
１−５．情報処理システムの機能詳細
１−６．ハードウェア構成例
２．むすび
＜＜１．実施形態＞＞
まず、本開示の実施形態について説明する。
［１−１．情報処理システムの構成例］
最初に、本開示の実施形態に係る情報処理システム１の構成例について説明する。図１は、本開示の実施形態に係る情報処理システム１の構成例を示す図である。図１に示すように、情報処理システム１は、表示制御装置１０と情報処理装置２０とを備える。表示制御装置１０と情報処理装置２０とはネットワーク３０を介して通信を行うことが可能である。
表示制御装置１０は、表示制御を行う機能を有する。以下の説明においては、表示制御装置１０がデジタルカメラに適用される場合を例として説明するが、表示制御装置１０は、デジタルカメラ以外の装置に適用されてもよい。例えば、表示制御装置１０は、ビデオカメラ、カメラ機能付きのスマートフォン、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、携帯電話、携帯用音楽再生装置、携帯用映像処理装置、携帯用ゲーム機器、望遠鏡、双眼鏡等に適用されてもよい。
情報処理装置２０は、表示制御装置１０からの要求に従った情報処理を行い、処理結果を表示制御装置１０に応答することが可能である。なお、以下の説明においては、情報処理システム１が情報処理装置２０を有する場合を例として説明するが、情報処理装置２０が有する機能の一部または全部は、情報処理装置２０の代わりに表示制御装置１０が有してもよい。例えば、以下において説明する機能構成（認識部２１１および抽出部２１２）を表示制御装置１０が有する場合には、情報処理システム１は情報処理装置２０を有していなくてもよい。
ネットワーク３０は、接続されている装置から送信される情報の有線または無線の伝送路である。例えば、ネットワーク３０は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）などを含んでもよい。また、ネットワークは、ＩＰ−ＶＰＮ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ−Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。
［１−２．表示制御装置の機能構成例］
続いて、本開示の実施形態に係る表示制御装置１０の機能構成例について説明する。図２は、本開示の実施形態に係る表示制御装置１０の機能構成例を示す図である。図２に示すように、表示制御装置１０は、制御部１１０、操作部１２０、撮像部１３０、記憶部１４０、通信部１５０および表示部１６０を備える。
制御部１１０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などのプロセッサに相当する。制御部１１０は、記憶部１４０または他の記憶媒体に記憶されるプログラムを実行することにより、制御部１１０が有する様々な機能を発揮する。制御部１１０は、画像取得部１１１および表示制御部１１２を有する。画像取得部１１１および表示制御部１１２それぞれが有する機能については後に説明する。
操作部１２０は、ユーザによる操作を検出して制御部１１０に出力する。本明細書においては、操作部１２０がボタンにより構成される場合を想定しているため、ユーザによる操作はボタンを押下する操作に相当する。しかし、操作部１２０はボタン以外のハードウェア（例えば、タッチパネル等）により構成されていてもよい。なお、図２に示した例では、操作部１２０は表示制御装置１０と一体化されているが、操作部１２０は、表示制御装置１０と別体に構成されていてもよい。
撮像部１３０は、撮像範囲を撮像することにより撮像画像を取得し、撮像画像を制御部１１０に出力する。撮像部１３０は、操作部１２０に対して入力される操作に従って設定された撮像倍率により撮像を行う。撮像倍率の調整は、ズーム機能によって実現され得るが、このズーム機能は特に限定されず、光学ズーム機能であってもよいし、電子ズーム機能であってもよい。なお、図２に示した例では、撮像部１３０は表示制御装置１０と一体化されているが、撮像部１３０は、表示制御装置１０と別体に構成されていてもよい。
記憶部１４０は、半導体メモリまたはハードディスクなどの記憶媒体を用いて、制御部１１０を動作させるためのプログラムを記憶する。また、例えば、記憶部１４０は、プログラムによって使用される各種のデータ（例えば、各種の設定情報、コンテンツなど）を記憶することもできる。なお、図２に示した例では、記憶部１４０は表示制御装置１０と一体化されているが、記憶部１４０は表示制御装置１０と別体に構成されていてもよい。
通信部１５０は、情報処理装置２０と通信を行うことが可能である。通信部１５０による通信の形式は特に限定されず、通信部１５０による通信は、無線による通信であってもよいし、有線による通信であってもよい。なお、図２に示した例では、通信部１５０は表示制御装置１０と一体化されているが、通信部１５０は、表示制御装置１０と別体に構成されていてもよい。また、表示制御装置１０と情報処理装置２０との間の通信が不要である場合には、通信部１５０は存在しなくてもよい。
表示部１６０は、表示制御部１１２による制御に従って、各種情報の表示を行う。表示部１６０は、例えば、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、有機ＥＬ（Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ装置などにより構成される。なお、図２に示した例では、表示部１６０は表示制御装置１０と一体化されているが、表示部１６０は表示制御装置１０と別体に構成されていてもよい。
以上、本開示の実施形態に係る表示制御装置１０の機能構成例について説明した。
［１−３．情報処理装置の機能構成例］
続いて、本開示の実施形態に係る情報処理装置２０の機能構成例について説明する。図３は、本開示の実施形態に係る情報処理装置２０の機能構成例を示す図である。図３に示すように、情報処理装置２０は、制御部２１０、記憶部２２０および通信部２３０を備える。
制御部２１０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などのプロセッサに相当する。制御部２１０は、記憶部２２０または他の記憶媒体に記憶されるプログラムを実行することにより、制御部２１０が有する様々な機能を発揮する。制御部２１０は、認識部２１１および抽出部２１２を有する。認識部２１１および抽出部２１２それぞれが有する機能については後に説明する。
記憶部２２０は、半導体メモリまたはハードディスクなどの記憶媒体を用いて、制御部２１０を動作させるためのプログラムを記憶する。また、例えば、記憶部２２０は、プログラムによって使用される各種のデータ（例えば、各種の設定情報、コンテンツなど）を記憶することもできる。なお、図３に示した例では、記憶部２２０は情報処理装置２０と一体化されているが、記憶部２２０は情報処理装置２０と別体に構成されていてもよい。
通信部２３０は、表示制御装置１０と通信を行うことが可能である。通信部２３０による通信の形式は特に限定されず、通信部２３０による通信は、無線による通信であってもよいし、有線による通信であってもよい。なお、図３に示した例では、通信部２３０は情報処理装置２０と一体化されているが、通信部２３０は、情報処理装置２０と別体に構成されていてもよい。
以上、本開示の実施形態に係る情報処理装置２０の機能構成例について説明した。
［１−４．情報処理システムの概要］
続いて、本開示の実施形態に係る情報処理システム１の概要について説明する。図４は、本開示の実施形態に係る情報処理システム１の概要を説明するための図である。図４に示すように、撮像部１３０により撮像範囲が撮像されると、画像取得部１１１により撮像画像が取得される。図４に示した例では、撮像範囲内に撮像対象４０が存在するため、撮像画像には撮像対象４０が映る。なお、以下の説明においては、撮像対象４０が絵画である場合を例として説明するが、撮像対象４０は絵画以外の物体であってもよい。
図５は、本開示の実施形態に係る情報処理システム１の動作例を説明するための図である。図５に示すように、撮像画像６０が画像取得部１１１によって取得されると、認識部２１１によって撮像画像６０から撮像対象４０が認識される。例えば、認識部２２１は、撮像画像６０から、撮像対象４０、実空間における撮像対象４０の位置および姿勢を認識する。例えば、認識部２２１は、撮像画像６０から決定される特徴量をあらかじめ登録された実オブジェクトの特徴量と照合することにより、撮像対象４０を認識することができる。
より具体的には、認識部２２１は、ＳＩＦＴ法またはＲａｎｄｏｍ Ｆｅｒｎｓ法などの特徴量決定法に従って撮像画像６０に映る撮像対象４０の特徴量を決定し、決定した特徴量をあらかじめ登録された実オブジェクトの特徴量と照合する。そして、認識部２２１は、撮像画像６０に映る撮像対象４０の特徴量と最も適合する特徴量と関連付けられている実オブジェクト識別情報、実空間における撮像対象４０の位置および姿勢を認識する。
ここで、認識部２２１により、実オブジェクトの特徴量と実オブジェクト識別情報とが関連付けられてなる特徴量辞書が使用されるが、特徴量辞書は、記憶部１４０により記憶されていてもよいし、サーバから通信部１５０により受信されてもよい。実オブジェクトの特徴量は、例えば、ＳＩＦＴ法またはＲａｎｄｏｍ Ｆｅｒｎｓ法に従って実オブジェクトの学習用画像から決定された特徴量の集合であってもよい。
なお、撮像対象４０の認識はかかる例に限定されない。例えば、認識部２２１は、撮像対象４０に関連付けられている既知の図形若しくは記号、人工マーカ（例えば、ＣｙｂｅｒＣｏｄｅ（登録商標）若しくはＱＲコード（登録商標）などの二次元バーコード）または自然マーカなどのマーカを認識することにより、撮像対象４０を間接的に認識してもよい。また、認識部２２１は、撮像対象４０を認識し、撮像対象４０の撮像画像６０におけるサイズおよび形状から撮像対象４０の位置および姿勢を認識してもよい。
また、上記では、認識部２２１が撮像画像６０に含まれる撮像対象４０の位置および姿勢を画像処理により認識する例を説明したが、撮像対象４０の位置および姿勢の認識手法は画像処理による認識手法に限定されない。例えば、認識部２２１は、撮像対象４０の向きおよび撮像対象４０の現在位置を検出し、検出結果に基づいて、撮像画像６０における撮像対象４０の位置および姿勢を推定することも可能である。
撮像対象４０が認識されると、撮像対象４０に応じた仮想画像５０が認識部２１１によって取得される。例えば、実オブジェクト識別情報と仮想画像とが関連付けられてなる情報が記憶部２２０によりあらかじめ記憶されている場合には、撮像対象４０の実オブジェクト識別情報に関連付けられた仮想画像５０が、認識部２１１により記憶部２２０から取得される。
仮想画像５０が取得されると、抽出部２１２によって仮想画像５０から仮想オブジェクト５１が抽出される。例えば、抽出部２１２は、撮像対象４０における撮像箇所４１に対応する仮想オブジェクト５１を仮想画像５０から抽出する。より詳細には、図５に示すように、抽出部２１２は、撮像対象４０の位置および姿勢に従って、撮像対象４０における撮像箇所４１に対応する仮想オブジェクト５１の位置を決定し、決定した位置に存在する仮想オブジェクト５１を仮想画像５０から抽出する。
仮想オブジェクト５１が抽出されると、表示制御部１１２は、仮想オブジェクト５１が表示部１６０により表示されるように表示部１６０を制御する。例えば、表示制御部１１２は、撮像画像６０の代わりに仮想オブジェクト５１を表示させてもよいし、撮像画像６０に仮想オブジェクト５１を重畳させた合成画像を表示させてもよい。表示制御部１１２は、合成画像を表示させる場合には、図５に示したように、撮像対象４０の位置および姿勢に合うように仮想オブジェクト５１の位置および姿勢を調整して撮像画像６０に重畳させた合成画像を表示部１６０に表示させてもよい。
表示制御部１１２は、抽出部２１２によって抽出された仮想オブジェクト５１をそのまま表示させてもよいし、仮想オブジェクト５１に対して何らかの加工を行った上で表示させてもよい。例えば、表示制御部１１２は、仮想オブジェクト５１に対して撮像画像６０に応じたフィルタ処理を施し、フィルタ処理が施された後の仮想オブジェクトが表示されるように制御してもよい。フィルタ処理は、撮像画像の画素値に仮想オブジェクトの画素値を近づける処理であってもよい。フィルタ処理としては、ライティングやカラートランスファーなどといった技術を用いることができる。
このように仮想オブジェクト５１が表示された状態において、ユーザによる操作に従って撮像倍率が変更されると、変更後の撮像倍率に応じて変更された仮想オブジェクト５１が抽出部２１２によって仮想画像５０から抽出され、抽出された仮想オブジェクト５１が表示制御部１１２により表示制御される。例えば、抽出部２１２は、撮像倍率が高いほど狭い領域の仮想オブジェクト５１を仮想画像５０から抽出すればよい。
図６は、撮像倍率に応じた仮想オブジェクト５１の抽出について説明するための図である。図６に示した例では、撮像倍率ｐ−ｘに比較して撮像倍率ｐ−ｙの方が高くなっている。このような場合には、撮像倍率ｐ−ｘに応じて抽出される仮想オブジェクト５１よりも撮像倍率ｐ−ｙに応じて抽出される仮想オブジェクト５１の方が狭い領域となるように、仮想オブジェクト５１が抽出されて表示されればよい。
一般的には、撮像倍率を高くするに従って撮像画像６０の鮮明度は低下していくと考えられる。一方、このようにして撮像倍率に応じた仮想オブジェクト５１が抽出されて表示されることによって、撮像倍率を高くしても、鮮明度を低下させずに撮像倍率に応じた仮想オブジェクト５１を表示させることができる。図６に示したように、撮像倍率ｐ−ｙの場合には、仮想画像５０の狭い領域が仮想オブジェクト５１として抽出されて表示されるが、仮想オブジェクト５１の鮮明度は低下させずに済む。
ここで、ユーザによって撮像範囲が移動された場合には、撮像範囲の移動に伴って仮想画像５０における仮想オブジェクト５１を移動させる必要がある。この場合、上記したように、実空間における撮像範囲の移動量に対する仮想画像５０における仮想オブジェクト５１の移動量の割合を撮像倍率に関わらず一定とすると、ユーザの使用感が向上しないことが想定される。
具体的な例について以下に説明する。図７は、実空間における撮像範囲の移動量と仮想画像５０における仮想オブジェクト５１の移動量との関係の例を説明するための図である。図７に示すように、撮像倍率ｐ−ｘに比較して撮像倍率ｐ−ｙの方が高い場合を想定する。このような場合には、撮像倍率ｐ−ｙにおける撮像箇所４１−ｙ１、４１−ｙ２の方が、撮像倍率ｐ−ｘにおける撮像箇所４１−ｘ１、４１−ｘ２よりも狭い領域となる。
そこで、ユーザが移動量ｍだけ撮像範囲を移動させた場合（あるいは角度ａだけ撮像方向を回転させた場合）、撮像倍率ｐ−ｘによって撮像したときと比較して、撮像倍率ｐ−ｙによって撮像したときの方が、撮像箇所のサイズを基準とした相対的な撮像範囲の移動量は大きくなってしまう。相対的な撮像範囲の移動量が大きくなれば、ユーザが撮像しようとする箇所を撮像範囲内に収めるのが困難になるといった状況にもつながり得る。
そこで、本明細書においては、撮像箇所に対応する仮想オブジェクト５１を表示する場合において、ユーザの使用感を向上させることが可能な技術を提案する。具体的には、表示制御部１１２は、撮像画像６０の撮像倍率に応じて、実空間における撮像範囲の移動量ｍに対する仮想画像５０における仮想オブジェクト５１の移動量の割合が変化するように仮想オブジェクト５１を表示させればよい。
そのために、まず、抽出部２１２は、撮像画像６０の撮像倍率に応じて、実空間における撮像範囲の移動量ｍに対する仮想画像５０における仮想オブジェクト５１の移動量の割合を変化させればよい。そして、抽出部２１２は、変化後の割合に基づいて算出した移動量だけ仮想画像５０において仮想オブジェクト５１を移動させればよい。表示制御部１１２は、移動後の仮想オブジェクト５１を表示させればよい。
特に、仮想画像５０における仮想オブジェクト５１の移動量は、撮像倍率ｐ−ｘによって撮像したときと比較して撮像倍率ｐ−ｙによって撮像したときの方が小さくなるとユーザの使用感が向上することが期待される。具体的には、図７に示したように、撮像倍率ｐ−ｘによって撮像したときの仮想画像５０における仮想オブジェクト５１の移動量ｎｘよりも、撮像倍率ｐ−ｙによって撮像したときの仮想画像５０における仮想オブジェクト５１の移動量ｎｙの方が小さいとよい。
したがって、表示制御部１１２は、撮像画像６０の撮像倍率が大きいほど、実空間における撮像範囲の移動量に対する仮想画像５０における仮想オブジェクト５１の移動量の割合が小さくなるように仮想オブジェクト５１を表示させるとよい。そのために、抽出部２１２は、撮像画像６０の撮像倍率が大きいほど、実空間における撮像範囲の移動量に対する仮想画像５０における仮想オブジェクト５１の移動量の割合を小さくすればよい。なお、図７においては、移動前の仮想オブジェクトを５１−１、移動後の仮想オブジェクトを５１−２としている。
以上、本開示の実施形態に係る情報処理システム１の概要について説明した。
［１−５．情報処理システムの機能詳細］
続いて、本開示の実施形態に係る情報処理システム１の機能詳細について説明する。まず、本開示の実施形態に係る情報処理システム１の動作例について説明する。図８は、本開示の実施形態に係る情報処理システム１の動作例を示すフローチャートである。
図８に示すように、まず、撮像部１３０が撮像範囲を撮像すると（Ｓ１１）、画像取得部１１１は、撮像部１３０により撮像された撮像画像を取得する（Ｓ１２）。続いて、認識部２１１は、撮像画像から撮像対象を認識し（Ｓ１３）、撮像対象に応じた仮想画像を取得する（Ｓ１４）。なお、認識部２１１によって撮像対象が認識されなかった場合には、表示制御部１１２は、撮像画像が表示されるように制御すればよい。
続いて、抽出部２１２は、仮想画像から仮想オブジェクトを抽出し（Ｓ１５）、表示制御部１１２は、仮想オブジェクトが表示部１６０に表示されるように表示部１６０を制御する。表示部１６０は、表示制御部１１２による制御に従って、仮想オブジェクトを表示する（Ｓ１６）。その後、撮像倍率が変更された場合には（Ｓ１７で「Ｙｅｓ」）、抽出部２１２は、その撮像倍率を取得し（Ｓ１８）、撮像倍率に応じた仮想オブジェクトを仮想画像から抽出する（Ｓ１９）。
続いて、表示制御部１１２は、仮想オブジェクトが表示部１６０に表示されるように表示部１６０を制御する。表示部１６０は、表示制御部１１２による制御に従って、仮想オブジェクトを表示し直す（Ｓ２０）。なお、撮像倍率が変更されていない場合には（Ｓ１７で「Ｎｏ」）、Ｓ２１の動作に進めばよい。
続いて、所定の条件が満たされた場合には（Ｓ２１で「Ｙｅｓ」）、抽出部２１２は、仮想画像における仮想オブジェクトの移動量を決定し（Ｓ２２）、仮想画像において仮想オブジェクトを移動させる（Ｓ２３）。表示制御部１１２は、移動された後の仮想オブジェクトが表示部１６０に表示されるように表示部１６０を制御する。表示部１６０は、表示制御部１１２による制御に従って、仮想オブジェクトを表示し直す（Ｓ２４）。
ここで、所定の条件は特に限定されない。例えば、所定の条件は、撮像範囲が移動したという条件であってもよいし、他の条件であってもよい。所定の条件については、後に詳細に説明する。
なお、Ｓ２４の後の動作は特に限定されない。例えば、認識部２１１により撮像対象が認識されている間は、Ｓ１７以降の動作が繰り返されてもよい。一方、例えば、認識部２１１により他の撮像対象が認識された場合は、Ｓ１４以降の動作が繰り返されてもよい。また、認識部２１１により撮像対象が認識されなくなった場合は、表示制御部１１２は、撮像画像が表示部１６０に表示されるように表示部１６０を制御してもよい。
以上、本開示の実施形態に係る情報処理システム１の動作例について説明した。
続いて、撮像範囲の変化量と撮像倍率と表示内容との関係の例について説明する。図９は、撮像範囲の変化量と撮像倍率と表示内容との関係の例を説明するための図である。図９に示すように、表示制御部１１２は、撮像倍率が仮想オブジェクトを表示可能な撮像倍率の上限値よりも大きい場合には、撮像画像が表示部１６０に表示されるように表示部１６０を制御すればよい。また、表示制御部１１２は、撮像倍率が仮想オブジェクトを表示可能な撮像倍率の下限値よりも小さい場合には、撮像画像が表示部１６０に表示されるように表示部１６０を制御すればよい。
なお、仮想オブジェクトを表示可能な撮像倍率の上限値および下限値は、あらかじめ定められていてもよい。撮像倍率を大きくしすぎたり小さくしすぎたりした場合には、仮想オブジェクトのサイズが適切ではなくなる可能性があるからである。かかる下限値から上限値までの範囲は、仮想オブジェクトが表示され得る撮像倍率の範囲に相当する。また、図９において、「最大値」は、撮像部１３０の撮像倍率として設定可能な最大の値に相当し、「最小値」は、撮像部１３０の撮像倍率として設定可能な最小の値に相当する。
撮像倍率が仮想オブジェクトを表示可能な範囲である場合においては、撮像範囲の移動に伴って仮想画像において仮想オブジェクトが必ず移動されてもよいが、上記したように、所定の条件が満たされる場合に、仮想オブジェクトが移動されてもよい。例えば、撮像範囲の変化量が第１の閾値を下回る場合には、ユーザの手ぶれによって撮像範囲が変化していることが想定される。したがって、かかる場合には、表示制御部１１２は、仮想画像における仮想オブジェクトの移動を禁止してもよい。図９に示した例では、撮像倍率が下限値である場合に第１の閾値が閾値Ｔｈ１と示されている。
ここで、撮像範囲の変化量は、どのような手法によって取得されてもよい。例えば、表示制御部１１２は、撮像画像における特徴点の動き量を撮像範囲の変化量として測定してもよい。また、表示制御部１１２は、所定のセンサによって検出された撮像部１３０の動き量を撮像範囲の変化量として取得してもよい。所定のセンサの種類は特に限定されないが、例えば、所定のセンサが加速度センサである場合には、加速度センサによって測定された加速度を撮像範囲の変化量として取得してもよい。
第１の閾値は、撮像倍率に関わらず一定であってもよいが、撮像倍率に従って変化されてもよい。すなわち、表示制御部１１２は、撮像画像の撮像倍率に応じて第１の閾値を制御してもよい。例えば、上記したように、撮像画像の撮像倍率が大きいほど、撮像箇所が狭い領域となり、撮像箇所のサイズを基準とした相対的な撮像範囲の移動量は大きくなってしまう。そのため、表示制御部１１２は、撮像画像の撮像倍率が大きいほど、第１の閾値を大きくしてもよい。このようにすれば、撮像範囲の変化がある程度大きくなってしまったとしても、仮想オブジェクトの移動が禁止され、ユーザの使用感が向上することが期待される。
なお、図９に示した例では、第１の閾値を示すラインが曲線を描いているが、この曲線の形状は限定されない。あるいは、第１の閾値を示すラインは直線であってもよい。すなわち、第１の閾値は、撮像倍率の変化に伴い線形的に変化してもよいし、非線形的に変化してもよい。
一方、例えば、撮像範囲の変化量が第１の閾値と第２の閾値との間である場合には、ユーザが、仮想オブジェクトを仮想画像において移動させながら閲覧しようとしていることが想定される。したがって、かかる場合には、表示制御部１１２は、仮想画像において仮想オブジェクトを移動させてもよい。図９に示した例では、撮像倍率が下限値である場合に第２の閾値が閾値Ｔｈ２と示されている。
また、例えば、撮像範囲の変化量が第２の閾値を上回る場合には、ユーザが仮想オブジェクトを閲覧しようとしていないことが想定される。したがって、かかる場合には、表示制御部１１２は、仮想画像における仮想オブジェクトの移動を禁止してもよい。
第２の閾値も第１の閾値と同様に、撮像倍率に関わらず一定であってもよいが、撮像倍率に従って変化されてもよい。すなわち、表示制御部１１２は、撮像画像の撮像倍率に応じて第２の閾値を制御してもよい。例えば、上記したように、撮像画像の撮像倍率が大きいほど、撮像箇所が狭い領域となり、撮像箇所のサイズを基準とした相対的な撮像範囲の移動量は大きくなってしまう。そのため、表示制御部１１２は、撮像画像の撮像倍率が大きいほど、第２の閾値を大きくしてもよい。このようにすれば、撮像範囲の変化がある程度大きくなってしまったとしても、仮想オブジェクトが移動され、ユーザの使用感が向上することが期待される。
なお、図９に示した例では、第２の閾値を示すラインが曲線を描いているが、この曲線の形状は限定されない。あるいは、第２の閾値を示すラインは直線であってもよい。すなわち、第２の閾値は、撮像倍率の変化に伴い線形的に変化してもよいし、非線形的に変化してもよい。
以上、撮像範囲の変化量と撮像倍率と表示内容との関係の例について説明した。
続いて、撮像画像の鮮明度と表示内容との関係の例について説明する。図１０は、撮像画像の鮮明度と表示内容との関係の例を説明するための図である。上記では、撮像画像から撮像対象が認識された場合には、撮像対象に応じた仮想オブジェクトを表示させるが、撮像画像から撮像対象が認識されない場合には、撮像画像を表示させる例を示した。
しかし、撮像画像の鮮明度に応じて、仮想オブジェクトを表示させるか撮像画像を表示させるかを切り替えるようにしてもよい。例えば、撮像画像の鮮明度が所定の閾値よりも高い場合には、撮像画像がユーザの閲覧に適していることが想定されるが、撮像画像の鮮明度が所定の閾値よりも低い場合には、撮像画像がユーザの閲覧に適していないことが想定される。
したがって、表示制御部１１２は、撮像画像の鮮明度が所定の閾値を上回る場合には、撮像画像が表示されるように制御してもよい。一方、表示制御部１１２は、撮像画像の鮮明度が所定の閾値を下回る場合には、仮想オブジェクトが表示されるように制御してもよい。図１０に示した例では、撮像画像の鮮明度ｃ−ａは閾値Ｔｈ３より高いが、撮像画像の鮮明度ｃ−ｂは閾値Ｔｈ３より低い。このような場合には、表示制御部１１２は、撮像画像の鮮明度ｃ−ａの場合には、仮想オブジェクトが表示されるように制御し、撮像画像の鮮明度ｃ−ｂの場合には、撮像画像が表示されるように制御してもよい。
以上、撮像画像の鮮明度と表示内容との関係の例について説明した。
続いて、仮想オブジェクトが表示され得る撮像倍率の範囲の表示例について説明する。図１１は、仮想オブジェクトが表示され得る撮像倍率の範囲の表示例を示す図である。上記したように、撮像倍率の下限値から上限値までの範囲は、仮想オブジェクトが表示され得る撮像倍率の範囲に相当する。したがって、表示制御部１１２によって仮想オブジェクトが表示され得る撮像倍率の範囲が表示されるように制御されれば、ユーザの利便性が向上することが期待される。
図１１に示した例では、表示制御部１１２は、仮想オブジェクトが表示され得る撮像倍率の範囲を下限値から上限値までの範囲によって表示されるように制御している。また、図１１に示すように、表示制御部１１２は、撮像部１３０の撮像倍率として設定可能な最小値から最大値までの範囲が表示されるように制御してもよい。さらに、図１１に示すように、表示制御部１１２は、現在の撮像倍率ｐ−ｎが表示されるように制御してもよい。
以上、仮想オブジェクトが表示され得る撮像倍率の範囲の表示例について説明した。
続いて、推奨撮像倍率の表示について説明する。推奨される撮像倍率は仮想画像毎に異なっている場合が想定される。したがって、表示制御部１１２によって、仮想画像に対応付けられている推奨撮像倍率が表示されるように制御されれば、ユーザは撮像倍率を推奨撮像倍率に合わせて仮想画像を閲覧することが容易になる。
さらに、推奨される撮像倍率は仮想画像の領域毎に異なっている場合が想定される。したがって、表示制御部１１２によって、仮想画像の各領域に対応付けられている推奨撮像倍率が表示されるように制御されれば、ユーザは撮像倍率を推奨撮像倍率に合わせて仮想画像のその領域を閲覧することが容易になる。
図１２は、仮想画像の各領域に対応付けられている推奨撮像倍率の表示例を示す図である。図１２に示した例では、表示制御部１１２によって、仮想画像の各領域に対応付けられている推奨撮像倍率が、「推奨撮像倍率５倍」「推奨撮像倍率１０倍」「推奨撮像倍率３倍」などとして表示されるように制御されている。なお、推奨撮像倍率は、あらかじめ仮想画像に対応付けられて登録されていてもよい。
以上、推奨撮像倍率の表示について説明した。
続いて、撮像倍率に応じて仮想オブジェクトの姿勢を変化させる例を説明する。上記したように、表示制御部１１２は、撮像対象の姿勢に合うように仮想オブジェクトの姿勢を調整して表示部１６０に表示させてもよいが、仮想オブジェクトの姿勢を調整せずに表示部１６０に表示させてもよい。例えば、撮像倍率が高い場合には、仮想オブジェクトが画面内に大きく表示されるため、仮想オブジェクトの姿勢は調整されなくてもよいが、撮像倍率が低い場合には、仮想オブジェクトが画面内に小さく表示されるため、仮想オブジェクトの姿勢は調整されてもよい。
したがって、表示制御部１１２は、撮像画像の撮像倍率に応じて、仮想オブジェクトの姿勢が変化したように仮想オブジェクトを表示させればよい。例えば、表示制御部１１２は、撮像倍率が所定の閾値よりも小さい場合には、仮想オブジェクトの姿勢を撮像対象の姿勢に合うように調整して表示させ、撮像倍率が所定の閾値よりも大きい場合には、仮想オブジェクトの姿勢を調整せずに表示させてもよい。
図１３は、撮像倍率に応じて仮想オブジェクトの姿勢を変化させる例を説明するための図である。図１３に示した例では、撮像倍率ｐ−ｘが閾値Ｔｈ４よりも小さく、撮像倍率ｐ−ｙが閾値Ｔｈ４よりも大きい。したがって、表示制御部１１２は、撮像倍率ｐ−ｘによって撮像された場合には、仮想オブジェクト５１の姿勢を撮像対象の姿勢に合うように調整して表示させ、撮像倍率ｐ−ｙによって撮像された場合には、仮想オブジェクト５１の姿勢を調整せずに表示させてもよい。
以上、撮像倍率に応じて仮想オブジェクトの姿勢を変化させる例を説明した。また、本開示の実施形態に係る情報処理システム１の機能詳細について説明した。
［１−６．ハードウェア構成例］
続いて、本開示の実施形態に係る表示制御装置１０のハードウェア構成例について説明する。図１４は、本開示の実施形態に係る表示制御装置１０のハードウェア構成例を示す図である。ただし、図１４に示したハードウェア構成例は、表示制御装置１０のハードウェア構成の一例を示したに過ぎない。したがって、表示制御装置１０のハードウェア構成は、図１４に示した例に限定されない。
図１４に示したように、表示制御装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）８０１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）８０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）８０３と、センサ８０４と、入力装置８０８と、出力装置８１０と、ストレージ装置８１１と、ドライブ８１２と、撮像装置８１３と、通信装置８１５とを備える。
ＣＰＵ８０１は、演算処理装置および制御装置として機能し、各種プログラムに従って表示制御装置１０内の動作全般を制御する。また、ＣＰＵ８０１は、マイクロプロセッサであってもよい。ＲＯＭ８０２は、ＣＰＵ８０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ８０３は、ＣＰＵ８０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはＣＰＵバスなどから構成されるホストバスにより相互に接続されている。
センサ８０４は、表示制御装置１０の状態を検知するための端末状態検知センサなどの各種検知用センサとその周辺回路からなる。センサ８０４としては、一例として、傾きセンサ、加速度センサ、方位センサ、温度センサ、湿度センサ、照度センサなどを挙げることができる。センサ８０４による検知信号は、ＣＰＵ８０１に送られる。これにより、ＣＰＵ８０１は、表示制御装置１０の状態（傾き、加速度、方位、温度、湿度、照度など）を知ることができる。
入力装置８０８は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチおよびレバーなどユーザが情報を入力するための入力部と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ８０１に出力する入力制御回路などから構成されている。表示制御装置１０のユーザは、該入力装置８０８を操作することにより、表示制御装置１０に対して各種のデータを入力したり処理動作を指示したりすることができる。
出力装置８１０は、例えば、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置およびランプなどの表示装置を含む。さらに、出力装置８１０は、スピーカおよびヘッドホンなどの音声出力装置を含む。例えば、表示装置は、撮像された画像や生成された画像などを表示する。一方、音声出力装置は、音声データ等を音声に変換して出力する。
ストレージ装置８１１は、表示制御装置１０の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置８１１は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置８１１は、ＣＰＵ８０１が実行するプログラムや各種データを格納する。
ドライブ８１２は、記憶媒体用リーダライタであり、表示制御装置１０に内蔵、あるいは外付けされる。ドライブ８１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体７１に記録されている情報を読み出して、ＲＡＭ８０３に出力する。また、ドライブ８１２は、リムーバブル記憶媒体７１に情報を書き込むこともできる。
撮像装置８１３は、光を集光する撮影レンズおよびズームレンズなどの撮像光学系、およびＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの信号変換素子を備える。撮像光学系は、被写体から発せられる光を集光して信号変換部に被写体像を形成し、信号変換素子は、形成された被写体像を電気的な画像信号に変換する。
通信装置８１５は、例えば、ネットワークに接続するための通信デバイス等で構成された通信インタフェースである。また、通信装置８１５は、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）対応通信装置であっても、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。通信装置８１５は、例えば、ネットワーク３０を介して情報処理装置２０と通信を行うことが可能である。
以上、本開示の実施形態に係る表示制御装置１０のハードウェア構成例について説明した。
続いて、本開示の実施形態に係る情報処理装置２０のハードウェア構成例について説明する。図１５は、本開示の実施形態に係る情報処理装置２０のハードウェア構成例を示す図である。ただし、図１５に示したハードウェア構成例は、情報処理装置２０のハードウェア構成の一例を示したに過ぎない。したがって、情報処理装置２０のハードウェア構成は、図１５に示した例に限定されない。
図１５に示したように、情報処理装置２０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９０１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０３と、ストレージ装置９１１と、ドライブ９１２と、通信装置９１５とを備える。
ＣＰＵ９０１は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置２０内の動作全般を制御する。また、ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはＣＰＵバスなどから構成されるホストバスにより相互に接続されている。
ストレージ装置９１１は、情報処理装置２０の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１１は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置９１１は、ＣＰＵ９０１が実行するプログラムや各種データを格納する。
ドライブ９１２は、記憶媒体用リーダライタであり、情報処理装置２０に内蔵、あるいは外付けされる。ドライブ９１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体７１に記録されている情報を読み出して、ＲＡＭ９０３に出力する。また、ドライブ９１２は、リムーバブル記憶媒体７１に情報を書き込むこともできる。
通信装置９１５は、例えば、ネットワークに接続するための通信デバイス等で構成された通信インタフェースである。また、通信装置９１５は、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）対応通信装置であっても、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。通信装置９１５は、例えば、ネットワーク３０を介して情報処理装置２０と通信を行うことが可能である。
＜＜２．むすび＞＞
以上説明したように、本開示の実施形態によれば、撮像範囲が撮像された撮像画像を取得する画像取得部１１１と、撮像画像に映る撮像対象に応じた仮想画像から抽出された仮想オブジェクトが表示されるように制御する表示制御部１１２と、を備える表示制御装置１０が提供される。表示制御部１１２は、撮像画像の撮像倍率に応じて、実空間における撮像範囲の移動量に対する仮想画像における仮想オブジェクトの移動量の割合が変化するように仮想オブジェクトを表示させる。かかる構成によれば、ユーザの使用感を向上させることが可能である。
なお、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、コンピュータに内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを、上記した表示制御装置１０が有する構成と同等の機能を発揮させるためのプログラムも作成可能である。また、該プログラムを記録した、コンピュータに読み取り可能な記録媒体も提供され得る。
また、コンピュータに内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを、上記した情報処理装置２０が有する構成と同等の機能を発揮させるためのプログラムも作成可能である。また、該プログラムを記録した、コンピュータに読み取り可能な記録媒体も提供され得る。
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
撮像範囲が撮像された撮像画像を取得する画像取得部と、
前記撮像画像に映る撮像対象に応じた仮想オブジェクトが表示されるように表示部を制御する表示制御部と、を備え、
前記表示制御部は、前記撮像画像の撮像倍率に応じて、実空間における前記撮像範囲の移動量に対する仮想画像における前記仮想オブジェクトの移動量の割合が変化するように前記仮想オブジェクトを表示させる、
表示制御装置。
（２）
前記表示制御部は、前記撮像対象に応じた仮想画像から抽出された仮想オブジェクトが表示されるように前記表示部を制御する、
前記（１）に記載の表示制御装置。
（３）
前記表示制御部は、前記撮像画像の撮像倍率が大きいほど、実空間における前記撮像範囲の移動量に対する前記仮想画像における前記仮想オブジェクトの移動量の割合が小さくなるように前記仮想オブジェクトを表示させる、
前記（１）に記載の表示制御装置。
（４）
前記表示制御部は、前記撮像範囲の変化量が第１の閾値を下回る場合には、前記仮想画像における前記仮想オブジェクトの移動を禁止する、
前記（１）〜（３）のいずれか一項に記載の表示制御装置。
（５）
前記表示制御部は、前記撮像画像の撮像倍率に応じて前記第１の閾値を制御する、
前記（４）に記載の表示制御装置。
（６）
前記表示制御部は、前記撮像画像の撮像倍率が大きいほど、前記第１の閾値を大きくする、
前記（５）に記載の表示制御装置。
（７）
前記表示制御部は、前記撮像範囲の変化量が第２の閾値を上回る場合には、前記仮想画像における前記仮想オブジェクトの移動を禁止する、
前記（４）〜（６）のいずれか一項に記載の表示制御装置。
（８）
前記表示制御部は、前記撮像画像の撮像倍率に応じて前記第２の閾値を制御する、
前記（７）に記載の表示制御装置。
（９）
前記表示制御部は、前記撮像画像の鮮明度が所定の閾値を上回る場合には、前記撮像画像が表示されるように制御し、前記撮像画像の鮮明度が所定の閾値を下回る場合には、前記仮想オブジェクトが表示されるように制御する、
前記（１）〜（８）のいずれか一項に記載の表示制御装置。
（１０）
前記表示制御部は、前記仮想オブジェクトが表示され得る撮像倍率の範囲が表示されるように制御する、
前記（１）〜（９）のいずれか一項に記載の表示制御装置。
（１１）
前記表示制御部は、前記仮想画像に対応付けられている推奨撮像倍率が表示されるように制御する、
前記（１）〜（１０）のいずれか一項に記載の表示制御装置。
（１２）
前記表示制御部は、前記仮想画像の各領域に対応付けられている推奨撮像倍率が表示されるように制御する、
前記（１１）に記載の表示制御装置。
（１３）
前記表示制御部は、前記撮像画像に応じたフィルタ処理が施された後の仮想オブジェクトが表示されるように制御する、
前記（１）〜（１２）のいずれか一項に記載の表示制御装置。
（１４）
前記表示制御部は、前記撮像画像の撮像倍率に応じて、前記仮想オブジェクトの姿勢が変化したように前記仮想オブジェクトを表示させる、
前記（１）〜（１３）のいずれか一項に記載の表示制御装置。
（１５）
撮像範囲が撮像された撮像画像を取得することと、
前記撮像画像に映る撮像対象に応じた仮想オブジェクトが表示されるように表示部を制御することと、
前記撮像画像の撮像倍率に応じて、実空間における前記撮像範囲の移動量に対する仮想画像における前記仮想オブジェクトの移動量の割合が変化するように前記仮想オブジェクトを表示させることと、
を含む、表示制御方法。
（１６）
コンピュータを、
撮像範囲が撮像された撮像画像を取得する画像取得部と、
前記撮像画像に映る撮像対象に応じた仮想オブジェクトが表示されるように表示部を制御する表示制御部と、を備え、
前記表示制御部は、前記撮像画像の撮像倍率に応じて、実空間における前記撮像範囲の移動量に対する仮想画像における前記仮想オブジェクトの移動量の割合を変化するように前記仮想オブジェクトを表示させる、表示制御装置として機能させるためのプログラムを記録した、コンピュータに読み取り可能な記録媒体。
１ 情報処理システム
１０ 表示制御装置
２０ 情報処理装置
３０ ネットワーク
４０ 撮像対象
４１ 撮像箇所
６０ 撮像画像
５０ 仮想画像
５１ 仮想オブジェクト
１１０ 制御部
１１１ 画像取得部
１１２ 表示制御部
１２０ 操作部
１３０ 撮像部
１４０ 記憶部
１５０ 通信部
１６０ 表示部
２１０ 制御部
２１１ 認識部
２１２ 抽出部
２２０ 記憶部
２３０ 通信部
２２１ 認識部

Claims (18)

  1. 撮像範囲が撮像された撮像画像を取得する画像取得部と、
    前記撮像画像に映る撮像対象に応じた仮想オブジェクトが表示されるように表示部を制御する表示制御部と、を備え、
    前記表示制御部は、前記撮像画像の撮像倍率に応じて、実空間における前記撮像範囲の移動量に対する仮想画像における前記仮想オブジェクトの移動量の割合が変化するように前記仮想オブジェクトを表示させ、
    前記表示制御部は、前記撮像範囲の変化量が第１の閾値を下回る場合には、前記仮想画像における前記仮想オブジェクトの移動を禁止し、前記撮像画像の撮像倍率に応じて前記第１の閾値を制御する、
    表示制御装置。
  2. 前記表示制御部は、前記撮像画像の撮像倍率が大きいほど、前記第１の閾値を大きくする、
    請求項１に記載の表示制御装置。
  3. 撮像範囲が撮像された撮像画像を取得する画像取得部と、
    前記撮像画像に映る撮像対象に応じた仮想オブジェクトが表示されるように表示部を制御する表示制御部と、を備え、
    前記表示制御部は、前記撮像画像の撮像倍率に応じて、実空間における前記撮像範囲の移動量に対する仮想画像における前記仮想オブジェクトの移動量の割合が変化するように前記仮想オブジェクトを表示させ、
    前記表示制御部は、前記撮像範囲の変化量が第２の閾値を上回る場合には、前記仮想画像における前記仮想オブジェクトの移動を禁止し、前記撮像画像の撮像倍率に応じて前記第２の閾値を制御する、
    表示制御装置。
  4. 撮像範囲が撮像された撮像画像を取得する画像取得部と、
    前記撮像画像に映る撮像対象に応じた仮想オブジェクトが表示されるように表示部を制御する表示制御部と、を備え、
    前記表示制御部は、前記撮像画像の撮像倍率に応じて、実空間における前記撮像範囲の移動量に対する仮想画像における前記仮想オブジェクトの移動量の割合が変化するように前記仮想オブジェクトを表示させ、
    前記表示制御部は、前記仮想画像の各領域に対応付けられている推奨撮像倍率が表示されるように制御する、
    表示制御装置。
  5. 撮像範囲が撮像された撮像画像を取得する画像取得部と、
    前記撮像画像に映る撮像対象に応じた仮想オブジェクトが表示されるように表示部を制御する表示制御部と、を備え、
    前記表示制御部は、前記撮像画像の撮像倍率に応じて、実空間における前記撮像範囲の移動量に対する仮想画像における前記仮想オブジェクトの移動量の割合が変化するように前記仮想オブジェクトを表示させ、
    前記表示制御部は、前記撮像画像の撮像倍率に応じて、前記仮想オブジェクトの姿勢が変化したように前記仮想オブジェクトを表示させる、
    表示制御装置。
  6. 前記表示制御部は、前記撮像対象に応じた仮想画像から抽出された仮想オブジェクトが表示されるように前記表示部を制御する、
    請求項１〜５のいずれか一項に記載の表示制御装置。
  7. 前記表示制御部は、前記撮像画像の撮像倍率が大きいほど、実空間における前記撮像範囲の移動量に対する前記仮想画像における前記仮想オブジェクトの移動量の割合が小さくなるように前記仮想オブジェクトを表示させる、
    請求項１〜５のいずれか一項に記載の表示制御装置。
  8. 前記表示制御部は、前記撮像画像の鮮明度が所定の閾値を上回る場合には、前記撮像画像が表示されるように制御し、前記撮像画像の鮮明度が所定の閾値を下回る場合には、前記仮想オブジェクトが表示されるように制御する、
    請求項１〜５のいずれか一項に記載の表示制御装置。
  9. 前記表示制御部は、前記仮想オブジェクトが表示され得る撮像倍率の範囲が表示されるように制御する、
    請求項１〜５のいずれか一項に記載の表示制御装置。
  10. 前記表示制御部は、前記撮像画像に応じたフィルタ処理が施された後の仮想オブジェクトが表示されるように制御する、
    請求項１〜５のいずれか一項に記載の表示制御装置。
  11. 撮像範囲が撮像された撮像画像を取得することと、
    前記撮像画像に映る撮像対象に応じた仮想オブジェクトが表示されるように表示部を制御することと、
    前記撮像画像の撮像倍率に応じて、実空間における前記撮像範囲の移動量に対する仮想画像における前記仮想オブジェクトの移動量の割合が変化するように前記仮想オブジェクトを表示させることと、
    を含み、
    前記撮像範囲の変化量が第１の閾値を下回る場合には、前記仮想画像における前記仮想オブジェクトの移動を禁止することと、
    前記撮像画像の撮像倍率に応じて前記第１の閾値を制御することと、
    を含む、表示制御方法。
  12. 撮像範囲が撮像された撮像画像を取得することと、
    前記撮像画像に映る撮像対象に応じた仮想オブジェクトが表示されるように表示部を制御することと、
    前記撮像画像の撮像倍率に応じて、実空間における前記撮像範囲の移動量に対する仮想画像における前記仮想オブジェクトの移動量の割合が変化するように前記仮想オブジェクトを表示させることと、
    を含み、
    前記撮像範囲の変化量が第２の閾値を上回る場合には、前記仮想画像における前記仮想オブジェクトの移動を禁止することと、
    前記撮像画像の撮像倍率に応じて前記第２の閾値を制御することと、
    を含む、表示制御方法。
  13. 撮像範囲が撮像された撮像画像を取得することと、
    前記撮像画像に映る撮像対象に応じた仮想オブジェクトが表示されるように表示部を制御することと、
    前記撮像画像の撮像倍率に応じて、実空間における前記撮像範囲の移動量に対する仮想画像における前記仮想オブジェクトの移動量の割合が変化するように前記仮想オブジェクトを表示させることと、
    を含み、
    前記仮想画像の各領域に対応付けられている推奨撮像倍率が表示されるように制御すること、
    を含む、表示制御方法。
  14. 撮像範囲が撮像された撮像画像を取得することと、
    前記撮像画像に映る撮像対象に応じた仮想オブジェクトが表示されるように表示部を制御することと、
    前記撮像画像の撮像倍率に応じて、実空間における前記撮像範囲の移動量に対する仮想画像における前記仮想オブジェクトの移動量の割合が変化するように前記仮想オブジェクトを表示させることと、
    を含み、
    前記撮像画像の撮像倍率に応じて、前記仮想オブジェクトの姿勢が変化したように前記仮想オブジェクトを表示させること、
    を含む、表示制御方法。
  15. コンピュータを、
    撮像範囲が撮像された撮像画像を取得する画像取得部と、
    前記撮像画像に映る撮像対象に応じた仮想オブジェクトが表示されるように表示部を制御する表示制御部と、を備え、
    前記表示制御部は、前記撮像画像の撮像倍率に応じて、実空間における前記撮像範囲の移動量に対する仮想画像における前記仮想オブジェクトの移動量の割合を変化するように前記仮想オブジェクトを表示させ、
    前記表示制御部は、前記撮像範囲の変化量が第１の閾値を下回る場合には、前記仮想画像における前記仮想オブジェクトの移動を禁止し、前記撮像画像の撮像倍率に応じて前記第１の閾値を制御する、
    表示制御装置として機能させるためのプログラムを記録した、コンピュータに読み取り可能な記録媒体。
  16. コンピュータを、
    撮像範囲が撮像された撮像画像を取得する画像取得部と、
    前記撮像画像に映る撮像対象に応じた仮想オブジェクトが表示されるように表示部を制御する表示制御部と、を備え、
    前記表示制御部は、前記撮像画像の撮像倍率に応じて、実空間における前記撮像範囲の移動量に対する仮想画像における前記仮想オブジェクトの移動量の割合を変化するように前記仮想オブジェクトを表示させ、
    前記表示制御部は、前記撮像範囲の変化量が第２の閾値を上回る場合には、前記仮想画像における前記仮想オブジェクトの移動を禁止し、前記撮像画像の撮像倍率に応じて前記第２の閾値を制御する、
    表示制御装置として機能させるためのプログラムを記録した、コンピュータに読み取り可能な記録媒体。
  17. コンピュータを、
    撮像範囲が撮像された撮像画像を取得する画像取得部と、
    前記撮像画像に映る撮像対象に応じた仮想オブジェクトが表示されるように表示部を制御する表示制御部と、を備え、
    前記表示制御部は、前記撮像画像の撮像倍率に応じて、実空間における前記撮像範囲の移動量に対する仮想画像における前記仮想オブジェクトの移動量の割合が変化するように前記仮想オブジェクトを表示させ、
    前記表示制御部は、前記仮想画像の各領域に対応付けられている推奨撮像倍率が表示されるように制御する、
    表示制御装置として機能させるためのプログラムを記録した、コンピュータに読み取り可能な記録媒体。
  18. コンピュータを、
    撮像範囲が撮像された撮像画像を取得する画像取得部と、
    前記撮像画像に映る撮像対象に応じた仮想オブジェクトが表示されるように表示部を制御する表示制御部と、を備え、
    前記表示制御部は、前記撮像画像の撮像倍率に応じて、実空間における前記撮像範囲の移動量に対する仮想画像における前記仮想オブジェクトの移動量の割合が変化するように前記仮想オブジェクトを表示させ、
    前記表示制御部は、前記撮像画像の撮像倍率に応じて、前記仮想オブジェクトの姿勢が変化したように前記仮想オブジェクトを表示させる、
    表示制御装置として機能させるためのプログラムを記録した、コンピュータに読み取り可能な記録媒体。
JP2015508122A 2013-03-29 2014-01-24 表示制御装置、表示制御方法および記録媒体 Active JP6304238B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013074221 2013-03-29
JP2013074221 2013-03-29
PCT/JP2014/051514 WO2014156257A1 (ja) 2013-03-29 2014-01-24 表示制御装置、表示制御方法および記録媒体

Publications (2)

Publication Number Publication Date
JPWO2014156257A1 JPWO2014156257A1 (ja) 2017-02-16
JP6304238B2 true JP6304238B2 (ja) 2018-04-04

Family

ID=51623260

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015508122A Active JP6304238B2 (ja) 2013-03-29 2014-01-24 表示制御装置、表示制御方法および記録媒体

Country Status (4)

Country Link
US (1) US9992419B2 (ja)
EP (1) EP2981060A4 (ja)
JP (1) JP6304238B2 (ja)
WO (1) WO2014156257A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6492571B2 (ja) * 2014-11-20 2019-04-03 株式会社リコー 情報処理システム、情報処理装置、画面表示方法及びプログラム
US10244175B2 (en) 2015-03-09 2019-03-26 Apple Inc. Automatic cropping of video content
US10509556B2 (en) * 2017-05-02 2019-12-17 Kyocera Document Solutions Inc. Display device
JP6736751B1 (ja) * 2019-12-11 2020-08-05 株式会社Ｃｙｇａｍｅｓ 既知の画像を用いた画像撮影の安定化のための方法、プログラム、電子装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0378373A (ja) * 1989-08-22 1991-04-03 Fuji Photo Optical Co Ltd テレビカメラ操作装置
US5625765A (en) * 1993-09-03 1997-04-29 Criticom Corp. Vision systems including devices and methods for combining images for extended magnification schemes
JP2001281523A (ja) * 2000-03-31 2001-10-10 Fuji Photo Optical Co Ltd 制御装置
JP3931947B2 (ja) * 2000-07-31 2007-06-20 富士フイルム株式会社 電子撮像装置
JP2003264740A (ja) 2002-03-08 2003-09-19 Cad Center:Kk 展望鏡
JP2004128701A (ja) * 2002-09-30 2004-04-22 Fuji Photo Film Co Ltd 撮影補助方法およびシステム
JP2008301230A (ja) * 2007-05-31 2008-12-11 Olympus Imaging Corp 撮像システム及び撮像装置
JP5194650B2 (ja) * 2007-08-31 2013-05-08 株式会社ニコン 電子カメラ
RU2010123652A (ru) * 2010-06-10 2011-12-20 Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." (KR) Система и способ визуализации стереоизображений и многовидовых изображений для управления восприятием глубины стереоскопического изображения, создаваемого телевизионным приемником
JP5603690B2 (ja) 2010-07-20 2014-10-08 株式会社アマダ レーザ加工ヘッド
US20120256906A1 (en) * 2010-09-30 2012-10-11 Trident Microsystems (Far East) Ltd. System and method to render 3d images from a 2d source
JP5762718B2 (ja) * 2010-10-20 2015-08-12 シャープ株式会社 画像形成装置
KR20160084502A (ko) * 2011-03-29 2016-07-13 퀄컴 인코포레이티드 로컬 멀티-사용자 협업을 위한 모듈식 모바일 접속된 피코 프로젝터들
TWI518436B (zh) * 2012-01-17 2016-01-21 明基電通股份有限公司 影像擷取裝置及影像處理方法
JP2013161390A (ja) 2012-02-08 2013-08-19 Sony Corp サーバ、クライアント端末、システム、およびプログラム
JP5329691B2 (ja) * 2012-04-19 2013-10-30 オリンパス株式会社 カメラおよびカメラの制御方法
US9310611B2 (en) * 2012-09-18 2016-04-12 Qualcomm Incorporated Methods and systems for making the use of head-mounted displays less obvious to non-users
NL2010302C2 (en) * 2013-02-14 2014-08-18 Optelec Dev B V A system for determining a recommended magnification factor for a magnifier such as a loupe or an electronic magnifier to be used by a person.
US9213403B1 (en) * 2013-03-27 2015-12-15 Google Inc. Methods to pan, zoom, crop, and proportionally move on a head mountable display

Also Published As

Publication number Publication date
EP2981060A4 (en) 2016-09-28
US20160295117A1 (en) 2016-10-06
EP2981060A1 (en) 2016-02-03
JPWO2014156257A1 (ja) 2017-02-16
WO2014156257A1 (ja) 2014-10-02
US9992419B2 (en) 2018-06-05

Similar Documents

Publication Publication Date Title
US11188187B2 (en) Information processing apparatus, information processing method, and recording medium
US10733807B2 (en) Display control device, display control method, and recording medium
US9811910B1 (en) Cloud-based image improvement
JP5765019B2 (ja) 表示制御装置、表示制御方法、およびプログラム
US9836886B2 (en) Client terminal and server to determine an overhead view image
JP5776903B2 (ja) 画像処理装置及び画像処理方法並びにプログラム
KR102462644B1 (ko) 전자 장치 및 그의 동작 방법
US20120275648A1 (en) Imaging device and imaging method and program
US20180240213A1 (en) Information processing system, information processing method, and program
US9854174B2 (en) Shot image processing method and apparatus
WO2006112490A1 (en) Electronic device
US9628700B2 (en) Imaging apparatus, imaging assist method, and non-transitory recoding medium storing an imaging assist program
US10623625B2 (en) Focusing control device, imaging device, focusing control method, and nontransitory computer readable medium
JP6304238B2 (ja) 表示制御装置、表示制御方法および記録媒体
US10079973B2 (en) Imaging device operation device, operation method, and program
KR102707773B1 (ko) 객체에 대응하는 그래픽 요소 표시 방법 및 장치
KR102501713B1 (ko) 영상 표시 방법 및 그 전자장치
WO2015068447A1 (ja) 情報処理装置、情報処理方法および情報処理システム
JP6044633B2 (ja) 情報処理装置、情報処理方法およびプログラム
WO2017126216A1 (ja) 撮像制御装置、撮像制御方法及びコンピュータプログラム
US11099728B2 (en) Electronic apparatus, control method, and non-transitory computer readable medium for displaying a display target
US9396405B2 (en) Image processing apparatus, image processing method, and image processing program
JP2011134019A (ja) 画像処理装置及びその制御方法
KR102706932B1 (ko) 이미지의 생성 방법 및 그 전자 장치
JP2013207356A (ja) 情報処理装置、情報処理方法およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161214

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171128

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180122

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180219

R151 Written notification of patent or utility model registration

Ref document number: 6304238

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151