WO2013121807A1

WO2013121807A1 - 情報処理装置、情報処理方法およびコンピュータプログラム

Info

Publication number: WO2013121807A1
Application number: PCT/JP2013/050071
Authority: WO
Inventors: 玲若月; 薫八田
Original assignee: ソニー株式会社
Priority date: 2012-02-17
Filing date: 2013-01-08
Publication date: 2013-08-22
Also published as: CN104094209A; JPWO2013121807A1; EP2816456A1; US10409446B2; US20150234567A1

Abstract

　直感的な操作で３次元画像内の情報を自由に操作できる情報処理装置を提供する。　本技術の情報処理装置は、操作入力を行う操作体の３次元空間における位置を検出する入力検出部による検出結果に基づいて、表示部に表示された３次元画像から操作対象となる操作対象画像を特定し、操作対象画像の目標表示位置を算出する演算部と、操作対象画像を演算部により算出した目標表示位置に表示されるように表示部に表示させる表示処理部と、を備える。

Description

情報処理装置、情報処理方法およびコンピュータプログラム

　本開示は、表示部に表示された３次元画像の表示位置を操作可能な情報処理装置、情報処理方法およびコンピュータプログラムに関する。

　近年、テレビ番組や映画、ゲーム等の画像を表示する表示装置として、被写体を縦横の情報に奥行感を持たせて３次元で表現した立体画像を表示可能な３Ｄディスプレイ等の表示装置が普及しつつある。３次元画像は、人間が両目で物を見る仕組みを利用して視聴者に奥行感や立体感を認識させることで、リアリティや臨場感の表現を可能にしている。また、例えばテレビ番組や映画、ゲーム等の画像と共に表示されるメニューやアイコン等のＯＳＤ（Ｏｎ　Ｓｃｒｅｅｎ　Ｄｉｓｐｌａｙ）画像も３次元表示することも可能となっている（例えば、特許文献１）。

特開２０１０－２５２０５５号公報

　３次元画像は、画像の表示位置情報として、表示面の縦横の位置情報に加えて奥行情報を有する。このため、３次元画像を表示させているときにＯＳＤ画像を表示させると、これらの画像の組み合わせによってはＯＳＤ画像が３次元画像中に埋もれてしまうこともある。ＯＳＤ画像が３次元画像に埋もれるケースを予測してＯＳＤ画像の表示位置を調整することは困難であるため、表示を行う時点でその表示位置を調整する必要がある。

　従来、例えば３次元画像内に表示されている字幕情報の奥行方向における表示位置は、ダイヤル型操作部からの操作入力やタッチパネル上での指の動き等によって調整されているが、奥行方向という限られた範囲での調整しかできない。そこで、直感的な操作で３次元画像内の情報を自由に操作できることが望まれる。

　本開示によれば、操作入力を行う操作体の３次元空間における位置を検出する入力検出部による検出結果に基づいて、表示部に表示された３次元画像から操作対象となる操作対象画像を特定し、操作対象画像の目標表示位置を算出する演算部と、操作対象画像を演算部により算出した目標表示位置に表示されるように表示部に表示させる表示処理部と、を備える、情報処理装置が提供される。

　本開示によれば、情報処理装置は、入力検出部により検出された操作体の位置に基づいて、表示部に表示されている３次元画像から操作対象画像を特定し、当該操作対象画像を操作体の動きに応じて移動させるように表示処理を行う。これにより、ユーザは直感的な操作で３次元画像の一部の表示位置を調整することができる。

　また、本開示によれば、操作入力を行う操作体の３次元空間における位置を検出すること、操作体の位置の検出結果に基づいて、表示部に表示された３次元画像から操作対象となる操作対象画像を特定し、操作対象画像の目標表示位置を算出すること、操作対象画像を算出された目標表示位置に表示されるように表示部に表示させること、を含む、情報処理方法が提供される。

　さらに、本開示によれば、コンピュータを、操作入力を行う操作体の３次元空間における位置を検出する入力検出部による検出結果に基づいて、表示部に表示された３次元画像から操作対象となる操作対象画像を特定し、操作対象画像の目標表示位置を算出する演算部と、操作対象画像を演算部により算出した目標表示位置に表示されるように表示部に表示させる表示処理部と、を備える、情報処理装置として機能させるコンピュータプログラムが提供される。

　以上説明したように本開示によれば、直感的な操作で３次元画像内の情報を自由に操作できるようになる。

本開示の第１の実施形態に係る情報処理装置を備える表示装置の概略構成を示す説明図である。同実施形態に係る表示装置の機能構成を示す機能ブロック図である。同実施形態に係る表示装置による表示処理を示すフローチャートである。表示部に表示された３次元画像およびＯＳＤ画像の一例を示す説明図である。図４のＯＳＤ画像の一部を移動させる操作を示す説明図である。本開示の第２の実施形態に係る表示装置の機能構成を示す機能ブロック図である。同実施形態に係る表示装置による表示処理を示すフローチャートである。３Ｄ画像の一部を移動させる操作を示す説明図である。同実施形態に係る表示装置の一ハードウェア構成例を示すハードウェア構成図である。

　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

　なお、説明は以下の順序で行うものとする。
　１．第１の実施形態（ユーザによる操作対象画像の表示位置調整）
　　１－１．表示装置の概要
　　１－２．機能構成
　　１－３．表示処理
　２．第２の実施形態（操作対象画像の表示位置の自動調整）
　　２－１．機能構成
　　２－２．表示処理
　３．変形例
　　３－１．操作対象となる画像について
　　３－２．操作対象となる画像の選択
　４．ハードウェア構成例

　＜１．第１の実施形態＞
　［１－１．表示装置の概要］
　まず、図１を参照して、本開示の第１の実施形態に係る表示装置１００の概略構成について説明する。なお、図１は、本実施形態に係る表示装置１００の概略構成を示す説明図である。

　本実施形態に係る表示装置１００は、３次元画像を表示可能な３Ｄディスプレイ１０２を備える出力装置である。かかる表示装置１００は、例えばテレビや撮像装置等、表示部を備える機器に設けることができる。

　本実施形態に係る表示装置１００は、３Ｄディスプレイ１０２に表示されている情報を操作する操作体（例えば、ユーザの指等）について、表示面に対する操作体の位置を検出するための入力検出デバイス１０４を備えている。入力検出デバイス１０４は、当該入力デバイス１０４に対する操作体の位置を検出可能なセンサであり、３Ｄディスプレイ１０２と同位置座標軸で情報を共有できる位置に設置することで、３Ｄディスプレイ１０２の表示面と操作体との位置関係を取得できる。入力検出デバイス１０４は、当該入力検出デバイス１０４の平面座標（ｘｙ座標）における位置情報に加えて、入力検出デバイス１０４に対する操作体の近接状態を奥行情報（ｚ方向の位置）として取得できる。

　入力検出デバイス１０４は、所定のタイミングで操作体の位置情報を取得し、演算部１２０に出力する。演算部１２０は、入力検出デバイス１０４から入力された操作体の位置情報に基づき操作体の動きを認識する。例えば、演算部１２０は、操作体の位置情報の変化に基づいて、つまむ、動かす、放すといった操作体による操作入力を認識する。

　本実施形態に係る表示装置１００は、３次元空間における操作体の位置を検出可能な入力検出デバイス１０４を備えることで、立体的に表示された画像の位置を操作体によって移動させることが可能となる。これにより、ユーザは直感的な操作で画像の表示位置を自由に調整できる。以下、本実施形態に係る表示装置１００の構成とその機能について詳細に説明していく。

　［１－２．機能構成］
　まず、図２に基づいて、本実施形態に係る表示装置１００の機能構成を説明する。なお、図２は、本実施形態に係る表示装置１００の機能構成を示す機能ブロック図である。本実施形態に係る表示装置１００は、図２に示すように、入力検出部１１０と、演算部１２０と、表示処理部１３０と、表示部１４０とを備える。本実施形態において、演算部１２０および表示処理部１３０は、３次元画像の表示位置を調整する表示処理を行う情報処理装置として機能する。

　入力検出部１１０は、表示部１４０に表示されている情報を操作する操作体について、表示面に対する操作体の位置を検出する。入力検出部１１０は、図１の入力検出デバイス１０４に相当する。入力検出部１１０は、例えば静電気による電気信号を感知することで入力検出部１１０の検出面に対する平面座標における位置情報および近接状態を検出できる。近接状態の検出には接触状態の検出も含まれる。近接状態は、電気信号の大きさより認識することができる。なお、入力検出部１１０の近接状態の検知方式はかかる例に限定されず、他の検出方式であってもよい。入力検出部１１０は、検出結果（例えば静電気による電気信号）を所定の周期、例えば検出値を取得する度に、演算部１２０へ出力する。

　演算部１２０は、入力検出部１１０からの検出結果に基づいて、操作体の位置を特定し、操作対象となる画像の目標表示位置を算出する。演算部１２０は、操作位置算出部１２２と、操作対象操作位置算出部１２４とからなる。

　操作位置算出部１２２は、入力検出部１１０の検出結果より操作体の位置を算出する。操作位置算出部１２２は、入力検出部１１０から入力された例えば電気信号の大きさより、ｘｙ平面座標における位置情報および入力検出部１１０の検出面からの距離を操作体の操作位置情報として算出する。なお、入力検出部１１０と表示部１４０とは同位置座標軸で情報を共有できる位置に設置されており、入力検出部１１０の検出面から操作体までの距離は表示部１４０の表示面と操作体との距離とすることができる。操作位置算出部１２２は、算出した操作体の操作位置情報を記憶部（図示せず。）に記録して履歴管理している。

　操作位置算出部１２２は、操作体の操作位置情報の変化に基づき、ユーザが行った動作を判定する。本実施形態に係る表示装置１００では、ユーザが表示されている画像を直接操作して移動することを可能にする。例えば、ユーザは、表示されている画像のうち移動させたい画像をつまみ、移動させるという操作入力を行うことで、画像の表示位置を調整することができる。このとき操作位置算出部１２２は、ユーザがつまむという動作を行ったことを認識すると、その動作を位置に表示されている画像を操作対象として特定する。そして、操作位置算出部１２２は、入力検出部１１０の検出結果より、つまむ動作が行われている状態での操作体の移動を監視しながら、つまむ動作から放す動作が行われるのを監視する。

　なお、ユーザのつまむ動作は、入力検出部１１０が検出する２つ以上の操作体領域が１つの操作体領域となった時点で認識することができる。操作対象をつまむ動作は、通常、親指と親指以外の指とを接触させることで行われる。これより、入力検出部１１０の検出結果より表される操作体の存在を示す操作体領域が複数から１つになったとき、つまむ動作が行われたと判定することができる。つまむ動作が行われたとき、操作対象をつまむ前に複数あった操作体領域は、これよりも小さい１つの操作体領域となる。

　操作位置算出部１２２は、ユーザによりつまむ動作が行われたことを認識すると、表示部１４０の視差情報と操作体の操作位置情報とを照らし合わせる。そして、操作体の操作位置情報に画像が表示されている場合には、操作位置算出部１２２は、当該画像を操作対象に特定する。操作位置算出部１２２は、操作対象を特定すると、操作対象の画像を特定する情報および操作体の操作位置情報を操作対象目標表示位置算出部１２４へ出力する。これらの情報は、操作体がつまんでいる画像を放す動作が行われるまで、継続して操作対象目標表示位置算出部１２４へ出力される。

　操作対象目標表示位置算出部１２４は、操作体の操作位置情報の変化に応じて操作対象の画像を表示させる位置を算出する。操作対象目標表示位置算出部１２４は、操作位置算出部１２２から操作対象として特定された画像の情報を受けると、操作体の操作位置情報の変化に応じて操作対象の画像を移動させる。これにより、ユーザが画像をつまんで手を動かすことで、画像を所望の位置に移動させる操作を実現できる。また、操作位置算出部１２２よりユーザが画像を放す動作を行ったことが通知されると、操作対象目標表示位置算出部１２４は、画像を放したときの操作体の位置に当該画像を表示し、次に操作されるまで表示位置を固定する。操作対象目標表示位置算出部１２４は、算出した操作対象の画像の目標表示位置を表示処理部１３０へ出力する。

　画像処理部１３０は、操作対象目標表示位置算出部１２４から入力された操作対象の画像の目標表示位置に当該画像が表示されるように処理を行う。画像処理部１３０は、画像処理後の表示情報を表示部１４０に出力し、３次元画像を表示させる。

　表示部１４０は、３次元画像を表示可能な出力装置であって、図１の３Ｄディスプレイ１０２に相当する。表示部１４０は、画像処理部１３０の出力指示に従って、入力された表示情報を表示する。

　［１－３．表示処理］
　次に、図３～図５に基づいて、本実施形態に係る表示装置１００による表示処理について説明する。なお、図３は、本実施形態に係る表示装置１００による表示処理を示すフローチャートである。図４は、表示部１４０に表示された３次元画像およびＯＳＤ画像の一例を示す説明図である。図５は、図４のＯＳＤ画像の一部を移動させる操作を示す説明図である。

　本実施形態では、表示部１４０に表示される立体的な画像の一例として、図４に示すように、テレビ番組や映画、ゲーム等の画像（コンテンツ画像）である３Ｄ画像３００と、ＯＳＤ画像３１０とが表示されている場合を考える。ユーザは、図４の前面側から画像を視認しているものとする。３Ｄ画像３００は、家３０２や木３０４、３０６から構成されている。また、ＯＳＤ画像３１０には、それに関連付けられたイベントを実行するためのアイコン３１２や、表示されている３Ｄ画像３００の説明文字３１４がある。これらのＯＳＤ画像は３Ｄ画像３００の表示を妨げないように表示されることが望ましいが、図４に示すように、３Ｄ画像より背面側に表示されてしまい、その内容を視認できないことも生じる。

　そこで、本実施形態に係る表示装置１００では、３Ｄ画像３００より背面側に表示されているＯＳＤ画像３１０をユーザが手で移動させ、ＯＳＤ画像３１０の情報を視認できるようにする。

　まず、ユーザは、表示されている画像のうち表示位置を変更したい操作対象となる画像を、操作体（例えば手）で選択する操作入力を行う（Ｓ１００）。本実施形態では、例えば表示されている画像を手でつまむ動作を選択の動作とする。ユーザは表示部１４０の前の空間に表示されている画像から、移動させる画像をつまむ動作を行う。例えば図４に示すＯＳＤによる説明文字３１４をユーザが視認できる位置まで前面側（ｚ軸正方向側）に移動させる場合、ユーザは説明文字３１４が表示されている位置に手を移動させ、当該画像をつまむ動作を行う。

　このとき、入力検出部１１０は操作体の位置を検出し続けており、入力検出部１１０が操作体を検出すると、操作位置算出部１２２は、操作体の操作位置情報に基づいて、操作対象の画像を選択する動作（例えば画像をつまむ動作）が行われたか否かを判定する。操作対象の画像の特定は、例えば上述したように、操作体の操作位置情報と表示部１４０の視差情報とを照らし合わせることにより行うことができる。操作体の操作位置情報と表示部１４０の視差情報とが一致するとき、ユーザはその位置に表示されている画像を操作対象として特定したと判断できる（Ｓ１１０）。

　操作対象の画像を特定すると、操作位置算出部１２２は、入力検出部１１０からの検出結果より操作体の操作位置情報を算出し、操作体の移動や操作対象の画像を放す動作が行われたか否かを監視する。操作対象目標表示位置算出部１２４は、操作位置算出部１２２の算出した操作体の操作位置情報に基づき、操作体の位置に操作対象の画像が表示されるように表示位置情報を算出する（Ｓ１２０）。画像処理部１３０は、操作対象の画像の表示位置情報に基づき、表示部１４０に３Ｄ画像３００およびＯＳＤ画像３１０を表示させる（Ｓ１３０）。

　一方、操作位置算出部１２２は、入力検出部１１０の検出結果に基づき、操作体が操作対象の画像の移動を終了する動作が行われたか否かを判定する（Ｓ１４０）。操作対象の画像の移動を終了する動作としては、例えば放す動作とすることができる。画像を放す動作は、例えば画像をつまむ動作の認識条件と逆の認識条件により、すなわち、入力検出部１１０が検出する１つの操作体領域が２つ以上の操作体領域となった時点で認識することができる。ステップＳ１４０にて画像を放す動作が行われたと判定されたとき、操作対象の画像は、ユーザが当該画像を放した時点での表示位置に表示させたままとして、図３の処理を終了する。一方、ステップＳ１４０にて画像を放す動作は行われていないと判定されたとき、ステップＳ１２０からの処理が繰り返される。

　例えば、図４にて、３Ｄ画像３００の背面側にある説明文字３１４を移動するとき、ユーザは、図５に示すように、説明文字３１４が表示されている位置で当該画像をつまみ、つまんだ状態で手を前面側（ｚ軸正方向側）に移動させる。これにより、手の位置の変化に応じて説明文字３１４も移動される。そして、説明文字３１４が３Ｄ画像３１０よりも前面側に位置したときに画像から手を放すと、手を放す動作を行った位置に操作対象であった説明文字３１４が固定される。このように、ユーザの手の動きに応じて画像の表示位置を変更することができる。

　なお、図４および図５に示した例では、ＯＳＤ画像３１０である説明文字３１４を奥行方向（ｚ方向）のみに移動させたが、本技術はかかる例に限定されない。操作体の位置を移動させることによって、操作対象の画像もｘ方向およびｙ方向についても移動させることができる。

　また、操作対象の画像の移動は、奥行方向（ｚ方向）において移動可能領域を設け、その範囲内のみ移動できるようにしてもよい。移動可能範囲は、例えば３次元画像を見易く表示できる範囲や３次元画像を鮮明に表示できる範囲とすることができる。ユーザが移動可能領域を超えて操作対象の画像を移動させようとしたときには、表示装置１００は、ユーザに対して移動可能領域を超えた旨をポップアップ表示や音声により通知してもよい。これにより、ユーザに操作対象の画像の移動方向の変更を促すことができる。

　＜２．第２の実施形態＞
　次に、図６および図７に基づいて、本開示の第２の実施形態に係る情報処理装置を備える表示装置２００について説明する。表示装置２００は、第１の実施形態の表示装置１００と比較して、ユーザが操作対象の画像を移動させたとき、他の画像（３Ｄ画像３００やＯＳＤ画像３１０）と重複して視認できない状態である場合には自動的に操作対象の画像の表示位置を調整する点で相違する。以下、第１の実施形態に係る表示装置１００との相違点を主に、本実施形態に係る表示装置２００の構成とその機能について説明する。

　［２－１．機能構成］
　まず、図６に基づいて、本実施形態に係る表示装置２００の機能構成を説明する。なお、図６は、本実施形態に係る表示装置２００の機能構成を示す機能ブロック図である。本実施形態に係る表示装置１００は、図２に示すように、入力検出部１１０と、演算部２２０と、表示処理部１３０と、表示部１４０とを備える。入力検出部１１０、表示処理部１３０、および表示部１４０については第１の実施形態と同様の機能を有するため、ここでは説明を省略する。本実施形態において、演算部２２０および表示処理部１３０は、３次元画像の表示位置を調整する表示処理を行う情報処理装置として機能する。

　演算部２２０は、入力検出部１１０からの検出結果に基づいて、操作体の位置を特定し、操作対象となる画像の目標表示位置を算出する。演算部２２０は、操作位置算出部２２２と、操作対象操作位置算出部２２４と、表示位置調整部２２６とからなる。

　操作位置算出部２２２および操作対象操作位置算出部２２４は、第１の実施形態に係る操作位置算出部１２２および操作対象操作位置算出部１２４と同様に機能する。操作位置算出部２２２は入力検出部１１０の検出結果より操作体の位置を算出し、操作対象目標表示位置算出部２２４へ出力する。また、操作対象目標表示位置算出部２２４は、操作体の操作位置情報の変化に応じて操作対象の画像を表示させる位置を算出し、表示位置調整部２２６へ出力する。

　表示位置調整部２２６は、操作対象目標表示位置算出部２２４により算出した操作対象の画像を表示させる位置と、表示部１４０に表示されている他の画像との奥行方向の位置関係に応じて、操作対象の画像の目標表示位置を調整する。操作対象の画像の表示位置がユーザによって変更された後であっても、依然として操作対象の画像が他の画像の背面側に位置しており操作対象の画像を視認できない場合もある。そこで、表示位置調整部２２６は、ユーザにより移動された操作対象と表示部１４０に表示されている他の画像との奥行方向の位置を比較して、操作対象が他の画像の背面側に位置する場合には自動的にそれよりも前面側に表示されるように調整する。

　表示位置調整部２２６による目標表示位置の自動調整は、操作対象の画像を最前面に表示するようにしてもよく、奥行方向（ｚ方向）において移動可能領域を設け、その範囲内で最前面に位置するようにしてもよい。例えば、３次元画像では、ユーザと画像との位置が近付き過ぎると画像が見難くなる。そこで、見易い画像を提供できる範囲内で操作対象の画像を調整するようにしてもよい。また、３次元画像を鮮明に認識できなくなる領域がある場合には、当該領域に操作対象が移動しない範囲で操作対象の画像の目標表示位置を調整してもよい。

　表示位置調整部２２６は、操作対象の画像の目標表示位置を調整すると、調整後の目標表示位置情報を表示処理部１３０へ出力する。表示処理部１３０は当該表示位置情報に基づき、表示部に３次元画像を表示させる。

　［２－２．表示処理］
　次に、図７に基づいて、本実施形態に係る表示装置２００による表示処理について説明する。なお、図７は、本実施形態に係る表示装置１００による表示処理を示すフローチャートである。

　本実施形態における表示処理でも、第１の実施形態と同様、まず、ユーザは、表示されている画像のうち表示位置を変更したい操作対象となる画像を、操作体（例えば手）で選択する操作入力を行う（Ｓ２００）。本実施形態では、例えば表示されている画像を手でつまむ動作を選択の動作とする。ユーザは表示部１４０の前の空間に表示されている画像から、移動させる画像をつまむ動作を行う。

　このとき、入力検出部１１０は操作体の位置を検出し続けており、入力検出部１１０が操作体を検出すると、操作位置算出部２２２は、操作体の操作位置情報に基づいて、操作対象の画像を選択する動作（例えば画像をつまむ動作）が行われたか否かを判定する。操作対象の画像の特定は、第１の実施形態と同様、操作体の操作位置情報と表示部１４０の視差情報とを照らし合わせることにより行うことができる。操作体の操作位置情報と表示部１４０の視差情報とが一致するとき、ユーザはその位置に表示されている画像を操作対象として特定したと判断できる（Ｓ２１０）。例えば、図４の例において、ＯＳＤ画像３１０である説明文字３１４が操作対象として特定されたとする。

　操作対象の画像を特定すると、操作位置算出部２２２は、入力検出部１１０からの検出結果より操作体の操作位置情報を算出し、操作体の移動や操作対象の画像を放す動作が行われたか否かを監視する。操作対象目標表示位置算出部２２４は、操作位置算出部１２２の算出した操作体の操作位置情報に基づき、操作体の位置に操作対象の画像が表示されるように表示位置情報を算出する（Ｓ２２０）。

　一方、操作位置算出部２２２は、入力検出部１１０の検出結果に基づき、操作体が操作対象の画像の移動を終了する動作が行われたか否かを判定する。操作対象の画像の移動を終了する動作としては、例えば放す動作とすることができる。画像を放す動作が行われたと判定されたとき、表示位置調整部２２６は、操作対象の画像が他の画像より背面側（ｚ軸負方向側）にあるか否かを判定する。

　例えば、図４の例においては、ＯＳＤ画像３１０である説明文字３１４が操作対象として選択されているとき、ユーザが移動した後の説明文字３１４の表示位置よりも前面側に他の画像（少なくとも３Ｄ画像３００）があるかが判定される。これは、説明文字３１４の内容をユーザが視認できるようにするために行われ、説明文字３１４よりも前面側に他の画像がある場合には、説明文字３１４が他の画像（３Ｄ画像３００）より前面に位置するように、説明文字３１４の奥行方向の表示位置を調整する（Ｓ２４０）。なお、説明文字３１４が最前面にある場合には、当該説明文字３１４の表示位置は変更されない。

　その後、画像処理部１３０は、表示位置調整部２２６により調整された操作対象の画像の表示位置情報に基づき、表示部１４０に３Ｄ画像３００およびＯＳＤ画像３１０を表示させる（Ｓ２５０）。

　また、操作位置算出部２２２は、入力検出部１１０の検出結果に基づき、操作体が操作対象の画像の移動を終了する動作が行われたか否かを判定する（Ｓ２６０）。操作対象の画像の移動を終了する動作としては、例えば放す動作とすることができる。ステップＳ２６０にて画像を放す動作が行われたと判定されたとき、操作対象の画像は、ステップＳ２５０にて表示した状態のままとして、図７の処理を終了する。一方、ステップＳ２６０にて画像を放す動作は行われていないと判定されたとき、ステップＳ２２０からの処理が繰り返される。

　以上、本実施形態に係る表示装置２００による表示処理について説明した。本実施形態によれば、３次元画像として表示された画像のうち、手で任意の画像をつまんで選択し移動させることで、直感的に画像の表示位置を調整することができる。また、本実施形態では、操作対象の画像が、ユーザが移動させた後もなお他の画像に埋もれてしまう場合には、自動的に操作対象の画像を前面側に表示するように調整する。これにより、ユーザは操作対象の画像を確実に視認できるようになる。

　なお、本実施形態においても、ＯＳＤ画像３１０である説明文字３１４を奥行方向（ｚ方向）のみだけでなく、操作体による操作時および自動補正時において、操作対象の画像をｘ方向およびｙ方向に移動させることも可能である。

　＜３．変形例＞
　［３－１．操作対象となる画像について］
　上記実施形態では、図４および図５に示すように、３次元画像のうち、メニューやアイコン、文字説明等のようなＯＳＤ画像３１０を移動させる場合について説明したが、本技術はかかる例に限定されない。例えば、図８に示すように、３Ｄ画像３００を構成する画像の一部を移動することも可能である。図８の例では、３Ｄ画像３００を構成する木３０６を手でつまみ、前面側に移動させている。このときの表示装置の処理は、上記実施形態のいずれの方法を用いてもよい。また、操作対象の画像は前面側だけでなく背面側に移動させることも可能である。これにより、操作対象の画像を他の画像に意図的に隠すことができる。このように、上記実施形態の表示処理を用いることで、画像毎に柔軟に表示位置を変更することができる。

　［３－２．操作対象となる画像の選択］
　上記実施形態では、操作対象となる画像を選択する動作として、手で移動させたい画像をつまむ動作を行う場合を説明したが、本技術はかかる例に限定されない。例えば、表示部１４０に表示されている３次元画像のうち操作対象とする画像上で指を所定の方向（例えば上下、左右等）に素早く振る動作を、操作対象の画像を選択する動作としてもよい。あるいは、操作体を動かして選択対象とする画像を円や四角等の枠で囲む操作を、操作対象の画像を選択する動作としてもよい。

　指を振ったり操作対象の画像を囲んだりする動作は、予めユーザが任意のジェスチャ操作として表示装置の記憶部（図示せず。）に記憶しておくこともできる。任意のジェスチャとしては、例えば、操作対象とする画像上で指を上下に２回振った後、左右に１回振る動作等がある。このように任意のジェスチャ操作を設定することで、ユーザの好みの操作によって操作対象の画像を選択することができる。

　また、操作対象とする画像は、１つのみ選択してもよく、複数選択してもよい。複数の画像を操作対象とする場合、例えば複数の画像を１つの枠で囲むように操作体を動かすことで、これらの画像を選択することができる。そして、操作体を移動させることで、選択された複数の画像を同時に移動させることができる。このとき、各画像の移動は、操作体の移動量だけそれぞれ移動させてもよく、ある１つの操作対象の画像（例えば最前面に表示されている画像や、最初に選択された画像、あるいはユーザがつまんでいる画像等）の移動後の奥行方向の位置と同位置に他の操作対象の画像を移動させてもよい。

　＜４．ハードウェア構成例＞
　本実施形態に係る表示装置１００による処理は、ハードウェアにより実行させることもでき、ソフトウェアによって実行させることもできる。この場合、表示装置１００は、図９に示すように構成することもできる。以下、図９に基づいて、本実施形態に係る表示装置１００の一ハードウェア構成例について説明する。なお、図６に示す表示装置２００も同様に構成できる。

　本実施形態に係る表示装置１００は、上述したように、コンピュータ等の処理装置により実現することができる。表示装置１００は、図９に示すように、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）９０１と、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）９０２と、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）９０３と、ホストバス９０４ａとを備える。また、表示装置１００は、ブリッジ９０４と、外部バス９０４ｂと、インタフェース９０５と、入力装置９０６と、出力装置９０７と、ストレージ装置（ＨＤＤ）９０８と、ドライブ９０９と、接続ポート９１１と、通信装置９１３とを備える。

　ＣＰＵ９０１は、演算処理装置および制御装置として機能し、各種プログラムに従って表示装置１００内の動作全般を制御する。また、ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはＣＰＵバスなどから構成されるホストバス９０４ａにより相互に接続されている。

　ホストバス９０４ａは、ブリッジ９０４を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ　Ｃｏｍｐｏｎｅｎｔ　Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９０４ｂに接続されている。なお、必ずしもホストバス９０４ａ、ブリッジ９０４および外部バス９０４ｂを分離構成する必要はなく、一のバスにこれらの機能を実装してもよい。

　入力装置９０６は、マウス、キーボード、タッチパネル、ボタン、マイク、スイッチおよびレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などから構成されている。出力装置９０７は、例えば、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ　Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）装置およびランプなどの表示装置や、スピーカなどの音声出力装置を含む。

　ストレージ装置９０８は、表示装置１００の記憶部の一例であり、データ格納用の装置である。ストレージ装置９０８は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。ストレージ装置９０８は、例えば、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）で構成される。このストレージ装置９０８は、ハードディスクを駆動し、ＣＰＵ９０１が実行するプログラムや各種データを格納する。

　ドライブ９０９は、記憶媒体用リーダライタであり、表示装置１００に内蔵、あるいは外付けされる。ドライブ９０９は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体に記録されている情報を読み出して、ＲＡＭ９０３に出力する。

　接続ポート９１１は、外部機器と接続されるインタフェースであって、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）などによりデータ伝送可能な外部機器との接続口である。また、通信装置９１３は、例えば、通信網５に接続するための通信デバイス等で構成された通信インタフェースである。また、通信装置９１３は、無線ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）対応通信装置であっても、ワイヤレスＵＳＢ対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。

　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

　例えば、上記実施形態では、表示装置に演算部および表示処理部を設けたが、本技術はかかる例に限定されない。例えば、例えば入力検出部および表示部を備える表示装置と通信可能に接続された機器に演算部および表示処理部を設け、当該機器で表示部に表示する３次元画像の各表示位置を算出し、算出された表示位置に基づいて表示部に３次元画像を表示させてもよい。

　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　操作入力を行う操作体の３次元空間における位置を検出する入力検出部と、
　前記入力検出部による検出結果に基づいて、表示部に表示された３次元画像から操作対象となる操作対象画像を特定し、前記操作対象画像の目標表示位置を算出する演算部と、
　前記操作対象画像を前記演算部により算出した前記目標表示位置に表示されるように前記表示部に表示させる表示処理部と、
を備える、情報処理装置。
（２）
　前記演算部は、
　前記入力検出部の検出結果に基づいて、前記表示部に対する前記操作体の位置を算出し、前記操作対象画像を特定する操作位置算出部と、
　前記操作体の位置変化に基づいて、前記操作対象画像の前記目標表示位置を算出する操作対象目標表示位置算出部と、
からなる、前記（１）に記載の情報処理装置。
（３）
　前記操作位置算出部は、
　前記入力検出部の検出結果から前記操作対象画像を選択する選択動作が行われたか否かを判定し、
　前記選択動作が行われたとき、前記操作体の位置と表示位置が一致する前記表示部に表示されている３次元画像の少なくとも一部を前記操作対象画像として特定する、前記（２）に記載の情報処理装置。
（４）
　前記演算部は、前記操作対象画像の少なくとも奥行方向における前記目標表示位置を算出する、前記（１）～（３）のいずれか１項に記載の情報処理装置。
（５）
　前記操作対象画像の前記目標表示位置と他の３次元画像の表示位置とを比較して、前記操作対象画像の前記目標表示位置を自動的に調整する表示位置調整部をさらに備える、前記（１）～（４）のいずれか１項に記載の情報処理装置。
（６）
　前記表示位置調整部は、操作体による移動後の前記操作対象画像が前記他の３次元画像より背面側に位置するとき、当該操作対象画像を前記他の３次元画像より前面側に表示されるように前記目標表示位置を調整する、前記（５）に記載の情報処理装置。
（７）
　前記操作対象画像は、前記操作対象画像を移動可能な移動可能領域内でのみ移動可能である、前記（１）～（６）のいずれか１項に記載の情報処理装置。
（８）
　前記３次元画像は、３次元表示されるコンテンツ画像と、前記コンテンツ画像と共に表示されるＯＳＤ画像とからなり、
　前記操作対象画像はＯＳＤ画像である、前記（１）～（７）のいずれか１項に記載の情報処理装置。

　１００、２００　　表示装置
　１０２　　　　　　３Ｄディスプレイ
　１０４　　　　　　入力検出デバイス
　１１０　　　　　　入力検出部
　１２０、２２０　　演算部
　１２２、２２２　　操作位置算出部
　１２４、２２４　　操作対象目標表示位置算出部
　１３０　　　　　　表示処理部
　１４０　　　　　　表示部
　２２６　　　　　　表示位置調整部
　３００　　　　　　３Ｄ画像
　３１０　　　　　　ＯＳＤ画像

Claims

　操作入力を行う操作体の３次元空間における位置を検出する入力検出部による検出結果に基づいて、表示部に表示された３次元画像から操作対象となる操作対象画像を特定し、前記操作対象画像の目標表示位置を算出する演算部と、
　前記操作対象画像を前記演算部により算出した前記目標表示位置に表示されるように前記表示部に表示させる表示処理部と、
を備える、情報処理装置。
　前記演算部は、
　前記入力検出部の検出結果に基づいて、前記表示部に対する前記操作体の位置を算出し、前記操作対象画像を特定する操作位置算出部と、
　前記操作体の位置変化に基づいて、前記操作対象画像の前記目標表示位置を算出する操作対象目標表示位置算出部と、
からなる、請求項１に記載の情報処理装置。
　前記操作位置算出部は、
　前記入力検出部の検出結果から前記操作対象画像を選択する選択動作が行われたか否かを判定し、
　前記選択動作が行われたとき、前記操作体の位置と表示位置が一致する前記表示部に表示されている３次元画像の少なくとも一部を前記操作対象画像として特定する、請求項２に記載の情報処理装置。
　前記演算部は、前記操作対象画像の少なくとも奥行方向における前記目標表示位置を算出する、請求項１に記載の情報処理装置。
　前記操作対象画像の前記目標表示位置と他の３次元画像の表示位置とを比較して、前記操作対象画像の前記目標表示位置を自動的に調整する表示位置調整部をさらに備える、請求項１に記載の情報処理装置。
　前記表示位置調整部は、操作体による移動後の前記操作対象画像が前記他の３次元画像より背面側に位置するとき、当該操作対象画像を前記他の３次元画像より前面側に表示されるように前記目標表示位置を調整する、請求項５に記載の情報処理装置。
　前記操作対象画像は、前記操作対象画像を移動可能な移動可能領域内でのみ移動可能である、請求項１に記載の情報処理装置。
　前記３次元画像は、３次元表示されるコンテンツ画像と、前記コンテンツ画像と共に表示されるＯＳＤ画像とからなり、
　前記操作対象画像はＯＳＤ画像である、請求項１に記載の情報処理装置。
　操作入力を行う操作体の３次元空間における位置を検出すること、
　前記操作体の位置の検出結果に基づいて、表示部に表示された３次元画像から操作対象となる操作対象画像を特定し、前記操作対象画像の目標表示位置を算出すること、
　前記操作対象画像を前記算出された前記目標表示位置に表示されるように前記表示部に表示させること、
を含む、情報処理方法。
　コンピュータを、
　操作入力を行う操作体の３次元空間における位置を検出する入力検出部による検出結果に基づいて、表示部に表示された３次元画像から操作対象となる操作対象画像を特定し、前記操作対象画像の目標表示位置を算出する演算部と、
　前記操作対象画像を前記演算部により算出した前記目標表示位置に表示されるように前記表示部に表示させる表示処理部と、
を備える、情報処理装置として機能させるコンピュータプログラム。