JPWO2015194075A1 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

入力画像の被写体の実物大画像を、より実物感を感じさせる位置に表示させることが可能な画像処理装置、画像処理方法及びプログラムを提供する。本技術の一形態に係る画像処理装置は、画像サイズ調整部と、表示位置決定部とを具備する。上記画像サイズ調整部は、入力画像の被写体を表示領域から実物大で表示するように前記入力画像のサイズを調整する。上記表示位置決定部は、上記表示領域が存する空間の第１の基底面と上記表示領域との位置関係に基づいて、上記入力画像のサイズが調整された実物大画像の、上記表示領域における表示位置を決定する。

Description

本技術は、入力画像の被写体を実物大に表示することが可能な画像処理装置、画像処理方法及びプログラムに関する。

従来より、入力画像の被写体を実物大に表示することが可能な装置等が知られている。例えば、特許文献１には、撮影された画像について、カメラから被写体までの距離及び撮影レンズの画角等に基づいて表示サイズを計算し、被写体を実物大に表示する実物大画像入出力装置が記載されている。一方、特許文献２には、カメラから撮影された２次元映像から人物と背景を分離し、多層化して奥行きを持つ実物大の３次元映像を生成する映像コミュニケーションシステムが記載されている。

特許第３５８６１２６号公報 特開２０１１−７７７１０号公報

しかしながら、特許文献１及び２に記載の装置及びシステムは、いずれも、被写体の実物大画像を、ディスプレイ等の表示領域中のどの位置に表示するかについては言及されていなかった。

以上のような事情に鑑み、本技術の目的は、入力画像の被写体の実物大画像を、より実物感を感じさせる位置に表示させることが可能な画像処理装置、画像処理方法及びプログラムを提供することにある。

上記目的を達成するため、本技術の一形態に係る画像処理装置は、画像サイズ調整部と、表示位置決定部とを具備する。
上記画像サイズ調整部は、入力画像の被写体を表示領域から実物大で表示するように上記入力画像のサイズを調整する。
上記表示位置決定部は、上記表示領域が存する空間の第１の基底面と上記表示領域との位置関係に基づいて、上記入力画像のサイズが調整された実物大画像の、上記表示領域における表示位置を決定する。

上記構成によれば、表示領域を鑑賞するユーザが立つと考えられる第１の基底面と表示領域との位置関係に基づいて、被写体の実物大画像を表示することができる。これにより、表示領域から実物大に表示された被写体の実物感を高めることができる。

上記表示位置決定部は、
上記実物大画像から、上記被写体が存する空間の第２の基底面の位置についての情報を取得する第２の基底面情報取得部を有し、
上記第１の基底面の位置と上記実物大画像中の上記第２の基底面の位置とを一致させることが可能に上記表示位置を決定してもよい。

これにより、画像中の第２の基底面と、実際の第１の基底面との位置を一致させ、画像中の空間と実際の空間とが一致しているように感じさせることができる。したがって、被写体の実物感をより高めることができる。

具体的には、第２の基底面情報取得部は、
上記実物大画像に上記第２の基底面が撮像されているか否かを判定する第２の基底面判定部と、
上記実物大画像に上記第２の基底面が撮像されていると判定された場合、上記実物大画像から上記第２の基底面の位置を検出する第２の基底面検出部とを有してもよい。

また、上記画像処理装置は、上記表示領域と上記第１の基底面との距離を検出する第１の基底面検出部を具備し、
上記表示位置決定部は、上記検出された距離に基づいて、上記表示位置を決定してもよい。

これにより、表示領域と上記第１の基底面との距離を自動的に検出することが可能となり、ユーザが当該距離を測定する等の手間を省くことができる。

また、上記表示位置決定部は、
上記実物大画像のうちユーザが注視する領域を検出する注視領域検出部を有し、
上記実物大画像において上記注視領域が上記表示領域から表示されることが可能に上記表示位置を決定してもよい。

これにより、表示位置決定部が、実物大画像の高さ方向のみならず、水平方向等の位置も決定することが可能となる。

また、上記画像処理装置は、上記被写体についての情報を含む上記入力画像の情報を解析する画像情報解析部をさらに具備し、
上記画像サイズ調整部は、上記入力画像の情報に基づいて、上記入力画像のサイズを調整してもよい。

これにより、画像サイズ調整部が、被写体についての情報や入力画像の仕様等に基づいて、円滑かつ精度よく入力画像のサイズを調整することができる。

具体的には、上記画像仕様解析部は、入力画像に記録されたメタデータを取得するメタデータ取得部を有し、
上記画像サイズ調整部は、上記表示領域の仕様と上記メタデータとに基づいて、上記入力画像のサイズを調整してもよい。
あるいは、上記画像仕様解析部は、上記被写体の大きさについての情報を取得する被写体情報取得部を有し、
上記画像サイズ調整部は、上記表示領域の仕様と上記被写体の大きさについての情報とに基づいて、上記入力画像のサイズを調整してもよい。

また、上記画像処理装置は、上記表示領域の仕様を取得する表示領域仕様取得部をさらに具備し、
上記画像サイズ調整部は、上記表示領域の仕様に基づいて、上記入力画像のサイズを調整してもよい。

これにより、画像サイズ調整部が、表示領域の仕様に基づいて円滑かつ精度よく入力画像のサイズを調整することができる。

さらに、上記画像処理装置は、上記決定された表示位置に基づいて、上記実物大画像に対応付けられた音声の出力位置を制御する音声出力制御部をさらに具備してもよい。

これにより、実物大画像の被写体から発せられ得る音声が、表示位置を調整された被写体近傍から発せられるように処理することができる。これにより、実物大画像の被写体が、表示領域の画像を鑑賞する鑑賞者と同じ空間にあるように感じられ、臨場感、実物感をより高めることができる。

本技術の一形態に係る画像処理方法は、入力画像の被写体を表示領域から実物大で表示するように上記入力画像のサイズを調整するステップを含む。
上記表示領域が存する空間の第１の基底面と上記表示領域との位置関係に基づいて、上記入力画像のサイズが調整された実物大画像の、上記表示領域における表示位置が決定される。

本技術の一形態に係るプログラムは、情報処理装置に、
入力画像の被写体を表示領域から実物大で表示するように上記入力画像のサイズを調整するステップと、
上記表示領域が存する空間の第１の基底面と上記表示領域との位置関係に基づいて、上記入力画像のサイズが調整された実物大画像の、上記表示領域における表示位置を決定するステップと
を実行させる。

以上のように、本技術によれば、入力画像の被写体の実物大画像を、より実物感を感じさせる位置に表示させることが可能な画像処理装置、画像処理方法及びプログラムを提供することが可能となる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

本技術の第１の実施形態に係る画像処理装置のハードウェア構成を示すブロック図である。 上記画像処理装置の機能的構成を示すブロック図である。 上記画像処理装置の動作を示すフローチャートである。 上記画像処理装置の処理に用いられる入力画像の例を示す図である。 上記画像処理装置の表示領域の例を示す図である。 上記画像処理装置の処理に用いられる実物大画像の例を示す図である。 上記画像処理装置の表示領域から出力される出力画像の例を示す図である。 本技術によらず実物大画像を表示した例を示す図であり、Ａは表示領域よりも実物大画像の被写体が大きい場合、Ｂは表示領域よりも実物大画像の被写体が小さい場合の例を示す。 変形例１−１に係る画像処理装置の機能的構成を示すブロック図である。 変形例１−２に係る画像処理装置の機能的構成を示すブロック図である。 変形例１−３に係る画像処理装置の機能的構成を示すブロック図である。 変形例１−４に係る画像処理装置の機能的構成を示すブロック図である。 変形例１−５に係る画像処理装置の機能的構成を示すブロック図である。 変形例１−６に係る画像処理装置の機能的構成を示すブロック図である。 変形例１−７に係る画像処理装置の機能的構成を示すブロック図である。 本技術の第２の実施形態に係る画像処理装置のハードウェア構成を示すブロック図である。 上記画像処理装置の機能的構成を示すブロック図である。 本技術の第３の実施形態に係る画像処理装置の概略構成を示すブロック図である。 上記画像処理装置の機能的構成を示すブロック図である。 本技術の第４の実施形態に係る画像処理装置の概略構成を示すブロック図である。 上記画像処理装置の機能的構成を示すブロック図である。 本技術の第５の実施形態に係る画像処理装置の概略構成を示すブロック図である。 上記画像処理装置の機能的構成を示すブロック図である。 変形例５−１に係る画像処理装置の機能的構成を示すブロック図である。 変形例５−２に係る画像処理装置の機能的構成を示すブロック図である。

以下、本技術に係る実施形態を、図面を参照しながら説明する。

＜第１の実施形態＞
［画像処理装置のハードウェア構成］
図１は、本技術の第１の実施形態に係る画像処理装置１００のハードウェア構成を示すブロック図である。画像処理装置１００は、本実施形態において、情報処理装置として構成され得る。画像処理装置１００は、具体的には、ＰＣ（Personal Computer）、タブレットＰＣ、スマートフォン、タブレット端末等の情報処理装置であってもよい。

同図において、画像処理装置１００は、コントローラ１１、ＲＯＭ（Read Only Memory）１２、ＲＡＭ（Random Access Memory）１３、入出力インタフェース１５、及び、これらを互いに接続するバス１４を備える。

コントローラ１１は、必要に応じてＲＡＭ１３等に適宜アクセスし、各種演算処理を行いながら画像処理装置１００の各ブロック全体を統括的に制御する。コントローラ１１は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）等であってもよい。ＲＯＭ１２は、コントローラ１１に実行させるＯＳ、プログラムや各種パラメータなどのファームウェアが固定的に記憶されている不揮発性のメモリである。ＲＡＭ１３は、コントローラ１１の作業用領域等として用いられ、ＯＳ、実行中の各種アプリケーション、処理中の各種データを一時的に保持する。

入出力インタフェース１５には、ディスプレイ１６、操作受付部１７、記憶部１８、通信部１９等が接続される。なお、入出力インタフェース１５は、これらの各要素の他、ＵＳＢ(Universal Serial Bus)端子やＩＥＥＥ端子等を介して外部周辺機器と接続可能に構成されてもよい。また、入出力インタフェース１５には、これら各要素の他、図示しない撮像部等が接続されていてもよい。

ディスプレイ１６は、例えばＬＣＤ（Liquid Crystal Display）、ＯＬＥＤ（Organic Light Emitting Diode）、ＣＲＴ（Cathode Ray Tube）等を用いた表示デバイスである。なお、ディスプレイ１６には、画像が表示される表示領域１６ａが画定される。

操作受付部１７は、例えばマウス等のポインティングデバイス、キーボード、タッチパネル、その他の入力装置である。操作受付部１７がタッチパネルである場合、そのタッチパネルはディスプレイ１６と一体となり得る。

記憶部１８は、例えばＨＤＤ（Hard Disk Drive）や、フラッシュメモリ（ＳＳＤ；Solid State Drive）、その他の固体メモリ等の不揮発性メモリである。当該記憶部１８には、上記ＯＳや各種アプリケーション、各種データが記憶される。記憶部１８は、また、後述する入力画像や、画像情報、生成した空間フィルタ、生成した出力画像群等を記憶することが可能に構成される。

通信部１９は、例えばEthernet（登録商標）用のＮＩＣ（Network Interface Card）であり、ネットワークを介した通信処理を担う。

以上のようなハードウェア構成の画像処理装置１００は、以下のような機能的構成を有する。

［画像処理装置の機能的構成］
図２は、画像処理装置１００の機能的構成を示すブロック図である。同図に示すように、画像処理装置１００は、画像取得部１０１と、画像情報解析部１０２と、表示領域仕様取得部１０３と、画像サイズ調整部１０４と、表示位置決定部１０５と、出力画像生成部１０６と、再生部１０７とを備える。画像処理装置１００は、例えば、入力画像を実物大に表示し、かつ、その実物大画像中の地面（後述する第２の基底面）がディスプレイ１６の置かれた空間の床面（後述する第１の基底面）と略一致するように実物大画像の表示位置を決定することが可能に構成される。なお、本実施形態において入力画像は、例えば静止画像や、動画の１フレームであってもよい。

画像取得部１０１は、処理対象の入力画像を取得する。画像取得部１０１は、例えば、コントローラ１１によって実現される。画像取得部１０１は、例えば、入出力インタフェース１５を介して記憶部１８に記憶された画像を入力画像として取得する。この入力画像は、例えば、画像処理装置１００の図示しない撮像部によって撮像された画像であってもよく、外部の撮像装置等により撮像され画像処理装置１００に入力された画像であってもよい。あるいは、入力画像は、ネットワークを介して取得された画像であってもよい。

画像情報解析部１０２は、被写体についての情報を含む入力画像の情報を解析する。画像情報解析部１０２は、例えば、コントローラ１１によって実現される。画像情報解析部１０２は、被写体についての情報の解析として、例えば、被写体の領域の検出、被写体の種類の推測、被写体の実際の大きさについての解析等を行うことができる。被写体の種類の推測や被写体の領域の検出は、例えば画像認識技術を適用することができる。また、被写体の実際の大きさは、例えば、推測された被写体の種類から推測することが可能である。画像情報解析部１０２は、被写体についての情報の他、入力画像の解像度（ピクセル数）に等の入力画像の仕様を取得し、入力画像の情報として解析することができる。

表示領域仕様取得部１０３は、表示領域１６ａの仕様を取得する。表示領域仕様取得部１０３は、例えば、コントローラ１１によって実現される。ここでいう「表示領域１６ａの仕様」とは、表示領域１６ａが配置されたディスプレイ１６の仕様を含むものとする。表示領域仕様取得部１０３は、表示領域１６ａの仕様として、例えば、表示領域１６ａの大きさ、表示領域１６ａの解像度（ピクセル数）、ピクセルピッチの情報等を取得することができる。また、表示領域１６ａの下辺から第１の基底面Ｂ１までの距離の情報が記憶部１８等に記憶されている場合は、当該情報を取得することができる。

画像サイズ調整部１０４は、入力画像の被写体を表示領域１６ａから実物大で表示するように入力画像のサイズを調整する。画像サイズ調整部１０４は、例えば、コントローラ１１によって実現される。画像サイズ調整部１０４は、具体的には、取得された表示領域１６ａの仕様と入力画像の情報とに基づいて、被写体が表示領域１６ａから実物大で表示されるように入力画像を拡大又は縮小し、入力画像のサイズを調整する。これにより、被写体が表示領域１６ａから実物大（等身大）で表示されるように入力画像を拡大又は縮小した実物大画像が生成され得る。サイズ調整の方法は特に限定されない。

表示位置決定部１０５は、表示領域１６ａが存する空間の第１の基底面と表示領域１６ａとの位置関係に基づいて、入力画像のサイズが調整された実物大画像の、表示領域１６ａにおける表示位置を決定する。表示位置決定部１０５は、例えば、コントローラ１１によって実現される。ここで、「表示領域１６ａが存する空間」とは、表示領域１６ａを備えたディスプレイ１６が配置された屋内又は屋外の空間をいう。「第１の基底面」とは、当該空間が屋内の場合には床面、当該空間が屋外の場合には地面をいうものとする。表示位置決定部１０５は、少なくとも高さ方向の表示位置を決定すればよい。表示位置決定部１０５によれば、被写体の実物感を高めるように、実物大画像の表示領域１６ａ中の表示位置を調整することができる。

表示位置決定部１０５は、例えば、実物大画像が表示領域１６ａよりも大きい場合、表示領域１６ａから表示される実物大画像の表示する領域を決定する。あるいは、表示位置決定部１０５は、実物大画像が表示領域１６ａよりも小さい場合、当該実物大画像が表示される表示領域１６ａ中の位置を決定する。

表示位置決定部１０５の第１の基底面と表示領域１６ａとの位置関係の取得方法は特に限定されない。例えば、表示位置決定部１０５は、表示領域１６ａの仕様として予め記憶され、表示領域仕様取得部１０３により取得された表示領域１６ａの下辺から第１の基底面までの距離の情報を用いることができる

表示位置決定部１０５は、本実施形態において、第２の基底面情報取得部１０５ａを有し、第１の基底面の位置と実物大画像中の第２の基底面の位置とを一致させることが可能に表示位置を決定する。「第２の基底面」とは、被写体が存する空間の基底面であり、当該空間が屋内の場合には床面、当該空間が屋外の場合には地面をいうものとする。「被写体が存する空間」とは、入力画像中の被写体が撮像時に存在していたと推測される屋内又は屋外の空間をいうものとする。表示位置決定部１０５は、表示位置の決定に際し、画像情報解析部１０２により解析された入力画像の情報や、表示領域仕様取得部１０３により取得された表示領域１６ａの仕様等を用いることができる。表示位置の具体的な決定方法の例については、後述する。

第２の基底面情報取得部１０５ａは、実物大画像から、被写体が存する空間の第２の基底面の位置についての情報を取得する。第２の基底面情報取得部１０５ａは、具体的には、画像認識技術等により、実物大画像中に当該第２の基底面が写っているか否かを判定し、第２の基底面が写っていると判定した場合は、実物大画像中の第２の基底面の座標位置を検出する。第２の基底面の位置は、例えば、表示領域１６ａの下辺と平行な直線として検出することができる。また、第２の基底面が広がりを持つ領域として検出された場合には、第２の基底面の位置として、第２の基底面の領域中の被写体が配置されているラインを規定してもよい。また第２の基底面情報取得部１０５ａは、第２の基底面が写っていないと判定した場合は、消失点・消失線の情報を参照して第２の基底面の座標位置を推測することもできる。

なお、表示位置決定部１０５は、本実施形態において、実物大画像の高さ方向の表示位置のみ決定することができる。水平方向の表示位置の決定方法については特に限定されない。

出力画像生成部１０６は、決定された表示位置に基づいて、実物大画像の少なくとも一部を含む出力画像を生成する。出力画像生成部１０６は、例えば、コントローラ１１によって実現される。出力画像生成部１０６は、出力画像を画像信号として生成し、当該画像信号を再生部１０７へ出力する。

再生部１０７は、上記出力画像を再生する。再生部１０７は、例えば、ディスプレイ１６によって実現される。

[画像処理装置の動作例]
図３は、画像処理装置１００の動作を示すフローチャートである。ここでは、実物大画像が表示領域１６ａよりも大きい場合について説明するが、小さい場合も同様に処理することができる。

まず、画像取得部１０１が、入出力インタフェース１５を介して処理対象の入力画像を取得する（ＳＴ３１）。処理対象の入力画像は、例えば、図示しない撮像装置等により撮像された１枚の静止画像とするが、動画の１フレームとしてもよい。

図４は、入力画像Ｇｉの例を示す図である。ここでは、被写体を車Ｃとして処理を行うこととする。なお、図中のｘ軸方向は幅方向（水平方向）、ｙ軸方向はｘ軸方向と直交する高さ方向（上下方向）を示す。

続いて、画像情報解析部１０２が、車（被写体）Ｃについての情報を含む入力画像の情報を解析する（ＳＴ３２）。画像情報解析部１０２は、被写体についての情報の解析として、例えば、被写体の領域の検出や、被写体の種類の推測、あるいは被写体の実際の大きさ等についての解析を行う。また画像情報解析部１０２は、入力画像の解像度（ピクセル数）等の入力画像の仕様についても解析する。

続いて、表示領域仕様取得部１０３が、表示領域１６ａの仕様、例えば、表示領域１６ａの大きさ、表示領域１６ａの解像度（ピクセル数）、ピクセルピッチ、表示領域１６ａの下辺から第１の基底面Ｂ１までの距離等を取得する（ＳＴ３３）。

図５は、表示領域１６ａの例を示す図である。例えば、表示領域１６ａの幅はＷｄ（ｍｍ）、高さはＨｄ（ｍｍ）と表し、ピクセル数では、幅はＰｗｄ（pixel）、高さはＰｈｄ（pixel）と表すことができる。また、表示領域１６ａの下辺から第１の基底面Ｂ１までの距離（高さ）はＨｅ（ｍｍ）、と表すことができる。なお、同図中の符号Ｂ１は、第１の基底面を示すラインである。また、Ｘ軸方向は幅方向（水平方向）、Ｙ軸方向はＸ軸方向と直交する高さ方向（上下方向）を示す。

続いて、画像サイズ調整部１０４が、入力画像Ｇｉの車Ｃを表示領域１６ａから実物大で表示するように入力画像Ｇｉのサイズを調整する（ＳＴ３４）。

図６は、実物大画像Ｇｒの例を示す図である。画像サイズ調整部１０４は、表示領域１６ａのピクセルピッチｐｐ（ｍｍ／pixel）の情報から、被写体Ｃが実物大で表示されるように、実物大画像Ｇｒの幅（Ｐｗｒ（pixel））及び高さ（Ｐｈｒ（pixel））のピクセル数を決定する。ピクセルピッチは、ディスプレイ１６固有の値であるディスプレイ１６（表示領域１６ａ）の解像度と表示領域１６ａのサイズの情報から算出され得る。図６において、実物大画像Ｇｒの幅をＷｒ（ｍｍ）、高さをＨｒ（ｍｍ）と表し、ピクセル数では、幅はＰｗｒ（pixel）、高さはＰｈｒ（pixel）と表すものとすると、以下の式（１）、（２）の関係が成り立っている。
Ｗｒ（ｍｍ）＝Ｐｗｒ（pixel）×ｐｐ（ｍｍ／pixel）…（１）
Ｈｒ（ｍｍ）＝Ｐｈｒ（pixel）×ｐｐ（ｍｍ／pixel）…（２）

続いて、表示位置決定部１０５が、表示領域１６ａが存する空間の第１の基底面Ｂ１と表示領域１６ａとの位置関係に基づいて、入力画像のサイズが調整された実物大画像の、表示領域１６ａにおける表示位置を決定する（ＳＴ３５）。

図６を参照し、本ステップにおいてまず、第２の基底面情報取得部１０５ａが、実物大画像Ｇｒから、被写体Ｃが存する空間の第２の基底面Ｂ２の位置についての情報を取得し、第２の基底面の入力画像中の座標位置を検出する（ＳＴ３５−１）。同図の例では、例えば、車Ｃの前輪のタイヤが位置するラインを第２の基底面Ｂ２の位置として検出することができる。第２の基底面情報取得部１０５ａは、第２の基底面Ｂ２の座標位置を、実物大画像Ｇｒの下辺に平行な直線として検出することができる。同図の例では、第２の基底面Ｂ２は、ｙ＝Ｂ（Ｂは定数）と表される。

次に、表示位置決定部１０５が、第１の基底面の位置と実物大画像中の第２の基底面Ｂ２の位置とを一致させることが可能に表示位置を決定する（ＳＴ３５−２）。本動作例では、図６に示す、第２の基底面Ｂ２からＨｅ（ｍｍ）の高さのラインＬを検出し、このラインＬを表示領域１６ａの下辺と一致させるようにすることで、第１の基底面Ｂ１の位置と実物大画像中の第２の基底面Ｂ２の位置とを一致させることが可能となる。具体的には、以下のように表示位置を決定する。

すなわち、図５及び図６を参照し、表示位置決定部１０５は、表示領域仕様取得部１０３により取得されたＨｅ（ｍｍ）に対応するＹ方向のピクセル数Ｐｈｅ(pixel)を算出する。Ｐｈｅ(pixel)は、以下のように表すことができる。
Ｐｈｅ(pixel)＝Ｈｅ（ｍｍ）／ｐｐ（ｍｍ／pixel）…（３）

これにより、表示位置決定部１０５は、実物大画像Ｇｒにおける第２の基底面Ｂ２の位置からＰｈｅ(pixel)だけ上部のラインＬの位置を検出することができる。

そして、出力画像生成部１０６が、決定された表示位置に基づいて、実物大画像Ｇｒの少なくとも一部を含む出力画像Ｇｕを生成する（ＳＴ３６）。出力画像Ｇｕは、図６に示す実物大画像ＧｒのラインＬが表示領域１６ａの下辺に一致するように表示された画像となり得る。そして、図７に示すように、出力画像Ｇｕが、再生部１０７により表示領域１６ａから表示される。

以上より、本実施形態によれば、実物大画像中の地面又は床面のラインと、表示領域１６ａを含むディスプレイ１６が配置された空間の地面又は床面のラインとを一致させることができる。これにより、ユーザに対し、実物大画像の被写体を、ディスプレイ１６の画像を鑑賞する鑑賞者と同じ空間にあるように感じさせることができ、実物感を高めることができる。以下、図を用いて、本技術の作用効果をより詳細に説明する。

図８は、本技術によらず実物大画像を表示した例を示す図であり、Ａは表示領域１６ｂよりも実物大画像の被写体Ｃが大きい場合、Ｂは表示領域１６ｃよりも実物大画像の被写体Ｃが小さい場合の例を示す。

図８Ａを参照し、被写体Ｃが表示領域１６ｂよりも大きい場合は、被写体Ｃの一部のみが表示領域１６ｂ中に表示されることとなり、例えば、ユーザが注視する頻度が高い注視領域が表示されることが考えられる。そこで、同図に示すように、例えば被写体Ｃのフロントフェイス部分が注視領域になり得る。

しかしながら、図８Ａの画像をユーザが鑑賞する場合は、被写体Ｃの大きさは実物大であったとしても、高さ方向に浮いているように感じられるため、実物がユーザと同一の空間に配置されている感覚、すなわち実物感が感じられない。また、ユーザ自身が、上述の第２の基底面に対応する位置を考慮して入力操作等により高さ方向の表示位置を調整しようとする場合も、当該位置とユーザが立つ空間とを一致させることは難しい。

一方、図８Ｂを参照し、被写体Ｃが表示領域１６ｃよりも小さい場合は、実物大画像の全体が表示領域１６ｃ中に表示されることとなる。この場合も、実物大画像を表示領域１６ｃ中のどの位置に表示するか規定する必要が生じる。そこで同図に示すように、例えば、実物大画像の中心と表示領域１６ｃの中心とを一致させる方法が考えられる。

しかしながら、ユーザが図８Ｂの画像を鑑賞する場合も、やはり高さ方向に浮いているように感じられるため実物感が感じられず、また表示位置の調整も煩わしい。

それに対し、本実施形態によれば、図７を参照し、実物大画像Ｇｒの被写体Ｃについて、自動的に高さ方向の位置を調整し、かつ、実物大画像Ｇｒ中の地面又は床面のラインと、表示領域１６ａを含むディスプレイ１６が配置された空間の地面又は床面のラインとを一致させることができる。したがって、ユーザ自身の調整の煩わしさを排除し、より実物感のある画像を提供することが可能となる。

［変形例１−１］
図９は、本変形例に係る画像処理装置１００の機能的構成を示すブロック図である。同図に示すように、表示位置決定部１０５が、第２の基底面情報取得部１０５ａを有しない構成であってもよい。この場合は、例えば、実物大画像の下辺を第２の基底面とみなして、上述の実施形態と同様に処理を行うことができる。あるいは、ユーザ自身が目視にて確認した第２の基底面の位置を入力可能な構成としてもよい。これにより、装置構成を簡略にしつつ、実物感のある画像を提供することができる。

［変形例１−２］
図１０は、本変形例に係る画像処理装置１００の機能的構成を示すブロック図である。同図に示すように、第２の基底面情報取得部１０５ａが、第２の基底面判定部１０５ｂと、第２の基底面検出部１０５ｃとを有していてもよい。

第２の基底面判定部１０５ｂは、実物大画像に第２の基底面が撮像されているか否かを判定する。判定方法は特に限定されず、例えば、実物大画像において、コントラスト、色、空間周波数といった画像特徴量に地面（又は床面）特有の傾向が見られるか否かを検出する手法や、実物大画像に明示的な地平線・水平線が撮像されているか否かを検出する手法等が挙げられる。画像特徴量に基づいて検出する手法は、より具体的には、実物大画像の下部において茶色や灰色の領域を検出した場合、第２の基底面が撮像されていると判定する。地平線・水平線について検出する手法は、地平線・水平線が検出された場合、第２の基底面が撮像されていると判定し、地平線・水平線より下を地面とみなすものである。

第２の基底面検出部１０５ｃは、第２の基底面判定部１０５ｂにて第２の基底面が撮像されていると判定された場合、実物大画像から第２の基底面の位置を検出する。検出された位置は、第２の基底面が検出された領域の形状をＸ座標とＹ座標とを組み合わせて２次元的に表現してもよい。あるいは、第２の基底面が検出された領域のうちの最も下部のＹ座標のみで直線的に表現してもよい。

これにより、第２の基底面をより精度よく検出することが可能となる。

［変形例１−３］
図１１は、本変形例に係る画像処理装置１００の機能的構成を示すブロック図である。同図に示すように、画像情報解析部１０２は、メタデータ取得部１０２ａと、被写体情報取得部１０２ｂとをさらに有していてもよい。

メタデータ取得部１０２ａは、入力画像に記録されるメタデータを参照し、画像の解像度、撮像時のカメラパラメータ、撮像時の位置情報等を取得する。メタデータとしては、例えば、exchangeable image file format（exif）を用いることができる。また、カメラパラメータとしては、例えば、焦点距離、画角、撮像装置から被写体までの距離等を挙げることができる。

被写体情報取得部１０２ｂは、被写体の大きさについての情報を取得する。被写体情報取得部１０２ｂは、例えば、上記の画角、撮像装置から被写体までの距離等の情報から幾何的に被写体の大きさを算出してもよいし、メタデータ内に記録される被写体の情報等を参照してもよい。

これにより、画像サイズ調整部１０４は、表示領域１６ａの仕様、メタデータ及び被写体の大きさについての情報に基づいて、入力画像のサイズを調整することができる。したがって、被写体の大きさを精度よく検出することができ、入力画像のサイズ調整を円滑かつ精度よく行うことができる。

なお、図示はしないが、画像情報解析部１０２は、メタデータ取得部１０２ａを有さず、被写体情報取得部１０２ｂのみを有していてもよい。この場合、被写体情報取得部１０２ｂは、撮像時に被写体の大きさを測定した測定値の情報を取得することもできる。当該情報は、入力画像と対応付けて記憶部１８に記憶されていてもよい。

［変形例１−４］
図１２は、本変形例に係る画像処理装置１００の機能的構成を示すブロック図である。同図に示すように、画像処理装置１００は、第１の基底面検出部１０８をさらに備えてもよい。

第１の基底面検出部１０８は、表示領域１６ａと第１の基底面との距離を検出し、例えば、図５のＨｅ（ｍｍ）を検出することができる。検出方法は特に限定されず、例えば、表示領域１６ａ近傍から第１の基底面に向けて超音波やレーザ光等を照射することにより当該距離を計測してもよい。あるいは、ディスプレイ１６を支持する支持具（スタンド）等の仕様が記憶部１８等に記憶されている場合には、第１の基底面検出部１０８は、この仕様から上記距離を算出することも可能である。

表示位置決定部１０５は、検出された表示領域１６ａと第１の基底面との距離に基づいて、表示位置を決定することができる。

これにより、上記距離を自動的に検出することができるため、ユーザが入力する手間等を省くことができる。

［変形例１−５］
図１３は、本変形例に係る画像処理装置１００の機能的構成を示すブロック図である。同図に示すように、表示位置決定部１０５は、注視領域検出部１０５ｄをさらに有していてもよい。上述の第１の実施形態では、実物大画像の高さ方向の表示位置を決定したが、水平方向の表示位置については特に言及していない。本変形例によれば、水平方向の表示位置についても決定することが可能となる。

注視領域検出部１０５ｄは、実物大画像のうちユーザが注視する領域を検出する。注視領域の検出方法は特に限定されず、例えば、画像認識技術により特徴的な被写体の領域を抽出し、当該領域を人が視線を向けると思われる領域と推定することができる。例えば、図６の実物大画像Ｇｒの場合は、車Ｃのフロントガラス部分を注視領域と検出することができる。

表示位置決定部１０５は、実物大画像において注視領域が表示領域１６ａから表示されることが可能に表示位置を決定することができる。これにより、よりユーザが見たい領域を表示し、かつ実物感の高い画像を提供することができ、ユーザニーズに応えることができる。

［変形例１−６］
図１４は、本変形例に係る画像処理装置１００の機能的構成を示すブロック図である。同図に示すように、表示位置決定部１０５は、ユーザ設定部１０５ｅを有していてもよい。本変形例によっても、水平方向の表示位置について決定することが可能となる。

ユーザ設定部１０５ｅは、ユーザが操作受付部１７等により入力した実物大画像の表示位置を取得することができる。

これにより、表示位置決定部１０５は、上記入力された表示位置に基づいて、表示位置を調整することができる。したがって、ユーザが特定の領域を見たい場合にユーザの嗜好を反映した表示位置とすることができ、ユーザニーズに応えることができる。

［変形例１−７］
図１５は、本変形例に係る画像処理装置１００の機能的構成を示すブロック図である。同図に示すように、画像処理装置１００は、画像情報解析部１０２と、表示領域仕様取得部１０３とを有さず、画像取得部１０１と、画像サイズ調整部１０４と、表示位置決定部１０５と、出力画像生成部１０６と、再生部１０７とを備えていてもよい。

この場合は、画像サイズ調整部１０４は、ユーザが操作受付部１７等により入力した、被写体の大きさ、入力画像の情報、及び表示領域１６ａの仕様等に基づいて、入力画像のサイズを調整することができる。これによっても、実物感の高い画像を提供することができる。

［変形例１−８］
上述の第１の実施形態においては、画像サイズ調整部１０４が入力画像を拡大又は縮小し、実物大画像を生成すると説明したが、これに限定されない。例えば、画像サイズ調整部１０４は、実物大画像そのものを生成せず、拡大率又は縮小率を算出する構成であってもよい。この場合、表示位置決定部１０５は、当該拡大率又は縮小率に基づいて実物大画像を想定し、表示位置を決定することができ、出力画像生成部１０６は、上記拡大率又は縮小率と決定された表示位置とに基づいて、入力画像から出力画像を生成することができる。したがって、上述と同様の処理を行うことができる。

また、本変形例において、第２の基底面情報取得部１０５ａは、入力画像から被写体が存する空間の第２の基底面の位置についての情報を取得し、上記拡大率又は縮小率を鑑みて実物大画像における第２の基底面の位置についての情報を取得することができる。さらに、第２の基底面情報取得部１０５ａが第２の基底面判定部１０５ｂを有する場合は、入力画像に第２の基底面が撮像されているか否かを判定することで、実物大画像に撮像されているか否かを判定することができる。第２の基底面検出部１０５ｃについても同様に、実物大画像に第２の基底面が撮像されていると判定された場合、入力画像から第２の基底面の位置を検出して、実物大画像における第２の基底面の位置を算出することができる。

［変形例１−９］
上述の第１の実施形態では、被写体が一つの場合を例に挙げて説明したが、被写体が複数であってもよい。例えば、画像情報解析部１０２は、検出された被写体が複数ある場合は、最も多くの領域を占める被写体に着目してもよいし、あるいは最も手前側（奥行きが浅い位置）にあると推測される被写体に着目してもよい。

［変形例１−１０］
上述の第１の実施形態では、表示位置決定部１０５は、表示領域１６ａの仕様として予め記憶された情報を用いて第１の基底面と表示領域１６ａとの距離の情報を取得すると説明したが、これに限定されない。例えば、表示位置決定部１０５は、ユーザにより測定され、入力された表示領域１６ａから第１の基底面までの距離の情報を用いることができる。

また、表示領域１６ａから第１の基底面までの距離は、表示領域１６ａ下辺から第１の基底面までの距離であると説明したが、表示領域１６ａのサイズが既知の場合には、表示領域１６ａ上辺から第１の基底面までの距離、又は表示領域１６ａ中心から第１の基底面までの距離等から、表示領域１６ａ下辺から第１の基底面までの距離を算出してもよい。

［変形例１−１１］
上述の第１の実施形態では、入力画像が静止画像として説明したが、動画であってもよい。この場合は、動画の各フレーム毎に上述の処理を行い、表示位置を調整してもよい。あるいは、連続する複数フレーム間で第２の基底面が大きく変わらないと想定される場合は、初めの１フレームにおいて上述の処理を行い、後のフレームでは当該１フレームと同じ表示位置で連続的に再生するように処理してもよい。また、連続する複数フレームの間で画像特徴量等が大きく変化していること等が検出され、被写体が変化していると想定される場合には、当該変化が大きいフレームに対してのみ上述の処理を行ってもよい。

＜第２の実施形態＞
［画像処理装置のハードウェア構成］
図１６は、本技術の第２の実施形態に係る画像処理装置２００のハードウェア構成を示すブロック図である。画像処理装置２００は、第１の実施形態と同様に、情報処理装置として構成されることができ、具体的には、ＰＣ、タブレットＰＣ、スマートフォン、タブレット端末等の情報処理装置であってもよい。なお、以下の説明において、第１の実施形態と同様の構成については、同一の符号を付してその説明を省略する。

画像処理装置２００は、画像処理装置１００の構成に加え、さらに、表示位置に応じて入力画像に対応付けられた音声が出力する位置を決定することが可能に構成される。

すなわち、画像処理装置２００は、コントローラ２１、ＲＯＭ２２、ＲＡＭ２３、入出力インタフェース２５、及び、これらを互いに接続するバス２４を備える。さらに、入出力インタフェース２５には、操作受付部２７、記憶部２８、通信部２９の他、スピーカ２１０が接続される。コントローラ２１、ＲＯＭ２２、ＲＡＭ２３、バス２４、入出力インタフェース２５、ディスプレイ２６、操作受付部２７、記憶部２８、及び通信部２９は、それぞれ、コントローラ１１、ＲＯＭ１２、ＲＡＭ１３、バス１４、入出力インタフェース１５、操作受付部１７、記憶部１８、及び通信部１９と同様の構成であるため、その説明を省略する。なお、ディスプレイ２６には、表示領域１６ａと同様の表示領域２６ａが画定される。

スピーカ２１０は、音声を出力することが可能に構成される。スピーカ２１０は、例えば、ディスプレイ２６の内部に配置された複数の小スピーカを含んでいてもよい。これらの小スピーカは、画素毎、あるいは複数画素を含む所定の単位領域毎に配置され得る。また、スピーカ２１０は、例えば、ディスプレイ２６の裏面や周縁を移動可能な一つのスピーカであってもよい。この場合スピーカ２１０は、スピーカ本体と、移動機構とを含む構成となり得る。

［画像処理装置の機能的構成］
図１７は、画像処理装置２の機能的構成を示すブロック図である。同図に示すように、画像処理装置２は、画像取得部１０１と、画像情報解析部１０２と、表示領域仕様取得部１０３と、画像サイズ調整部１０４と、表示位置決定部１０５と、出力画像生成部１０６と、再生部２０７と、さらに音声出力制御部２０９とを備える。

音声出力制御部２０９は、決定された表示位置に基づいて、実物大画像に対応付けられた音声の出力位置を制御する。音声出力制御部２０９は、例えば、コントローラ２１により実現される。音声出力制御部２０９は、具体的には、実物大画像（入力画像）の被写体中に当該音声が出力されると推測される領域があった場合、表示位置が調整された当該領域の近傍から音声が出力されるようにスピーカ２１０を制御する。より具体的には、音声出力制御部２０９は、実物大画像の被写体が車であった場合（図６等参照）、実物大画像に対応付けられた車のエンジン音の音声を、表示位置が決定された当該車のフロント部分近傍から発せられるように制御することができる。なお、「実物大画像に対応付けられた音声」とは、典型的には、入力画像の撮像時に録音された音声とすることができるが、入力画像中の被写体から発せられると推測される音声であってもよい。

音声出力制御部２０９は、例えば、スピーカ２１０がディスプレイ２６内部に配置されている場合は、音声が出力されると推測される領域に対応する画素又は単位領域に配置された小スピーカから音声が出力されるようにスピーカ２１０を制御する。あるいは、スピーカ２１０が移動可能に構成される場合は、音声が発せられると推測される領域に近い位置にスピーカ２１０を移動させ、音声を出力するようにスピーカ２１０を制御する。

再生部２０７は、出力画像を表示し、かつ制御された音声を出力する。再生部２０７は、例えば、ディスプレイ２６及びスピーカ２１０により実現される。

本実施形態によれば、実物大画像中の地面又は床面のラインと、表示領域２６ａを含むディスプレイ２６が配置された空間の地面又は床面のラインとを一致させ、かつ、実物大画像の被写体から発せられ得る音声が、表示位置を調整された被写体近傍から発せられるように処理することができる。これにより、実物大画像の被写体が、ディスプレイ２６の画像を鑑賞する鑑賞者と同じ空間にあるように感じられ、臨場感、実物感をより高めることができる。

＜第３の実施形態＞
［画像処理システムの概略構成］
図１８は、本技術の第３の実施形態に係る画像処理システム３の概略構成を示すブロック図である。同図において、画像処理システム３は、画像処理装置３００と、再生装置３６０とを備える。画像処理装置３００及び再生装置３６０は、有線又は無線により相互に接続されている。再生装置３６０は、例えばディスプレイ装置、プロジェクタ装置、ウェアラブル端末、ＰＣ、タブレットＰＣ、スマートフォン、タブレット端末等の画像表示が可能な装置として構成され、表示領域３６０ａを有する。画像処理装置３００は、例えばＰＣ、タブレットＰＣ、スマートフォン、タブレット端末等の情報処理装置として構成され得る。なお、画像処理装置３００のハードウェア構成は、画像処理装置１００のハードウェア構成と同様であるため、説明を省略する。

画像処理システム３は、以下のような動作が可能に構成される。すなわち、再生装置３６０から送信された入力画像及び表示領域の仕様を用いて、画像処理装置３００が画像情報の解析等や、入力画像のサイズ調整及び表示位置の調整を行い、出力画像を生成する。そして、画像処理装置３００が、生成された出力画像を再生装置３６０へ送信し、再生装置３６０が、これらに基づく出力画像を表示する。

［画像処理システムの機能的構成］
図１９は、画像処理システム３の機能的構成を示すブロック図である。同図に示すように、画像処理システム３は、画像取得部３０１と、画像情報解析部３０２と、表示領域仕様取得部３０３と、画像サイズ調整部３０４と、表示位置決定部３０５と、出力画像生成部３０６と、再生部３０７とを備える。このうち画像処理装置３００は、画像取得部３０１と、画像情報解析部３０２と、画像サイズ調整部３０４と、表示位置決定部３０５と、出力画像生成部３０６とを備える。再生装置３６０は、表示領域仕様取得部３０３と、再生部３０７を備える。

上記各要素は、画像処理装置１００の画像取得部１０１と、画像情報解析部１０２と、表示領域仕様取得部１０３と、画像サイズ調整部１０４と、表示位置決定部１０５と、出力画像生成部１０６と、再生部１０７と同様の構成を有する。すなわち、画像取得部３０１は、処理対象の入力画像を取得する。画像情報解析部３０２は、被写体についての情報を含む入力画像の情報を解析する。表示領域仕様取得部３０３は、表示領域３６０ａの仕様を取得する。画像サイズ調整部３０４は、入力画像の被写体を表示領域３６０ａから実物大で表示するように入力画像のサイズを調整する。表示位置決定部３０５は、表示領域が存する空間の第１の基底面と表示領域３６０ａとの位置関係に基づいて、入力画像のサイズが調整された実物大画像の、表示領域３６０ａにおける表示位置を決定する。出力画像生成部３０６は、決定された表示位置に基づいて、実物大画像の少なくとも一部を含む出力画像を生成する。再生部３０７は、出力画像を表示領域３６０ａから再生する。

再生装置３６０は、入力画像や、表示領域仕様取得部３０３により取得された表示領域３６０ａの仕様についての情報を、画像処理装置３００に送信することができる。画像処理装置３００は、これらの入力画像や表示領域３６０ａの仕様についての情報を記憶部３８等に記憶し、処理に用いることができる。

画像処理装置３００は、出力画像生成部３０６により生成された出力画像を、再生装置３６０へ送信する。これにより、再生装置３６０の再生部３０７が、出力画像を表示領域３６０ａから表示することが可能となる。

以上のような構成の画像処理装置３００であっても、画像処理装置１００と同様に、ユーザに対し、実物大画像の被写体を、再生装置３６０の画像を鑑賞する鑑賞者と同じ空間にあるように感じさせることができ、実物感をより感じさせることができる。

［変形例３−１］
画像処理システム３は、後述する画像処理システム５と同様のクラウドシステムであり、画像処理装置３００と再生装置３６０が、ネットワークを介して相互に接続されていてもよい。この場合、画像処理装置３００は、サーバ装置（情報処理装置）として構成され、再生装置３６０は、例えばＰＣ、タブレットＰＣ、スマートフォン、タブレット端末等のユーザ端末として構成されてもよい。

＜第４の実施形態＞
［画像処理システムの概略構成］
図２０は、本技術の第４の実施形態に係る画像処理システム４の概略構成を示すブロック図である。同図において、画像処理システム４は、画像処理装置４００と、再生装置４６０とを備える。画像処理装置４００及び再生装置４６０は、有線又は無線により相互に接続されている。再生装置４６０は、例えばディスプレイ装置、プロジェクタ装置、ウェアラブル端末、ＰＣ、タブレットＰＣ、スマートフォン、タブレット端末等の画像表示が可能な装置として構成され、表示領域４６０ａを有する。画像処理装置４００は、例えばＰＣ、タブレットＰＣ、スマートフォン、タブレット端末等の情報処理装置として構成され得る。なお、画像処理装置４００のハードウェア構成は、画像処理装置１００のハードウェア構成と同様であるため、説明を省略する。

画像処理システム４は、以下のような動作が可能に構成される。すなわち、再生装置４６０から送信された入力画像及び表示領域４６０ａの仕様を用いて、画像処理装置４００が画像情報の解析や、入力画像のサイズ調整及び表示位置の調整を行う。そして、画像処理装置４００が、実物大画像及び調整された表示位置等を再生装置４６０へ送信し、再生装置４６０が、これらに基づく出力画像を生成し、表示する。

［画像処理システムの機能的構成］
図２１は、画像処理システム４の機能的構成を示すブロック図である。同図に示すように、画像処理システム４は、画像取得部４０１と、画像情報解析部４０２と、表示領域仕様取得部４０３と、画像サイズ調整部４０４と、表示位置決定部４０５と、出力画像生成部４０６と、再生部４０７とを備える。このうち画像処理装置４００は、画像取得部４０１と、画像情報解析部４０２と、画像サイズ調整部４０４と、表示位置決定部４０５とを備える。再生装置４６０は、表示領域仕様取得部４０３と、出力画像生成部４０６と、再生部４０７を備える。

上記各要素は、画像処理装置１００の画像取得部１０１と、画像情報解析部１０２と、表示領域仕様取得部１０３と、画像サイズ調整部１０４と、表示位置決定部１０５と、出力画像生成部１０６と、再生部１０７と同様の構成を有する。すなわち、画像取得部４０１は、処理対象の入力画像を取得する。画像情報解析部４０２は、被写体についての情報を含む入力画像の情報を解析する。表示領域仕様取得部４０３は、表示領域４６０ａの仕様を取得する。画像サイズ調整部４０４は、入力画像の被写体を表示領域４６０ａから実物大で表示するように入力画像のサイズを調整する。表示位置決定部４０５は、表示領域４６０ａが存する空間の第１の基底面と表示領域４６０ａとの位置関係に基づいて、入力画像のサイズが調整された実物大画像の、表示領域４６０ａにおける表示位置を決定する。出力画像生成部４０６は、決定された表示位置に基づいて、実物大画像の少なくとも一部を含む出力画像を生成する。再生部４０７は、出力画像を表示領域４６０ａから再生する。

再生装置４６０は、入力画像や、表示領域仕様取得部４０３により取得された表示領域４６０ａの仕様についての情報を、画像処理装置４００に送信することができる。画像処理装置４００は、これらの入力画像や表示領域４６０ａの仕様についての情報を記憶し、処理に用いることができる。

画像処理装置４００は、実物大画像と、表示位置決定部４０５により決定された表示位置の情報とを、再生装置４６０へ送信する。これにより、再生装置４６０の出力画像生成部４０６が、実物大画像と表示位置の情報とに基づいて出力画像を生成し、再生部４０７が、当該出力画像を表示領域４６０ａから表示することが可能となる。

以上のような構成の画像処理装置４００であっても、画像処理装置１００と同様に、ユーザに対し、実物大画像の被写体を、再生装置４６０の画像を鑑賞する鑑賞者と同じ空間にあるように感じさせることができ、実物感をより感じさせることができる。

［変形例４−１］
画像処理装置４００は、実物大画像と、表示位置の情報とを送信する構成に限定されず、例えば、入力画像の画像の拡大率又は縮小率についての情報と、表示位置の情報とを送信する構成であってもよい。これによっても、再生装置４６０の出力画像生成部４０６が出力画像を生成することが可能となる。

［変形例４−２］
画像処理システム４は、後述する画像処理システム５と同様のクラウドシステムであり、画像処理装置４００と再生装置４６０が、ネットワークを介して相互に接続されていてもよい。この場合、画像処理装置４００は、サーバ装置（情報処理装置）として構成され、再生装置３６０は、例えばＰＣ、タブレットＰＣ、スマートフォン、タブレット端末等のユーザ端末として構成されてもよい。

＜第５の実施形態＞
［画像処理システムの概略構成］
図２２は、本技術の第５の実施形態に係る画像処理システム５の概略構成を示すブロック図である。同図において、画像処理システム５は、クラウドシステムであり、画像処理装置５００と、再生装置５６０とを備える。画像処理装置５００及び再生装置５６０は、ネットワークＮを介して相互に接続されている。再生装置５６０は、ユーザ端末として構成され、表示領域５６０ａを有する。画像処理装置５００は、例えばネットワークＮ上のサーバ装置（情報処理装置）として構成される。なお、画像処理装置５００及び再生装置５６０のハードウェア構成は、いずれも画像処理装置１００のハードウェア構成と同様であるため、説明を省略する。

画像処理システム５は、以下のような動作が可能に構成される。すなわち、再生装置５６０が、入力画像の解析及び表示領域の仕様の取得等を行い、これらの情報を画像処理装置５００に送信する。そして、画像処理装置５００がこれらの情報に基づいて入力画像のサイズ調整及び表示位置の調整を行い、出力画像を生成する。そして、画像処理装置５００が、生成された出力画像を再生装置５６０へ送信し、再生装置５６０が、これらに基づく出力画像を表示する。

［画像処理システムの機能的構成］
図２３は、画像処理システム５の機能的構成を示すブロック図である。同図に示すように、画像処理システム５は、画像取得部５０１と、画像情報解析部５０２と、表示領域仕様取得部５０３と、画像サイズ調整部５０４と、表示位置決定部５０５と、出力画像生成部５０６と、再生部５０７とを備える。このうち画像処理装置５００は、画像取得部５０１と、画像サイズ調整部５０４と、表示位置決定部５０５と、出力画像生成部５０６とを備える。再生装置５６０は、画像情報解析部５０２と、表示領域仕様取得部５０３と、再生部５０７とを備える。

上記各要素は、画像処理装置１００の画像取得部１０１と、画像情報解析部１０２と、表示領域仕様取得部１０３と、画像サイズ調整部１０４と、表示位置決定部１０５と、出力画像生成部１０６と、再生部１０７と同様の構成を有する。すなわち、画像取得部５０１は、処理対象の入力画像を取得する。画像情報解析部５０２は、被写体についての情報を含む入力画像の情報を解析する。表示領域仕様取得部５０３は、表示領域５６０ａの仕様を取得する。画像サイズ調整部５０４は、入力画像の被写体を表示領域５６０ａから実物大で表示するよう入力画像のサイズを調整する。表示位置決定部５０５は、表示領域５６０ａが存する空間の第１の基底面と表示領域５６０ａとの位置関係に基づいて、入力画像のサイズが調整された実物大画像の、表示領域５６０ａにおける表示位置を決定する。出力画像生成部５０６は、決定された表示領域５６０ａに基づいて、実物大画像の少なくとも一部を含む出力画像を生成する。再生部５０７は、表示位置が決定された実物大画像の少なくとも一部を、出力画像として表示する。

再生装置５６０は、画像情報解析部５０２により解析された入力画像の情報と、表示領域仕様取得部５０３により取得された表示領域５６０ａの仕様とを、入力画像とともに画像処理装置５００に送信する。これにより、画像処理装置５００は、これらの入力画像の情報及び表示領域５６０ａの仕様に基づいて、入力画像のサイズ調整、及び表示位置の決定を行うことができる。

画像処理装置５００は、出力画像生成部５０６により生成された出力画像を、再生装置５６０へ送信する。これにより、再生装置５６０の再生部５０７が、出力画像を表示領域５６０ａから表示することが可能となる。

以上のような構成の画像処理装置５００であっても、画像処理装置１００と同様に、ユーザに対し、実物大画像の被写体を、ディスプレイの画像を鑑賞する鑑賞者と同じ空間にあるように感じさせることができ、実物感をより感じさせることができる。

［変形例５−１］
図２４に示すように、画像処理装置５００は、画像取得部５０１と、画像サイズ調整部５０４と、表示位置決定部５０５とを備え、再生装置５６０は、画像情報解析部５０２と、表示領域仕様取得部５０３と、出力画像生成部５０６と、再生部５０７とを備えてもよい。これにより、画像処理装置５００は、第４の実施形態と同様に、実物大画像と、表示位置決定部５０５により決定された表示位置の情報とを、再生装置５６０へ送信する。したがって、再生装置５６０の出力画像生成部５０６が、実物大画像と表示位置の情報とに基づいて出力画像を生成し、再生部５０７が、当該出力画像を表示領域５６０ａから表示することが可能となる。

［変形例５−２］
図２５に示すように、画像処理装置５００は、画像サイズ調整部５０４と、表示位置決定部５０５と、出力画像生成部５０６とを備え、画像取得部５０１を備えない構成であってもよい。これにより、画像処理装置５００は、入力画像を用いずに、画像情報解析部５０２により解析された画像情報に基づいて処理を行うことができる。

さらに、本発明は上述の実施形態にのみ限定されるものではなく、本開示の要旨を逸脱しない範囲内において種々変更され得る。また、上述の第１〜第５の各実施形態及び各変形例は、矛盾が生じない限り如何様にも組み合わされて実行され得る。

なお、本技術は以下のような構成もとることができる。
（１）入力画像の被写体を表示領域から実物大で表示するように上記入力画像のサイズを調整する画像サイズ調整部と、
上記表示領域が存する空間の第１の基底面と上記表示領域との位置関係に基づいて、上記入力画像のサイズが調整された実物大画像の、上記表示領域における表示位置を決定する表示位置決定部と
を具備する画像処理装置。
（２）上記（１）に記載の画像処理装置であって、
上記表示位置決定部は、
上記実物大画像から、上記被写体が存する空間の第２の基底面の位置についての情報を取得する第２の基底面情報取得部を有し、
上記第１の基底面の位置と上記実物大画像中の上記第２の基底面の位置とを一致させることが可能に上記表示位置を決定する
画像処理装置。
（３）上記（２）に記載の画像処理装置であって、
上記第２の基底面情報取得部は、
上記実物大画像に上記第２の基底面が撮像されているか否かを判定する第２の基底面判定部と、
上記実物大画像に上記第２の基底面が撮像されていると判定された場合、上記実物大画像から上記第２の基底面の位置を検出する第２の基底面検出部とを有する
画像処理装置。
（４）上記（１）から（３）のうちいずれか１つに記載の画像処理装置であって、
上記表示領域と上記第１の基底面との距離を検出する第１の基底面検出部を具備し、
上記表示位置決定部は、上記検出された距離に基づいて、上記表示位置を決定する
画像処理装置。
（５）上記（１）から（４）のうちいずれか１つに記載の画像処理装置であって、
上記表示位置決定部は、
上記実物大画像のうちユーザが注視する領域を検出する注視領域検出部を有し、
上記実物大画像において上記注視領域が上記表示領域から表示されることが可能に上記表示位置を決定する
画像処理装置。
（６）上記（１）から（５）のうちいずれか１つに記載の画像処理装置であって、
上記被写体についての情報を含む上記入力画像の情報を解析する画像情報解析部をさらに具備し、
上記画像サイズ調整部は、上記入力画像の情報に基づいて、上記入力画像のサイズを調整する
画像処理装置。
（７）上記（６）に記載の画像処理装置であって、
上記画像仕様解析部は、入力画像に記録されたメタデータを取得するメタデータ取得部を有し、
上記画像サイズ調整部は、上記表示領域の仕様と上記メタデータとに基づいて、上記入力画像のサイズを調整する
画像処理装置。
（８）上記（６）又は（７）に記載の画像処理装置であって、
上記画像仕様解析部は、上記被写体の大きさについての情報を取得する被写体情報取得部を有し、
上記画像サイズ調整部は、上記表示領域の仕様と上記被写体の大きさについての情報とに基づいて、上記入力画像のサイズを調整する
画像処理装置。
（９）上記（１）から（８）のうちいずれか１つに記載の画像処理装置であって、
上記表示領域の仕様を取得する表示領域仕様取得部をさらに具備し、
上記画像サイズ調整部は、上記表示領域の仕様に基づいて、上記入力画像のサイズを調整する
画像処理装置。
（１０）上記（１）から（９）のうちいずれか１つに記載の画像処理装置であって、
上記決定された表示位置に基づいて、上記実物大画像に対応付けられた音声の出力位置を制御する音声出力制御部をさらに具備する
画像処理装置。
（１１）入力画像の被写体を表示領域から実物大で表示するように上記入力画像のサイズを調整し、
上記表示領域が存する空間の第１の基底面と上記表示領域との位置関係に基づいて、上記入力画像のサイズが調整された実物大画像の、上記表示領域における表示位置を決定する
画像処理方法。
（１２）情報処理装置に、
入力画像の被写体を表示領域から実物大で表示するように上記入力画像のサイズを調整するステップと、
上記表示領域が存する空間の第１の基底面と上記表示領域との位置関係に基づいて、上記入力画像のサイズが調整された実物大画像の、上記表示領域における表示位置を決定するステップと
を実行させるプログラム。

１００，２００，３００，４００，５００…画像処理装置
１０２，３０２，４０２，５０２…画像情報解析部
１０２ａ…メタデータ取得部
１０２ｂ…被写体情報取得部
１０３，３０３，４０３，５０３…表示領域仕様取得部
１０４，３０４，４０４，５０４…画像サイズ調整部
１０５，３０５，４０５，５０５…表示位置決定部
１０５ａ，３０５ａ，４０５ａ，５０５ａ…第２の基底面情報取得部
１０５ｂ…第２の基底面判定部
１０５ｃ…第２の基底面検出部
１０５ｄ…注視領域検出部
１０８…第１の基底面検出部
２０９…音声出力制御部

Claims (12)

1. 入力画像の被写体を表示領域から実物大で表示するように前記入力画像のサイズを調整する画像サイズ調整部と、
   前記表示領域が存する空間の第１の基底面と前記表示領域との位置関係に基づいて、前記入力画像のサイズが調整された実物大画像の、前記表示領域における表示位置を決定する表示位置決定部と
   を具備する画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   前記表示位置決定部は、
   前記実物大画像から、前記被写体が存する空間の第２の基底面の位置についての情報を取得する第２の基底面情報取得部を有し、
   前記第１の基底面の位置と前記実物大画像中の前記第２の基底面の位置とを一致させることが可能に前記表示位置を決定する
   画像処理装置。
3. 請求項２に記載の画像処理装置であって、
   前記第２の基底面情報取得部は、
   前記実物大画像に前記第２の基底面が撮像されているか否かを判定する第２の基底面判定部と、
   前記実物大画像に前記第２の基底面が撮像されていると判定された場合、前記実物大画像から前記第２の基底面の位置を検出する第２の基底面検出部とを有する
   画像処理装置。
4. 請求項１に記載の画像処理装置であって、
   前記表示領域と前記第１の基底面との距離を検出する第１の基底面検出部を具備し、
   前記表示位置決定部は、前記検出された距離に基づいて、前記表示位置を決定する
   画像処理装置。
5. 請求項１に記載の画像処理装置であって、
   前記表示位置決定部は、
   前記実物大画像のうちユーザが注視する領域を検出する注視領域検出部を有し、
   前記実物大画像において前記注視領域が前記表示領域から表示されることが可能に前記表示位置を決定する
   画像処理装置。
6. 請求項１に記載の画像処理装置であって、
   前記被写体についての情報を含む前記入力画像の情報を解析する画像情報解析部をさらに具備し、
   前記画像サイズ調整部は、前記入力画像の情報に基づいて、前記入力画像のサイズを調整する
   画像処理装置。
7. 請求項６に記載の画像処理装置であって、
   前記画像仕様解析部は、入力画像に記録されたメタデータを取得するメタデータ取得部を有し、
   前記画像サイズ調整部は、前記表示領域の仕様と前記メタデータとに基づいて、前記入力画像のサイズを調整する
   画像処理装置。
8. 請求項６に記載の画像処理装置であって、
   前記画像仕様解析部は、前記被写体の大きさについての情報を取得する被写体情報取得部を有し、
   前記画像サイズ調整部は、前記表示領域の仕様と前記被写体の大きさについての情報とに基づいて、前記入力画像のサイズを調整する
   画像処理装置。
9. 請求項１に記載の画像処理装置であって、
   前記表示領域の仕様を取得する表示領域仕様取得部をさらに具備し、
   前記画像サイズ調整部は、前記表示領域の仕様に基づいて、前記入力画像のサイズを調整する
   画像処理装置。
10. 請求項１に記載の画像処理装置であって、
    前記決定された表示位置に基づいて、前記実物大画像に対応付けられた音声の出力位置を制御する音声出力制御部をさらに具備する
    画像処理装置。
11. 入力画像の被写体を表示領域から実物大で表示するように前記入力画像のサイズを調整し、
    前記表示領域が存する空間の第１の基底面と前記表示領域との位置関係に基づいて、前記入力画像のサイズが調整された実物大画像の、前記表示領域における表示位置を決定する
    画像処理方法。
12. 情報処理装置に、
    入力画像の被写体を表示領域から実物大で表示するように前記入力画像のサイズを調整するステップと、
    前記表示領域が存する空間の第１の基底面と前記表示領域との位置関係に基づいて、前記入力画像のサイズが調整された実物大画像の、前記表示領域における表示位置を決定するステップと
    を実行させるプログラム。

Images