JP6610185B2 - 画像処理装置 - Google Patents

Description

本発明は、オブジェクトの三次元データに基づいて当該オブジェクトの三次元映像をユーザに提示するよう構成された画像処理装置に関する。

従来より、３次元ＣＡＤシステムの３次元画像データから２次元データを生成し、生成した２次元データに基づいて印刷を行う装置が提案されている。

つまり、特許文献１には、記憶装置に３次元画像データを記憶しておき、ユーザがタッチパネルなどを操作することによって指示した出力形式に基づいて、３次元画像データを加工して２次元データを生成しこれを印刷する印刷装置が開示されている。

また、特許文献２には、入力した３次元データに所定の情報に応じて３次元幾何変換を行い、変換後の３次元データを２次元平面に投影し補間した後のデータを可視出力する印刷装置が開示されている。

これらの印刷装置は、３次元ＣＡＤシステムの３次元画像データなどに基づいて、２次元画像を表示するための表示装置に２次元画像を表示するものである。そのため、３次元画像データを加工などして２次元データを生成する際に、その視点位置の指示の方法が限定されることとなる。つまり、表示装置には２次元画像のみが表示されるものであるから、その２次元画像を表示するために、マウスやキ−ボ−ドなどを操作することによって視点位置を変更する必要がある。視点位置を指示するに当たって、このような操作は直感的ではなく、操作が煩雑である。

一方、三次元のオブジェクトを三次元映像（立体映像）としてユーザに提示する装置として、ホログラムを用いて空間に三次元映像を投影する装置、レンチキラーレンズや眼鏡を用いて左右の目に視差を生じさせて三次元映像を提示する装置などがある（特許文献３、非特許文献１〜３）。

特開２００４−３１８３９４号公報 特開平０７−２８７７７４号公報 特開２０１３−１９６５３２号公報 特開２００２−３４４９９８号公報

H+ Technology back-pedals in the wake of "holoscam" backlash.(https://medium.com/@sableraph/h-tech-responds-to-the-holoscam-accusations-regarding-their-3d-holographic-experience-6bd4a70d7d9e#.qs5k23b37) 「３次元モデルからのインテグラル立体像への変換手法」、片山美和著、ＮＨＫ技研Ｒ＆Ｄ／Ｎｏ．１２８／２０１１．７（http://www.nhk.or.jp/strl/publica/rd/rd128/PDF/P04-10.pdf ） 「インテグラル方式の概要」、三科智之著、ＮＨＫ技研Ｒ＆Ｄ／Ｎｏ．１４４／２０１４．３（http://www.nhk.or.jp/strl/publica/rd/rd144/PDF/P10-17.pdf ）

さて、特許文献１、２などの印刷装置は、上に述べたように、マウスなどを操作することによって視点位置を変更するので、視点位置の指示における操作が直感的ではなく、操作が煩雑である。しかも、変更された視点位置の２次元画像を表示するために、印刷装置は、視点位置の変更のたび毎に３次元画像データから２次元画像を生成するという煩雑な処理を行う必要がある。

また、非特許文献１で開示される従来の装置では、三次元映像を提示することによりユーザが三次元映像そのものを体験して楽しむことに主眼が置かれている。

本発明は、オブジェクトの三次元映像をユーザに提示するとともに、提示された三次元映像に対してユーザの視点位置を容易に特定することが可能であり、特定された視点位置からの二次元映像を煩雑な処理を必要とすることなくユーザに提供できることを目的とする。

本発明の実施形態に係る画像処理装置は、オブジェクトの三次元データに基づいて、ユーザの視点位置の移動によって当該オブジェクトの見え方が変化する三次元映像を、ユーザに提示する三次元映像提示手段と、提示された前記三次元映像に対するユーザの視点位置を特定する視点位置特定手段と、前記視点位置特定手段により特定された視点位置から見たときの前記オブジェクトの二次元映像を前記三次元データに基づいて生成する二次元映像生成手段と、前記二次元映像を所定の形式で出力する出力手段と、ユーザが保持する携帯端末から無線通信によって送信される端末指令を受信する端末指令受信手段とを有し、前記端末指令受信手段は、当該携帯端末において検出された端末位置情報および当該携帯端末において撮影された前記三次元映像の写真画像を含む前記端末指令を受信したときに、前記端末位置情報および前記写真画像を前記視点位置特定手段に送り、前記視点位置特定手段は、前記端末位置情報および前記写真画像に基づいて前記視点位置を特定する。

好ましくは、前記視点位置特定手段は、前記三次元映像提示手段の近辺に配置され、前記三次元映像提示手段により提示された前記三次元映像を見ているユーザを撮影するカメラと、前記カメラによって撮影された画像におけるユーザの眼球の位置に基づいて前記視点位置を特定するユーザ画像処理手段と、を有する。

本発明によると、オブジェクトの三次元映像をユーザに提示するとともに、提示された三次元映像に対してユーザの視点位置を容易に特定することが可能であり、特定された視点位置からの二次元映像を煩雑な処理を必要とすることなくユーザに提供できることができる。

本発明に係る第１の実施形態の画像処理装置の構成を示すブロック図である。 視点位置特定部の構成の例を示す図である。 オブジェクトの三次元データの例を示す図である。 オブジェクトが配置された全体座標系とユーザの視座標系との関係の例を示す図である。 提示された三次元映像に対するユーザの視点位置の例を説明する図である。 各視点位置でのオブジェクトの二次元映像の例を示す図である。 本発明に係る第２の実施形態の画像処理装置の構成を示すブロック図である。 複合機を斜め上方からみた外観形状の例を示す図である。 複合機のハードウェア構成の例を示す図である。 二次元映像の出力に関する処理の概略の流れを示すフローチャートである。 二次元映像の出力に関する処理の概略の流れを示すフローチャートである。 二次元映像の出力に関する処理の概略の流れを示すフローチャートである。

〔第１の実施形態〕
図１には第１の実施形態の画像処理装置１の構成が示されている。また、図２には視点位置特定部１３の構成の例が、図３にはオブジェクトの三次元データ１１０の例が、図４にはオブジェクトが配置された全体座標系とユーザＵの視座標系との関係の例が、図５には提示された三次元映像１２０に対するユーザＵの視点位置Ｓ１の例が、図６には各視点位置でのオブジェクトの二次元映像１５２の例が、それぞれ示されている。

図１ないし図６において、画像処理装置１は、記憶部１１、三次元映像提示部１２、視点位置特定部１３、二次元映像生成部１４、出力部１５、および出力指示部１６などを有する。

記憶部１１は、三次元データ１１０、その他のデータおよびプログラムなどを記憶する。三次元データ１１０は、種々のオブジェクト（対象物）について、オブジェクトの外観形状、材質や色などの表面状態、または構造などを表現することの可能な三次元データである。三次元データ１１０は、ソリッドモデル、ボリュ−ムモデル、サーフェスモデル、またはワイヤーフレームモデルなどのデータを用いることが可能である。

三次元データ１１０は、現存するオブジェクトを複数のカメラや三次元カメラなどにより撮影して、またＣＧ（コンピュータグラフィックス）の技術を用いて、またこれらを組み合わせて生成することが可能であり、このような従来の技術を用いて生成された三次元データを本実施形態の三次元データ１１０として用いることが可能である。

三次元映像提示部１２は、運動視差を得ることのできる三次元映像表示装置であり、オブジェクトの三次元データ１１０に基づいて、当該オブジェクトの三次元映像１２０をユーザＵに提示（表示）する（図５を参照）。

三次元映像提示部１２として、種々の方式、原理、構成、および仕様のものが用いられる。例えば、従来の技術の項でも示したように、インテグラル方式（インテグラルフォトグラフィ方式）の三次元画像表示装置、これ以外の方式でレンチキラーレンズや眼鏡を用いて左右の目に視差を生じさせて三次元映像を提示するもの、ホログラムを用いて空間に三次元映像を投影する方式のもの、ボクセルを用いる体積型のものなど、公知の３Ｄテレビ、立体画像表示装置、または三次元映像表示装置などを使用可能である。

なお、インテグラル方式では、三次元データ１１０の作成に際し、例えば、対象物が反射するそれぞれの方向への反射光をレンズアレイを用いることで分離し、それぞれ記録する。これを三次元映像提示部１２で再生する際に、撮影に用いたレンズアレイを用いることで、それぞれの光線を合成し、元の反射光（各方向への光線が合成された状態) を再現する。つまり、全方向に対する反射光をレンズアレイを使って分離して一方向毎に記録し、再生時にそれを合成する。対象物の反射光（それぞれの方向への光線）を再現するため、見る方向によって得られる映像が異なる。つまり、インテグラル方式では、両眼における視差に加えて、ユーザ（視聴者）の視点位置の移動に応じて映像の見え方が変化する「運動視差」が生じる。

インテグラル方式の場合には、仕様が同じレンズアレイを用いて撮影と再生とで同一の環境を作るので、対象物−レンスアレイ−カメラの相互の位置関係と、ユーザの眼球−レンズアレイ−ディスプレイの相互の位置関係とは合致する。つまり、レンズアレイを通して撮影した映像を、三次元データ１１０に基づいてシミュレートするので、その映像を二次元のディスプレイに表示することで位置関係は保たれる。

視点位置特定部１３は、提示された三次元映像１２０に対するユーザの視点位置Ｓ１を特定する。

視点位置特定部１３は、三次元映像提示部１２の近辺に配置され、三次元映像提示部１２により提示された三次元映像１２０を見ているユーザＵを撮影するカメラ１３２ａ〜ｄと、カメラ１３２ａ〜ｄによって撮影された画像におけるユーザＵの眼球の位置に基づいて視点位置Ｓ１を特定するユーザ画像処理部１３０と、を有する（図２を参照）。

本実施形態では、複数のカメラ１３２ａ〜ｄが設けられ、ユーザ画像処理部１３０は、複数のカメラ１３２ａ〜ｄによって撮影された複数の画像に基づいて、視点位置Ｓ１を特定する。また、ユーザ画像処理部１３０は、ユーザＵについて設定された左右いずれかの眼球の位置に基づいて視点位置Ｓ１を特定する。

また、視点位置特定部１３は、カメラ１３２ａ〜ｄによって撮影された画像に複数のユーザＵが写っているときに、そのうちの１人を視点位置Ｓ１を決めるためのユーザＵとして特定するユーザ特定部１３１を有する。つまり、ユーザ特定部１３１は、出力部１５に対する出力指示Ｓ２が与えられたときに、当該出力指示Ｓ２に関連した動作を行ったユーザＵを、視点位置Ｓ１を特定するためのユーザＵとして特定することができる。例えば、ユーザＵは、操作キーやタッチパネルなどを操作し、音声を発し、またはジェスチャーを示すなどによって、出力指示Ｓ２を与えることができる。

また、ユーザＵによるタッチパネルへのタッチ操作、またはマウスまたはキーボードなどへの操作に基づいて、視点位置特定部１３が視点位置Ｓ１を特定することも可能である。

二次元映像生成部１４は、視点位置特定部１３により特定された視点位置Ｓ１から見たときのオブジェクトの二次元映像１４０を、三次元データ１１０に基づいて生成する。なお、この二次元映像１４０は、正確には二次元映像のデータである。

出力部１５は、入力された二次元映像１４０を所定の形式で出力する。例えば、出力部１５が表示装置を備える場合に、その画面１５１に二次元映像１５２を表示する。また、出力部１５が印刷装置を備える場合に、シート状の用紙ＰＰに二次元映像１５３を印刷して表示する。また、ファクシミリ装置を備える場合に、二次元映像１４０をファクシミリ送信する。

出力部１５は、視点位置Ｓ１と三次元映像１２０との距離がより大きい場合に、二次元映像１４０の拡大率をより大きくして出力する。つまり、視点位置Ｓ１が三次元映像１２０から遠くなるにしたがって二次元映像１４０が小さくなるので、これを補うために、二次元映像１４０を大きくし、画面１５１または用紙ＰＰの全面に二次元映像１５２，１５３を表示する。

出力部１５には、出力指示部１６から出力指示Ｓ２が入力されている。出力部１５による用紙ＰＰへの印刷は、出力指示Ｓ２が入力されたときに実行される。また、出力部１５による印刷以外の出力についても、出力指示Ｓ２が入力されたときに実行されるようにしてもよい。

出力指示部１６は、出力部１５に対し、主として二次元映像１５３を印刷させるための出力指示Ｓ２を出力する。出力指示部１６は、ハ−ドウエアまたはソフトウエアによる操作キー、またはキ−ボードやマウスなどを含めて構成することができる。

また、視点位置特定部１３を、ユーザＵの操作によって視点位置Ｓ１を特定できるように構成した場合に、ユーザＵがその操作によって視点位置Ｓ１を特定したときに同時に出力指示Ｓ２を出力するようにしてもよい。また、複数のユーザＵが居てそのうちの一人が出力指示Ｓ２に関連した動作を行った場合に、これによってユーザＵおよび視点位置Ｓ１を特定するとともに、同時に出力指示Ｓ２を出力して二次元映像１５３の印刷を行うようにしてもよい。

以下、さらに詳しく説明する。

図３に示すように、オブジェクトの三次元データ１１０は、全体座標系（ｘ，ｙ，ｚ）の空間に配置されている。つまり、三次元データ１１０を構成する各点の位置は座標（ｘ，ｙ，ｚ）により特定される。なお、全体座標系において、三次元データ１１０の姿勢を変更することが可能である。

三次元映像提示部１２は、三次元データ１１０に基づいて同じ全体座標系に三次元映像１２０を提示することが可能である。その際に、全体座標系における三次元映像１２０の位置を変更し、回転し、または拡大縮小を行うことが可能である。

図４に示すように、ユーザＵの視点位置Ｓ１を原点とした座標系が視座標系（ｘｕ，ｙｕ，ｚｕ）である。視座標系（ｘｕ，ｙｕ，ｚｕ）と全体座標系（ｘ，ｙ，ｚ）とは、設定された種々の空間関係となるように配置され、図４においては、視座標系のｚｕ軸と全体座標系のｚ軸とが一致した状態が示されている。

三次元映像１２０を、視点位置Ｓ１から、ｚｕ軸と垂直な平面１４１に投影することによって、視点位置Ｓ１から見た二次元映像１４０が得られる。なお、二次元映像１４０を投影するための平面１４１を、視点位置Ｓ１と三次元映像１２０との間に配置してもよい。

そして、全体座標系（ｘ，ｙ，ｚ）と視座標系（ｘｕ，ｙｕ，ｚｕ）との配置関係を変更することによって、例えば原点間の距離、および、ｘ軸とｘｕ軸、ｙ軸とｙｕ軸、ｚ軸とｚｕ軸のそれぞれのなす角度を変更することによって、全体座標系（ｘ，ｙ，ｚ）に配置される三次元データ１１０または三次元映像１２０に対する視点位置Ｓ１を任意に変更することができる。したがって、全体座標系における視点位置Ｓ１の位置を変更することによって、視座標系における三次元映像１２０の配置を任意に変更することができる。つまり、これによって任意の視点位置Ｓ１から見たときの二次元映像１４０を得ることができる。

図５において、三次元映像提示部１２に三次元映像１２０が提示されており、三次元映像提示部１２の前方に居るユーザＵが、Ｕａ、Ｕｂ、Ｕｃ、Ｕｄのように移動する様子が示されている。

ユーザＵの移動にしたがって、その視点位置Ｓ１は、Ｓ１ａ、Ｓ１ｂ、Ｓ１ｃ、Ｓ１ｄと移動する。ユーザＵの眼球の位置は、カメラ１３２ａ〜ｄによって撮影された画像を処理することによって決定され、そのときの視点位置Ｓ１が特定される。この場合に、それぞれのカメラ１３２ａ〜ｄでユーザＵの眼球を撮影し、各カメラ１３２ａ〜ｄから見た眼球の方向を合成することによって視点位置Ｓ１を特定することができる。また、撮影した眼球の瞳孔の向きから視線の向きを特定することも可能である。

通常、ユーザＵの眼球の位置は２ヵ所となるので、例えばその中間の位置を視点位置Ｓ１として特定することができる。また、ユーザＵが自分の利き目を予め画像処理装置１に登録して設定しておくことが可能である。その場合に、利き目として設定された左右いずれかの眼球の位置に基づいて視点位置Ｓ１を特定することになる。

図６（Ａ）〜（Ｄ）には、三次元映像１２０を各視点位置Ｓ１ａ〜ｄから見たときの二次元映像１５２ａ〜ｄが示されている。二次元映像１５２ａ〜ｄは画面１５１に表示されたものであるが、印刷された場合には同様な二次元映像１５３ａ〜ｄが用紙ＰＰに表示される。

また、図５において、異なる複数のユーザＵａ〜ｄが同時に三次元映像提示部１２の前方に居るとした場合に、ユーザ特定部１３１は、そのうちの１人を視点位置Ｓ１を特定するためのユーザＵを選択する。この場合に、例えば、ユーザ特定部１３１は、出力部１５に対する出力指示Ｓ２、例えば印刷指示を与えたユーザＵを、視点位置Ｓ１を特定するためのユーザＵとして選択する。そのような指示のための動作を行ったユーザＵは、カメラ１３２ａ〜ｄで撮影した画像について画像認識などの画像処理によって決定することが可能である。

このように、視点位置特定部１３は、カメラ１３２ａ〜ｄによって撮影される画像に基づいて、またはユーザＵによる操作などに基づいて、視点位置Ｓ１を特定する。二次元映像生成部１４は、特定された視点位置Ｓ１から見た二次元映像１４０を生成し、出力部１５は二次元映像１４０を画面１５１に表示しまたは用紙ＰＰに印刷する。

このように、オブジェクトの三次元映像１２０をユーザＵに提示するとともに、提示された三次元映像１２０に対してユーザＵの視点位置Ｓ１を容易に特定することが可能であり、特定された視点位置Ｓ１からの二次元映像１４０を煩雑な処理を必要とすることなくユーザに提供することができる。

特に、三次元映像提示部１２として、ユーザＵの視点位置Ｓ１の移動に応じて運動視差が生じる形式の装置が用いられるので、三次元映像提示部１２に対するユーザＵの位置に応じて三次元映像１２０の見え方が変化し、かつその時々の視点位置Ｓ１を視点位置特定部１３が特定するので、ユーザＵは好きな姿勢で三次元映像１２０を見ながら、その視点位置Ｓ１からの二次元映像１５２を画面１５１で確認することができる。そして、必要なタイミングで出力指示Ｓ２を与えることにより、煩雑な処理を行うことなく、ユーザＵが見たままの二次元映像１５３を印刷して出力することができる。

つまり、本実施形態における画像処理装置１では、簡易で直感的な操作によって、オブジェクトについて任意の視点位置Ｓ１からの二次元映像１５２，１５３を得ることができる。また、１つの三次元映像１２０を複数のユーザＵが見ている場合でも、カメラ１３２ａ〜ｄによる撮影とその画像処理またはユーザＵの動作などによって、二次元映像１５２，１５３を欲しているユーザＵおよび視点位置Ｓ１を特定し、所望の印刷物などを得ることができる。

このように、本実施形態における画像処理装置１によると、三次元映像１２０の閲覧から印刷を即座に行うことができ、印刷のために視点位置Ｓ１を設定する面倒な操作が不要である。そのため、三次元映像提示部１２において、印刷設定のための表示領域を設ける必要がなく、三次元映像提示部１２の全体を三次元映像１２０の提示と閲覧に用いることができる。
〔第２の実施形態〕
次に、第２の実施形態の画像処理装置１Ｂについて説明する。

第２の実施形態の画像処理装置１Ｂでは、ユーザＵが保持する携帯端末２１との無線通信による連携が図られており、携帯端末２１から送信される端末指令に基づいて、視点位置Ｓ１およびユーザＵの特定などが行われる。画像処理装置１Ｂにおける基本的な機能および動作は第１の実施形態の画像処理装置１と同様であるので、同様な部分には同じ符号を付してここでの説明を省略しまたは簡略化する。

図７には第２の実施形態の画像処理装置１Ｂの構成が示されている。

図７において、画像処理装置１Ｂは、記憶部１１、三次元映像提示部１２、視点位置特定部１３、二次元映像生成部１４、出力部１５、出力指示部１６、および端末指令受信部１７などを有する。

携帯端末２１は、状態取得部２１１、撮影部２１２、操作制御部２１３、および通信部２１４などを有する。携帯端末２１は、ユーザＵによって保持されるものであるが、所定の位置に置いておくことも可能である。携帯端末２１として、携帯電話機、スマ−トホン、タブレット端末、その他の端末装置などが用いられる。

状態取得部２１１は、当該携帯端末２１の位置および姿勢などの情報を、ＧＰＳおよび姿勢センサーなどに基づく端末位置情報Ｓ３ａとして取得する。

撮影部２１２は、携帯端末２１に搭載されたカメラに基づく静止画または動画を、写真画像Ｓ３ｂとして取得する。例えば、ユーザＵは、撮影部２１２によって、画像処理装置１Ｂの三次元映像提示部１２により提示された三次元映像１２０を撮影することができる。その場合に、三次元映像１２０の周辺の画像、例えば三次元映像提示部１２に表示された三次元映像１２０以外の画像、画像処理装置１Ｂの外観、または画像処理装置１Ｂの周辺などを、背景として同時に撮影することができる。

操作制御部２１３は、携帯端末２１における種々の操作および制御を行うとともに、画像処理装置１Ｂに対する操作および制御を行うこともできる。また、操作制御部２１３は、画像処理装置１Ｂにおける印刷の際の拡大率（縮小率）などを示す拡大縮小情報Ｓ３ｃを生成する。操作制御部２１３には、画像処理装置１Ｂと連携して画像処理装置１Ｂを制御しまたは操作するためのアプリケーション（コンピュータプログラム）が搭載されている。

通信部２１３は、画像処理装置１Ｂの端末指令受信部１７との無線通信、およびネットワ−クとの無線通信などを行う。無線通信には、例えばＢｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２などによる無線ＬＡＮなどが用いられる。

無線通信によって、携帯端末２１から画像処理装置１Ｂに対して、端末指令Ｓ３を送信する。端末指令Ｓ３として、端末位置情報Ｓ３ａ、写真画像Ｓ３ｂ、または拡大縮小情報Ｓ３ｃなどが含まれる。

他方、画像処理装置１Ｂにおいて、端末指令受信部１７は、ユーザＵが保持する携帯端末２１から無線通信によって送信される端末指令Ｓ３を受信する。端末指令受信部１７は、携帯端末２１において検出された端末位置情報Ｓ３ａを含む端末指令Ｓ３を受信したときに、端末位置情報Ｓ３ａを視点位置特定部１３に送る。視点位置特定部１３は、端末位置情報Ｓ３ａに基づいて視点位置Ｓ１を特定する。

また、端末指令受信部１７は、端末位置情報Ｓ３ａに加えて、携帯端末２１において撮影された三次元映像１２０の写真画像Ｓ３ｂを含む端末指令Ｓ３を受信したときに、端末位置情報Ｓ３ａおよび写真画像Ｓ３ｂを視点位置特定部１３に送る。視点位置特定部１３は、端末位置情報Ｓ３ａおよび写真画像Ｓ３ｂに基づいて視点位置Ｓ１を特定する。

また、端末指令受信部１７は、携帯端末２１において撮影された三次元映像１２０およびその背景の写真画像Ｓ３ｂを含む端末指令Ｓ３を受信したときに、写真画像Ｓ３ｂを二次元映像生成部１４に送る。二次元映像生成部１４は、三次元データ１１０に基づいて生成したオブジェクトの二次元映像１４０と、写真画像Ｓ３ｂに含まれる背景とを合成して得られる二次元映像１４０Ｇを生成する。

また、端末指令受信部１７は、拡大縮小情報Ｓ３ｃを含む端末指令Ｓ３を受信したときに、拡大縮小情報Ｓ３ｃを出力部１５に送る。出力部１５は、拡大縮小情報Ｓ３ｃに基づいて拡大または縮小された二次元映像１５２，１５３を出力する。

例えば、ユーザＵが、撮影部２１２によって、画像処理装置１Ｂの三次元映像提示部１２により提示された三次元映像１２０を撮影すると、撮影された写真画像Ｓ３ｂを保持するとともに、このときの携帯端末２１の位置および姿勢を示す端末位置情報Ｓ３ａを取得する。そして、端末位置情報Ｓ３ａおよび写真画像Ｓ３ｂを、通信部２１３から画像処理装置１Ｂに送信する。

画像処理装置１Ｂにおいて、端末指令受信部１７がそれらを受信する。端末指令受信部１７は、視点位置特定部１３に端末位置情報Ｓ３ａを送り、視点位置特定部１３において、端末位置情報Ｓ３ａに基づいて視点位置Ｓ１を特定する。また、二次元映像生成部１４では、端末指令受信部１７から送られてきた写真画像Ｓ３ｂのうち、背景の部分はそのまま生かし、オブジェクトの三次元映像１２０が写った部分の写真画像（二次元画像）を、携帯端末２１からの端末位置情報Ｓ３ａに基づく視点位置Ｓ１により三次元データ１１０から生成した二次元映像１４０と置き換える。このようにして生成した二次元映像１４０Ｇを出力部１５に送る。出力部１５は、二次元映像１４０Ｇを印刷する。

三次元映像提示部１２により提示される三次元映像１２０は、通常、低解像度で画質が粗いため、それを撮影した写真画像Ｓ３ｂでは三次元映像１２０の部分の画質は悪い。他方、三次元データ１１０から生成した二次元映像１４０は、通常、高解像度であり、高画質である。写真画像Ｓ３ｂの三次元映像１２０の部分を三次元データ１１０から生成した二次元映像１４０と置き換えることにより、写真画像Ｓ３ｂのうちの画質の悪い部分が高画質の画像となり、背景をも含めて高画質の印刷物が得られる。
〔複合機としての実施形態〕
次に、上に述べた画像処理装置１，１Ｂを、コピー機、プリンタ、およびファクシミリ機などの機能を集約した複合機として実施した形態について説明する。つまり、本実施形態の複合機１Ｃは、上に述べた画像処理装置１，１Ｂの機能を備えたＭＦＰ（Multi-functional Peripheral ：多機能機）であるが、画像処理装置１，１Ｂの機能については既に説明したのでここでの説明は省略する。

図８には複合機１Ｃを斜め上方からみた外観形状の例が、図９には複合機１Ｃのハードウェア構成が、それぞれ示されている。

図８および図９において、複合機１Ｂは、三次元ディスプレイ１２Ｃ、スキャナ３１、プリンタ部３２、給紙部３３、補助記憶装置３４、カメラ１３３、および制御部３０などを備える。

三次元ディスプレイ１２Ｃは、複合機１Ｃの上部において表示面１２１が水平方向となるように配置されており、表示面１２１に運動視差を有する三次元映像１２０を提示することが可能である。また、三次元ディスプレイ１２Ｃは、ユーザＵによる入力操作のための画面、ユーザが各種のドキュメントを閲覧するための画面などの様々な画面を、制御部３０からの指令にしたがって表示することが可能である。

三次元ディスプレイ１２Ｃは、スキャナ３１のプラテンガラスを覆うカバーとして、本体の一側面に沿う軸を中心として開閉可能である。スキャナ３１を使用する場合には、ユーザＵは三次元ディスプレイ１２Ｃをその左側を持ち上げて開く。

スキャナ３１は、プラテンガラスの上に置かれた原稿シートの画像を光学的に読み取って入力する。スキャナ３１の外周面には、複合機１Ｃの周辺に居るユーザＵを撮影するための複数のカメラ１３３ａ〜ｄが配置されている。これらカメラ１３３ａ〜ｄによって得られる撮影画像は、視点位置の特定、複数の中から１人のユーザＵの選択、ユーザＵの位置の検知、およびユーザＵの判別などに用いられる。

プリンタ部３２は、電子写真法によって用紙に画像を印刷する。給紙部３３は、用紙を収納しておくための複数の給紙カセットを備え、用紙を１枚ずつ繰り出してプリンタ部３２に供給する。

通信部３４は、ユーザの保持する携帯端末２１などと無線通信を行う。

補助記憶装置３５は、三次元データの他、制御部３０から送られてくる画像データ、その他のデータを記憶する。補助記憶装置３５として、ハードディスクドライブまたはＳＳＤ（Solid State Drive ）などが用いられる。

制御部３０は、複合機１Ｃの全体的な制御を行う。制御部３０は、ＣＰＵ（Central Processing Unit ）３０１、ＲＡＭ（Random Access Memory）３０２、ＲＯＭ（Read Only Memory）３０３、および画像処理部３０４などを備える。ＲＯＭ３０３には、複合機１Ｃを、画像処理装置、プリンタ、コピー機、ファクシミリ機などとして動作させるためのコンピュータプログラムが記憶されている。

なお、図８には、複合機１Ｃと無線通信が可能な携帯端末２１Ｃが示されている。携帯端末２１Ｃは、上に述べた携帯端末２１と同様な機能を有する。

複合機１において、三次元ディスプレイ１２Ｃは、三次元データに基づいて三次元映像を提示し、三次元映像に対しユーザＵによって特定された視点位置からの二次元映像を表示しまたは印刷することが可能である。

次に、複合機１Ｃにおける二次元映像の出力に関する処理の概略の流れを、図１０〜図１２に示すフローチャートに基づいて説明する。

図１０において、三次元ディスプレイ１２Ｃに三次元映像を提示する（＃１１）。三次元映像は、ユーザＵの視点位置の移動によって見え方が変化する。視点位置を特定すると（＃１２）、特定された視点位置から見たときの二次元映像が三次元データに基づいて生成される（＃１３）。ユーザＵが印刷を指示すると、二次元映像が用紙に印刷される（＃１４）。

図１１において、三次元ディスプレイ１２Ｃに三次元映像を提示する（＃２１）。複数のユーザＵが居る中で印刷の指示があった場合に（＃２２でイエス）、１人のユーザＵを特定し（＃２３）、視点位置を特定する（＃２４）。特定された視点位置から見たときの二次元映像が三次元データに基づいて生成され（＃２５）、それが用紙に印刷される（＃２６）。

図１２において、三次元ディスプレイ１２Ｃに三次元映像を提示する（＃３１）。ユーザＵが携帯端末２１Ｃでそれを撮影すると（＃３２）、その写真画像および端末位置情報が複合機１Ｃに送信される。複合機１Ｃは、写真画像および端末位置情報を受信すると（＃３３）、それらに基づいて視点位置を特定し（＃３４）、オブジェクトの二次元映像を生成する（＃３５）。生成した二次元映像と携帯端末２１Ｃから送られてきた写真画像の背景の部分とを合成し、合成した二次元映像を得る（＃３６）。合成した二次元映像を用紙に印刷する（＃３７）。

上述の実施形態の複合機１Ｃによると、オブジェクトの三次元映像をユーザＵに提示するとともに、提示された三次元映像に対してユーザＵの視点位置を容易に特定することが可能であり、特定された視点位置からの二次元映像を煩雑な処理を必要とすることなくユーザに提供することができる。

また、生成した二次元映像と携帯端末２１Ｃで撮影した写真画像の背景の部分とを合成することによって、背景が写り込んだ二次元映像が得られるとともに、背景をも含めて高画質の印刷物が得られる。

上述の実施形態において、記憶部１１、三次元映像提示部１２、視点位置特定部１３、二次元映像生成部１４、出力部１５、出力指示部１６、端末指令受信部１７、画像処理装置１，１Ｂ、および複合機１Ｃの全体または各部の構成、処理の内容、順序、またはタイミングなどは、本発明の趣旨に沿って適宜変更することができる。

１，１Ｂ 画像処理装置
１Ｃ 複合機（画像処理装置）
１１ 記憶部
１２ 三次元映像提示部（三次元映像提示手段）
１２Ｃ 三次元ディスプレイ（三次元映像提示手段）
１３ 視点位置特定部（視点位置特定手段）
１４ 二次元映像生成部（二次元映像生成手段）
１５ 出力部（出力手段）
１６ 出力指示部
１７ 端末指令受信部（端末指令受信手段）
２１，２１Ｃ 携帯端末
３０ 制御部
１１０ 三次元データ
１２０ 三次元映像
１３０ ユーザ画像処理部（ユーザ画像処理手段）
１３１ ユーザ特定部（ユーザ特定手段）
１３２ａ〜ｄ カメラ
１３３ａ〜ｄ カメラ
１４０ 二次元映像
１５２，１５３ 二次元映像
Ｓ１ 視点位置
Ｓ３ａ 端末位置情報
Ｓ３ｂ 写真画像
Ｓ３ｃ 拡大縮小情報

Claims (10)

1. オブジェクトの三次元データに基づいて、ユーザの視点位置の移動によって当該オブジェクトの見え方が変化する三次元映像を、ユーザに提示する三次元映像提示手段と、
   提示された前記三次元映像に対するユーザの視点位置を特定する視点位置特定手段と、
   前記視点位置特定手段により特定された視点位置から見たときの前記オブジェクトの二次元映像を前記三次元データに基づいて生成する二次元映像生成手段と、
   前記二次元映像を所定の形式で出力する出力手段と、
   ユーザが保持する携帯端末から無線通信によって送信される端末指令を受信する端末指令受信手段とを有し、
   前記端末指令受信手段は、当該携帯端末において検出された端末位置情報および当該携帯端末において撮影された前記三次元映像の写真画像を含む前記端末指令を受信したときに、前記端末位置情報および前記写真画像を前記視点位置特定手段に送り、
   前記視点位置特定手段は、前記端末位置情報および前記写真画像に基づいて前記視点位置を特定する、
   ことを特徴とする画像処理装置。
2. オブジェクトの三次元データに基づいて、ユーザの視点位置の移動によって当該オブジェクトの見え方が変化する三次元映像を、ユーザに提示する三次元映像提示手段と、
   提示された前記三次元映像に対するユーザの視点位置を特定する視点位置特定手段と、
   前記視点位置特定手段により特定された視点位置から見たときの前記オブジェクトの二次元映像を前記三次元データに基づいて生成する二次元映像生成手段と、
   前記二次元映像を所定の形式で出力する出力手段と、
   ユーザが保持する携帯端末から無線通信によって送信される端末指令を受信する端末指令受信手段とを有し、
   前記端末指令受信手段は、当該携帯端末において検出された端末位置情報を含む前記端末指令を受信したときに、前記端末位置情報を前記視点位置特定手段に送り、前記携帯端末において撮影された前記三次元映像およびその背景の写真画像を含む前記端末指令を受信したときに、前記写真画像を前記二次元映像生成手段に送り、
   前記二次元映像生成手段は、前記三次元データに基づいて生成した前記オブジェクトの前記二次元映像と前記写真画像に含まれる背景とを合成して得られる二次元画像を生成し、
   前記視点位置特定手段は、前記端末位置情報に基づいて前記視点位置を特定する、
   ことを特徴とする画像処理装置。
3. 前記視点位置特定手段は、
   前記三次元映像提示手段の近辺に配置され、前記三次元映像提示手段により提示された前記三次元映像を見ているユーザを撮影するカメラと、
   前記カメラによって撮影された画像におけるユーザの眼球の位置に基づいて前記視点位置を特定するユーザ画像処理手段と、
   を有する請求項１または２記載の画像処理装置。
4. 前記カメラとして複数のカメラが設けられ、
   前記ユーザ画像処理手段は、前記複数のカメラによって撮影された複数の画像に基づいて、前記視点位置を特定する、
   請求項３記載の画像処理装置。
5. 前記ユーザ画像処理手段は、前記ユーザについて設定された左右いずれかの眼球の位置に基づいて前記視点位置を特定する、
   請求項４記載の画像処理装置。
6. 前記カメラによって撮影される画像に複数のユーザが写っているときに、そのうちの１人を前記視点位置を特定するためのユーザとして特定するユーザ特定手段を有する、
   請求項３ないし５のいずれかに記載の画像処理装置。
7. 前記ユーザ特定手段は、
   前記出力手段に出力させるための出力指示が与えられたときに、当該出力指示に関連した動作を行ったユーザを、前記視点位置を特定するためのユーザとして特定する、
   請求項６記載の画像処理装置。
8. 前記端末指令受信手段は、拡大縮小情報を含む前記端末指令を受信したときに、前記拡大縮小情報を前記出力手段に送り、
   前記出力手段は、前記拡大縮小情報に基づいて拡大または縮小された前記二次元映像を出力する、
   請求項１または２記載の画像処理装置。
9. 前記出力手段は、前記視点位置と前記三次元映像との距離がより大きい場合に、前記二次元映像の拡大率をより大きくして出力する、
   請求項１ないし８のいずれかに記載の画像処理装置。
10. 前記出力手段は、前記二次元映像をシート状の用紙に印刷する印刷装置である、
    請求項１ないし９のいずれかに記載の画像処理装置。

Images