JP6562371B1

JP6562371B1 - 表示装置、表示処理装置、および表示処理プログラム

Info

Publication number: JP6562371B1
Application number: JP2018219972A
Authority: JP
Inventors: 清和河原田
Original assignee: 株式会社ハニカムラボ
Priority date: 2018-11-26
Filing date: 2018-11-26
Publication date: 2019-08-21
Anticipated expiration: 2038-11-26
Also published as: JP2020088592A

Abstract

【課題】臨場感のある画像を表示できるようにする。【解決手段】表示装置は、３次元画像表示装置１３０と、少なくとも１つの２次元画像表示装置１２０と、上記３次元画像表示装置１３０による３次元表示画像２０２と上記２次元画像表示装置１２０による２次元表示画像２０１とを連続するように表示させる表示処理装置１１０とを備える。【選択図】図１

Description

本発明は、２次元画像、および３次元画像を表示し得る表示装置に関するものである。

従来、２次元実写動画像に、動きを伴う３次元ＣＧを合成して、立体感、現実感のある動画像を作成し表示する画像合成表示方法が知られている。この表示方法では、視点情報と撮影物体の３次元情報とＣＧデータからＣＧ画像を作成し、選択されたＣＧに対応する部分以外の部分を実写画像で置き換えることにより、合成画像を作成するようになっている（例えば、特許文献１参照。）。

特開平０８−１５３２１３号公報

しかしながら上記のように２次元実写動画像に３次元ＣＧを合成したとしても、最終的な画像は２次元の画像表示装置の画面内に表示されるものであり、必ずしも臨場感のある画像を表示できるものではなかった。

本発明は、上記の点に鑑み、より臨場感のある画像を表示できるようにすることを目的としている。

上記の目的を達成するために、
本発明は、
表示装置であって、
３次元画像表示装置と、
少なくとも１つの２次元画像表示装置と、
上記３次元画像表示装置による３次元表示画像と上記２次元画像表示装置による２次元表示画像とを連続するように表示させる表示処理装置と、
を備えたことを特徴とする。

これにより、２次元表示画像が２次元画像表示装置内に見える一方、３次元表示画像が２次元画像表示装置から飛び出して、３次元空間内に立体的に存在するように見えるような表示を行わせるなど、臨場感を高められるような表示をさせることが容易にできる。

本発明によれば、より臨場感のある画像を表示することができる。

実施形態１の表示装置の概略構成を示す説明図である。実施形態１の表示装置の機能的構成を示すブロック図である。実施形態２の表示装置の概略構成を示す説明図である。実施形態２の表示装置の機能的構成を示すブロック図である。実施形態３の表示装置の概略構成を示す説明図である。実施形態３の表示装置の機能的構成を示すブロック図である。

以下、本発明の実施形態を図面に基づいて詳細に説明する。なお、以下の各実施形態において、他の実施形態と対応する機能を有する構成要素については同一の符号を付して説明を省略する。

（実施形態１）
実施形態１の表示装置は、図１に示すように、表示処理装置１１０と、フラットパネルディスプレイなどの２次元画像表示装置１２０と、いわゆるシースルー型のヘッドマウントディスプレイなどの３次元画像表示装置１３０とを備えている。上記３次元画像表示装置１３０は、より詳しくは、例えばユーザの左右の目によって視認される画像を左画像表示部１３１および右画像表示部１３２に表示させるとともに、これらの左画像表示部１３１および右画像表示部１３２を透過する光によって２次元画像表示装置１２０等の背景を直視し得るようになっている。また、上記３次元画像表示装置１３０には、カメラ１４０が取り付けられ、３次元画像表示装置１３０の位置や姿勢、特に２次元画像表示装置１２０との相対的な位置や姿勢を検出し得るようになっている。

上記表示処理装置１１０は、例えばコンピュータに所定の表示処理プログラムを実行させることによって表示処理を行うように構成され、機能的には、例えば図２に示すように、オブジェクト３Ｄデータ出力部１１１と、オブジェクト位置データ出力部１１２と、３Ｄ／２Ｄ部分分割部１１３と、２Ｄ描画部１１４と、３Ｄ描画部１１５と、２次元画像表示装置空間位置検出部１１６とを備えて構成されている。

オブジェクト３Ｄデータ出力部１１１は、２次元画像表示装置１２０や３次元画像表示装置１３０に表示させる表示対象であるオブジェクトの３次元画像データを出力するものである。

オブジェクト位置データ出力部１１２は、例えば上記２次元画像表示装置１２０の表示面を基準とした上記オブジェクトの３次元空間内での位置や姿勢を示す位置データを出力するものである。

３Ｄ／２Ｄ部分分割部１１３は、上記位置データに基づいて、上記オブジェクトの３次元画像データを、２次元画像表示装置１２０の表示面よりも奥に位置する２次元表示部分と、手前に位置する３次元表示部分とに分割するようになっている。

２Ｄ描画部１１４は、上記２次元表示部分の２次元表示画像２０１の描画を行って、上記２次元表示画像２０１を２次元画像表示装置１２０に表示させるようになっている。

２次元画像表示装置空間位置検出部１１６は、カメラ１４０によって撮像された２次元画像表示装置１２０の撮像画像に基づいて、２次元画像表示装置１２０の空間位置、具体的には例えば２次元画像表示装置１２０と３次元画像表示装置１３０との相対位置関係を検出するようになっている。

３Ｄ描画部１１５は、上記２次元画像表示装置空間位置検出部１１６によって検出された２次元画像表示装置１２０の空間位置に応じて、上記２次元表示画像２０１と連続するように、上記３次元表示部分の３次元表示画像２０２の描画を行って、上記３次元表示画像２０２を３次元画像表示装置１３０の左画像表示部１３１および右画像表示部１３２に表示させるようになっている。

上記のような表示装置では、例えば、図１に示すような魚の画像を表示するための３次元画像データがオブジェクト３Ｄデータ出力部１１１から出力されるとともに、オブジェクト位置データ出力部１１２から上記魚の画像の３次元空間内での位置や姿勢を示す位置データが出力されると、３Ｄ／２Ｄ部分分割部１１３によって、上記オブジェクトの３次元画像データが、２次元画像表示装置１２０の表示面よりも奥に位置する２次元表示部分と、手前に位置する３次元表示部分とに分割される。すなわち、上記３次元画像データが、上記魚の画像の胴体部分の２次元表示画像２０１を表示させる画像データと、上記魚の画像の頭部分の３次元表示画像２０２を表示させる画像データとに分割される。

そこで、上記のように分割された各画像データに基づいて、２Ｄ描画部１１４、および３Ｄ描画部１１５によって２次元画像、および３次元画像が描画される。ここで、３Ｄ描画部１１５による描画においては、カメラ１４０によって撮像された画像に基づいて、２次元画像表示装置空間位置検出部１１６により２次元画像表示装置１２０の空間位置が検出され、上記２次元画像表示装置１２０の空間位置に応じて定まる表示面を基準とした３次元空間内の位置に３次元表示画像２０２が見えるように、３次元画像表示装置１３０への表示が行われるような描画が行われる。

上記のような描画に基づいて、２次元画像表示装置１２０、および３次元画像表示装置１３０への表示が行われることにより、魚の胴体部分の２次元表示画像２０１が２次元画像表示装置１２０内に見える一方、魚の頭部分の３次元表示画像２０２が２次元画像表示装置１２０から飛び出して、３次元空間内に立体的に存在するように見える表示を行わせることができ、臨場感を高められるような表示をさせることが容易にできる。

なお、２次元表示画像と３次元表示画像との連続性は、上記のように空間的な連続性に限るものではない。すなわち、上記のように２次元画像表示装置１２０および３次元画像表示装置１３０に同時に表示される２次元表示画像２０１と３次元表示画像２０２とが空間的に連続するように表示されるのに限らず、例えば２次元表示画像２０１の表示面より奥の方から表示面に向かって進んできたオブジェクトが２次元表示画像２０１の表示面から手前に飛び出して、その後は３次元表示画像だけが表示されて見えるなど、時間的な連続性があるような表示であっても、臨場感を高めることは容易にできる。

また、上記の例では、オブジェクト位置データ出力部１１２は、２次元画像表示装置１２０の表示面を基準とした、オブジェクトの３次元空間内での位置や姿勢を示す位置データを出力する例を示したが、これに限らず、３次元画像表示装置１３０によって表示される３次元空間内での位置や姿勢を示す位置データを出力するようにしてもよい。この場合には、３Ｄ／２Ｄ部分分割部１１３は、さらに、２次元画像表示装置空間位置検出部１１６によって検出された、上記３次元空間内における、２次元画像表示装置１２０の空間位置、より詳しくはその表示面の位置に応じて、オブジェクトの３次元画像データを、２次元画像表示装置１２０の表示面よりも奥に位置する２次元表示部分と、手前に位置する３次元表示部分とに分割するようにすればよい。

また、２次元画像表示装置１２０は、１台に限らず、複数台が設けられても、同様の表示を行わせることができる。

また、２次元画像表示装置空間位置検出部１１６による２次元画像表示装置１２０の空間位置の検出を容易にするために、２次元画像表示装置１２０に種々のマーカを設けたりしてもよい。

また、３次元画像表示装置１３０への３次元表示画像２０２の表示位置の決定は、カメラ１４０の撮像画像だけに基づいて行われるのに限らず、例えばユーザが３次元表示画像２０２を摘まんで移動させるジェスチャーをすることなどによって微調整したりできるようにしてもよい。

また、２次元画像表示装置空間位置検出部１１６による位置検出や、３Ｄ描画部１１５による３次元表示画像２０２の表示位置の制御などは、３次元画像表示装置１３０が有する機能によって行われるようにしてもよい。

（実施形態２）
実施形態２の表示装置は、上記実施形態１と比べて、図３に示すように、３次元画像表示装置１３０の左画像表示部１３１および右画像表示部１３２に、３次元表示画像２０２の部分に加えて、２次元表示画像２０１が表示された２次元画像表示装置１２０自体も表示されるように構成されている点が主に異なっている。なお、３次元画像表示装置１３０としては、２次元画像表示装置１２０を除く背景部分は、実施形態１と同様に３次元画像表示装置１３０を透過して直視されるようにされてもよいし、２次元画像表示装置１２０を含む背景部分全体が、カメラ１４０による撮像画像を用いて３次元画像表示装置１３０に表示されるようにしてもよい。

上記のような表示が行われるようにするために、表示処理装置１１０は、図４に示すように、カメラ１４０による撮像画像と、３Ｄ描画部１１５によって描画された３次元画像とが画像合成部１１７によって合成されるようになっている。

上記のような表示が行われる場合でも、やはり、２次元画像表示装置１２０への表示と３次元画像表示装置１３０への表示とが連続するようにして、臨場感を高められるような表示をさせることが容易にできる。また、上記のような合成が行われる場合には、例えば３次元表示画像によって隠れる部分の２次元画像表示装置１２０自体やその表示画像を確実にマスクすることなども容易にできる。

なお、上記のような表示が行われるようにするためには、３次元表示画像２０２への表示位置が、２次元画像表示装置空間位置検出部１１６の検出結果に基づいて３Ｄ描画部１１５で描画される際に決定されるのに限らず、画像合成部１１７で画像合成される際に決定されるようにしてもよい。

また、カメラ１４０によって撮像された２次元画像表示装置１２０や、その表示画像が３次元画像表示装置１３０に表示されるのに限らず、２次元画像表示装置１２０への仮想的な表示画像が画像合成部１１７により合成されて３次元画像表示装置１３０に表示されるようにしたり、２次元画像表示装置１２０自体が仮想的なものとして、画像合成部１１７により合成されて３次元画像表示装置１３０に表示されるようにしてもよい。

（実施形態３）
実施形態３の表示装置は、図５に示すように、３次元画像表示装置１３０に代えて、ホログラム表示装置１５０によるホログラム画像によって３次元画像の表示が行われる点が主に異なる。上記ホログラム表示装置１５０は、例えば連結部材１５１によって、２次元画像表示装置１２０との位置関係が固定されるように設けられている。すなわち、ホログラム表示装置１５０によって表示される３次元画像は、３次元画像表示装置１３０のような表示装置と異なり、ユーザが視認する位置や方向が変わっても、２次元画像表示装置１２０によって表示される２次元画像との相対的な位置を変化させる必要はなく、３次元画像表示装置１３０とホログラム表示装置１５０との相対位置関係が固定されてさえいればよい。

そこで、表示処理装置１１０は、図６に示すように、特に２次元画像表示装置空間位置検出部１１６などを設けたりしなくても、連結部材１５１によって定まるホログラム表示装置１５０と２次元画像表示装置１２０との位置に応じて、ホログラム表示装置１５０によって表示される３次元画像の位置と２次元画像表示装置１２０によって表示される２次元画像の位置とがあらかじめ設定されることにより、これらの画像の表示が連続するようにして、臨場感を高められるような表示をさせることが容易にできる。

なお、上記各実施形態や変形例で説明した構成要素は、論理的に矛盾しない限り、種々組み合わせてもよい。

１１０表示処理装置
１１１データ出力部
１１２オブジェクト位置データ出力部
１１３３Ｄ／２Ｄ部分分割部
１１４２Ｄ描画部
１１５３Ｄ描画部
１１６２次元画像表示装置空間位置検出部
１１７画像合成部
１２０２次元画像表示装置
１３０３次元画像表示装置
１３１左画像表示部
１３２右画像表示部
１４０カメラ
１５０ホログラム表示装置
１５１連結部材
２０１２次元表示画像
２０２３次元表示画像

Claims

３次元画像表示装置と、
少なくとも１つの２次元画像表示装置と、
上記３次元画像表示装置による３次元表示画像と上記２次元画像表示装置による２次元表示画像とを連続するように表示させる表示処理装置と、
を備え、
上記表示処理装置は、
３次元オブジェクトにおける上記２次元画像表示装置の表示面よりも奥に位置する部分を上記２次元画像表示装置に表示させる一方、上記２次元画像表示装置の表示面よりも手前に位置する部分を上記３次元画像表示装置に表示させることを特徴とする表示装置。
請求項１の表示装置であって、
上記表示処理装置は、
ユーザによって直視される上記２次元画像表示装置の上記２次元表示画像に連続する上記３次元表示画像を上記３次元画像表示装置に表示させることを特徴とする表示装置。
請求項２の表示装置であって、
上記３次元画像表示装置は、ユーザの左右の目によって視認される画像を表示するとともに、上記２次元画像表示装置を直視可能に構成されていることを特徴とする表示装置。
請求項２の表示装置であって、
上記３次元画像表示装置は、ホログラム画像を表示することを特徴とする表示装置。
請求項１の表示装置であって、
上記表示処理装置は、上記３次元表示画像中に上記２次元画像表示装置および上記２次元表示画像を表示させることを特徴とする表示装置。
請求項１の表示装置であって、
さらに、ユーザの視野における上記２次元画像表示装置の空間位置を検出する空間位置検出部を備え、
上記表示処理装置は、上記空間位置検出部の検出結果に応じた上記３次元オブジェクトの描画を行うことを特徴とする表示装置。
３次元画像表示装置、および少なくとも１つの２次元画像表示装置に、それぞれ３次元表示画像または２次元表示画像を表示させる表示処理装置であって、
上記３次元表示画像と上記２次元表示画像とを連続するように表示させるとともに、
３次元オブジェクトにおける上記２次元画像表示装置の表示面よりも奥に位置する部分を上記２次元画像表示装置に表示させる一方、上記２次元画像表示装置の表示面よりも手前に位置する部分を上記３次元画像表示装置に表示させることを特徴とする表示処理装置。
３次元画像表示装置、および少なくとも１つの２次元画像表示装置に、それぞれ３次元表示画像または２次元表示画像を表示させる処理をコンピュータに行わせる表示処理プログラムであって、
上記３次元表示画像と上記２次元表示画像とを連続するように表示させるとともに、
３次元オブジェクトにおける上記２次元画像表示装置の表示面よりも奥に位置する部分を上記２次元画像表示装置に表示させる一方、上記２次元画像表示装置の表示面よりも手前に位置する部分を上記３次元画像表示装置に表示させることを特徴とする表示処理プログラム。