JP6573101B2 - INTERACTION EXECUTION METHOD, DEVICE USING THE METHOD, AND PROGRAM - Google Patents
INTERACTION EXECUTION METHOD, DEVICE USING THE METHOD, AND PROGRAM Download PDFInfo
- Publication number
- JP6573101B2 JP6573101B2 JP2015086277A JP2015086277A JP6573101B2 JP 6573101 B2 JP6573101 B2 JP 6573101B2 JP 2015086277 A JP2015086277 A JP 2015086277A JP 2015086277 A JP2015086277 A JP 2015086277A JP 6573101 B2 JP6573101 B2 JP 6573101B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- video
- imaging
- display device
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003993 interaction Effects 0.000 title claims description 34
- 238000000034 method Methods 0.000 title claims description 18
- PWPJGUXAGUPAHP-UHFFFAOYSA-N lufenuron Chemical compound C1=C(Cl)C(OC(F)(F)C(C(F)(F)F)F)=CC(Cl)=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F PWPJGUXAGUPAHP-UHFFFAOYSA-N 0.000 title 1
- 238000003384 imaging method Methods 0.000 claims description 75
- NJPPVKZQTLUDBO-UHFFFAOYSA-N novaluron Chemical compound C1=C(Cl)C(OC(F)(F)C(OC(F)(F)F)F)=CC=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F NJPPVKZQTLUDBO-UHFFFAOYSA-N 0.000 claims description 14
- 238000012937 correction Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 13
- 230000003287 optical effect Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 3
- 238000003780 insertion Methods 0.000 description 3
- 230000037431 insertion Effects 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
Images
Landscapes
- Position Input By Displaying (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Devices For Indicating Variable Information By Combining Individual Elements (AREA)
Description
本発明は、インタラクション実行方法及び該方法を採用するインタラクション実行装置並びにインタラクションを実行させるプログラムに関する。 The present invention relates to an interaction execution method, an interaction execution apparatus employing the method, and a program for executing the interaction.
近年、映像の新たな表示方法として、空中に映像を結像させる映像表示用装置が提案されている。これは元となる表示画面の映像を種々の光学的手法によって表示画面とは別の空間に結像させるものであるが、当該装置には、一般に、レンズアレイやコーナーキューブアレイ等から構成される再帰性反射シートと、ハーフミラーとを用いて当該ハーフミラーを基準とする面対称位置に前記映像を光学結像させる周知技術が採用されている(特許文献1及び2)。 In recent years, as a new video display method, a video display device for forming a video image in the air has been proposed. This is to form an image of the original display screen in a different space from the display screen by various optical methods, and the apparatus is generally composed of a lens array, a corner cube array, or the like. A well-known technique is employed in which the image is optically imaged at a plane-symmetrical position with respect to the half mirror using a retroreflective sheet and a half mirror (
また、画像表示面内に内蔵されたセンサにより目視者の指の進入位置を検出し、当該進入位置に応じて、画像表示面に表示する二次元画像を変化させるユーザーインタラクティブを実現する画像表示装置が提案されている(特許文献3)。 Further, an image display device that realizes user interaction that detects an approach position of a viewer's finger with a sensor built in the image display surface and changes a two-dimensional image displayed on the image display surface according to the approach position. Has been proposed (Patent Document 3).
一方、本出願人は、図15に図示する空間映像結像装置1を特許出願(特願2015−30040)している。当該装置1は、表示機器2を載置するための支持台座部3と、再帰反射部4と、ハーフミラー部5と、前記各部を特定の角度関係をもって固定するための側板部6とによって構成し、前記表示機器2を前記支持台座部3へ挿入する挿入口7を設けた単純な箱型構造をとっている。 On the other hand, the present applicant has filed a patent application (Japanese Patent Application No. 2015-30040) for the spatial
そして、スマートデバイス等の表示機器2を前記挿入口7から挿入して前記支持台座部3へ装着し、図16に示すように、映像表示領域8に映像9を表示することにより、支持台座部3に載置された表示機器2の映像表示領域8から出力された光が、光路aを進んだ後、一部がハーフミラー部5によって反射され、光路bを進み再帰反射部4に入射し、再帰反射部4に入射された光は同一の光路cを通るように反射され、ハーフミラー部5に再度入射されて、ハーフミラー部5に入射された光の一部は透過した後に光路dを直進し、ハーフミラー部5を対称面とする面対称位置に空間映像10を結像するようになっている。 Then, the
本発明は、ハーフミラーを介して結像される空間映像に対してインタラクティブ性を持たせることを技術的課題とし、前記従来の映像表示用装置に対して検討をおこなった。 The present invention has a technical problem of providing an interactive property to a spatial image formed through a half mirror, and has studied the conventional image display device.
前記映像表示用装置の表示画面に表示された映像に対して直接入力する最も簡便な方法は、表示画面に表示された映像に対して直接、指やスタイラスペン等で入力を行う手法であるが、この方法では、操作時の一連の動作が画面表示を遮り、結果として立体の空間映像に影響するという問題点があった。 The simplest method of directly inputting the image displayed on the display screen of the image display device is a method of directly inputting the image displayed on the display screen with a finger or a stylus pen. However, this method has a problem that a series of operations at the time of operation interrupts the screen display and consequently affects a three-dimensional spatial image.
また、Bluetooth等の無線入力機器又はUSB接続の有線入力機器を接続して遠隔操作すれば、前記第一の問題点は回避できるが、空間映像に対するインタラクティブ性が損なわれるという問題点があった。 Further, if a wireless input device such as Bluetooth or a wired input device connected via USB is connected and remotely operated, the first problem can be avoided, but there is a problem that the interactivity with the spatial image is impaired.
さらに、特許文献3に開示されている画像表示装置では、前記第一の問題点に加えて、特殊な画像表示手段を必要とするという問題点があった。 Furthermore, the image display device disclosed in
そこで、本発明は、市販のスマートデバイスであるスマートフォンやタブレット等にはカメラが内蔵されていることに着目し、当該内蔵カメラで撮像したデータを利用すれば、市販のスマートデバイスでも空間映像にインタラクティブ性を持たせることができるという知見を得、前記技術的課題を達成したものである。 Therefore, the present invention pays attention to the fact that a commercially available smart device such as a smartphone or a tablet has a built-in camera, and if data captured by the built-in camera is used, even a commercially available smart device can interactively display a spatial image. The above technical problem has been achieved by obtaining the knowledge that it can be imparted with the property.
前記技術的課題は、次の通りの本発明によって解決できる。 The technical problem can be solved by the present invention as follows.
本発明に係るインタラクション実行方法は、表示機器の映像表示領域に映像を表示させ、ハーフミラーを介して当該映像を当該ハーフミラー上方に空間映像として結像させて当該空間映像に対してインタラクションを実行する方法であって、前記表示機器は前記映像表示領域の外周縁近傍に撮像手段を内蔵しており、前記ハーフミラーは前記撮像手段が有する撮像範囲を遮らないように配置され、前記映像表示領域に映像を表示させた後に前記撮像手段の撮像範囲に前記空間映像を指し示す指示体が出現したか否かを前記撮像手段が撮像する画像により判断し、前記撮像範囲に前記指示体が出現していると判断した場合に前記映像表示領域に前記映像に関連する新たな映像を表示させて前記空間映像に連続する動作として結像させるものである。 The interaction execution method according to the present invention displays a video in a video display area of a display device, forms the video as a spatial video above the half mirror via a half mirror, and executes the interaction on the spatial video The display device includes an imaging unit in the vicinity of an outer periphery of the video display area, and the half mirror is arranged so as not to block an imaging range of the imaging unit, and the video display area It is determined from an image captured by the imaging unit whether or not an indicator pointing to the spatial video has appeared in the imaging range of the imaging unit after the video is displayed on the imaging unit, and the indicator appears in the imaging range. When it is determined that a new image related to the image is displayed in the image display area, the image is formed as a continuous operation on the spatial image. .
また、本発明に係るインタラクション実行装置は、映像を表示する映像表示領域と当該映像表示領域の外周縁近傍に内蔵する撮像手段とを備える表示機器と、当該表示機器に対して角度を設けて、前記撮像手段が有する撮像範囲を遮らないように配置されたハーフミラーとを含んで構成され、前記表示機器の映像表示領域に映像を表示させ、前記ハーフミラーを介して当該映像を前記ハーフミラー上方に空間映像として結像させ、当該空間映像に対してインタラクションを実行するインタラクション実行装置であって、前記映像表示領域に映像を表示させる第一の表示手段と、当該第一の表示手段により前記映像表示領域に映像を表示させた後に前記撮像手段の撮像範囲に前記空間映像を指し示す指示体が出現したか否かを判断する判断手段と、当該判断手段により前記撮像範囲に前記指示体が出現していると判断した場合に前記映像表示領域に前記映像に関連する新たな映像を表示させる第二の表示手段と、を具備しているものである。 Further, the interaction execution device according to the present invention is provided with a display device including a video display region for displaying video and an imaging unit built in the vicinity of the outer periphery of the video display region, and an angle with respect to the display device. And a half mirror arranged so as not to obstruct an imaging range of the imaging means, displaying an image in an image display area of the display device, and displaying the image via the half mirror above the half mirror An interaction execution device that forms an image as a spatial video and executes an interaction with the spatial video, wherein the first display means displays the video in the video display area, and the video is displayed by the first display means. Determination means for determining whether or not an indicator pointing to the spatial image has appeared in the imaging range of the imaging means after displaying the video in the display area A second display means for displaying a new video related to the video in the video display area when the judgment means judges that the indicator has appeared in the imaging range. Is.
また、本発明は、前記インタラクション実行装置において、映像表示領域が矩形に形成されて該矩形外周縁の一辺縁近傍に撮像手段が内蔵されており、長手両方向に下降する断面蒲鉾形状の長尺凸レンズが該長尺凸レンズの長辺側を前記一辺縁に沿わせて前記映像表示領域を遮らないように撮像手段の撮像範囲を塞いで配置されているものである。 Further, the present invention provides the interaction executing device, wherein the video display area is formed in a rectangular shape and an imaging means is built in near one edge of the outer peripheral edge of the rectangular shape, and is a long convex lens having a bowl-shaped cross section that descends in both longitudinal directions. However, the long convex side of the long convex lens is arranged along the one edge so as to close the imaging range of the imaging means so as not to block the video display area.
また、本発明は、前記インタラクション実行装置において、長尺凸レンズがハーフミラー面より上方に露出しているものである。 According to the present invention, in the interaction execution device, the long convex lens is exposed above the half mirror surface.
また、本発明に係るプログラムは、映像を表示する映像表示領域と当該映像表示領域の外周縁近傍に内蔵する撮像手段とを備える表示機器に搭載されるコンピュータを、前記映像表示領域に映像を表示させる第一の表示手段と、前記第一の表示手段により前記映像表示領域に映像が表示された後に、当該映像によってハーフミラー上方に結像した空間映像を指し示す指示体が前記撮像手段の撮像範囲に出現したか否かを判断する手段と、前記判断手段により前記撮像範囲に前記指示体が出現していると判断した場合に前記映像表示領域に前記映像に関連する新たな映像を表示させる第二の表示手段として機能させるものである。 Further, the program according to the present invention displays a video in a video display area, a computer mounted on a display device having a video display area for displaying video and an imaging means built in the vicinity of the outer periphery of the video display area. An image display range of the image pickup means is a first display means to be displayed, and an indicator that indicates a spatial image formed above the half mirror by the image after the image is displayed in the image display area by the first display means. And a means for displaying a new video related to the video in the video display area when the determination means determines that the indicator has appeared in the imaging range. It functions as a second display means.
さらに、本発明に係るプログラムは、映像を表示する映像表示領域と当該映像表示領域の外周縁近傍に内蔵する撮像手段とを備える表示機器に搭載されるコンピュータを、前記映像表示領域に映像を表示させる第一の表示手段と、前記第一の表示手段により前記映像表示領域に映像が表示された後に、当該映像によってハーフミラー上方に結像した空間映像を指し示す指示体が前記撮像手段の撮像範囲に出現したか否かを判断する手段と、前記判断手段により前記撮像範囲に前記指示体が出現していると判断した場合に前記映像表示領域における指示体の上下及び/又は左右位置を演算する演算手段と、前記演算手段の演算結果に基づいて新たな映像を選択して前記映像表示領域に当該新たな映像を表示させる第二の表示手段として機能させるものである。 Furthermore, the program according to the present invention displays a video on a display device including a video display area for displaying a video and an imaging unit built in the vicinity of the outer periphery of the video display area. An image display range of the image pickup means is a first display means to be displayed, and an indicator that indicates a spatial image formed above the half mirror by the image after the image is displayed in the image display area by the first display means. And calculating the vertical and / or horizontal position of the indicator in the video display area when it is determined by the determining means that the indicator appears in the imaging range. A calculation means and a second display means for selecting a new video based on the calculation result of the calculation means and displaying the new video in the video display area. It is intended.
本発明によれば、映像表示領域の外周縁近傍に撮像手段を内蔵する表示機器を用いて空間映像を結像させ、前記撮像手段の撮像範囲に前記空間映像を指し示す指示体が出現していると判断した場合に前記映像に関連する新たな映像を表示させて前記空間映像に連続する動作として結像させるようにしたので、前記空間映像に対してインタラクティブ性を持たせることができる。 According to the present invention, a spatial image is imaged using a display device incorporating an imaging means in the vicinity of the outer periphery of the video display area, and an indicator pointing to the spatial video appears in the imaging range of the imaging means. When it is determined that a new video related to the video is displayed and imaged as a continuous operation on the spatial video, the spatial video can be made interactive.
実施の形態1.
以下、本発明の実施の形態を、図1〜図7を参照して説明する。これらの図において、図15及び図16と同一符号は同一又は相当部分を示す。 Hereinafter, embodiments of the present invention will be described with reference to FIGS. In these drawings, the same reference numerals as those in FIGS. 15 and 16 denote the same or corresponding parts.
図1において、11はインタラクション実行装置であり、映像9を表示する矩形の表示画面(映像表示領域)8と表示画面8の外周縁12の一辺縁13近傍に内蔵するカメラ(撮像手段)14と通信機能を装備する携帯型の表示機器(所謂、スマートデバイス)2と、当該表示機器2を装着する、図15に図示する箱型空間映像結像装置1とからなり、表示機器2は、表示画面8に映像9を表示させた後にカメラ14の撮像範囲に空間映像10を指し示す指示体15(図2参照)が出現したか否かをカメラ14が撮像する画像により判断し、前記撮像範囲に前記指示体15が出現していると判断した場合に表示画面8に前記映像9に関連する新たな映像16aを表示させる機能を備えている。また、17aは新たな映像16aに対する新たな空間映像である。 In FIG. 1,
前記箱型空間映像結像装置1は、表示機器2を装着する扁平な矩形支持台座部3と、支持台座部3に装着される表示機器2の表示画面8に対して角度を有して支持台座部3の上方位置に配置された扁平な矩形ハーフミラー部5と、ハーフミラー部5と支持台座部3とに対してそれぞれ角度を設けて対面する位置に配置され、支持台座部3に対して略直角に屈曲して連続する扁平な矩形再帰反射部4と、支持台座部3に装着される表示機器2とハーフミラー部5と再帰反射部4とにより形成される光学系によりハーフミラー部5の上方に空間映像10を結像するように前記各部を特定の角度関係をもって固定するための側板部6とによって構成されており、前記表示機器2は、矩形外周縁12の一辺縁13をハーフミラー部5側にしてカメラ14を当該ハーフミラー部5の上面から露出するように位置付けて前記支持台座部3に載置され、ハーフミラー部5はカメラ14が有する視野領域である撮像範囲を遮らないように配置されている。 The box-type
表示機器2は、図3に示すように、前記映像9や前記新たな映像16aを表示する前記表示画面8と、前記映像9や前記新たな映像16aに関連するミュージックや音声を出力するスピーカ18と、前記指示体15を撮像するカメラ14と、図4に図示するインタラクション実行プログラムや前記映像9、16aの画像データ等をダウンロードできるWiFiや無線LAN、及び電話機能等を構築する通信部19と、前記インタラクション実行プログラムや前記画像データ等を格納するUSB等の外部デバイスを接続するI/Oインタフェース20と、前記映像9等の画像データを格納する第一記憶部21と前記映像9に関連する新たな映像16a等の画像データを格納する第二記憶部22と前記インタラクション実行プログラム等を格納する第三記憶部23とを設けた外部記憶部24と、表示機器2に搭載される前記各種デバイスを制御する中央制御部(CPU)25と、を含んで構成されている。 As shown in FIG. 3, the
次に、図4に図示するインタラクション実行プログラムについて説明する。 Next, the interaction execution program illustrated in FIG. 4 will be described.
表示機器2を箱型空間映像結像装置1に装着した後、CPU25の制御により、前記プログラム記憶部23から前記インタラクション実行プログラムを読み出して当該プログラムを実行する。 After the
CPU25の制御により、第一記憶部21から映像9の画像データを読み込んで表示画面8に映像9を表示する(第一の表示手段:ステップs01)。これにより、ハーフミラー部5の上方には、図1に示すように、空間映像10が現れる。次いで、当該空間映像10を指し示す指示体15がカメラ14の撮像範囲に出現したか否かをカメラ14が内蔵する撮像素子(図示せず)の認識により判断し(判断手段:ステップs02)、CPU25の制御により、前記撮像素子が前記指示体15を認識すれば、続いて、CPU25の制御により、第二記憶部22から前記映像9に対する動きを表現する新たな画像データを読み込んで表示画面8に新たな映像16aとして表示する(第二の表示手段:ステップs03)。これにより、ハーフミラー部5の上方には、図2に示すように、前記映像9に連続する動きの新たな空間映像17aが出現する。 Under the control of the
本実施の形態では、カメラ14の撮像範囲に指示体15が出現すれば、カメラ14の一辺縁での位置に関係なく、新たな映像16aが表示される。 In the present embodiment, when the
ところで、表示画面8に表示された映像9はその位置関係を保持した状態で当該映像9の空間映像10が結像される。従って、図5に示すように、カメラ14が一辺縁13の略中央に内蔵されている表示機器2の場合には、カメラ14で撮影される指示体15の撮影画像は前記表示画面8に対して中央位置が撮像範囲であり、当該表示画面8に表示されている映像9と整合性を有した位置関係となる。一方、図6に示すように、カメラ14が一辺縁13の右寄りに内蔵されている表示機器2の場合には、カメラ14で撮影される指示体15の撮影画像は前記表示画面8に対して右寄り位置が撮像範囲となるから、表示画面8に表示されている映像9と整合させるために指示体15の撮影画像を左寄りに位置を修正し、図7に示すように、カメラ14が一辺縁13の左寄りに内蔵されている表示機器2の場合には、カメラ14で撮影される指示体15の撮影画像は前記表示画面8に対して左寄り位置が撮像範囲となるから、表示画面8に表示されている映像9と整合させるために指示体15の撮影画像を右寄りに位置を修正すれば、さらに、前記指示体15の認識精度を上げることができる。 By the way, the
その他の修正方法の一例として、カメラ位置が異なる表示機器2の機種毎にカメラ位置のデータベースを予め用意して当該データベースを認識時に参照することでカメラ位置のバラつきをソフトウェア的に補正する方法や使用開始時に表示機器2に対して特定の位置で手などを撮影し、期待される基準位置とのずれから補正量を算出して以後の入力操作に反映させるキャリブレーション処理を行う補正方法等を挙げることができる。 As an example of another correction method, a method of using a camera position database for each model of the
従って、カメラ位置は一辺縁13の中央より右寄り側或いは左寄り側、さらには、右端近傍或いは左端近傍であってもよい。 Therefore, the camera position may be on the right side or the left side from the center of the one
なお、映像9、16aは、動画は勿論のこと静止画の画像をも含むものである。また、新たな映像16aは、指示体15を認識しなくなることにより、もとの映像9に戻すようにしてもよく、再度認識されるまで、継続して表示するようにしてもよく、再度認識されることにより、第三の新たな映像を表示するようにしてもよい。また、指示体15は指でもよく、指し棒でもよい。 The
本実施の形態によれば、表示機器2としてカメラを内蔵するスマートフォンやタブレット等のスマートデバイスを用いれば、内蔵カメラで手の動きや特定の図形・色を持つ物体などを撮影し、撮影された画像の解析処理を経て表示映像に反映させることができるので、入力操作をするために追加の機材を用意する必要がない。 According to the present embodiment, if a smart device such as a smartphone or a tablet with a built-in camera is used as the
実施の形態2.
本実施の形態は、実施の形態1における空間映像10を指し示した指示体15の位置によって異なる新たな空間映像を結像するものであり、図8〜図11において、図1〜図3、図15及び図16と同一符号は同一又は相当部分を示し、図1〜図3をも参照して説明する。 The present embodiment forms a new spatial image that differs depending on the position of the
本実施の形態におけるCPU25では、指示体15が指し示している空間映像10における位置を、カメラ14の撮像範囲に出現した指示体15の位置に基づいて表示画面8における上・下位置、左・右位置として算出し、前記空間映像10の映像9に対応させており、指示体15の表示画面8での位置は、図8に示すように、表示画面8を上下左右に四分割して当該四分割の領域がカメラ14の撮像素子の撮像エリアに対応してデータ化され、どの撮像エリアにおいて指示体15が撮像されているかを演算して表示画面8における指示体15の位置として置換して決定する。そして、分割領域に対応する新たな画像データを第二記憶部22から読み込んで表示画面8に表示させる。よって、第二記憶部22には、表示画面8に対する指示体15の位置に対応する新たな画像データが格納されており、空間映像10を指し示す指示体15が表示画面8における左エリア26である場合に新たに表示される映像16a(図2参照)の画像データと、表示画面8における上エリア27である場合に新たに表示される映像16b(図10参照)の画像データと、表示画面8における下エリア28である場合に新たに表示される映像16c(図11参照)の画像データとが含まれている。そして、プログラム記憶部23には、本実施の形態に係る図9に図示するインタラクション実行プログラムと、前記左エリア26と上エリア27と下エリア28とに分割された表示画面8の撮像エリアデータとが格納されている。 In the
前記インタラクション実行プログラムでは、図9に示すように、CPU25の制御により、第一記憶部21から映像9の画像データを読み込んで表示画面8に映像9を表示させて(第一の表示手段:ステップs04)、ハーフミラー部5の上方に図1に示す空間映像10を出現させ、次いで、当該空間映像10を指し示す指示体15がカメラ14の撮像範囲に出現したか否かをカメラ14が内蔵する撮像素子(図示せず)の認識により判断し(判断手段:ステップs05)、CPU25の制御により、前記撮像素子が前記指示体15を認識すれば、続いて、CPU25の制御により、前記表示画面8における指示体15の上・下・左・右位置を前述の方法により演算し(演算手段:ステップs06)、演算の結果、左エリア26であれば、第二記憶部22から前記映像9に対する動きを表現する新たな映像16aの画像データを読み込んで、図2に示すように、表示画面8に新たな映像16aを表示し、上エリア27であれば、同様に表示画面8に新たな映像16b(図10参照)を表示し、下エリア28であれば、同様に表示画面8に新たな映像16c(図11参照)を表示する(第二の表示手段:ステップs07)。 In the interaction execution program, as shown in FIG. 9, under the control of the
これにより、新たな映像16aの表示によって、ハーフミラー部5の上方には、図2に示すように、映像9に連続する動きの新たな空間映像17aが出現し、新たな映像16bの表示によって、図10に示すように、同様に新たな空間映像17bが出現し、新たな映像16cの表示によって、図11に示すように、同様に新たな空間映像17cが出現する。なお、新たな映像16aが表示されている状態で再度、指示体15を認識することにより、連続してその他の新たな映像16b又は映像16cを表示するようにしてもよい。 As a result, as shown in FIG. 2, a new
なお、カメラの撮像範囲の中心軸と空間に結像された空間映像の表示面とはほぼ平行となるため、カメラの撮影画像上の上下方向と前記空間映像の表示面の上下方向は一致せず、空間映像の表示面での上下方向はカメラの撮影画像上では奥行き方向となるので、指示体15の奥行き方向位置は指示体15の大きさの変化に基づき捕らえることができるから、基準となる位置での大きさ、例えば、表示画面8の中央に位置する時の指示体15の大きさを予め設定しておけば、表示画面8の上下方向での座標は基準との差分から計算によって求めることができる。 Since the center axis of the imaging range of the camera and the display screen of the spatial image formed in the space are substantially parallel, the vertical direction on the captured image of the camera and the vertical direction of the display screen of the spatial video are the same. First, since the vertical direction on the display surface of the spatial image is the depth direction on the image captured by the camera, the depth direction position of the
実施の形態3.
本実施の形態は、前記実施の形態1又は実施の形態2に係るインタラクション実行装置11において、カメラ14に凸レンズ29を位置付けて配置したものであり、図12〜図14において、図1〜図11、図15及び図16と同一符号は同一又は相当部分を示す。 In the
図12及び図13に示すように、表示機器2の表示画面8は矩形に形成され、表示画面8の矩形外周縁12の上辺に当たる一辺縁13近傍にカメラ14が内蔵されており、当該カメラ14の視野領域(撮像範囲)30を塞ぐようにして凸レンズ29が配置されている。 As shown in FIGS. 12 and 13, the
前記凸レンズ29は、長手両方向に下降する断面蒲鉾形状の長尺レンズであり、凸レンズ29の長辺31を表示機器2の上辺(一辺縁)13に沿わせて表示画面8を遮らないように表示機器2に位置付けられており、凸レンズ29はハーフミラー部5の上面より上方に露出している(図12参照)。さらに、前記凸レンズ29の形状は左右対称形であるから凸レンズ29の光軸は前記上辺13を二分する中心に位置付けられる。 The
これにより、前記上辺13の範囲内でカメラ14の位置が異なっても、図14に示すように、中央位置のカメラ14、左寄り位置のカメラ14’及び右寄り位置のカメラ14’’における視野領域30、30’、30’’の光路は前記凸レンズ29を介することにより当該凸レンズ29が有する光学的特性に基づいて屈折して焦点32を通過するので、カメラ14、14’、14’’の視野範囲に出現する指示体15は同じ位置に出現したとして認識することができる。 Thereby, even if the position of the
また、焦点32の位置に存在する指示体15は必ずカメラの撮像範囲の中心にあるように撮影されるから、空間映像10の出現位置を前記凸レンズ29の焦点距離に等しくなるようにすれば、さらに精度よく指示体15を認識することができる。 Further, since the
なお、凸レンズ29は両凸レンズ又は平凸レンズであってもよく、フレネルレンズを使用してもよい。凸レンズ29は長辺31が上辺13に沿う形状であればよいから、上面視長方形であっても、一方側が上辺13に沿う長辺、他方側が円弧形状であってもよい。また、凸レンズ29の長さは、機種によってばらつく異なるカメラ内蔵位置を網羅できる長さであればよい。また、凸レンズ29はハーフミラー部5に補助部材を介して接着固定するようにしてもよい。また、上面視長方形の長尺凸レンズ29は一軸方向のみ凸であるから、カメラ位置のばらつきが主に表示画面の横幅方向のみであるスマートフォンは表示機器2として最適である。 The
本実施の形態によれば、前記凸レンズ29を配置したから、前記実施の形態1の効果に加えて、前記一辺縁13の範囲内でカメラ14の内蔵位置がばらつく複数の表示機器2であっても、各種表示機器2毎のカメラ位置のばらつきを考慮することなく、指示体15を認識することができる。 According to the present embodiment, since the
1 空間映像結像装置、2 表示機器(スマートデバイス)、3 支持台座部、4 再帰反射部、5 ハーフミラー部、6 側板部、7 挿入口、8 映像表示領域(表示画面)、9 映像、10 空間映像、11 インタラクション実行装置、12 外周縁、13 一辺縁、14 撮像手段(カメラ)、15 指示体、16a,16b,16c 新たな映像、17a,17b,17c 新たな空間映像、18 スピーカ、19 通信部、20 I/Oインタフェース、21 第一記憶部、22 第二記憶部、23 プログラム記憶部、24 外部記憶部、25 中央制御部(CPU)、26 左エリア、27 上エリア、28 下エリア、29 凸レンズ、30 視野領域(撮像範囲)、31 長辺、32 焦点 DESCRIPTION OF
Claims (6)
前記表示機器を支持台座部に装着した状態で前記映像表示領域に映像を表示させる第一の表示手段と、
前記表示機器のカメラ位置のばらつきによって変化する前記撮像範囲が前記空間映像と整合するように前記撮像手段が撮像する画像を補正する補正手段と、
前記第一の表示手段により前記映像表示領域に映像が表示された後に、当該映像によってハーフミラー上方に結像した空間映像を指し示す指示体が前記撮像手段の撮像範囲に出現したか否かを判断する判断手段と、
前記判断手段により前記撮像範囲に前記指示体が出現していると判断した場合に前記映像表示領域に前記映像に関連する新たな映像を表示させる第二の表示手段として機能させるプログラム。A computer mounted on a portable display device comprising a video display area for displaying video and an imaging means built in the vicinity of the outer periphery of the video display area,
First display means for displaying an image on the image display area in a state where the display device is mounted on a support pedestal ;
Correction means for correcting an image picked up by the image pickup means so that the image pickup range that changes due to variations in the camera position of the display device matches the spatial video;
After an image is displayed on the image display area by the first display means, it is determined whether or not an indicator indicating a spatial image formed above the half mirror by the image has appeared in the imaging range of the imaging means. A judgment means to
A program that functions as a second display unit that displays a new video related to the video in the video display area when the determination unit determines that the indicator appears in the imaging range.
前記表示機器を支持台座部に装着した状態で前記映像表示領域に映像を表示させる第一の表示手段と、
前記表示機器のカメラ位置のばらつきによって変化する前記撮像範囲が前記空間映像と整合するように前記撮像手段が撮像する画像を補正する補正手段と、
前記第一の表示手段により前記映像表示領域に映像が表示された後に、当該映像によってハーフミラー上方に結像した空間映像を指し示す指示体が前記撮像手段の撮像範囲に出現したか否かを判断する判断手段と、
前記判断手段により前記撮像範囲に前記指示体が出現していると判断した場合に前記指示体の上下位置を前記補正手段によって補正された画像における前記指示体の大きさに基づいて演算する演算手段と、
前記演算手段の演算結果に基づいて新たな映像を選択して前記映像表示領域に当該新たな映像を表示させる第二の表示手段として機能させるプログラム。A computer mounted on a portable display device comprising a video display area for displaying video and an imaging means built in the vicinity of the outer periphery of the video display area,
First display means for displaying an image on the image display area in a state where the display device is mounted on a support pedestal ;
Correction means for correcting an image picked up by the image pickup means so that the image pickup range that changes due to variations in the camera position of the display device matches the spatial video;
After an image is displayed on the image display area by the first display means, it is determined whether or not an indicator indicating a spatial image formed above the half mirror by the image has appeared in the imaging range of the imaging means. A judgment means to
Calculation means for calculating the vertical position of the indicator based on the size of the indicator in the image corrected by the correction means when the determination means determines that the indicator appears in the imaging range When,
A program that functions as a second display unit that selects a new video based on a calculation result of the calculation unit and displays the new video in the video display area.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015086277A JP6573101B2 (en) | 2015-04-02 | 2015-04-02 | INTERACTION EXECUTION METHOD, DEVICE USING THE METHOD, AND PROGRAM |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015086277A JP6573101B2 (en) | 2015-04-02 | 2015-04-02 | INTERACTION EXECUTION METHOD, DEVICE USING THE METHOD, AND PROGRAM |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016197220A JP2016197220A (en) | 2016-11-24 |
JP6573101B2 true JP6573101B2 (en) | 2019-09-11 |
Family
ID=57358584
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015086277A Active JP6573101B2 (en) | 2015-04-02 | 2015-04-02 | INTERACTION EXECUTION METHOD, DEVICE USING THE METHOD, AND PROGRAM |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6573101B2 (en) |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2144448B1 (en) * | 2007-03-30 | 2019-01-09 | National Institute of Information and Communications Technology | Floating Image Interaction Device |
JP2012256110A (en) * | 2011-06-07 | 2012-12-27 | Sony Corp | Information processing apparatus, information processing method, and program |
JP5715007B2 (en) * | 2011-08-29 | 2015-05-07 | 京セラ株式会社 | Display device |
JP2013109421A (en) * | 2011-11-17 | 2013-06-06 | Toshiba Corp | Electronic apparatus, electronic apparatus control method and electronic apparatus control program |
EP2602703B1 (en) * | 2011-12-09 | 2018-02-07 | LG Electronics Inc. -1- | Mobile terminal and controlling method thereof |
JP2015060296A (en) * | 2013-09-17 | 2015-03-30 | 船井電機株式会社 | Spatial coordinate specification device |
-
2015
- 2015-04-02 JP JP2015086277A patent/JP6573101B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2016197220A (en) | 2016-11-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2571257B1 (en) | Projector device and operation detecting method | |
CN103765870B (en) | Image processing apparatus, projector and projector system including image processing apparatus, image processing method | |
CN101739567B (en) | Terminal apparatus and display control method | |
WO2016158856A1 (en) | Imaging system, imaging device, imaging method, and imaging program | |
US20150369593A1 (en) | Orthographic image capture system | |
JP6494239B2 (en) | Control device, control method, and program | |
US20120026376A1 (en) | Anamorphic projection device | |
US10769437B2 (en) | Adaptive sampling of training views | |
US20180184070A1 (en) | Method and system for depth estimation based upon object magnification | |
CN103024265A (en) | Imaging device and imaging method for imaging device | |
KR20020096948A (en) | Distance measuring method and image input device with distance measuring function | |
US11062422B2 (en) | Image processing apparatus, image communication system, image processing method, and recording medium | |
JP6804056B2 (en) | Projection type display device, control method of projection type display device, and program | |
JP2016085380A (en) | Controller, control method, and program | |
CN105700736A (en) | Input operation detection device, projection apparatus, interactive whiteboard and digital signage device | |
CN112150560A (en) | Method and device for determining vanishing point and computer storage medium | |
KR101082545B1 (en) | Mobile communication terminal had a function of transformation for a picture | |
JP6573101B2 (en) | INTERACTION EXECUTION METHOD, DEVICE USING THE METHOD, AND PROGRAM | |
JP6686319B2 (en) | Image projection device and image display system | |
JP6405539B2 (en) | Label information processing apparatus for multi-viewpoint image and label information processing method | |
US11991481B2 (en) | Display method, information processing device, and non-transitory computer-readable storage medium storing program | |
KR102614026B1 (en) | Electronic device having a plurality of lens and controlling method thereof | |
US20200342657A1 (en) | Information processing apparatus, information processing system, information processing method, and storage medium | |
JP6891094B2 (en) | Mouse scanner and scan program | |
JP6624861B2 (en) | Image processing apparatus, control method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180327 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190124 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190205 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20190403 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190515 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190523 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190723 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190731 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6573101 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |