JP5229141B2 - Display control apparatus and display control method - Google Patents
Display control apparatus and display control method Download PDFInfo
- Publication number
- JP5229141B2 JP5229141B2 JP2009165713A JP2009165713A JP5229141B2 JP 5229141 B2 JP5229141 B2 JP 5229141B2 JP 2009165713 A JP2009165713 A JP 2009165713A JP 2009165713 A JP2009165713 A JP 2009165713A JP 5229141 B2 JP5229141 B2 JP 5229141B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- auxiliary information
- display control
- target
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
Description
本発明は、表示制御装置および表示制御方法に関し、特に、撮像装置により撮像された映像に仮想的な補助線を表示してユーザ操作を支援する表示制御装置および表示制御方法に関する。 The present invention relates to a display control device and a display control method, and more particularly, to a display control device and a display control method for supporting a user operation by displaying a virtual auxiliary line on an image captured by an imaging device.
最近では、カメラやマイクなどが技術の進歩によって安価になり利用しやすくなったことに伴い、複数のカメラやマイクをオフィス空間内に配置し、オフィス内でのコミュニケーション支援や監視などに用いたりすることがある。複数のカメラやマイクが配置されている場合、ユーザは複数の情報取得手段を用いて所望の情報を得る必要がある。しかし、どのカメラとどのマイクから情報を取得すれば所望の情報を得ることができるかなど、複数の情報手段をユーザが有効利用する方法についての技術は十分ではない。ユーザは、取得できる情報が大量であるが故に、必要となる情報を容易に取得することができないという問題があった。 Recently, as cameras and microphones become cheaper and easier to use due to technological advances, multiple cameras and microphones are placed in the office space and used for communication support and monitoring in the office. Sometimes. When a plurality of cameras and microphones are arranged, the user needs to obtain desired information using a plurality of information acquisition means. However, the technique about how a user effectively uses a plurality of information means, such as which camera and which microphone can obtain desired information, is not sufficient. There is a problem that the user cannot easily acquire necessary information because of a large amount of information that can be acquired.
また、カメラやマイクを搭載した移動機能を有するロボットを動作させて所望の情報を得る技術も存在する。しかし、上記同様、ロボットを動作させて所望の情報を得るための技術が十分でないという問題があった。そこで、移動するカメラを用いた情報の取得を支援するために、複数の画面を利用して、仮想空間内での視界の範囲示す補助的情報を表示する技術が開示されている(例えば、特許文献1)。 There is also a technique for obtaining desired information by operating a robot having a moving function equipped with a camera and a microphone. However, as described above, there is a problem that the technique for obtaining desired information by operating the robot is not sufficient. Therefore, in order to support the acquisition of information using a moving camera, a technique for displaying auxiliary information indicating the range of field of view in a virtual space using a plurality of screens is disclosed (for example, patents). Reference 1).
しかし、上記特許文献1は、仮想空間内での動作を対象としているため、実際の空間で撮影した映像に情報を付加するものではない。また、表示画面に一律に補助的情報が表示されるため、ユーザが所望する情報の性質によっては補助的情報が不十分となるという問題があった。
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、ユーザが所望する対象物の情報に応じて、ユーザ操作を支援するための補助的情報を実空間の映像に重畳することが可能な、新規かつ改良された表示制御装置および表示制御方法を提供することにある。
However, since the above-mentioned
Therefore, the present invention has been made in view of the above problems, and an object of the present invention is to implement auxiliary information for assisting user operations in accordance with information on an object desired by the user. It is an object of the present invention to provide a new and improved display control apparatus and display control method that can be superimposed on a space image.
上記課題を解決するために、本発明のある観点によれば、撮像装置により撮像された全体映像を取得する全体映像取得部と、ユーザ操作に応じて、複数の対象物からユーザが興味のある対象物を指定する対象物指定部と、対象物指定部により指定された対象物に関する対象物情報を取得する対象物情報取得部と、対象物情報取得部により取得された対象物の対象物情報に基づいて、対象物の周辺情報を取得するための補助情報を、全体画像取得部により取得された全体画像に重畳する補助情報表示部と、を備える、表示制御装置が提供される。 In order to solve the above-described problem, according to an aspect of the present invention, an entire image acquisition unit that acquires an entire image captured by an imaging device, and a user is interested from a plurality of objects according to a user operation Object specifying unit for specifying an object, object information acquiring unit for acquiring object information related to the object specified by the object specifying unit, and object information of the object acquired by the object information acquiring unit A display control device is provided that includes an auxiliary information display unit that superimposes auxiliary information for acquiring peripheral information on an object on the entire image acquired by the entire image acquisition unit.
かかる構成によれば、全体映像を取得して、ユーザ操作により指定された一の対象物を指定し、該対象物に関する情報に基づいて全体映像に補助情報を重畳する。これにより、ユーザが所望する対象物の情報に応じて、ユーザ操作を支援するための補助的情報を実空間の映像に重畳することが可能となり、ユーザ操作による選択可能な位置や指示方向等多様な利用法を提示することが可能となる。 According to such a configuration, the entire image is acquired, one object specified by the user operation is specified, and auxiliary information is superimposed on the entire image based on the information related to the object. This makes it possible to superimpose auxiliary information for assisting the user operation on the real space image according to the information of the object desired by the user, and there are various positions such as selectable positions and instruction directions by the user operation. It is possible to present various usages.
また、撮像装置とは別の対象物の周辺に位置する撮像装置により撮像された対象物の周辺映像を取得する周辺映像取得部を備えてもよい。 Moreover, you may provide the periphery image | video acquisition part which acquires the periphery image | video of the target object imaged by the imaging device located in the periphery of the target object different from an imaging device.
周辺映像取得部は、ユーザ操作に応じて、全体映像に重畳された補助情報を利用して選択された選択範囲内を撮像可能な撮像装置により撮像された対象物の周辺映像を取得してもよい。 The peripheral video acquisition unit may acquire a peripheral video of an object captured by an imaging device capable of imaging the selected range selected using auxiliary information superimposed on the entire video in response to a user operation. Good.
対象物情報取得部は、全体映像取得部により取得された全体映像に含まれる対象物の映像をもとに、対象物の位置情報、方向、大きさを含む対象物情報を取得してもよい。 The object information acquisition unit may acquire the object information including the position information, the direction, and the size of the object based on the image of the object included in the entire image acquired by the entire image acquisition unit. .
また、補助情報表示部は、対象物の位置情報、方向、大きさに応じて、全体画像に重畳する補助情報の種類を決定してもよい。 The auxiliary information display unit may determine the type of auxiliary information to be superimposed on the entire image according to the position information, direction, and size of the object.
また、補助情報表示部は、補助情報として、全体画像に矩形の格子を重畳してもよい。補助情報表示部は、補助情報として、全体画像に対象物を中心とする同心円状の格子を重畳してもよい。 The auxiliary information display unit may superimpose a rectangular grid on the entire image as auxiliary information. The auxiliary information display unit may superimpose a concentric grid centered on the object on the entire image as auxiliary information.
また、対象物に対応する補助情報の種類を記憶する補助情報記憶部を備え、対象物情報取得部は、対象物指定部により指定されたユーザが興味のある対象物に対応する補助情報の種類を補助情報記憶部から取得してもよい。 In addition, an auxiliary information storage unit that stores the type of auxiliary information corresponding to the target is provided, and the target information acquisition unit is a type of auxiliary information corresponding to the target that the user specified by the target specifying unit is interested in. May be acquired from the auxiliary information storage unit.
また、補助情報表示部は、ユーザ操作に応じて、補助情報の種類を選択して、全体画像に補助情報を重畳してもよい。 The auxiliary information display unit may select the type of auxiliary information in accordance with a user operation and superimpose the auxiliary information on the entire image.
また、対象物の位置と方向とIDを配信可能なマーカが対象物に配置され、対象物情報取得部は、マーカから配信される対象物の情報をもとに、対象物の位置および方向を取得してもよい。 In addition, a marker capable of distributing the position, direction, and ID of the target object is arranged on the target object, and the target object information acquisition unit determines the position and direction of the target object based on the information of the target object distributed from the marker. You may get it.
また、周辺映像取得部は、移動可能な移動体に備えられた撮像装置により撮像された対象物の周辺映像を取得してもよい。 The peripheral video acquisition unit may acquire a peripheral video of the object imaged by an imaging device provided in a movable body that can be moved.
また、移動体の操作を制御する操作制御部を備え、操作制御部は、ユーザ操作に応じて、全体映像に重畳された補助情報を利用して選択された選択範囲が示す位置に移動体を移動させてもよい。 In addition, an operation control unit that controls the operation of the moving object is provided, and the operation control unit moves the moving object to a position indicated by the selection range selected using the auxiliary information superimposed on the entire video according to the user operation. It may be moved.
また、補助情報表示部は、移動体と対象物指定部により指定された対象物との配置関係に応じて補助情報の表示を変更してもよい。 The auxiliary information display unit may change the display of the auxiliary information according to the arrangement relationship between the moving object and the object specified by the object specifying unit.
また、上記課題を解決するために、本発明の別の観点によれば、撮像装置により撮像された全体映像に所定の補助情報を重畳する表示制御方法であって、撮像装置により撮像された全体映像を取得するステップと、ユーザ操作に応じて、複数の対象物からユーザが興味のある対象物を指定するステップと、指定された対象物に関する対象物情報を取得するステップと、取得された対象物の対象物情報に基づいて、対象物の周辺情報を取得するための補助情報を、全体画像取得部により取得された全体画像に重畳するステップと、を含むことを特徴とする、表示制御方法が提供される。 In order to solve the above-mentioned problem, according to another aspect of the present invention, there is provided a display control method for superimposing predetermined auxiliary information on an entire video imaged by an imaging device, the entire image captured by the imaging device. A step of acquiring an image, a step of specifying an object of interest from a plurality of objects in response to a user operation, a step of acquiring object information relating to the specified object, and an acquired object Superimposing auxiliary information for acquiring peripheral information of the object on the entire image acquired by the entire image acquisition unit based on the object information of the object, Is provided.
以上説明したように本発明によれば、ユーザが所望する対象物の情報に応じて、ユーザ操作を支援するための補助的情報を実空間の映像に重畳することができる。 As described above, according to the present invention, auxiliary information for assisting a user operation can be superimposed on an image in real space in accordance with information on an object desired by the user.
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。 Exemplary embodiments of the present invention will be described below in detail with reference to the accompanying drawings. In addition, in this specification and drawing, about the component which has the substantially same function structure, duplication description is abbreviate | omitted by attaching | subjecting the same code | symbol.
また、以下に示す順序に従って、当該「発明を実施するための形態」を説明する。
〔1〕本実施形態の目的
〔2〕第1の実施形態
〔2−1〕表示制御装置の機能構成
〔2−2〕表示制御処理の詳細
〔3〕第2の実施形態
〔3−1〕表示制御装置の機能構成
〔3−2〕表示制御処理の詳細
Further, the “detailed description of the embodiments” will be described in the order shown below.
[1] Purpose of this embodiment [2] First embodiment [2-1] Functional configuration of display control device [2-2] Details of display control processing [3] Second embodiment [3-1] Functional configuration of display control device [3-2] Details of display control processing
〔1〕本実施形態の目的
まず、本実施形態の目的について説明する。最近では、カメラやマイクなどが技術の進歩によって安価になり利用しやすくなったことに伴い、複数のカメラやマイクをオフィス空間内に配置し、オフィス内でのコミュニケーション支援や監視などに用いたりすることがある。複数のカメラやマイクが配置されている場合、ユーザは複数の情報取得手段を用いて所望の情報を得る必要がある。しかし、どのカメラとどのマイクから情報を取得すれば所望の情報を得ることができるかなど、複数の情報手段をユーザが有効利用する方法についての技術は十分ではない。ユーザは、取得できる情報が大量であるが故に、必要となる情報を容易に取得することができないという問題があった。
[1] Purpose of this Embodiment First, the purpose of this embodiment will be described. Recently, as cameras and microphones become cheaper and easier to use due to technological advances, multiple cameras and microphones are placed in the office space and used for communication support and monitoring in the office. Sometimes. When a plurality of cameras and microphones are arranged, the user needs to obtain desired information using a plurality of information acquisition means. However, the technique about how a user effectively uses a plurality of information means, such as which camera and which microphone can obtain desired information, is not sufficient. There is a problem that the user cannot easily acquire necessary information because of a large amount of information that can be acquired.
また、カメラやマイクを搭載した移動機能を有するロボットを動作させて所望の情報を得る技術も存在する。しかし、上記同様、ロボットを動作させて所望の情報を得るための技術が十分でないという問題があった。そこで、移動するカメラを用いた情報の取得を支援するために、複数の画面を利用して、仮想空間内での視界の範囲示す補助的情報を表示する技術が開示されている。しかし、当該技術は、仮想空間内での動作を対象としているため、実際の空間で撮影した映像に情報を付加するものではない。また、表示画面に一律に補助的情報が表示されるため、ユーザが所望する情報の性質によっては補助的情報が不十分となるという問題があった。 There is also a technique for obtaining desired information by operating a robot having a moving function equipped with a camera and a microphone. However, as described above, there is a problem that the technique for obtaining desired information by operating the robot is not sufficient. Therefore, in order to support the acquisition of information using a moving camera, a technique for displaying auxiliary information indicating the range of field of view in a virtual space using a plurality of screens is disclosed. However, since the technique is intended for operation in a virtual space, it does not add information to video captured in an actual space. In addition, since the auxiliary information is uniformly displayed on the display screen, there is a problem that the auxiliary information becomes insufficient depending on the nature of the information desired by the user.
そこで、上記のような事情を一着眼点として、本発明の実施形態にかかる表示制御装置100が創作されるに至った。本実施形態にかかる表示制御装置100によれば、ユーザが所望する対象物の情報に応じて、ユーザ操作を支援するための補助的情報を実空間の映像に重畳することが可能となる。
Therefore, the
〔2〕第1の実施形態
以上、本発明の実施形態の目的について説明した。次に、図1を参照して、本実施形態にかかる表示制御装置100の機能構成について説明する。なお、表示制御装置100の機能構成を説明するに際し、適宜、図2〜4を参照する。表示制御装置100としては、例えば、パーソナルコンピュータ等のコンピュータ装置(ノート型、デスクトップ型を問わない。)を例示できるが、かかる例に限定されず、携帯電話やPDA(Personal Digital Assistant)などで構成してもよい。
[2] First Embodiment The object of the embodiment of the present invention has been described above. Next, a functional configuration of the
〔2−1〕表示制御装置の機能構成
図1の機能構成を説明する前に、表示制御装置100のハードウェア構成の一例について説明する。表示制御装置100は、例えば、CPU(Central Processing Unit)と、ROM(Read Only Memory)と、RAM(Random Access Memory)と、入力装置と、出力装置と、ストレージ装置(HDD)などを備える。
[2-1] Functional Configuration of Display Control Device Before describing the functional configuration of FIG. 1, an example of a hardware configuration of the
CPUは、演算処理装置および制御装置として機能し、各種プログラムに従って表示制御装置100の動作全般を制御する。また、CPUは、マイクロプロセッサであってもよい。ROMは、CPUが使用するプログラムや演算パラメータ等を記憶する。RAMは、CPUの実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一次記憶する。これらはCPUバスなどから構成されるホストバスにより相互に接続されている。
The CPU functions as an arithmetic processing device and a control device, and controls the overall operation of the
入力装置は、例えば、マウス、キーボード、タッチパネル、ボタン、マイク、スイッチおよびレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、CPUに出力する入力制御回路などから構成されている。 The input device includes, for example, an input means for a user to input information, such as a mouse, keyboard, touch panel, button, microphone, switch, and lever, and input control that generates an input signal based on the input by the user and outputs the input signal to the CPU. It consists of a circuit.
出力装置は、例えば、CRT(Cathode Ray Tube)ディスプレイ装置、液晶ディスプレイ(LCD)装置、OLED(Organic Light Emitting Display)装置およびランプなどの表示装置と、スピーカおよびヘッドホンなどの音声出力装置で構成される。 The output device includes, for example, a display device such as a CRT (Cathode Ray Tube) display device, a liquid crystal display (LCD) device, an OLED (Organic Light Emitting Display) device and a lamp, and an audio output device such as a speaker and headphones. .
ストレージ装置は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含むことができる。ストレージ装置は、例えば、HDD(Hard Disk Drive)で構成される。このストレージ装置は、ハードディスクを駆動し、CPUが実行するプログラムや各種データを格納する。 The storage device can include a storage medium, a recording device that records data on the storage medium, a reading device that reads data from the storage medium, a deletion device that deletes data recorded on the storage medium, and the like. The storage device is composed of, for example, an HDD (Hard Disk Drive). This storage device drives a hard disk and stores programs executed by the CPU and various data.
以上、表示制御装置100のハードウェア構成について説明した。次に、図1を参照して、表示制御装置100の機能構成について説明する。図1に示したように、表示制御装置100は、映像表示部101、操作補助情報表示部102、操作部103、操作指令部104、興味対象選択部105、画音取得部106、画音提示部107、全体映像取得部108、興味対象検出部109、興味対象情報取得部110、興味対象データベース111などを備える。
The hardware configuration of the
ここで、図2および図3を参照して、表示制御装置100を用いて実現される表示制御システムの実現イメージについて説明する。図2および図3は、表示制御装置100を用いて実現される表示制御システムの実現イメージについて説明する説明図である。図2に示したように、オフィスなどの空間の天井に複数台の全方向カメラ(10〜12)やマイク(1〜9)が設置されている。また、大域的にオフィスの全体映像を撮像するカメラ20が全方向カメラ(10〜12)やマイク(1〜9)よりさらに高所に設置されている。なお、全方向カメラは、図2に示したように3台とは限られず、マイクと同数の数を設置するようにしてもよい。このように、全体映像を撮像するカメラとその他の複数のカメラ等を設置することにより、オフィス内での撮像対象の位置を把握でき、かつ、撮像対象の詳細情報を取得することが可能となる。
Here, with reference to FIG. 2 and FIG. 3, the implementation image of the display control system implement | achieved using the
また、図3は、表示制御システム1を利用するユーザが利用する端末150のイメージである。端末150は、例えば、ディスプレイ151とスピーカ152などから構成される。ディスプレイ151により映像が提示され、スピーカ152により音声が提示される。また、ユーザが端末150に備わる操作部を操作することにより、ディスプレイ151の表示やスピーカ152からの音声が変化する。例えば、ユーザは、タッチパネルなどにより構成される操作部を操作することにより、図2に示したオフィス内の対象物の周囲の映像や音声等を、ディスプレイ151を介して提示させることが可能となる。
FIG. 3 is an image of the terminal 150 used by a user who uses the
図1に戻り、表示制御装置100の機能構成の説明を続ける。映像表示部101は、上記ディスプレイ151により構成され、大域的な全体映像を撮像するカメラ(カメラ20)やその他のカメラ等により撮像された映像を表示する機能を有する。大域的な全体映像は、後述する全体映像取得部108により取得される。大域的な全体映像以外の対象物の周辺映像は、後述する画音取得部106により取得される。
Returning to FIG. 1, the description of the functional configuration of the
図4に、全体映像取得部108により取得されて、映像表示部101に表示される大域的な全体映像の表示例を示した。図4に示したように、映像表示部101に表示される大域的な全体映像401には、撮像対象41や撮像対象42などが俯瞰的に表示される。また、映像表示部101は、操作補助情報表示部102を含んで構成されている。操作補助情報表示部102は、対象物の対象物情報に基づいて、対象物の周辺情報を取得するための補助情報を、全体画像に重畳する。
FIG. 4 shows a display example of a global overall video acquired by the overall
ここで、対象物とは、ユーザの興味対象となるものである。対象物の対象物情報とは、対象物の位置や姿勢、大きさなどの情報である。対象物の位置や姿勢、大きさなどの情報は、後述する興味対象検出部109により検出される。対象物の周辺情報を取得するための補助情報とは、全体映像に含まれる対象物の情報を容易に取得可能とするための情報であって、例えば、矩形の格子や同心円状の格子などを例示できる。全体映像に矩形の格子や同心円状の格子などを重畳表示し、ユーザがその補助情報に対する操作を行うことで、間接的にカメラ等の撮像装置を操作して対象物の所望の情報を容易に得ることが可能となる。操作補助情報表示部102は、本発明の補助情報表示部の一例である。
Here, the object is an object of interest of the user. The object information of the object is information such as the position, posture, and size of the object. Information such as the position, orientation, and size of the object is detected by an interest
また、対象物に対応する補助情報の種類は、後述する興味対象データベース111に記憶されている。この場合、操作補助情報表示部102は、興味対象情報取得部110を介して取得された対象物に対応する補助情報の種類等に基づいて補助情報を表示する。また、操作補助情報表示部102は、ユーザ操作に応じて、補助情報の種類を選択するようにしてもよい。
Also, the type of auxiliary information corresponding to the object is stored in the
操作部103は、上記した入力装置により構成され、ユーザの操作を受け付ける機能を有する。操作部103は、少なくとも操作指令部104および興味対象選択部105を含んで構成される。具体的には、映像表示部101のディスプレイ上のタッチパネルとして実現されてもよい。また、ジョイスティックやマウス等通常のポインティングデバイスなどを用いて実現されてもよい。
The
操作指令部104は、ユーザにより行われた操作指令を画音取得部106に通知して、映像や音声の取得の方法を変更する。また、興味対象選択部105は、ユーザ操作に応じて、所定範囲に含まれる複数の対象物から一の対象物を指定する機能を有する。所定範囲とは、例えば、映像表示部101に表示されている範囲である。また、複数の対象物から指定された一の対象物は、ユーザの興味のある対象物である。また、ユーザ操作により選択された対象物の情報を興味対象検出部109に通知する。興味対象選択部105は、本発明の対象物指定部の一例である。
The
操作部103が映像表示部101上のタッチパネルとして実現されている場合には、ユーザが映像表示部101に表示されている興味ある対象物を直接指示して指定することができる。また、ユーザが興味を持っている対象物は、IDで管理されて興味対象データベース111に記録されていてもよい。この場合、興味対象選択部105は、ユーザにより選択された興味対象の対象物IDを興味対象情報取得部110に通知する。興味対象の対象物IDは、後述する興味対象検出部109により取得される情報である。対象物IDについては、後で詳細に説明する。
When the
画音取得部106は、対象物の周辺に位置するマイク(マイク1〜9)やカメラ(カメラ10〜13)等の撮像装置により撮像された対象物の周辺映像を取得する機能を有する。対象物の周辺に位置するマイクやカメラ等は少なくとも1台以上の撮像装置などから構成される。画音取得部106は、操作指令部104からの指令に基づいて、カメラ等により撮像された映像や音声の送信の方法を変更することができる。具体的には、複数台あるマイクやカメラのなかから、映像を取得するカメラや音声を送信するマイクを選択したり、選択されているマイクの指向性を変更したりする。画音取得部106は、本発明の周辺映像取得部の一例である。
The image /
画音提示部107は、上記した出力装置により構成され、少なくとも映像や音声を提示する機能を有する。具体的には、例えば映像提示機能はディスプレイとして実現され、音声提示機能はスピーカ等を用いて実現される。画音提示部107は、画音取得部106から送信される映像や音声を適宜表示する。
The image /
全体映像取得部108は、撮像装置により撮像された所定範囲の大域的な全体映像を取得する機能を有する。全体映像取得部108は、例えば、図2に示した天井俯瞰カメラ20により撮像された映像を取得する。全体映像取得部108は取得した全体映像を映像表示部101に提供する。
The overall
興味対象検出部109は、興味対象選択部105からの指定に基づいて、指定されたユーザの興味がある対象物の情報を取得する機能を有する。例えば、全体映像取得部108により取得された大域的な映像に対して、画像認識処理を行い、映像内において対象物がどこに位置しているのか、どのような姿勢をとっているのか、どの程度の大きさで表示されているかなどを取得する。
The interest
例えば、ユーザの興味がある対象物が非特許文献2に示されるようなマーカを備えているとする。この場合、マーカの枠によって画面内の位置や方向を検出でき、マーカ内のパターンによって対象物の種類を検出することが可能となる。対象物の種類とは、上記した対象物IDなどである。マーカによる位置、方向、対象物のパターンの取得方法については、非特許文献2や特許文献2に開示されているため、詳細な説明は省略する。
(非特許文献1)
Kato, H. Billinghurst, M. (1999)
Marker Tracking and HMD Calibration for a video-based Augmented Reality Conferencing System, In Proceedings of the 2nd International Workshop on Augumented Reality (IWAR 99). October, San Francisco, USA.
(特許文献2)
特開2000−322602
For example, it is assumed that an object in which the user is interested has a marker as shown in
(Non-Patent Document 1)
Kato, H. Billinghurst, M. (1999)
Marker Tracking and HMD Calibration for a video-based Augmented Reality Conferencing System, In Proceedings of the 2nd International Workshop on Augumented Reality (IWAR 99). October, San Francisco, USA.
(Patent Document 2)
JP2000-322602A
興味対象情報取得部110は、興味対象選択部105により通知された対象物IDを用いて興味対象データベース111を検索して、撮像対象となる対象物の情報を取得する。興味対象情報取得部110により取得される対象物の情報は、例えば、対象物の周辺情報を取得するための補助情報に関する情報であり、例えば、全体映像に重畳する格子の形状や格子の大きさや格子の個数などである。興味対象検出部109および興味対象情報取得部110は、本発明の対象物情報取得部の一例である。すなわち、興味対象検出部109では、対象物の位置や方向などの物理的な情報が検出され、興味対象情報取得部110では、対象物に応じた補助情報の種類や格子の個数などが取得される。
The interest object
興味対象データベース111には、例えば、対象物IDと補助情報の種類や基本サイズなどが関連付けて記憶されている。対象物IDは、上記したように、対象物を識別するIDであり、補助情報の種類は、上記したように、矩形格子または同心円状格子などが挙げられる。基本サイズは、補助情報を表示するために必要となる対象物の基本的な大きさを示すものである。興味対象情報取得部110は、操作補助情報表示部102に興味対象データベース111から取得した対象物に関する情報を提供する。
In the
〔2−2〕表示制御処理の詳細
以上、表示制御装置100の機能構成について説明した。次に、表示制御装置100における表示制御処理の詳細について説明する。なお、表示制御処理の詳細を説明するに際して、適宜、図6および図8を参照する。図5は、表示制御装置100における表示制御処理の詳細を示したフローチャートである。
[2-2] Details of Display Control Processing The functional configuration of the
図5に示したように、まず、ユーザがターゲットを選択する(S102)。ステップS102において、ユーザがターゲットを選択する際には、映像表示部101に、大域的な全体映像が表示されているものとする。また、大域的な全体映像には、複数の撮像の対象となる対象物が含まれている。また、ステップS102において選択されるターゲットとは、ユーザの興味のある対象物である。興味対象選択部105は、ユーザ操作より選択されたターゲットを選択する。
As shown in FIG. 5, first, the user selects a target (S102). In step S102, when the user selects a target, it is assumed that a global entire video is displayed on the
そして、興味対象情報取得部110は、ステップS102において選択されたターゲットの種類から興味対象データベース111を検索する(S104)。ターゲットの種類とは、ターゲットの対象物IDである。上記したように、興味対象検出部109は、対象物に備えられたマーカの枠やパターンによって対象物IDを検出される。興味対象情報取得部110は、ステップS102において選択された対象物に対応する対象物IDを興味対象検出部109から受け取ることとなる。
Then, the interest object
次に、興味対象情報取得部110は、興味対象データベース111から対象物に関する情報を取得する(S106)。ステップS106において興味対象情報取得部110により取得される対象物に関する情報は、対象物に応じた補助情報の種類である。具体的には、補助情報として全体映像に重畳する格子の種類や格子の個数などである。
Next, the interest object
そして、興味対象検出部109は、全体映像取得部108によって取得される映像に画像認識処理を行って、ターゲットの位置や方向や大きさを取得し、操作補助情報表示部102にそれらを取得した旨を通知する(S108)。
Then, the
操作部103は、前回のユーザ操作に応じた指定から補助情報の変更指示があったか、初回の補助情報の指定か否かを判定する(S110)。ここで、補助情報の変更指示とは、表示されている格子の変更指示である。ステップS110において、補助情報の変更指示があったか、初回の補助情報の指定であった場合には、補助情報の指定を行う(S112)。ステップS112においては、初回の補助情報の指定であった場合には、デフォルトとして設定している値が指定される。ここでは、例えば、デフォルトとして矩形格子が設定されている。また、矩形格子以外に同心円状の格子が設定されていてもよい。
The
そして、操作補助情報表示部102は、ステップS108において取得されたターゲットの位置、方向、大きさを利用して補助情報として全体映像に仮想的な矩形格子を重畳して表示する(S114)。ステップS114においては、ターゲットの位置、方向、大きさに応じた補助情報が表示される。例えば、ターゲットの位置の近傍にのみ補助情報を表示したり、ターゲットの大きさに応じて矩形格子の大きさを変更したりしてもよい。
Then, the auxiliary operation
ここで、図6および図7を参照して、全体映像に重畳される補助情報の表示例について説明する。図6および図7は、補助情報の表示例について説明する説明図である。図6に示したように、表示例402には、ターゲット41およびターゲット42が表示されている。ユーザ操作に応じて、ターゲット41が指定されると、ターゲット41の周囲に補助情報43が全体映像に重畳して表示される。補助情報42は、矩形格子であり、ユーザが興味を持っているターゲット41の周囲を選択しやすくするための情報である。補助情報42は、ターゲット41の所定の範囲に表示され、ターゲット41の大きさに応じた格子の大きさで表示される。
Here, with reference to FIG. 6 and FIG. 7, a display example of the auxiliary information superimposed on the entire video will be described. 6 and 7 are explanatory diagrams for explaining examples of displaying auxiliary information. As shown in FIG. 6, the
図5に戻り、ユーザにより矩形等で表示された補助情報の所定の領域(要素)が選択される(S116)。ここで、図6を参照して、ユーザにより補助情報の所定の領域が選択された場合について説明する。図6の表示例404に示したように、ユーザにより、矩形格子の補助情報42の一つである領域44が選択される。領域44が選択されることにより、ユーザにより、ターゲット41の右斜め下側からの映像や音声を取得するという操作が指示されたこととなる。
Returning to FIG. 5, a predetermined area (element) of auxiliary information displayed in a rectangle or the like is selected by the user (S116). Here, a case where a predetermined area of auxiliary information is selected by the user will be described with reference to FIG. As shown in the display example 404 in FIG. 6, the user selects the
ここで、ステップS112において、補助情報として同心円状の格子が指定された場合について説明する。図7に示したように、ステップS112において、補助情報同心円状の格子が指定された場合には、ターゲットの中心に同心円状の格子が表示されることとなる。表示例501に示したように、ユーザによりターゲット52が選択されると、ターゲット52を中心として同心円状の格子が全体映像に重畳して表示される。そして、表示例502に示したように、ユーザにより同心円状の格子のうち、領域54が選択される。領域54が選択されると、矩形格子の領域が選択される場合に比して、映像や音声を取得する方向をより明確にすることが可能となる。なお、同心円状の格子とは、例えば、複数の同心円をn等分割(nは2以上の整数)することにより形成される格子のことをくものとする。
Here, a case where a concentric lattice is designated as auxiliary information in step S112 will be described. As shown in FIG. 7, when the auxiliary information concentric lattice is designated in step S112, the concentric lattice is displayed at the center of the target. As shown in the display example 501, when the user selects the
ステップS116において選択された領域(要素)から、操作指令部104は、画音取得部106に対して、取得するべき音声および映像を指示する(S118)。ステップS118において、操作指令部105に指示された画音取得部106は、マイクやカメラ等の画音取得装置を変更することにより、ユーザ所望の音声や映像を取得する。
From the region (element) selected in step S116, the
例えば、図2に示した番号の位置に存在するマイクやカメラをM1、C4などのようにそれぞれ表現したとする。この場合、ユーザにより選択されたターゲットの位置との空間上の距離が最小になるカメラ、スピーカM1、C6が選択される。ターゲットの位置との空間上の距離は、例えばユークリッド距離などで表される。このように選択されたマイクやカメラ等の装置を利用して、ターゲットの近傍の情報を取得することが可能となる。 For example, it is assumed that microphones and cameras existing at the positions of the numbers shown in FIG. 2 are represented as M1, C4, and the like. In this case, a camera and speakers M1 and C6 that have a minimum spatial distance from the target position selected by the user are selected. The distance in space with the target position is expressed by, for example, the Euclidean distance. It is possible to acquire information in the vicinity of the target by using a device such as a microphone or a camera selected in this way.
そして、画音提示部107は、ステップS118において画音取得部106により取得された音声および映像を提示する(S120)。ステップS120においては、複数のターゲットを含む全体映像の表示画面が、ユーザにより選択された1つのターゲットの詳細が確認可能な映像に変更される。次に、ユーザ操作により終了指示があったか否かを判定する(S122)。ステップS122において、終了指示があった場合には処理を終了する。
Then, the image /
ステップS122において、終了指示がなかった場合には、ユーザ操作によりターゲットの変更指示があったか否かを判定する(S124)。ステップS124において、ターゲットの変更指示があった場合には、ステップS102からの処理を繰り返す。ステップS124において、ターゲットの変更指示がなかった場合には、ステップS108からの処理を繰り返す。 If there is no termination instruction in step S122, it is determined whether or not a target change instruction has been issued by a user operation (S124). If there is a target change instruction in step S124, the processing from step S102 is repeated. If there is no instruction for changing the target in step S124, the processing from step S108 is repeated.
本実施形態にかかる表示制御処理によれば、ユーザ操作に応じて、ユーザが興味を持つ対象物を指定して、その対象物の形や大きさ等の性質に応じたユーザ操作を補助する映像を提示する。ユーザは、提示された補助情報を利用して操作し、容易に必要な映像や音声を取得することが可能となる。これにより、全体映像に含まれるターゲットの位置のみを指定する場合よりも柔軟な選択が可能である。また、補助情報の種類を対象物に応じて、またユーザ操作に応じて変更することにより、選択可能な位置や指示方向等多様な利用法を提示することが可能となる。 According to the display control processing according to the present embodiment, in accordance with a user operation, an image that specifies an object that the user is interested in and assists the user operation in accordance with properties such as the shape and size of the object. Present. The user can easily obtain necessary video and audio by operating using the presented auxiliary information. Thereby, more flexible selection is possible than when only the position of the target included in the entire video is designated. Further, by changing the type of auxiliary information according to the object and according to the user operation, various usage methods such as selectable positions and instruction directions can be presented.
〔3〕第2の実施形態
以上、第1の実施形態について説明した。次に、本発明にかかる第2の実施形態について説明する。第1の実施形態では、カメラやマイク等の複数の画音取得装置が設置されていたが、これらの画音取得装置は固定されて配置されていた。そのため、個々の画音取得装置の情報取得可能範囲によって、取得可能な映像や音声の情報に制限がかかってしまうという問題があった。そこで、本実施形態では、画音取得装置を、移動機能を有する移動体(ロボット)として構成することにより、第1実施形態と比して自由度の大きい映像や音声を取得することを可能とした。
[3] Second Embodiment The first embodiment has been described above. Next, a second embodiment according to the present invention will be described. In the first embodiment, a plurality of image acquisition devices such as a camera and a microphone are installed, but these image acquisition devices are fixedly arranged. For this reason, there is a problem in that the information of video and audio that can be acquired is limited depending on the information acquisition range of each image and sound acquisition device. Therefore, in the present embodiment, by configuring the image / acquisition acquisition device as a moving body (robot) having a moving function, it is possible to acquire video and audio with a greater degree of freedom compared to the first embodiment. did.
さらに、本実施形態では、第1の実施形態で利用したインタフェースの機能が拡張され、ロボットカメラの視点の変更および移動を支援する。また、ロボットの位置と、ユーザの興味の対象物との距離や位置関係によって、ユーザに提示される補助情報が変更されることにより、より柔軟な操作を可能とした。本実施形態において、該ロボットは、画音取得機能のみにとどまらず、ユーザに何らかの情報を提示する機能を持たせることにより、ユーザが所定の空間に働きかけることを可能とした。 Furthermore, in this embodiment, the function of the interface used in the first embodiment is extended to support the change and movement of the viewpoint of the robot camera. Further, the auxiliary information presented to the user is changed depending on the distance and positional relationship between the position of the robot and the object of interest of the user, thereby enabling more flexible operation. In the present embodiment, the robot allows the user to work on a predetermined space by providing a function for presenting some information to the user as well as the image / sound acquisition function.
〔3−1〕表示制御装置の機能構成
図8を参照して、本実施形態にかかる表示制御装置200の機能構成について説明する。以下では、第1実施形態と異なる構成について特に詳細に説明し、第1実施形態と同様の構成については詳細な説明を省略する。図8に示したように、本実施形態にかかる表示制御装置200は、ロボット(図示せず)を制御するロボット制御部901を備える点で第1実施形態と大きく異なっている。ロボット制御部901は、本発明の操作制御部の一例である。
[3-1] Functional Configuration of Display Control Device The functional configuration of the
ここで、図9を参照してロボット制御部901により制御されるロボットの外形について説明する。図9は、ロボットの外形のイメージについて説明する説明図である。図9に示したように、ロボット90は、移動可能な動作体91を有し、映像や音声を取得する画音取得装置92や情報提示装置93を有して構成される。ロボット90の動作体91には、あらゆる方向に動作可能とする全方向車輪が備えられていてもよい。また、画音取得装置92は、姿勢やズームを変更可能なカメラであってもよい。情報提示装置93は、例えば、静止画や動画を表示可能なディスプレイであってもよい。
Here, the outline of the robot controlled by the
図8に戻り、ロボット制御部901の機能構成について説明する。ロボット制御部901は、画音取得部902と、動作部903と、情報提示部904となどを備える。画音取得部902は、ロボット制御部901の指示のもと、動作体91に備えられたカメラ等の撮像装置(画音取得装置92)により撮像された対象物(ユーザの興味対象物)の周辺映像を取得する機能を有する。
Returning to FIG. 8, the functional configuration of the
動作部903は、ロボット制御部901の指示のもと、ロボット90の動作体91を指示された位置や方向に移動させる機能を有する。情報提示部904は、ロボット制御部901の指示のもと、ロボットに搭載されたディスプレイ、プロジェクタ、スピーカなどの情報提示装置による情報提示を制御する。情報提示部904は、予め設定されたコンテンツを提示させるようにしてもよいし、表示制御装置200とは別の他の装置から提供される映像や音声を取得して、ディスプレイ等に提示させるようにしてもよい。
The
ロボット位置取得部905は、空間内のロボット90の位置やロボット90の方向を取得する機能を有する。ロボット位置取得部905は、全体映像取得部108により提供される全体画像を画像認識処理等してロボット90の位置(例えば、座標)や方向を取得するようにしてもよい。また、ロボット90の位置する空間内に配置されたセンサの情報を統合して、ロボット90の画面内での位置や方向を取得するようにしてもよい。ロボット位置取得部905は、操作補助情報表示部906を介して、映像表示部101にロボット90の位置や方向を通知する。
The robot
〔3−2〕表示制御処理の詳細
以上、本実施形態にかかる表示制御装置200の機能構成について説明した。次に、図10を参照して、表示制御装置200における表示制御処理の詳細について説明する。図10は、表示制御装置200における表示制御処理の詳細を示すフローチャートである。本実施形態にかかる表示制御処理についても、第1実施形態と異なる処理について特に説明し、第1実施形態と同様の処理についての詳細は省略する。
[3-2] Details of Display Control Processing The functional configuration of the
ステップS202からステップS210までの処理は、第1実施形態のステップS102からステップS110までの処理と同様であるため、詳細な説明は省略する。ステップS210において、前回のユーザ操作に応じた指定から補助情報の変更指示がなかったり初回の補助情報の指定ではなかったりした場合、ロボット位置取得部905は、ロボット90の位置を取得して、操作補助情報表示部906に提供する(S214)。
Since the processing from step S202 to step S210 is the same as the processing from step S102 to step S110 of the first embodiment, detailed description thereof is omitted. In step S210, when there is no instruction to change auxiliary information from the designation according to the previous user operation or the designation of the first auxiliary information is not made, the robot
そして、操作補助情報表示部906は、ステップS214において取得されたロボット90の位置やステップS208において取得されたターゲットの位置、方向、大きさを利用して映像表示部101により表示されている全体画像内に補助情報を重畳して表示する(S216)。そして、ユーザにより、ステップS216において提示された補助情報の中から、所定の領域(要素)が選択される(S218)。ロボット制御部901は、ステップS218において選択された所定の領域(要素)にロボット90を移動させ、ロボット90の視線方向を変更する。
Then, the auxiliary operation
ここで、図11〜図14を参照して、ロボット90の移動について詳細に説明する。図11は、ロボット90の移動について説明する説明図である。図11においては、図2と同様の空間内で、ロボット90が空間内に配置された机上を移動できるものとして説明する。説明のため、机上の位置を2次元座標で表し、横軸をx、縦軸をyとする。ロボット90の位置も、必要であれば同一の2次元座標系で表されるものとする。
Here, the movement of the
図11に示したように、表示例601では、例えば、壁面にユーザが興味を持つ対象物となるポスターやプレゼンテーション等(ターゲット63)が存在し、その他にもターゲット61やターゲット62などが存在していたとする。ユーザ操作により壁面のターゲット63が選択されたとすると、表示例601のような矩形格子の補助情報が全体映像に重畳して表示される。
As shown in FIG. 11, in the display example 601, for example, there are posters, presentations, etc. (targets 63) that are objects of interest to the user on the wall surface, and there are also targets 61, 62, etc. Suppose that Assuming that the
その後、ユーザが表示例601内の領域を選択した場合には、表示例602に示したように、ユーザにより選択された領域64の表示が反転する。そして、選択された領域64の中心として表される座標位置にロボット90が移動する。例えば、表示例603に示したように、ロボット90が所望の位置に移動する。ロボット90の座標位置までの移動経路の生成や移動制御方法については、ロードマップ法等の既存の方法を利用することができる。
Thereafter, when the user selects an area in the display example 601, as shown in the display example 602, the display of the
次に図12を参照して、補助情報として同心円状の格子が重畳して表示される場合について説明する。図12の表示例701に示したように、全体映像内にターゲット71〜73が含まれており、ユーザが興味のある対象物としてターゲット71を選択したとする。例えば、ターゲット71が模型などのように、模型の周囲から観察することが必要な対象物であるとする。
Next, with reference to FIG. 12, a case where concentric grids are displayed as auxiliary information in a superimposed manner will be described. As shown in the display example 701 of FIG. 12, it is assumed that the
この場合、ターゲット71を中心として、同心円状の格子が全体映像に重畳して表示される。表示例701に示したように、補助情報として表示される同心円状の格子は、例えば、30度毎に一定半径ずつ選択可能な領域を提示するようにしてもよい。また、ターゲット71とロボット90との位置関係から、表示画面上におけるロボット90とターゲット71との角度を計算し、同心円状の格子の大きさや角度を変更するようにしてもよい。
In this case, a concentric lattice centering on the
例えば、ロボットが机上の2次元座標上r(Rx、Ry)に存在し、対象物がo(Ox,Oy)に存在するとする。この場合、「Rx−Ox、Ry−Oy」のarctanから角度θが算出される。そして、rおよびoがロボットが向く方向の基本軸となるように補助情報を−θ回転する。表示例702に示したように、ユーザ操作により、領域74が選択される。そして、表示例703に示したように、ロボット90がユーザ操作により選択された領域に移動する。このとき、ロボットの向きはターゲット71を向くように制御される。
For example, it is assumed that the robot is present on a two-dimensional coordinate r (Rx, Ry) on the desk and the object is present at o (Ox, Oy). In this case, the angle θ is calculated from the arctan “Rx−Ox, Ry−Oy”. Then, the auxiliary information is rotated by −θ so that r and o are the basic axes in the direction in which the robot faces. As shown in the display example 702, the
このように、矩形格子により補助情報が表示された場合には、ロボットの位置関係のみが変更されたが、同心円状の格子が補助情報として表示された場合には、ロボットの向くべき方向もユーザに直感的に示すことが可能となる。すなわち、円の中心がロボットの向く向きであるため、円形の対象物の後ろ側など、ユーザにとって取得したい対象物の周囲の情報を、位置を変えるだけでなく方向も変えて直感的に提示することが可能となる。また、例えば、ターゲットが人であった場合には、ターゲットとなる人の情報を取得する方向を変更するだけでなく、ロボット90に備わる情報提示装置93の向きを指定するようにしてもよい。
As described above, when the auxiliary information is displayed by the rectangular lattice, only the positional relationship of the robot is changed. However, when the concentric lattice is displayed as the auxiliary information, the direction in which the robot should face is also determined by the user. Can be intuitively shown. In other words, since the center of the circle is directed toward the robot, the information around the target object that the user wants to acquire, such as the back side of the circular target object, is intuitively presented not only by changing the position but also by changing the direction. It becomes possible. Further, for example, when the target is a person, not only the direction in which the information about the target person is acquired, but also the direction of the
さらに、図13に示したように、ロボット90とターゲットとの距離に応じて、ユーザにより選択可能な領域の大きさを変更するようにしてもよい。例えば、ユーザによりターゲット73が選択された場合には、ターゲット73の近傍ほど選択可能な領域を狭小にする。これにより、ユーザは、ターゲット73に近づくほど、より細かい調整をすることが可能となる。
Furthermore, as shown in FIG. 13, the size of the area selectable by the user may be changed according to the distance between the
また、図14に示したように、表示画面内のターゲットの大きさに応じて補助情報で表される選択可能な領域の大きさを変更するようにしてもよい。例えば、ターゲット75よりも小さいグリッドの矩形格子を表示して、ロボットが取得可能な情報の幅を示すようにしてもよい。また、ユーザにより一度画面表示内の領域の一つが選択された後は、ユーザがドラッグすることによりロボット90の位置を変更させるようにしてもよい。
Further, as shown in FIG. 14, the size of the selectable area represented by the auxiliary information may be changed according to the size of the target in the display screen. For example, a rectangular grid smaller than the
本実施形態においては、画音取得装置に移動機能を追加してロボット化することにより、より詳細な情報や、多くの情報を取得することができ、柔軟にユーザ所望の情報を取得することが可能となる。また、ロボットとターゲットとの関係に応じて提示される補助情報を変化させることが可能となるため、複雑な操作をせずとも詳細な情報を得ることができる。 In this embodiment, by adding a moving function to the image acquisition device and making it into a robot, more detailed information and more information can be acquired, and user-desired information can be acquired flexibly. It becomes possible. In addition, since it is possible to change the auxiliary information presented according to the relationship between the robot and the target, detailed information can be obtained without complicated operations.
ここで、図15および図16を参照して、第2実施形態においてロボット90を移動させる場合と、第2実施形態とは異なる方法によりロボット90を移動させる場合について比較する。図15は、ジョイスティック等の入力操作手段を用いてロボットを移動させる場合について説明する説明図である。
Here, with reference to FIG. 15 and FIG. 16, the case where the
図15に示したように、従来の入力操作手段を用いてロボット90を移動させる場合には、ユーザが、絶えずマニュアル操作によりロボットを動かして、ターゲットの所望の箇所を適切に撮影できるようにする必要がある。この場合、ユーザが所望の映像等を取得するために、細かい位置調整をしなければならない。さらに、ターゲットの所望の箇所を撮影できる位置に移動した後も、絶えずマニュアル動作でロボット90を移動させなければならない。
As shown in FIG. 15, when the
一方、第2実施形態によれば、ユーザは、所望の領域を選択するのみで、ロボット90をマニュアル動作で細かく移動させる必要はない。また、一度領域を選択してロボット90を移動させた後には、表示画面内のロボット90をドラッグする(又は、例えば手の指等でロボット90を画面上でタッチして選択し、画面上でなぞって移動する)ことにより細かい調整をすることが可能となる。
On the other hand, according to the second embodiment, the user only needs to select a desired region and does not need to move the
また、図16は、予め指定した教示点間を移動させるように構成されたロボット90を移動させる場合について説明する説明図である。図16に示したように、予め指定された登録点間を移動させる場合、例えば矢印R1に示すC−A間の移動と、矢印R2に示すA−B間の移動は可能であるとする。この場合、ロボット90を現在位置C点からターゲットに近い位置まで移動させるためには、まず、A点を指定して、その後B点を指定することによりロボット90をターゲットに近い位置まで移動させる必要がある。しかし、その後、細かく位置や向き等を調整する場合には、結局、図15に示した場合と同様にマニュアル動作をする必要がある。
FIG. 16 is an explanatory diagram for explaining a case where a
一方、第2実施形態によれば、ユーザは、矩形格子または同心円状で表された補助情報をガイドとして、所定の領域を選択するだけでロボット90を所望の位置や方向に容易に移動させることが可能となる。
On the other hand, according to the second embodiment, the user can easily move the
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。 The preferred embodiments of the present invention have been described in detail above with reference to the accompanying drawings, but the present invention is not limited to such examples. It is obvious that a person having ordinary knowledge in the technical field to which the present invention pertains can come up with various changes or modifications within the scope of the technical idea described in the claims. Of course, it is understood that these also belong to the technical scope of the present invention.
例えば、上記実施形態では、表示画面上に設けられたタッチパネルによりユーザの興味がある対象物を選択する処理を例にして説明したが、本発明はかかる例に限定されない。例えば、キー操作によって注目するべき対象物が順に変化するようにしてもよい。例えば、ユーザがキーを押下するたびに、画面内の注目されている対象物と補助情報の表示が変化する。 For example, in the above embodiment, the process of selecting an object of interest to the user using the touch panel provided on the display screen has been described as an example, but the present invention is not limited to such an example. For example, an object to be noticed may be changed in order by a key operation. For example, every time the user presses a key, the display of the target object and auxiliary information in the screen changes.
また、上記実施形態では、全体映像として、大域的な俯瞰映像を例として説明したが、本発明はかかる例に限定されず、大域的な情報を得られる映像であればよい。例えば、360度カメラを用いて大域的な情報を取得するようにしてもよい。 In the above-described embodiment, a global bird's-eye view video has been described as an example of the entire video. However, the present invention is not limited to this example, and any video that can obtain global information may be used. For example, global information may be acquired using a 360 degree camera.
また、上記実施形態では、2次元平面内での移動や方向の変更を行っているが、本発明は係る例に限定されず、3次元空間内での移動や方向の変更を行うようにしてもよい。 In the above embodiment, the movement and direction change in the two-dimensional plane are performed. However, the present invention is not limited to this example, and the movement and direction change in the three-dimensional space are performed. Also good.
また、ユーザの興味がある対象物は、あらかじめ登録しておいてもよいし、ユーザが表示制御装置を利用している最中にデータベースに登録して追加するようにしてもよい。さらに、映像と音声を取得する装置は、ひとつの装置に備えられてもよいし、それぞれ別体の装置に備えられて排他的に存在してもよい。 Further, an object of interest to the user may be registered in advance, or may be registered and added to the database while the user is using the display control device. Furthermore, the device for acquiring video and audio may be provided in one device, or may be provided exclusively in separate devices.
例えば、本明細書の表示制御装置100および200の処理における各ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はない。すなわち、表示制御装置100および200の処理における各ステップは、異なる処理であっても並列的に実行されてもよい。
For example, each step in the processing of the
また、表示制御装置100および200などに内蔵されるCPU、ROMおよびRAMなどのハードウェアを、上述した表示制御装置100および200の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。
In addition, it is possible to create a computer program for causing hardware such as CPU, ROM, and RAM incorporated in the
100 表示制御装置
102 操作補助情報表示部
103 操作部
104 操作指令部
105 興味対象選択部
106 画音取得部
107 画音提示部
108 全体映像取得部
109 興味対象検出部
110 興味対象情報取得部
111 興味対象データベース
200 表示制御装置
901 ロボット制御部
902 画音取得部
903 動作部
904 情報提示部
905 ロボット位置取得部
906 操作補助情報表示部
DESCRIPTION OF
Claims (14)
ユーザ操作に応じて、複数の対象物からユーザが興味のある対象物を指定する対象物指定部と、
前記対象物指定部により指定された前記対象物に関する対象物情報を取得する対象物情報取得部と、
前記対象物情報取得部により取得された前記対象物の対象物情報に基づいて、前記対象物の周辺情報を取得するための補助情報を、前記全体画像取得部により取得された前記全体画像に重畳する補助情報表示部と、
を備えることを特徴とする、表示制御装置。 An overall video acquisition unit that acquires the entire video captured by the imaging device;
An object designating unit that designates an object of interest to the user from a plurality of objects according to a user operation;
A target information acquisition unit that acquires target information related to the target specified by the target specification unit;
Based on the object information of the object acquired by the object information acquisition unit, auxiliary information for acquiring peripheral information of the object is superimposed on the entire image acquired by the entire image acquisition unit An auxiliary information display unit to
A display control apparatus comprising:
前記対象物情報取得部は、前記対象物指定部により指定された前記ユーザが興味のある対象物に対応する前記補助情報の種類を前記補助情報記憶部から取得することを特徴とする、請求項1に記載の表示制御装置。 An auxiliary information storage unit that stores the type of auxiliary information corresponding to the object;
The said object information acquisition part acquires the kind of the said auxiliary information corresponding to the target object with which the said user specified by the said object designation | designated part is interested from the said auxiliary information storage part, It is characterized by the above-mentioned. The display control apparatus according to 1.
前記対象物情報取得部は、前記マーカから配信される前記対象物の情報をもとに、前記対象物の位置および方向を取得することを特徴とする、請求項1に記載の表示制御装置。 A marker capable of delivering the position, direction and ID of the object is arranged on the object,
The display control apparatus according to claim 1, wherein the object information acquisition unit acquires a position and a direction of the object based on information on the object distributed from the marker.
前記操作制御部は、ユーザ操作に応じて、前記全体映像に重畳された前記補助情報を利用して選択された選択範囲が示す位置に前記移動体を移動させることを特徴とする、請求項11に記載の表示制御装置。 An operation control unit for controlling the operation of the moving body;
The operation control unit moves the moving body to a position indicated by a selection range selected using the auxiliary information superimposed on the entire video according to a user operation. The display control apparatus according to 1.
撮像装置により撮像された全体映像を取得するステップと、
ユーザ操作に応じて、複数の対象物からユーザが興味のある対象物を指定するステップと、
前記指定された前記対象物に関する対象物情報を取得するステップと、
前記取得された前記対象物の対象物情報に基づいて、前記対象物の周辺情報を取得するための補助情報を、前記全体画像取得部により取得された前記全体画像に重畳するステップと、
を含むことを特徴とする、表示制御方法。 A display control method for superimposing predetermined auxiliary information on an entire video imaged by an imaging device,
Obtaining a whole image captured by the imaging device;
In response to a user operation, specifying a target that the user is interested in from a plurality of targets;
Obtaining object information relating to the specified object;
Superimposing auxiliary information for obtaining peripheral information of the object on the whole image obtained by the whole image obtaining unit based on the object information of the obtained object;
A display control method comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009165713A JP5229141B2 (en) | 2009-07-14 | 2009-07-14 | Display control apparatus and display control method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009165713A JP5229141B2 (en) | 2009-07-14 | 2009-07-14 | Display control apparatus and display control method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011022703A JP2011022703A (en) | 2011-02-03 |
JP5229141B2 true JP5229141B2 (en) | 2013-07-03 |
Family
ID=43632739
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009165713A Active JP5229141B2 (en) | 2009-07-14 | 2009-07-14 | Display control apparatus and display control method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5229141B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190156511A1 (en) * | 2016-04-28 | 2019-05-23 | Sharp Kabushiki Kaisha | Region of interest image generating device |
WO2023233821A1 (en) * | 2022-06-02 | 2023-12-07 | ソニーグループ株式会社 | Information processing device and information processing method |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11154020A (en) * | 1997-11-21 | 1999-06-08 | Nippon Telegr & Teleph Corp <Ntt> | Remote monitoring device, method therefor and storage medium recorded with remote monitoring program |
JPH11346358A (en) * | 1998-05-29 | 1999-12-14 | Nec Corp | User interface device for camera control |
KR20050000276A (en) * | 2003-06-24 | 2005-01-03 | 주식회사 성진씨앤씨 | Virtual joystick system for controlling the operation of a security camera and controlling method thereof |
JP2005136774A (en) * | 2003-10-31 | 2005-05-26 | Casio Comput Co Ltd | Camera surveillance system and program |
-
2009
- 2009-07-14 JP JP2009165713A patent/JP5229141B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2011022703A (en) | 2011-02-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
AU2017203098B2 (en) | Information processing system and display control method | |
KR101662074B1 (en) | Control device, camera system, and recording medium | |
JP6040564B2 (en) | Image processing apparatus, projection control method, and program | |
US20170325021A1 (en) | Directivity control apparatus, directivity control method, storage medium and directivity control system | |
US20160196692A1 (en) | Virtual lasers for interacting with augmented reality environments | |
US9794495B1 (en) | Multiple streaming camera navigation interface system | |
CN102202168A (en) | Control device, camera system and program | |
JP2015018296A (en) | Display controller, program, and recording medium | |
JP2016201714A (en) | Display control device and display control method | |
JP2015095147A (en) | Display control device, display control method, and program | |
JP2012169723A (en) | Display device and computer program | |
JP2013235374A (en) | Image processing apparatus, and projection control method and program | |
JP6145738B2 (en) | Display device and computer program | |
EP3418860B1 (en) | Provision of virtual reality content | |
JP6543108B2 (en) | INFORMATION PROCESSING APPARATUS, CONTROL METHOD THEREOF, AND PROGRAM | |
JP2018517312A (en) | Cluster-based photo navigation | |
JP5229141B2 (en) | Display control apparatus and display control method | |
JP6473048B2 (en) | Mobile device operation terminal, mobile device operation method, and mobile device operation program | |
CN107924272B (en) | Information processing apparatus, information processing method, and program | |
JP2003067048A (en) | Information processor | |
JP5464290B2 (en) | Control device, control method, and camera system | |
JP2017182843A (en) | Program, display control device, and display control method | |
JP6344670B2 (en) | Display device and computer program | |
JP2017062350A (en) | Display control device and display control method, display unit, and computer program | |
JP2011158956A (en) | Information processor and information processing method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120515 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130118 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130219 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130304 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160329 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5229141 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |