JP5397245B2 - Information processing apparatus and information processing method - Google Patents
Information processing apparatus and information processing method Download PDFInfo
- Publication number
- JP5397245B2 JP5397245B2 JP2010017930A JP2010017930A JP5397245B2 JP 5397245 B2 JP5397245 B2 JP 5397245B2 JP 2010017930 A JP2010017930 A JP 2010017930A JP 2010017930 A JP2010017930 A JP 2010017930A JP 5397245 B2 JP5397245 B2 JP 5397245B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- information
- orientation
- robot
- video data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
本発明は、情報処理装置および情報処理方法に関し、特に、撮像装置により撮像された映像を大域映像に重畳して表示する情報処理装置および情報処理方法に関する。 The present invention relates to an information processing device and an information processing method, and more particularly to an information processing device and an information processing method for displaying an image captured by an imaging device in a superimposed manner on a global image.
最近では、カメラやマイクなどが技術の進歩によって安価になり利用しやすくなったことに伴い、複数のカメラやマイクをオフィス空間内に配置し、オフィス内でのコミュニケーション支援や監視などに用いたりすることがある。例えば、実空間の映像に補助的情報を重畳することにより、ユーザが所望の映像を得るための操作支援をする技術が開示されている（例えば、特許文献１）。特許文献１によれば、移動機能を有する撮像装置を操作するシステムにおいて、撮像装置の空間内での移動操作を容易にすることが可能となる。 Recently, as cameras and microphones become cheaper and easier to use due to technological advances, multiple cameras and microphones are placed in the office space and used for communication support and monitoring in the office. Sometimes. For example, a technique is disclosed in which a user supports operation for obtaining a desired video by superimposing auxiliary information on a real space video (for example, Patent Document 1). According to Patent Literature 1, in a system that operates an imaging apparatus having a moving function, it is possible to facilitate a moving operation in the space of the imaging apparatus.
また、上記技術では、撮像装置の空間内での移動操作を容易にするための補助情報が提示されている。しかし、実際にその場所に撮像装置を移動させた際に取得できる映像情報については、ユーザによる想像や記憶などで補わなければならず、ユーザ操作を支援するための補助が不十分であるという問題があった。
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、過去の映像を用いてユーザ操作を支援するための補助的情報を提示することが可能な、新規かつ改良された情報処理装置および情報処理方法を提供することにある。
In the above technique, auxiliary information for facilitating a moving operation in the space of the imaging apparatus is presented. However, the video information that can be acquired when the imaging device is actually moved to that location must be supplemented by imagination and memory by the user, and there is insufficient assistance to support user operations. was there.
Therefore, the present invention has been made in view of the above problems, and an object of the present invention is to be able to present auxiliary information for supporting user operations using past images. It is an object to provide a new and improved information processing apparatus and information processing method.
上記課題を解決するために、本発明のある観点によれば、任意の位置および向きを示すポインタを含む所定空間内の大域映像を取得する大域映像取得部と、前記大域映像から前記所定空間内の位置情報を取得する位置情報取得部と、前記所定空間内で撮像された映像データと、前記映像データの撮像された位置および向きの情報を含む映像情報とを関連付けて記憶している記憶部と、前記ポインタの示す位置および向きに対応する前記映像データを、前記大域映像に重畳して表示画面に表示する映像表示部と、を備えることを特徴とする情報処理装置が提供される。 In order to solve the above-described problem, according to an aspect of the present invention, a global video acquisition unit that acquires a global video in a predetermined space including a pointer indicating an arbitrary position and orientation; and A position information acquisition unit that acquires the position information of the image data, a storage unit that stores the video data captured in the predetermined space and the video information including the information on the captured position and orientation of the video data in association with each other And an image display unit that displays the image data corresponding to the position and orientation indicated by the pointer on the display screen so as to be superimposed on the global image.
また、前記映像表示部は、前記位置情報取得部により取得された前記位置情報を用いて前記所定空間内の大域映像を仮想的に矩形に分割し、前記ポインタの示す位置および向きに対応する前記映像データを、前記映像データの撮像された位置に対応する前記大域映像の矩形位置に重畳して表示してもよい。 The video display unit virtually divides the global video in the predetermined space into rectangles using the position information acquired by the position information acquisition unit, and corresponds to the position and orientation indicated by the pointer. The video data may be displayed superimposed on the rectangular position of the global video corresponding to the imaged position of the video data.
また、前記映像情報には、映像データが撮像された日時の情報が含まれ、前記映像表示部は、前記映像データの日時に応じて前記大域映像に重畳する映像データを選択してもよい。 The video information may include information on the date and time when the video data was captured, and the video display unit may select video data to be superimposed on the global video according to the date and time of the video data.
また、前記映像表示部は、前記映像データの日時に応じて前記映像データを加工して表示してもよい。 The video display unit may process and display the video data according to the date and time of the video data.
また、撮像装置により撮像された映像を取得する映像取得部を備え、前記映像取得部は、前記ポインタの示す位置および向きの映像を取得してもよい。 In addition, a video acquisition unit that acquires video captured by the imaging device may be provided, and the video acquisition unit may acquire a video at a position and orientation indicated by the pointer.
また、前記撮像装置の位置および向きを制御する制御部と、ユーザ操作に応じて前記映像表示部により表示された前記映像データを選択する選択部と、を備え、前記制御部は、前記選択部により選択された前記映像データに関連付けられた映像情報に基づいて前記撮像装置の位置および向きを変更させてもよい。 A control unit that controls the position and orientation of the imaging device; and a selection unit that selects the video data displayed by the video display unit in response to a user operation. The position and orientation of the imaging device may be changed based on the video information associated with the video data selected by.
また、前記制御部は、ユーザ操作に応じて前記撮像装置の位置および向きを変更させてもよい。 Further, the control unit may change the position and orientation of the imaging device in accordance with a user operation.
また、前記大域映像には前記撮像装置の位置および向きを示す映像が含まれており、前記制御部は、前記大域映像上の前記撮像装置の映像に対するユーザの接触操作に応じて、前記撮像装置の位置および向きを変更させてもよい。 In addition, the global video includes a video indicating the position and orientation of the imaging device, and the control unit performs the imaging device according to a user's contact operation with respect to the video of the imaging device on the global video. You may change the position and orientation of.
また、前記映像表示部は、前記所定空間内の大域映像を仮想的矩形に分割し、前記仮想的矩形を前記大域映像に重畳して表示してもよい。 The video display unit may divide a global video in the predetermined space into virtual rectangles and display the virtual rectangle superimposed on the global video.
また、前記撮像装置は移動可能な移動体に備えられ、前記制御部は、前記移動体の位置および向きを変更させてもよい。 The imaging device may be provided in a movable body that is movable, and the control unit may change the position and orientation of the movable body.
また、前記選択部により前記映像表示部に表示された前記映像データが選択された場合に、前記制御部は、前記映像データに関連付けられた映像情報に基づいて前記移動体の位置および向きを変更させてもよい。 Further, when the video data displayed on the video display unit is selected by the selection unit, the control unit changes the position and orientation of the moving body based on video information associated with the video data. You may let them.
また、前記移動体を任意の位置に移動させて前記撮像装置を用いて撮像させる移動体操作部を備え、前記移動体操作部は、前記撮像装置を用いて撮像した映像データと、前記移動体の位置および向きを含む移動体情報とを関連付けて前記記憶部に記憶してもよい。 A moving body operating unit that moves the moving body to an arbitrary position and captures an image using the imaging device, the moving body operating unit including video data captured using the imaging device; May be stored in the storage unit in association with the moving body information including the position and the orientation.
また、上記課題を解決するために、本発明の別の観点によれば、所定空間内の大域映像に前記所定空間内の任意の位置および向きで撮像された映像データを重畳する映像表示方法であって、任意の位置および向きを示すポインタを含む前記所定空間内の大域映像を取得するステップと、前記大域映像から前記所定空間内の位置情報を取得するステップと、前記ポインタの示す位置および向きに対応する前記映像データを、前記所定空間内で撮像された映像データと、前記映像データの撮像された位置および向きの情報を含む映像情報とを関連付けて記憶している記憶部から取得するステップと、前記記憶部から取得した前記映像データを前記大域映像に重畳して表示画面に表示するステップと、を含むことを特徴とする、映像表示方法が提供される。 In order to solve the above problem, according to another aspect of the present invention, there is provided a video display method for superimposing video data captured at an arbitrary position and orientation in the predetermined space on a global video in the predetermined space. A step of acquiring a global image in the predetermined space including a pointer indicating an arbitrary position and direction, a step of acquiring position information in the predetermined space from the global image, and a position and a direction indicated by the pointer Acquiring the video data corresponding to the video data from the storage unit that stores the video data captured in the predetermined space and video information including information on the captured position and orientation of the video data in association with each other. And a step of superimposing the video data acquired from the storage unit on the global video and displaying the video data on a display screen. It is.
以上説明したように本発明によれば、過去の映像を用いてユーザ操作を支援するための補助的情報を提示することができる。 As described above, according to the present invention, it is possible to present auxiliary information for supporting user operations using past images.
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
（１）本実施形態の目的
（２）第１の実施形態
（２−１）情報処理装置の機能構成
（２−２）情報処理装置の動作の詳細
（３）第２の実施形態
（３−１）情報処理装置の機能構成
（３−２）情報処理装置の動作の詳細
（４）第３の実施形態
（４−１）情報処理装置の機能構成
（４−２）情報処理装置の動作の詳細
Exemplary embodiments of the present invention will be described below in detail with reference to the accompanying drawings. In addition, in this specification and drawing, about the component which has the substantially same function structure, duplication description is abbreviate | omitted by attaching | subjecting the same code | symbol.
(1) Purpose of this embodiment (2) First embodiment (2-1) Functional configuration of information processing apparatus (2-2) Details of operation of information processing apparatus (3) Second embodiment (3- 1) Functional configuration of information processing apparatus (3-2) Details of operation of information processing apparatus (4) Third embodiment (4-1) Functional configuration of information processing apparatus (4-2) Operation of information processing apparatus Details
（１）本実施形態の目的
まず、本実施形態の目的について説明する。最近では、カメラやマイクなどが技術の進歩によって安価になり利用しやすくなったことに伴い、複数のカメラやマイクをオフィス空間内に配置し、オフィス内でのコミュニケーション支援や監視などに用いたりすることがある。例えば、実空間の映像に補助的情報を重畳することにより、ユーザが所望の映像を得るための操作支援をする技術が開示されている。当該技術によれば、移動機能を有する撮像装置を操作するシステムにおいて、撮像装置の空間内での移動操作を容易にすることが可能となる。
(1) Purpose of this embodiment First, the purpose of this embodiment will be described. Recently, as cameras and microphones become cheaper and easier to use due to technological advances, multiple cameras and microphones are placed in the office space and used for communication support and monitoring in the office. Sometimes. For example, a technique is disclosed in which a user supports operation for obtaining a desired video by superimposing auxiliary information on a real space video. According to this technique, in a system that operates an imaging apparatus having a moving function, it is possible to facilitate a moving operation in the space of the imaging apparatus.
また、上記技術では、撮像装置の空間内での移動操作を容易にするための補助情報が提示されている。しかし、実際にその場所に撮像装置を移動させた際に取得できる映像情報については、ユーザによる想像や記憶などで補わなければならず、ユーザ操作を支援するための補助が不十分であるという問題があった。そこで、上記のような事情を一着眼点として、本発明の情報処理装置が創作されるに至った。本実施形態にかかる情報処理装置によれば、過去の映像を用いてユーザ操作を支援するための補助的情報を提示することが可能となる。 In the above technique, auxiliary information for facilitating a moving operation in the space of the imaging apparatus is presented. However, the video information that can be acquired when the imaging device is actually moved to that location must be supplemented by imagination and memory by the user, and there is insufficient assistance to support user operations. was there. Therefore, the information processing apparatus of the present invention has been created with the above circumstances as a focus. According to the information processing apparatus according to the present embodiment, it is possible to present auxiliary information for supporting a user operation using a past video.
（２）第１の実施形態
以上、本発明の実施形態の目的について説明した。次に、図１を参照して、本実施形態にかかる情報処理装置１００の機能構成について説明する。なお、情報処理装置１００の機能構成を説明するに際し、適宜、図２〜９を参照する。情報処理装置１００としては、例えば、パーソナルコンピュータ等のコンピュータ装置（ノート型、デスクトップ型を問わない。）を例示できるが、かかる例に限定されず、携帯電話やＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）などで構成してもよい。
(2) First Embodiment The object of the embodiment of the present invention has been described above. Next, a functional configuration of the
（２−１）情報処理装置の機能構成
図１の機能構成を説明する前に、情報処理装置１００のハードウェア構成の一例について説明する。情報処理装置１００は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）と、入力装置と、出力装置と、ストレージ装置（ＨＤＤ）などを備える。
(2-1) Functional Configuration of Information Processing Device Before describing the functional configuration of FIG. 1, an example of a hardware configuration of the
ＣＰＵは、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置１００の動作全般を制御する。また、ＣＰＵは、マイクロプロセッサであってもよい。ＲＯＭは、ＣＰＵが使用するプログラムや演算パラメータ等を記憶する。ＲＡＭは、ＣＰＵの実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一次記憶する。これらはＣＰＵバスなどから構成されるホストバスにより相互に接続されている。
The CPU functions as an arithmetic processing unit and a control unit, and controls the overall operation of the
入力装置は、例えば、マウス、キーボード、タッチパネル、ボタン、マイク、スイッチおよびレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵに出力する入力制御回路などから構成されている。 The input device includes, for example, an input means for a user to input information, such as a mouse, keyboard, touch panel, button, microphone, switch, and lever, and input control that generates an input signal based on the input by the user and outputs the input signal to the CPU. It consists of a circuit.
出力装置は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ装置、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｓｐｌａｙ）装置およびランプなどの表示装置と、スピーカおよびヘッドホンなどの音声出力装置で構成される。 The output device includes, for example, a display device such as a CRT (Cathode Ray Tube) display device, a liquid crystal display (LCD) device, an OLED (Organic Light Emitting Display) device and a lamp, and an audio output device such as a speaker and headphones. .
ストレージ装置は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含むことができる。ストレージ装置は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）で構成される。このストレージ装置は、ハードディスクを駆動し、ＣＰＵが実行するプログラムや各種データを格納する。 The storage device can include a storage medium, a recording device that records data on the storage medium, a reading device that reads data from the storage medium, a deletion device that deletes data recorded on the storage medium, and the like. The storage device is composed of, for example, an HDD (Hard Disk Drive). This storage device drives a hard disk and stores programs executed by the CPU and various data.
以上、情報処理装置１００のハードウェア構成について説明した。次に、図１を参照して、情報処理装置１００の機能構成について説明する。図１に示したように、情報処理装置１００は、映像表示部１０１、映像操作入力部１０２、操作用映像表示部１０３、大域映像取得部１０４、ロボット搭載映像取得部１０６、制御部１０７、ロボット位置情報取得部１０８、過去映像データベース１０９、入力指令変換部１１０などを備える。
Heretofore, the hardware configuration of the
ここで、図２および図３を参照して、情報処理装置１００を用いて実現される情報処理システムの実現イメージについて説明する。図２および図３は、情報処理システムの実現イメージについて説明する説明図である。図２に示したように、例えば、情報処理システムは、会議室の会議卓１５などの空間に配置される。そして、会議卓１５上に映像取得機能を有するロボット１０が配置されている。また、会議卓の上方に大域的な映像を取得する天井俯瞰型のカメラ２０が配置されている。
Here, with reference to FIG. 2 and FIG. 3, the realization image of the information processing system realized using the
カメラ２０は、会議室の全体映像を撮像することが可能であり、高所に配置されている。カメラ２０により全体映像を撮像することにより、会議室内でのロボット１０の位置を把握することが可能となる。
The
また、図３は、情報処理システムを利用するユーザが利用する端末１５０のイメージ図である。端末１５０は、例えばディスプレイ１５１を備え、ディスプレイ１５１により映像が提示される。ユーザが端末１５０に備わる操作部を操作することにより、ディスプレイ１５１の表示が変化する。例えば、ユーザは、タッチパネルなどにより構成される操作部を操作することにより、図２に示した会議室内の対象物の周囲の映像を、ディスプレイ１５１を介して提示させることが可能となる。具体的には、ユーザの操作によりロボット１０やロボット搭載映像取得部１０６が動作し、結果として映像表示部１０１により提示される映像が変化する。
FIG. 3 is an image diagram of the terminal 150 used by a user who uses the information processing system. The terminal 150 includes a
図１に戻り、情報処理装置１００の機能構成の説明を続ける。映像表示部１０１は、上記ディスプレイ１５１により構成され、ロボット搭載映像取得部１０６からの映像情報を提示する機能を有する。
Returning to FIG. 1, the description of the functional configuration of the
映像操作入力部１０２は、ユーザが操作用映像表示部１０３に対する操作を行うための機能を提供する。映像操作入力部１０２を介して入力されたユーザ入力に応じて、操作用映像表示部１０３の表示が変更される。また、ユーザにより選択された操作用映像表示部１０３に表示された過去映像データベース１０９内の映像ＩＤを取得する機能を有する。また、映像操作入力部１０２は、ユーザにより入力された映像操作入力を、入力指令変換部１１０に提供する。映像操作入力部１０２は、本発明の選択部の一例である。
The video
操作用映像表示部１０３は、後述する大域映像取得部１０４から取得される大域映像を表示する機能を有する。図２に示したカメラ２０により取得された映像情報が大域映像として表示される。また、操作用映像表示部１０３は、大域映像を表示するとともに、ロボット１０を操作するための補助的情報を大域映像に重畳して表示する機能を有する。
The operation
また、操作用映像表示部１０３は、過去映像データベース１０９に記憶されている過去に撮像された映像を、大域映像内の所定の位置に表示する機能を有する。過去映像データベース１０９には、過去に撮像された映像と所定空間内での位置とが対応付けて記憶されている。したがって、操作用映像表示部１０３は、大域映像内の対応する位置に過去映像データベース１０９に記憶されている映像を配置して表示する。
Further, the operation
大域映像内の撮影対象となる対象物の位置や、対象物の要素の一部の実際の空間における存在位置や大きさなどを示す位置情報を取得する方法には以下の方法を例示できる。例えば、撮影される映像内に現れる実際の空間に一つまたは複数の２次元バーコードを配しておく方法が挙げられる。空間に２次元バーコードを配した場合には、２次元バーコードを含む空間を撮影し、撮影された画面内の２次元バーコードの位置を基準とし、基準からの距離をもとに平面状の座標を表す。 The following method can be exemplified as a method for acquiring position information indicating the position of an object to be imaged in a global image and the position and size of a part of the object in an actual space. For example, there is a method in which one or a plurality of two-dimensional barcodes are arranged in an actual space appearing in a photographed video. When a 2D barcode is placed in the space, the space including the 2D barcode is photographed, and the plane is formed based on the distance from the reference, based on the position of the photographed 2D barcode. Represents the coordinates of.
また、撮影された映像内のマーカをもとに位置や方向、対象物パターンを取得する方法を例示できる。この場合、マーカの枠によって画面内の位置や方向を検出でき、マーカ内のパターンによって対象物の種類を検出することが可能となる。対象物の種類とは、上記した対象物ＩＤなどである。マーカによる位置、方向、対象物のパターンの取得方法については、非特許文献２や特許文献２に開示されているため、詳細な説明は省略する。
（非特許文献１）
Kato,
H. Billinghurst, M. (1999) Marker Tracking and HMD Calibration for a
video-based Augmented Reality Conferencing System, In Proceedings of the 2nd
International Workshop on Augumented Reality (IWAR 99). October, San Francisco, USA.
（特許文献２）
特開２０００−３２２６０２号公報
Moreover, the method of acquiring a position, a direction, and a target object pattern based on the marker in the image | photographed image can be illustrated. In this case, the position and direction in the screen can be detected by the frame of the marker, and the type of the object can be detected by the pattern in the marker. The type of object is the above-described object ID or the like. Since the method for acquiring the position, direction, and pattern of the object using the markers is disclosed in
(Non-Patent Document 1)
Kato,
H. Billinghurst, M. (1999) Marker Tracking and HMD Calibration for a
video-based Augmented Reality Conferencing System, In Proceedings of the 2nd
International Workshop on Augumented Reality (IWAR 99). October, San Francisco, USA.
(Patent Document 2)
JP 2000-322602 A
ここで、図４および図５を参照して、映像表示部１０１および操作用映像表示部１０３に表示される映像の一例について説明する。図４は、操作用映像表示部１０３に表示される大域映像４０１である。大域映像４０１には、撮像対象４１やロボット１０などが俯瞰的に表示される。これにより、例えば、会議室の会議卓上のどの位置に撮像対象４１やロボット１０が位置しているのかを把握することができる。
Here, with reference to FIG. 4 and FIG. 5, an example of the video displayed on the
また、図５に示したように、ディスプレイ１５１には、操作用映像表示部１０３により表示される大域映像と、後述するロボット搭載映像取得部１０６によって取得された映像が、映像表示部１０１により表示されている。大域映像には、ロボット１０の操作を行うための補助的情報が重畳されている。大域映像に重畳される補助的情報とは、上記したように、過去映像データベース１０９に記憶されている過去に撮像された映像である。
Further, as shown in FIG. 5, the
大域映像取得部１０４は、図２に示した天井俯瞰型のカメラ２０により撮像された所定の空間内の全体映像である大域映像を取得する機能を有する。大域映像取得部１０４は、取得した大域映像を操作用映像表示部１０３に提供する。
The global
ロボット搭載映像取得部１０６は、ロボット１０に搭載されている撮像装置により撮像された映像を取得する機能を有する。ロボット１０に搭載されている撮像装置は、例えば、パンチルト可能なカメラであり、ロボットが存在する位置から撮像する。また、ロボット搭載映像取得部１０６は、取得した映像を過去映像データベース１０９に提供する。ロボット搭載映像取得部１０６は、本発明の映像取得部の一例である。
The robot-mounted
制御部１０７は、入力指令変換部１１０から提供された操作信号を受信して、ロボット１０の動作を制御する機能を有する。
The
ロボット１０は、ユーザの操作に基づいて空間内を動作する機能を有する。ロボット１０に備えられた撮像装置により撮像された映像がロボット搭載映像取得部１０６に提供される。また、制御部１０７によりロボット１０の動作が制御される。
The
ロボット位置情報取得部１０８は、ロボット１０が空間内で存在する位置の情報を取得する機能を有する。また、ロボット１０の姿勢情報も取得する。ロボット位置情報取得部１０８は、本発明の位置情報取得部の一例である。ロボット位置情報取得部１０８によるロボットの位置情報や姿勢情報の取得処理については後で詳細に説明する。
The robot position
過去映像データベース１０９はロボット位置情報取得部１０８により取得されたロボット１０の位置および姿勢の情報とロボット搭載映像取得部１０６により取得された映像情報とを関連付けて記憶している。また、過去映像データベース１０９に、位置情報、姿勢情報、映像情報の他に、映像ＩＤおよび撮影日時を関連付けて記憶するようにしてもよい。映像ＩＤとは、各映像を識別するための識別情報である。過去映像データベース１０９は、本発明の記憶部の一例である。
The
また、位置情報とは、上記したように、ロボット位置情報取得部１０８により取得される映像データが撮影された際のロボットの位置を示す情報である。また、姿勢情報は、位置情報と同様に、ロボット位置情報取得部１０８から取得される映像データが撮影された際のロボットの姿勢を示す情報である。映像データは、ロボット搭載映像取得部１０６から取得された映像が、符号化や圧縮など通常の画像処理で行われる処理がされた後のデータであり、ファイルとして保存されているデータである。撮影日時は、映像データが撮影された時刻を示す情報である。
The position information is information indicating the position of the robot when the video data acquired by the robot position
入力指令変換部１１０は、操作用映像表示部１０３に対するユーザの映像に対する操作を取得し、当該操作をロボット１０への操作指令に変換する機能を有する。入力指令変換部１１０は、変換した操作指令を制御部１０７に提供する。
The input
（２−２）情報処理装置の動作の詳細
以上、情報処理装置１００の機能構成について説明した。次に、図６を参照して、情報処理装置１００における動作の詳細について説明する。なお、情報処理装置１００の動作の詳細を説明するに際して、適宜、図７〜図１０を参照する。図６は、情報処理装置１００の動作の詳細を示したフローチャートである。
(2-2) Details of Operation of Information Processing Apparatus The functional configuration of the
図６に示したように、まず、大域映像取得部１０４から取得された大域映像からロボット１０が動作する空間の位置情報を取得する（Ｓ１０２）。ステップＳ１０２において取得されるロボット１０が動作する空間の位置情報は、画像処理によって映像自体から取得することができる。例えば、空間内の机にロボットが配置されている場合、机の輪郭線から位置情報を取得することができる。具体的には、ロボットが移動する机の輪郭線から、机上面の空間に対して、２次元空間での座標系を設定する。そして、設定した座標系においてロボットが移動する位置や、観察されるべき要素が配置された位置を取得する。
As shown in FIG. 6, first, the position information of the space in which the
また、上記した非特許文献２に示されるように、空間内に配置された２次元バーコードなど位置、角度を画像情報から取得可能な要素を撮影することにより、大域映像内での位置情報を取得するようにしてもよい。また、位置情報は、画像処理によらず、ロボット１０が動作する机近辺に配置されたセンサの情報を、大域映像内での位置情報として変換するようにしてもよい。また、上記した位置情報取得処理により、ロボットが移動可能な範囲と移動不可能な範囲の境界の情報を取得するようにしてもよい。
In addition, as shown in
次に、ロボット１０が移動することができる空間領域の大きさを計算し、該空間領域を各要素が一定の大きさになるように分割する（Ｓ１０４）。ステップＳ１０４において、ロボット１０が移動可能な空間領域を画像処理により算出してもよいし、予め机の大きさなどの情報を取得するようにしてもよい。
Next, the size of the space area in which the
ここで、図７を参照して、ステップＳ１０４における領域の分割について説明する。図７は、領域の分割について説明する説明図である。図７に示したように、ロボット１０が移動可能な空間領域は、２次元座標（０，０）、（ｘｍ，０）、（０，ｙｍ）、（ｘｍ，ｙｍ）で表される点を結んで作られる矩形として表現されるとする。分割される最小領域の大きさは、縦ｘｒ，横ｙｒの矩形であるとすると、縦および横の矩形の数は以下の式で表される。
上記数式１でｘ_ｎおよびｙ_ｎを定めた場合に、原点（０，０）からｘ軸方向にｘ_ｎ個、ｙ軸方向にｙ_ｎ個の最小領域の大きさの矩形を２次元に配置するように空間を分割する。この場合、空間がｘ_ｎ×ｙ_ｎ個に分割されることとなる。最小領域の形状や数、配置の方法については、上記と同様に空間を複数の領域に分割することが可能であれば、他の方法を用いて領域を分割するようにしてもよい。 When x_n and y_n are determined by the above mathematical formula 1, a space is set so that a rectangle having a minimum area size of x_n in the x-axis direction and y_n in the y-axis direction is two-dimensionally arranged from the origin (0, 0) Split. In this case, the space is divided into x_n × y_n. As for the shape, number and arrangement method of the minimum area, the area may be divided using other methods as long as the space can be divided into a plurality of areas in the same manner as described above.
次に、ロボット位置情報取得部１０８は、ロボットの位置情報および姿勢情報を取得する（Ｓ１０６）。ロボットの位置情報も、図７に示した座標系で表されるものとして以下説明する。ロボットの位置情報と空間座標との対応付けが可能であれば、図７に示した座標系以外の形式で位置情報を表してもよい。
Next, the robot position
本実施形態では、ロボットの重心からロボットが動作する平面へ垂直方向に直線を降ろし、平面と交差した位置をロボットの配置位置とする。図７では、ロボットの配置位置を（Ｒｘ，Ｒｙ）とする。また、ロボットの姿勢は、図８に示したように、ロボット１０の正面を表すものとする。なお、上記ロボット１０の正面とは、例えば、ロボット１０の進行方向からロボット１０が見える表面の全部又は一部、もしくは、ロボット１０に備わるカメラのレンズが向けられている方向からロボット１０が見える表面の全部又は一部である。
In the present embodiment, a straight line is drawn vertically from the center of gravity of the robot to the plane on which the robot operates, and the position where the robot intersects the plane is set as the robot placement position. In FIG. 7, the arrangement position of the robot is (Rx, Ry). Also, the posture of the robot represents the front of the
図８に示したように、空間領域にｘ軸とｙ軸に直行するｚ軸を配置して空間座標を表す。ロボット１０の姿勢は、原点から伸びる長さｌのｘ，ｙ，ｚの３次元ベクトルの座標で表される。例えば、ロボット１０が、ｘ，ｙ平面に平行にｙ座標が増加する方向に正対している場合、座標は（０，１，０）と表すことができる。座標（０，１，０）の状態から、ｘ，ｙ平面上で４５度時計回りに姿勢を回転させた場合は、（sqrt(2)/2,sqrt(2)/2,0）となる。以下では、ロボット搭載映像取得部１０６により取得されたロボット１０の姿勢を、（ｄｘ，ｄｙ，ｄｚ）として表す。
As shown in FIG. 8, spatial coordinates are represented by arranging a z-axis orthogonal to the x-axis and the y-axis in the spatial region. The posture of the
次に、分割された要素のうち、処理を行う領域（分割された要素）が残っているか否かを判定する（S１０８）。ステップＳ１０８において、処理を行う領域が残っていると判定された場合には、ステップＳ１１０以降の処理を実行する。ステップＳ１０８において、分割された要素が残っていないと判定された場合には、ステップＳ１１８以降の処理を実行する。 Next, it is determined whether or not a region to be processed (divided element) remains among the divided elements (S108). If it is determined in step S108 that there is an area to be processed, the processes in and after step S110 are executed. If it is determined in step S108 that no divided elements remain, the processing from step S118 is executed.
ステップＳ１０８において、分割された要素が残っていると判定された場合には、ステップＳ１０４において分割された領域に対応付けられている位置情報を取得する（Ｓ１１０）。ステップＳ１１０では、分割された要素を取得し、該要素に定められているキー座標を取得する。ここで、位置座標は空間領域と同様の座標系により表されているものとする。分割された領域と位置座標を対応付ける方法はいくつか考えられるが、以下では、領域内の重心位置を対応付ける場合について説明する。 If it is determined in step S108 that the divided elements remain, position information associated with the areas divided in step S104 is acquired (S110). In step S110, the divided elements are acquired, and the key coordinates defined for the elements are acquired. Here, it is assumed that the position coordinates are represented by a coordinate system similar to that of the space area. There are several methods for associating the divided areas with the position coordinates. In the following, the case of associating the position of the center of gravity in the area will be described.
図７に示したように、図７の破線で囲まれた領域について説明する。該領域の重心位置は、（xr/2,yr/2）の座標で表される。同様に、他の分割された領域についても、重心位置座標を設定することができる。この領域に対応付けられた座標を以下、キー座標と称し、（kx,ky）と表す。したがって、ステップＳ１１０では、分割された要素を取得して、取得した要素に対応付けられたキー座標を取得する。 As shown in FIG. 7, the region surrounded by the broken line in FIG. 7 will be described. The barycentric position of the region is represented by coordinates (xr / 2, yr / 2). Similarly, the barycentric position coordinates can be set for other divided regions. The coordinates associated with this area are hereinafter referred to as key coordinates and represented as (kx, ky). Therefore, in step S110, the divided elements are acquired, and the key coordinates associated with the acquired elements are acquired.
そして、ステップＳ１１０において取得したキー座標を用いて過去映像データベース１０９を検索して、過去映像データの取得を試みる（Ｓ１１２）。また、ステップＳ１０６において姿勢情報を取得している場合には、ステップＳ１１２において、キー座標と姿勢情報とを用いて過去映像データを検索してもよい。以下では、位置情報および姿勢情報を、空間内の位置情報と関連付けて表現する。具体的には、位置情報は（d_px,d_py）の２次元座標で表され、姿勢情報（d_dx,d_dy,d_dz）は３次元座標で表現される場合を例として説明する。
Then, the
キー座標とデータベース内の位置情報のユークリッド距離を以下の数式により算出する。
（数２）
Distance
p=sqrt((d_px-kx)^2+(d_py-ky)^2)・・・（数式２）
また、ロボットの現在の姿勢情報とデータベース内の姿勢情報の距離を以下の数式により算出する。
（数３）
Distance
d=sqrt((d_dx-dx)^2+(d_dy-dy)^2+(d_dz-dz)^2)・・・（数式３）
そして、数式２および数式３の平均データが最小となるものを、もっとも条件に適するデータとして採用する。
The Euclidean distance between the key coordinates and the position information in the database is calculated by the following formula.
(Equation 2)
Distance
p = sqrt ((d_px-kx) ^ 2 + (d_py-ky) ^ 2) ... (Formula 2)
Further, the distance between the current posture information of the robot and the posture information in the database is calculated by the following formula.
(Equation 3)
Distance
d = sqrt ((d_dx-dx) ^ 2 + (d_dy-dy) ^ 2 + (d_dz-dz) ^ 2) ... (Formula 3)
Then, the data with the smallest average data of
距離の計算方法としては、ユークリッド距離以外に、マンハッタン距離など他の距離水準を用いてもよい。また、位置情報の距離、姿勢情報の距離を同じ重みで平均するのではなく、それぞれの重みを変更して加重平均を求めるようにしてもよい。 As a distance calculation method, other distance levels such as a Manhattan distance may be used in addition to the Euclidean distance. Further, instead of averaging the distance of the position information and the distance of the posture information with the same weight, each weight may be changed to obtain a weighted average.
通常のデータベースの検索処理と同様に、距離が一定値以下とならない場合はデータがみつからなかったものとする。ステップＳ１１２において距離が一定以下となる映像データを取得できたか否かを判定する（Ｓ１１４）。ステップＳ１１４において、最小データの距離を所定の閾値と比較し、所定の閾値より距離が小さい映像データを取得した場合には、映像データが取得できなかったとしてステップＳ１０８の処理に戻る。ステップＳ１１４において、映像データが取得できた場合には、大域映像内の該当位置に、ステップＳ１１０で取得した過去の映像データを重畳して表示する（Ｓ１１６）。 As in normal database search processing, if the distance does not fall below a certain value, it is assumed that no data has been found. In step S112, it is determined whether or not video data having a distance equal to or smaller than a certain value has been acquired (S114). In step S114, the distance of the minimum data is compared with a predetermined threshold value. If video data having a distance smaller than the predetermined threshold value is acquired, the process returns to step S108 as video data could not be acquired. If the video data can be acquired in step S114, the past video data acquired in step S110 is superimposed and displayed at the corresponding position in the global video (S116).
図５の大域映像が、ステップＳ１１６において、大域映像内に過去の映像データを重畳した表示イメージである。過去の映像データの表示方法は、例えば、分割された領域内の４つの頂点で構成された矩形内に映像データが収まるように、射影変換やその他の変形処理を実行するようにしてもよい。また、大域映像内で領域を示す平面上の矩形に映像が垂直に表示される構成としてもよい。 The global video in FIG. 5 is a display image in which past video data is superimposed on the global video in step S116. As the past video data display method, for example, projective transformation or other deformation processing may be executed so that the video data fits within a rectangle formed by four vertices in the divided area. Moreover, it is good also as a structure by which an image | video is displayed vertically on the rectangle on the plane which shows an area | region within a global image | video.
ステップＳ１１６を実行した後、再度ステップＳ１０８以降の処理を繰り返すことにより、すべての分割された領域に対して、過去映像データベース１０９に記憶されている映像データの検索処理を実行する。ステップＳ１０８において、分割された要素が残っていないと判定された時点で、操作用映像表示部１０３により、表示画面に表示された大域映像に過去映像データベースから取得された１または２以上の映像が重畳して表示される。なお、上記映像を大域映像に重畳する際、ロボットから所定距離離れた（例えば５〜６個分の分割領域離れた場合等）映像については、過去映像データベースに記録されていても、大域映像に重畳しなくてもよい。また、上記映像を大域映像に重畳する際、ロボットから所定距離離れた（例えば、２〜３個分の分割領域離れた場合等）映像について大域映像に重畳してもよい。
After executing step S116, the processing of step S108 and subsequent steps is repeated again, whereby the video data stored in the
そして、ユーザが操作用映像表示部１０３により表示された操作用映像を操作する（Ｓ１１８）。ステップＳ１１８において、ユーザにより操作用映像が操作されることにより、ロボット１０が実際に動作することとなる。ステップＳ１１８における操作は、例えば、タッチパネルディスプレイに対する接触動作や、マウスによるポインティング操作などが考えられる。
Then, the user operates the operation video displayed by the operation video display unit 103 (S118). In step S118, when the operation video is operated by the user, the
以下では、操作方法として、一般的なタッチディスプレイにタッチした場合を例として説明する。ステップＳ１１８において、ユーザが大域映像内に重畳された過去の映像データの一つをタッチして選択する。このとき、映像操作入力部１０２は、ユーザによりタッチされた領域に表示されている映像のＩＤを取得する。また、映像ＩＤから映像が配置されている空間内の位置情報を取得する。
Hereinafter, as an operation method, a case where a general touch display is touched will be described as an example. In step S118, the user touches and selects one of the past video data superimposed on the global video. At this time, the video
ここで取得される位置情報は、分割された領域にキー座標の位置情報でもよい。また、過去映像データが撮影された位置の情報をそのまま利用してもよい。以下では、キー座標の位置情報を利用する場合について説明する。 The position information acquired here may be position information of key coordinates in the divided area. Further, the information on the position where the past video data was taken may be used as it is. Below, the case where the positional information of a key coordinate is utilized is demonstrated.
ステップＳ１１８においてユーザが映像に対して操作を実行した後、入力指令変換部１１０は、ステップＳ１０６において取得したロボットの位置情報と、ユーザがタッチした映像の位置情報とを用いて、ロボットへの動作指令を作成する（Ｓ１２０）。ステップＳ１２０における動作指令の作成方法は、単純にロボットの現在位置と映像の位置情報の差から直線を構成し、その直線上を移動する運動指令を生成するようにしてもよい。なお、ロボットへの動作指令の作成方法については、既存の技術を利用することができるため、詳細な説明は省略する。
After the user performs an operation on the video in step S118, the input
ステップＳ１２０において生成したロボットの動作命令を、制御部１０７に送信する（Ｓ１２２）。制御部１０７は、ステップＳ１２２において送信された動作命令をもとに、ロボットを動作させる（Ｓ１２４）。ステップＳ１２４においてロボットを動作させた後、ロボット搭載映像取得部１０６が映像を取得する（Ｓ１２６）。そして、移動後のロボット１０の位置情報および姿勢情報をもとに、ステップＳ１２６において取得した映像を用いて過去映像データベース１０９を更新する（Ｓ１２８）。そして、映像表示部１０１は、ステップＳ６１３において取得した映像を表示する（Ｓ１３０）。
The robot operation command generated in step S120 is transmitted to the control unit 107 (S122). The
ステップＳ１１８において、ユーザがディスプレイにタッチすると、ロボットが動作するための指令が発生する構成を例として説明した。また、カーソルをマウスで操作して、カーソルを重畳された過去映像の上に配置すると、過去映像が拡大したり、過去映像の枠が強調されたりするなどの画像処理が行われるようにしてもよい。過去映像の拡大や枠の強調などの画像処理が行われた後、再度過去映像をクリックするとロボットの移動指令が生成されるようにしてもよい。これにより、よりインタラクティブなロボット操作を実現することができる。 In step S118, the configuration has been described as an example in which a command for operating the robot is generated when the user touches the display. In addition, when the cursor is operated with the mouse and the cursor is placed on the past video superimposed, image processing such as enlargement of the past video or emphasis of the frame of the past video may be performed. Good. After image processing such as enlargement of a past video or enhancement of a frame is performed, a robot movement command may be generated when the past video is clicked again. Thereby, a more interactive robot operation can be realized.
ここで、図９を参照して、過去映像の枠の強調について説明する。図９は、過去映像の枠の強調について説明する説明図である。図９に示したように、ディスプレイの表示例５０１には、大域映像に複数の過去映像が重畳されている。ユーザにより、複数の過去映像のうちの一つが選択されると、表示例５０２に示したように、過去映像の枠が強調される。 Here, the enhancement of the frame of the past video will be described with reference to FIG. FIG. 9 is an explanatory diagram for explaining emphasis on a frame of a past video. As shown in FIG. 9, in the display example 501 of the display, a plurality of past videos are superimposed on the global video. When one of the plurality of past videos is selected by the user, the frame of the past video is emphasized as shown in the display example 502.
また、ディスプレイをタッチするだけでなく、過去映像をタッチした後に、ドラッグ操作を行って、ロボットの姿勢を変更させるようにしてもよい。例えば、図１０Ａに示したように、表示例５１０に表示された過去映像の一つを選択して、右下方にドラッグすることにより、ロボットの姿勢を変更するようにしてもよい。この場合、ユーザのドラッグ動作による移動距離によって、姿勢変更量を比例して変化させる。 Further, not only the display but also the past image may be touched, and then a drag operation may be performed to change the robot posture. For example, as shown in FIG. 10A, the posture of the robot may be changed by selecting one of the past images displayed in the display example 510 and dragging it to the lower right. In this case, the posture change amount is changed in proportion to the moving distance by the user's drag operation.
また、過去映像の枠に表示されるズーム用の枠を選択して、ドラッグ動作を行うことにより、過去映像を拡大、縮小するようにしてもよい。また、過去映像の拡大をロボットの前進動作と対応付けたり、過去映像の縮小をロボットの後退動作に対応付けたりするようにしてもよい。例えば、図１０Ｂに示したように、過去映像を拡大することによりロボットを前進させる。この場合、過去映像の拡大率に比例して、ロボットの前進距離を変化させるようにしてもよい。同様に、過去映像を縮小することによりロボットを後退させる場合には、過去映像の縮小率に比例して、ロボットの後退距離を変化させる。 Alternatively, the past video may be enlarged or reduced by selecting a zoom frame displayed in the past video frame and performing a drag operation. Further, the enlargement of the past video may be associated with the forward movement of the robot, or the reduction of the past video may be associated with the backward movement of the robot. For example, as shown in FIG. 10B, the robot is advanced by enlarging the past image. In this case, the advance distance of the robot may be changed in proportion to the enlargement rate of the past video. Similarly, when the robot is moved backward by reducing the past video, the backward movement distance of the robot is changed in proportion to the reduction rate of the past video.
以上、情報処理装置１００の動作の詳細について説明した。本実施形態にかかる情報処理装置１００によれば、ユーザが撮像装置を搭載したロボットを移動させる前に、移動した場所でどのような映像を取得することができるのかを予測することができる。また、所望の映像を得るまでのロボットに対する操作ミスを減らすことが可能となる。さらに、大域映像に重畳された過去映像に対する操作がロボットの動作指令に変換されるため、ユーザがロボットの動作を意識することなく所望の映像を取得することが可能となる。
The details of the operation of the
（３）第２の実施形態
以上、第１の実施形態について説明した。次に、本発明にかかる第２の実施形態について説明する。第１実施形態では、過去映像データベース１０９を用いて、ユーザが過去にロボットを動作させた時点で撮影した映像を大域映像内に配置することで、ユーザの操作を補助していた。しかし、過去映像データベース１０９に過去映像の登録が少ない場合には、ユーザの操作を補助するには不十分である場合があった。そこで、本実施形態では、システムの動作時に、ロボットを自動的に空間内に移動させて、一定量の過去映像データを自動的に取得するようにした。
(3) Second Embodiment The first embodiment has been described above. Next, a second embodiment according to the present invention will be described. In the first embodiment, using the
（３−１）情報処理装置の機能構成
図１１を参照して、本実施形態にかかる情報処理装置２００の機能構成について説明する。以下では、第１実施形態と異なる構成について特に詳細に説明し、第１実施形態と同様の構成については詳細な説明は省略する。図１１に示したように、本実施形態にかかる情報処理装置２００は、自動操作部１１０１を備える点で第１実施形態と異なる構成となっている。自動操作部１１０１は、大域映像取得部１０４およびロボット位置情報取得部１０８とからロボットの位置情報とロボットが動作する空間内の情報を取得する。そしてロボットを自動的に移動させたり、姿勢を変更させたりして、所定の位置での映像データを過去映像として過去映像データベース１０９に登録させる機能を有する。
(3-1) Functional Configuration of Information Processing Device A functional configuration of the
（３−２）情報処理装置の動作の詳細
以上、本実施形態にかかる情報処理装置２００の機能構成について説明した。次に図１２を参照して、情報処理装置２００における動作の詳細について説明する。図１２は、情報処理装置２００における動作の詳細を示すフローチャートである。本実施形態にかかる動作についても、第１実施形態と異なる処理について詳細に説明し、第１実施形態と同様の処理については詳細な説明は省略する。
(3-2) Details of Operation of Information Processing Apparatus The functional configuration of the
ステップＳ２０２からステップＳ２０８までの処理は、第１実施形態のステップＳ１０２からステップＳ１０８までの処理と同様であるため、詳細な説明は省略する。ステップＳ２０８において、分割された要素が残っていると判定された場合にはステップＳ２１０以降の処理を実行する。ステップＳ２０８において、分割された要素が残っていないと判定された場合には、処理を終了する。 Since the processing from step S202 to step S208 is the same as the processing from step S102 to step S108 of the first embodiment, detailed description thereof is omitted. If it is determined in step S208 that the divided elements remain, the processes in and after step S210 are executed. If it is determined in step S208 that no divided elements remain, the process ends.
ステップＳ２０８において、分割された要素が残っていると判定された場合には、ステップＳ２０４において分割された領域に対応付けられているキー座標を取得する（Ｓ２１０）。そして、ステップＳ２１０において取得したキー座標を用いてロボットの動作命令を生成する（Ｓ２１２）。ステップＳ２１２において、キー座標を用いてロボット１０の動作命令を生成することにより、キー座標をロボット１０の移動目標とすることができる。
If it is determined in step S208 that the divided elements remain, the key coordinates associated with the areas divided in step S204 are acquired (S210). Then, a robot operation command is generated using the key coordinates acquired in step S210 (S212). In step S <b> 212, the key coordinates can be used as a movement target of the
ステップＳ２１２において生成された動作命令をロボット１０に送信する（Ｓ２１４）。そして、ロボット１０が動作命令に基づいて指定された位置に移動する（Ｓ２１６）。そして、ロボット１０の姿勢の候補をすべて実行したか否かを判定する（Ｓ２１８）。ステップＳ２１８において、変更する姿勢の候補とは、例えば、方向ベクトル（０，１，０）で表されるロボットの正面から、時計回りに９０度ずつ、一周するまで回転させた場合に得られる姿勢が挙げられる。例えば、方向ベクトルは、（１,０,０）、（０,−１,０）、（−１,０,０）などとなり、ロボットが取り得る姿勢を離散的に有限個設定してもよい。本実施形態では、９０度単位で３６０度回転させる場合を例示して説明しているが、かかる例に限定されず、求められる姿勢の粒度の大きさによって、角度の単位や動作の範囲などを変更するようにしてもよい。
The operation command generated in step S212 is transmitted to the robot 10 (S214). Then, the
ステップＳ２１８において、姿勢の候補をすべて実行していない場合には、ステップＳ２２０以降の処理を実行し、姿勢の候補をすべて実行した場合にはステップＳ２０８の処理に戻る。ステップＳ２２０において、未だ選択されていない姿勢の候補を一つ選択し、ロボット１０に送信する（Ｓ２２０）。そして、ロボット１０はステップＳ２２０において送信された姿勢に変更する動作を実行する（Ｓ２２２）。そして、ロボット１０に搭載された撮像装置により撮像された映像を取得する（Ｓ２２４）。さらに、移動後のロボット１０の位置情報および姿勢情報をもとに、ステップＳ２２４において取得した映像を用いて過去映像データベース１０９を更新する（Ｓ２２６）。
In step S218, if all the posture candidates are not executed, the processing after step S220 is executed, and if all the posture candidates are executed, the processing returns to step S208. In step S220, one of the posture candidates not yet selected is selected and transmitted to the robot 10 (S220). Then, the
以上、情報処理装置１００の動作の詳細について説明した。本実施形態にかかる情報処理装置１００によれば、ロボット１０が自動的に空間内を移動して映像を取得し、映像データを過去映像として過去映像データベース１０９に追加する。これにより、ユーザの操作がなくとも、ユーザの操作を補助するのに十分な補助情報を取得することが可能となる。
The details of the operation of the
（４）第３の実施形態
以上、第２の実施形態について説明した。次に、本発明にかかる第３の実施形態について説明する。第１実施形態では、大域映像に重畳された過去映像データについて、いつ撮影されたものかが直感的に分かりづらかった。例えば、位置や姿勢が同じであっても、撮影された内容が変化している場合がある。この場合、ユーザが意図した操作を行っているにもかかわらず、周囲の環境が変化しているために、ユーザの意図した映像を取得することができないという問題があった。そこで、本実施形態では、過去映像データベース１０９から取得した映像データを大域映像に重畳する場合に、過去映像データがどれくらい前に撮影されたかを直感的にユーザに提示する。
(4) Third Embodiment The second embodiment has been described above. Next, a third embodiment according to the present invention will be described. In the first embodiment, it was difficult to intuitively understand when the past video data superimposed on the global video was captured. For example, even if the position and orientation are the same, the captured content may change. In this case, there is a problem that an image intended by the user cannot be acquired because the surrounding environment has changed despite the user's intended operation. Therefore, in the present embodiment, when the video data acquired from the
（４−１）情報処理装置の機能構成
図１３を参照して、本実施形態にかかる情報処理装置３００の機能構成について説明する。以下では、第１実施形態と異なる構成について特に詳細に説明し、第１実施形態と同様の構成については詳細な説明は省略する。図１３に示したように、本実施形態にかかる情報処理装置３００は、映像加工部１３０１を備える点で第１実施形態と異なる構成となっている。映像加工部１３０１は、過去映像データベース１０９に記憶されている映像データを、映像データの撮影時刻のデータに基づいて加工する。
(4-1) Functional Configuration of Information Processing Device A functional configuration of the
例えば、図１４に示したように、映像データをセピア色にするなどして、撮影時間の古さに応じて段階的に退色加工を施すようにしてもよい。加工の方法については、退色加工に限定されず、色の明度を変更して、古い映像データほど明度を暗くしてもよい。また、一定以上古い映像データには画像上に字幕を挿入して、映像データが古いことを明示的に示してもよい。 For example, as shown in FIG. 14, the fading process may be performed step by step in accordance with the age of the shooting time by changing the video data to sepia. The processing method is not limited to fading processing, but the brightness of the color may be changed and the brightness of the older video data may be reduced. In addition, captions may be inserted into the image for video data older than a certain amount to explicitly indicate that the video data is old.
（４−２）情報処理装置の動作の詳細
以上、本実施形態にかかる情報処理装置３００の機能構成について説明した。次に、図１５を参照して、情報処理装置３００における動作の詳細について説明する。図１５は、情報処理装置３００における動作の詳細を示すフローチャートである。本実施形態にかかる動作についても、第１実施形態と異なる処理について詳細に説明し、第１実施形態と同様の処理については詳細な説明は省略する。
(4-2) Details of Operation of Information Processing Apparatus The functional configuration of the
ステップＳ３０２からステップＳ３１４までの処理は、第１実施形態のステップＳ１０２からステップＳ１１４までの処理と同様であるため、詳細な説明は省略する。ステップＳ３１４において、距離が一定以下となる映像データが取得できたと判定された場合には、映像データの撮影時刻と現在時刻の差を計算する（Ｓ３１６）。そして、ステップＳ３１６において算出された撮影時刻と現在時刻との差が所定の閾値より大きいか否かを判定する（Ｓ３１８）。 Since the processing from step S302 to step S314 is the same as the processing from step S102 to step S114 of the first embodiment, detailed description thereof is omitted. If it is determined in step S314 that video data having a distance equal to or less than a certain distance has been acquired, the difference between the shooting time of the video data and the current time is calculated (S316). Then, it is determined whether or not the difference between the shooting time calculated in step S316 and the current time is greater than a predetermined threshold (S318).
ステップＳ３１８において、差が所定の閾値より大きいと判定された場合には、算出された差の大きさをパラメータとして、映像データに加工を施す（Ｓ３２０）。ステップＳ３２０において、例えば、画像をセピア調にする退色加工を施す場合には、画素をＲＧＢにより表現して、各画像の明度を下げて白黒画像とする。さらに、オリジナルの画素をＣＭＹＫ系に変換したものでのＹとＭに相当する画素に適切な重みをつけて、白黒画素に加えることにより退色変化を実現することができる。また、経過時間に比例するように、ＹとＭの重みを調整することにより、時刻の差が大きくなると退色の度合いが大きくなるようにパラメータを変更することができる。 If it is determined in step S318 that the difference is greater than the predetermined threshold, the video data is processed using the calculated difference as a parameter (S320). In step S320, for example, when performing a fading process for making an image into a sepia tone, pixels are expressed in RGB, and the brightness of each image is reduced to obtain a monochrome image. Furthermore, it is possible to realize a fading change by adding appropriate weights to pixels corresponding to Y and M in the original pixel converted into the CMYK system, and adding it to the monochrome pixel. Further, by adjusting the weights of Y and M so as to be proportional to the elapsed time, the parameter can be changed so that the degree of fading increases as the time difference increases.
また、画像の明度を暗くする加工を施す場合には、時刻の差が大きくなると画像の輝度を全体的に小さくするような加工を加えることにより、時刻の差が大きくなると画像が暗くなるようにパラメータを変更することができる。 In addition, when processing to darken the brightness of the image is performed, processing is performed to reduce the overall brightness of the image when the time difference increases so that the image becomes dark when the time difference increases. Parameters can be changed.
さらに、連続的に画像処理のパラメータを変更させるだけでなく、時刻の差が一定値より大きい場合には、画像データ上に字幕データを追加してもよい。例えば、画像データに「データ古すぎます！」などの文字データを重畳して、明示的にデータが古いことを表現するように画像データを加工してもよい。 Furthermore, not only the image processing parameters are continuously changed, but also when the time difference is larger than a certain value, caption data may be added on the image data. For example, it is possible to superimpose character data such as “data too old!” On the image data, and to process the image data so as to express explicitly that the data is old.
ステップＳ３２２以降の処理は、第１実施形態のステップＳ１１６以降の処理と同様のため、詳細な説明は省略する。以上、情報処理装置３００の動作の詳細について説明した。本実施形態にかかる情報処理装置３００によれば、ユーザが表示されている過去映像データについて、古いデータか新しいデータかを直感的に理解できる。このため、古いデータを選択した場合には、環境が変化している可能性があることを前もって予測できるため、過去の映像データと現在の映像データとが大きく異なった場合でも、驚きや意外感を最小限にすることができる。また、過去に得た映像が古い領域はロボットが最近動作をしていない領域であるということを、空間全体の傾向として把握することができる。
Since the processing after step S322 is the same as the processing after step S116 of the first embodiment, detailed description thereof is omitted. The details of the operation of the
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。 The preferred embodiments of the present invention have been described in detail above with reference to the accompanying drawings, but the present invention is not limited to such examples. It is obvious that a person having ordinary knowledge in the technical field to which the present invention pertains can come up with various changes or modifications within the scope of the technical idea described in the claims. Of course, it is understood that these also belong to the technical scope of the present invention.
例えば、上記実施形態では、ディスプレイのタッチパネルで対象物を選択することとしたが、かかる例に限定されず、キー操作によって注目するべき対象物が順に変化する構成としてもよい。具体的には、ユーザがキーを押下するたびに、画面内の注目されている対象物と補助情報の表示が変化する。 For example, in the above embodiment, the object is selected by the touch panel of the display. However, the present invention is not limited to such an example, and the object to be noticed may be sequentially changed by a key operation. Specifically, every time the user presses a key, the display of the target object and auxiliary information in the screen changes.
また、上記実施形態では、大域映像として俯瞰映像を用いて説明したが、かかる例に限定されず、大域的映像を得ることができる魚眼レンズを用いて撮影した画像や、全方位画像などを用いてもよい。また、上記実施形態では、ロボット１０が２次元平面内で移動することとしたが、かかる例に限定されず、３次元空間内で移動させるようにしてもよい。
In the above embodiment, the overhead video is used as the global video. However, the present invention is not limited to such an example, and an image captured using a fisheye lens that can obtain a global video, an omnidirectional image, or the like is used. Also good. In the above embodiment, the
例えば、本明細書の情報処理装置１００、２００、３００の処理における各ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はない。すなわち、情報処理装置１００、２００、３００の処理における各ステップは、異なる処理であっても並列的に実行されてもよい。
For example, each step in the processing of the
また、情報処理装置１００、２００、３００などに内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを、上述した情報処理装置１００、２００、３００の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。
A computer program for causing hardware such as a CPU, a ROM, and a RAM built in the
１００、２００、３００ 情報処理装置
１０１ 映像表示部
１０２ 映像操作入力部
１０３ 操作用映像表示部
１０４ 大域映像取得部
１０６ ロボット搭載映像取得部
１０７ 制御部
１０８ ロボット位置情報取得部
１０９ 過去映像データベース
１１０ 入力指令変換部
１１０１ 自動操作部
１３０１ 映像加工部
１０ ロボット
100, 200, 300
Claims (7)
前記所定空間内の位置情報を取得する位置情報取得部と、
前記所定空間内で撮像された映像データと、前記映像データの撮像された位置および向きの情報を含む映像情報とを関連付けて記憶している記憶部と、
前記大域映像内に存在し任意の位置および向きを示すポインタの示す位置および向きに対応する前記映像データを、前記大域映像に重畳して表示画面に表示する映像表示部と、
を備え、
撮像装置により撮像された映像を取得する映像取得部を備え、
前記映像取得部は、前記ポインタの示す位置および向きの映像を取得し、
前記撮像装置の位置および向きを制御する制御部と、
ユーザ操作に応じて前記映像表示部により表示された前記映像データを選択する選択部と、
を備え、
前記制御部は、前記選択部により選択された前記映像データに関連付けられた映像情報に基づいて前記撮像装置の位置および向きを変更させる、情報処理装置。 A global video acquisition unit that acquires global video in a predetermined space;
A position information acquisition unit for acquiring position information in the predetermined space;
A storage unit that stores video data captured in the predetermined space in association with video information including information on a position and orientation of the video data captured;
A video display unit that superimposes the video data corresponding to a position and orientation indicated by a pointer indicating an arbitrary position and orientation in the global video and displays the video data on a display screen in a superimposed manner;
Equipped with a,
A video acquisition unit for acquiring video captured by the imaging device;
The video acquisition unit acquires a video of the position and orientation indicated by the pointer,
A control unit for controlling the position and orientation of the imaging device;
A selection unit that selects the video data displayed by the video display unit in response to a user operation;
With
The information processing apparatus, wherein the control unit changes the position and orientation of the imaging device based on video information associated with the video data selected by the selection unit.
前記制御部は、前記大域映像上の前記撮像装置の映像に対するユーザの接触操作に応じて、前記撮像装置の位置および向きを変更させることを特徴とする、請求項２に記載の情報処理装置。 The global video includes a video showing the position and orientation of the imaging device,
The information processing apparatus according to claim 2 , wherein the control unit changes a position and an orientation of the imaging device according to a user's contact operation with respect to an image of the imaging device on the global video.
前記制御部は、前記移動体の位置および向きを変更させることを特徴とする、請求項１に記載の情報処理装置。 The imaging device is provided in a movable body that is movable,
The information processing apparatus according to claim 1 , wherein the control unit changes a position and an orientation of the moving body.
前記移動体操作部は、前記撮像装置を用いて撮像した映像データと、前記移動体の位置および向きを含む移動体情報とを関連付けて前記記憶部に記憶することを特徴とする、請求項４に記載の情報処理装置。 A moving body operating unit that moves the moving body to an arbitrary position and causes the moving body to capture an image;
The mobile operating unit is characterized with video data captured, that stored in the storage unit in association with the mobile body information including the position and orientation of the moving object using the imaging device, according to claim 4 The information processing apparatus described in 1.
任意の位置および向きを示すポインタを含む前記所定空間内の大域映像を取得するステップと、
前記大域映像から前記所定空間内の位置情報を取得するステップと、
撮像装置により撮像された、前記ポインタの示す位置および向きに対応する映像データを取得するステップと、
前記映像データを、前記所定空間内で撮像された映像データと、前記映像データの撮像された位置および向きの情報を含む映像情報とを関連付けて記憶している記憶部から取得するステップと、
前記記憶部から取得した前記映像データを前記大域映像に重畳して表示画面に表示するステップと、
ユーザ操作に応じて前記映像データを選択するステップと、
前記映像データに関連付けられた映像情報に基づいて前記撮像装置の位置および向きを変更させるステップと、
を含むことを特徴とする、映像表示方法。
A video display method for superimposing video data captured at an arbitrary position and orientation in the predetermined space on a global video in the predetermined space,
Obtaining a global image in the predetermined space including a pointer indicating an arbitrary position and orientation;
Obtaining position information in the predetermined space from the global video;
Obtaining video data imaged by the imaging device and corresponding to the position and orientation indicated by the pointer;
Acquiring pre SL video data, the video data captured at a predetermined space from the storage unit which stores in association with the image information including the captured position and orientation information of the image data,
Superimposing the video data acquired from the storage unit on the global video and displaying it on a display screen;
Selecting the video data in response to a user operation;
Changing the position and orientation of the imaging device based on video information associated with the video data;
A video display method comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010017930A JP5397245B2 (en) | 2010-01-29 | 2010-01-29 | Information processing apparatus and information processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010017930A JP5397245B2 (en) | 2010-01-29 | 2010-01-29 | Information processing apparatus and information processing method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2011158956A JP2011158956A (en) | 2011-08-18 |
| JP5397245B2 true JP5397245B2 (en) | 2014-01-22 |
Family
ID=44590883
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010017930A Active JP5397245B2 (en) | 2010-01-29 | 2010-01-29 | Information processing apparatus and information processing method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5397245B2 (en) |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3815689B2 (en) * | 2003-11-20 | 2006-08-30 | 松下電器産業株式会社 | Moving object detection apparatus and moving object detection method |
| JP4761865B2 (en) * | 2005-07-22 | 2011-08-31 | 株式会社日立製作所 | Spatial simulation program and apparatus |
-
2010
- 2010-01-29 JP JP2010017930A patent/JP5397245B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2011158956A (en) | 2011-08-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102638526B1 (en) | Modifying scenes in augmented reality using parameterized markers | |
| JP6167703B2 (en) | Display control device, program, and recording medium | |
| JP3926837B2 (en) | Display control method and apparatus, program, and portable device | |
| JP6065195B2 (en) | Display image forming apparatus and display image forming method | |
| JP2012212345A (en) | Terminal device, object control method and program | |
| JP2011146796A5 (en) | ||
| JP6622650B2 (en) | Information processing apparatus, control method therefor, and imaging system | |
| JP6230113B2 (en) | Video instruction synchronization method, system, terminal, and program for synchronously superimposing instruction images on captured moving images | |
| US11044398B2 (en) | Panoramic light field capture, processing, and display | |
| CN105474303A (en) | Information processing device, information processing method, and program | |
| CN112954195A (en) | Focusing method, focusing device, electronic equipment and medium | |
| JP6686547B2 (en) | Image processing system, program, image processing method | |
| JP6544996B2 (en) | Control device and control method | |
| WO2011096571A1 (en) | Input device | |
| CN111176425A (en) | Multi-screen operation method and electronic system using same | |
| JP5446700B2 (en) | Information processing apparatus, information processing method, and program | |
| WO2015072091A1 (en) | Image processing device, image processing method, and program storage medium | |
| JP6146869B2 (en) | Video instruction display method, system, terminal, and program for superimposing instruction image on photographing moving image synchronously | |
| US20150022559A1 (en) | Method and apparatus for displaying images in portable terminal | |
| JP5397245B2 (en) | Information processing apparatus and information processing method | |
| JP2003150599A (en) | Electronic publication browsing method and device therefor, book for electronic publication browsing, electronic publication browsing program and recording medium program with the program recorded thereon | |
| JP2018032991A (en) | Image display unit, image display method and computer program for image display | |
| JP2012173858A (en) | Omnidirectional image generation method, image generation device and program | |
| JP5229141B2 (en) | Display control apparatus and display control method | |
| JP6443505B2 (en) | Program, display control apparatus, and display control method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20121115 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130626 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130709 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130813 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130902 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130924 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131007 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5397245 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |