WO2017013986A1 - 情報処理装置、端末、および、遠隔通信システム - Google Patents

情報処理装置、端末、および、遠隔通信システム Download PDF

Info

Publication number
WO2017013986A1
WO2017013986A1 PCT/JP2016/068390 JP2016068390W WO2017013986A1 WO 2017013986 A1 WO2017013986 A1 WO 2017013986A1 JP 2016068390 W JP2016068390 W JP 2016068390W WO 2017013986 A1 WO2017013986 A1 WO 2017013986A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
unit
marker
information
position information
Prior art date
Application number
PCT/JP2016/068390
Other languages
English (en)
French (fr)
Inventor
拓人 市川
大津　誠
太一 三宅
Original Assignee
シャープ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シャープ株式会社 filed Critical シャープ株式会社
Priority to US15/745,649 priority Critical patent/US20180211445A1/en
Priority to JP2017529513A priority patent/JPWO2017013986A1/ja
Publication of WO2017013986A1 publication Critical patent/WO2017013986A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/02—Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip

Definitions

  • the present invention relates to an information processing apparatus, a terminal, and a telecommunications system that perform processing related to images taken from at least two viewpoints.
  • the operator receives an instruction from an instructor at a remote place using a videophone.
  • the worker photographs the work location and the state of the work, and transmits the video to the instructor.
  • the instructor transmits the instruction mainly by voice based on the received video.
  • the operator can receive an instruction from the instructor for unexpected problems that are not described in the manual or cases that must be determined empirically according to the situation.
  • the instructor cannot point to the real object and give a visual instruction.
  • the instructor should use an expression that can specify a position such as “from the top to the right”, not an instruction that includes an ambiguous expression “here” or “that”.
  • Patent Document 1 discloses an AR-type work support method using AR technology.
  • Patent Document 1 and Non-Patent Document 1 an operator transmits a captured image (hereinafter referred to as a captured image) to an instructor, and the instructor places a mark on the image received from the operator at an indicated location.
  • a captured image hereinafter referred to as a captured image
  • a composite video a video installed to the worker to the worker.
  • Patent Document 1 describes a method in which an operator uses a head-mounted video display device as a display device.
  • Non-Patent Document 1 describes a method in which an operator uses a mobile terminal as a display device.
  • the methods of Patent Document 1 and Non-Patent Document 1 have an advantage that an efficient instruction can be performed as compared with a videophone (videophone) because the location designated by the instructor is clearly indicated visually.
  • Japanese Patent Publication Japanese Patent Laid-Open No. 2008-12495
  • Patent Document 1 and Non-Patent Document 1 have the problem that the efficiency of instruction is reduced when there are a plurality of workers in different positions, although they are in the same space.
  • the method described in Patent Literature 1 and Non-Patent Literature 1 is used as a method for the instructor to give an instruction to the worker.
  • the instructor installs the mark at the designated location and gives instructions to the video, and the instructor places the mark at the designated location and gives an instruction to each of the images taken by all workers. There is a method.
  • an operator places a mark at an instruction location on an image shot with a fixed-point camera and gives an instruction
  • an operator prepares a fixed-point camera that shoots a work object at a specified position.
  • a photographed image (hereinafter referred to as a fixed-point photographed image) is transmitted to the instructor.
  • the instructor installs a mark at the indicated location for the received fixed-point shot video and transmits it to all workers.
  • the worker since the position where the worker performs the work and the position taken by the fixed point camera do not match, the worker needs to visually determine the designated place and the work place, and the work efficiency is improved. There is a problem of lowering.
  • the instructor In the method in which the instructor installs a mark at the indicated location for each video imaged by all workers, the instructor gives the same instruction to each task when giving instructions common to all workers. It is necessary to give instructions to a person who cannot perform efficient instructions. In addition, since the timing of giving instructions differs for each worker, the instructor cannot give instructions on the content that requires immediateness to all workers at the same time. In addition, in order for the instructor to determine the instructed location, the instructor needs to determine the position taken by each worker from the received video, and there is a problem that instruction efficiency is reduced.
  • the present invention has been made in view of the above problems, and an object of the present invention is to provide a technique capable of efficiently giving instructions to a plurality of workers in the same space but in different positions.
  • an information processing apparatus that performs processing related to an image captured from at least two viewpoints, and is a first image captured from a first viewpoint.
  • an image acquisition unit that acquires a second image taken from the second viewpoint, and position information that acquires first position information that is position information of a marker superimposed on the first image
  • Inter-image conversion parameter calculation for calculating an inter-image conversion parameter for converting the first image into the second image with reference to the acquisition unit, the first image, and the second image
  • a marker information conversion unit that converts the first position information into second position information that is position information of a marker superimposed on the second image with reference to the inter-image conversion parameter; It has.
  • efficient instructions can be given to a plurality of workers in the same space but at different positions.
  • augmented reality (AR) -type work support that allows a user to work while viewing a composite video displayed by synthesizing work instructions created by computer graphics (CG) in a captured video.
  • CG computer graphics
  • a corresponding feature point is obtained.
  • An example of specifying and obtaining an inter-image conversion parameter will be described. Details of the inter-image conversion parameter will be described later.
  • FIG. 1 is a schematic diagram illustrating an example of a usage scene of the telecommunications apparatus A according to the present embodiment.
  • the left side of FIG. 1 is a work site 1100, and the right side of FIG. 1 shows an instruction room 1110, which are located away from each other.
  • the workers 1101 and 1104 in the work site 1100 receive work instructions regarding the work object 1102 from the instruction person 1111 in the instruction room 1110 at the work terminal (terminal) 1103 or 1105.
  • This is a scene where work is being performed.
  • a worker 1101 and a worker 1104 who are repairing the work object 1102 have received instructions regarding repair from an instructor 1111 who supervises the worker.
  • Work cameras 1103a and 1105a are provided on the rear surfaces of the work terminal 1103 and the work terminal 1105, respectively, and the work object 1102 can be photographed.
  • an image photographed by the camera 1103a is referred to as an image photographed from the first viewpoint.
  • An image taken with the camera 1105a is referred to as an image taken from the second viewpoint.
  • Each of the work terminal 1103 and the work terminal 1105 can also transmit a captured video to a remote place.
  • An instruction device (information processing device) 1112 installed in the instruction room 1110 receives captured images sent from the remote work terminal 1103 and the work terminal 1105 and causes the display device 1113 to display these images. be able to. Then, the instructor 1111 issues a work instruction to the worker 1101 or the worker 1104 on the display device 1113 while viewing the work target image displayed on the display device 1113.
  • FIG. 2 is a diagram illustrating display contents of the screens of the work terminals 1103 and 1105 and the instruction device 1112 according to the present embodiment.
  • FIG. 2A is a diagram showing the display contents of the screens of the work terminals 1103 and 1105.
  • FIG. 2B is a diagram showing the display content of the screen of the instruction device 1112.
  • an image 1200 received from the worker 1101 and taken from the first viewpoint, and an image 1201 received from the worker 1104 and taken from the second viewpoint are displayed. Is displayed divided on the screen.
  • the instructor 1111 can superimpose a pointer, a marker, or the like indicating the indicated position input using the touch panel function or the mouse function on the display image 1200 or 1201.
  • the designated position indicated by the marker or the like in one video is simultaneously converted into the corresponding designated position in the other video, and the marker or the like is displayed to indicate the designated position in the other video.
  • information for displaying a pointer, a marker, and the like on the display screen is collectively referred to as marker information, and details will be described later.
  • the marker information can include information for displaying a text or a picture on the display screen.
  • the marker information includes marker position information.
  • the marker information is sent from the pointing device 1112 to the work terminal 1103 or the work terminal 1105, and the work terminals 1103 and 1105 that have received the marker information display the marker superimposed on the video obtained by photographing the work target.
  • the pointing device 1112 transmits the video with the marker superimposed thereon to the work terminal 1103 or the work terminal 1105, and the work terminals 1103 and 1105 receive the video with the marker superimposed thereon and display the video as it is. It is good.
  • the worker can view the image on the display unit of the work terminal, and thereby can visually grasp the work instruction from the remote place (instruction room 1110).
  • a marker can be superimposed on the video based on the input of the worker 1101 or the worker 1104, and the workers 1101, 1104 and the instructor 1111 can share the marker information.
  • the form of the terminal of the instructor in FIG. 1 may be any shape, and it is also possible to use a tablet-like device used by an operator.
  • the shape of the worker's terminal may be any shape.
  • FIG. 3 is a block diagram showing the configuration of the telecommunications system according to the present embodiment.
  • the work terminal 1103, the work terminal 1105, and the instruction device 1112 are connected to each other by a public communication network (for example, the Internet) NT as shown in FIG. 3, and communicate according to a protocol such as TCP / IP or UDP. can do.
  • a public communication network for example, the Internet
  • NT public communication network
  • the telecommunications apparatus A is further provided with a management server 1300 for collectively managing marker information, and is connected to the same public communication network NT.
  • the work terminal 1103 or the work terminal 1105 can also be connected to the public communication network NT by wireless communication.
  • wireless communication can be realized, for example, by Wi-Fi (Wi-Fi) (registered trademark) connection of the international standard (IEEE 802.11) defined by Wi-Fi Alliance (US industry group). It is.
  • Wi-Fi Wi-Fi
  • IEEE 802.11 registered trademark
  • Wi-Fi Alliance US industry group
  • the communication network a public communication network such as the Internet has been shown. However, for example, a LAN (Local Area Network) used in a company or the like can be used, and the configuration is a mixture of them. May be.
  • FIG. 3 shows a configuration using the management server 1300, a form in which the work terminal 1103, the work terminal 1105, and the instruction device 1112 directly communicate by incorporating the function of the management server into the instruction device 1112. But there is no problem. Therefore, in the following description, a method in which the work terminal 1103, the work terminal 1105, and the pointing device 1112 directly exchange will be described. In addition, description of general audio communication processing and video communication processing other than additional screen information used in a normal video conference system is omitted as long as there is no problem.
  • the telecommunication device A includes the instructor's instruction device 1112 and the operator's work terminals 1103 and 1105, which will be described in turn.
  • FIG. 4 is a block diagram illustrating a configuration example of the pointing device 1112 according to the present embodiment.
  • the instruction device 1112 includes a communication unit 1400 for receiving externally transmitted video and marker information, transmitting marker information generated internally to the outside, and a video synthesizing unit that synthesizes a marker indicated by the marker information with the video. 1401, a display unit 1402 for displaying a composite video, an external input / output unit 1403 for accepting input from a user, and the video itself or output results of video processing, marker information, and various types used for video processing A data storage unit 1404 stores a marker information management unit 1405 for managing marker information, a control unit 1406 for controlling the entire pointing device 1112, and exchanges data between the blocks. For data bus 1407.
  • the communication unit 1400 is configured by an FPGA (Field Programmable Gate Array), an ASIC (Application Specific Integrated Circuit), and the like, and is a processing block that transmits and receives data to and from the outside. Specifically, it receives a video code and marker information sent from a work terminal, which will be described later, and transmits marker information created internally.
  • the video code is data on which an encoding process suitable for encoding a moving image has been executed.
  • H.264 encoded data H. H.264 encoding is one of the standards for compression encoding of moving image data, and is a method standardized by ISO (International Organization for Standardization).
  • the video composition unit 1401 is configured by an FPGA, an ASIC, or a GPU (Graphics Processing Unit), and performs a process of synthesizing marker information managed by a marker information management unit 1405 (to be described later) with the input video.
  • the marker information is information necessary for generating instruction contents that can be expressed visually, such as markers and pointers.
  • FIG. 6 is a diagram illustrating an example of the marker information 1600 according to the present embodiment.
  • the marker information 1600 includes various attributes (ID, time stamp, coordinates, registration local peripheral image, marker type, color, size, thickness), such as position and shape. It is an information group for controlling the display state.
  • the attribute described in FIG. 6 is an example, and the marker information 1600 may have a part of the attribute described in FIG. 6 or may have additional attribute information in addition to the attribute described in FIG. Also good.
  • FIG. 7 is a view for explaining the composition processing of the video 1700 and the marker 1701 according to the present embodiment.
  • a marker 1701 position and shape generated according to the attributes included in the marker information 1600 is combined with the input video 1700 to generate a composite video 1702.
  • the display unit 1402 includes an LCD (Liquid Crystal Display), an organic EL display (OELD: Organic Luminescence Display), and the like.
  • the display unit 1402 can be provided with a touch panel function that allows the terminal to be operated by pressing the display surface. By using this function, the place where the marker is set can be specified. can do.
  • the display unit 1402 may be externally installed outside the pointing device 1112 via the external input / output unit 1403.
  • the external input / output unit 1403 has input / output ports such as USB (Universal Serial Bus) and HDMI (High Definition Multimedia Interface), and operates as an interface with the external storage.
  • USB Universal Serial Bus
  • HDMI High Definition Multimedia Interface
  • the storage unit 1404 includes, for example, a main storage device such as a RAM (Random Access Memory) and an auxiliary storage device such as a hard disk.
  • the main storage device is used to temporarily hold image data and image processing results.
  • the auxiliary storage device stores data for long-term storage as storage, such as captured image data and image processing results.
  • the marker information management unit 1405 is configured by FPGA, ASIC, and the like, and manages marker information. Specifically, the marker information management unit 1405 sequentially updates the position according to the insertion / deletion of marker information and the movement of the video, Perform the tracking process. Detailed information in the marker information management unit 1405 will be described later.
  • the control unit 1406 is configured by a CPU (Central Processing Unit) or the like, and performs processing command / control and data input / output control in each processing block.
  • a CPU Central Processing Unit
  • the data bus 1407 is a bus for exchanging data between each unit.
  • the instructor 1111 uses the display device 1113 to superimpose a marker on at least one of the images taken by a plurality of work terminals.
  • the pointing device 1112 converts the marker information to a position of another video corresponding to the superimposed position of the marker, and transmits the marker information to another work terminal.
  • the other work terminal receives the marker information, refers to it, and synthesizes the marker with another video imaged by the terminal. Thereby, the marker is displayed at a position corresponding to the superimposed position in the original video in the video of the other work terminal.
  • the pointing device 1112 is a tracking function that changes the marker overlap position according to the movement of the image generated by the movement of the worker himself or the operation of changing the acquired image range by the zoom process or the like by the worker or the instructor. It also has. With the tracking function, it is possible to display the marker so as to follow the video that changes as needed.
  • FIG. 5 is a block diagram illustrating a configuration of the marker information management unit 1405 according to the present embodiment.
  • the marker information management unit 1405 receives a plurality of image data, detects a feature point in each image, a feature point detection unit (image acquisition unit, frame acquisition unit) 1501, a reference An inter-frame conversion parameter calculation unit 1502 that calculates an inter-frame conversion parameter necessary for image conversion between the current frame (t) and the previous frame (t-1) of the captured video, and an inter-frame conversion parameter. And a marker information update unit 1503 for updating the superimposed position of markers already superimposed, a marker information storage unit (marker information acquisition unit) 1500 for storing the marker information being managed, and images of different workers An inter-image conversion parameter calculation unit 1504 for calculating an inter-image conversion parameter for converting between images, and an inter-image conversion parameter. It converts the marker information, and a marker information conversion unit 1505 for converting to be a marker information for the images of different operator terminal from the image as a reference.
  • the feature point detection unit 1501 receives from the data bus 1407 the current frame image (t) and the previous frame image (t ⁇ 1) in the reference video, and calculates the feature points.
  • the feature point is, for example, a pixel in which a plurality of edges are combined, and the feature point information can be calculated using, for example, SURF (Speeded Up Robust Features).
  • the feature point information is positional information of the detected feature points in the image coordinates and description information (feature amount) that can identify the feature points.
  • the feature point detection method is not limited to SURF, and any one or more of various feature point data called Prewitt filter, Laplacian filter, Canny filter, and SIFT (Scale-Invariant Feature Transform) should be used. You can also.
  • the calculated feature point and the feature amount describing the feature point are output to the inter-frame conversion parameter calculation unit 1502.
  • the feature point detection unit 1501 further receives an image of another worker terminal (for example, an image from the work terminal 1105) from the data bus 1407, similarly calculates a feature point and a feature amount, and outputs the result as an image. This is output to the inter-conversion parameter calculation unit 1504.
  • the inter-frame conversion parameter calculation unit 1502 receives information on the feature points of the current frame (t) and the previous frame (t ⁇ 1) in the reference video from the feature point detection unit 1501, the inter-frame conversion parameter calculation unit 1502 performs the following processing and An interframe conversion parameter for converting the above arbitrary image coordinates into the corresponding image coordinates of the current frame is calculated.
  • the subscript t-1 is the frame number
  • l in parentheses is the index of each feature point.
  • the corresponding position of the frame (t) is necessary to obtain the corresponding position of the frame (t) from the calculated feature point FP t ⁇ 1 of the frame (t ⁇ 1). If the time interval of each frame is sufficiently short, the amount of movement of the photographed object is Get smaller.
  • the corresponding point can be obtained by searching for a relatively narrow range based on the position of the original feature point.
  • OpenCV Open Source Computer Vision Library, a library for open source computer vision
  • cvCalcOpticalFlowLK is used to support the next frame.
  • the position can be calculated.
  • This function uses the Lucas-Kanade algorithm and is one of the methods for obtaining the position of the corresponding pixel in the next frame. Other methods can also be used.
  • the position of the feature point extracted in the (t ⁇ 1) th frame and the position of the corresponding point in the (t) th frame can be obtained.
  • 1401 converts the entire image. That is, the change in the image between frames is expressed as an image conversion. Specifically, the following conversion formula is used. With this conversion formula, the pixel (m, n) of the (t ⁇ 1) th video frame can be converted to (m ′, n ′) of the (t) th frame.
  • H * in this transformation is a 3 ⁇ 3 matrix and is called a homography matrix.
  • a homography matrix is a matrix that can projectively transform two images, and can approximate a change between successive frames under the above-mentioned assumptions.
  • each element of the homography matrix is defined as in (Expression 2)
  • the inter-frame conversion parameter calculation unit 1502 performs coordinate conversion according to (Expression 1) under the correspondence of the feature points between successive frames.
  • the value of each 3 ⁇ 3 element is obtained so as to minimize the error.
  • each element is calculated so as to minimize the following expression (Expression 3).
  • argmin ( ⁇ ) is a function for calculating a parameter below argmin that minimizes the value in parentheses.
  • (m t-1 (l), n t-1 (l)) is the coordinates (FP t-1 (l)) of the feature point of the (t-1) -th frame, and (m t (l ), N t (l)) respectively indicate the coordinates (FP t (l)) of the feature point of the (t ⁇ 1) -th frame corresponding thereto.
  • the inter-frame conversion parameter calculation unit 1502 can obtain a matrix and its conversion formula for converting the coordinates in the image one frame before into the corresponding coordinates of the current frame. This matrix is called a conversion parameter.
  • the inter-frame conversion parameter calculation unit 1502 calculates the conversion parameter shown in (Equation 3) and transmits it to the marker information update unit 1503.
  • the marker information update unit 1503 receives the conversion parameter and performs an update process of (Equation 1). At this time, the marker information is stored in the marker information storage unit 1500.
  • the marker information update unit 1503 converts the coordinates of the stored marker information image.
  • the updated marker information is sent again to the marker information storage unit 1500 and stored for updating the next frame. Further, the updated marker information is output to the data bus 1407 and then sent to the video composition unit 1401 and the communication unit 1400.
  • the marker information storage unit 1500 adds and deletes marker information, and stores the marker information updated by the marker information update unit 1503.
  • the marker information storage unit 1500 determines the target marker information in accordance with an ID that is one of the marker information attributes. Updates can be made.
  • the inter-image conversion parameter calculation unit 1504 calculates parameters for converting images between different workers.
  • the method may be the same as the method described in the above-described interframe conversion parameter calculation unit.
  • the inter-image conversion parameter calculation unit 1504 refers to the feature points of two images from different work terminals detected by the feature point detection unit 1501, calculates the inter-image conversion parameter of (Equation 2), and the image The interval conversion parameter is output to the marker information conversion unit 1505.
  • the feature point that should be referred to by the inter-image conversion parameter calculation unit 1504 is a corresponding part between two images. Note that the corresponding part is not limited to the feature point, and the inter-image conversion parameter may be calculated with reference to the corresponding part other than the feature point.
  • the marker information conversion unit 1505 Upon receiving the conversion parameter from the inter-image conversion parameter calculation unit 1504, the marker information conversion unit 1505 uses the above-described (Equation 1) to adjust the updated marker information to an image directed to another worker, and Performs processing to convert coordinates.
  • the converted marker information is output to the data bus 1407 and sent to the video composition unit 1401 and the communication unit 1400 in the same manner as the updated marker information.
  • FIG. 8 is a flowchart showing processing of the pointing device 1112 according to the present embodiment.
  • FIG. 8 illustrates a process in which the instruction device 1112 receives images from a plurality of work terminals sent from the outside, updates the marker information registered in the marker information management unit 1405, and displays it on the display unit 1402. The process of outputting the updated marker information from the communication unit 1400 to the outside is shown.
  • the instruction device 1112 When the instruction device 1112 receives a video code from the outside (for example, a work terminal described later) by the function of the communication unit 1400, the instruction device 1112 performs a decoding process and reproduces the original video signal (step S1100). Thereafter, the instruction device 1112 outputs the video signal to the storage unit 1404, and further outputs the video signal to the marker information management unit 1405 when the decoded video signal is the above-described reference video.
  • the marker information management unit 1405 receives the image of the reference video
  • the marker information management unit 1405 further obtains the previous frame image of the previous frame in the reference video from the storage unit 1804.
  • the marker information management unit 1405 updates the coordinates of the stored marker information image based on the inter-frame conversion parameter calculated using the current frame image of the reference video and the previous frame image (step S1101). ). Based on the updated result, the stored marker information is updated, and the updated result is output to the video composition unit 1401. Subsequently, the marker information management unit 1405 acquires the current frame data of the image of the work terminal that is not the reference video stored in the storage unit 1404, and the correspondence relationship with the feature point of the current frame of the reference video described above. The marker information updated in step S1101 is separately converted based on the inter-image conversion parameter calculated from (step S1102).
  • the converted marker information is marker information for a different work terminal different from the reference video.
  • the marker information management unit 1405 outputs the converted marker information to the video composition unit 1401.
  • the video composition unit 1401 uses the updated marker information received from the marker information management unit 1405 and the converted marker information to superimpose and synthesize markers on each video (step S1103). Thereafter, the video composition unit 1401 transmits the composite video to the display unit 1402, and the display unit 1402 displays the composite video on the screen (step S1104).
  • the marker information management unit 1405 outputs the updated marker information and the converted marker information to the communication unit 1400, and the communication unit 1400 transmits the marker information to each corresponding work terminal (step S1105). ).
  • the control unit 1406 determines whether or not to continue the processing of the instruction device 1112 (step S1106). When the process is continued (YES in S1106), the process returns to step S1100 and the above-described process is repeated. When the process is terminated (NO in S1106), all the processes are terminated.
  • FIG. 9 is a flowchart illustrating an example of a process in which the marker information management unit 1405 according to the present embodiment registers and deletes marker information.
  • the communication unit 1400 when the communication unit 1400 receives marker information sent from the outside of the pointing device 1112, it outputs it to the marker information management unit 1405 (step S1200).
  • the display unit 1402 outputs marker information corresponding to the marker to the marker information management unit 1405 when the marker is superimposed on the position input by the instructor pressing the display screen (step S1201).
  • the marker information management unit 1405 receives the marker information input from the outside and the marker information generated by the display unit 1402, the marker information management unit 1405 refers to the ID included in the marker information stored in the inside and refers to the same ID. It is determined whether or not there is marker information (step S1202).
  • the marker information management unit 1405 deletes all marker information having the same ID (step S1203).
  • the marker information management unit 1405 adds marker information as new marker information (step S1204).
  • the control unit 1406 determines whether or not to continue the processing of the instruction device 1112 (step S1205). When the process is continued (NO in step S1205), the process returns to step S1100 and the above-described process is repeated. When the process is to be ended (YES in step S1205), all the processes are ended.
  • FIG. 10 is a block diagram illustrating a configuration of the work terminal 1103 according to the present embodiment.
  • the difference in configuration between the work terminal 1103 (same for the work terminal 1105) and the pointing device 1112 is related to the video acquisition unit and the marker management unit. That is, the work terminal 1103 has a video acquisition unit 1805 for acquiring video, but does not have a marker management unit. Other configurations are the same as those of the pointing device 1112. That is, the communication unit (transmission unit, position information acquisition unit) 1800 is the communication unit 1400, the video synthesis unit 1801 is the video synthesis unit 1401, the display unit 1802 is the display unit 1402, and the external input / output unit 1803 is the external input / output unit. 1403, a storage unit 1804, a storage unit 1404, a control unit 1806, a control unit 1406, and a data bus 1807 have the same functions.
  • the video acquisition unit 1805 is configured to include an optical component for capturing the shooting space as an image into the work terminal 1103, and an imaging element such as a CMOS (Complementary Metal Oxide Semiconductor) or a CCD (Charge Coupled Device). Image data generated based on the electrical signal obtained by the photoelectric conversion is output to the data bus 1807.
  • the video acquisition unit 1805 may output the captured information as it is to the data bus 1807 as the original data, or in advance image processing (luminance imaging, noise, etc.) so that it can be easily processed by a video processing unit (not shown).
  • the video data may be output to the data bus 1807 as a video data that has been removed, or both of them may be output. Furthermore, it can be configured to send camera parameters such as an aperture value and a focal length at the time of shooting to the storage unit 1804.
  • the video composition unit 1801 combines the acquired video with the marker information sent from the outside, and the display unit 1802 displays the combined video.
  • the communication unit 1800 performs an encoding process suitable for the moving image signal described above on the synthesized video, and outputs the resultant video code to the outside (for example, the instruction device 1112 described above).
  • the process starts from a predetermined state and updates the corresponding points used for the calculation of the inter-image conversion parameter as needed. I do.
  • the inter-image conversion parameter can be calculated with higher accuracy than in the first embodiment.
  • Corresponding points are corresponding portions between two images. Note that the corresponding portion is not limited to the corresponding point, and the inter-image conversion parameter may be calculated with reference to a portion other than the corresponding point.
  • the feature amount describing the feature point detected from the reference video is compared with the feature amount describing the feature point detected from the video of the work terminal different from the reference.
  • the feature point to be identified is specified, and the inter-image conversion parameter of (Equation 2) is obtained.
  • Equation 2 the inter-image conversion parameter of (Equation 2) is obtained.
  • a method is used in which the coordinates of the corresponding points are updated as needed, starting from a predetermined state in which the correspondence is correctly known in advance, and the conversion parameters are calculated.
  • the first method is a method in which a point to be designated is determined by actually designating the point to be designated with a hand or a finger and photographing the state.
  • a point to be designated is determined by actually designating the point to be designated with a hand or a finger and photographing the state.
  • the second method is a method in which the erroneous correspondence as described above is unlikely to occur, that is, a state where the work terminal is placed at the same position and the correspondence relationship is required correctly. In this case, since the shooting direction and the position of the work terminal are almost the same, the correspondence can be easily obtained and the accuracy can be improved.
  • any method may be used as long as it correctly obtains the relationship between points corresponding to each other in videos acquired by a plurality of work terminals.
  • the point in the obtained reference image is P base (j, i)
  • the point in the image of the work terminal different from the reference is P tab (j, i)
  • i is the frame number. That is, P base (0, i) and P tab (0, i),..., P base (3, i) and P tab (3, i) correspond to each other.
  • FIG. 11 is a diagram for explaining calculation of an inter-image conversion parameter by tracking corresponding pixels according to the present embodiment. As indicated by reference numeral 2100 in FIG. 11, point A corresponds to point A ′, point B corresponds to point B ′,..., Point D corresponds to point D ′.
  • the marker information update unit 1503 calculates the movement between frames for each point.
  • the movement between frames may be calculated using the update method using the inter-frame conversion parameter described above, and can be calculated as follows.
  • H s * (i) indicates a conversion parameter between frames to be converted from frame (i) to frame (i + 1).
  • This conversion parameter is calculated by the same method as the above-described interframe conversion parameter calculation unit 1502.
  • the four points for obtaining the correspondence relationship in the frame i can be sequentially shifted in the video of the frame t (see 2101 in FIG. 11).
  • the parameter of (Expression 2) can be calculated to obtain the conversion parameter between images.
  • the third embodiment a method for converting and displaying the video of each worker terminal displayed on the display device 1113 of the pointing device 1112 into a video from the same viewpoint using the inter-image conversion parameter described above will be described.
  • the screen is divided and the video from each worker terminal is displayed as it is.
  • the images are taken from different viewpoints as shown in FIG.
  • the instructor needs to superimpose the marker while grasping (converting) the position of the viewpoint with respect to the video, but it may be difficult to superimpose the marker on the same location of different videos. Therefore, in the present embodiment, a description will be given of a method for displaying images based on the viewpoint of the reference image so that the images displayed on the screen are based on the same viewpoint.
  • Equation 1 is modified as follows.
  • H * ⁇ 1 is an inverse matrix of the above-described transformation matrix.
  • (M ′, n ′) are the coordinates in the reference image, and (m, n) indicate the coordinates of the image of the work terminal different from the reference.
  • FIG. 12 is a diagram illustrating an example in which the viewpoints of two display images are the same in the display device 1113 according to the present embodiment. As shown in the display device 1113 of FIG. 12, the video of the worker 1104 is converted from the video 1201 to the video 3100 and displayed as having the same viewpoint as the video 1200.
  • interpolation may be performed using neighboring pixels.
  • An arbitrary method may be used as an interpolation method.
  • a nearest neighbor method is used to interpolate pixels between the pixels. The above processing is performed in the video composition unit (image conversion unit) 1401.
  • the screen of each worker is displayed on the display device 1113 by dividing the screen of the display device 1113.
  • the display area of each worker's video displayed on the display device 1113 becomes small, and the instruction efficiency of the instructor 1111 may decrease.
  • the instructor first selects one of the images from the worker 1101 and the image from the worker 1104 as the screen to be used for the instruction from the display state as shown in FIG. Select.
  • FIG. 13 is a diagram illustrating an example in which only one worker screen is displayed on the display screen of the display device 1113 according to the present embodiment.
  • the display device (display unit, instruction receiving unit) 1113 displays only the image from the worker 1101 selected by the instructor.
  • the instruction device 1112 updates the marker information corresponding to the superimposed marker by using (Equation 1), and the marker information on the work terminal 1103 and the work terminal 1105 is updated.
  • Equation 1 the marker information on the work terminal 1103 and the work terminal 1105 is updated.
  • the display area does not become small and the working efficiency of the pointing device does not decrease.
  • the shooting position and orientation (shooting direction) of the image used by the instructor 1111 for the pointing operation are set to the work terminal 1103 or the work terminal 1105. A method of displaying on the screen is described.
  • the instructor verbally explains the location information such as marker information that has already been set, or the characteristics of the object to be imaged and the designated location, to the plurality of workers, the number of locations corresponding to the designated location is It may be different for each worker.
  • FIG. 14 is a diagram illustrating an example in which display content varies depending on the image of the worker according to the present embodiment.
  • the instructor describes the screen while viewing the screen of the worker 1104, it is assumed that the instructed position 5104 is described using, for example, the expression “round marker”.
  • the marker information 5102 corresponding to the “round marker” and the marker information 5103 are shown in the video of the worker 1101, and it may not be possible to determine which explanation is currently being made.
  • the instructor verbally explains the marker information that has already been superposed on the plurality of workers, or the orientation of the characteristics of the object to be imaged and the designated location, the orientation of the location corresponding to the designated location is each There may be different cases for different workers.
  • the work that received this instruction is a downward work on the screen of the work terminal 1103 for the worker 1101 and differs from the content of the verbal instruction, so that the work cannot be performed correctly.
  • FIG. 15 is a diagram showing an example of displaying the shooting range and shooting direction of an image used for the instruction operation according to the present embodiment as the above-described handling method.
  • FIG. 15A is a diagram showing display contents on the screens of the work terminals 1103 and 1105.
  • FIG. 15B is a diagram showing the display content of the screen of the instruction device 1112.
  • the video composition unit (information composition unit) 1401 works with a frame 5201 representing the photographing range of the image used for the instruction of the instructor 1111 and a mark 5202 representing the photographing direction.
  • the display unit 1402 displays the video by superimposing the video on the terminal 1103. By this method, the range and orientation of the video that the instructor is viewing for explanation are revealed on the operator's video.
  • the marker information management unit (information synthesis unit) 1405 calculates the frame 5201 and the mark 5202.
  • the conversion parameter of (Expression 2) and the conversion expression of (Expression 1) an arbitrary point in the reference image can be converted into the coordinates of the work terminal image different from the reference. . Therefore, by converting the coordinates of the four corners of the reference video according to (Equation 1), the display range of the reference video in the video of the work terminal different from the reference is calculated. This calculated display range is defined as a frame 5201.
  • the calculated range and orientation may be displayed as a frame 5203 and a mark 5204 superimposed on the video 5200.
  • each component for realizing the function is described as being a different part, but it must actually have a part that can be clearly separated and recognized in this way. It doesn't have to be.
  • the remote operation support apparatus that implements the functions of each of the above embodiments may configure each component for realizing the function using, for example, different parts, or all configurations.
  • the elements may be mounted on one LSI. That is, what kind of mounting form should just have each component as a function.
  • each component of the present invention can be arbitrarily selected, and an invention having a selected configuration is also included in the present invention.
  • a program for realizing the functions described in the above embodiments is recorded on a computer-readable recording medium, and the program recorded on the recording medium is read into a computer system and executed. Processing may be performed.
  • the “computer system” includes an OS and hardware such as peripheral devices.
  • the “computer system” includes a homepage providing environment (or display environment) if a WWW system is used.
  • the “computer-readable recording medium” means a storage device such as a flexible disk, a magneto-optical disk, a portable medium such as a ROM and a CD-ROM, and a hard disk incorporated in a computer system. Furthermore, the “computer-readable recording medium” dynamically holds a program for a short time like a communication line when transmitting a program via a network such as the Internet or a communication line such as a telephone line. In this case, a volatile memory in a computer system serving as a server or a client in that case, and a program that holds a program for a certain period of time are also included.
  • the program may be for realizing a part of the functions described above, and may be capable of realizing the functions described above in combination with a program already recorded in the computer system. .
  • Each functional block of the marker information management unit 1405 shown in FIG. 5 may be realized by a logic circuit (hardware) formed in an integrated circuit (IC chip) or the like, or software using a CPU (Central Processing Unit). It may be realized by.
  • a logic circuit hardware
  • IC chip integrated circuit
  • CPU Central Processing Unit
  • the marker information management unit 1405 includes a CPU that executes instructions of a program that is software that implements each function, and a ROM (Read Only Memory) in which the program and various data are recorded so as to be readable by the computer (or CPU). ) Or a storage device (these are referred to as “recording media”), a RAM (Random Access Memory) for expanding the program, and the like. And the objective of this invention is achieved when a computer (or CPU) reads the said program from the said recording medium and runs it.
  • a “non-temporary tangible medium” such as a tape, a disk, a card, a semiconductor memory, a programmable logic circuit, or the like can be used.
  • the program may be supplied to the computer via an arbitrary transmission medium (such as a communication network or a broadcast wave) that can transmit the program.
  • a transmission medium such as a communication network or a broadcast wave
  • the present invention can also be realized in the form of a data signal embedded in a carrier wave in which the program is embodied by electronic transmission.
  • An information processing apparatus (instruction device 1112) according to aspect 1 of the present invention is an information processing apparatus that performs processing related to an image captured from at least two viewpoints, and includes a first image captured from a first viewpoint, And an image acquisition unit (feature point detection unit 1501) for acquiring a second image photographed from the second viewpoint, and first position information which is the position information of the marker superimposed on the first image.
  • the first position information is the position information of the marker to be superimposed on the second image.
  • 2nd place Marker information conversion unit that converts the information 1505, and a.
  • the first position information that is the position information of the marker superimposed on the first image is converted into the second position information that is the position information of the marker superimposed on the second image.
  • the marker superimposed on the specific image by the instructor can be superimposed on another image. Therefore, the operator can refer to the marker superimposed on the image photographed from his / her viewpoint, and the instructor can efficiently instruct a plurality of workers.
  • the information processing apparatus is the information processing apparatus according to aspect 1, in which the inter-image conversion parameter calculation unit refers to a corresponding part between the first image and the second image,
  • the inter-image conversion parameter may be calculated.
  • the inter-image conversion parameter is calculated from the portion corresponding to the two images, the inter-image conversion parameter can be calculated with high accuracy.
  • the information processing apparatus further includes a feature point detection unit (1501) that detects a feature point from the first image and the second image in the above aspect 2, and
  • the inter-image conversion parameter calculation unit refers to the feature point of the first image and the feature point of the second image detected by the feature point detection unit as the corresponding part, and determines the inter-image conversion parameter. It may be calculated.
  • the inter-image conversion parameter can be calculated even if the corresponding part is not known in advance. it can.
  • An information processing apparatus includes an image conversion unit that converts the first image into an image based on the second viewpoint with reference to the inter-image conversion parameter in the above aspects 1 to 3. Further, it may be provided.
  • the first image is converted into an image based on the second viewpoint
  • the first image and the second image can be displayed as an image based on the same second viewpoint.
  • the user can view the same image taken from different viewpoints as an image from the same viewpoint.
  • the “second image” and the “image from the second viewpoint” are different from each other.
  • the “second image” is an image taken from the second viewpoint.
  • the “image from the second viewpoint” is obtained by converting an image taken from another viewpoint into an image viewed from the second viewpoint.
  • the information processing apparatus is the information processing apparatus according to any one of Aspects 1 to 4, which specifies the shooting range and shooting direction of the first image in the second image, and indicates the shooting range and the shooting direction. May be further provided with an information synthesizing unit (video synthesizing unit 1401, marker information managing unit 1405).
  • the shooting range and shooting direction of the first image in the second image are specified, and information indicating the shooting range and shooting direction is included in the second image.
  • the user can grasp
  • the information processing apparatus is the information processing apparatus according to any one of aspects 1 to 5, wherein the display unit (display device 1113) displays at least one of the first image and the second image.
  • An instruction receiving unit (display device 1113) that receives a selection instruction indicating which image to select as an image to be subjected to the marker superimposition operation among the image and the second image;
  • a display part is good also as displaying only the image selected as an image used as the object of superimposition operation of the marker among the 1st picture and the 2nd picture.
  • the information processing device is the information processing apparatus according to aspects 1 to 6 described above, wherein the first frame that is an image taken from a predetermined viewpoint at the first time point and the first frame after the first time point.
  • a frame acquisition unit (a feature point detection unit 1501) that acquires a second frame that is an image taken from the predetermined viewpoint at time 2, and the position information acquisition unit includes the first frame.
  • 3rd position information which is the position information of the marker superimposed on is acquired, and the information processing apparatus refers to the first frame and the second frame, and With reference to the inter-frame conversion parameter calculation unit (1502) for calculating the inter-frame conversion parameter for converting to the second frame, the third position information Marker information updating unit that updates the fourth position information is position information of markers superimposed on the second frame and (1503), may be further provided with.
  • the third position information that is the position information of the marker superimposed on the first frame is updated to the fourth position information that is the position information of the marker superimposed on the second frame.
  • Terminals are terminals that communicate with the information processing apparatus according to aspects 1 to 7, and transmit the second image to the information processing apparatus.
  • Unit communication unit 1800
  • position information acquisition unit communication unit 1800
  • display unit (1802) for displaying a marker at the position shown.
  • the marker is displayed at the position indicated by the second position information while being superimposed on the second image. Thereby, the user can see the marker superimposed on the first image in the information processing apparatus in the second image.
  • a remote communication system is a remote communication system including an information processing device, a first terminal, and a second terminal, and the information processing device is from a first viewpoint.
  • An image acquisition unit that acquires a captured first image and a second image captured from a second viewpoint, and first positional information that is positional information of a marker superimposed on the first image
  • the inter-image conversion parameter for converting the first image into the second image is calculated with reference to the position information acquisition unit for acquiring the first image and the second image.
  • a marker that converts the first position information into second position information that is position information of a marker to be superimposed on the second image with reference to the inter-image conversion parameter calculation unit and the inter-image conversion parameter.
  • the terminal includes a transmission unit that transmits the first image to the information processing device, and the second terminal transmits the second image to the information processing device; and the information processing A position information acquisition unit that acquires the second position information from the device, a marker that is superimposed on the second image and positioned at the position indicated by the second position information, and the second image A display unit that displays at least one of information indicating a shooting range and a shooting direction of the first image.
  • the present invention can be used for an information processing apparatus, a terminal, and a remote communication system that perform processing related to images taken from at least two viewpoints.
  • 1105 Work terminal 1112 Instruction device (information processing device) 1113 Display device (display unit, instruction receiving unit) 1401 Video composition unit (image conversion unit, information composition unit) 1405 Marker information management unit (information synthesis unit) 1500 Marker information storage unit (position information acquisition unit) 1501 Feature point detection unit (image acquisition unit, frame acquisition unit) 1502 Inter-frame conversion parameter calculation unit 1503 Marker information update unit 1504 Inter-image conversion parameter calculation unit 1505 Marker information conversion unit 1800 Communication unit (transmission unit, position information acquisition unit) 1802 Display unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

同一空間ではあるが、異なる位置にいる複数の作業者に対して効率的な指示を行うことが可能な技術を提供する。第１の視点から撮影された第１の画像、および、第２の視点から撮影された第２の画像を取得する特徴点検出部（１５０１）と、第１の画像に重畳されたマーカーの位置情報である第１の位置情報を取得するマーカー情報保管部（１５００）と、第１の画像、および、第２の画像を参照して、当該第１の画像を当該第２の画像に変換するための画像間変換パラメータを算出する画像間変換パラメータ算出部（１５０４）と、画像間変換パラメータを参照して、第１の位置情報を、第２の画像に重畳されるマーカーの位置情報である第２の位置情報に変換するマーカー情報変換部（１５０５）と、を備えた指示装置（１１１２）。

Description

情報処理装置、端末、および、遠隔通信システム
　本発明は、少なくとも２つの視点から撮影された画像に関する処理を行う情報処理装置、端末、および、遠隔通信システムに関する。
　知識、経験、ノウハウが重要視される作業の現場において、その作業に習練していない人員に対して、有識者や熟練者が、作業手順、判断基準、問題の対処法等の指示を行うことは多い。その際に、指示を行う側（以下、指示者と称す）と、指示を受ける側（以下、作業者と称す）と、が同じ場所にいて、対面でコミュニケーションを取りながら指示を行うことができれば、作業者は、作業者から効率的な指示を受けることができる。しかし、指示者と、作業者とが同じ場所にいない場合、作業者は、指示者から効率的な指示を受けることはできない。
　指示者と、作業者とが同じ場所にいない場合に、作業者が指示者から指示を受ける方法として、マニュアルによる指示がある。この方法では、マニュアルに記載されていない突発的な問題や、状況に応じて経験的に判断しなければならない事例等については、作業者は指示を受けることができない。
　指示者と、作業者とが同じ場所にいない場合に、作業者が、指示者から指示を受ける別の方法として、テレビ電話（ビデオ電話）を用いて、遠隔地にいる指示者から指示を受ける方法がある。作業者は、作業箇所や作業の様子を撮影して、その映像を指示者に送信し、指示者は、受信した映像をもとに主に音声によって指示を伝達する。この方法では、マニュアルに記載されていない突発的な問題や、状況に応じて経験的に判断しなければならない事例等についても、作業者は指示者から指示を受けることができる。しかし、指示者は、実物を指さして、視覚的な指示をすることはできない。この課題を解決するために、指示者は、「ここに」「あれを」といった曖昧な表現を含めた指示ではなく、「右端から何番目の上から何番目」といった位置を特定できる表現を用いた指示を行う必要がある。しかし、作業者が絶えず動いている場合、指示者にとっては「三番目」の場所が、作業者にとっては「四番目」やそれ以外の場所となっており、正確に指示内容を伝えることができず、作業効率が低下するという課題が挙げられる。また、「右端から何番目の上から何番目」といった会話は、普段の会話で用いる表現とは異なっており、指示者にかかる負荷が大きいという課題もある。
　テレビ電話（ビデオ電話）による指示の課題を解決する方法として、実写の映像上にコンピュータグラフィックス（ＣＧ：Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）を重畳描画する拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）技術を用いる手段がある。ＡＲ技術は、ＣＧで作成した絵柄、符号、文字などの目印を、あたかもその場所にあるかのように、映像上に描画することができる。特許文献１及び非特許文献１には、ＡＲ技術を用いたＡＲ型作業支援方法について開示されている。
　特許文献１及び非特許文献１には、作業者は、撮影した映像（以下、撮影映像と称す）を指示者に送信し、指示者は、作業者から受信した映像上で、目印を指示箇所に設置した映像（以下、合成映像と称す）を作業者に送信することで、作業者に対し視覚的に指示に関する位置を提示する方法が記載されている。特許文献１では、作業者が頭部装着式映像表示装置を表示装置として用いる手法について記載されている。非特許文献１では、作業者が携帯端末を表示装置として用いる手法について記載されている。特許文献１及び非特許文献１の手法は、指示者が指示する箇所が視覚的に明示されているため、テレビ電話（ビデオ電話）と比べて、効率的な指示を行える利点がある。
日本国公開特許公報「特開２００８－１２４７９５号公報」
ＡＲサポート機能、東日本電信電話株式会社ｈｔｔｐ：／／ｗｗｗ．ｎｔｔ－ｅａｓｔ．ｃｏ．ｊｐ／ｒｅｌｅａｓｅ／ｄｅｔａｉｌ／２０１３１０２４＿０１．ｈｔｍｌ
　しかし、特許文献１及び非特許文献１に記載の手法は、同一空間ではあるが、異なる位置に複数の作業者がいる場合に、指示の効率が低下する、という課題がある。同一空間ではあるが、異なる位置に複数の作業者がいる場合に、特許文献１及び非特許文献１に記載の方法を用いて、指示者が作業者に指示を行う方法として、定点カメラで撮影した映像に対して、指示者が目印を指示箇所に設置して指示を行う方法と、全作業者が撮影した映像のそれぞれに対して、指示者が目印を指示箇所に設置して指示を行う方法と、がある。
　定点カメラで撮影した映像に対して、指示者が目印を指示箇所に設置して指示を行う方法では、作業者が作業対象物を規定の位置で撮影する定点カメラを用意し、この定点カメラで撮影した映像（以下、定点撮影映像と称す）を指示者に送信する。指示者は、受信した定点撮影映像に対して、目印を指示箇所に設置し、全作業者に送信する。この方法では、作業者が作業を行う位置と、定点カメラが撮影した位置と、が一致しないため、作業者は、指示箇所と、作業箇所と、を目視で判断する必要があり、作業効率が低下する、という課題がある。
　全作業者が撮影した映像のそれぞれに対して、指示者が目印を指示箇所に設置して指示を行う方法では、指示者は、全作業者に共通する指示を行う場合、同じ指示を各作業者に行うことになり、効率的な指示を行うことができない。また、作業者ごとに指示を行うタイミングが異なるため、指示者は、即時性が求められる内容の指示を、同時に全作業者に行うことができない。また、指示者が指示箇所を判断するためには、指示者は、各作業者が撮影した位置を、受信した映像から判断する必要があり、指示効率が低下する、という課題がある。
　本発明は、以上の課題を鑑みてなされたものであり、同一空間ではあるが、異なる位置にいる複数の作業者に対して効率的な指示を行うことが可能な技術を提供することを目的とする。
　上記課題を解決するために、本発明の一態様に係る情報処理装置は、少なくとも２つの視点から撮影された画像に関する処理を行う情報処理装置であって、第１の視点から撮影された第１の画像、および、第２の視点から撮影された第２の画像を取得する画像取得部と、前記第１の画像に重畳されたマーカーの位置情報である第１の位置情報を取得する位置情報取得部と、前記第１の画像、および、前記第２の画像を参照して、当該第１の画像を当該第２の画像に変換するための画像間変換パラメータを算出する画像間変換パラメータ算出部と、前記画像間変換パラメータを参照して、前記第１の位置情報を、前記第２の画像に重畳されるマーカーの位置情報である第２の位置情報に変換するマーカー情報変換部と、を備えている。
　本発明によれば、同一空間ではあるが、異なる位置にいる複数の作業者に対して効率的な指示を行うことができる。
本実施形態に係るテレコミュニケーション装置の利用シーンの一例を示す模式図である。 本実施形態に係る作業端末および指示装置の画面の表示内容を示す図であり、（ａ）は作業端末の画面の表示内容を示し、（ｂ）は指示装置の画面の表示内容を示す。 本実施形態に係る遠隔通信システムの構成を示す構成図である。 本実施形態に係る指示装置の構成例を示すブロック図である。 本実施形態に係るマーカー情報管理部の構成を示すブロック図である。 本実施形態に係るマーカー情報の一例を示す図である。 本実施形態に係る映像およびマーカーの合成処理を説明するための図である。 本実施形態に係る指示装置の処理を示すフローチャートである。 本実施形態に係るマーカー情報管理部がマーカー情報を登録、削除する処理の一例を示すフローチャートである。 本実施形態に係る作業端末の構成を示すブロック図である。 本実施形態に係る対応画素の追跡による画像間変換パラメータの算出を説明するための図である。 本実施形態に係る表示装置において２つの表示画像の向きを揃えた例を示す図である。 本実施形態に係る表示装置の表示画面に１つの作業者画面のみを表示した例を示す図である。 本実施形態に係る作業者の映像によって表示内容が異なる例を示す図である。 本実施形態に係る指示操作に用いられている画像の撮影範囲と、撮影方向とを表示する例を示す図であり、（ａ）は作業端末の画面の表示内容を示し、（ｂ）は指示装置の画面の表示内容を示す。
　以下、図面を参照しながら本発明の実施の形態について詳細に説明する。図面において同じ機能を有する部分については同じ符号を付し、繰り返しの説明は省略する。
　〔第１の実施の形態〕
　本実施形態においては、本発明における基本的な構成について説明する。具体的には、撮影映像内にコンピュータグラフィックス（ＣＧ：Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）で作成された作業指示を合成して表示された合成映像を見ながら作業できる拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）型作業支援において、同一空間ではあるが、異なる位置にいる複数の作業者に向けて、表示する合成映像の見え方を、適切に制御する方法について説明する。
　特に、本実施形態では、基準となる映像から検出した特徴点を記述する特徴量と、基準とは異なる映像から検出した特徴点を記述する特徴量とを比較することによって、対応する特徴点を特定し、画像間変換パラメータを求める例について説明する。なお、画像間変換パラメータの詳細は、後述する。
　〈装置の利用シーン〉
　図１は、本実施形態に係るテレコミュニケーション装置Ａの利用シーンの一例を示す模式図である。図１の左側が作業の現場１１００であり、図１の右側が指示室１１１０を示しており、お互いに離れたところに位置している。このシーンは、作業現場１１００にいる作業者１１０１と作業者１１０４とが、指示室１１１０にいる指示者１１１１から、作業対象１１０２に関する作業指示を、作業端末（端末）１１０３、あるいは、１１０５で受けながら、作業を行なっているシーンである。作業対象１１０２の修理を行っている作業者１１０１と作業者１１０４とが、当該作業者を監督する指示者１１１１から修理に関する指示をもらっている例である。
　作業端末１１０３と作業端末１１０５の背面には、それぞれ、撮影用のカメラ１１０３ａとカメラ１１０５ａを具備しており、作業対象１１０２を撮影することができる。ここで、カメラ１１０３ａで撮影した画像を、第１の視点で撮影した画像と称す。また、カメラ１１０５ａで撮影した画像を、第２の視点で撮影した画像と称す。作業端末１１０３と作業端末１１０５は、それぞれ、撮影映像を遠隔地に送信することもできる。
　指示室１１１０に設置された指示装置（情報処理装置）１１１２は、遠隔地の作業端末１１０３と、作業端末１１０５とから送られてきた撮影映像を受信し、それらの映像を表示装置１１１３に表示させることができる。そして、表示装置１１１３に表示された作業対象の映像を見ながら、指示者１１１１は、表示装置１１１３上で、作業者１１０１、あるいは、作業者１１０４に対して作業指示を行う。
　図２を参照して、作業端末１１０３、１１０５、および、指示装置１１１２の表示装置１１１３に表示される表示内容と、ＡＲ重畳された指示内容の表示のされ方とについて詳しく説明する。図２は、本実施形態に係る作業端末１１０３、１１０５、および、指示装置１１１２の画面の表示内容を示す図である。図２（ａ）は、作業端末１１０３、および、１１０５の画面の表示内容を示す図である。図２（ｂ）は、指示装置１１１２の画面の表示内容を示す図である。
　指示者１１１１が見ている表示装置１１１３の画面には、作業者１１０１から受信した、第１の視点で撮影した画像１２００と、作業者１１０４から受信した、第２の視点で撮影した画像１２０１とが、画面内に分割されて表示されている。指示者１１１１は、表示映像１２００あるいは１２０１に、タッチパネル機能やマウス機能などを利用して入力した、指示位置を示すポインタやマーカー等を重畳させることができる。一方の映像内にマーカー等により示された指示位置は、同時に、他方の映像内の対応する指示位置に変換されて、他方の映像内の当該指示位置を示すようにマーカー等が表示される。以下、ポインタやマーカー等を表示画面上に表示させるための情報を総称して、マーカー情報と称し、詳細は後ほど説明する。マーカー情報には、テキストや絵柄などを表示画面上に表示させるための情報を含めることも可能である。また、マーカー情報には、マーカーの位置情報が含まれる。
　マーカー情報は、指示装置１１１２から作業端末１１０３あるいは作業端末１１０５に送られ、そのマーカー情報を受け取った作業端末１１０３、１１０５は、作業対象を撮影した映像内にマーカーを重畳して表示する。
　なお、指示装置１１１２が、マーカーが重畳された映像を作業端末１１０３あるいは作業端末１１０５に送信し、作業端末１１０３、１１０５は、マーカーが重畳された映像を受信して、当該映像をそのまま表示する構成としてもよい。
　作業者は、作業端末の表示部においてその映像を見ることができ、これにより、遠隔地（指示室１１１０）からの作業指示を視覚的に把握することができるようになる。尚、作業者１１０１あるいは作業者１１０４の入力に基づいて、映像の上にマーカーを重畳させることも可能であり、作業者１１０１、１１０４と、指示者１１１１とがマーカー情報を共有することができる。図１の指示者の端末の形態はどのような形状でも良く、作業者が用いているようなタブレット状の装置を用いることも可能である。作業者の端末の形状もどの様な形状であってもよい。
　なお、作業者が３名以上の場合であっても同様である。
　〈遠隔通信〉
　図３は、本実施形態に係る遠隔通信システムの構成を示す構成図である。作業端末１１０３、作業端末１１０５と、指示装置１１１２とは、図３に示すような公衆通信網（例えば、インターネット）ＮＴによって、お互いに接続されており、ＴＣＰ／ＩＰやＵＤＰ等のプロトコルに従い、通信することができる。
　本実施の形態によるテレコミュニケーション装置Ａには、さらに、マーカー情報を一括して管理するための管理サーバー１３００が設けられ、同じ公衆通信網ＮＴに接続されている。尚、作業端末１１０３あるいは作業端末１１０５は、無線通信によって公衆通信網ＮＴと接続することも可能である。この場合、無線通信は、例えばＷｉ－Ｆｉ Ａｌｌｉａｎｃｅ（米国業界団体）によって規定された国際標準規格（ＩＥＥＥ ８０２．１１）のＷｉ－Ｆｉ（ワイファイ、Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ：登録商標）接続によって実現することが可能である。通信網に関しては、インターネットなどの公衆通信網について示してきたが、例えば、企業などで使用されている、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）を用いることも可能であり、また、それらが混在した構成であってもよい。
　図３では、管理サーバー１３００を用いた構成を示しているが、管理サーバーの機能を指示装置１１１２内に盛り込むことにより、直接、作業端末１１０３、作業端末１１０５と、指示装置１１１２とがやりとりする形態でも問題はない。そこで、以下の説明では、作業端末１１０３、作業端末１１０５と、指示装置１１１２とが直接やり取りする方法について記載する。また、通常のテレビ会議システムで用いられる、一般的な音声通信処理や付加画面情報以外の映像通信処理に関しては、支障のない範囲で説明を省略する。
　〈構成例〉
　続いて、本実施形態に係るテレコミュニケーション装置の構成例について説明する。前述したように、テレコミュニケーション装置Ａには、指示者の指示装置１１１２と、作業者の作業端末１１０３、１１０５とがあり、それぞれについて順番に説明する。
　〈指示装置の構成〉
　図４は、本実施形態に係る指示装置１１１２の構成例を示すブロック図である。
　指示装置１１１２は、外部から送られてくる映像やマーカー情報の受信と、内部で生成するマーカー情報を外部に送信するための通信部１４００と、映像にマーカー情報の示すマーカーを合成する映像合成部１４０１と、合成映像を表示するための表示部１４０２と、ユーザからの入力を受け入れるための外部入出力部１４０３と、映像そのもの、または、映像処理の出力結果、マーカー情報、映像処理に利用する種々のデータを保存する保存部１４０４と、マーカー情報を管理するためのマーカー情報管理部１４０５と、指示装置１１１２全体の制御を行うための制御部１４０６と、各々のブロック間でのデータのやり取りを行うためのデータバス１４０７とを有している。
　通信部１４００は、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）やＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ ＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ）などによって構成され、外部とデータの送受信を行う処理ブロックである。具体的には、後述する作業端末から送られてくる映像符号およびマーカー情報の受信と、内部で作りだすマーカー情報の送信処理を行う。映像符号は、動画像の符号化に適した符号化処理が実行されたデータであり、例えばＨ．２６４によって符号化されたデータである。Ｈ．２６４符号化とは、動画データの圧縮符号化方式の標準の一つであり、ＩＳＯ（国際標準化機構）によって規格化された方式である。
　映像合成部１４０１は、ＦＰＧＡやＡＳＩＣ、あるいは、ＧＰＵ（ＧｒａｐｈｉｃｓＰｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などによって構成され、入力した映像に、後述するマーカー情報管理部１４０５において管理されているマーカー情報を合成する処理を行う。マーカー情報とは、マーカーやポインタなどの視覚的に表現できる指示内容を生成する際に必要な情報である。
　図６は、本実施形態に係るマーカー情報１６００の一例を示す図である。図６に示すように、マーカー情報１６００は、各種の属性（ＩＤ、タイムスタンプ、座標、登録時周辺局所画像、マーカー種類、色、大きさ、太さ）を含んでおり、位置や形状等の表示状態を制御するための情報群である。図６に記載の属性は一例であり、マーカー情報１６００は図６に記載の属性の一部を有する構成としてもよいし、図６に記載の属性に加えて、追加の属性情報を有する構成としてもよい。
　図７は、本実施形態に係る映像１７００およびマーカー１７０１の合成処理を説明するための図である。図７に示すように、入力された映像１７００に対して、マーカー情報１６００に含まれる属性に従って生成したマーカー１７０１（位置と形状）を合成し、合成映像１７０２が生成される。
　表示部１４０２は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）や有機ＥＬディスプレイ（ＯＥＬＤ：Ｏｒｇａｎｉｃ ＥｌｅｃｔｒｏＬｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）などによって構成され、映像合成部１４０１から出力された合成映像、映像処理結果、保存部１４０４に保存された画像や、装置を制御するためのＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）などを表示する。また、表示部１４０２は、その表示面を押すことで端末を操作することができるようなタッチパネルの機能を具備させることもでき、本機能を用いることで、前述のマーカーの設置する場所などを指定することができる。なお、表示部１４０２は、外部入出力部１４０３を介して、指示装置１１１２の外部に外付け設置される構成としてもよい。
　外部入出力部１４０３は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）やＨＤＭＩ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ：登録商標）などの入出力ポートを有し、外部ストレージとのインターフェースとして動作する。
　保存部１４０４は、例えば、ＲＡＭ（Ｒａｍｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などの主記憶装置、および、ハードディスクなどの補助記憶装置からなる。主記憶装置は、画像データや画像処理結果を一時的に保持するために利用される。補助記憶装置は、撮像された画像データ、画像処理結果など、ストレージとして長期的に保存するためのデータが格納される。
　マーカー情報管理部１４０５は、ＦＰＧＡやＡＳＩＣなどによって構成され、マーカー情報の管理を行っており、具体的には、マーカー情報の挿入・削除、映像の動きに合わせて逐次その位置を更新させて、トラッキングする処理を行う。マーカー情報管理部１４０５における詳細な情報については後述する。
　制御部１４０６は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などによって構成され、各処理ブロックにおける処理の命令・制御やデータの入出力に関するコントロールを行う。
　データバス１４０７は、各々のユニット間でのデータのやり取りを行うためのバスである。
　〈マーカー情報管理部〉
　続いて、本発明におけるマーカー情報管理部１４０５における詳細な構成例及び動作例について説明する。
　本発明においては、指示者１１１１が、表示装置１１１３を用いて、複数の作業端末で撮影された映像の中の、少なくとも一つの映像内にマーカーを重畳させる。そのとき、指示装置１１１２は、当該マーカーの重畳位置に対応する、他の映像の位置にマーカー情報を変換し、当該マーカー情報を他の作業端末に送信する。当該他の作業端末は、当該マーカー情報を受信し、参照して、その端末で撮影された他の映像に当該マーカーを合成する。これにより、当該他の作業端末の映像内において、マーカーが、当初の映像内の重畳位置に対応する位置に表示される。
　また、指示装置１１１２は、作業者自身の動き、あるいは、作業者または指示者によるズーム処理等による取得映像範囲を変える動作によって発生する、映像の動きに応じて、マーカーの重畳位置を変えるトラッキング機能も備えている。当該トラッキング機能によって、随時変化する映像にマーカーが追従するように表示することが可能となる。
　以下、作業者１１０１から受信した、第１の視点で撮影した画像１２００（以下、基準映像と称す。）を基準とし、指示者がマーカーを画像に重畳させる場合について説明する。図５は、本実施形態に係るマーカー情報管理部１４０５の構成を示すブロック図である。
　図５に示すように、マーカー情報管理部１４０５は、複数の画像データを入力して、それぞれの画像内の特徴点を検出する特徴点検出部（画像取得部、フレーム取得部）１５０１と、基準となる撮影映像の現フレーム（ｔ）および前フレーム（ｔ－１）の画像間の画像変換に必要なフレーム間の変換パラメータを算出するフレーム間変換パラメータ算出部１５０２と、フレーム間の変換パラメータを用いて、既に重畳されているマーカーの重畳位置を更新するマーカー情報更新部１５０３と、管理中のマーカー情報を保管しておくマーカー情報保管部（マーカー情報取得部）１５００と、異なる作業者の画像間を変換するための画像間変換パラメータを算出する画像間変換パラメータ算出部１５０４と、画像間変換パラメータを用いて、更新されたマーカー情報を変換して、基準とする画像とは異なる作業者端末の画像に向けたマーカー情報になるように変換するマーカー情報変換部１５０５とを有する。
　　〈特徴点検出〉
　特徴点検出部１５０１は、データバス１４０７から基準映像における現フレームの画像（ｔ）と一フレーム前の前フレーム画像（ｔ－１）とを受け取り、特徴点を算出する。ここで、特徴点とは、例えば複数のエッジが結合するような画素であり、例えばＳＵＲＦ（Ｓｐｅｅｄｅｄ Ｕｐ Ｒｏｂｕｓｔ Ｆｅａｔｕｒｅｓ）を用いて、特徴点の情報を算出することができる。特徴点の情報とは、検出された特徴点の画像座標における位置情報、および、その特徴点を特定することができる記述情報（特徴量）である。なお、特徴点の検出手法はＳＵＲＦに限定されず、ＰｒｅｗｉｔｔフィルタやＬａｐｌａｃｉａｎフィルタ、Ｃａｎｎｙフィルタ、ＳＩＦＴ（Ｓｃａｌｅ－Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）と呼ばれる各種特徴点データのいずれか、もしくは、複数を使う構成にすることもできる。算出した特徴点および特徴点を記述する特徴量をフレーム間変換パラメータ算出部１５０２に出力する。特徴点検出部１５０１は、さらに、データバス１４０７から、別の作業者端末の画像（例えば、作業端末１１０５からの画像）を受け取り、同様に特徴点と特徴量を算出して、その結果を画像間変換パラメータ算出部１５０４に出力する。
　　〈マーカー情報のトラッキングの方法〉
　フレーム間変換パラメータ算出部１５０２は、基準映像における現フレーム（ｔ）と前フレーム（ｔ－１）の特徴点の情報を特徴点検出部１５０１から受け取ると、以下の処理を行い、前フレームの画像上の任意の画像座標を、現フレームの対応する画像座標に変換するフレーム間変換パラメータを算出する。
　検出された複数の特徴点をＦＰｔ－１（ｌ）、ｌ＝１、…、ｎとする。ここで、添え字のｔ－１はフレーム番号を、カッコ内のｌはそれぞれの特徴点のインデックスである。
　算出したフレーム（ｔ－１）の特徴点ＦＰｔ－１から、フレーム（ｔ）の対応する位置を求める必要があり、各フレームの時間間隔が十分短いとすると、撮影された物体の移動量は小さくなる。このことを利用し、元の特徴点の位置を基点に、比較的狭い範囲を探索することで、その対応点を求めることができる。例えば、コンピュータビジョンの汎用ＡＰＩであるＯｐｅｎＣＶ（Ｏｐｅｎ Ｓｏｕｒｃｅ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ Ｌｉｂｒａｒ、オープンソースのコンピュータビジョン向けのライブラリ）の関数を用いて実現することができ、ｃｖＣａｌｃＯｐｔｉｃａｌＦｌｏｗＬＫという関数を用いて、次のフレームの対応する位置を算出することができる。この関数は、Ｌｕｃａｓ－Ｋａｎａｄｅのアルゴリズムを用いており、次のフレームにおける対応する画素の位置を求める方法の一つである。これ以外の手法を用いることも可能である。
　上記により、（ｔ－１）番目のフレームにおいて抽出した特徴点の位置と、それに対応する（ｔ）番目のフレームの点の位置を求めることができるので、この対応関係を用いて、映像合成部１４０１は、画像全体の変換を行う。つまり、フレーム間の画像の変化を、画像の変換と捉えて表現するものである。具体的には、以下の変換式を用いる。この変換式によって、（ｔ－１）番目の映像フレームの画素（ｍ、ｎ）を（ｔ）番目のフレームの（ｍ’，ｎ’）に変換することができるようになる。
　この変換（式１）におけるＨ＊は、３×３の行列で、ホモグラフィ行列と呼ばれている。ホモグラフィ行列とは、２枚の画像を射影変換することができる行列で、前述の仮定の下で、連続するフレーム間の変化を近似することができる。
Figure JPOXMLDOC01-appb-M000002
　ここで、ホモグラフィ行列の各要素を（式２）のように定義すると、フレーム間変換パラメータ算出部１５０２は、連続するフレーム間の特徴点の対応関係の下で、（式１）による座標変換誤差を最小にするように３×３の各要素の値を求める。具体的には、次式（式３）を最小にするように各要素を計算する。
Figure JPOXMLDOC01-appb-M000003
　ここで、ａｒｇｍｉｎ（・）は、括弧内を最小にするａｒｇｍｉｎの下部にあるパラメータを算出する関数である。また、（ｍｔ－１（ｌ）、ｎｔ―１（ｌ））は、（ｔ－１）番目のフレームの特徴点の座標（ＦＰｔ―１（ｌ））を、（ｍｔ（ｌ）、ｎｔ（ｌ））は、それに対応する（ｔ－１）番目のフレームの特徴点の座標（ＦＰｔ（ｌ））をそれぞれ示している。
　上記により、フレーム間変換パラメータ算出部１５０２は、１フレーム前の映像内の座標を、現フレームの対応する座標に変換する行列とその変換式を求めることができる。この行列のことを変換パラメータと呼ぶ。
　フレーム間変換パラメータ算出部１５０２は、（式３）で示した変換パラメータを算出し、マーカー情報更新部１５０３に送信する。マーカー情報更新部１５０３は、当該変換パラメータを受信し、（式１）の更新処理を行う。この際に、マーカー情報は、マーカー情報保管部１５００に保管されている。マーカー情報更新部１５０３は、保管されているマーカー情報の画像の座標を変換する。更新後のマーカー情報は、マーカー情報保管部１５００に再度送られて、次のフレームの更新のために保管される。また、更新後のマーカー情報は、データバス１４０７に出力されて、その後、映像合成部１４０１および通信部１４００に送られる。
　マーカー情報保管部１５００は、マーカー情報の追加・削除、および、マーカー情報更新部１５０３によって更新されたマーカー情報の保管を行う。マーカー情報保管部１５００は、マーカー情報の追加・削除・更新の際に、マーカー情報の属性の一つであるＩＤに従って、対象とするマーカー情報を確定することによって、当該マーカー情報の削除・追加・更新を行うことが可能になる。
　　〈別の作業端末に向けて、マーカー情報を変換する方法〉
　画像間変換パラメータ算出部１５０４は、異なる作業者間の画像を変換するためのパラメータを算出する。その方法は、前述したフレーム間変換パラメータ算出部で説明した方法と同様でよい。画像間変換パラメータ算出部１５０４は、特徴点検出部１５０１において検出された、異なる作業端末からの２つの画像の特徴点を参照して、（式２）の画像間変換パラメータを算出し、当該画像間変換パラメータをマーカー情報変換部１５０５に出力する。上記にて、画像間変換パラメータ算出部１５０４が参照すべき特徴点は、２つの画像の間で対応する部分である。なお、当該対応する部分は、特徴点に限定されることはなく、特徴点以外の対応する部分を参照して画像間変換パラメータを算出してもよい。
　マーカー情報変換部１５０５は、画像間変換パラメータ算出部１５０４から変換パラメータを受け取ると、前述の（式１）を用いて、更新後のマーカー情報を別の作業者に向けた画像に合わせて、その座標を変換する処理を行う。変換後のマーカー情報は、データバス１４０７に出力され、前述の更新後のマーカー情報と同様に、映像合成部１４０１および通信部１４００に送られる。
　〈指示装置の処理〉
　次に、本実施形態の指示装置１１１２が行う処理の手順について、図８を用いて説明する。図８は、本実施形態に係る指示装置１１１２の処理を示すフローチャートである。
　図８は、指示装置１１１２が、外部から送られてくる複数の作業端末からの映像を受け取り、マーカー情報管理部１４０５に登録されているマーカー情報を更新して、表示部１４０２に表示する処理と、更新後のマーカー情報を通信部１４００から外部に出力する処理とを示している。
　指示装置１１１２は、通信部１４００の機能により、外部（例えば、後述する作業端末）から映像符号を受け取ると、復号処理を行い、元の映像信号を再現する（ステップＳ１１００）。その後、指示装置１１１２は、映像信号を保存部１４０４に出力するとともに、復号された映像信号が前述の基準映像である場合に、さらに、映像信号をマーカー情報管理部１４０５に出力する。マーカー情報管理部１４０５は、基準映像の画像を受け取ると、さらに、保存部１８０４から、基準映像における１フレーム前の前フレーム画像を取得する。
　マーカー情報管理部１４０５は、基準映像の現フレームの画像と、前フレームの画像とを用いて算出したフレーム間変換パラメータに基づいて、保管されているマーカー情報の画像の座標を更新する（ステップＳ１１０１）。更新後の結果に基づき、保管されているマーカー情報の更新を行い、さらに、更新後の結果を映像合成部１４０１に出力する。続いて、マーカー情報管理部１４０５は、保存部１４０４に保存されている基準映像ではない作業端末の画像の現フレームのデータを取得するとともに、前述の基準映像の現フレームの特徴点との対応関係から算出した画像間変換パラメータに基づいて、ステップＳ１１０１で更新されたマーカー情報を別途変換する（ステップＳ１１０２）。
　変換後のマーカー情報は、基準映像とは異なる別の作業端末のためのマーカー情報となる。マーカー情報管理部１４０５は、変換後のマーカー情報を映像合成部１４０１に出力する。映像合成部１４０１は、マーカー情報管理部１４０５から受け取った更新後のマーカー情報と、変換後のマーカー情報とを用いて、それぞれの映像上にマーカーを重畳して合成する（ステップＳ１１０３）。その後、映像合成部１４０１は、合成映像を表示部１４０２に送信し、表示部１４０２は、合成映像を画面に表示する（ステップＳ１１０４）。マーカー情報管理部１４０５は、更新後のマーカー情報と、変換後のマーカー情報とを通信部１４００に出力し、通信部１４００は、それらのマーカー情報を、対応する各作業端末に送信する（ステップＳ１１０５）。制御部１４０６は、指示装置１１１２の処理を継続するか否かを判断する（ステップＳ１１０６）。処理を継続する場合（Ｓ１１０６のＹＥＳ）には、ステップＳ１１００に戻り、前述した処理を繰り返す。処理を終了させる場合（Ｓ１１０６のＮＯ）には、全ての処理を終了させる。
　〈マーカー情報管理部の処理〉
　図９は、本実施形態に係るマーカー情報管理部１４０５がマーカー情報を登録、削除する処理の一例を示すフローチャートである。
　図９に示すように、通信部１４００は、指示装置１１１２の外部から送られてくるマーカー情報を受け取ると、マーカー情報管理部１４０５に出力する（ステップＳ１２００）。一方、表示部１４０２は、指示者が表示画面を押すことによって入力された位置にマーカーを重畳させる場合に、そのマーカーに応じたマーカー情報をマーカー情報管理部１４０５に出力する（ステップＳ１２０１）。マーカー情報管理部１４０５は、外部から入力されたマーカー情報と、表示部１４０２で生成されたマーカー情報とを受け取ると、内部に保管されているマーカー情報に含まれるＩＤを参照して、同一ＩＤを有するマーカー情報が存在するか否かを判定する（ステップＳ１２０２）。
　同一のＩＤを持つマーカー情報が存在する場合（ステップＳ１２０２のＹＥＳ）、マーカー情報管理部１４０５は、当該同一のＩＤを持つすべてのマーカー情報の削除を行う（ステップＳ１２０３）。同一のＩＤを持つマーカー情報が存在しない場合（ステップＳ１２０２のＮＯ）、マーカー情報管理部１４０５は、新しいマーカー情報として、マーカー情報の追加を行う（ステップＳ１２０４）。
　制御部１４０６は、指示装置１１１２の処理を継続するか否かを判断する（ステップＳ１２０５）。処理を継続する場合（ステップＳ１２０５のＮＯ）には、ステップＳ１１００に戻り、前述した処理を繰り返す。処理を終了させる場合（ステップＳ１２０５のＹＥＳ）には、全ての処理を終了させる。
　以上が、指示装置１１１２の構成及び処理の内容である。なお、指示装置１１１２に備わるマーカー情報管理部１４０５を外部に独立させた構成をとることも可能である。その場合、指示装置１１１２を、表示部１４０２を除いたすべての処理ブロックによる構成とし、前述のマーカー管理サーバー１３００として、独立させることも可能である。
　〈作業端末の構成〉
　続いて、作業端末１１０３の構成について、図１０を用いて説明する。図１０は、本実施形態に係る作業端末１１０３の構成を示すブロック図である。
　作業端末１１０３（作業端末１１０５も同様）と、指示装置１１１２との構成の違いは、映像取得部およびマーカー管理部に関連する。すなわち、作業端末１１０３には、映像を取得するための映像取得部１８０５が存在する一方、マーカー管理部が存在しない。その他の構成は、指示装置１１１２と同じである。つまり、通信部（送信部、位置情報取得部）１８００は通信部１４００と、映像合成部１８０１は映像合成部１４０１と、表示部１８０２は表示部１４０２と、外部入出力部１８０３は外部入出力部１４０３と、保存部１８０４は保存部１４０４と、制御部１８０６は制御部１４０６と、データバス１８０７はデータバス１４０７と、それぞれ同等の機能を有する。
　映像取得部１８０５は、撮影空間を画像として、作業端末１１０３に取り込むための光学部品、および、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）やＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）などの撮像素子を具備するように構成され、光電変換によって得られた電気信号に基づいて生成された画像データをデータバス１８０７に出力する。映像取得部１８０５は、撮影された情報を元々のデータのままデータバス１８０７に出力してもよいし、図示していない映像処理部において処理しやすいように事前に画像処理（輝度画像化、ノイズ除去など）された映像データとしてデータバス１８０７に出力してもよく、また、その両方を出力するような構成としてもよい。さらに、撮影時の絞り値や焦点距離などのカメラパラメータを保存部１８０４に送るように構成することもできる。
　映像合成部１８０１は、取得後の映像を、外部から送られてきたマーカー情報と合成し、表示部１８０２は、合成した映像を表示する。また、同時に、通信部１８００は、合成した映像に対して、前述した動画像信号に適した符号化処理を施し、映像符号として外部（例えば、前述の指示装置１１１２）に出力する。
　以上の構成によって、撮影映像内にＣＧで作成された作業指示を合成して表示された合成映像を見ながら作業できるＡＲ型作業支援において、同一空間ではあるが、異なる位置にいる複数の作業者に向けて、表示する合成映像の見え方を適切に制御する方法を提供することができる。
　〔第２の実施の形態〕
　第２の実施の形態においては、複数の作業端末間の映像に対する画像間変換パラメータの算出において、所定の状態から開始して、画像間変換パラメータの算出に使う対応点を随時更新して求める処理を行う。これにより、第１の実施の形態に比べて、精度よく、画像間変換パラメータを算出することができる。対応点は、２つの画像の間で対応する部分である。なお、当該対応する部分は、対応点に限定されることはなく、対応点以外の部分を参照して画像間変換パラメータを算出してもよい。
　以下、第１の実施の形態との相違を示しながら、画像間変換のパラメータを算出する方法について説明する。
　第１の実施の形態では、基準となる映像から検出した特徴点を記述する特徴量と、基準とは異なる作業端末の映像から検出した特徴点を記述する特徴量とを比較することによって、対応する特徴点を特定し、前述した（式２）の画像間変換パラメータを求めている。ところが、作業端末の撮影の向きや、位置が大きく異なる場合、その対応付けにおいて誤りが増えることがある。そこで、本実施形態では、予め対応関係が正しく分かっている所定の状態から開始して、対応する点の座標を随時更新していき、変換パラメータを算出する方法を用いる。
　ここで、予め対応関係が正しく分かる状態とは、具体的には以下のような例である。
　第１の方法は、指示すべき点を実際に手や指で指定し、その状態を撮影することにより、指示すべき点を確定させる方法である。作業端末を用いて作業対象を撮影する際に、例えば、作業者の一人が作業対象の任意の場所を指さす。そうすると、撮影した映像の中で指さされた場所が写っていれば、その位置を各作業端末において確定させることが可能となる。４か所以上の位置を手動で確定させると、前述の（式２）の変換パラメータを算出することができ、より正確な変換パラメータを求めることができる。
　第２の方法は、前述したような誤対応が発生しにくい状態、つまり、同じ位置に作業端末を置き、正しく対応関係が求められる状態にする方法である。この場合、撮影の向きや、作業端末の位置がほぼ一致するため、対応関係を容易に求めることができ、その精度も高めることが可能になる。
　上記以外にも、複数の作業端末で取得した映像において、お互いに対応する点の関係を正しく求める方法であれば、いずれの方法であってもよい。
　上記方法によって、求められた基準映像における点をＰｂａｓｅ（ｊ、ｉ）、基準とは異なる作業端末の映像内の点をＰｔａｂ（ｊ、ｉ）、（ｊは対応する点を示す番号であり、ｊ＝０、・・・、３とする。ｉはフレーム番号である。）とする。つまり、Ｐｂａｓｅ（０、ｉ）とＰｔａｂ（０、ｉ）、・・・、Ｐｂａｓｅ（３、ｉ）とＰｔａｂ（３、ｉ）はお互いに対応する点である。
　図１１は、本実施形態に係る対応画素の追跡による画像間変換パラメータの算出を説明するための図である。図１１の２１００に示すように、点Ａと点Ａ’、点Ｂと点Ｂ’、・・・、点Ｄと点Ｄ’がそれぞれ対応する。
　次に、マーカー情報更新部１５０３は、各点について、フレーム間の移動を算出する。フレーム間の移動の算出には、前述したフレーム間変換パラメータによる更新の方法を用いればよく、以下のように算出することができる。
Figure JPOXMLDOC01-appb-M000004
　ｓはどの作業端末からの映像であるかを示す記号であり、Ｈｓ ＊（ｉ）はフレーム（ｉ）からフレーム（ｉ＋１）に変換する、フレーム間の変換パラメータを示している。この変換パラメータは、前述のフレーム間変換パラメータ算出部１５０２と同じ方法で算出される。
　以上により、フレームｉにおける対応関係を求めるための４点を、フレームｔの映像内に逐次遷移させることが可能となる（図１１の２１０１を参照）。
　最後に、前述の方法によって求められた対応点を用いて、前記（式２）のパラメータを算出し、画像間の変換パラメータを求めることができる。
　上記では、４点の画素を用いて処理する例を示したが、点の数は４点に限定するものではなく、それ以上の数であってもよい。
　以上、対応する画素が明らかな状態から開始して、その対応の明らかな点を追跡することにより、画像間の変換パラメータを精度よく算出することが可能になる。
　〔第３の実施の形態〕
　第３の実施の形態においては、前述した画像間変換パラメータを用いて、指示装置１１１２の表示装置１１１３に映し出される各作業者端末の映像を同一の視点による映像に変換して表示する方法について説明する。第１の実施の形態では、画面を分割して、各作業者端末からの映像をそのまま表示している。そのため、作業者の位置関係によっては、同一の作業対象を撮影しているにもかかわらず、図２に示したように、異なる視点による映像となる。そのため、指示者は、映像に対する視点の位置を把握（変換）しながら、マーカーを重畳させる必要があるが、マーカーを異なる映像の同一個所に重畳させにくい場合がある。そこで、本実施形態では、画面に映し出される映像が同一の視点によるものになるように、基準映像の視点によるものとして表示する方法について説明する。
　前述したように、（式２）の変換パラメータおよび（式１）の変換式を用いることで、基準映像内の任意の点を、基準とは異なる作業端末の映像の座標に変換することができる。ここでは、（式１）を以下のように変形する。
Figure JPOXMLDOC01-appb-M000005
　ここで、Ｈ＊－１は、前述した変換行列の逆行列である。（ｍ’、ｎ’）は、基準映像内の座標であり、（ｍ、ｎ）は基準とは異なる作業端末の映像の座標を示している。
　（式５）に従えば、基準とは異なる作業端末の映像の任意の座標を基準映像の座標に変換することが可能となり、画像内の全ての画素を（式５）によって変換して生成された画像は、基準画像と同一の視点による画像となる。図１２は、本実施形態に係る表示装置１１１３において２つの表示画像の視点を同じにした例を示す図である。図１２の表示装置１１１３に示すように、作業者１１０４の映像が、映像１２０１から映像３１００に変換されて、映像１２００と同一の視点によるものとして表示される。
　なお、生成する画像において、変換元の対応する画素が存在しない場合には、近傍の画素を用いて補間すればよい。補間の方法は、任意の手法を用いてよいが、例えばニアレストネイバー法(ｎｅａｒｅｓｔ ｎｅｉｇｈｂｏｒ)を用いて、間の画素を補間する。以上の処理を、映像合成部（画像変換部）１４０１において実施する。
　以上、基準映像の視点に合致するように、各作業者の映像を変換して表示する方法について記載したが、同様な方法を用いて、基準画像ではない作業者の映像の一つに合わせるように変換して表示することも可能である。その場合、作業の途中で、指示者あるいは作業者が手動で切り替えられるようにしてもよい。
　以上、複数の作業端末から送られてくる映像の視点を同じにして、指示者の見ている画面上に表示する方法を提供できる。
　〔第４の実施の形態〕
　第４の実施の形態においては、指示装置１１１２の表示装置１１１３に映し出される各作業者の映像から、１つを選択して指示を行う方法について説明する。
　図２に示すように、表示装置１１１３には、各作業者の画面が、表示装置１１１３の画面を分割して表示されている。作業者数が増加すると、表示装置１１１３に表示される各作業者の映像の表示領域が小さくなり、指示者１１１１の指示効率が低下する、という場合がある。
　上記に対応するために、指示者は、まず、図２のような表示の状態から、指示に用いたい画面として、作業者１１０１からの映像、および、作業者１１０４からの映像の中から１つを選択する。
　図１３は、本実施形態に係る表示装置１１１３の表示画面に１つの作業者画面のみを表示した例を示す図である。例えば、図１３に示すように、表示装置（表示部、指示受付部）１１１３は、指示者によって選択された、作業者１１０１からの映像のみを表示する。指示装置１１１２は、映像４１００にマーカーが重畳されると、（式１）を用いて、重畳されたマーカーに対応するマーカー情報を更新し、作業端末１１０３と、作業端末１１０５とにそれぞれのマーカー情報を送信する。この方法では、指示装置１１１２の表示装置１１１３には、１つの作業者の映像のみが表示されるため、表示領域が小さくならず、指示者の作業効率が低下しない。
　〔第５の実施の形態〕
　第５の実施の形態においては、前述した画像間変換パラメータを用いて、指示者１１１１が指示操作に用いている画像の撮影位置や向き（撮影方向）を、作業端末１１０３、または、作業端末１１０５に表示する方法について説明する。
　指示者が複数の作業者に対し、既に設置されているマーカー情報、または、撮影対象の特徴や指示箇所といった場所の指示を口頭で説明する際、前記指示箇所に該当する場所の個数がそれぞれの作業者で異なる場合が考えられる。
　この場合について、図１４を用いて説明する。図１４は、本実施形態に係る作業者の映像によって表示内容が異なる例を示す図である。指示者が作業者１１０４の画面を見ながら説明する際、例えば「丸いマーカー」という表現で指示位置５１０４の説明をしたとする。このとき、作業者１１０１の映像には「丸いマーカー」に該当するマーカー情報５１０２と、マーカー情報５１０３とが映っており、現在どちらの説明をしているのかが判断できないということが生じる。
　また、指示者が複数の作業者に対し、既に重畳されているマーカー情報、または、撮影対象の特徴や指示箇所などの向きを口頭で説明する際、前記指示箇所に該当する場所の向きがそれぞれの作業者で異なる場合が考えられる。
　この場合について、図２を用いて説明する。指示者が作業者１１０４の作業端末１１０５の画面を見て、右向きに行う作業の指示を行ったとする。この指示を受けた作業は、作業者１１０１にとっては、作業端末１１０３の画面において下向きの作業であり、口頭の指示内容と異なるため、正しく作業ができない、ということが生じる。
　上記の対応方法として、図１５は、本実施形態に係る指示操作に用いられている画像の撮影範囲と、撮影方向とを表示する例を示す図である。図１５（ａ）は、作業端末１１０３、および、１１０５の画面の表示内容を示す図である。図１５（ｂ）は、指示装置１１１２の画面の表示内容を示す図である。
　図１５に示すように、映像合成部（情報合成部）１４０１が、指示者１１１１の指示に用いられている画像の撮影範囲を表現する枠５２０１と、撮影の向きを表現する印５２０２とを作業端末１１０３の映像に重畳し、表示部１４０２が、当該映像を表示する方法がある。この方法により、指示者が説明のために見ている映像の範囲と、向きとが、作業者の映像上で明らかになる。
　以下、マーカー情報管理部（情報合成部）１４０５が、枠５２０１と、印５２０２とを算出する方法について説明する。前述したように、（式２）の変換パラメータと（式１）の変換式を用いることにより、基準映像内の任意の点を、基準とは異なる作業端末の映像の座標に変換することができる。そこで、（式１）に従って、基準映像の四隅の座標を変換することにより、基準とは異なる作業端末の映像における、基準映像の表示範囲が算出される。この算出された表示範囲を枠５２０１とする。また、基準映像における左下隅と、左上隅とを結ぶ直線を、（式１）に従って変換することにより、基準映像とは異なる作業端末の映像における、基準映像の撮影の向きを算出することができる。この算出された向きを、印５２０２とする。
　ここで、算出された範囲と、向きとは、映像５２００に枠５２０３と、印５２０４として重畳表示してもよい。
　＜第１から第５の実施形態について＞
　上記の各実施形態において、添付図面に図示されている構成等については、あくまで一例であり、これらに限定されるものではなく、本発明の効果を発揮する範囲内で適宜変更することが可能である。その他、本発明の目的の範囲を逸脱しない限りにおいて適宜変更して実施することが可能である。
　上記の各実施形態の説明では、機能を実現するための各構成要素をそれぞれ異なる部位であるとして説明を行っているが、実際にこのように明確に分離して認識できる部位を有していなければならないわけではない。上記の各実施形態の機能を実現する遠隔作業支援の装置が、機能を実現するための各構成要素を、例えば実際にそれぞれ異なる部位を用いて構成していてもかまわないし、あるいは、全ての構成要素を一つのＬＳＩに実装していてもかまわない。すなわち、どういう実装形態であれ、機能として各構成要素を有していればよい。また、本発明の各構成要素は任意に取捨選択することができ、取捨選択した構成を具備する発明も本発明に含まれる。
　また、上記の各実施形態で説明した機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行っても良い。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
　また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
　また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。
　また、前記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
　〔ソフトウェアによる実現例〕
　図５に示すマーカー情報管理部１４０５の各機能ブロックは、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。
　後者の場合、マーカー情報管理部１４０５は、各機能を実現するソフトウェアであるプログラムの命令を実行するＣＰＵ、上記プログラム及び各種データがコンピュータ（又はＣＰＵ）で読み取り可能に記録されたＲＯＭ（Read Only Memory）又は記憶装置（これらを「記録媒体」と称する）、上記プログラムを展開するＲＡＭ（Random Access Memory）等を備えている。そして、コンピュータ（又はＣＰＵ）が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路等を用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
　〔まとめ〕
　本発明の態様１に係る情報処理装置（指示装置１１１２）は、少なくとも２つの視点から撮影された画像に関する処理を行う情報処理装置であって、第１の視点から撮影された第１の画像、および、第２の視点から撮影された第２の画像を取得する画像取得部（特徴点検出部１５０１）と、前記第１の画像に重畳されたマーカーの位置情報である第１の位置情報を取得する位置情報取得部（マーカー情報保管部１５００）と、前記第１の画像、および、前記第２の画像を参照して、当該第１の画像を当該第２の画像に変換するための画像間変換パラメータを算出する画像間変換パラメータ算出部（１５０４）と、前記画像間変換パラメータを参照して、前記第１の位置情報を、前記第２の画像に重畳されるマーカーの位置情報である第２の位置情報に変換するマーカー情報変換部（１５０５）と、を備えている。
　前記の構成によれば、第１の画像に重畳されたマーカーの位置情報である第１の位置情報を、第２の画像に重畳されるマーカーの位置情報である第２の位置情報に変換する。これにより、指示者が特定の画像に重畳したマーカーを、他の画像に重畳させることができる。したがって、作業者は、自分の視点で撮影された画像に重畳されたマーカーを参照することができるので、指示者は、複数の作業者に対する指示を効率的に行うことができる。
　本発明の態様２に係る情報処理装置は、上記態様１において、前記画像間変換パラメータ算出部が、前記第１の画像と、前記第２の画像との間で対応する部分を参照して、前記画像間変換パラメータを算出することとしてもよい。
　前記の構成によれば、２つの画像間で対応する部分から、画像間変換パラメータを算出するので、画像間変換パラメータを精度よく算出することができる。
　本発明の態様３に係る情報処理装置は、上記態様２において、前記第１の画像、および、前記第２の画像から特徴点を検出する特徴点検出部（１５０１）をさらに備えており、前記画像間変換パラメータ算出部が、上記対応する部分として、前記特徴点検出部が検出した前記第１の画像の特徴点および前記第２の画像の特徴点を参照して、前記画像間変換パラメータを算出することとしてもよい。
　前記の構成によれば、２つの画像から特徴点を検出し、当該特徴点から画像間変換パラメータを算出するので、事前に対応する部分が分からなくても、画像間変換パラメータを算出することができる。
　本発明の態様４に係る情報処理装置は、上記態様１から３において、前記画像間変換パラメータを参照して、前記第１の画像を、前記第２の視点による画像に変換する画像変換部をさらに備えていることとしてもよい。
　前記の構成によれば、第１の画像を、第２の視点による画像に変換するので、第１の画像と、第２の画像とを、同じ第２の視点による画像として表示することができる。これにより、ユーザは、異なる視点から撮影された同一物の画像を、同じ視点による画像として見ることができる。
　なお、「第２の画像」と、「第２の視点による画像」とは互いに異なる。「第２の画像」は、第２の視点から撮影された画像である。一方、「第２の視点による画像」は、他の視点で撮影された画像を、第２の視点から見た画像に変換したものである。
　本発明の態様５に係る情報処理装置は、上記態様１から４において、前記第２の画像における第１の画像の撮影範囲および撮影方向を特定し、当該撮影範囲と当該撮影方向とを示す情報を前記第２の画像に含ませる情報合成部（映像合成部１４０１、マーカー情報管理部１４０５）をさらに備えていることとしてもよい。
　前記の構成によれば、第２の画像における第１の画像の撮影範囲および撮影方向を特定し、撮影範囲および撮影方向を示す情報を第２の画像に含ませる。これにより、ユーザは、異なる視点から撮影された同一物の画像間の位置関係、包含関係を把握することができる。
　本発明の態様６に係る情報処理装置は、上記態様１から５において、前記第１の画像および前記第２の画像の少なくとも何れかを表示する表示部（表示装置１１１３）と、前記第１の画像および前記第２の画像のうち何れの画像を前記マーカーの重畳操作の対象となる画像として選択するのかを示す選択指示を受け付ける指示受付部（表示装置１１１３）と、をさらに備えており、前記表示部が、前記第１の画像および前記第２の画像のうち、前記マーカーの重畳操作の対象となる画像として選択された画像のみを表示することとしてもよい。
　前記の構成によれば、画像を表示する際に、第１の画像および第２の画像のうち、マーカーを重畳させる対象の画像のみを表示する。これにより、ユーザは、異なる視点から撮影された同一物の画像のうち、１つの画像だけを大きくして見ることができるので、効率的にマーカーによる指示を行うことができる。
　本発明の態様７に係る情報処理装置は、上記態様１から６において、第１の時点で所定の視点から撮影された画像である第１のフレーム、および、当該第１の時点より後の第２の時点で当該所定の視点から撮影された画像である第２のフレームを取得するフレーム取得部（特徴点検出部１５０１）をさらに備えており、前記位置情報取得部が、前記第１のフレームに重畳されたマーカーの位置情報である第３の位置情報を取得し、当該情報処理装置が、前記第１のフレーム、および、前記第２のフレームを参照して、当該第１のフレームを当該第２のフレームに変換するためのフレーム間変換パラメータを算出するフレーム間変換パラメータ算出部（１５０２）と、前記フレーム間変換パラメータを参照して、前記第３の位置情報を、前記第２のフレームに重畳されるマーカーの位置情報である第４の位置情報に更新するマーカー情報更新部（１５０３）と、をさらに備えていることとしてもよい。
　前記の構成によれば、第１のフレームに重畳されたマーカーの位置情報である第３の位置情報を、第２のフレームに重畳されるマーカーの位置情報である第４の位置情報に更新する。これにより、指示者が第１のフレームに重畳したマーカーを、それより後に撮影された第２のフレームに重畳させることができる。したがって、時間の経過に伴って、撮影される画像が変化しても、マーカーを追従させて、画像に重畳させることができる。
　本発明の態様８に係る端末（作業端末１１０３、１１０５）は、上記態様１から７に係る情報処理装置と通信を行う端末であって、前記第２の画像を前記情報処理装置に送信する送信部（通信部１８００）と、前記情報処理装置から前記第２の位置情報を取得する位置情報取得部（通信部１８００）と、前記第２の画像に重畳して、前記第２の位置情報の示す位置に、マーカーを表示する表示部（１８０２）と、を備えている。
　前記の構成によれば、第２の画像に重畳して、第２の位置情報の示す位置に、マーカーを表示する。これにより、ユーザは、情報処理装置において第１の画像に重畳されたマーカーを、第２の画像において見ることができる。
　本発明の態様９に係る遠隔通信システムは、情報処理装置と、第１の端末と、第２の端末と、を備えた遠隔通信システムであって、前記情報処理装置が、第１の視点から撮影された第１の画像、および、第２の視点から撮影された第２の画像を取得する画像取得部と、前記第１の画像に重畳されたマーカーの位置情報である第１の位置情報を取得する位置情報取得部と、前記第１の画像、および、前記第２の画像を参照して、当該第１の画像を当該第２の画像に変換するための画像間変換パラメータを算出する画像間変換パラメータ算出部と、前記画像間変換パラメータを参照して、前記第１の位置情報を、前記第２の画像に重畳されるマーカーの位置情報である第２の位置情報に変換するマーカー情報変換部と、を備えており、前記第１の端末が、前記第１の画像を前記情報処理装置に送信する送信部を備えており、前記第２の端末が、前記第２の画像を前記情報処理装置に送信する送信部と、前記情報処理装置から前記第２の位置情報を取得する位置情報取得部と、前記第２の画像に重畳して、前記第２の位置情報の示す位置に位置付けられたマーカー、並びに、前記第２の画像における前記第１の画像の撮影範囲および撮影方向を示す情報の少なくとも何れかを表示する表示部と、を備えている。
　本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。
　本発明は、少なくとも２つの視点から撮影された画像に関する処理を行う情報処理装置、端末、および、遠隔通信システムに利用することができる。
　１１０３、１１０５　作業端末（端末）
　１１１２　指示装置（情報処理装置）
　１１１３　表示装置（表示部、指示受付部）
　１４０１　映像合成部（画像変換部、情報合成部）
　１４０５　マーカー情報管理部（情報合成部）
　１５００　マーカー情報保管部（位置情報取得部）
　１５０１　特徴点検出部（画像取得部、フレーム取得部）
　１５０２　フレーム間変換パラメータ算出部
　１５０３　マーカー情報更新部
　１５０４　画像間変換パラメータ算出部
　１５０５　マーカー情報変換部
　１８００　通信部（送信部、位置情報取得部）
　１８０２　表示部

Claims (9)

  1. 　少なくとも２つの視点から撮影された画像に関する処理を行う情報処理装置であって、
    　第１の視点から撮影された第１の画像、および、第２の視点から撮影された第２の画像を取得する画像取得部と、
    　前記第１の画像に重畳されたマーカーの位置情報である第１の位置情報を取得する位置情報取得部と、
    　前記第１の画像、および、前記第２の画像を参照して、当該第１の画像を当該第２の画像に変換するための画像間変換パラメータを算出する画像間変換パラメータ算出部と、
    　前記画像間変換パラメータを参照して、前記第１の位置情報を、前記第２の画像に重畳されるマーカーの位置情報である第２の位置情報に変換するマーカー情報変換部と、
    　を備えている
    ことを特徴とする情報処理装置。
  2. 　前記画像間変換パラメータ算出部は、
    　前記第１の画像と、前記第２の画像との間で対応する部分を参照して、前記画像間変換パラメータを算出する
    ことを特徴とする請求項１に記載の情報処理装置。
  3. 　前記第１の画像、および、前記第２の画像から特徴点を検出する特徴点検出部をさらに備えており、
    　前記画像間変換パラメータ算出部は、
    　上記対応する部分として、前記特徴点検出部が検出した前記第１の画像の特徴点および前記第２の画像の特徴点を参照して、前記画像間変換パラメータを算出する
    ことを特徴とする請求項２に記載の情報処理装置。
  4. 　前記画像間変換パラメータを参照して、前記第１の画像を、前記第２の視点による画像に変換する画像変換部をさらに備えている
    ことを特徴とする請求項１から３の何れか一項に記載の情報処理装置。
  5. 　前記第２の画像における第１の画像の撮影範囲および撮影方向を特定し、当該撮影範囲と当該撮影方向とを示す情報を前記第２の画像に含ませる情報合成部をさらに備えていることを特徴とする請求項１から４の何れか一項に記載の情報処理装置。
  6. 　前記第１の画像および前記第２の画像の少なくとも何れかを表示する表示部と、
    　前記第１の画像および前記第２の画像のうち何れの画像を前記マーカーの重畳操作の対象となる画像として選択するのかを示す選択指示を受け付ける指示受付部と、
    をさらに備えており、
    　前記表示部は、前記第１の画像および前記第２の画像のうち、前記マーカーの重畳操作の対象となる画像として選択された画像のみを表示する
    ことを特徴とする請求項１から５のいずれか一項に記載の情報処理装置。
  7. 　当該情報処理装置は、
    　第１の時点で所定の視点から撮影された画像である第１のフレーム、および、当該第１の時点より後の第２の時点で当該所定の視点から撮影された画像である第２のフレームを取得するフレーム取得部をさらに備えており、
    　前記位置情報取得部は、
    　前記第１のフレームに重畳されたマーカーの位置情報である第３の位置情報を取得し、
    　当該情報処理装置は、
    　前記第１のフレーム、および、前記第２のフレームを参照して、当該第１のフレームを当該第２のフレームに変換するためのフレーム間変換パラメータを算出するフレーム間変換パラメータ算出部と、
    　前記フレーム間変換パラメータを参照して、前記第３の位置情報を、前記第２のフレームに重畳されるマーカーの位置情報である第４の位置情報に更新するマーカー情報更新部と、
    　をさらに備えている
    ことを特徴とする請求項１から６のいずれか一項に記載の情報処理装置。
  8. 　請求項１から７の何れか一項に記載の情報処理装置と通信を行う端末であって、
    　前記第２の画像を前記情報処理装置に送信する送信部と、
    　前記情報処理装置から前記第２の位置情報を取得する位置情報取得部と、
    　前記第２の画像に重畳して、前記第２の位置情報の示す位置に、マーカーを表示する表示部と、
    を備えていることを特徴とする端末。
  9. 　情報処理装置と、第１の端末と、第２の端末と、を備えた遠隔通信システムであって、
    　前記情報処理装置は、
    　　第１の視点から撮影された第１の画像、および、第２の視点から撮影された第２の画像を取得する画像取得部と、
    　　前記第１の画像に重畳されたマーカーの位置情報である第１の位置情報を取得する位置情報取得部と、
    　　前記第１の画像、および、前記第２の画像を参照して、当該第１の画像を当該第２の画像に変換するための画像間変換パラメータを算出する画像間変換パラメータ算出部と、
    　　前記画像間変換パラメータを参照して、前記第１の位置情報を、前記第２の画像に重畳されるマーカーの位置情報である第２の位置情報に変換するマーカー情報変換部と、
    　を備えており、
    　前記第１の端末は、
    　　前記第１の画像を前記情報処理装置に送信する送信部
    　を備えており、
    　前記第２の端末は、
    　　前記第２の画像を前記情報処理装置に送信する送信部と、
    　　前記情報処理装置から前記第２の位置情報を取得する位置情報取得部と、
    　　前記第２の画像に重畳して、前記第２の位置情報の示す位置に位置付けられたマーカー、並びに、前記第２の画像における前記第１の画像の撮影範囲および撮影方向を示す情報の少なくとも何れかを表示する表示部と、
    　を備えている
    ことを特徴とする遠隔通信システム。
PCT/JP2016/068390 2015-07-17 2016-06-21 情報処理装置、端末、および、遠隔通信システム WO2017013986A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US15/745,649 US20180211445A1 (en) 2015-07-17 2016-06-21 Information processing device, terminal, and remote communication system
JP2017529513A JPWO2017013986A1 (ja) 2015-07-17 2016-06-21 情報処理装置、端末、遠隔通信システム、および、情報処理プログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-143236 2015-07-17
JP2015143236 2015-07-17

Publications (1)

Publication Number Publication Date
WO2017013986A1 true WO2017013986A1 (ja) 2017-01-26

Family

ID=57834036

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/068390 WO2017013986A1 (ja) 2015-07-17 2016-06-21 情報処理装置、端末、および、遠隔通信システム

Country Status (3)

Country Link
US (1) US20180211445A1 (ja)
JP (1) JPWO2017013986A1 (ja)
WO (1) WO2017013986A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113542842A (zh) * 2021-07-14 2021-10-22 国网信息通信产业集团有限公司 一种适用于边缘计算的视频同步处理方法及系统
WO2021235193A1 (ja) * 2020-05-21 2021-11-25 ソニーグループ株式会社 情報処理システム、情報処理方法およびプログラム

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3086425B1 (fr) 2018-09-20 2021-03-05 Blade Procede d'execution d'un programme d'application dans un systeme informatique
CN109685839B (zh) * 2018-12-20 2023-04-18 广州华多网络科技有限公司 图像对齐方法、移动终端以及计算机存储介质
CN111050112A (zh) * 2020-01-10 2020-04-21 北京首翼弘泰科技有限公司 通过在屏幕上显示标记进行远程操作指挥或指导的方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014162825A1 (ja) * 2013-04-04 2014-10-09 ソニー株式会社 表示制御装置、表示制御方法およびプログラム
WO2015060393A1 (ja) * 2013-10-25 2015-04-30 独立行政法人産業技術総合研究所 遠隔行動誘導システム及びその処理方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7126558B1 (en) * 2001-10-19 2006-10-24 Accenture Global Services Gmbh Industrial augmented reality
JP4262011B2 (ja) * 2003-07-30 2009-05-13 キヤノン株式会社 画像提示方法及び装置
JP4738870B2 (ja) * 2005-04-08 2011-08-03 キヤノン株式会社 情報処理方法、情報処理装置および遠隔複合現実感共有装置
DE102009040430B4 (de) * 2009-09-07 2013-03-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung, Verfahren und Computerprogramm zur Überlagerung eines intraoperativen Livebildes eines Operationsgebiets oder des Operationsgebiets mit einem präoperativen Bild des Operationsgebiets
JP6540108B2 (ja) * 2015-03-09 2019-07-10 富士通株式会社 画像生成方法、システム、装置、及び端末

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014162825A1 (ja) * 2013-04-04 2014-10-09 ソニー株式会社 表示制御装置、表示制御方法およびプログラム
WO2015060393A1 (ja) * 2013-10-25 2015-04-30 独立行政法人産業技術総合研究所 遠隔行動誘導システム及びその処理方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021235193A1 (ja) * 2020-05-21 2021-11-25 ソニーグループ株式会社 情報処理システム、情報処理方法およびプログラム
CN113542842A (zh) * 2021-07-14 2021-10-22 国网信息通信产业集团有限公司 一种适用于边缘计算的视频同步处理方法及系统

Also Published As

Publication number Publication date
JPWO2017013986A1 (ja) 2018-06-14
US20180211445A1 (en) 2018-07-26

Similar Documents

Publication Publication Date Title
WO2017013986A1 (ja) 情報処理装置、端末、および、遠隔通信システム
KR101899877B1 (ko) 확대된 영상의 화질을 개선하기 위한 장치 및 방법
KR102303514B1 (ko) 정보 처리 장치, 정보 처리 방법 및 프로그램
US20080253685A1 (en) Image and video stitching and viewing method and system
JP6230113B2 (ja) 撮影動画像に指示画像を同期して重畳する映像指示同期方法、システム、端末、及びプログラム
CN101689292A (zh) Banana多媒体数字信号编解码器
US20120113238A1 (en) Drawn image sharing apparatus, drawn image sharing system, and drawn image sharing method
JP6192107B2 (ja) 撮影動画像に指示画像を重畳することができる映像指示方法、システム、端末及びプログラム
JP2013162287A (ja) 画像処理装置、画像処理方法、およびプログラム
EP3293960A1 (en) Information processing device, information processing method, and program
JP6359333B2 (ja) テレコミュニケーションシステム
JP6146869B2 (ja) 撮影動画像に指示画像を同期して重畳する映像指示表示方法、システム、端末、及びプログラム
JP5864371B2 (ja) 静止画自動生成システム、静止画自動生成システムにおける作業者用情報処理端末及び指示者用情報処理端末、及び判定装置
JP5509986B2 (ja) 画像処理装置、画像処理システム、及び画像処理プログラム
WO2016117480A1 (ja) テレコミュニケーションシステム
JP6306822B2 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
JP5906745B2 (ja) 画像表示装置、画像表示方法及びプログラム
JP5742305B2 (ja) 描画画像処理装置
JP2005275765A (ja) 画像処理装置、画像処理方法、画像処理プログラムおよびそのプログラムを記録した記録媒体
TWI784645B (zh) 擴增實境系統及其操作方法
US20210297649A1 (en) Image data output device, content creation device, content reproduction device, image data output method, content creation method, and content reproduction method
WO2018016655A1 (ja) 指示装置、指示装置の制御方法、遠隔作業支援システムおよび情報処理プログラム
JP6156930B2 (ja) 撮影動画像に指示画像を重畳することができる映像指示方法、システム、端末、及びプログラム
JP6242009B2 (ja) 広域画像に撮影領域枠を重畳表示する映像転送システム、端末、プログラム及び方法
JP5928228B2 (ja) 被写体検出装置、被写体検出方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16827550

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017529513

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15745649

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16827550

Country of ref document: EP

Kind code of ref document: A1