KR102148883B1 - 원격 조작 시스템, 및 그 통신 방법 - Google Patents

원격 조작 시스템, 및 그 통신 방법 Download PDF

Info

Publication number
KR102148883B1
KR102148883B1 KR1020190012949A KR20190012949A KR102148883B1 KR 102148883 B1 KR102148883 B1 KR 102148883B1 KR 1020190012949 A KR1020190012949 A KR 1020190012949A KR 20190012949 A KR20190012949 A KR 20190012949A KR 102148883 B1 KR102148883 B1 KR 102148883B1
Authority
KR
South Korea
Prior art keywords
photographing
operator
resolution
moving object
image
Prior art date
Application number
KR1020190012949A
Other languages
English (en)
Other versions
KR20190094115A (ko
Inventor
히로키 이즈
유 사사키
Original Assignee
도요타 지도샤（주）
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 도요타 지도샤（주） filed Critical 도요타 지도샤（주）
Publication of KR20190094115A publication Critical patent/KR20190094115A/ko
Application granted granted Critical
Publication of KR102148883B1 publication Critical patent/KR102148883B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0011—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
    • G05D1/0038—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • H04N5/23206—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0011—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
    • G05D1/0016—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement characterised by the operator's input device
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0011—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
    • G05D1/0022—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement characterised by the communication link
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234381—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N5/2257—
    • H04N5/23216—
    • H04N5/23219—
    • H04N5/23245—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects

Abstract

원격 조작 시스템은, 촬영 수단과, 촬영 수단에 의해 촬영된 촬영 데이터의 해상도를 변경하는 화질 변경 수단을 갖는 이동체와, 조작자가 이동체를 원격 조작하기 위한 조작 수단과, 조작 수단을 조작하는 조작자가 장착하고, 이동체의 화질 변경 수단으로부터 송신된 촬영 데이터의 화상 중, 조작자의 방향에 따른 소정 범위를 잘라내고, 잘라낸 소정 범위의 화상을 조작자에 대하여 표시하는 표시 수단을 구비한다. 화질 변경 수단은, 이동체의 이동 속도가 높아지는 경우, 및, 조작 수단을 통하여 촬영 수단에 의해 촬영된 촬영 데이터의 프레임 레이트를 증가시키는 설정 변경이 행해진 경우, 중 적어도 일방의 경우, 촬영 데이터의 프레임 레이트를 증가시키고, 프레임 레이트의 증가에 따라서, 촬영 수단의 촬영 데이터의 해상도를 저하시킨다.

Description

원격 조작 시스템, 및 그 통신 방법{REMOTE CONTROL SYSTEM AND COMMUNICATION METHOD THEREFOR}
본 발명은 이동체를 원격적으로 조작하기 위한 원격 조작 시스템, 및 그 통신 방법에 관한 것이다.
촬영 수단이 마련된 이동체와, 조작자가 이동체를 원격 조작하기 위한 조작 수단과, 조작 수단을 조작하는 조작자가 장착하고, 촬영 수단에 의해 촬영된 촬영 데이터의 화상을 조작자에 대하여 표시하는 표시 수단을 구비하는 원격 조작 시스템이 알려져 있다(예를 들면, 일본 공개특허 특개2003-267295호 공보 참조).
예를 들면, 이동체가 고속 이동하는 경우, 표시 수단에 표시되는 화상이 흩어지게 되어, 조작자의 몰입감을 손상할 우려가 있다. 이 때문에, 표시 수단의 화상은, 이동체의 높은 이동 속도에 따라서 고(高) 프레임 레이트로 조정된다. 한편으로, 표시 수단의 화상이 고 프레임 레이트로 조정되는 경우, 촬영 수단으로부터 표시 수단으로의 촬영 데이터의 통신량이 증가하여, 그 통신 부하가 증가한다. 따라서, 이동체가 고속 이동하고 있을 때의 몰입감 유지와 통신 부하 저감의 양립이 요망되고 있다.
본 발명은, 이와 같은 문제점을 해결하기 위하여 이루어진 것이며, 이동체가 고속 이동하고 있을 때의 몰입감 유지와 통신 부하 저감을 양립할 수 있는 원격 조작 시스템, 및 그 통신 방법을 제공하는 것을 주된 목적으로 한다.
상기 목적을 달성하기 위한 본 발명의 일 태양은,
촬영 수단과, 상기 촬영 수단에 의해 촬영된 촬영 데이터의 해상도를 변경하는 화질 변경 수단을 갖는 이동체와,
조작자가 상기 이동체를 원격 조작하기 위한 조작 수단과,
상기 조작 수단을 조작하는 조작자가 장착하고, 상기 이동체의 화질 변경 수단으로부터 송신된 촬영 데이터의 화상 중, 상기 조작자의 방향에 따른 소정 범위를 잘라내고, 당해 잘라낸 소정 범위의 화상을 당해 조작자에 대하여 표시하는 표시 수단을 구비하며,
상기 화질 변경 수단은, 상기 이동체의 이동 속도가 높아지는 경우, 및, 상기 조작 수단을 통하여 상기 촬영 수단에 의해 촬영된 촬영 데이터의 프레임 레이트를 증가시키는 설정 변경이 행해진 경우, 중 적어도 일방(一方)의 경우, 상기 촬영 데이터의 프레임 레이트를 증가시키고, 당해 프레임 레이트의 증가에 따라서, 상기 촬영 수단의 촬영 데이터의 해상도를 저하시키는 것을 특징으로 하는 원격 조작 시스템이다.
이 일 태양에 있어서, 상기 표시 수단은, 상기 조작자가 향하고 있는 방향을 검출하는 방향 검출 수단을 갖고, 상기 표시 수단은, 상기 화질 변경 수단에 의해 변경된 촬영 데이터 중, 상기 방향 검출 수단에 의해 검출된 조작자가 향하고 있는 방향을 중심으로 한 상기 소정 범위의 화상을 당해 조작자에 대하여 표시하고, 상기 화질 변경 수단은, 상기 촬영 데이터 중, 상기 방향 검출 수단에 의해 검출된 조작자가 향하고 있는 방향을 중심으로 한 상기 소정 범위의 영역을 고화질 영역으로 하고, 당해 소정 범위 이외를 당해 고화질 영역보다 낮은 해상도의 저화질 영역으로 변경함으로써, 상기 촬영 수단의 촬영 데이터의 해상도를 저하시켜도 된다.
이 일 태양에 있어서, 상기 화질 변경 수단은, 상기 촬영 수단에 의해 촬영된 촬영 데이터의 프레임 레이트가 증가함에 따라서, 상기 저화질 영역을 넓게 해도 된다.
이 일 태양에 있어서, 상기 화질 변경 수단은, 상기 조작자의 헤드부의 동작 속도에 기초하여, 상기 저화질 영역 중, 상기 조작자가 시인할 수 없는 영역을 추정하고, 당해 추정한 영역을 화상이 없는 무화상 영역으로 해도 된다.
이 일 태양에 있어서, 상기 화질 변경 수단은, 상기 저화질 영역의 해상도를, 상기 고화질 영역으로부터 멀어짐에 따라서, 서서히 저하시켜도 된다.
이 일 태양에 있어서, 상기 촬영 데이터는, 상기 화질 변경 수단으로부터 상기 표시 수단으로 무선 또는 유선으로 송신되고, 상기 무선 또는 유선에는, 상기 촬영 데이터를 송신할 때의 단위시간당의 통신량의 상한값이 설정되어도 된다.
이 일 태양에 있어서, 상기 화질 변경 수단은, 상기 촬영 수단에 의해 촬영된 촬영 데이터의 프레임 레이트가 소정값보다 높은 경우, 상기 촬영 수단의 촬영 데이터의 해상도를 저하시켜도 된다.
이 일 태양에 있어서, 상기 촬영 수단은, 상기 이동체의 전방위(全方位)를 촬영하는 전방위 카메라여도 된다.
이 일 태양에 있어서, 상기 이동체는, 수중을 이동하는 잠수기여도 된다.
이 일 태양에 있어서, 상기 화질 변경 수단은, 상기 촬영 데이터의 프레임 레이트의 증가에 따라서, 상기 촬영 수단의 촬영 데이터의 해상도를 저하시킴과 함께, 상기 이동체의 심도 또는 당해 이동체 주위의 투명도에 따라서, 당해 해상도의 저하량을 억제해도 된다.
이 일 태양에 있어서, 상기 화질 변경 수단에 의해 해상도가 변경된 촬영 데이터는, 당해 화질 변경 수단으로부터 상기 표시 수단에 대하여 무선을 통하여, 수중을 통과하여 송신되고, 상기 화질 변경 수단은, 상기 촬영 데이터의 프레임 레이트의 증가에 따라서, 상기 촬영 수단의 촬영 데이터의 해상도를 저하시킴과 함께, 상기 수중의 거리에 따라서, 당해 해상도의 저하량을 증가시켜도 된다.
상기 목적을 달성하기 위한 본 발명의 일 태양은,
촬영 수단과, 상기 촬영 수단에 의해 촬영된 촬영 데이터의 해상도를 변경하는 화질 변경 수단을 갖는 이동체와,
조작자가 상기 이동체를 원격 조작하기 위한 조작 수단과,
상기 조작 수단을 조작하는 조작자가 장착하고, 상기 이동체의 화질 변경 수단으로부터 송신된 촬영 데이터의 화상 중, 상기 조작자의 방향에 따른 소정 범위를 잘라내고, 당해 잘라낸 소정 범위의 화상을 당해 조작자에 대하여 표시하는 표시 수단을 구비하는, 원격 조작 시스템의 통신 방법으로서,
상기 이동체의 이동 속도가 높아지는 경우, 및, 상기 조작 수단을 통하여 상기 촬영 수단에 의해 촬영된 촬영 데이터의 프레임 레이트를 증가시키는 설정 변경이 행해진 경우, 중 적어도 일방의 경우, 상기 촬영 데이터의 프레임 레이트를 증가시키고, 당해 프레임 레이트의 증가에 따라서, 상기 촬영 수단의 촬영 데이터의 해상도를 저하시키는 것을 특징으로 하는 원격 조작 시스템의 통신 방법이어도 된다.
본 발명에 의하면, 이동체가 고속 이동하고 있을 때의 몰입감 유지와 통신 부하 저감을 양립할 수 있는 원격 조작 시스템, 및 그 통신 방법을 제공할 수 있다.
본 발명의 그 외의 특징, 목적, 장점은, 본 발명을 제한하기 위한 것이 아닌 예로서의 부수되는 도면에의 참조와 함께 이하의 상세한 설명을 읽음으로써 보다 명백해질 것이다.
도 1은 본 발명의 실시 형태 1에 관련된 원격 조작 시스템의 개략적인 구성을 나타내는 도면이다.
도 2는 본 발명의 실시 형태 1에 관련된 원격 조작 시스템의 개략적인 구성을 나타내는 블록도이다.
도 3은 이동체의 이동 속도와 해상도와의 관계를 나타내는 맵 정보의 일례를 나타내는 도면이다.
도 4는 본 발명의 실시 형태 1에 관련된 원격 조작 시스템의 통신 방법의 플로우를 나타내는 플로우차트이다.
도 5는 고화질 영역과 저화질 영역을 나타내는 도면이다.
도 6은 이동체의 이동 속도와 저화질 영역의 면적과의 관계를 나타내는 맵 정보의 일례를 나타내는 도면이다.
도 7은 무화상 영역의 일례를 나타내는 도면이다.
도 8은 본 발명의 실시 형태 2에 관련된 원격 조작 시스템의 통신 방법의 플로우를 나타내는 플로우차트이다.
실시 형태 1
이하에, 도면을 참조하여 본 발명의 실시 형태에 대하여 설명한다. 도 1은 본 발명의 실시 형태 1에 관련된 원격 조작 시스템의 개략적인 구성을 나타내는 도면이다. 도 2는 본 실시 형태 1에 관련된 원격 조작 시스템의 개략적인 구성을 나타내는 블록도이다. 본 실시 형태 1에 관련된 원격 조작 시스템(1)은, 이동체(2)를 원격적으로 조작한다. 본 실시 형태 1에 관련된 원격 조작 시스템(1)은, 자율적으로 이동하는 이동체(2)와, 이동체(2)를 제어하는 제어 장치(3)와, 이동체(2)를 조작하기 위한 조작 장치(4)와, 화상을 조작자에 대하여 표시하는 표시 장치(5)를 구비하고 있다.
이동체(2)는, 예를 들면, 무인 잠수기(수중 드론)이다. 이동체(2)는, 이동체(2) 주위를 촬영하는 카메라(21)와, 이동체(2)의 이동 속도를 검출하는 속도 센서(22)와, 촬영 데이터의 해상도를 변경하는 영상 처리부(23)와, 이동체(2)의 자세각을 검출하는 자세각 센서(24)와, 이동체(2)를 제어하는 이동체 제어부(25)를 갖고 있다.
카메라(21)는 촬영 수단의 일 구체예이다. 카메라(21)는 이동체(2)의 전방위를 촬영하는 전방위 카메라이다. 전방위 카메라는, 예를 들면, 전구(全球), 반구(半球), 또는 360도 띠 형상의 영상을 비추는 구성이다. 전방위 카메라는 복수의 카메라로 구성되어 있어도 된다. 이 경우, 각 카메라의 영상을 조합하여 전구, 반구, 또는 360도 띠 형상의 영상을 비추는 구성이어도 된다.
속도 센서(22)는, 이동체(2)의 이동 속도를 검출하고, 검출한 이동 속도를 영상 처리부(23) 및 이동체 제어부(25)에 출력한다.
영상 처리부(23)는 화질 변경 수단의 일 구체예이다. 영상 처리부(23)는, 카메라(21)에 의해 촬영된 촬영 데이터의 해상도를 변경한다. 또한, 영상 처리부(23)는 카메라(21)에 내장되어 있어도 된다.
영상 처리부(23)는, 속도 센서(22)에 의해 검출된 이동체(2)의 이동 속도가 증가한 경우, 카메라(21)의 촬영 데이터의 프레임 레이트를 증가시킨다. 영상 처리부(23)는, 예를 들면, 속도 센서(22)에 의해 검출된 이동체(2)의 이동 속도가 증가함에 따라서, 카메라(21)의 촬영 데이터의 프레임 레이트를 증가시킨다. 또, 영상 처리부(23)는, 속도 센서(22)에 의해 검출된 이동체(2)의 이동 속도가 소정값 이상으로 된 경우에, 카메라(21)의 촬영 데이터의 프레임 레이트를 증가시켜도 된다. 이에 의해, 이동체(2)가 고속 이동하는 경우이더라도, 그 촬영 데이터를 매끄러운 동화상으로 할 수 있다.
또한, 영상 처리부(23)는, 조작 장치(4)를 통하여 카메라(21)의 촬영 데이터의 프레임 레이트를 증가시키는 설정 변경이 행해진 경우에, 그 촬영 데이터의 프레임 레이트를 증가시켜도 된다.
자세각 센서(24)는, 이동체(2)의 요(yaw) 각, 피치 각, 롤 각 등의 자세각을 검출하고, 검출한 자세각을 이동체 제어부(25)에 출력한다.
이동체 제어부(25)는, 자세각 센서(24)에 의해 검출된 이동체(2)의 자세각과, 속도 센서(22)에 의해 검출된 이동체(2)의 이동 속도와, 제어 장치(3)로부터 송신되는 제어 신호에 기초하여, 이동체(2)의 자세나 이동 속도 등을 제어한다. 이동체 제어부(25)는, 예를 들면, 자세각 센서(24)에 의해 검출된 이동체(2)의 자세각에 기초하여, 롤 축, 피치 축, 요 축의 모든 축에 대하여 피드백 제어를 행하고, 이동체(2)의 롤 방향, 피치 방향, 및 요 방향의 자세를 제어한다.
제어 장치(3)는, 예를 들면, 지상에 설치되어 있지만, 수중에 설치되어 있어도 된다. 제어 장치(3)와 이동체(2)는, 예를 들면, 케이블 등의 유선(6)으로 접속되어 있다. 또한, 제어 장치(3)와 이동체(2)는 가시광, 적외광 등의 무선으로 통신 접속되어 있어도 된다. 영상 처리부(23)는, 해상도를 변경한 촬영 데이터를, 유선(6) 및 제어 장치(3)를 통하여, 표시 장치(5)에 송신한다.
제어 장치(3)는, 조작 장치(4)로부터의 조작 신호에 따라서, 이동체(2)의 동작을 제어한다. 제어 장치(3)는, 조작 장치(4)로부터 송신되는 조작 신호에 따른 제어 신호를 생성하고, 생성한 제어 신호를 이동체(2)의 이동체 제어부(25)에 대하여 송신한다.
제어 장치(3) 및 이동체 제어부(25)는, 예를 들면, 연산 처리, 제어 처리 등을 행하는 CPU(Central Processing Unit), CPU에 의해서 실행되는 연산 프로그램, 제어 프로그램 등이나, 각종 데이터 등을 기억하는 메모리, 외부와 신호의 입출력을 행하는 인터페이스부(I/F), 등으로 이루어지는 마이크로 컴퓨터를 중심으로 하여, 하드웨어 구성되어 있다. CPU, 메모리 및 인터페이스부는, 데이터 버스 등을 통하여 상호 접속되어 있다.
조작 장치(4)는 조작 수단의 일 구체예이다. 조작 장치(4)는, 조작자의 조작에 따른 조작 신호를 생성하고, 생성한 조작 신호를 제어 장치(3)에 송신한다. 제어 장치(3)와 조작 장치(4)는, Bluetooth(등록상표), Wifi(등록상표) 등의 무선으로 통신 접속되어 있다. 제어 장치(3)와 조작 장치(4)는, 예를 들면, 인터넷 등의 네트워크를 통하여 통신 접속되어 있어도 된다. 제어 장치(3)와 조작 장치(4)는 유선으로 통신 접속되어 있어도 된다. 조작 장치(4)는, 예를 들면, 조작자가 조작하는 조이 스틱, 스위치, 버튼 등을 갖고 있다. 조작 장치(4)는 스마트 폰 등의 휴대 단말이어도 된다. 조작 장치(4)와 표시 장치(5)는 일체적으로 구성되어 있어도 된다.
표시 장치(5)는 표시 수단의 일 구체예이다. 표시 장치(5)는, 조작자에게 장착되는 헤드 마운트 디스플레이(51)와, 헤드 마운트 디스플레이(51)에 화상을 표시시키는 영상 표시부(52)를 갖고 있다. 헤드 마운트 디스플레이(51)와 영상 표시부(52)는, 유선(53)으로 접속되어 있지만 무선으로 접속되어 있어도 된다. 또한, 예를 들면, 영상 표시부(52)는 헤드 마운트 디스플레이(51)에 내장되고, 영상 표시부(52)와 헤드 마운트 디스플레이(51)는 일체적으로 구성되어 있어도 된다.
헤드 마운트 디스플레이(51)는 표시 수단의 일 구체예이다. 헤드 마운트 디스플레이(51)는, 예를 들면, 안경형으로 구성되고, 조작자의 헤드부에 장착된다. 헤드 마운트 디스플레이(51)는, 예를 들면, 액정 디스플레이나 유기 EL 디스플레이 등을 갖고 있다.
헤드 마운트 디스플레이(51)에는, 조작자의 헤드부의 각도를 검출하는 각도 센서(54)가 마련되어 있다. 각도 센서(54)는 방향 검출 수단의 일 구체예이다. 각도 센서(54)는, 검출한 조작자의 헤드부의 각도를 영상 표시부(52)에 출력한다.
예를 들면, 각도 센서(54)는, 조작자가 정면을 향하고 있을 때의 각도를 0°로 하고, 요 축 방향 및 피치 축 방향의 각 각도를 검출한다. 요 축 방향에 관해서는, 조작자가 우측을 향한 경우를 정(正) 방향, 좌측을 향한 경우를 부(負) 방향이라고 한다. 피치 축 방향에 관해서는, 조작자가 상측을 향한 경우를 정 방향, 하측을 향한 경우를 부 방향이라고 한다.
또한, 조작자가 향하고 있는 방향으로서, 조작자의 헤드부의 각도를 검출하고 있지만, 이것에 한정되지 않는다. 조작자가 향하고 있는 방향으로서, 예를 들면, 카메라 등을 이용하여 조작자의 시선이나 몸의 방향을 검출해도 되고, 조종자가 주시하고 있는 방향을 검출할 수 있으면 임의의 방향을 검출해도 된다.
영상 표시부(52)는, 각도 센서(54)로부터의 조작자의 헤드부의 각도에 기초하여, 이동체(2)의 영상 처리부(23)로부터 송신된 촬영 데이터의 전방위 화상의 전체 영역 중에서, 조작자의 방향을 중심으로 한 소정 범위를 잘라낸다. 소정 범위는, 조작자가 보고 있는 시선 방향의 소정 영역(이하, 시선 방향 영역이라고 칭함)이며, 미리 메모리 등에 설정되어 있다.
예를 들면, 영상 표시부(52)는, 각도 센서(54)로부터의 조작자의 헤드부의 요 축 방향의 각도에 기초하여, 좌우 방향의 시선 방향 영역을 특정하고, 각도 센서(54)로부터의 조작자의 헤드부의 피치 축 방향의 각도에 기초하여, 상하 방향의 시선 방향 영역을 특정함으로써, 소정 영역을 잘라낸다.
영상 표시부(52)는, 촬영 데이터의 전방위 화상의 전체 영역 중에서, 잘라낸 시선 방향 영역의 화상을 헤드 마운트 디스플레이(51)에 송신한다. 헤드 마운트 디스플레이(51)는, 영상 표시부(52)로부터 송신되는 시선 방향 영역의 화상을 조작자에 대하여 표시한다. 이와 같이, 헤드 마운트 디스플레이(51)는, 조작자가 향하고 있는 방향에 따른 시선 방향 화상을 표시함으로써, 조작자에 대하여 몰입형 영상을 표시할 수 있다.
영상 표시부(52)와 조작 장치(4)는, 유선으로 접속되어 있지만 무선으로 접속되어 있어도 된다. 영상 표시부(52)와 제어 장치(3)는, 예를 들면, 인터넷 등의 네트워크를 통하여 통신 접속되어 있어도 된다.
그런데, 예를 들면, 이동체가 고속 이동하는 경우, 표시 장치에 표시되는 화상이 흩어지게 되어, 조작자의 몰입감을 손상할 우려가 있다. 이 때문에, 표시 장치의 화상은, 이동체의 높은 이동 속도에 따라서 고 프레임 레이트로 조정된다. 한편으로, 표시 장치의 화상이 고 프레임 레이트로 조정되는 경우, 카메라로부터 표시 장치에의 촬영 데이터의 통신량이 증가하여, 그 통신 부하가 증가한다. 한편, 촬영 데이터를 송신하는 유선 또는 무선의 하드웨어 등에 의해서, 송신 가능한 촬영 데이터의 단위시간당의 상한값이 결정되고 있어, 그 이상 송신할 수 없는 경우도 있다. 이와 같이, 이동체가 고속 이동하고 있을 때의 몰입감 유지와 통신 부하 저감의 양립이 요망되고 있다.
이에 비하여, 본 실시 형태 1에 관련된 원격 조작 시스템(1)은, 이동체(2)의 이동 속도가 높아지는 경우, 이동체(2)의 카메라(21)의 촬영 데이터의 프레임 레이트를 증가시키고, 당해 프레임 레이트의 증가에 따라서, 카메라(21)의 촬영 데이터의 해상도를 저하시킨다.
이에 의해, 이동체(2)가 고속 이동하고 있을 때, 카메라(21)의 촬영 데이터는 고 프레임 레이트가 되지만, 촬영 데이터의 해상도를 저하시킴으로써, 그 통신량을 저하시켜, 통신 부하를 저감할 수 있다. 또한, 이동체(2)의 이동 속도에 따라서, 카메라(21)의 촬영 데이터는 고 프레임 레이트로 유지되어 있기 때문에, 표시 장치(5)에 표시되는 화상이 흩어지는 것도 억제할 수 있어, 조작자의 몰입감을 유지할 수 있다. 즉, 이동체(2)가 고속 이동하고 있을 때의 몰입감 유지와 통신 부하 저감을 양립할 수 있다.
특히, 이동체(2)가 수중 드론인 경우, 수중에서의 그 반응 속도가 느려진다. 이 때문에, 상술한 바와 같이, 전방위 카메라를 사용하여 이동체(2)의 전방위를 촬영하고, 그 전방위 화상 중에서 조작자의 방향의 소정 범위를 잘라내어, 표시한다. 따라서, 이동체(2)로부터 송신되는 촬영 데이터량은 필연적으로 커진다. 그러나, 본 실시 형태 1에 관련된 원격 조작 시스템(1)에 의하면, 상술한 바와 같이, 통신량을 효과적으로 저감할 수 있기 때문에, 그 저감 효과는 보다 크다고 할 수 있다.
예를 들면, 이동체(2)의 영상 처리부(23)는, 속도 센서(22)에 의해 검출된 이동체(2)의 이동 속도가 소정값보다 높아졌다고 판단하면, 카메라(21)에 의해 촬영된 촬영 데이터의 화상의 해상도를 저하시킨다. 영상 처리부(23)는, 촬영 데이터의 프레임 레이트가 소정값보다 커졌다고 판단하면, 카메라(21)에 의해 촬영된 촬영 데이터의 화상의 해상도를 저하시켜도 된다.
영상 처리부(23)는, 저해상도로 변경한 촬영 데이터를, 영상 표시부(52)에 송신함으로써, 이동체(2)의 영상 처리부(23)와, 표시 장치(5)의 영상 표시부(52)와의 사이의 통신량을 저감할 수 있어, 그 통신 부하를 저감할 수 있다.
영상 처리부(23)에는, 예를 들면, 상기 몰입감 유지와 통신 부하 저감을 양립할 수 있는 이동 속도의 소정값 및 해상도 저하량이 미리 설정되어 있다. 영상 처리부(23)는, 속도 센서(22)에 의해 검출된 이동체(2)의 이동 속도가 소정값보다 높아졌다고 판단하면, 카메라(21)에 의해 촬영된 촬영 데이터의 해상도를 미리 설정된 해상도 저하량만큼 저하시킨다.
또한, 영상 처리부(23)는, 속도 센서(22)에 의해 검출된 이동체(2)의 이동 속도가 증가함에 따라서, 카메라(21)에 의해 촬영된 촬영 데이터의 화상의 해상도를 저하시켜도 된다. 이에 의해, 이동체(2)의 이동 속도가 증가함에 따라서, 카메라(21)의 촬영 데이터는 고 프레임 레이트가 되지만, 촬영 데이터의 해상도를 서서히 저하시킴으로써, 그 통신 부하를 효과적으로 저감할 수 있다. 따라서, 이동체(2)의 이동 속도에 따라서, 효과적으로 통신량을 저감하여, 그 통신 부하를 저감할 수 있다.
예를 들면, 도 3에 나타내는 바와 같이, 이동체(2)의 이동 속도와 해상도와의 관계를 나타내는 맵 정보가 메모리 등에 기억되어 있다. 영상 처리부(23)는, 속도 센서(22)에 의해 검출된 이동체(2)의 이동 속도와, 맵 정보에 기초하여, 카메라(21)에 의해 촬영된 촬영 데이터의 화상의 해상도를 저하시킨다. 또한, 맵 정보에는, 이동체(2)의 이동 속도가 증가함에 따라서, 해상도가 저하되는 것과 같은 관계가 설정되어 있다. 또, 맵 정보에 있어서, 이동 속도가 역치 이상이 되면, 해상도는 일정값으로 되고 있다. 이것은, 이 이상 해상도를 저하시키면, 조작자가 화상을 보기 어려워지기 때문이다. 영상 처리부(23)는, 실험적으로 구한 함수 등을 이용하여, 카메라(21)에 의해 촬영된 촬영 데이터의 화상의 해상도를 저하시켜도 된다.
영상 처리부(23)는 제어 장치(3)에 내장되어 있어도 된다. 이 경우, 상기 구성에 의해서, 제어 장치(3)와 표시 장치(5) 사이의 통신량을 저감할 수 있어, 그 통신 부하를 저감할 수 있다.
도 4는 본 실시 형태 1에 관련된 원격 조작 시스템의 통신 방법의 플로우를 나타내는 플로우차트이다.
카메라(21)는, 이동체(2) 주위를 촬영하고, 그 촬영 데이터를 영상 처리부(23)에 송신한다(단계 S101).
속도 센서(22)는, 이동체(2)의 이동 속도를 검출하고, 검출한 이동 속도를 영상 처리부(23)에 송신한다(단계 S102).
영상 처리부(23)는, 카메라(21)로부터의 촬영 데이터와, 속도 센서(22)로부터의 이동체(2)의 이동 속도에 기초하여, 맵 정보에 따라서, 촬영 데이터의 화상의 해상도를 저하시킨다(단계 S103).
영상 처리부(23)는, 해상도를 저하시킨 촬영 데이터를, 유선(6) 및 제어 장치(3)를 통하여, 표시 장치(5)의 영상 표시부(52)에 송신한다(단계 S104).
영상 표시부(52)는, 영상 처리부(23)로부터 송신된 촬영 데이터의 전방위 화상의 전체 영역 중에서 잘라낸 시선 방향 영역의 화상을, 헤드 마운트 디스플레이(51)에 송신한다(단계 S105).
헤드 마운트 디스플레이(51)는, 영상 표시부(52)로부터 송신되는 시선 방향 영역의 화상을 조작자에 대하여 표시한다(단계 S106).
이상으로, 본 실시 형태 1에 관련된 원격 조작 시스템(1)은, 이동체(2)의 이동 속도가 높아지는 경우, 이동체(2)의 카메라(21)의 촬영 데이터의 프레임 레이트를 증가시키고, 당해 프레임 레이트의 증가에 따라서, 카메라(21)의 촬영 데이터의 해상도를 저하시킨다. 이에 의해, 이동체(2)가 고속 이동하고 있을 때, 카메라(21)의 촬영 데이터는 고 프레임 레이트가 되지만, 촬영 데이터의 해상도를 저하시킴으로써, 그 통신 부하를 저감할 수 있다. 또한, 이동체(2)의 이동 속도에 따라서, 카메라(21)의 촬영 데이터는 고 프레임 레이트로 유지되어 있기 때문에, 조작자의 몰입감을 유지할 수 있다. 즉, 이동체(2)가 고속 이동하고 있을 때의 몰입감 유지와 통신 부하 저감을 양립할 수 있다.
실시 형태 2
본 발명의 실시 형태 2에 있어서, 이동체(2)의 영상 처리부(23)는, 이동체(2)의 이동 속도가 소정값보다 높은 경우, 카메라(21)에 의해 촬영된 촬영 데이터의 전방위 화상의 전체 영역 중에서 시선 방향 영역을 고화질 영역이라고 하고, 당해 시선 방향 영역 이외를 고화질 영역보다 낮은 해상도의 저화질 영역으로 변경한다.
이에 의해, 영상 처리부(23)는, 조작자가 주시하지 않는 영역만을 저해상도로 변경한 촬영 데이터를, 표시 장치(5)의 영상 표시부(52)로 송신함으로써, 조작자가 주시하는 시선 방향 영역을 고화질로 유지하면서, 통신 부하를 효과적으로 저감할 수 있다.
예를 들면, 도 5에 나타내는 바와 같이, 영상 처리부(23)는, 각도 센서(54)로부터의 조작자의 헤드부의 각도에 기초하여, 촬영 데이터의 전방위 화상의 전체 영역 중에서 시선 방향 영역을 고화질 영역이라고 하고, 시선 방향 영역 이외를 저화질 영역으로 변경한다.
시선 방향 영역의 소정 범위는, 예를 들면, 미리 메모리 등에 설정되지만, 조작자가 조작 장치(4) 등을 통하여 임의로 설정 변경 가능하다. 또한, 영상 처리부(23)는, 이동체(2)의 이동 속도에 따라서, 저화질 영역의 넓이를 변경해도 된다. 예를 들면, 영상 처리부(23)는, 이동체(2)의 이동 속도가 증가함에 따라서, 저화질 영역을 넓게 해도 된다.
예를 들면, 도 6에 나타내는 바와 같이, 이동체(2)의 이동 속도와 저화질 영역의 면적과의 관계를 나타내는 맵 정보가 메모리 등에 기억되어 있다. 영상 처리부(23)는, 속도 센서(22)에 의해 검출된 이동체(2)의 이동 속도와, 맵 정보에 기초하여, 저화질 영역을 넓게 설정한다. 또한, 맵 정보에는, 이동체(2)의 이동 속도가 증가함에 따라서 저화질 영역의 면적이 증가하는 것과 같은 관계가 설정되어 있다. 또, 맵 정보에 있어서, 이동체(2)의 이동 속도가 역치 이상이 되면, 저화질 영역의 면적은 일정값으로 된다. 이것은, 이 이상 저화질 영역을 넓게 하면, 조작자가 화상을 보기 어려워지기 때문이다.
영상 처리부(23)는, 촬영 데이터의 전방위 화상의 전체 영역의 일부를, 동일한 해상도의 저화질 영역으로 변경하고 있지만, 이것에 한정되지 않는다. 영상 처리부(23)는, 촬영 데이터의 전방위 화상의 전체 영역의 일부를, 시선 방향 영역으로부터 멀어짐에 따라서, 단계적으로 또는 연속적으로 서서히 해상도가 저하되는 것과 같은 저화질 영역으로 변경해도 된다. 이에 의해, 저화질 영역 중 조작자의 시야에 들어가기 어려운 영역의 화질을 저하시킴으로써, 보다 통신량을 저하시킬 수 있다.
또, 영상 처리부(23)는, 이동체(2)의 이동 속도가 소정값보다 높은 경우, 카메라(21)에 의해 촬영된 촬영 데이터의 전방위 화상의 전체 영역 중에서, 조작자가 정면을 향하고 있을 때의 각도 0° 부근을 고화질 영역으로 하고, 그 고화질 영역으로부터 멀어짐에 따라서, 서서히 해상도를 저하시켜도 된다.
또한, 영상 처리부(23)는, 예를 들면, 도 7에 나타내는 바와 같이, 저화질 영역의 일부에, 화상이 없는 영역(이하, 무화상 영역)을 설정해도 된다. 예를 들면, 영상 처리부(23)는, 각도 센서(54)로부터 영상 처리부(23)에 조작자의 헤드부의 각도가 송신될 때의 통신 지연 시간과, 조작자의 헤드부의 동작 최대 속도에 기초하여, 저화질 영역 중, 조작자가 시인할 수 없는 영역을 추정한다. 이 영역은, 조작자가 동작 최대 속도로 헤드부를 동작시키더라도 시인할 수 없는 영역이다. 그리고, 영상 처리부(23)는, 그 추정한 영역을 무화상 영역으로 설정한다. 이에 의해, 조작자가 주시하지 않는 영역만을 저화질 영역으로 변경할 뿐만 아니라, 저화질 영역의 일부를 화상 데이터가 없는 무화상 영역으로 설정함으로써, 그 통신량을 더 저감하여, 통신 부하를 저감할 수 있다.
도 8은 본 실시 형태 2에 관련된 원격 조작 시스템의 통신 방법의 플로우를 나타내는 플로우차트이다.
헤드 마운트 디스플레이(51)의 각도 센서(54)는, 조작자의 헤드부의 각도를 검출한다(단계 S201). 각도 센서(54)는, 검출한 조작자의 헤드부의 각도를 영상 표시부(52)에 송신한다(단계 S202).
이동체(2)의 카메라(21)는, 이동체(2) 주위를 촬영하여, 그 촬영 데이터를 영상 처리부(23)에 송신한다(단계 S203).
속도 센서(22)는, 이동체(2)의 이동 속도를 검출하고, 검출한 이동 속도를 영상 처리부(23)에 송신한다(단계 S204).
영상 처리부(23)는, 각도 센서(54)로부터의 조작자의 헤드부의 각도와, 속도 센서(22)로부터의 이동체(2)의 이동 속도와, 맵 정보에 기초하여, 촬영 데이터의 전방위 화상에 대하여 고화질 영역과 저화질 영역을 설정한다(단계 S205). 영상 처리부(23)는, 촬영 데이터 중, 설정된 저화질 영역의 해상도를 저하시킨다.
영상 처리부(23)는, 해상도를 저하시킨 촬영 데이터를, 유선(6) 및 제어 장치(3)를 통하여, 표시 장치(5)의 영상 표시부(52)에 송신한다(단계 S206).
영상 표시부(52)는, 영상 처리부(23)로부터 송신된 촬영 데이터의 전방위 화상의 전체 영역 중에서, 잘라낸 시선 방향 영역의 화상을 헤드 마운트 디스플레이(51)에 송신한다(단계 S207).
헤드 마운트 디스플레이(51)는, 영상 표시부(52)로부터 송신되는 시선 방향 영역의 화상을 조작자에 대하여 표시한다(단계 S208).
실시 형태 3
본 발명의 실시 형태 3에 있어서, 이동체(2)의 영상 처리부(23)는, 이동체(2)의 이동 속도가 소정값보다 높은 경우, 이동체(2)의 카메라(21)의 촬영 데이터의 해상도를 저하시킴과 함께, 이동체(2)의 심도에 따라서, 그 해상도의 저하량을 억제해도 된다.
이동체(2)가 깊이 잠겨 그 심도가 커지면, 이동체(2)의 주위는 어두워진다. 이 때문에, 카메라(21)의 노광 시간이 길어져, 그 프레임 레이트가 감소한다. 따라서, 카메라(21)의 촬영 데이터량이 감소하기 때문에, 영상 처리부(23)는, 상술한 바와 같이, 이동체(2)의 심도가 증가하면, 그 해상도의 저하량을 억제한다. 이에 의해, 이동체(2)의 심도에 따라서 통신 부하를 최적으로 저감할 수 있다.
예를 들면, 영상 처리부(23)는, 이동체(2)의 이동 속도가 소정값보다 높은 경우, 이동체(2)의 카메라(21)의 촬영 데이터의 해상도를 저하시킴과 함께, 심도 센서에 의해 검출된 이동체(2)의 심도가 증가함에 따라서, 그 해상도의 저하량을 억제한다.
보다 구체적으로는, 이동체(2)의 심도와 해상도 저하량과의 관계를 나타내는 맵 정보가 메모리 등에 기억되어 있다. 맵 정보는, 이동체(2)의 심도가 증가함에 따라서, 해상도 저하량이 감소하는 것과 같은 관계가 기억되어 있다.
영상 처리부(23)는, 속도 센서(22)에 의해 검출된 이동체(2)의 이동 속도가 소정값보다 높아졌다고 판단하면, 맵 정보를 참조하여, 이동체(2)의 심도에 따른 해상도 저하량을 산출한다. 영상 처리부(23)는, 산출한 해상도 저하량만큼 이동체(2)의 카메라(21)의 촬영 데이터의 해상도를 저하시킨다.
영상 처리부(23)는, 이동체(2)의 이동 속도가 소정값보다 높은 경우, 이동체(2)의 카메라(21)의 촬영 데이터의 해상도를 저하시킴과 함께, 이동체(2) 주위의 투명도에 따라서, 그 해상도의 저하량을 억제해도 된다.
이동체(2) 주위의 투명도가 작아지면, 이동체(2)의 주위는 어두워진다. 이 때문에, 카메라(21)의 노광 시간이 길어져, 그 프레임 레이트가 감소한다. 따라서, 카메라(21)의 촬영 데이터량이 감소하기 때문에, 영상 처리부(23)는, 상술한 바와 같이, 이동체(2) 주위의 투명도가 감소하면, 그 해상도의 저하량을 억제한다. 이에 의해, 이동체(2) 주위의 투명도에 따라서 통신 부하를 최적으로 저감할 수 있다.
예를 들면, 영상 처리부(23)는, 카메라(21)에 촬영된 이동체(2) 주위의 화상에 기초하여, 이동체(2) 주위의 투명도를 산출할 수 있다.
영상 처리부(23)는, 이동체(2)의 이동 속도가 소정값보다 높은 경우, 이동체(2)의 카메라(21)의 촬영 데이터의 해상도를 저하시킴과 함께, 산출한 이동체(2) 주위의 투명도가 저하함에 따라서, 그 해상도의 저하량을 억제한다.
보다 구체적으로는, 이동체(2) 주위의 투명도와 해상도 저하량과의 관계를 나타내는 맵 정보가 메모리 등에 기억되어 있다. 맵 정보는, 이동체(2) 주위의 투명도가 감소함에 따라서, 해상도 저하량이 감소하는 것과 같은 관계가 기억되어 있다.
영상 처리부(23)는, 속도 센서(22)에 의해 검출된 이동체(2)의 이동 속도가 소정값보다 높아졌다고 판단하면, 맵 정보를 참조하여, 이동체(2) 주위의 투명도에따른 해상도 저하량을 산출한다. 영상 처리부(23)는, 산출한 해상도 저하량만큼 이동체(2)의 카메라(21)의 촬영 데이터의 해상도를 저하시킨다.
실시 형태 4
본 발명의 실시 형태 4에 있어서, 이동체(2)의 영상 처리부(23)는, 이동체(2)의 이동 속도가 소정값보다 높은 경우, 이동체(2)의 카메라(21)의 촬영 데이터의 해상도를 저하시킴과 함께, 이동체(2)와 제어 장치(3)의 거리가 증가하면, 그 해상도의 저하량을 증가시켜도 된다.
이동체(2)의 영상 처리부(23)와 제어 장치(3)가 무선으로 접속되고, 촬영 데이터가 영상 처리부(23)로부터 제어 장치(3)로 송신되는 경우, 촬영 데이터는 그 사이의 물을 매개하여 송신된다. 또한, 이동체(2)와 제어 장치(3)의 거리, 즉, 촬영 데이터가 통과하는 수중의 거리가 증가함에 따라서, 촬영 데이터의 신호의 감쇠가 커진다. 이 때문에, 송신 가능한 촬영 데이터의 단위시간당의 상한값이 저하된다. 따라서, 영상 처리부(23)는, 상술한 바와 같이, 이동체(2)와 제어 장치(3)의 거리가 증가하면, 그 해상도의 저하량을 증가시킴으로써, 그 통신량을 저하시킨다. 이에 의해, 이동체(2)와 제어 장치(3)의 거리에 따라서 통신 부하를 최적으로 저감할 수 있다.
예를 들면, 영상 처리부(23)는, 카메라(21)에 의해 촬영된 화상에 기초하여, 이동체(2)와 제어 장치(3)의 거리를 산출한다. 영상 처리부(23)는, 이동체(2)의 이동 속도가 소정값보다 높은 경우, 이동체(2)의 카메라(21)의 촬영 데이터의 해상도를 저하시킴과 함께, 산출한 이동체(2)와 제어 장치(3)의 거리가 증가함에 따라서, 그 해상도의 저하량을 증가시킨다.
보다 구체적으로는, 이동체(2)와 제어 장치(3)의 거리와 해상도 저하량과의 관계를 나타내는 맵 정보가 메모리 등에 기억되어 있다. 맵 정보는, 이동체(2)와 제어 장치(3)의 거리가 증가함에 따라서, 해상도 저하량이 증가하는 것과 같은 관계가 기억되어 있다.
영상 처리부(23)는, 속도 센서(22)에 의해 검출된 이동체(2)의 이동 속도가 소정값보다 높아졌다고 판단하면, 맵 정보를 참조하여, 이동체(2)와 제어 장치(3)의 거리에 따른 해상도 저하량을 산출한다. 영상 처리부(23)는, 산출한 해상도 저하량만큼 이동체(2)의 카메라(21)의 촬영 데이터의 해상도를 저하시킨다.
본 발명의 몇 가지 실시 형태를 설명하였지만, 이들 실시 형태는, 예로서 제시한 것이며, 발명의 범위를 한정하는 것은 의도하고 있지 않다. 이들 신규의 실시 형태는, 그 외의 여러 가지 형태로 실시되는 것이 가능하고, 발명의 요지를 일탈하지 않는 범위에서, 여러 가지 생략, 치환, 변경을 행할 수 있다. 이들 실시 형태나 그 변형은, 발명의 범위나 요지에 포함됨과 함께, 특허청구 범위에 기재된 발명과 그 균등 범위에 포함된다.
예를 들면, 상기 실시 형태에 있어서, 이동체(2)는, 무인 잠수기가 적용되어 있지만, 이것에 한정되지 않는다. 이동체(2)는, 예를 들면, 무인 비행기, 무인 선박, 무인 차량, 무인 토목 기계 등의 건설·토목 로봇, 인간형 로봇 등의 여러 가지 이동체(2)에 적용 가능하다.
이상의 본 발명의 설명으로부터, 본 발명을 여러 가지로 변형할 수 있음은 명백하다. 그와 같은 변형은 본 발명의 사상 및 범위로부터 일탈하는 것이라고 간주되는 것은 아니며, 또, 모든 당업자에게 있어서 자명한 그와 같은 개량은 이하의 청구 범위에 포함되는 것이다.

Claims (12)

  1. 촬영 수단과, 상기 촬영 수단에 의해 촬영된 촬영 데이터의 해상도를 변경하는 화질 변경 수단을 갖는 이동체와,
    조작자가 상기 이동체를 원격 조작하기 위한 조작 수단과,
    상기 조작 수단을 조작하는 조작자가 장착하고, 상기 이동체의 화질 변경 수단으로부터 송신된 촬영 데이터의 화상 중, 상기 조작자의 방향에 따른 소정 범위를 잘라내고, 당해 잘라낸 소정 범위의 화상을 당해 조작자에 대하여 표시하는 표시 수단을 구비하며,
    상기 화질 변경 수단은, 상기 이동체의 이동 속도가 높아지는 경우, 및, 상기 조작 수단을 통하여 상기 촬영 수단에 의해 촬영된 촬영 데이터의 프레임 레이트를 증가시키는 설정 변경이 행해진 경우, 중 적어도 일방의 경우, 상기 촬영 데이터의 프레임 레이트를 증가시키고, 당해 프레임 레이트의 증가에 따라서, 상기 촬영 수단의 촬영 데이터의 해상도를 저하시키는 것을 특징으로 하는 원격 조작 시스템.
  2. 제 1 항에 있어서,
    상기 표시 수단은, 상기 조작자가 향하고 있는 방향을 검출하는 방향 검출 수단을 갖고,
    상기 표시 수단은, 상기 화질 변경 수단에 의해 변경된 촬영 데이터 중, 상기 방향 검출 수단에 의해 검출된 조작자가 향하고 있는 방향을 중심으로 한 상기 소정 범위의 화상을 당해 조작자에 대하여 표시하고,
    상기 화질 변경 수단은, 상기 촬영 데이터 중, 상기 방향 검출 수단에 의해 검출된 조작자가 향하고 있는 방향을 중심으로 한 상기 소정 범위의 영역을 고화질 영역으로 하고, 당해 소정 범위 이외를 당해 고화질 영역보다 낮은 해상도의 저화질 영역으로 변경함으로써, 상기 촬영 수단의 촬영 데이터의 해상도를 저하시키는 것을 특징으로 하는 원격 조작 시스템.
  3. 제 2 항에 있어서,
    상기 화질 변경 수단은, 상기 촬영 수단에 의해 촬영된 촬영 데이터의 프레임 레이트가 증가함에 따라서, 상기 저화질 영역을 넓게 하는 것을 특징으로 하는 원격 조작 시스템.
  4. 제 2 항 또는 제 3 항에 있어서,
    상기 화질 변경 수단은, 상기 조작자의 헤드부의 동작 속도에 기초하여, 상기 저화질 영역 중, 상기 조작자가 시인할 수 없는 영역을 추정하고, 당해 추정한 영역을 화상이 없는 무화상 영역으로 하는 것을 특징으로 하는 원격 조작 시스템.
  5. 제 2 항 또는 제 3 항에 있어서,
    상기 화질 변경 수단은, 상기 저화질 영역의 해상도를, 상기 고화질 영역으로부터 멀어짐에 따라서, 서서히 저하시키는 것을 특징으로 하는 원격 조작 시스템.
  6. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
    상기 촬영 데이터는, 상기 화질 변경 수단으로부터 상기 표시 수단으로 무선 또는 유선으로 송신되고,
    상기 무선 또는 유선에는, 상기 촬영 데이터를 송신할 때의 단위시간당의 통신량의 상한값이 설정되어 있는 것을 특징으로 하는 원격 조작 시스템.
  7. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
    상기 화질 변경 수단은, 상기 촬영 수단에 의해 촬영된 촬영 데이터의 프레임 레이트가 소정값보다 높은 경우, 상기 촬영 수단의 촬영 데이터의 해상도를 저하시키는 것을 특징으로 하는 원격 조작 시스템.
  8. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
    상기 촬영 수단은, 상기 이동체의 전방위를 촬영하는 전방위 카메라인 것을 특징으로 하는 원격 조작 시스템.
  9. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
    상기 이동체는, 수중을 이동하는 잠수기인 것을 특징으로 하는 원격 조작 시스템.
  10. 제 9 항에 있어서,
    상기 화질 변경 수단은, 상기 촬영 데이터의 프레임 레이트의 증가에 따라서, 상기 촬영 수단의 촬영 데이터의 해상도를 저하시킴과 함께, 상기 이동체의 심도 또는 당해 이동체 주위의 투명도에 따라서, 당해 해상도의 저하량을 억제하는 것을 특징으로 하는 원격 조작 시스템.
  11. 제 9 항에 있어서,
    상기 화질 변경 수단에 의해 해상도가 변경된 촬영 데이터는, 당해 화질 변경 수단으로부터 상기 표시 수단에 대하여 무선을 통하여, 수중을 통과하여 송신되고,
    상기 화질 변경 수단은, 상기 촬영 데이터의 프레임 레이트의 증가에 따라서, 상기 촬영 수단의 촬영 데이터의 해상도를 저하시킴과 함께, 상기 수중의 거리에 따라서, 당해 해상도의 저하량을 증가시키는 것을 특징으로 하는 원격 조작 시스템.
  12. 촬영 수단과, 상기 촬영 수단에 의해 촬영된 촬영 데이터의 해상도를 변경하는 화질 변경 수단을 갖는 이동체와,
    조작자가 상기 이동체를 원격 조작하기 위한 조작 수단과,
    상기 조작 수단을 조작하는 조작자가 장착하고, 상기 이동체의 화질 변경 수단으로부터 송신된 촬영 데이터의 화상 중, 상기 조작자의 방향에 따른 소정 범위를 잘라내고, 당해 잘라낸 소정 범위의 화상을 당해 조작자에 대하여 표시하는 표시 수단을 구비하는, 원격 조작 시스템의 통신 방법으로서,
    상기 이동체의 이동 속도가 높아지는 경우, 및, 상기 조작 수단을 통하여 상기 촬영 수단에 의해 촬영된 촬영 데이터의 프레임 레이트를 증가시키는 설정 변경이 행해진 경우, 중 적어도 일방의 경우, 상기 촬영 데이터의 프레임 레이트를 증가시키고, 당해 프레임 레이트의 증가에 따라서, 상기 촬영 수단의 촬영 데이터의 해상도를 저하시키는 것을 특징으로 하는 원격 조작 시스템의 통신 방법.
KR1020190012949A 2018-02-02 2019-01-31 원격 조작 시스템, 및 그 통신 방법 KR102148883B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018017303A JP7059662B2 (ja) 2018-02-02 2018-02-02 遠隔操作システム、及びその通信方法
JPJP-P-2018-017303 2018-02-02

Publications (2)

Publication Number Publication Date
KR20190094115A KR20190094115A (ko) 2019-08-12
KR102148883B1 true KR102148883B1 (ko) 2020-08-27

Family

ID=67308983

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190012949A KR102148883B1 (ko) 2018-02-02 2019-01-31 원격 조작 시스템, 및 그 통신 방법

Country Status (5)

Country Link
US (1) US20190243355A1 (ko)
JP (1) JP7059662B2 (ko)
KR (1) KR102148883B1 (ko)
CN (1) CN110139026A (ko)
DE (1) DE102019201171A1 (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3764632B1 (en) * 2018-03-26 2023-02-22 Huawei Technologies Co., Ltd. Method and electronic device for video recording
EP3846161A4 (en) * 2018-08-29 2021-10-20 Sony Group Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND PROGRAM
CN112087569B (zh) * 2019-06-12 2022-03-04 杭州萤石软件有限公司 一种摄像机及摄像机启动方法、装置
JP7151662B2 (ja) * 2019-08-09 2022-10-12 トヨタ自動車株式会社 車両用操作システム
WO2021085572A1 (ja) * 2019-10-30 2021-05-06 株式会社Ｄａｐリアライズ 無人移動体を用いたライブ映像配信方法、該ライブ映像配信方法において用いられる映像配信装置、及び、該映像配信装置が生成する映像データファイルを保存する映像アーカイブ装置
JP7437916B2 (ja) * 2019-11-14 2024-02-26 シャープ株式会社 移動体、遠隔撮像操縦システム、方法、制御プログラムおよび記録媒体
US20210191398A1 (en) * 2019-12-20 2021-06-24 Uber Technologies Inc. System and Methods for Automated Detection of Vehicle Cabin Events for Triggering Remote Operator Assistance
JP2021180468A (ja) * 2020-05-15 2021-11-18 コベルコ建機株式会社 画像処理装置および画像処理方法
CN112367462B (zh) * 2020-10-29 2022-04-22 北京达佳互联信息技术有限公司 拍摄方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008060650A (ja) * 2006-08-29 2008-03-13 Konica Minolta Holdings Inc 車載用撮像装置および車載用撮像装置の撮像方法
JP2009000158A (ja) * 2007-06-19 2009-01-08 Konami Digital Entertainment:Kk 走行玩具システム
KR101642493B1 (ko) * 2015-03-24 2016-07-25 한국해양과학기술원 항만 수중구조물 검사용 무인 잠수장치
JP2016165105A (ja) * 2015-03-05 2016-09-08 ノキア テクノロジーズ オーユー 映像ストリーミング方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4012749B2 (ja) * 2002-03-14 2007-11-21 国立大学法人 奈良先端科学技術大学院大学 遠隔操縦システム
JP2005073218A (ja) * 2003-08-07 2005-03-17 Matsushita Electric Ind Co Ltd 画像処理装置
JP2007172035A (ja) * 2005-12-19 2007-07-05 Fujitsu Ten Ltd 車載画像認識装置、車載撮像装置、車載撮像制御装置、警告処理装置、画像認識方法、撮像方法および撮像制御方法
JP4912696B2 (ja) * 2006-02-28 2012-04-11 パナソニック株式会社 ビデオデータの無線伝送方式
RU2646360C2 (ru) * 2012-11-13 2018-03-02 Сони Корпорейшн Устройство и способ отображения изображения, мобильное устройство, система отображения изображения и компьютерная программа
EP3149937A4 (en) * 2014-05-29 2018-01-10 NEXTVR Inc. Methods and apparatus for delivering content and/or playing back content
JP2016031439A (ja) * 2014-07-28 2016-03-07 ソニー株式会社 情報処理装置及び情報処理方法、コンピューター・プログラム、並びに画像表示システム
JP6476692B2 (ja) * 2014-09-26 2019-03-06 カシオ計算機株式会社 システム並びに装置、制御方法
CN105491461B (zh) * 2014-10-11 2018-11-20 成都鼎桥通信技术有限公司 一种视频传输方法
KR102281162B1 (ko) * 2014-11-20 2021-07-23 삼성전자주식회사 영상 처리 장치 및 방법
KR20160117193A (ko) * 2015-03-30 2016-10-10 주식회사 나이콤 도서위치 안내단말
JP6596235B2 (ja) * 2015-05-22 2019-10-23 株式会社日立製作所 下水管路施設の点検システム
JP6742739B2 (ja) * 2016-01-29 2020-08-19 キヤノン株式会社 制御装置、制御方法、及びプログラム
WO2017202899A1 (en) * 2016-05-25 2017-11-30 Koninklijke Kpn N.V. Spatially tiled omnidirectional video streaming
CN106708050B (zh) * 2016-12-30 2020-04-03 四川九洲电器集团有限责任公司 一种图像采集方法及能够自主移动的设备
CN206575527U (zh) * 2017-03-09 2017-10-20 成都大学 一种弹载视频监测系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008060650A (ja) * 2006-08-29 2008-03-13 Konica Minolta Holdings Inc 車載用撮像装置および車載用撮像装置の撮像方法
JP2009000158A (ja) * 2007-06-19 2009-01-08 Konami Digital Entertainment:Kk 走行玩具システム
JP2016165105A (ja) * 2015-03-05 2016-09-08 ノキア テクノロジーズ オーユー 映像ストリーミング方法
KR101642493B1 (ko) * 2015-03-24 2016-07-25 한국해양과학기술원 항만 수중구조물 검사용 무인 잠수장치

Also Published As

Publication number Publication date
US20190243355A1 (en) 2019-08-08
KR20190094115A (ko) 2019-08-12
JP7059662B2 (ja) 2022-04-26
JP2019134383A (ja) 2019-08-08
DE102019201171A1 (de) 2019-08-08
CN110139026A (zh) 2019-08-16

Similar Documents

Publication Publication Date Title
KR102148883B1 (ko) 원격 조작 시스템, 및 그 통신 방법
JP6612865B2 (ja) 作業機の遠隔操作のための表示システム
US20190222774A1 (en) Head-mounted display apparatus, display system, and method of controlling head-mounted display apparatus
JP6899875B2 (ja) 情報処理装置、映像表示システム、情報処理装置の制御方法、及びプログラム
JP6540572B2 (ja) 表示装置および表示制御方法
KR20170044451A (ko) 헤드 마운트 디스플레이를 이용한 원격지 카메라 제어 시스템 및 방법
CN109949381B (zh) 图像处理方法、装置、图像处理芯片、摄像组件及飞行器
US10362277B2 (en) Following apparatus and following system
US20150168809A1 (en) Focus control apparatus and focus control method
JP2014143681A (ja) 自動追尾撮影システム
JP6384138B2 (ja) 車両用表示装置
US9981387B2 (en) Robot control system
CN107009961A (zh) 汽车和汽车透明座舱系统
KR101454857B1 (ko) 탐지용 로봇 시스템
JP6266022B2 (ja) 画像処理装置、警報装置、および画像処理方法
CN111684784B (zh) 图像处理方法和装置
KR101598193B1 (ko) 군 운용 차량의 주행 차선 표시 장치 및 그 방법
KR101420305B1 (ko) 차량용 전방향 감시장치
WO2015115103A1 (ja) 画像処理装置、カメラシステム、および画像処理方法
US20200111227A1 (en) Orientation detection apparatus for vehicle, image processing system, vehicle, and orientation detection method for vehicle
CN114556187B (zh) 头部佩戴型显示装置和显示内容控制方法
WO2023039752A1 (zh) 无人飞行器及其控制方法、系统和存储介质
WO2023228331A1 (ja) 遠隔機械操作システム、視覚提示装置、視覚提示方法およびプログラム
US20230319237A1 (en) Information processing system, display device, and program
JP2012019466A (ja) 撮像装置、制御装置、制御方法および画像送信制御プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right