KR20220167646A - Device for generating virtual fork corresponding to fork of fork lift and fork lift inicluding the same - Google Patents
Device for generating virtual fork corresponding to fork of fork lift and fork lift inicluding the same Download PDFInfo
- Publication number
- KR20220167646A KR20220167646A KR1020210076887A KR20210076887A KR20220167646A KR 20220167646 A KR20220167646 A KR 20220167646A KR 1020210076887 A KR1020210076887 A KR 1020210076887A KR 20210076887 A KR20210076887 A KR 20210076887A KR 20220167646 A KR20220167646 A KR 20220167646A
- Authority
- KR
- South Korea
- Prior art keywords
- fork
- virtual
- forklift
- marker
- image
- Prior art date
Links
- 239000003550 marker Substances 0.000 claims description 90
- 238000000034 method Methods 0.000 claims description 17
- 238000000926 separation method Methods 0.000 claims description 14
- 230000007423 decrease Effects 0.000 claims description 4
- 230000001419 dependent effect Effects 0.000 claims description 2
- 230000006870 function Effects 0.000 claims description 2
- 239000002131 composite material Substances 0.000 description 22
- 238000004891 communication Methods 0.000 description 19
- 101100497196 Arabidopsis thaliana CPN60B1 gene Proteins 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B66—HOISTING; LIFTING; HAULING
- B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
- B66F9/00—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes
- B66F9/06—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes movable, with their loads, on wheels or the like, e.g. fork-lift trucks
- B66F9/075—Constructional features or details
- B66F9/07504—Accessories, e.g. for towing, charging, locking
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B66—HOISTING; LIFTING; HAULING
- B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
- B66F9/00—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes
- B66F9/06—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes movable, with their loads, on wheels or the like, e.g. fork-lift trucks
- B66F9/075—Constructional features or details
- B66F9/0755—Position control; Position detectors
Landscapes
- Engineering & Computer Science (AREA)
- Transportation (AREA)
- Structural Engineering (AREA)
- Civil Engineering (AREA)
- Life Sciences & Earth Sciences (AREA)
- Geology (AREA)
- Mechanical Engineering (AREA)
- Forklifts And Lifting Vehicles (AREA)
Abstract
Description
본 발명은 지게차의 포크와 대응하는 가상 포크(지게발(fork))를 생성하는 장치 및 이를 포함하는 지게차에 관한 것이다.The present invention relates to a device for generating a virtual fork (fork) corresponding to a fork of a forklift, and a forklift including the same.
지게차(fork lift)는 건설현장 또는 산업현장에서 고중량의 화물을 들어올리거나 내리고, 또는 원하는 위치로 운반하는데 이용되는 장비이다. 지게차의 운전자는 지게차의 전방에 설치된 포크(또는 지게발(fork)) 상에 화물을 위치시키고, 포크를 상하로 움직임으로써 화물을 원하는 위치로 운반할 수 있다.A fork lift is a device used to lift or lower a heavy load at a construction site or industrial site, or transport it to a desired location. The driver of the forklift can move the cargo to a desired location by placing the cargo on a fork (or fork) installed in front of the forklift and moving the fork up and down.
한편, 포크가 지게차의 전방에 설치되어 있기 때문에, 작업 중 포크가 상승하게 되는 경우 운전자의 시야 확보가 어려운 문제가 있다. On the other hand, since the fork is installed in front of the forklift, it is difficult to secure the driver's field of view when the fork is raised during work.
이러한 문제를 해결하기 위해, 지게차 전방에 카메라를 설치하고, 카메라를 이용하여 포크 하부 영역을 촬영함으로써 운전자에게 전방 영상을 제공할 수 있다. 그러나, 이렇게 얻어진 전방 영상에는 포크의 일부분만 나타나므로 운전자는 포크의 위치를 파악하기 어려워 포크의 전방으로의 돌출 정도를 파악하기 어려운 문제가 있다. 특히, 전방의 장애물(또는 보행자)과 지게차의 포크 사이의 거리를 파악하기 어려워 안전사고가 발생할 수 있다.In order to solve this problem, a camera may be installed in front of the forklift, and a front image may be provided to the driver by capturing an area under the fork using the camera. However, since only a part of the fork is shown in the front image obtained in this way, it is difficult for the driver to determine the position of the fork and to determine the degree of forward protrusion of the fork. In particular, it is difficult to determine the distance between an obstacle (or pedestrian) in front and the fork of the forklift, which may cause a safety accident.
본 발명이 해결하고자 하는 과제는, 지게차의 포크를 나타내는 가상 포크를 생성할 수 있는 장치 및 이를 포함하는 지게차를 제공하는 것에 있다.An object of the present invention is to provide a device capable of generating a virtual fork representing a fork of a forklift and a forklift including the same.
본 발명이 해결하고자 하는 과제는, 지게차에 구비된 포크의 실제 높이를 결정하고, 실제 높이를 나타내는 수치와 함께 가상 포크를 생성할 수 있는 장치 및 이를 포함하는 지게차를 제공하는 것에 있다.An object to be solved by the present invention is to provide an apparatus capable of determining an actual height of a fork provided in a forklift and generating a virtual fork together with a numerical value representing the actual height, and a forklift including the same.
본 발명이 해결하고자 하는 과제는, 지게차의 포크의 실제 높이와 대응하는 크기를 갖는 가상 포크를 생성할 수 있는 장치 및 이를 포함하는 지게차를 제공하는 것에 있다.An object of the present invention is to provide a device capable of generating a virtual fork having a size corresponding to a real height of a fork of a forklift, and a forklift including the same.
본 발명의 실시 예들에 따른 가상 포크를 출력하는 장치는, 프로세서와 복수의 명령어들을 포함하는 메모리를 포함하고, 프로세서는 복수의 명령어들의 실행에 따라, 지게차에 설치된 카메라로부터 촬영된 전방 영상을 수신하고, 지게차의 포크에 대응하는 가상 포크를 생성하고, 가상 포크와 전방 영상을 이용하여, 가상 포크가 나타난 합성 영상을 출력한다.An apparatus for outputting a virtual fork according to embodiments of the present invention includes a processor and a memory including a plurality of instructions, and the processor receives a front image photographed from a camera installed in a forklift according to execution of the plurality of instructions, and , A virtual fork corresponding to the fork of the forklift is created, and a synthesized image in which the virtual fork appears is output using the virtual fork and the front image.
본 발명의 실시 예들에 따른 지게차는, 바디, 바디 전방에 결합되고, 상하로 움직일 수 있는 레일을 구비하는 마스트, 마스트의 레일과 결합되어, 레일과 함께 상하로 움직이도록 구성되는 핑거보드, 핑거보드에 연결되어 화물을 안착하도록 구성되는 포크, 지게차의 전방에 설치되어 전방 영상을 생성하도록 구성되는 카메라 및 지면에 사영(projection)된 포크를 나타내는 가상 포크를 출력하는 가상 포크 출력 장치를 포함하고, 가상 포크 출력 장치는, 프로세서와 복수의 명령어들을 포함하는 메모리를 포함하고, 프로세서는 복수의 명령어들의 실행에 따라, 지게차에 설치된 카메라로부터 촬영된 전방 영상을 수신하고, 지게차의 포크에 대응하는 가상 포크를 생성하고, 가상 포크와 전방 영상을 이용하여, 가상 포크가 나타난 합성 영상을 출력한다.A forklift according to embodiments of the present invention includes a body, a mast coupled to the front of the body and having a rail capable of moving up and down, a fingerboard coupled to the rail of the mast and configured to move up and down together with the rail, and a fingerboard It includes a fork connected to and configured to seat cargo, a camera installed in front of the forklift configured to generate a front image, and a virtual fork output device for outputting a virtual fork representing the fork projected on the ground, The fork output device includes a processor and a memory including a plurality of instructions, and the processor receives a front image taken from a camera installed in the forklift according to execution of the plurality of instructions, and creates a virtual fork corresponding to the fork of the forklift. and outputs a synthesized image in which the virtual fork appears by using the virtual fork and the forward image.
본 발명의 실시 예들에 따르면, 지게차의 운전자는 가상 포크를 통해 포크의 높이 및 위치를 파악할 수 있어, 지게차 운전 시 안전사고가 감소될 수 있다.According to embodiments of the present invention, a forklift driver can determine the height and position of a fork through a virtual fork, so safety accidents can be reduced while driving a forklift.
특히, 본 발명의 실시 예들에 따르면, 가상 포크와 함께 지게차의 실제 높이를 확인할 수 있어, 운전자는 카메라를 통한 전방 영상을 통해 지게차의 포크의 위치를 파악할 수 있는 효과가 있다.In particular, according to the embodiments of the present invention, the actual height of the forklift can be checked together with the virtual fork, so that the driver can determine the position of the fork of the forklift through the front image through the camera.
특히, 본 발명의 실시 예들에 따르면, 지게차의 포크의 높이와 대응하는 크기를 갖는 가상 포크를 출력할 수 있어, 운전자는 카메라를 통한 전방 영상을 통해서 실제 지게차의 포크의 위치를 파악할 수 있는 효과가 있다.In particular, according to the embodiments of the present invention, a virtual fork having a size corresponding to the height of the fork of the forklift can be output, so that the driver can determine the position of the fork of the actual forklift through the front image through the camera. there is.
도 1은 본 발명의 실시 예들에 따른 지게차(fork lift)를 나타낸다.
도 2는 본 발명의 실시 예들에 따른 지게차의 정면을 나타낸다.
도 3은 본 발명의 실시 예들에 따른 지게차의 정면을 나타낸다.
도 4와 도 5는 본 발명의 실시 예들에 따른 지게차의 전방 영상을 나타낸다.
도 6은 본 발명의 실시 예들에 따른 가상 포크 출력 장치 및 지게차를 나타낸다.
도 7은 본 발명의 실시 예들에 따른 장치로부터 출력된 가상 포크를 나타낸다.
도 8은 본 발명의 실시 예들에 따른 지게차의 포크의 실제 높이에 따른 가상 포크를 나타낸다.
도 9는 본 발명의 실시 예들에 따른 장치로부터 출력된 가상 포크를 나타낸다.
도 10은 본 발명의 실시 예들에 따른 장치로부터 출력된 합성 영상을 나타낸다.
도 11은 본 발명의 실시 예들에 따른 가상 포크의 출력 방법을 나타내는 플로우 차트이다.1 shows a fork lift according to embodiments of the present invention.
2 shows a front view of a forklift according to embodiments of the present invention.
3 shows a front view of a forklift according to embodiments of the present invention.
4 and 5 show front images of a forklift according to embodiments of the present invention.
6 shows a virtual fork output device and a forklift according to embodiments of the present invention.
7 shows a virtual fork output from a device according to embodiments of the present invention.
8 shows a virtual fork according to an actual height of a fork of a forklift according to embodiments of the present invention.
9 shows a virtual fork output from a device according to embodiments of the present invention.
10 shows a synthesized image output from a device according to embodiments of the present invention.
11 is a flowchart illustrating a method of outputting a virtual fork according to embodiments of the present invention.
본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조 부호를 붙이도록 한다.In order to clearly describe the present invention, parts irrelevant to the description are omitted, and the same reference numerals are assigned to the same or similar components throughout the specification.
다르게 정의하지는 않았지만, 여기에 사용되는 기술용어 및 과학용어를 포함하는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 일반적으로 이해하는 의미와 동일한 의미를 가진다. 보통 사용되는 사전에 정의된 용어들은 관련 기술문헌과 현재 개시된 내용에 부합하는 의미를 가지는 것으로 추가 해석되고, 정의되지 않는 한 이상적이거나 매우 공식적인 의미로 해석되지 않는다.Although not defined differently, all terms including technical terms and scientific terms used herein have the same meaning as commonly understood by those of ordinary skill in the art to which the present invention belongs. Terms defined in commonly used dictionaries are additionally interpreted as having meanings consistent with related technical literature and currently disclosed content, and are not interpreted in ideal or very formal meanings unless defined.
이하, 첨부한 도면을 참조하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.Hereinafter, with reference to the accompanying drawings, embodiments of the present invention will be described in detail so that those skilled in the art can easily carry out the present invention. However, the present invention may be implemented in many different forms and is not limited to the embodiments described herein.
도 1은 본 발명의 실시 예들에 따른 지게차(fork lift)를 나타낸다. 도 1을 참조하면, 지게차(100)는 건설현장 또는 산업현장에서 고중량의 화물을 들어올리거나 내리고, 또는 원하는 위치로 운반할 수 있다.1 shows a fork lift according to embodiments of the present invention. Referring to FIG. 1 , a
지게차(100)는 바디(110), 마스트(mast; 120), 핑거보드(finger board; 130), 포크(fork; 140) 및 카메라(150)를 포함할 수 있다.The
바디(110)는 지게차(100)의 몸체 부분으로서, 지게차(100)의 이동을 지원하는 부분일 수 있다. 실시 예들에 따라, 바디(110)는 운전석, 모터와 같은 구동원, 지게차(100)를 제어하기 위한 제어부를 포함할 수 있다. 또한, 바디(110)에는 바퀴가 결합될 수 있고, 바디(110)에 의해 생성된 구동력에 따라 바퀴가 회전함으로써 지게차(100)가 이동할 수 있다.The
마스트(120)는 바디(110) 전방에 결합될 수 있다. 마스트(120)는 지면과 수직하게 설치된 레일(또는 체인)을 포함할 수 있다. 실시 예들에 따라, 마스트(120)의 레일은 지면에 수직한 방향을 따라 이동할 수 있다.The
핑거보드(130)는 마스트(120)에 결합될 수 있다. 실시 예들에 따라, 핑거보드(130)는 마스트(120)의 레일과 결합되어, 마스트(120)의 레일의 운동에 따라 상하로 움직일 수 있다. 예컨대, 핑거보드(130)는 지게차(100)의 바디(110)의 제어에 따라 지면과 수직한 방향을 따라 이동할 수 있다.The
포크(140)는 화물이 안착되는 부분으로서, 지게차(100)의 전방에 설치될 수 있다. 포크(140)는 지면과 평행하며 화물이 안착되는 안착면을 포함할 수 있고, 안착면은 지게차(100 전방으로 돌출될 수 있다.The
실시 예들에 따라, 포크(140)는 핑거보드(130)에 결합될 수 있고, 핑거보드(130)의 수직 이동에 따라 포크(140)의 수직 위치도 이동될 수 있다. 또한, 실시 예들에 따라, 포크(140)는 한 쌍일 수 있고, 한 쌍의 포크들(140)은 핑거보드(130)에 결합된 상태에서 수평 이동될 수 있다. 예컨대, 핑거보드(130)는 포크들(140) 각각을 좌우로 이동시킬 수 있는 포크 이동 수단을 구비할 수 있다. 이에 따라, 한 쌍의 포크들(140) 사이의 간격이 조절될 수 있다.According to embodiments, the
카메라(150)는 지게차(100)의 전방에 설치되어, 지게차(100)의 전방을 촬영하고 전방을 나타내는 영상을 생성할 수 있다. 실시 예들에 따라, 카메라(150)는 핑거보드(130)에 결합되어 지게차(100)의 전방을 촬영하고, 전방 영상(IMG)을 생성할 수 있다.The
도 2는 본 발명의 실시 예들에 따른 지게차의 정면을 나타낸다. 도 1 및 도 2를 참조하면, 마스트(120)의 전면에 마커(marker; MK)가 표시될 수 있다. 마커(MK)의 표시 방법은 부착, 각인, 도시, 디스플레이 출력 등 다양할 수 있으며, 본 발명의 실시 예들이 이에 한정되는 것은 아니다.2 shows a front view of a forklift according to embodiments of the present invention. Referring to FIGS. 1 and 2 , a marker (MK) may be displayed on the front surface of the
실시 예들에 따라, 마커(MK)는 2개 이상일 수 있다. 예컨대, 마스트(120)는 서로 떨어진 2개의 포스트를 포함할 수 있고, 마커(MK) 각각은 마스트(120)의 포스트 각각에 표시될 수 있다. 이 때, 마커(MK)의 표시 위치는 카메라(150)의 높이보다 아래일 수 있다. 이에 따라, 카메라(150)에 의해 촬영된 전방 영상(IMG)에 마커(MK)가 나타날 수 있다.According to embodiments, there may be two or more markers MK. For example, the
후술하는 바와 같이, 마커(MK)는 카메라(150)의 설치 높이, 즉, 포크(140)의 실제 높이를 판단하는 데 사용될 수 있다. As will be described later, the marker MK may be used to determine the installation height of the
실시 예들에 따라, 마커(MK)의 식별이 용이하도록, 마커(MK)의 표시 색상은 마스트(120)의 색상과 구별될 수 있다. 예컨대, 마커(MK)의 표시 색상은 검정색이 아닐 수 있다.According to embodiments, the display color of the marker MK may be distinguished from the color of the
카메라(150)는 지게차(100)의 전방(예컨대, 핑거보드(130))에 설치될 수 있다. 실시 예들에 따라, 카메라(150)는 렌즈의 중심(또는 중심 축)의 위치가 포크(140) 보다 아래에 위치하도록 설치될 수 있다. 예컨대, 카메라(150)는 포크(140) 상에 안착된 화물에 간섭되지 않도록, 포크(140) 보다 아래에 설치될 수 있다. 이에 따라, 카메라(150)의 시야에 지게차(100)의 전방이 포함되어, 전방 영상(IMG)에 지게차(100)의 전방이 나타날 수 있다. 또한, 전방 영상(IMG)에 마커(MK) 및 포크(140)의 하부면이 나타날 수 있다.The
도 3은 본 발명의 실시 예들에 따른 지게차의 정면을 나타낸다. 도 2 및 도 3을 참조하면, 핑거보드(130)는 지게차(100)의 작동에 따라 수직 이동할 수 있다. 예컨대, 도 3에 도시된 바와 같이, 핑거보드(130)는 마스트(120)의 레일을 따라, 지면으로부터 수직 방향으로 상승할 수 있다. 이에 따라, 핑거보드(130)와 결합된 포크(140) 및 카메라(150)가 함께 수직 방향으로 상승할 수 있다.3 shows a front view of a forklift according to embodiments of the present invention. Referring to FIGS. 2 and 3 , the
지게차(100)가 화물을 적재장소에 내려놓을 때 포크(140)가 상승되고, 이에 따라, 운전자의 시야가 화물에 의해 가려지게 되어 안전사고가 발생할 수 있다. 특히, 포크(140)의 상승에 따라 생성된 포크(140) 하부의 공간에 장애물이 존재하는 경우, 안전사고가 발생할 수 있다.When the
본 발명의 실시 예들에 따르면, 포크(140)와 함께 핑거보드(130)에 결합된 카메라(150)는 포크(140)의 상승과 함께 상승될 수 있고, 이에 따라, 지게차(100)의 전방(특히, 포크(140) 하부)을 나타내는 전방 영상(IMG)을 생성하므로, 운전자는 전방 영상(IMG)을 통해 지게차(100) 전방에 장애물을 인식할 수 있어 안전사고가 방지될 수 있는 효과가 있다. According to embodiments of the present invention, the
도 4와 도 5는 본 발명의 실시 예들에 따른 지게차의 전방 영상을 나타낸다. 도 4에서의 포크(140) 또는 카메라(150)의 높이는, 도 5에서의 포크(140) 또는 카메라(150)의 높이보다 낮을 수 있다. 4 and 5 show front images of a forklift according to embodiments of the present invention. The height of the
도 4 및 도 5를 참조하면, 카메라(150)는 지게차의 전방을 나타내는 전방 영상(IMG)을 생성할 수 있다. 도 4 및 도 5에 도시된 바와 같이, 전방 영상(IMG)에는 지게차의 부분들, 화물(LOAD) 및 전방의 장애물(OBS)이 나타날 수 있다. 실시 예들에 따라, 카메라(150)에 의해 촬영된 전방 영상(IMG)에는 마스트(120), 마스트(120) 상에 표시된 마커(MK) 및 포크(140)가 나타날 수 있다. Referring to FIGS. 4 and 5 , the
도 2 및 도 3을 참조하여 설명한 바와 같이, 카메라(150)의 렌즈 중심이 포크(140)보다 아래에 위치하므로, 전방 영상(IMG)에 마커(MK) 및 포크(140)가 나타날 수 있다.As described with reference to FIGS. 2 and 3 , since the lens center of the
한편, 도 4와 도 5를 비교하면, 카메라(150)의 높이가 달라졌으므로 전방 영상(IMG)에서 보이는 시야가 달라지게 된다. 예컨대, 도 4의 전방 영상(IMG)에서의 장애물(OBS)의 위치(또는 크기)와 도 5에서의 전방 영상(IMG)의 장애물(OBS)의 위치가 달라지게 된다. Meanwhile, when comparing FIG. 4 and FIG. 5 , since the height of the
하지만, 카메라(150)와 포크(140) 모두 핑거보드(130)에 설치되어 있으므로, 카메라(150)와 포크(140) 사이의 상대적인 거리는 변화하지 않게 된다. 이에 따라, 도 4의 전방 영상(IMG)에서의 포크(140)의 위치(또는 크기)는 도 5의 전방 영상(IMG)에서의 포크(140)의 위치(또는 크기)와 실질적으로 동일하다. 이로 인해, 지게차(100)의 운전자는 전방 영상(IMG)을 보더라도 포크(140)의 실제 위치를 정확히 파악하기가 어려울 수 있다.However, since both the
도 6은 본 발명의 실시 예들에 따른 가상 포크 출력 장치 및 지게차를 나타낸다. 도 6을 참조하면, 지게차(100)는 디스플레이(160)를 더 포함할 수 있다. 디스플레이(160)는 지게차(100)의 운전자에게 영상 등을 시각적으로 표시할 수 있다.6 shows a virtual fork output device and a forklift according to embodiments of the present invention. Referring to FIG. 6 , the
가상 포크 출력 장치(이하, '장치'라 표기; 200)는 지게차(100)에 설치된 카메라(150)로부터 촬영된 전방 영상(IMG)을 수신하고, 전방 영상(IMG)에 포함된 정보에 기초하여 지게차(100)의 포크를 나타내는 가상 포크(VF)를 출력할 수 있다. 이 때, 가상 포크(VF)는 지면에 사영(projection)된 지게차(100)의 포크(140)를 나타내는 이미지 데이터일 수 있다. 생성된 가상 포크(VF)는 메모리(220)에 저장될 수 있다.The virtual fork output device (hereinafter referred to as 'device' 200) receives the front image IMG taken from the
실시 예들에 따라, 카메라(150) 및 장치(200)를 포함하여 가상 포크 출력 시스템으로 지칭할 수 있다.According to embodiments, it may be referred to as a virtual fork output system including the
실시 예들에 따라, 장치(200)는 가상 포크(VF)를 지게차(100)로 출력하거나, 또는, 지게차(100)의 전방 영상(IMG)에 가상 포크(VF)가 합성된 합성 영상(CIMG)을 생성하고 생성된 합성 영상(CIMG)을 지게차(100)로 출력할 수 있다. 예컨대, 장치(200)는 합성 영상(CIMG)을 지게차(100)의 디스플레이(160)로 출력할 수 있다. According to embodiments, the
디스플레이(160)는 장치(200)로부터 수신된 가상 포크(VF) 또는 합성 영상(CIMG)을 표시할 수 있다.The
장치(200)는 프로세서(210), 메모리(220) 및 통신부(230)를 포함할 수 있다.The
프로세서(210)는 장치(200)의 전반적인 작동을 제어할 수 있다. 실시 예들에 따라, 프로세서(210)는 장치(200)를 제어하기 위한 일련의 연산들 또는 판단들을 수행할 수 있는 장치를 의미할 수 있다. 예컨대, 프로세서(210)는 장치(200)를 제어하기 위한 프로그램이 실행되는 프로세서일 수 있다. 예컨대, 프로세서(210)는 CPU(central processing unit), ECU(electronic controller unit), MCU(micro controller unit), DSP(digital signal processor) 또는 ASIC(application specified integrated circuit) 등일 수 있으나, 본 발명의 실시 예들이 이에 한정되는 것은 아니다.The
즉, 본 명세서에서 설명되는 장치(200)의 동작은 프로세서(210)의 제어에 따라 수행되는 것일 수 있다.That is, the operation of the
메모리(220)는 장치(200)의 작동에 필요한 데이터를 저장할 수 있다. 실시 예들에 따라, 메모리(220)는 카메라(150)로부터 수신된 전방 영상(IMG)을 저장할 수 있다. 또한, 메모리(220)는 가상 포크(VF) 및 가상 포크(VF)가 나타난 합성 영상(CIMG)을 저장할 수 있다.The
예컨대, 메모리(220)는 비휘발성 메모리 및 휘발성 메모리 중 적어도 하나를 포함할 수 있다.For example, the
통신부(230)는 장치(200)와 지게차(100) 사이의 통신을 수행할 수 있다. 실시 예들에 따라, 통신부(230)는 지게차(100)로 데이터를 전송하거나, 또는, 지게차(100)로부터 데이터를 수신할 수 있다. 예컨대, 통신부(230)는 지게차(100)로부터 전방 영상(IMG)을 수신하거나, 또는, 가상 포크(VF) 또는 합성 영상(CIMG)을 지게차(100)로 전송할 수 있다.The
예컨대, 통신부(230)는 무선 통신 프로토콜 또는 유선 통신 프로토콜을 이용하여 데이터를 전송하거나 수신할 수 있다. 예컨대, 상기 무선 통신 프로토콜은 무선랜(Wireless LAN (WLAN)), DLNA(Digital Living Network Alliance), 와이브로(Wireless Broadband (Wibro)), 와이맥스(World Interoperability for Microwave Access (Wimax)), GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), CDMA2000(Code Division Multi Access 2000), EV-DO(Enhanced Voice-Data Optimized or Enhanced Voice-Data Only), WCDMA(Wideband CDMA), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), IEEE 802.16, 롱 텀 에볼루션(Long Term Evolution (LTE)), LTE-A(Long Term Evolution-Advanced), 광대역 무선 이동 통신 서비스(Wireless Mobile Broadband Service (WMBS)), 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association: IrDA), UWB(Ultra-Wideband), 지그비(ZigBee), 인접 자장 통신(Near Field Communication (NFC)), 초음파 통신(Ultra Sound Communication (USC)), 가시광 통신 (Visible Light Communication (VLC)), 와이 파이(Wi-Fi), 와이 파이 다이렉트(Wi-Fi Direct) 등을 포함할 수 있다. 또한, 유선 통신 프로토콜은 유선 LAN(Local Area Network), 유선 WAN(Wide Area Network), 전력선 통신(Power Line Communication (PLC)), USB 통신, 이더넷(Ethernet), 시리얼 통신(serial communication), 광/동축 케이블 통신 등을 포함할 수 있으며, 이제 제한되는 것이 아닌, 다른 장치와의 통신 환경을 제공할 수 있는 프로토콜은 모두 포함될 수 있다.For example, the
도 7은 본 발명의 실시 예들에 따른 장치로부터 출력된 가상 포크를 나타낸다. 도 7을 참조하면, 장치(200)는 가상 포크(VF) 또는 가상 포크(VF)가 나타난 합성 영상(CIMG)을 출력할 수 있다. 출력된 가상 포크(VF) 또는 합성 영상(CIMG)는 지게차(100)의 디스플레이(160)에 의해 출력될 수 있다.7 shows a virtual fork output from a device according to embodiments of the present invention. Referring to FIG. 7 , the
이하 본 명세서에서는 설명의 편의상 장치(200)가 가상 포크(VF)가 나타난 합성 영상(CIMG)를 생성 및 출력하는 것을 가정하고 설명하나, 본 발명의 실시 예들은 이에 한정되는 것은 아니며, 장치(200)는 가상 포크(VF) 만을 출력할 수도 있다.Hereinafter, in this specification, for convenience of description, it is assumed that the
실시 예들에 따라, 가상 포크(VF)는 합성 영상(CIMG) 내에서 지게차(100) 전방에 표시될 수 있다. 예컨대, 가상 포크(VF)는 포크(140)를 지면 상으로 투영(projection) 시켰을 때의 투영 위치에 대응되도록 표시될 수 있다.According to embodiments, the virtual fork VF may be displayed in front of the
실시 예들에 따라, 장치(200)는 가상 궤적(VT)을 생성하고, 가상 포크(VF) 및 가상 궤적(VT)을 포함하는 합성 영상(CIMG)을 생성할 수 있다. 가상 궤적(VT)은 지게차(100)의 조향(steering)에 따라 포크(140)가 이동되는 궤적을 나타낸다. 예컨대, 장치(200)는 지게차(100)의 조향 장치(예컨대, 스티어링 휠 등)로부터 전달된 조향 신호를 수신하고, 수신된 조향 신호에 기초하여 가상 궤적(VT)을 생성할 수 있다. 가상 궤적(VT)은 가상 포크(VF)로부터 연장되어 표시될 수 있다.According to example embodiments, the
본 발명의 실시 예들에 따른 장치(200)는 운전자가 포크(140)의 실제 높이를 파악할 수 있도록 가상 포크(VF)를 출력할 수 있다. 예컨대, 장치(200)는 포크(140)의 실제 높이를 나타내는 수치와 함께 가상 포크(VF)를 출력하거나, 또는, 포크(140)의 실제 높이에 대응하는 크기를 갖는 가상 포크(VF)를 출력할 수 있다.The
실시 예들에 따라, 장치(200)는 포크(140)의 높이가 변화함에 따라, 크기가 변화하는 가상 포크(VF)를 출력할 수 있다. 본 명세서에서, 가상 포크(VF)의 크기가 변화한다는 것은 가상 포크(VF)의 합성 영상(CIMG) 내에서의 절대적인 크기가 변화한다는 것 뿐만 아니라, 가상 포크(VF)의 합성 영상(CIMG) 내에서의 상대적인 크기가 변화하는 것을 포함한다. 예를 들어, 가상 포크(VF)의 상대적인 크기가 변화한다는 것은, 합성 영상(CIMG) 내에서의 가상 포크(VF)의 절대적인 크기는 변하지 않되, 합성 영상(CIMG) 내의 가상 포크(VF)를 제외한 나머지 부분들(예컨대, 배경, 물체 등)의 절대적인 크기가 변화하는 것을 의미한다. 합성 영상(CIMG) 내의 가상 포크(VF)를 제외한 나머지 부분들의 절대적인 크기가 작아지면, 가상 포크(VF)의 상대적인 크기가 증가한 것으로 이해될 수 있다.설명의 편의상, 이하에서는 가상 포크(VF)의 절대적인 크기가 변화하는 것을 가정하고 본 발명의 실시 예들을 설명하나, 설명된 실시 예들은 가상 포크(VF)의 상대적인 크기가 변화하는 것에도 적용될 수 있다.According to embodiments, the
장치(200)는 지게차(100)로부터 카메라(150) 또는 포크(140)의 높이 정보를 수신함으로써, 또는, 전방 영상(IMG)에 나타난 마커(MK)를 인식함으로써, 포크(140)의 실제 높이를 결정할 수 있다. The
이 때, 마커 정보는 전방 영상(IMG)에 나타난 마커를 식별하기 위한 정보로서, 예컨대, 마커(MK)의 위치, 마커(MK)의 크기 또는 마커(MK) 사이의 이격 거리를 의미할 수 있다.In this case, the marker information is information for identifying markers appearing on the front image IMG, and may mean, for example, the position of the markers MK, the size of the markers MK, or the separation distance between the markers MK. .
마커(MK)는 지게차(100)의 마스트(120) 상에 표시되므로, 포크(140)의 높이가 상승하더라도 마커(MK)의 위치는 변화하지 않는다. 따라서, 포크(140)가 상승하면 카메라(150)에 의해 촬영된 전방 영상(IMG)에 나타난 마커(MK)의 위치, 크기 또는 거리가 변화하게 된다. 즉, 전방 영상(IMG)에 나타난 마커(MK)의 위치, 크기 또는 거리는 포크(140)의 높이에 따라 변화하므로, 전방 영상(IMG)에 나타난 마커(MK)의 위치, 크기 또는 거리를 이용하면 포크(140)의 높이를 결정할 수 있다.Since the marker MK is displayed on the
도 8은 본 발명의 실시 예들에 따른 지게차의 포크의 실제 높이에 따라 서로 다른 크기를 갖는 가상 포크를 나타낸다. 도 8을 참조하면, 장치(200)에 의해 출력된 가상 포크(VF)는 지게차(100)의 포크(140)의 실제 높이에 대응하는 크기를 가질 수 있다. 예컨대, 포크(140)의 실제 위치가 높아지므로, 카메라(150)의 높이가 더 높아지므로, 포크(140)의 투영된 모습을 나타내는 가상 포크(VF)의 길이는 짧아지게 된다.8 illustrates virtual forks having different sizes according to actual heights of forks of a forklift according to embodiments of the present invention. Referring to FIG. 8 , the virtual fork VF output by the
장치(200)는 전방 영상(IMG)로부터 마커(MK)를 인식하고, 인식된 마커(MK)와 관련된 마커 정보를 결정하고, 마커 정보에 대응하는 크기를 갖는 가상 포크(VF)를 출력할 수 있다. The
실시 예들에 따라, 장치(200)는 전방 영상(IMG)로부터 획득된 마커 정보(예컨대, 마커(MK)의 위치, 크기 또는 거리)에 기초하여 가상 포크(VF)의 길이(LEN)를 결정하고, 결정된 길이(LEN)를 갖는 가상 포크(VF)를 생성 및 출력할 수 있다. 예컨대, 장치(200)는 획득된 마커 정보를 독립 변수로 하고, 길이(LEN)를 종속 변수로 하는 미리 정의된 함수를 이용하여, 마커 정보에 대응하는 길이(LEN)를 결정할 수 있다.According to embodiments, the
실시 예들에 따라, 장치(200)는 다양한 길이들을 갖는 복수의 가상 포크들을 저장하고, 저장된 가상 포크들 중에서 획득된 마커 정보와 대응하는 가상 포크(VF)를 선택하여 출력할 수 있다. 이 때, 저장된 복수의 가상 포크들 각각은, 각각의 길이에 대응하는 마커 정보와 매칭되어 룩업 테이블 형태로 저장될 수 있다. According to embodiments, the
실시 예들에 따라, 장치(200)는 카메라(150)로부터 촬영된 전방 영상(IMG)을 수신하고, 전방 영상(IMG)으로부터 마커들(MK1, MK2) 각각의 크기를 결정하고, 결정된 마커들(MK1, MK2)의 크기에 대응하는 길이를 갖는 가상 포크(VF)를 출력할 수 있다. 예컨대, 마커들(MK1, MK2)의 크기가 작을수록 더 작은 길이를 갖는 가상 포크(VF)가 출력될 수 있다.According to embodiments, the
실시 예들에 따라, 장치(200)는 카메라(150)로부터 촬영된 전방 영상(IMG)을 수신하고, 전방 영상(IMG)으로부터 마커들(MK1, MK2) 사이의 이격 거리(DM)를 결정하고, 결정된 이격 거리(DM)에 대응하는 길이(LEN)를 갖는 가상 포크(VF)를 출력할 수 있다. 예컨대, 마커들(MK1, MK2)의 사이의 이격 거리(DM)가 작을수록 더 작은 길이를 갖는 가상 포크(VF)가 출력될 수 있다.According to embodiments, the
실시 예들에 따라, 장치(200)는 카메라(150)로부터 촬영된 전방 영상(IMG)을 수신하고, 전방 영상(IMG)으로부터 마커들(MK1, MK2) 각각의 위치(P1, P2)를 결정하고, 결정된 위치(P1, P2)에 대응하는 길이(LEN)를 갖는 가상 포크(VF)를 출력할 수 있다. 예컨대, 마커들(MK1, MK2) 각각의 위치가 전방 영상(IMG)의 중앙에 가까울 수록, 더 작은 길이를 갖는 가상 포크(VF)가 출력될 수 있다.According to embodiments, the
예컨대, 도 8에 도시된 바와 같이, 포크(140)의 높이(또는 카메라(150)의 높이)가 제1높이(H1)일 때, 장치(200)는 제1길이(LEN1)를 갖는 제1가상 포크(VF1)를 출력하고, 포크(140)의 높이가 제2높이(H2)일 때, 장치(200)는 제2길이(LEN2)를 갖는 제2가상 포크(VF2)를 출력할 수 있다. 도 8의 실시 예에서, 제2높이(H2)는 제1높이(H1)보다 크고, 제1길이(LEN1)는 제2길이(LEN2) 보다 길다. 즉, 본 발명의 실시 예들에 따른 장치(200)는 포크(140)의 높이에 대응하는 크기(또는 길이)를 갖는 가상 포크(VF)를 생성할 수 있다.For example, as shown in FIG. 8 , when the height of the fork 140 (or the height of the camera 150) is the first height H1, the
도 9는 본 발명의 실시 예들에 따른 장치로부터 출력된 가상 포크를 나타낸다. 도 9를 참조하면, 가상 포크들(VF)은 합성 영상(CIMG) 내에서 포크들(141, 143)에 대응하는 특정 위치에 표시될 수 있다. 실시 예들에 따라, 장치(200)는 가상 포크들(VF)이 합성 영상(CIMG) 내에서 표시될 위치를 결정하고, 결정된 위치를 갖는 가상 포크(VF)를 출력할 수 있다. 즉, 장치(200)는 결정된 위치에 표시된 가상 포크들(VF)을 포함하는 합성 영상(CIMG)을 생성할 수 있다.9 shows a virtual fork output from a device according to embodiments of the present invention. Referring to FIG. 9 , virtual forks VF may be displayed at specific positions corresponding to
실시 예들에 따라, 장치(200)는 미리 설정된 기본 위치, 또는 포크들(141, 143) 각각의 실제 수평 위치에 표시된 가상 포크들(VF)이 나타난 합성 영상(CIMG)을 출력할 수 있다. 예컨대, 포크들(141, 143) 각각의 실제 수평 위치를 파악할 수 없는 경우에는, 장치(200)는 미리 설정된 기본 위치에 표시된 가상 포크들(VF)이 나타난 합성 영상(CIMG)을 출력할 수 있다.According to embodiments, the
지게차(100)의 포크들(141, 143)은 수평면 상에서 개별적으로 이동될 수 있다. 예컨대, 지게차(100)의 조작에 따라 제1포크(141)는 지게차(100)의 좌측 방향으로 이동되고, 제2포크(143)은 지게차(100)의 우측 방향으로 이동될 수 있다.The
본 발명의 실시 예들에 따른 장치(200)는 포크들(141, 143) 각각의 수평 위치를 결정하고, 결정된 포크들(141, 143)의 수평 위치에 대응하는 위치를 갖는 가상 포크(VF)를 생성할 수 있다.
예컨대, 장치(200)는 전방 영상(IMG)에 대한 이미지 인식을 수행하여, 포크들(141, 143) 각각의 위치(P3, P4)를 결정하거나, 또는, 지게차(100)로부터 전송된 포크들(141, 143) 각각의 수평 위치에 대한 정보를 이용하여, 포크들(141, 143) 각각의 수평 위치를 결정할 수 있다.For example, the
또한, 본 발명의 실시 예들에 따른 장치(200)는 포크들(141, 143) 사이의 이격 거리(DP)를 결정하고, 결정된 이격 거리(DP)에 대응하는 간격(GAP)을 갖는 두 개의 가상 포크들(VF)을 출력할 수 있다.In addition, the
실시 예들에 따라, 장치(200)는 카메라(150)로부터 촬영된 전방 영상(IMG)을 수신하고, 전방 영상(IMG)으로부터 포크들(141, 143)의 위치(P3, P4) 또는 포크들(141, 143) 사이의 이격 거리(DP)를 결정하고, 결정된 위치(P3, P4) 또는 이격 거리(DP)에 대응하는 간격(GAP)을 갖는 가상 포크(VF)를 출력할 수 있다. 예컨대, 포크들(141, 143) 사이의 이격 거리가 증가할수록, 가상 포크들(VF) 사이의 간격(GAP) 또한 증가할 수 있다.According to embodiments, the
도 10은 본 발명의 실시 예들에 따른 장치로부터 출력된 합성 영상을 나타낸다. 도 10을 참조하면, 장치(200)는 지게차(100)의 전방 뷰(FV) 및 탑 뷰(TV)를 나타내는 합성 영상(CIMG)을 생성 및 출력할 수 있다.10 shows a synthesized image output from a device according to embodiments of the present invention. Referring to FIG. 10 , the
실시 예들에 따라, 장치(200)는 지게차(100)의 카메라(150)로부터 출력된 전방 영상(IMG)을 수신하고, 전방 영상(IMG)을 이용하여 전방 영상(IMG)에 포함된 전방 뷰(FV)를 탑 뷰(TV)로 변환하고, 전방 뷰(FV) 및 탑 뷰(TV)를 나타내는 합성 영상(CIMG)을 생성할 수 있다.According to embodiments, the
도 10에 도시된 바와 같이, 장치(200)로부터 출력된 합성 영상(CIMG)의 탑 뷰(TV)에는 가상 포크(VF)가 나타날 수 있다. 가상 포크(VF)는 2개일 수 있고, 가상 포크(VF)의 길이(LEN)는 포크(140)의 실제 높이에 대응할 수 있고, 가상 포크(VF) 사이의 간격(GAP)은 실제 포크(140) 사이의 이격 거리에 대응할 수 있다.As shown in FIG. 10 , a virtual fork VF may appear on a top view TV of the composite image CIMG output from the
도 11은 본 발명의 실시 예들에 따른 가상 포크의 출력 방법을 나타내는 플로우 차트이다. 도 11을 참조하여 설명되는 방법은 도 1 내지 도 10을 참조하여 설명된 장치(200) 또는 프로세서(210)에 의해 수행될 수 있다. 또한, 도 11을 참조하여 설명되는 방법은 복수의 명령어들을 포함하며 컴퓨터 판독가능한 비일시적인 저장 매체에 저장되도록 구성되는 프로그램으로 구현될 수 있다.11 is a flowchart illustrating a method of outputting a virtual fork according to embodiments of the present invention. The method described with reference to FIG. 11 may be performed by the
도 11을 참조하면, 장치(200)는 지게차(100)의 전방 영상(IMG)을 수신할 수 있다(S110). 실시 예들에 따라, 장치(200)는 지게차(100)에 설치된 카메라(150)로부터 지게차(100)의 전방을 촬영하여 생성된 전방 영상(IMG)을 수신할 수 있다.Referring to FIG. 11 , the
장치(200)는 전방 영상(IMG)에 나타난 마커(MK)를 인식할 수 있다(S120). 실시 예들에 따라, 장치(200)는 전방 영상(IMG)을 이미징 분석하여 전방 영상(IMG)에 나타난 마커(MK)를 인식할 수 있다. 예컨대, 장치(200)는 전방 영상(IMG) 내의 관심 영역(region of interest)을 설정하고, 관심 영역 내에 포함된 마커(MK)를 인식할 수 있다. 이 때, 장치(200)는 관심 영역 내의 픽셀들 각각의 색좌표에 기초하여 관심 영역 내에 포함된 마커(MK)를 인식할 수 있으나, 본 발명의 실시 예들이 이에 한정되는 것은 아니다.The
장치(200)는 인식된 마커(MK)의 마커 정보를 결정할 수 있다(S130). 실시 예들에 따라, 장치(200)는 전방 영상(IMG) 내에서 인식된 마커(MK)의 위치, 크기 또는 마커들(MK) 사이의 이격 거리를 결정할 수 있다.The
장치(200)는 마커 정보에 대응하는 크기를 갖는 가상 포크(VF)를 출력할 수 있다(S140). 실시 예들에 따라, 장치(200)는 마커(MK)의 위치, 크기 또는 마커들(MK) 사이의 이격 거리에 대응하는 길이를 갖는 가상 포크(VF)를 출력할 수 있다. 예컨대, 장치(200)는 실제 포크(140)의 투영 위치에 대응하는 위치로부터 연장되며, 마커 정보에 대응하는 길이(LEN)를 갖는 가상 포크(VF)를 생성하고 출력할 수 있다.The
이상과 같이 실시 예들이 비록 한정된 실시 예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.As described above, although the embodiments have been described with limited examples and drawings, those skilled in the art can make various modifications and variations from the above description. For example, the described techniques may be performed in an order different from the method described, and/or components of the described system, structure, device, circuit, etc. may be combined or combined in a different form than the method described, or other components may be used. Or even if it is replaced or substituted by equivalents, appropriate results can be achieved.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and equivalents of the claims are within the scope of the following claims.
100: 지게차
110: 바디
120: 마스트
130: 핑거보드
140: 포크
150: 카메라
200: 가상 포크 출력 장치
210: 프로세서
220: 메모리
230: 통신부100: forklift 110: body
120: mast 130: fingerboard
140: fork 150: camera
200: virtual fork output device 210: processor
220: memory 230: communication unit
Claims (13)
상기 장치는 프로세서와 복수의 명령어들을 포함하는 메모리를 포함하고,
상기 프로세서는 상기 복수의 명령어들의 실행에 따라,
상기 지게차에 설치된 카메라로부터 촬영된 전방 영상을 수신하고,
상기 지게차의 포크에 대응하는 가상 포크를 생성하고,
상기 가상 포크와 상기 전방 영상을 이용하여, 상기 가상 포크가 나타난 합성 영상을 출력하는,
장치.An apparatus provided on a forklift and outputting a virtual fork corresponding to a fork movable in a vertical direction,
The device includes a processor and a memory containing a plurality of instructions,
According to the execution of the plurality of instructions, the processor,
Receiving a front image taken from a camera installed on the forklift,
Create a virtual fork corresponding to the fork of the forklift,
Outputting a synthesized image in which the virtual fork appears using the virtual fork and the forward image,
Device.
상기 전방 영상으로부터 상기 지게차의 마스트에 표시된 마커를 인식하고,
인식된 마커의 상기 전방 영상 내에서의 크기, 위치 또는 이격 거리를 나타내는 마커 정보를 결정하고,
결정된 마커 정보를 이용하여 상기 지게차의 포크의 실제 높이를 결정하고,
상기 실제 높이를 나타내는 수치와 상기 가상 포크와 함께 나타난 상기 합성 영상을 출력하는,
장치.The method of claim 1, wherein the processor,
Recognize the marker displayed on the mast of the forklift from the front image,
Determining marker information indicating the size, position or separation distance of the recognized marker in the front image;
Determine the actual height of the fork of the forklift using the determined marker information;
Outputting the synthesized image shown together with the numerical value representing the actual height and the virtual fork,
Device.
상기 전방 영상으로부터 상기 지게차의 마스트에 표시된 마커를 인식하고,
인식된 마커의 상기 전방 영상 내에서의 크기, 위치 또는 이격 거리를 나타내는 마커 정보를 결정하고,
결정된 마커 정보에 대응하는 크기를 갖는 가상 포크가 나타난 상기 합성 영상을 출력하는,
장치.The method of claim 1, wherein the processor,
Recognize the marker displayed on the mast of the forklift from the front image,
Determining marker information representing the size, position or separation distance of the recognized marker in the front image;
Outputting the synthesized image in which a virtual fork having a size corresponding to the determined marker information appears,
Device.
상기 마커의 표시 위치는 상기 포크의 수직 방향의 이동과 무관하게 고정되는,
장치.According to claim 3,
The display position of the marker is fixed regardless of the movement of the fork in the vertical direction,
Device.
상기 결정된 마커 정보에 대응하는 길이를 갖는 가상 포크가 나타난 상기 합성 영상을 출력하는,
장치.The method of claim 3, wherein the processor,
Outputting the synthesized image in which a virtual fork having a length corresponding to the determined marker information appears,
Device.
마커 정보가 독립 변수이고 가상 포크의 크기가 종속 변수인 함수에 기초하여, 상기 결정된 마커 정보에 대응하는 가상 포크의 크기를 결정하고,
결정된 크기를 갖는 상기 가상 포크가 나타난 상기 합성 영상을 출력하는,
장치.The method of claim 3, wherein the processor,
determining a size of a virtual fork corresponding to the determined marker information based on a function in which marker information is an independent variable and a size of a virtual fork is a dependent variable;
Outputting the synthesized image in which the virtual fork having a determined size appears,
Device.
상기 메모리는 다양한 크기를 갖는 복수의 가상 포크들을 저장하고,
상기 프로세서는,
저장된 복수의 가상 포크들 중에서, 상기 결정된 마커 정보에 대응하는 가상 포크를 선택하고, 선택된 가상 포크가 나타난 상기 합성 영상을 출력하는,
장치.According to claim 3,
The memory stores a plurality of virtual forks having various sizes,
the processor,
Selecting a virtual fork corresponding to the determined marker information from among a plurality of stored virtual forks, and outputting the synthesized image in which the selected virtual fork appears.
Device.
상기 전방 영상으로부터 상기 마커의 상기 전방 영상 내에서의 크기를 결정하고,
상기 마커의 크기가 작을수록, 더 작은 길이를 갖는 상기 가상 포크가 나타난 상기 합성 영상을 출력하는,
장치.The method of claim 3, wherein the processor,
Determining the size of the marker in the anterior image from the anterior image;
outputting the synthesized image in which the virtual fork having a smaller length appears as the size of the marker decreases;
Device.
상기 전방 영상으로부터 상기 마커의 상기 전방 영상 내에서의 위치를 결정하고,
상기 마커의 위치가 상기 전방 영상의 중심에 가까울 수록, 더 작은 길이를 갖는 상기 가상 포크가 나타난 상기 합성 영상을 출력하는,
장치.The method of claim 3, wherein the processor,
determining the position of the marker within the anterior image from the anterior image;
Outputting the synthesized image in which the virtual fork having a smaller length appears as the position of the marker is closer to the center of the front image,
Device.
상기 전방 영상으로부터 마커들 사이의 이격 거리를 결정하고,
상기 마커들 사이의 이격 거리가 작을 수록, 더 작은 길이를 갖는 상기 가상 포크가 나타난 상기 합성 영상을 출력하는,
장치.The method of claim 3, wherein the processor,
Determining a separation distance between markers from the front image;
Outputting the synthesized image in which the virtual fork having a smaller length appears as the distance between the markers decreases,
Device.
상기 전방 영상으로부터 상기 지게차의 포크들 각각의 수평 위치를 결정하고,
상기 결정된 수평 위치에 대응하는 위치에 표시된 가상 포크들이 나타난 상기 합성 영상을 출력하는,
장치.The method of claim 3, wherein the processor,
Determine the horizontal position of each of the forks of the forklift from the front image,
Outputting the synthesized image in which virtual forks displayed at positions corresponding to the determined horizontal positions appear,
Device.
상기 지게차의 조향 장치로부터 조향 신호를 수신하고,
상기 조향 신호를 이용하여, 상기 지게차의 조작 방향을 결정하고,
상기 지게차의 조작 방향에 대응하는 가상 궤적을 생성하고,
상기 가상 포크 및 상기 가상 궤적이 나타난 상기 합성 영상을 출력하는,
장치.The method of claim 1, wherein the processor,
Receiving a steering signal from the steering device of the forklift,
Determine the direction of operation of the forklift by using the steering signal;
Creating a virtual trajectory corresponding to the operating direction of the forklift;
Outputting the synthesized image in which the virtual fork and the virtual trajectory appear,
Device.
바디;
상기 바디 전방에 결합되고, 상하로 움직일 수 있는 레일을 구비하고, 표면에 마커가 표시된 마스트;
상기 마스트의 레일과 결합되어, 상기 레일과 함께 상하로 움직이도록 구성되는 핑거보드;
상기 핑거보드에 연결되어 화물을 안착하도록 구성되는 포크;
상기 지게차의 전방에 설치되어 전방 영상을 생성하도록 구성되는 카메라; 및
상기 포크에 대응하는 가상 포크를 출력하는 가상 포크 출력 장치를 포함하고,
상기 가상 포크 출력 장치는,
프로세서와 복수의 명령어들을 포함하는 메모리를 포함하고,
상기 프로세서는 상기 복수의 명령어들의 실행에 따라,
상기 지게차에 설치된 카메라로부터 촬영된 전방 영상을 수신하고,
상기 지게차의 포크에 대응하는 가상 포크를 생성하고,
상기 가상 포크와 상기 전방 영상을 이용하여, 상기 가상 포크가 나타난 합성 영상을 출력하는,
지게차.
In a forklift,
body;
a mast coupled to the front of the body, equipped with a rail capable of moving up and down, and marked with a marker on its surface;
a fingerboard coupled to the rail of the mast and configured to move up and down together with the rail;
a fork connected to the fingerboard and configured to seat a cargo;
a camera installed in front of the forklift and configured to generate a front image; and
A virtual fork output device outputting a virtual fork corresponding to the fork,
The virtual fork output device,
A processor and a memory containing a plurality of instructions;
According to the execution of the plurality of instructions, the processor,
Receiving a front image taken from a camera installed in the forklift,
Create a virtual fork corresponding to the fork of the forklift,
Outputting a synthesized image in which the virtual fork appears using the virtual fork and the forward image,
fork lift.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020210076887A KR102565343B1 (en) | 2021-06-14 | 2021-06-14 | Device for generating virtual fork corresponding to fork of fork lift and fork lift inicluding the same |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020210076887A KR102565343B1 (en) | 2021-06-14 | 2021-06-14 | Device for generating virtual fork corresponding to fork of fork lift and fork lift inicluding the same |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20220167646A true KR20220167646A (en) | 2022-12-21 |
KR102565343B1 KR102565343B1 (en) | 2023-08-09 |
Family
ID=84536868
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020210076887A KR102565343B1 (en) | 2021-06-14 | 2021-06-14 | Device for generating virtual fork corresponding to fork of fork lift and fork lift inicluding the same |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102565343B1 (en) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR19990030360U (en) * | 1997-12-30 | 1999-07-26 | 추호석 | Height Check Structure for Forklift |
JP2006096457A (en) * | 2004-09-28 | 2006-04-13 | Toyota Industries Corp | Forklift work assisting device |
JP2007084162A (en) * | 2005-09-20 | 2007-04-05 | Toyota Industries Corp | Cargo handling supporting device of fork lift |
JP2015174705A (en) * | 2014-03-13 | 2015-10-05 | 株式会社豊田自動織機 | Forklift work aiding device |
-
2021
- 2021-06-14 KR KR1020210076887A patent/KR102565343B1/en active IP Right Grant
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR19990030360U (en) * | 1997-12-30 | 1999-07-26 | 추호석 | Height Check Structure for Forklift |
JP2006096457A (en) * | 2004-09-28 | 2006-04-13 | Toyota Industries Corp | Forklift work assisting device |
JP2007084162A (en) * | 2005-09-20 | 2007-04-05 | Toyota Industries Corp | Cargo handling supporting device of fork lift |
JP2015174705A (en) * | 2014-03-13 | 2015-10-05 | 株式会社豊田自動織機 | Forklift work aiding device |
Also Published As
Publication number | Publication date |
---|---|
KR102565343B1 (en) | 2023-08-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10773715B2 (en) | Parking control method and parking control device | |
US9734425B2 (en) | Environmental scene condition detection | |
JP7103077B2 (en) | Remote control system for forklifts | |
EP3051807B1 (en) | Predicted-route presentation device and predicted-route presentation method | |
JP2019156641A (en) | Image processing device for fork lift and control program | |
JP2015182604A (en) | Image processing apparatus and image processing program | |
EP3895947A1 (en) | Parking control method and parking control device | |
KR102057021B1 (en) | Panel transformation | |
EP3153940B1 (en) | Apparatus and method for controlling a vehicle | |
JP2020125211A (en) | Multi-function imaging system | |
JP2017212719A (en) | Imaging apparatus, imaging display method and imaging display program | |
KR102565359B1 (en) | Obstacle detection device and obstacle detection system for detecting obstacle in front of fork of fork lift | |
KR102565343B1 (en) | Device for generating virtual fork corresponding to fork of fork lift and fork lift inicluding the same | |
CN104378546A (en) | Vehicle safety control apparatus utilizing a camera and control method thereof | |
KR102124298B1 (en) | Rear Cross Traffic-Quick Look | |
WO2022018455A1 (en) | Camera focus control | |
CN111247792B (en) | Control method of unmanned aerial vehicle, unmanned aerial vehicle and computer readable storage medium | |
JP7216898B2 (en) | Display control method, display control device and head-up display device | |
JPWO2020054260A1 (en) | Image recognition device | |
US20220356048A1 (en) | Crane information display system | |
KR101511586B1 (en) | Apparatus and method for controlling vehicle by detection of tunnel | |
KR101258851B1 (en) | Apparatus and Method for Controlling Crane | |
JP2021066540A (en) | Operation support device of cargo handling vehicle | |
JP6965852B2 (en) | Remote control system for industrial vehicles | |
KR102445635B1 (en) | Method of detecting stopline of vehicle |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right |