KR102615292B1 - 산업재해 예방 및 인명 보호를 위한 인공지능 기반 기계식 주차장 영상통합관제 시스템 및 방법 - Google Patents
산업재해 예방 및 인명 보호를 위한 인공지능 기반 기계식 주차장 영상통합관제 시스템 및 방법 Download PDFInfo
- Publication number
- KR102615292B1 KR102615292B1 KR1020220085827A KR20220085827A KR102615292B1 KR 102615292 B1 KR102615292 B1 KR 102615292B1 KR 1020220085827 A KR1020220085827 A KR 1020220085827A KR 20220085827 A KR20220085827 A KR 20220085827A KR 102615292 B1 KR102615292 B1 KR 102615292B1
- Authority
- KR
- South Korea
- Prior art keywords
- parking lot
- camera
- vehicle
- image
- parking
- Prior art date
Links
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 30
- 230000002265 prevention Effects 0.000 title claims abstract description 8
- 238000000034 method Methods 0.000 title claims description 37
- 238000001514 detection method Methods 0.000 claims abstract description 31
- 238000013528 artificial neural network Methods 0.000 claims description 48
- 230000015654 memory Effects 0.000 description 51
- 230000010365 information processing Effects 0.000 description 42
- 238000004891 communication Methods 0.000 description 31
- 230000006870 function Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 7
- 238000013523 data management Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 230000014509 gene expression Effects 0.000 description 5
- 238000007726 management method Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 210000000225 synapse Anatomy 0.000 description 4
- 241001465754 Metazoa Species 0.000 description 3
- 235000019800 disodium phosphate Nutrition 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000013529 biological neural network Methods 0.000 description 2
- 239000000969 carrier Substances 0.000 description 2
- 238000013145 classification model Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 206010000372 Accident at work Diseases 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003331 infrared imaging Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000001931 thermography Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/14—Traffic control systems for road vehicles indicating individual free spaces in parking areas
- G08G1/145—Traffic control systems for road vehicles indicating individual free spaces in parking areas where the indication depends on the parking areas
- G08G1/146—Traffic control systems for road vehicles indicating individual free spaces in parking areas where the indication depends on the parking areas where the parking area is a limited parking space, e.g. parking garage, restricted space
-
- E—FIXED CONSTRUCTIONS
- E04—BUILDING
- E04H—BUILDINGS OR LIKE STRUCTURES FOR PARTICULAR PURPOSES; SWIMMING OR SPLASH BATHS OR POOLS; MASTS; FENCING; TENTS OR CANOPIES, IN GENERAL
- E04H6/00—Buildings for parking cars, rolling-stock, aircraft, vessels or like vehicles, e.g. garages
- E04H6/08—Garages for many vehicles
- E04H6/12—Garages for many vehicles with mechanical means for shifting or lifting vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J5/0022—Radiation pyrometry, e.g. infrared or optical thermometry for sensing the radiation of moving bodies
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C9/00—Individual registration on entry or exit
- G07C9/00174—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys
- G07C9/00571—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys operated by interacting with a central unit
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B3/00—Audible signalling systems; Audible personal calling systems
- G08B3/10—Audible signalling systems; Audible personal calling systems using electric transmission; using electromagnetic transmission
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30264—Parking
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Architecture (AREA)
- Theoretical Computer Science (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Civil Engineering (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Structural Engineering (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Mechanical Engineering (AREA)
- Electromagnetism (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Traffic Control Systems (AREA)
Abstract
산업재해 예방 및 인명 보호를 위한 인공지능 기반 기계식 주차장 영상통합관제 시스템에 있어서, 기계식 주차 시설의 주차장 실내에 설치되어, 적어도 하나의 주차장 실내 이미지를 촬영하도록 구성된 복수의 카메라, 상기 카메라에 의해 촬영된 상기 주차장 실내 이미지 상에 표시되는 객체의 존재 여부를 결정하는 프로세서 및 상기 주차장의 출입문이 위치한 일부에 설치되어, 상기 객체의 거리, 속도 또는 방향 중 적어도 하나를 기초하여 객체의 출입 여부를 감지하도록 구성된 객체감지센서를 포함하고, 상기 프로세서는, 상기 주차장 실내 이미지 상에 상기 객체가 검출될 경우, 상기 기계식 주차 시설의 동작을 제어하도록 구성된다.
Description
본 개시는 산업재해 예방 및 인명 보호를 위한 인공지능 기반 기계식 주차장 영상통합관제 시스템 및 방법에 관한 것으로, 보다 상세하게는, 주차장 실내에 사람과 같은 객체 존재 유무를 확인하고, 그 확인 결과에 따라 주차장의 동작을 제어하는 인공지능 기반 기계식 주차장 영상통합관제 시스템 및 방법에 관한 것이다.
최근 등록되는 자동차의 수는 늘어나고 있으며, 도심지의 경우, 자동차 수에 대비하여 주차장이 부족하여 주차난이 발생하고 있다. 주차난에 대한 해결방법으로 자주식 주차 방식과 기계식 주차 방식이 있는데, 자주식 주차 방식의 경우, 차량의 출입이 빠르고, 유지보수가 쉬운 장점은 있으나, 넓은 면적이 필요하며, 넓은 면적을 사용하지만 주차공간이 부족하다는 단점이 있다.
이에 따라, 특히 도심지의 경우, 기계식 주차 방식을 많이 사용하고 있으나, 관리자 과실 및 기계 결함에 의한 사고가 적지 않게 발생하고 있다는 문제점이 있다. 이러한 기계식 주차장 사고 중 74.4%는 기계 결함 및 관리자 과실로 발생하고 있으며, 특히, 노후화된 기계식 주차장의 경우 유지 및 관리가 어려운 문제점이 있다. 또한, 기계식 주차장 내부의 잔존하는 이동체를 인식하는 시스템이 없어서, 인명 사고로 이어지며, 이러한 문제점을 해결할 수 있는 방안이 없는 실정이다.
일반적으로, 기계식 주차장의 내부에 구성된 승강장치 또는 승강장치에 주차된 차량의 좌측 및 우측에 사람이 통행할 수 있는 공간이 존재한다. 이 때, 안전기준에 따르면, 기계식 주차장 내부에 설치된 감지센서는 사람의 통행 공간을 감지할 수 있어야 하며, 먼지, 빛, 온도, 습도 등에 영향을 받지 않아야 한다. 또한, 기계식 주차장의 출입문이 완전히 닫힐 때까지 움직임을 감지할 수 있어야 한다. 하지만, 기존의 감지센서만으로 직관적인 관제가 어렵고, 감지 효율이 떨어지는 문제점이 있다. 또한, 신규 안전기준에 따라, 감지센서를 설치하지 않고 미적용된 기존 주차장에 설치된 기존 장비 또는 노후 기종에 설치된 장비에 적용이 가능한 통합관제 시스템(재난안전사고 예방, 시스템 고장진단 등)이 존재하지 않는 문제점이 있다.
본 개시는, 인공지능 기반으로 기계식 주차장 작동에 있어서, 주차장 내부에 사람 등과 같은 객체의 잔존 여부를 확인하여 기계식 주차장을 관제하기 위한 영상통합관제 시스템 및 방법을 제공한다.
본 개시의 일 실시예에 따르면, 산업재해 예방 및 인명 보호를 위한 인공지능 기반 기계식 주차장 영상통합관제 시스템에 있어서, 기계식 주차 시설의 주차장 실내에 설치되어, 적어도 하나의 주차장 실내 이미지를 촬영하도록 구성된 복수의 카메라, 상기 카메라에 의해 촬영된 상기 주차장 실내 이미지 상에 표시되는 객체의 존재 여부를 결정하는 프로세서 및 상기 주차장의 출입문이 위치한 일부에 설치되어, 상기 객체의 거리, 속도 또는 방향 중 적어도 하나를 기초하여 객체의 출입 여부를 감지하도록 구성된 객체감지센서를 포함하고, 상기 프로세서는, 상기 주차장 실내 이미지 상에 상기 객체가 검출될 경우, 상기 기계식 주차 시설의 동작을 제어하도록 구성된다.
일 실시예에 따르면, 상기 프로세서는, 상기 카메라에 의해 촬영된 수집 이미지 또는 외부 학습 이미지를 저장부로 전송하도록 구성된 이미지 수집부, 인공신경망에 의해 상기 수집 이미지 또는 상기 외부 학습 이미지를 기초로 상기 객체를 검출하도록 학습된 이미지 학습부 및 상기 학습된 객체 데이터를 통해, 상기 카메라에 의해 촬영된 이미지 상에서 상기 주차장 실내에 상기 객체의 존재 여부를 판단하는 객체 인식부를 포함한다.
일 실시예에 따르면, 상기 프로세서는, 상기 주차장 실내에 상기 객체가 검출될 경우, 검출된 상기 객체를 기 설정된 형태에 따라 관심영역으로 표시하도록 구성된다.
일 실시예에 따르면, 상기 복수의 카메라는, 상기 주차장 실내의 일측면에 설치되어 차량 또는 상기 주차장 내부를 광각의 화각으로 촬영되도록 구성된 제1 카메라 및 상기 주차장 실내의 벽면 일부에 설치되어 상기 차량의 내부를 촬영하여 상기 객체 존재 여부를 확인하도록 구성된 제2 카메라를 포함한다.
일 실시예에 따르면, 상기 제1 카메라 및 상기 제2 카메라에 의해 촬영된 적어도 하나의 이미지를 통해 상기 차량의 주차 상태를 표시하는 주차 디스플레이 및 상기 차량의 주차 상태에 따라 안내음을 송출하는 스피커부를 포함한다.
일 실시예에 따르면, 상기 주차장 실내의 일면에 설치되어, 상기 주차장 실내의 온도 이미지를 촬영하도록 구성된 제3 카메라를 포함하고, 상기 프로세서는, 상기 제3 카메라에 의해 촬영된 상기 주차장 실내의 온도 이미지를 기초로, 기 설정된 온도 이미지의 색상 범위에 따라 상기 주차장 실내에 상기 객체의 존재 여부를 판단하도록 구성된다.
일 실시예에 따르면, 상기 프로세서는, 상기 카메라 중 적어도 하나에 의해 상기 주차장 실내에서 검출된 상기 객체의 수를 산출하고, 상기 객체가 상기 주차장의 출입문으로 나가는 상기 객체의 수를 산출하도록 구성되고, 산출된 상기 주차장의 출입문으로 나가는 상기 객체의 수가 상기 주차장 실내에서 검출된 상기 객체의 수보다 적을 경우, 상기 기계식 주차 시설의 동작을 제어하도록 구성된다.
일 실시예에 따르면, 상기 주차장 실내의 바닥면에 설치되어, 주차된 차량을 지정된 위치에 격납되도록 구성된 리프트를 더 포함하고, 상기 프로세서는, 상기 차량이 기 설정된 상기 리프트의 범위를 벗어나면, 상기 기계식 주차 시설의 동작을 제어하도록 구성된다.
일 실시예에서, 상기 주차장의 외부 진입구 일측면에 설치되어, 상기 기계식 주차 시설의 작동을 제어하도록 구성된 주차 제어장치를 더 포함하고, 상기 주차 제어장치는, 촬영장치를 포함하고, 상기 기계식 주차 시설의 작동을 제어할 경우, 상기 촬영장치에 의해 사용자를 검출하고, 상기 사용자가 검출되지 않을 경우, 상기 기계식 주차 시설의 작동을 제어하도록 구성된다.
본 개시의 일 실시예에 따르면, 산업재해 예방 및 인명 보호를 위한 인공지능 기반 기계식 주차장 영상통합관제 방법에 있어서, 복수의 카메라에 의해, 기계식 주차 시설의 주차장 실내에 설치된, 적어도 하나의 주차장 실내 이미지를 촬영하는 단계, 프로세서에 의해, 상기 카메라에 의해 촬영된 상기 주차장 실내 이미지 상에 표시되는 객체의 존재 여부를 결정하는 단계, 상기 프로세서에 의해, 상기 주차장의 출입문이 위치한 일부에 설치된 객체 감지 센서에 의해 감지된 상기 객체의 거리, 속도 또는 방향 중 적어도 하나를 기초하여 객체의 출입 여부를 결정하는 단계 및 상기 프로세서에 의해, 상기 주차장 실내 이미지 상에 상기 객체가 검출될 경우, 상기 기계식 주차 시설의 동작을 제어하는 단계를 포함한다.
본 개시의 일부 실시예에 따르면, 기존 주차장에 설치된 구동 및 감지 장치(예: 센서, 모터 등)을 활용이 가능하고, 기존 장치를 통한 정기적 유지보수가 가능하므로 경제적이며, 각 기계식 주차장과의 호환성이 높다.
본 개시의 일부 실시예에 따르면, 주차장 내의 영상 등을 기반으로 차량, 승강기, 사람 및 기타 객체를 분석하여, 해당 객체의 존재 또는 움직임과 같은 이벤트가 감지될 경우, 주차장의 원격제어 및 모니터링이 가능하기 때문에, 산업재해에 대한 예방 및 사고율을 낮출 수 있다.
본 개시의 효과는 이상에서 언급한 효과로 제한되지 않으며, 언급되지 않은 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 개시의 실시예들은, 이하 설명하는 첨부 도면들을 참조하여 설명될 것이며, 여기서 유사한 참조 번호는 유사한 요소들을 나타내지만, 이에 한정되지 않는다.
도 1은 본 개시의 일 실시예에 따른 인공지능 기반 기계식 주차장 영상통합관제 시스템이 적용된 기계식 주차 시설의 사시도이다.
도 2는 본 개시의 일 실시예에 따른 인공지능 기반 기계식 주차장 영상통합관제 시스템을 제공하기 위해 카메라, 정보 처리 시스템 및 사용자 단말이 통신 가능하도록 연결된 구성을 나타내는 도면이다.
도 3은 본 개시의 일 실시예에 따른 사용자 단말 및 정보 처리 시스템의 내부 구성을 나타내는 블록도이다.
도 4는 본 개시의 일 실시예에 따른 정보 처리 시스템의 프로세서 및 메모리의 내부 구성을 나타내는 블록도이다.
도 5는 본 개시의 일 실시예에 따라 인공지능 기반 기계식 주차장 영상통합관제 시스템을 통한 객체 인식에 대한 예시를 나타내는 도면이다.
도 6a 및 도 6b는 본 개시의 일 실시예에 따른 인공지능 기반 기계식 주차장 영상통합관제 시스템을 통한 객체 인식에 대한 제1 카메라의 다른 예시를 나타내는 도면이다.
도 7은 본 개시의 일 실시예에 따른 수집 이미지 또는 외부 학습 이미지를 기반하여 객체 데이터를 생성하도록 학습된 이미지 학습부의 구성을 나타내는 도면이다.
도 8은 본 개시의 일 실시예에 따른 인공지능 기반 기계식 주차장 영상통합관제 방법을 나타내는 흐름도이다.
도 1은 본 개시의 일 실시예에 따른 인공지능 기반 기계식 주차장 영상통합관제 시스템이 적용된 기계식 주차 시설의 사시도이다.
도 2는 본 개시의 일 실시예에 따른 인공지능 기반 기계식 주차장 영상통합관제 시스템을 제공하기 위해 카메라, 정보 처리 시스템 및 사용자 단말이 통신 가능하도록 연결된 구성을 나타내는 도면이다.
도 3은 본 개시의 일 실시예에 따른 사용자 단말 및 정보 처리 시스템의 내부 구성을 나타내는 블록도이다.
도 4는 본 개시의 일 실시예에 따른 정보 처리 시스템의 프로세서 및 메모리의 내부 구성을 나타내는 블록도이다.
도 5는 본 개시의 일 실시예에 따라 인공지능 기반 기계식 주차장 영상통합관제 시스템을 통한 객체 인식에 대한 예시를 나타내는 도면이다.
도 6a 및 도 6b는 본 개시의 일 실시예에 따른 인공지능 기반 기계식 주차장 영상통합관제 시스템을 통한 객체 인식에 대한 제1 카메라의 다른 예시를 나타내는 도면이다.
도 7은 본 개시의 일 실시예에 따른 수집 이미지 또는 외부 학습 이미지를 기반하여 객체 데이터를 생성하도록 학습된 이미지 학습부의 구성을 나타내는 도면이다.
도 8은 본 개시의 일 실시예에 따른 인공지능 기반 기계식 주차장 영상통합관제 방법을 나타내는 흐름도이다.
이하, 본 개시의 실시를 위한 구체적인 내용을 첨부된 도면을 참조하여 상세히 설명한다. 다만, 이하의 설명에서는 본 개시의 요지를 불필요하게 흐릴 우려가 있는 경우, 널리 알려진 기능이나 구성에 관한 구체적 설명은 생략하기로 한다.
첨부된 도면에서, 동일하거나 대응하는 구성요소에는 동일한 참조 부호가 부여되어 있다. 또한, 이하의 실시예들의 설명에 있어서, 동일하거나 대응하는 구성요소를 중복하여 기술하는 것이 생략될 수 있다. 그러나 구성요소에 관한 기술이 생략되어도, 그러한 구성요소가 어떤 실시예에 포함되지 않는 것으로 의도되지는 않는다.
개시된 실시예의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 개시는 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 개시가 완전하도록 하고, 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것일 뿐이다.
본 개시에서 사용되는 용어에 대해 간략히 설명하고, 개시된 실시예에 대해 구체적으로 설명하기로 한다.
본 개시에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 관련 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 개시에서의 단수의 표현은 문맥상 명백하게 단수인 것으로 특정하지 않는 한, 복수의 표현을 포함한다. 또한 복수의 표현은 문맥상 명백하게 복수인 것으로 특정하지 않는 한, 단수의 표현을 포함한다.
본 개시의 전체에서 어떤 부분이 어떤 구성요소를 '포함'한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다.
본 명세서에서 "A 및/또는 B"의 기재는 A, 또는 B, 또는 A 및 B를 의미한다.
또한, 명세서에서 사용되는 '모듈' 또는 '부'라는 용어는 소프트웨어 또는 하드웨어 구성요소를 의미하며, '모듈' 또는 '부'는 어떤 역할들을 수행한다. 그렇지만 '모듈' 또는 '부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '모듈' 또는 '부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '모듈' 또는 '부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 또는 변수들 중 적어도 하나를 포함할 수 있다. 구성요소들과 '모듈' 또는 '부'들은 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '모듈' 또는 '부'들로 결합되거나 추가적인 구성요소들과 '모듈' 또는 '부'들로 더 분리될 수 있다.
본 개시에서 제어부는 프로세서와 혼용하여 사용될 수 있다. 또한, 저장부는 메모리와 혼용하여 사용될 수 있다.
본 개시에서 객체는 사람, 동물 등과 같은 이동체와, 라바콘(Rubber cone), 캐리어, 유모차 등과 같은 정지체를 모두 포함할 수 있다.
도 1은 본 개시의 일 실시예에 따른 인공지능 기반 기계식 주차장 영상통합관제 시스템이 적용된 기계식 주차 시설(101)의 사시도(100)이다. 기계식 주차 시설(101)은, 카메라(110), 리프트(120), 주차 디스플레이(130) 및 출입문(140)을 포함한다.
카메라(110)는, 기계식 주차 시설(101)의 주차장 실내에 설치되어, 적어도 하나의 주차장 실내 이미지를 촬영하도록 구성된 복수 개의 카메라일 수 있다. 일 실시예로, 복수 개의 카메라는 제1 카메라(110_1) 및 제2 카메라(110_2)로 구성될 수 있다. 제1 카메라(110_1)는, 주차장 실내의 일측면에 설치되어 차량(C) 또는 주차장 내부를 광각의 화각으로 촬영되도록 구성될 수 있다. 예를 들어, 광각의 화각으로 촬영되도록 구성된 제1 카메라(110_1)는 주차장 실내의 천장에 설치되어, 차량(C) 또는 주차장 내부를 촬영할 수 있다. 여기서, 제1 카메라(110_1)는 어안 카메라 또는 다수의 카메라로 구성되어 주차장 내부를 360도로 촬영되도록 구성된 카메라일 수 있다. 제2 카메라(110_2)는 주차장 실내의 벽면 일부에 설치되어 차량(C)의 내부를 촬영하여 객체(P; 예를 들어, 탑승자, 애완동물 등)의 존재 여부를 확인하도록 구성될 수 있다. 예를 들어, 제2 카메라(110_2)는 차량(C)의 정면과 대응되는 주차장 실내의 벽면에 설치되어 차량(C) 내부에 객체(P)가 존재하는 지 여부를 확인이 가능한 구도로 설치될 수 있다. 추가적으로, 카메라(110)는 제3 카메라(미도시)를 포함할 수 있다. 일 예로, 제3 카메라는, 적외선 또는 열화상 카메라와 같이, 주차장 실내의 일면에 설치되어 주차장 실내의 온도 이미지를 촬영하도록 구성될 수 있다. 제어부는 제3 카메라에 의해 촬영된 주차장 실내의 온도 이미지를 기초로, 기 설정된 온도 이미지의 색상 범위에 따라 주차장 실내에 객체(예를 들어, 탑승자, 애완동물 등과 같이 상온 이상의 온도를 갖는 생물체)의 존재 여부를 판단하도록 구성될 수 있다.
한편, 도 1은 2개의 카메라를 통해 주차장 내부 및 차량(C) 내부를 촬영하는 것으로 도시하였으나, 이에 한정하지 않으며, 다양한 카메라 설치 위치에 따라 객체(P)를 인식할 수 있으며, 이에 대한 다른 실시예는 후술하도록 한다.
리프트(120)는, 주차장 실내의 바닥면에 설치되어, 주차된 차량(C)을 지정된 위치로 격납되도록 구성될 수 있다. 리프트(120)는 제어부에 의해, 차량(C)이 기 설정된 리프트(120)의 범위(예를 들어, 리프트 상의 사전 결정된 주차 영역)를 벗어날 경우, 기계식 주차 시설(101)의 동작을 제어하도록 구성될 수 있다. 추가적으로, 리프트(120)는 기 설정된 리프트(120)의 범위 내에서 차량(C)에 대해 무선충전 또는 유선충전을 수행할 수 있는 전기차 충전장치를 추가로 구비할 수 있다.
출입문(140)은, 차량(C) 또는 사람이 출입이 가능하도록 주차장 외부 및 실내가 연결되도록 주차장의 벽면에 설치될 수 있다. 또한, 주차장 출입문(140)이 위치한 일부에 객체감지센서(미도시)가 추가로 설치될 수 있다. 객체감지센서는, 객체(P)의 거리, 속도 또는 방향 중 적어도 하나를 기초하여 객체의 출입 여부를 감지하도록 구성될 수 있다. 예를 들어, 객체감지센서는 감시 대상 영역에 대해 적외선을 조사하여 해당 영역 내에 존재하는 객체에 의해 반사되는 적외선을 기반으로, 객체와의 거리, 객체의 속도 또는 객체가 움직이는 방향 중 적어도 하나를 감지 또는 산출하여, 객체의 존재 여부, 거리, 속도 또는 방향을 예측할 수 있다.
주차 디스플레이(130)는 제1 카메라(110_1) 및 제2 카메라(110_2)에 의해 촬영된 적어도 하나의 이미지를 기반으로 차량(C)의 주차 상태를 표시할 수 있다. 예를 들어, 제1 카메라(110_1)에 의해 촬영되는 이미지를 주차 디스플레이(130)를 통해 출력함으로써, 리프트(120)의 범위에 안전하게 주차가 되었는지 차량(C) 내의 운전자가 확인이 가능할 수 있다. 추가적으로, 주차 시설(101)에 스피커부(미도시)를 추가적으로 설치하여, 이를 통해 차량(C)의 주차 상태에 따라 안내음을 송출하도록 구성될 수 있다.
도 2는 본 개시의 일 실시예에 따른 인공지능 기반 기계식 주차장 영상통합관제 시스템을 제공하기 위해 카메라, 정보 처리 시스템 및 사용자 단말이 통신 가능하도록 연결된 구성을 나타내는 도면이다. 복수의 사용자 단말(210_1, 210_2, 210_3)은 네트워크(220)를 통해 정보 처리 시스템(230) 및 카메라(110_1, 110_2)와 통신할 수 있다. 네트워크(220)는 복수의 사용자 단말(210_1, 210_2, 210_3) 및/또는 카메라(110_1, 110_2)와 정보 처리 시스템(230) 사이의 통신이 가능하도록 구성될 수 있다. 네트워크(220)는 설치 환경에 따라, 예를 들어, 이더넷(Ethernet), 유선 홈 네트워크(Power Line Communication), 전화선 통신 장치 및 RS-serial 통신 등의 유선 네트워크(220), 이동통신망, WLAN(Wireless LAN), Wi-Fi, Bluetooth 및 ZigBee 등과 같은 무선 네트워크(220) 또는 그 조합으로 구성될 수 있다. 통신 방식은 제한되지 않으며, 네트워크(220)가 포함할 수 있는 통신망(예를 들어, 이동통신망, 유선 인터넷, 무선 인터넷, 방송망, 위성망 등)을 활용하는 통신 방식 뿐만 아니라 사용자 단말(210_1, 210_2, 210_3) 사이의 근거리 무선 통신 역시 포함될 수 있다. 예를 들어, 네트워크(220)는, PAN(personal area network), LAN(local area network), CAN(campus area network), MAN(metropolitan area network), WAN(wide area network), BBN(broadband network), 인터넷 등의 네트워크 중 하나 이상의 임의의 네트워크를 포함할 수 있다. 또한, 네트워크(220)는 버스 네트워크, 스타 네트워크, 링 네트워크, 메쉬 네트워크, 스타-버스 네트워크, 트리 또는 계층적(hierarchical) 네트워크 등을 포함하는 네트워크 토폴로지 중 임의의 하나 이상을 포함할 수 있으나, 이에 제한되지 않는다.
도 2에서 휴대폰 또는 스마트폰(210_1), 태블릿 컴퓨터(210_2) 및 랩탑 또는 데스크탑 컴퓨터(210_3)가 인공지능 기반 기계식 주차장 영상통합관제 시스템을 제공하는 사용자 인터페이스를 실행하거나 동작하는 사용자 단말의 예로서 도시하였으나, 이에 한정되지 않으며, 사용자 단말(210_1, 210_2, 210_3)은 유선 및/또는 무선 통신이 가능하고, 웹 브라우저, 모바일 브라우저 애플리케이션 또는 인공지능 기반 기계식 주차장 영상통합관제 시스템이 설치되어 영상통합관제 서비스를 제공하는 사용자 인터페이스가 실행될 수 있는 임의의 컴퓨팅 장치일 수 있다. 예를 들어, 사용자 단말(210)은, 스마트폰, 휴대폰, 내비게이션 단말기, 데스크탑 컴퓨터, 랩탑 컴퓨터, 디지털방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 태블릿 컴퓨터, 게임 콘솔(game console), 웨어러블 디바이스(wearable device), IoT(internet of things) 디바이스, VR(virtual reality) 디바이스, AR(augmented reality) 디바이스 등을 포함할 수 있다. 또한, 도 2에는 3개의 사용자 단말(210_1, 210_2, 210_3)이 네트워크(220)를 통해 정보 처리 시스템(230)과 통신하는 것으로 도시되어 있으나, 이에 한정되지 않으며, 상이한 수의 사용자 단말이 네트워크(220)를 통해 정보 처리 시스템(230)과 통신하도록 구성될 수도 있다.
일 실시예에서, 카메라(110_1, 110_2)는 촬영된 이미지 또는 객체 검출 데이터를 정보 처리 시스템(230)으로 제공할 수 있다. 정보 처리 시스템(230; 또는 제어부)에 수신된 촬영된 이미지 또는 객체 검출 데이터는 사용자 단말(210_1, 210_2, 210_3)에 전송되어 해당 사용자 단말의 사용자에 의해 모니터링될 수 있다. 이 때, 사용자 단말(210_1, 210_2, 210_3)은 정보 처리 시스템(230; 또는 제어부)에 의해 카메라(110_1, 110_2)를 통해 촬영된 이미지 내의 객체 존재 여부, 차량의 정차상태, 승강기의 가동상태를 모니터링하거나, 긴급 제어기능을 통한 원격제어를 수행할 수 있다. 추가적으로, 정보 처리 시스템(230)은 카메라(110_1, 110_2)에 의해 촬영된 이미지를 기반으로, 주차장 실내에 객체가 검출될 경우, 검출된 객체를 기 설정된 형태에 따라 관심영역으로 표시하도록 구성될 수 있다. 예를 들어, 카메라(110_1, 110_2)에 의해 촬영된 이미지 중 주차장 실내에 객체가 검출될 경우, 객체의 주변에 사각 프레임 등으로 표시하여 객체의 존재 여부에 대한 시각적인 효과를 제공할 수 있다.
도 2에서는 사용자 단말(210_1, 210_2, 210_3)의 각각과 정보 처리 시스템(230)은 별도로 구성된 요소로서 도시되었으나, 이에 한정되지 않으며, 정보 처리 시스템(230)이 사용자 단말(210_1, 210_2, 210_3)의 각각에 포함되도록 구성될 수 있다. 이와 달리, 정보 처리 시스템(230)이 입출력 인터페이스를 포함하여, 사용자 단말(210_1, 210_2, 210_3)과의 통신 없이, 카메라(110_1, 110_2)를 통해 촬영된 이미지 내의 객체 존재 여부, 차량의 정차상태, 승강기의 가동상태를 모니터링하거나, 긴급 제어기능을 통한 원격제어를 수행하도록 구성될 수 있다.
한편, 상술된 도 2의 설명에는, 사용자 단말(210_1, 210_2, 210_3)에 의해 카메라(110_1, 110_2)를 통해 촬영된 이미지 내의 객체 존재 여부, 차량의 정차상태, 승강기의 가동상태를 모니터링하거나, 긴급 제어기능을 통한 원격제어를 수행한다고 기술하였지만, 이에 한정하지 않는다. 예를 들어, 정보 처리 시스템(230)에 의해 객체 존재 여부, 차량의 정차상태 및 승강기의 가동상태에 따라 긴급 제어기능이 자동으로 수행될 수 있다. 일 실시예로, 주차장 내부에 객체가 검출될 경우, 승강기의 가동을 중지하도록 구성될 수 있다.
도 3은 본 개시의 일 실시예에 따른 사용자 단말(210) 및 정보 처리 시스템(230)의 내부 구성을 나타내는 블록도이다. 사용자 단말(210)은 유/무선 통신이 가능한 임의의 컴퓨팅 장치를 지칭할 수 있으며, 예를 들어, 도 2의 휴대폰 또는 스마트폰(210_1), 태블릿 컴퓨터(210_2), 랩탑 또는 데스크톱 컴퓨터(210_3) 등을 포함할 수 있다. 도시된 바와 같이, 사용자 단말(210)은 메모리(312), 프로세서(314), 통신 모듈(316) 및 입출력 인터페이스(318)를 포함할 수 있다. 이와 유사하게, 정보 처리 시스템(230)은 메모리(332), 프로세서(334), 통신 모듈(336) 및 입출력 인터페이스(338)를 포함할 수 있다. 도 3에서 도시된 바와 같이, 사용자 단말(210) 및 정보 처리 시스템(230)은 각각의 통신 모듈(316, 336)을 이용하여 네트워크(220)를 통해 정보 및/또는 데이터를 통신할 수 있도록 구성될 수 있다. 또한, 입출력 장치(320)는 입출력 인터페이스(318)를 통해 사용자 단말(210)에 정보 및/또는 데이터를 입력하거나 사용자 단말(210)로부터 생성된 정보 및/또는 데이터를 출력하도록 구성될 수 있다.
메모리(312, 332)는 비-일시적인 임의의 컴퓨터 판독 가능한 기록매체를 포함할 수 있다. 일 실시예에 따르면, 메모리(312, 332)는 RAM(random access memory), ROM(read only memory), 디스크 드라이브, SSD(solid state drive), 플래시 메모리(flash memory) 등과 같은 비소멸성 대용량 저장 장치(permanent mass storage device)를 포함할 수 있다. 다른 예로서, ROM, SSD, 플래시 메모리, 디스크 드라이브 등과 같은 비소멸성 대용량 저장 장치는 메모리와는 구분되는 별도의 영구 저장 장치로서 사용자 단말(210) 및/또는 정보 처리 시스템(230)에 포함될 수 있다. 또한, 메모리(312, 332)에는 운영체제와 적어도 하나의 프로그램 코드(예를 들어, 수집 이미지 및/또는 외부 학습 이미지를 통해 객체 정보(객체 데이터)를 학습하기 위한 코드, 학습된 객체 데이터(이동체, 정지체 데이터 등)를 통한 객체 검출을 수행하기 위한 코드 등)가 저장될 수 있다.
이러한 소프트웨어 구성요소들은 메모리(312, 332)와는 별도의 컴퓨터에서 판독 가능한 기록매체로부터 로딩될 수 있다. 이러한 별도의 컴퓨터에서 판독 가능한 기록매체는 이러한 사용자 단말(210) 및 정보 처리 시스템(230)에 직접 연결 가능한 기록 매체를 포함할 수 있는데, 예를 들어, 플로피 드라이브, 디스크, 테이프, DVD/CD-ROM 드라이브, 메모리 카드 등의 컴퓨터에서 판독 가능한 기록매체를 포함할 수 있다. 다른 예로서, 소프트웨어 구성요소들은 컴퓨터에서 판독 가능한 기록매체가 아닌 통신 모듈(316, 336)을 통해 메모리(312, 332)에 로딩될 수도 있다. 예를 들어, 적어도 하나의 프로그램은 개발자들 또는 애플리케이션의 설치 파일을 배포하는 파일 배포 시스템이 네트워크(220)를 통해 제공하는 파일들에 의해 설치되는 컴퓨터 프로그램(예: 인공지능 기반 기계식 주차장 영상통합관제 시스템 또는 프로그램)에 기반하여 메모리(312, 332)에 로딩될 수 있다.
프로세서(314, 334)는 기본적인 산술, 로직 및 입출력 연산을 수행함으로써, 컴퓨터 프로그램의 명령을 처리하도록 구성될 수 있다. 명령은 메모리(312, 332) 또는 통신 모듈(316, 336)에 의해 프로세서(314, 334)로 제공될 수 있다. 예를 들어, 프로세서(314, 334)는 메모리(312, 332)와 같은 기록 장치에 저장된 프로그램 코드에 따라 수신되는 명령을 실행하도록 구성될 수 있다.
통신 모듈(316, 336)은 네트워크(220)를 통해 사용자 단말(210)과 정보 처리 시스템(230)이 서로 통신하기 위한 구성 또는 기능을 제공할 수 있으며, 사용자 단말(210) 및/또는 정보 처리 시스템(230)이 다른 사용자 단말 또는 다른 시스템(일례로 별도의 클라우드 시스템, 기계식 주차장 통합관제 시스템 등)과 통신하기 위한 구성 또는 기능을 제공할 수 있다. 일례로, 사용자 단말(210)의 프로세서(314)가 메모리(312) 등과 같은 기록 장치에 저장된 프로그램 코드에 따라 생성한 요청(예를 들어, 카메라에 의해 촬영된 이미지, 객체 검출 정보, 차량의 정차상태에 대한 정보, 승강기의 가동상태에 대한 정보 등을 요청 등)은 통신 모듈(316)의 제어에 따라 네트워크(220)를 통해 정보 처리 시스템(230)으로 전달될 수 있다. 역으로, 정보 처리 시스템(230)의 프로세서(334)의 제어에 따라 제공되는 제어 신호나 명령이 통신 모듈(336)과 네트워크(220)를 거쳐 사용자 단말(210)의 통신 모듈(316)을 통해 사용자 단말(210)에 수신될 수 있다.
입출력 인터페이스(318)는 입출력 장치(320)와의 인터페이스를 위한 수단일 수 있다. 일 예로서, 입력 장치는 키보드, 마이크로폰, 마우스, 이미지 센서를 포함한 카메라 등의 장치를, 그리고 출력 장치는 디스플레이, 스피커, 햅틱 피드백 디바이스(haptic feedback device) 등과 같은 장치를 포함할 수 있다. 다른 예로, 입출력 인터페이스(318)는 터치스크린 등과 같이 입력과 출력을 수행하기 위한 구성 또는 기능이 하나로 통합된 장치와의 인터페이스를 위한 수단일 수 있다. 예를 들어, 사용자 단말(210)의 프로세서(314)가 메모리(312)에 로딩된 컴퓨터 프로그램의 명령을 처리함에 있어서 정보 처리 시스템(230)이나 다른 사용자 단말(210)이 제공하는 정보 및/또는 데이터를 이용하여 구성되는 서비스 화면이나 사용자 인터페이스가 입출력 인터페이스(318)를 통해 디스플레이에 표시될 수 있다.
도 3에서는 입출력 장치(320)가 사용자 단말(210)에 포함되지 않도록 도시되어 있으나, 이에 한정되지 않으며, 사용자 단말(210)과 하나의 장치로 구성될 수 있다. 또한, 정보 처리 시스템(230)의 입출력 인터페이스(338)는 정보 처리 시스템(230)과 연결되거나 정보 처리 시스템(230)이 포함할 수 있는 입력 또는 출력을 위한 장치(미도시)와의 인터페이스를 위한 수단일 수 있다. 도 3에서는 입출력 인터페이스(318, 338)가 프로세서(314, 334)와 별도로 구성된 요소로서 도시되었으나, 이에 한정되지 않으며, 입출력 인터페이스(318, 338)가 프로세서(314, 334)에 포함되도록 구성될 수 있다.
사용자 단말(210) 및 정보 처리 시스템(230)은 도 3의 구성요소들보다 더 많은 구성요소들을 포함할 수 있다. 그러나, 대부분의 종래 기술적 구성요소들을 명확하게 도시할 필요성은 없다. 일 실시예에 따르면, 사용자 단말(210)은 상술된 입출력 장치(320) 중 적어도 일부를 포함하도록 구현될 수 있다. 또한, 사용자 단말(210)은 트랜시버(transceiver), GPS(Global Positioning system) 모듈, 카메라, 각종 센서, 데이터베이스 등과 같은 다른 구성요소들을 더 포함할 수 있다. 예를 들어, 사용자 단말(210)이 스마트폰인 경우, 일반적으로 스마트폰이 포함하고 있는 구성요소를 포함할 수 있으며, 예를 들어, 가속도 센서, 자이로 센서, 카메라 모듈, 각종 물리적인 버튼, 터치패널을 이용한 버튼, 입출력 포트, 진동을 위한 진동기 등의 다양한 구성요소들이 사용자 단말(210)에 더 포함되도록 구현될 수 있다.
일 실시예에 따르면, 사용자 단말(210)의 프로세서(314)는 인공지능 기반 기계식 주차장 영상통합관제 어플리케이션 등이 동작하도록 구성될 수 있다. 이 때, 해당 어플리케이션 및/또는 프로그램과 연관된 코드가 사용자 단말(210)의 메모리(312)에 로딩될 수 있다. 어플리케이션 및/또는 프로그램이 동작되는 동안에, 사용자 단말(210)의 프로세서(314)는 입출력 장치(320)로부터 제공된 정보 및/또는 데이터를 입출력 인터페이스(318)를 통해 수신하거나 통신 모듈(316)을 통해 정보 처리 시스템(230)으로부터 정보 및/또는 데이터를 수신할 수 있으며, 수신된 정보 및/또는 데이터를 처리하여 메모리(312)에 저장할 수 있다. 또한, 이러한 정보 및/또는 데이터는 통신 모듈(316)을 통해 정보 처리 시스템(230)에 제공할 수 있다.
인공지능 기반 기계식 주차장 영상통합관제 어플리케이션 등을 위한 프로그램이 동작되는 동안에, 프로세서(314)는 입출력 인터페이스(318)와 연결된 터치 스크린, 키보드 등의 입력 장치(320)를 통해 입력되거나 선택된 이미지 등을 수신할 수 있으며, 수신된 이미지를 메모리(312)에 저장하거나 통신 모듈(316) 및 네트워크(220)를 통해 정보 처리 시스템(230)에 제공할 수 있다. 예를 들어, 프로세서(314)는 이미지(카메라에 의해 촬영된 이미지 등)에 대한 입력을 입력 장치(320)를 통해 수신할 수 있다. 추가적으로, 프로세서(314)는 객체 존재 여부, 차량의 정차상태 및/또는 승강기의 가동상태에 대한 이미지를 나타내거나 선택하는 임의의 정보를 입력 장치(320)를 통해 수신할 수 있다.
일 실시예에 따르면, 프로세서(314)는 입력 장치(320)를 통한, 이미지에 대한 입력을 입출력 인터페이스(318)를 통해 수신할 수 있다. 다른 실시예에 따르면, 프로세서(314)는 객체 존재 여부, 차량의 정차상태 및/또는 승강기의 가동상태를 포함하는 적어도 하나의 이미지를 사용자 인터페이스를 통해 기계식 주차 시설의 제어하는 신호를 입력 장치(320) 및 입출력 인터페이스(318)를 통해 수신할 수 있다. 여기서, 프로세서(314)는 이러한 입력에 응답하여, 메모리(312)로부터 입력에 대응하는 카메라에 의해 촬영된 이미지를 통해 객체 검출 정보, 차량의 정차상태 정보 및/또는 승강기의 가동상태 정보를 수신하고, 입력 장치(320) 및 입출력 인터페이스(318)를 통해 수신된 기계식 주차 시설의 제어신호를 수신할 수 있다. 이렇게 수신된 카메라에 의해 촬영된 이미지를 통해 객체 검출 정보, 차량의 정차상태 정보 및/또는 승강기의 가동상태 정보 및 기계식 주차 시설의 제어신호를 통신 모듈(316)을 통해 정보 처리 시스템(230)에 제공할 수 있다. 이와 달리, 프로세서(314)는 카메라에 의해 촬영된 이미지를 통해 객체 검출 정보, 차량의 정차상태 정보 및/또는 승강기의 가동상태 정보 및 기계식 주차 시설의 제어신호를 통신 모듈(316)을 통해 정보 처리 시스템(230)에 제공하고, 정보 처리 시스템(230)으로부터 기계식 주차 시설의 제어신호에 대응하는 카메라에 의해 촬영된 이미지를 통해 객체 검출 정보, 차량의 정차상태 정보 및/또는 승강기의 가동상태 정보를 수신하도록 구성될 수 있다.
프로세서(314)는 사용자 단말(210)의 디스플레이 출력 가능 장치(예: 터치 스크린, 디스플레이 등), 음성 출력 가능 장치(예: 스피커) 등의 출력 장치를 통해 처리된 정보 및/또는 데이터를 출력하도록 구성될 수 있다. 예를 들면, 프로세서(314)는 입력 장치(320), 메모리(312) 또는 정보 처리 시스템(230) 중 적어도 하나로부터 수신된 카메라에 의해 촬영된 이미지를 나타내거나, 카메라에 의해 촬영된 이미지 통해 객체 검출 정보, 차량의 정차상태 정보 및/또는 승강기의 가동상태 정보를 사용자 단말(210)의 화면을 통해 출력할 수 있다.
정보 처리 시스템(230)의 프로세서(334)는 사용자 단말(210)을 포함한 복수의 사용자 단말 및/또는 복수의 외부 시스템으로부터 수신된 정보 및/또는 데이터를 관리, 처리 및/또는 저장하도록 구성될 수 있다. 프로세서(334)에 의해 처리된 정보 및/또는 데이터는 통신 모듈(336)을 통해 사용자 단말(210)에 제공할 수 있다. 일 실시예에서, 프로세서(334)는 사용자 단말(210), 메모리(332) 및/또는 외부 저장 장치로부터 사용자 설정 조건을 나타내거나 선택하는 정보, 및/또는 적어도 하나의 이미지를 수신하고, 메모리(332) 및/또는 외부 저장 장치에 포함된 객체 검출 정보, 차량의 정차상태 정보 및/또는 승강기의 가동상태 정보를 획득하거나 결정할 수 있다.
도 4는 본 개시의 일 실시예에 따른 정보 처리 시스템의 프로세서(334) 및 메모리(332)의 내부 구성을 나타내는 블록도이다. 프로세서(334)는 이미지 수집부(410), 이미지 학습부(420) 및 객체 인식부(430)를 포함하고, 메모리(332)는 이미지 관리부(440) 및 객체 데이터 관리부(450)를 포함할 수 있다. 이러한 프로세서(334) 및 메모리(332)에서 동작되는 모듈의 각각은 서로 통신하도록 구성될 수 있다. 도 4에서 프로세서(334) 및 메모리(332)의 내부 구성을 기능별로 구분하여 설명하지만, 이는 반드시 물리적으로 구분되는 것을 의미하지 않는다. 또한, 도 4에서 도시한 프로세서(334) 및 메모리(332)의 내부 구성은 예시일 뿐이며, 필수 구성만을 도시한 것은 아니다. 따라서, 일부 실시예에서 프로세서(334) 및 메모리(332)는 도시한 내부 구성 외 다른 구성을 추가로 포함하거나, 도시한 구성 내부 중 일부 구성이 생략되는 등 다르게 구현될 수 있다.
일 실시예로, 이미지 수집부(410)는 카메라에 의해 촬영된 수집 이미지(442) 또는 외부 학습 이미지(444)를 메모리(332)로 전송하도록 구성될 수 있다. 여기서, 수집 이미지(442)는 제1 내지 제3 카메라 중 적어도 하나에 의해 촬영된 이미지일 수 있으며, 외부 학습 이미지(444)는 객체 인식에 필요한 학습 이미지일 수 있다. 이미지 수집부(410)를 통해 수집된 수집 이미지(442) 및 외부 학습 이미지(444)는 이미지 관리부(440)로 저장될 수 있다. 이미지 학습부(420)는 학습 데이터를 입력하여 인공신경망 모델을 획득할 수 있다. 이미지 학습부(420)는 이미지 관리부(440)에 저장된 수집 이미지(442) 및 외부 학습 이미지(444)를 기반으로 객체를 검출할 수 있도록 인공신경망을 학습하도록 구성될 수 있다. 이미지 학습부(420)는, 인공신경망 모델에서, 수집 이미지 및/또는 외부 학습 이미지를 기초로 객체 데이터를 이동체 및 정지체 분류에 대한 기준이 학습되도록 구성될 수 있다. 이미지 학습부(420)는 수집 이미지를 기초로 복수의 외부 학습 이미지를 입력받아 이동체 및 정지체 등과 같은 객체를 추론되도록 인공신경망 정보 추출 모델을 학습시킬 수 있다. 인공신경망에 의해 학습된 객체 데이터(460)는 객체 데이터 관리부(450)에 저장될 수 있다. 여기서, 객체 데이터(460)는 사람, 동물 등과 같은 이동체 데이터(462)와 라바콘(Rubber cone), 캐리어, 유모차 등과 같은 정지체 데이터(464)로 분류되어 저장될 수 있다. 객체 데이터 관리부(450)에 저장된 객체 데이터(460)를 기초로, 객체 인식부(430)는 카메라에 의해 촬영된 이미지 상에서 주차장 실내에 객체의 존재 여부를 판단하도록 구성될 수 있다.
이미지 학습부(420) 또는 객체 인식부(430) 중 적어도 하나는, 적어도 하나의 하드웨어 칩 형태로 제작되어 전자 장치에 탑재될 수 있다. 예를 들어, 이미지 학습부(420) 또는 객체 인식부(430) 중 적어도 하나는 인공 지능(AI; artificial intelligence)을 위한 전용 하드웨어 칩 형태로 제작될 수도 있고, 또는 기존의 범용 프로세서(예: CPU 또는 application processor) 또는 그래픽 전용 프로세서(예: GPU)의 일부로 제작되어 이미 설명한 각종 전자 장치에 탑재될 수도 있다.
또한, 이미지 학습부(420) 및 객체 인식부(430)는 별개의 전자 장치들에 각각 탑재될 수도 있다. 예를 들어, 이미지 학습부(420) 및 객체 인식부(430) 중 하나는 전자 장치에 포함되고 나머지 하나는 서버에 포함될 수 있다. 또한, 이미지 학습부(420) 및 객체 인식부(430)는 유선 또는 무선으로 통하여, 이미지 학습부(420)가 구축한 모델 정보를 객체 인식부(430)로 제공할 수도 있고, 객체 인식부(430)로 입력된 데이터가 추가 학습 데이터로써 이미지 학습부(420)로 제공될 수도 있다. 일 실시예로, 카메라에 포함된 프로세서(미도시)의 내부구성에 객체 인식부(430)가 포함될 수 있다. 또한, 카메라에 포함된 메모리(미도시)의 내부 구성에 객체 데이터 관리부(450)가 포함될 수 있다. 예를 들어, 정보 처리 시스템(미도시)의 프로세서(334)에 구성된 이미지 수집부(410)를 통해 수집 이미지(442) 및 외부 학습 이미지(444)를 이미지 관리부(440)로 전송하고, 이미지 학습부(420)를 통해 학습된 객체 데이터(460)는 카메라의 메모리에 포함된 객체 데이터 관리부(450)로 전송될 수 있다. 카메라의 프로세서에 포함된 객체 인식부는 수신된 객체 데이터(460)를 기초로, 카메라에 의해 촬영된 이미지 상에서 주차장 실내에 객체의 존재 여부를 판단하도록 구성될 수 있다.
한편, 이미지 학습부(420) 또는 객체 인식부(430) 중 적어도 하나는 소프트웨어 모듈로 구현될 수 있다. 이미지 학습부(420) 또는 객체 인식부(430) 중 적어도 하나가 소프트웨어 모듈(또는, 인스트럭션(instruction)을 포함하는 프로그램 모듈)로 구현되는 경우, 소프트웨어 모듈은 메모리 또는 컴퓨터로 읽을 수 있는 판독 가능한 비일시적 판독 가능 기록매체(non-transitory computer readable media)에 저장될 수 있다. 또한, 이 경우, 적어도 하나의 소프트웨어 모듈은 OS(Operating System)에 의해 제공되거나, 소정의 애플리케이션에 의해 제공될 수 있다. 이와 달리, 적어도 하나의 소프트웨어 모듈 중 일부는 OS(Operating System)에 의해 제공되고, 나머지 일부는 소정의 애플리케이션에 의해 제공될 수 있다.
본 개시에서 인공신경망 모델 또는 데이터 학습모델은, 인공신경망 객체 검출 모델 및/또는 인공신경망 객체 분류 모델을 지칭할 수 있으며, 학습모델의 적용 분야, 학습의 목적 또는 장치의 컴퓨터 성능 등을 고려하여 구축될 수 있다. 데이터 학습모델은, 예를 들어, 신경망(Neural Network)을 기반으로 하는 모델을 포함할 수 있다. 예컨대, Deep Neural Network (DNN), Recurrent Neural Network (RNN), Long Short-Term Memory models (LSTM), BRDNN (Bidirectional Recurrent Deep Neural Network), Convolutional Neural Networks (CNN) 등과 같은 모델이 데이터 학습모델로써 사용될 수 있으나, 이에 한정되지 않는다.
또한, 이미지 학습부(420)는, 예를 들어, 오류 역전파법(error back-propagation) 또는 경사 하강법(gradient descent)을 포함하는 학습 알고리즘 등을 이용하여 데이터 학습모델을 학습시킬 수 있다. 또한, 모델 학습부는, 예를 들어, 별다른 지도없이 상황 판단을 위해 필요한 데이터의 종류를 스스로 학습함으로써, 상황 판단을 위한 기준을 발견하는 비지도 학습(unsupervised learning)을 통하여, 데이터 학습모델을 학습할 수 있다. 또한, 이미지 학습부(420)는, 예를 들어, 학습에 따른 상황 판단의 결과가 올바른 지에 대한 피드백을 이용하는 강화 학습(reinforcement learning)을 통하여, 데이터 학습모델을 학습할 수 있다.
또한, 데이터 학습모델이 학습되면, 이미지 학습부(420)는 학습된 데이터 학습모델을 저장할 수 있다. 이 경우, 모델 학습부는 학습된 데이터 학습모델을 객체 인식부(430)를 포함하는 전자 장치의 메모리에 저장할 수 있다. 또는, 이미지 학습부(420)는 학습된 데이터 학습모델을 전자 장치와 유선 또는 무선 네트워크로 연결되는 서버의 메모리에 저장할 수도 있다.
이 경우, 학습된 데이터 학습모델이 저장되는 메모리는, 예를 들면, 전자 장치의 적어도 하나의 다른 구성요소에 관계된 명령 또는 데이터를 함께 저장할 수도 있다. 또한, 메모리는 소프트웨어 및/또는 프로그램을 저장할 수도 있다. 프로그램은, 예를 들면, 커널, 미들웨어, 어플리케이션 프로그래밍 인터페이스(API) 및/또는 어플리케이션 프로그램(또는 "어플리케이션") 등을 포함할 수 있다.
도 5는 본 개시의 일 실시예에 따라 인공지능 기반 기계식 주차장 영상통합관제 시스템을 통한 객체 인식에 대한 예시를 나타내는 도면이다. 일 실시예로, 주차 디스플레이(130)에는 제1 카메라를 통해 촬영되는 적어도 하나의 이미지 중 주차장 실내를 촬영한 주차장 실내 평면도(510)로 디스플레이 될 수 있다. 제1 카메라는 어안 카메라, 360도 카메라 등 광각의 화각을 갖는 카메라를 통해 촬영될 수 있다. 예를 들어, 제1 카메라를 통해 촬영되는 적어도 하나의 이미지는 어라운드 뷰(Around View) 형태로 디스플레이 될 수 있다. 이에 따라, 운전자는 주차 디스플레이(130)를 통해 기 설정된 리프트(120)의 범위에 맞게 주차를 할 수 있다. 주차장 실내 평면도(510)는 출입문(140)을 통해 출입한 차량(C)이 리프트(120)에 주차되고, 객체(P; 또는 탑승자)가 주차장 실내에 위치하는 이미지일 수 있다. 이 때, 영상통합관제 시스템은 객체(P) 존재 여부를 판단하여, 객체(P)를 인식하고 해당 객체(P)를 관심영역(512)으로 표시할 수 있다.
일 실시예로, 주차 디스플레이(130)에는 제2 카메라를 통해 촬영되는 적어도 하나의 이미지 중 주차된 차량(C)의 내부를 촬영하는 차량 내부 전면도(520)를 디스플레이 할 수 있다. 영상통합관제 시스템은, 차량 내부 전면도(520)에 기초하여 차량 내부에 객체(P; 또는 탑승자)가 존재 여부를 확인하고, 도시된 바와 같이 객체(P)가 검출되는 경우, 디스플레이(130) 상에 객체(P)를 관심영역(512)으로 표시하고, 기계식 주차 시설의 동작을 제어하도록 구성될 수 있다.
일 실시예로, 주차장 실내 평면도(510) 및 차량 내부 전면도(520)를 기초하여, 주차장 실내에 존재하는 객체(P)의 수를 파악하고, 출입문(140)을 통해 들어오거나 나가는 객체(P)의 수를 산출할 수 있다. 예를 들어, 프로세서는 카메라 중 적어도 하나의 이미지에 의해 주차장 실내에서 검출된 객체(P)의 수를 산출하고, 객체(P)가 주차장의 출입문으로 나가는 객체(P)의 수를 산출하도록 구성될 수 있다. 주차장의 출입문으로 나가는 산출된 객체(P)의 수가 주차장 실내에서 검출된 객체(P)의 수보다 적을 경우, 프로세서는 기계식 주차 시설의 동작을 제어하도록 구성될 수 있다. 반대로, 주차장의 출입문으로 나가는 산출된 객체(P)의 수가 주차장 실내에서 검출된 객체(P)의 수 이상일 경우, 프로세서는 기계식 주차 시설이 주차 동작을 수행하도록 제어할 수 있다.
한편, 도 5에서 주차장 실내 평면도(510) 및 차량(C) 내부 전면도(520)는 주차 디스플레이(130)에 출력되는 것으로 도시 및 설명하였지만, 이에 한정하지 않는다. 예를 들어, 사용자는 사용자 단말을 통해 주차장 실내 평면도(510) 및 전면도(520)를 선택하여 출력 및 원격제어를 수행할 수 있다.
도 6a 및 도 6b는 본 개시의 일 실시예에 따른 인공지능 기반 기계식 주차장 영상통합관제 시스템을 통한 객체 인식에 대한 제1 카메라의 다른 예시를 나타내는 도면이다. 제1 카메라는 주차장 실내에서 차량(C)을 다방면으로 촬영하도록 복수 개의 카메라를 포함할 수 있다. 도 6a에 도시된, 제1 화면(610)은 차량(C)의 전면 우측 방향에 설치된 카메라에 의해 주차장 실내를 촬영한 이미지이고, 제2 화면(620)은 차량(C)의 전면 좌측 방향에 설치된 카메라에 의해 주차장 실내를 촬영한 이미지일 수 있다. 도 6b에 도시된, 제3 화면(630)은 차량(C)의 후면 우측 방향에 설치된 카메라에 의해 주차장 실내를 촬영한 이미지이고, 제4 화면(640)은 차량(C)의 후면 좌측 방향에 설치된 카메라에 의해 주차장 실내를 촬영한 이미지일 수 있다.
일 실시예로, 주차 디스플레이(130)는 복수 개의 제1 카메라에 의해 촬영된 이미지를 표시할 수 있다. 예를 들어, 영상통합관제 시스템은 해당 이미지에 기초하여 차량(C)이 기 설정된 리프트의 범위를 벗어난 것으로 판단한 경우, 기계식 주차 시설의 동작을 제어하도록 구성될 수 있다. 추가적으로, 주차 디스플레이(130)는 차량(C)이 기 설정된 리프트의 범위를 벗어난 방향을 표시할 수 있다. 예를 들어, 영상통합관제 시스템은 해당 이미지에 기초하여 차량(C)의 우측이 기 설정된 리프트의 범위를 벗어난 것으로 판단한 경우, 제1 화면(610) 및/또는 제3 화면(630)을 주차 디스플레이(130)에 표시할 수 있다.
일 실시예로, 프로세서는, 복수 개의 제1 카메라를 통해 촬영된 이미지를 기초로, 주차장 및 차량(C)의 실내 중 적어도 하나에 객체(P) 존재 여부를 판단할 수 있다. 복수 개의 제1 카메라에 의해 촬영된 이미지 상에 객체(P)가 검출될 경우, 검출된 객체(P)를 기 설정된 형태에 따라 관심영역(512)으로 표시하도록 구성될 수 있다.
추가적으로 또는 대안적으로, 주차장 실내의 벽면 각각에 차량(C)이 주차되는 기 설정된 리프트(120) 범위를 제외한 영역에서 객체(P) 검출을 위한 센서(미도시; 예를 들어, 적외선 센서)가 설치될 수 있다. 센서는 각각 2개가 대향되는 위치에 설치되어 객체(P)를 검출하도록 구성될 수 있다. 기 설정된 리프트(120)를 제외한 영역(안전 영역)에 객체(P)가 존재할 경우, 센서 및 카메라를 통해 검출하도록 구성될 수 있다.
도 7은 본 개시의 일 실시예에 따른 수집 이미지 또는 외부 학습 이미지를 기반하여 객체 데이터를 생성하도록 학습된 이미지 학습부의 구성을 나타내는 도면이다. 도 7에 도시된 이미지(710)는, 수집된 이미지 및/또는 외부 학습 이미지 등일 수 있다. 이미지 학습부(420)는 예를 들어, 서버의 저장된 이미지(710; 예를 들어, 수집 이미지 또는 외부 학습 이미지 등)를 기반하여 객체 데이터를 추출하도록 학습된 인공신경망 모델(1000)을 포함할 수 있다. 이미지 학습부(420) 또는 이미지 학습부가 이용하는 인공신경망 모델(1000)은, 외부 컴퓨팅 장치에 의해 생성, 저장 또는 업데이터 되어 도 3에 도시된 프로세서(334)에 의해 실행될 수 있다. 도시된 바와 같이, 이미지 학습부(420)는, 서버(예를 들어, 정보처리 시스템)의 메모리에 기 저장된 정보(예를 들어, 수집 이미지 또는 외부 학습 이미지 등)를 기반하여 객체 데이터(720, 722)를 추출할 수 있다.
일 실시예에 따르면, 상술된 인공신경망 객체 검출 모델 및/또는 인공신경망 객체 분류 모델은 인공신경망 모델(1000)로 구현될 수 있다. 인공신경망 모델(1000)은 기계학습(Machine Learning) 기술과 인지과학에서, 생물학적 신경망의 구조에 기초하여 구현된 통계학적 학습 알고리즘 또는 그 알고리즘을 실행하는 구조이다.
일 실시예에 따르면, 인공신경망 모델(1000)은, 생물학적 신경망에서와 같이 시냅스의 결합으로 네트워크를 형성한 인공 뉴런인 노드(Node)들이 시냅스의 가중치를 반복적으로 조정하여, 특정 입력에 대응한 올바른 출력과 추론된 출력 사이의 오차가 감소되도록 학습함으로써, 문제 해결 능력을 가지는 인공신경망 모델을 나타낼 수 있다. 예를 들어, 인공신경망 모델(1000)은 기계학습, 딥러닝 등의 인공지능 학습법에 사용되는 임의의 확률 모델, 뉴럴 네트워크 모델 등을 포함할 수 있다.
인공신경망 모델(1000)은 다층의 노드들과 이들 상이의 연결로 구성된 다층 퍼셉트론(MLP: multilayer perceptron)으로 구현될 수 있다. 본 실시예에 따른 인공신경망 모델(1000)은 MLP를 포함하는 다양한 인공신경망 구조들 중의 하나를 이용하여 구현될 수 있다. 도 10에서 도시된 바와 같이, 인공신경망 모델(1000)은 외부로부터 입력 신호 또는 데이터(1010)를 수신하는 입력층(1020), 입력 데이터에 대응한 출력 신호 또는 데이터(1050)를 출력하는 출력층(1040), 입력층(1020)과 출력층(1040) 사이에 위치하며 입력층(1020)으로부터 신호를 받아 특성을 추출하여 출력층(1040)으로 전달하는 n개의 은닉층(1030_1 내지 1030_n)으로 구성될 수 있다. 여기서, 출력층(1040)은, 은닉층(1030_1 내지 1030_n)으로부터 신호를 받아 외부로 출력할 수 있다.
인공신경망 모델(1000)의 학습 방법에는, 교사 신호(정답)의 입력에 의해서 문제의 해결에 최적화되도록 학습하는 지도 학습(Supervised Learning) 방법과, 교사 신호를 필요로 하지 않는 비지도 학습(Unsupervised Learning) 방법이 있다. 일 실시예에 따르면, 인공지능 기반 기계식 주차장 영상통합관제 시스템을 통해 수집 이미지 및/또는 외부 학습 이미지를 기초로 객체 데이터로 출력하는 방법은, 지도 학습(Supervised Learning), 비지도 학습(Unsupervised Learning) 및/또는 준 지도 학습(Semi-supervised Learning)을 이용하여, 수집된 이미지 정보 및/또는 외부 학습 이미지 정보로부터 분석 결과를 출력하도록 구성된 인공신경망 모델(1000)을 학습시킬 수 있다. 다른 실시예에서, 복수의 학습 이미지를 입력받아 객체 정보를 추론되도록 인공신경망 모델(1000)을 학습시킬 수 있다. 이렇게 학습된 인공신경망 모델(1000)은 카메라로부터 수신된 적어도 하나의 이미지에 객체 정보를 표시하도록 출력할 수 있다.
일 실시예에 따르면, 인공지능 기반 기계식 주차장 영상통합관제 시스템을 통해 실행되는 주차장 영상통합 관제 방법은, 지도 학습(Supervised Learning), 비지도 학습(Unsupervised Learning) 및/또는 준 지도 학습(Semi-supervised Learning)을 이용하여, 카메라에 의해 입력된 수집 이미지(예를 들어, 기계식 주차 시설의 실내 이미지, 열화상 이미지 등) 및 외부 학습 이미지(예를 들어, 자동차, 사람, 동물 등이 포함된 이미지 등)의 하나 이상의 배치로부터 분석 결과를 출력하도록 구성된 인공신경망 모델(1000)을 학습시킬 수 있다. 다른 실시예에서, 수집 이미지, 외부 학습 이미지 및 센서 데이터(예를 들어, 적외선 센서가 감지한 객체에 대한 데이터 등)를 기초로 객체 여부 등에 관한 정보를 출력하는 인공신경망 모델(1000)을 학습시킬 수 있다. 이렇게 학습된 인공신경망 모델(1000)은 객체 데이터를 출력할 수 있다.
일 실시예에 따르면, 도 10에 도시된 바와 같이, 분석 결과를 출력할 수 있는 인공신경망 모델(1000)의 입력 변수는, 수집 이미지, 외부 학습 이미지 및 센서 데이터 중 하나의 벡터 데이터 요소로 구성한, 수집 이미지, 외부 학습 이미지 및 센서 데이터로부터 추출된 한 세트의 패치를 포함하는 배치를 나타내는 벡터(1010)가 될 수 있다. 이러한 구성 하에서, 출력변수는 입력 배치에 대한 분석 결과를 나타내는 결과 벡터(1050)로 구성될 수 있다.
다른 실시예에 따르면, 입력 변수에 따라 객체 데이터 또는 인식된 객체에 대한 출입 정보를 생성하도록 인공신경망 모델(1000)이 학습될 수 있다. 예를 들어, 이러한 입력 변수는, 수집 이미지, 외부 학습 이미지 및 센서 데이터 내에 포함된 복수의 배치에 대한 복수의 분석 결과를 나타내는 벡터 데이터 요소로 구성된 벡터(1010)가 될 수 있다. 이러한 구성 하에서, 출력 변수는 수집 이미지, 외부 학습 이미지 및 센서 데이터와 연관된 객체 데이터 또는 인식된 객체에 대한 출입 정보를 나타내는 결과 벡터(1050)로 구성될 수 있다.
이와 같이, 인공신경망 모델(1000)의 입력층(1020)과 출력층(1040)에 복수의 입력변수와 대응되는 복수의 출력변수를 각각 매칭시키고, 입력층(1020), 은닉층(1030_1 ... 1030_n, 여기서, n은 2 이상의 자연수임) 및 출력층(1040)에 포함된 노드들 사이의 시냅스 값을 조정함으로써, 인공신경망 모델(1000)이 특정 입력에 대응한 올바른 출력을 추론할 수 있도록 학습될 수 있다. 올바른 출력을 추론하는데 있어, 분석 결과의 정답 데이터가 사용될 수 있으며, 이러한 정답 데이터는 어노테이터의 어노테이션 작업의 결과로 획득될 수 있다. 이러한 학습과정을 통해, 인공신경망 모델(1000)의 입력변수에 숨겨져 있는 특성이 파악될 수 있고, 입력변수에 기초하여 계산된 출력변수와 목표 출력 간의 오차가 줄어들도록 인공신경망 모델(1000)의 노드들 사이의 시냅스 값(또는 가중치)가 조정될 수 있다.
이렇게 학습된 인공신경망 모델(1000)을 이용하여, 수집 이미지, 외부 학습 이미지 및 센서 데이터에서 객체 정보 및/또는 인식된 객체의 출입 정보가 추출될 수 있다. 예를 들어, 인공신경망 모델(1000)을 이용하여, 수집 이미지, 외부 학습 이미지 또는 센서 데이터 중 적어도 하나에 따른 객체 데이터 및/또는 인식된 객체의 출입 정보를 추출할 수 있다. 또는, 인공신경망 모델(1000)을 이용하여, 수집 이미지, 외부 학습 이미지 또는 센서 데이터 중 적어도 하나에 따른 객체 데이터 및/또는 인식된 객체의 출입 정보를 추출할 수 있다. 또한, 인공신경망 모델(1000)을 이용하여, 카메라로부터 수신된 적어도 하나의 이미지에서 객체 데이터 정보를 추출할 수 있다.
일 실시예로, 인공신경망 모델(1000)은, 수집 이미지가 입력될 경우, 수집 이미지에 포함된 객체 중 이동체와 정지체를 구분하여 객체 데이터(720, 722)로 추출할 수 있다. 예를 들어, 인공신경망 모델(1000)은, 수집된 이미지 및 외부 학습 이미지를 기반으로 차량에 대한 객체 데이터(720, 722)를 추출하고, 입고한 차량이 기 설정된 리프트 범위 내에 정차한 후 이동하는 이동체를 추출하여 객체 데이터(720, 722)로 생성할 수 있다.
일 실시예로, 인공신경망 모델(1000)은, 수집 이미지 및 센서 데이터가 입력될 경우, 이미지 상의 객체 데이터와 센서 데이터(예를 들어, 그래프 또는 수광여부 등)를 학습하여, 객체 데이터를 추출할 수 있다. 예를 들어, 카메라에 의해 촬영되는 이미지 상에 객체 여부를 판단하고, 안전 범위(예를 들어, 기 설정된 리프트 범위를 제외한 범위 등)에 조사되도록 구성된 센서로부터 수집된 센서 데이터를 통해 객체 존재 여부를 판단할 수 있다.
도 8은 본 개시의 일 실시예에 따른 인공지능 기반 기계식 주차장 영상통합관제 방법(800)을 나타내는 흐름도이다. 인공지능 기반 기계식 주차장 영상통합관제 방법(800)은, 복수의 카메라에 의해, 기계식 주차시설의 주차장 실내에 설치된 적어도 하나의 주차장 실내 이미지를 촬영하는 단계(S810)로 개시될 수 있다. 다음으로, 프로세서에 의해, 카메라에 의해 촬영된 주차장 실내 이미지 상에 표시되는 객체의 존재 여부를 결정하는 단계(S820)를 수행할 수 있다. 일 실시예로, 카메라는 제1 카메라 및 제2 카메라로 구성될 수 있다. 제1 카메라는, 주차장 실내의 일측면에 설치되어 차량 또는 차량을 포함하는 주차장 내부를 광각의 화각으로 촬영되도록 구성될 수 있다. 예를 들어, 제1 카메라는, 주차장 실내의 전체 이미지를 촬영하는 어안 카메라, 광각 카메라 또는 복수의 광각 카메라로 구성된 360도 카메라 등이 포함될 수 있다. 제2 카메라는, 주차장 실내의 벽면 일부에 설치되어 차량의 내부를 촬영하여 객체 또는 탑승자의 존재 여부를 확인할 수 있도록 구성될 수 있다. 예를 들어, 제2 카메라는 차량의 주차 시 차량의 전면에 위치한 벽면에 설치될 수 있으며, 기계 작동 시에도 차량 내부에 객체 또는 탑승자가 존재하는지 여부를 확인할 수 있다. 제2 카메라는 차량의 내부가 촬영될 수 있도록 복수 개가 설치될 수 있다. 예를 들어, 차량의 전면, 측면, 후면 및/또는 대각선 방향으로 설치되어 차량 내부에 객체 또는 탑승자가 존재하는지 여부를 확인할 수 있다. 추가적으로 또는 대안적으로, 카메라는 주차장 실내의 일면에 설치되어 주차장 실내의 온도 이미지를 촬영하도록 구성된 제3 카메라를 포함할 수 있다. 제3 카메라에 의해 촬영된 주차장 실내의 온도 이미지를 기초로, 제어부는 기 설정된 온도 이미지의 색상 범위에 따라 주차장 실내에 객체의 존재 여부를 판단하도록 구성될 수 있다. 또한, 주차 디스플레이가 주차장 실내의 일측면에 구성됨으로써, 제1 카메라 및/또는 제2 카메라에 의해 촬영된 적어도 하나의 이미지를 통해 차량의 주차 상태를 표시할 수 있으며, 스피커부를 통해 차량의 주차 상태에 따라 안내음을 송출하도록 구성될 수 있다.
다음으로, 프로세서에 의해, 적어도 하나의 이미지를 저장하는 단계(S830)를 수행할 수 있다. 프로세서는, 이미지 수집부에 의해 카메라에 의해 촬영된 수집 이미지 또는 외부 학습 이미지를 저장부(또는 메모리)로 전송할 수 있다. 수집 이미지는, 제1 내지 제3 카메라 중 적어도 하나에 의해 촬영된 이미지일 수 있다.
다음으로, 프로세서에 의해, 주차장의 출입문이 위치한 일부에 설치된 객체 감지 센서에 의해 감지된 객체의 거리, 속도 또는 방향 중 적어도 하나를 기초하여 객체의 출입 여부를 결정하는 단계(S840)을 수행할 수 있다. 일 실시예로, 프로세서는, 카메라 중 적어도 하나에 의해 주차장 실내에서 검출된 객체의 수를 산출하고, 객체가 주차장의 출입문으로 나가는 객체의 수를 산출하도록 구성될 수 있다. 산출된 주차장의 출입문으로 나가는 객체의 수가 주차장 실내에서 검출된 객체의 수보다 적을 경우, 프로세서는 기계식 주차 시설의 동작을 제어하도록 구성될 수 있다.
마지막으로, 프로세서에 의해 주차장 실내 이미지 상에 객체가 검출될 경우, 기계식 주차 시설의 동작을 제어하는 단계(S850)를 수행할 수 있다. 이미지 학습부에 의해 수집 이미지 또는 외부 학습 이미지를 기초로 인공신경망에 의해 객체를 검출하도록 학습할 수 있다. 객체 인식부는, 학습된 객체 데이터를 통해 카메라에 의해 촬영된 주차장 실내에 객체의 존재 여부를 판단하도록 구성될 수 있다. 또한, 주차장 실내에 객체가 검출될 경우, 프로세서에 의해, 검출된 객체를 기 설정된 형태에 따라 관심영역으로 표시하도록 구성될 수 있다.
본 명세서에 기술된 인공지능 기반 기계식 주차장 영상통합관제 시스템 및 방법 또는 기법들은 다양한 수단에 의해 구현될 수도 있다. 예를 들어, 이러한 기법들은 하드웨어, 펌웨어, 소프트웨어, 또는 이들의 조합으로 구현될 수도 있다. 본 명세서의 개시와 연계하여 설명된 다양한 예시 적인 논리적 블록들, 모듈들, 회로들, 및 알고리즘 단계들은 전자 하드웨어, 컴퓨터 소프트웨어, 또는 양자의 조합들로 구현될 수도 있음을 당업자들은 더 이해할 것이다. 하드웨어 및 소프트웨어의 이러한 상호교환성을 명확하게 설명하기 위해, 다양한 예시 적인 컴포넌트들, 블록들, 모듈들, 회로들, 및 단계들이 그들의 기능성의 관점에서 일반적으로 위에서 설명되었다. 그러한 기능이 하드웨어로서 구현되는 지 또는 소프트웨어로서 구현되는 지의 여부는, 특정 애플리케이션 및 전체 시스템에 부과되는 설계 제약들에 따라 달라진다. 당업자들은 각각의 특정 애플리케이션을 위해 다양한 방식들로 설명된 기능을 구현할 수도 있으나, 그러한 구현 결정들은 본 개시의 범위로부터 벗어나게 하는 것으로 해석되어서는 안된다.
하드웨어 구현에서, 기법들을 수행하는 데 이용되는 프로세싱 유닛들은, 하나 이상의 ASIC들, DSP들, 디지털 신호 프로세싱 디바이스들 (digital signal processing devices; DSPD들), 프로그램가능 논리 디바이스들(programmable logic devices; PLD들), 필드 프로그램가능 게이트 어레이들 (field programmable gate arrays; FPGA들), 프로세서들, 제어기들, 마이크로제어기들, 마이크로프로세서들, 전자 디바이스들, 본 명세서에 설명된 기능들을 수행하도록 설계된 다른 전자 유닛들, 컴퓨터, 또는 이들의 조합 내에서 구현될 수도 있다.
따라서, 본 명세서의 개시와 연계하여 설명된 다양한 예시 적인 논리 블록들, 모듈들, 및 회로들은 범용 프로세서, DSP, ASIC, FPGA나 다른 프로그램 가능 논리 디바이스, 이산 게이트나 트랜지스터 로직, 이산 하드웨어 컴포넌트들, 또는 본 명세서에 설명된 기능들을 수행하도록 설계된 것들의 임의의 조합으로 구현되거나 수행될 수도 있다. 범용 프로세서는 마이크로프로세서일 수도 있지만, 대안에서, 프로세서는 임의의 종래의 프로세서, 제어기, 마이크로제어기, 또는 상태 머신일 수도 있다. 프로세서는 또한 컴퓨팅 디바이스들의 조합, 예를 들면, DSP와 마이크로프로세서, 복수의 마이크로프로세서들, DSP 코어와 연계한 하나 이상의 마이크로프로세서들, 또는 임의의 다른 그러한 구성의 조합으로써 구현될 수도 있다.
펌웨어 및/또는 소프트웨어 구현에 있어서, 기법들은 랜덤 액세스 메모리 (random access memory; RAM), 판독 전용 메모리 (read-only memory; ROM), 불휘발성 RAM (non-volatile random access memory; NVRAM), PROM(programmable read-only memory), EPROM (erasable programmable read-only memory), EEPROM(electrically erasable PROM), 플래시 메모리, 컴팩트 디스크 (compact disc; CD), 자기 또는 광학 데이터 스토리지 디바이스 등과 같은 컴퓨터 판독가능 매체 상에 저장된 명령들로써 구현될 수도 있다. 명령들은 하나 이상의 프로세서들에 의해 실행 가능할 수도 있고, 프로세서(들)로 하여금 본 명세서에 설명된 기능의 특정 양태들을 수행하게 할 수도 있다.
소프트웨어로 구현되면, 상기 기능들은 하나 이상의 명령들 또는 코드로서 컴퓨터 판독 가능한 매체 상에 저장되거나 또는 컴퓨터 판독 가능한 매체를 통해 전송될 수도 있다. 컴퓨터 판독가능 매체들은 한 장소에서 다른 장소로 컴퓨터 프로그램의 전송을 용이하게 하는 임의의 매체를 포함하여 컴퓨터 저장 매체들 및 통신 매체들 양자를 포함한다. 저장 매체들은 컴퓨터에 의해 액세스될 수 있는 임의의 이용 가능한 매체들일 수도 있다. 비제한적인 예로서, 이러한 컴퓨터 판독 가능 매체는 RAM, ROM, EEPROM, CD-ROM 또는 다른 광학 디스크 스토리지, 자기 디스크 스토리지 또는 다른 자기 스토리지 디바이스들, 또는 소망의 프로그램 코드를 명령들 또는 데이터 구조들의 형태로 이송 또는 저장하기 위해 사용될 수 있으며 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체를 포함할 수 있다. 또한, 임의의 접속이 컴퓨터 판독가능 매체로 적절히 칭해진다.
예를 들어, 소프트웨어가 동축 케이블, 광섬유 케이블, 연선, 디지털 가입자 회선 (DSL), 또는 적외선, 무선, 및 마이크로파와 같은 무선 기술들을 사용하여 웹사이트, 서버, 또는 다른 원격 소스로부터 전송되면, 동축 케이블, 광섬유 케이블, 연선, 디지털 가입자 회선, 또는 적외선, 무선, 및 마이크로파와 같은 무선 기술들은 매체의 정의 내에 포함된다. 본 명세서에서 사용된 디스크(disk) 와 디스크 (disc)는, CD, 레이저 디스크, 광 디스크, DVD (digital versatile disc), 플로피디스크, 및 블루레이 디스크를 포함하며, 여기서 디스크들(disks) 은 보통 자기적으로 데이터를 재생하고, 반면 디스크들 (discs) 은 레이저를 이용하여 광학적으로 데이터를 재생한다. 위의 조합들도 컴퓨터 판독가능 매체들의 범위 내에 포함되어야 한다.
소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터들, 하드 디스크, 이동식 디스크, CD-ROM, 또는 공지된 임의의 다른 형태의 저장 매체 내에 상주할 수도 있다. 예시 적인 저장 매체는, 프로세스가 저장 매체로부터 정보를 판독하거나 저장 매체에 정보를 기록할 수 있도록, 프로세서에 커플링 될 수 있다. 대안으로, 저장 매체는 프로세서에 통합될 수도 있다. 프로세서와 저장 매체는 ASIC 내에 존재할 수도 있다. ASIC은 유저 단말 내에 존재할 수도 있다. 대안으로, 프로세서와 저장 매체는 유저 단말에서 개별 컴포넌트들로써 존재할 수도 있다.
본 개시의 앞선 설명은 당업자들이 본 개시를 행하거나 이용하는 것을 가능하게 하기 위해 제공된다. 본 개시의 다양한 수정예들이 당업자들에게 쉽게 자명할 것이고, 본 명세서에 정의된 일반적인 원리들은 본 개시의 취지 또는 범위를 벗어나지 않으면서 다양한 변형예들에 적용될 수도 있다. 따라서, 본 개시는 본 명세서에 설명된 예들에 제한되도록 의도된 것이 아니고, 본 명세서에 개시된 원리들 및 신규한 특징들과 일관되는 최광의의 범위가 부여되도록 의도된다.
비록 예시 적인 구현예들이 하나 이상의 독립형 컴퓨터 시스템의 맥락에서 현재 개시된 주제의 양태들을 활용하는 것을 언급할 수도 있으나, 본 주제는 그렇게 제한되지 않고, 오히려 네트워크나 분산 컴퓨팅 환경과 같은 임의의 컴퓨팅 환경과 연계하여 구현될 수도 있다. 또 나아가, 현재 개시된 주제의 양상들은 복수의 프로세싱 칩들이나 디바이스들에서 또는 그 들에 걸쳐 구현될 수도 있고, 스토리지는 복수의 디바이스들에 걸쳐 유사하게 영향을 받게 될 수도 있다. 이러한 디바이스들은 PC들, 네트워크 서버들, 및 핸드헬드 디바이스들을 포함할 수도 있다.
비록 본 주제가 구조적 특징들 및/또는 방법론적 작용들에 특정한 언어로 설명되었으나, 첨부된 청구항들에서 정의된 주제가 위에서 설명된 특정 특징들 또는 작용들로 반드시 제한되는 것은 아님이 이해될 것이다. 오히려, 위에서 설명된 특정 특징들 및 작용들은 청구항들을 구현하는 예시 적인 형태로서 설명된다.
이 명세서에서 언급된 방법은 특정 실시예들을 통하여 설명되었지만, 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽힐 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 실시예들을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
본 명세서에서는 본 개시가 일부 실시예들과 관련하여 설명되었지만, 본 발명이 속하는 기술분야의 통상의 기술자가 이해할 수 있는 본 개시의 범위를 벗어나지 않는 범위에서 다양한 변형 및 변경이 이루어질 수 있다는 점을 알아야 할 것이다. 또한, 그러한 변형 및 변경은 본 명세서에 첨부된 특허청구의 범위 내에 속하는 것으로 생각되어야 한다.
100: 영상통합관제 시스템 101: 기계식 주차 시설
110: 카메라 120: 리프트
130: 주차 디스플레이 140: 출입문
210: 사용자 단말 220: 네트워크
230: 정보 처리 시스템 312, 332: 메모리
314, 334: 프로세서 316, 336: 통신 모듈
318, 338: 입출력 인터페이스 320: 입출력 장치
410: 이미지 수집부 420: 이미지 학습부
430: 객체 인식부 440: 이미지 관리부
442: 수집 이미지 444: 외부 학습 이미지
450: 객체 데이터 관리부 460: 객체 데이터
462: 이동체 데이터 464: 정지체 데이터
510: 주차장 실내 평면도 512: 관심영역
520: 차량 내부 전면도 610: 제1 화면
620: 제2 화면 630: 제3 화면
640: 제4 화면 710: 이미지
720: 제1 데이터 722: 제2 데이터
1000: 인공신경망 모델 C: 차량
P: 객체
110: 카메라 120: 리프트
130: 주차 디스플레이 140: 출입문
210: 사용자 단말 220: 네트워크
230: 정보 처리 시스템 312, 332: 메모리
314, 334: 프로세서 316, 336: 통신 모듈
318, 338: 입출력 인터페이스 320: 입출력 장치
410: 이미지 수집부 420: 이미지 학습부
430: 객체 인식부 440: 이미지 관리부
442: 수집 이미지 444: 외부 학습 이미지
450: 객체 데이터 관리부 460: 객체 데이터
462: 이동체 데이터 464: 정지체 데이터
510: 주차장 실내 평면도 512: 관심영역
520: 차량 내부 전면도 610: 제1 화면
620: 제2 화면 630: 제3 화면
640: 제4 화면 710: 이미지
720: 제1 데이터 722: 제2 데이터
1000: 인공신경망 모델 C: 차량
P: 객체
Claims (10)
- 산업재해 예방 및 인명 보호를 위한 인공지능 기반 기계식 주차장 영상통합관제 시스템에 있어서,
기계식 주차 시설의 주차장 실내에 설치되어, 적어도 하나의 주차장 실내 이미지를 촬영하도록 구성된 복수의 카메라;
상기 카메라에 의해 촬영된 상기 주차장 실내 이미지 상에 표시되는 객체의 존재 여부를 결정하는 프로세서;
상기 주차장의 출입문이 위치한 일부 및 상기 주차장 실내의 벽면에 설치되어, 상기 객체의 거리, 속도 또는 방향 중 적어도 하나를 기초하여 객체의 출입 여부를 감지하도록 구성된 객체감지센서;
상기 주차장 실내의 바닥면에 설치되어, 주차된 차량을 지정된 위치에 격납되도록 구성된 리프트;
상기 복수의 카메라에 의해 촬영된 적어도 하나의 이미지를 통해 상기 차량의 주차 상태를 표시하는 주차 디스플레이; 및
상기 차량의 주차 상태에 따라 안내음을 송출하는 스피커부
를 포함하고,
상기 복수의 카메라는,
상기 주차장 실내의 일측면에 설치되어 차량 또는 상기 주차장 내부를 광각의 화각으로 촬영되도록 구성된 제1 카메라; 및
상기 주차장 실내의 벽면 일부에 설치되어 상기 차량의 내부를 촬영하여 상기 객체 존재 여부를 확인하도록 구성된 제2 카메라
를 포함하고,
상기 제1 카메라는, 어안 카메라, 광각 카메라 또는 다수의 광각 카메라로 구성된 360도 카메라로 구성되어 주차장 내부를 촬영되도록 구성되고,
상기 객체감지센서는, 각각 2개의 상기 객체감지센서가 서로 대향되는 위치에 상기 주차장 실내의 벽면 각각에 설치되어, 상기 리프트의 기 설정된 범위를 기준으로 안전영역 및 비안전영역으로 구분하고, 상기 안전영역에 광을 조사하여 센서 데이터를 수집하고,
상기 프로세서는,
상기 주차장 실내 이미지 상에 상기 객체가 검출될 경우, 상기 기계식 주차 시설의 동작을 제어하도록 구성되고,
상기 카메라 중 적어도 하나에 의해 상기 주차장 실내에서 검출된 상기 객체의 수를 산출하고, 상기 객체가 상기 주차장의 출입문으로 나가는 상기 객체의 수를 산출하도록 구성되고,
산출된 상기 주차장의 출입문으로 나가는 상기 객체의 수가 상기 주차장 실내에서 검출된 상기 객체의 수보다 적을 경우, 상기 기계식 주차 시설의 동작을 제어하도록 구성되고,
상기 주차장 실내에 상기 객체가 검출될 경우, 검출된 상기 객체를 기 설정된 형태에 따라 관심영역으로 표시하고,
상기 차량이 기 설정된 상기 리프트의 범위를 벗어나면, 상기 기계식 주차 시설의 동작을 제어하도록 구성되고,
상기 주차 디스플레이는, 상기 제1 카메라 및 상기 제2 카메라에 의해 촬영되는 상기 적어도 하나의 주차장 실내 이미지를 기반으로, 상기 차량이 기 설정된 상기 리프트의 범위에 주차되었는지 상기 차량 실내에서 확인 가능하도록 디스플레이 하고, 상기 객체감지센서에 의해 차량이 상기 리프트의 기 설정된 범위를 벗어난 경우, 상기 차량이 기 설정된 리프트 범위를 벗어난 방향이 촬영되는 이미지를디스플레이 하는, 영상통합관제 시스템.
- 제1항에 있어서,
상기 프로세서는,
상기 카메라에 의해 촬영된 수집 이미지 또는 외부 학습 이미지를 저장부로 전송하도록 구성된 이미지 수집부;
인공신경망에 의해 상기 수집 이미지 또는 상기 외부 학습 이미지를 기초로 상기 객체를 검출하도록 학습된 이미지 학습부; 및
상기 학습된 객체 데이터를 통해, 상기 카메라에 의해 촬영된 이미지 상에서 상기 주차장 실내에 상기 객체의 존재 여부를 판단하는 객체 인식부
를 포함하는, 영상통합관제 시스템.
- 삭제
- 삭제
- 삭제
- 제1항에 있어서,
상기 주차장 실내의 일면에 설치되어, 상기 주차장 실내의 온도 이미지를 촬영하도록 구성된 제3 카메라
를 포함하고,
상기 프로세서는, 상기 제3 카메라에 의해 촬영된 상기 주차장 실내의 온도 이미지를 기초로, 기 설정된 온도 이미지의 색상 범위에 따라 상기 주차장 실내에 상기 객체의 존재 여부를 판단하도록 구성된, 영상통합관제 시스템.
- 삭제
- 삭제
- 제1항에 있어서,
상기 주차장의 외부 진입구 일측면에 설치되어, 상기 기계식 주차 시설의 작동을 제어하도록 구성된 주차 제어장치
를 더 포함하고,
상기 주차 제어장치는, 촬영장치를 포함하고, 상기 기계식 주차 시설의 작동을 제어할 경우, 상기 촬영장치에 의해 사용자를 검출하고, 상기 사용자가 검출되지 않을 경우, 상기 기계식 주차 시설의 작동을 제어하도록 구성된, 영상통합관제 시스템.
- 산업재해 예방 및 인명 보호를 위한 인공지능 기반 기계식 주차장 영상통합관제 방법에 있어서,
복수의 카메라에 의해, 기계식 주차 시설의 주차장 실내에 설치된, 적어도 하나의 주차장 실내 이미지를 촬영하는 단계;
프로세서에 의해, 상기 카메라에 의해 촬영된 상기 주차장 실내 이미지 상에 표시되는 객체의 존재 여부를 결정하는 단계;
상기 프로세서에 의해, 상기 주차장의 출입문이 위치한 일부 및 상기 주차장 실내의 벽면에 설치된 객체 감지 센서에 의해 감지된 상기 객체의 거리, 속도 또는 방향 중 적어도 하나를 기초하여 객체의 출입 여부를 결정하는 단계;
리프트에 의해, 상기 주차장 실내의 바닥면에 설치되어, 주차된 차량을 상기 리프트 내의 지정된 위치에 격납시키는 단계;
상기 프로세서에 의해, 상기 주차장 실내 이미지 상에 상기 객체가 검출될 경우, 상기 기계식 주차 시설의 동작을 제어하는 단계;
상기 프로세서에 의해, 상기 차량이 기 설정된 리프트 범위를 벗어나면, 상기 기계식 주차 시설의 동작을 제어하는 단계;
주차 디스플레이에 의해, 상기 복수의 카메라에 의해 촬영되는 이미지 기반으로, 상기 차량이 기 설정된 상기 리프트 범위에 주차되었는지 상기 차량의 실내에서 확인 가능하도록 디스플레이 하고, 상기 객체감지센서에 의해 차량이 상기 리프트의 기 설정된 범위를 벗어난 경우, 상기 차량이 상기 리프트의 기 설정된 범위를 벗어난 방향이 촬영되는 이미지를 디스플레이에 표시하는 단계; 및
스피커부에 의해, 상기 차량의 주차 상태에 따라 안내음을 송출하는 단계
를 포함하고,
상기 프로세서에 의해, 상기 주차장 실내 이미지 상에 상기 객체가 검출될 경우, 상기 기계식 주차 시설의 동작을 제어하는 단계는,
상기 프로세서에 의해, 상기 카메라 중 적어도 하나에 의해 상기 주차장 실내에서 검출된 상기 객체의 수를 산출하고, 상기 객체가 상기 주차장의 출입문으로 나가는 상기 객체의 수를 산출하는 단계;
상기 프로세서에 의해, 산출된 상기 주차장의 출입문으로 나가는 상기 객체의 수가 상기 주차장 실내에서 검출된 상기 객체의 수보다 적을 경우, 상기 기계식 주차 시설의 동작을 제어하는 단계;
상기 프로세서에 의해, 상기 주차장 실내에 상기 객체가 검출될 경우, 검출된 상기 객체를 기 설정된 형태에 따라 관심영역으로 표시하는 단계; 및
상기 프로세서에 의해, 상기 차량이 기 설정된 상기 리프트의 범위를 벗어나면, 상기 기계식 주차 시설의 동작을 제어하는 단계
를 포함하고,
상기 복수의 카메라는,
제1 카메라에 의해, 상기 주차장 실내의 일측면에 설치되어 차량 또는 상기 주차장 내부를 광각의 화각으로 촬영되도록 구성되고,
제2 카메라에 의해, 상기 주차장 실내의 벽면 일부에 설치되어 상기 차량의 내부를 촬영하여 상기 객체 존재 여부를 확인하도록 구성되고,
상기 제1 카메라는, 어안 카메라, 광각 카메라 또는 다수의 광각 카메라로 구성된 360도 카메라로 구성되어 주차장 내부를 촬영되고,
상기 객체감지센서에 의해, 각각 2개의 상기 객체감지센서가 서로 대향되는 위치에 상기 주차장 실내의 벽면 각각에 설치되어, 상기 차량이 상기 리프트의 기 설정된 범위를 기준으로 안전영역 및 비안전영역을 구분하고, 기 설정된 범위를 제외한 영역에서 객체를 검출하도록 구성되고,
상기 주차 디스플레이는, 상기 제1 카메라 및 상기 제2 카메라에 의해 촬영된 적어도 하나의 이미지를 통해 상기 차량의 주차 상태를 표시하는, 영상통합관제 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220085827A KR102615292B1 (ko) | 2022-07-12 | 2022-07-12 | 산업재해 예방 및 인명 보호를 위한 인공지능 기반 기계식 주차장 영상통합관제 시스템 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220085827A KR102615292B1 (ko) | 2022-07-12 | 2022-07-12 | 산업재해 예방 및 인명 보호를 위한 인공지능 기반 기계식 주차장 영상통합관제 시스템 및 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102615292B1 true KR102615292B1 (ko) | 2023-12-19 |
Family
ID=89385409
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220085827A KR102615292B1 (ko) | 2022-07-12 | 2022-07-12 | 산업재해 예방 및 인명 보호를 위한 인공지능 기반 기계식 주차장 영상통합관제 시스템 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102615292B1 (ko) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019073958A (ja) * | 2017-10-19 | 2019-05-16 | 住友重機械搬送システム株式会社 | 機械式駐車場 |
| JP2020070550A (ja) * | 2018-10-29 | 2020-05-07 | 日本ケーブル株式会社 | 立体駐車装置の安全装置 |
| JP2021127610A (ja) * | 2020-02-13 | 2021-09-02 | 住友重機械搬送システム株式会社 | 駐車システム |
| JP2022064423A (ja) * | 2020-10-14 | 2022-04-26 | 三菱重工機械システム株式会社 | 機械式駐車装置及びその安全確認方法並びに安全確認プログラム |
-
2022
- 2022-07-12 KR KR1020220085827A patent/KR102615292B1/ko active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019073958A (ja) * | 2017-10-19 | 2019-05-16 | 住友重機械搬送システム株式会社 | 機械式駐車場 |
| JP2020070550A (ja) * | 2018-10-29 | 2020-05-07 | 日本ケーブル株式会社 | 立体駐車装置の安全装置 |
| JP2021127610A (ja) * | 2020-02-13 | 2021-09-02 | 住友重機械搬送システム株式会社 | 駐車システム |
| JP2022064423A (ja) * | 2020-10-14 | 2022-04-26 | 三菱重工機械システム株式会社 | 機械式駐車装置及びその安全確認方法並びに安全確認プログラム |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11940797B2 (en) | Navigating semi-autonomous mobile robots | |
| US20230215251A1 (en) | Providing emergency egress guidance via peer-to-peer communication among distributed egress advisement devices | |
| US20200369271A1 (en) | Electronic apparatus for determining a dangerous situation of a vehicle and method of operating the same | |
| WO2019199880A1 (en) | User interface for presenting decisions | |
| JP2020004402A (ja) | ニューラルネットワークに基づく自動運転車両用の安全監視システム | |
| US11592825B2 (en) | Electronic device and operation method therefor | |
| KR20190100085A (ko) | 인공 지능을 이용하여, 위험 상황을 감지할 수 있는 로봇 및 그의 동작 방법 | |
| US20210072759A1 (en) | Robot and robot control method | |
| US20210097852A1 (en) | Moving robot | |
| KR20190107627A (ko) | 차량의 위치 정보를 제공하는 인공 지능 장치 및 그 방법 | |
| US11514363B2 (en) | Using a recursive reinforcement model to determine an agent action | |
| CN111331595B (zh) | 控制服务机器人的操作的方法和设备 | |
| Witwicki et al. | Autonomous surveillance robots: A decision-making framework for networked muiltiagent systems | |
| KR20190104489A (ko) | 공기 조화기의 센서 데이터를 보정하는 인공 지능 공기 조화기 및 그 방법 | |
| TW202224999A (zh) | 管制區域自動駕駛車輛控制技術 | |
| KR20210057886A (ko) | 차량 충돌 방지 장치 및 그 방법 | |
| KR102585665B1 (ko) | 위험 상황 분석 및 위험 객체 수색 시스템 | |
| KR102615292B1 (ko) | 산업재해 예방 및 인명 보호를 위한 인공지능 기반 기계식 주차장 영상통합관제 시스템 및 방법 | |
| KR102501084B1 (ko) | 인공지능 기반 이동 경로 추적을 통한 안전 관리 방법 및 장치 | |
| KR20210062791A (ko) | 자율 주행 차량을 위한 맵 데이터 생성 장치 및 방법 | |
| KR102138006B1 (ko) | 보안 로봇 제어 방법 및 그 방법을 지원하는 장치 | |
| JP6678706B2 (ja) | 種別判定プログラム、種別判定装置及び種別判定方法 | |
| US20190384991A1 (en) | Method and apparatus of identifying belonging of user based on image information | |
| KR20190114930A (ko) | 이동 로봇 및 이를 이용한 시큐리티 시스템 | |
| KR102247911B1 (ko) | 인공 지능 로봇 및 인공 지능 서버 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| AMND | Amendment | ||
| X091 | Application refused [patent] | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) | ||
| GRNT | Written decision to grant |