KR102556070B1 - 항구별 컨테이너 할당을 위한 강화학습 장치 및 방법 - Google Patents

항구별 컨테이너 할당을 위한 강화학습 장치 및 방법 Download PDF

Info

Publication number
KR102556070B1
KR102556070B1 KR1020220075608A KR20220075608A KR102556070B1 KR 102556070 B1 KR102556070 B1 KR 102556070B1 KR 1020220075608 A KR1020220075608 A KR 1020220075608A KR 20220075608 A KR20220075608 A KR 20220075608A KR 102556070 B1 KR102556070 B1 KR 102556070B1
Authority
KR
South Korea
Prior art keywords
port
reinforcement learning
agent
containers
service
Prior art date
Application number
KR1020220075608A
Other languages
English (en)
Inventor
팜 투옌 르
이성령
백승열
Original Assignee
주식회사 애자일소다
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 애자일소다 filed Critical 주식회사 애자일소다
Priority to KR1020220075608A priority Critical patent/KR102556070B1/ko
Application granted granted Critical
Publication of KR102556070B1 publication Critical patent/KR102556070B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06315—Needs-based resource requirements planning or analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G06Q10/043—Optimisation of two dimensional placement, e.g. cutting of clothes or wood
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0637—Strategic management or analysis, e.g. setting a goal or target of an organisation; Planning actions based on goals; Analysis or evaluation of effectiveness of goals
    • G06Q10/06375—Prediction of business process outcome or impact based on a proposed change
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders

Landscapes

  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Engineering & Computer Science (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Theoretical Computer Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Development Economics (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Educational Administration (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

항구별 컨테이너 할당을 위한 강화학습 장치 및 방법을 개시한다. 본 발명은 강화학습을 이용하여 항구별 컨테이너의 배치 최적화를 통해 이익의 증가와 컨테이너의 불균형 문제를 개선할 수 있다.

Description

항구별 컨테이너 할당을 위한 강화학습 장치 및 방법{REINFORCEMENT LEARNING APPARATUS AND METHOD FOR ALLOCATING CONTAINER BY PORT}
본 발명은 항구별 컨테이너 할당을 위한 강화학습 장치 및 방법에 관한 발명으로서, 더욱 상세하게는 강화학습을 이용하여 항구별 컨테이너의 배치 최적화를 통해 이익의 증가와 컨테이너의 불균형 문제를 개선한 항구별 컨테이너 할당을 위한 강화학습 장치 및 방법에 관한 것이다.
강화 학습은 환경(environment)과 상호작용하며 목표를 달성하는 에이전트를 다루는 학습 방법으로서, 로봇이나 인공 지능 분야에서 많이 사용되고 있다.
이러한 강화 학습은 학습의 행동 주체인 강화 학습 에이전트(Agent)가 어떤 행동을 해야 더 많은 보상(Reward)을 받을지 알아내는 것을 목적으로 한다.
즉, 정해진 답이 없는 상태에서도 보상을 최대화시키기 위해 무엇을 할 것인가를 배우는 것으로서, 입력과 출력이 명확한 관계를 갖고 있는 상황에서 사전에 어떤 행위를 할 것인지 듣고 하는 것이 아니라, 시행착오를 거치면서 보상을 최대화시키는 것을 배우는 과정을 거친다.
또한, 에이전트는 시간 스텝이 흘러감에 따라 순차적으로 액션을 선택하게 되고, 상기 액션이 환경에 끼친 영향에 기반하여 보상(reward)을 받게 된다.
도1은 일반적인 강화학습 장치의 구성을 설명하기 위해 나타낸 블록도로서, 도 1에 나타낸 바와 같이, 에이전트(10)가 강화 학습 모델의 학습을 통해 액션(Action, 또는 행동) A를 결정하는 방법을 학습시키고, 각 액션인 A는 그 다음 상태(state) S에 영향을 끼치며, 성공한 정도는 보상(Reward) R로 측정할 수 있다.
즉, 보상은 강화 학습 모델을 통해 학습을 진행할 경우, 어떤 상태(State)에 따라 에이전트(10)가 결정하는 액션(행동)에 대한 보상 점수로서, 학습에 따른 에이전트(10)의 의사 결정에 대한 일종의 피드백이다.
환경(20)은 에이전트(10)가 취할 수 있는 행동, 그에 따른 보상 등 모든 규칙으로서, 상태, 액션, 보상 등은 모두 환경의 구성요소이고, 에이전트(10) 이외의 모든 해진 것들이 환경이다.
이러한 강화 학습을 이용하여 에이전트(10)는 미래의 보상이 최대가 되도록 액션을 취하게 되므로, 보상을 어떻게 책정하느냐에 따라 학습 결과에 많은 영향이 발생하여 다양한 분야에서 활용될 수 있다.
한편, 국제간 무역 거래가 활성화되어 컨테이너 운송수요의 증가와 선박의 대형화, 컨테이너 터미널의 자동화 등에 따른 해운환경이 변화됨으로 인해 기존의 컨테이너선의 경로가 컨테이너 운송수요에 정확히 대응하지 못하거나, 선박의 대형화로 인한 항구의 처리 능력 부족으로 인해 경로를 재편성할 경우가 발생하는 등 컨테이너선의 경로 결정 업무가 최적화되어 관리되지 못하는 문제점이 있다.
즉, 사람이 직접 선적 네트워크를 보고 경로와 일정을 계획하기 때문에 최적화에 많은 시간과 노력이 요구되는 문제점이 있다.
또한, 수입 위주로 운영되는 항구는 컨테이너가 누적되고, 수출 위주로 운영되는 항구는 컨테이너가 부족하여 특정 항구마다 컨테이너의 불균형이 발생되는 문제점이 있다.
또한, 풀컨테이너(Full Container)와 빈컨테이너(Empty Container)의 운송에 따른 항구별 재배치가 적절하게 이루지지 못하면, 정기선(Liner) 이외에 컨테이너의 재배치를 위한 임시선(Feeder)의 운행에 따른 추가 비용이 발생하는 문제점이 있다.
한국 공개특허 공개번호 제10-2021-0083661호(발명의 명칭: 인공지능 플래닝 기술 기반 선사 선적 네트워크의 공컨테이너 재배치 최적화 시스템 및 방법)
이러한 문제점을 해결하기 위하여, 본 발명은 강화학습을 이용하여 항구별 컨테이너의 배치 최적화를 통해 이익의 증가와 컨테이너의 불균형 문제를 개선한 항구별 컨테이너 할당을 위한 강화학습 장치 및 방법을 제공하는 것을 목적으로 한다.
상기한 목적을 달성하기 위하여 본 발명의 일 실시 예는 항구별 컨테이너 할당을 위한 강화학습 장치로서, 제공된 액션(Action)에 대하여 선적항(Port Of Loading, POL)에서 하나 이상의 도착항(Port Of Discharge, POD) 별로 할당된 컨테이너 수량을 기반으로 운항 서비스에 따른 시뮬레이션을 수행하고, 강화학습에 이용될 상태(State) 정보와, 할당된 컨테이너 수량을 기반으로 계산된 보상(Reward) 정보를 제공하는 시뮬레이션 엔진; 및 상기 시뮬레이션 엔진으로부터 제공받은 상태 정보와 보상 정보를 이용한 에피소드를 기반으로 강화학습을 수행하여 선적항에서 도착항으로 실어 보낼 컨테이너의 총량을 결정하는 액션을 생성하는 강화학습 에이전트;를 포함한다.
또한, 상기 실시 예에 따른 강화학습 에이전트는 서로 다른 복수의 운항 서비스에 대하여 개별 강화학습을 수행하는 서비스 에이전트 1, 서비스 에이전트 2 내지 서비스 에이전트 n으로 구성된 다중 에이전트인 것을 특징으로 한다.
또한, 상기 실시 예에 따른 강화학습 에이전트는 전체 서비스 에이전트 1 내지 n 중에서 하나의 서비스 에이전트를 랜덤(Random) 선택하여 강화학습을 수행하는 것을 특징으로 한다.
또한, 상기 실시 예에 따른 강화학습 장치는 시뮬레이션 엔진이 강화학습 에이전트의 서비스 에이전트 1 내지 n에서 개별 생성한 액션에 기반하여 1항차씩 운항 서비스를 완료하면 1 에피소드(Episode)로 종료하고, 상기 에피소드의 결과를 저장하는 에피소드 저장부;를 더 포함하는 것을 특징으로 한다.
또한, 상기 실시 예에 따른 에피소드 저장부는 종료된 에피소드에 따른 결과를 기반으로 다음 선적항에 대한 상태 정보 및 공유 정보(Shared Info)와, 현재 선적항에 대한 비율(at)과, 현재 선적항에서 할당에 대한 이익 및 컨테이너 불균형 비용(rt)과, 포트 할당 테이블(Port allocation table)를 포함한 보정 정보를 보상 정보와 함께 저장하여 다음 강화학습 네트워크에서 강화학습 에이전트(120)에 반영되도록 제공하는 에피소드 저장부를 더 포함하는 것을 특징으로 한다.
또한, 상기 실시 예에 따른 강화학습 에이전트는 컨테이너의 총량이 결정되면, LP(Liner Programing) 알고리즘에 기반하여 각 도착항 별로 가는 컨테이너의 수량을 할당하되, 각 도착항 별로 풀컨테이너(Full Container)와 빈컨테이너(Empty Container)를 포함하여 할당하는 것을 특징으로 한다.
또한, 본 발명에 따른 일 실시 예는 항구별 컨테이너 할당을 위한 강화학습 방법으로서, a) 강화학습 에이전트가 강화학습에 이용될 액션에 대한 상태(State) 정보와 보상(Reward) 정보를 시뮬레이션 엔진으로부터 수집하고, 상기 수집된 상태 정보와 보상 정보를 이용한 에피소드를 기반으로 강화학습을 수행하는 단계; b) 상기 강화학습 에이전트가 선적항에서 도착항으로 실어 보낼 컨테이너의 총량을 결정하는 액션을 생성하는 단계; c) 상기 시뮬레이션 엔진이 생성된 액션에 기반하여 선적항(Port Of Loading, POL)에서 하나 이상의 도착항(Port Of Discharge, POD) 별로 할당된 컨테이너 수량을 기반으로 운항 서비스에 따른 시뮬레이션을 수행하는 단계; 및 d) 상기 시뮬레이션 엔진이 시뮬레이션 결과에 기반하여 강화학습에 이용될 상태 정보와, 할당된 컨테이너 수량을 기반으로 계산된 보상 정보를 상기 강화학습 에이전트로 제공하는 단계;를 포함한다.
또한, 상기 실시 예에 따른 a) 단계는 강화학습 에이전트가 서로 다른 복수의 운항 서비스에 대하여 개별 강화학습을 수행하는 서비스 에이전트 1, 서비스 에이전트 2 내지 서비스 에이전트 n 중에서 임의의 서비스 에이전트를 랜덤(Random) 선택하여 강화학습을 수행하는 것을 특징으로 한다.
또한, 상기 실시 예에 따른 b) 단계는 강화학습 에이전트가 컨테이너의 총량을 결정하면, LP(Liner Programing) 알고리즘에 기반하여 각 도착항 별로 가는 컨테이너의 수량을 할당하되, 각 도착항 별로 풀컨테이너(Full Container)와 빈컨테이너(Empty Container)를 포함하여 할당하는 것을 특징으로 한다.
또한, 상기 실시 예에 따른 d) 단계는 시뮬레이션에 따른 에피소드 결과를 에피소드 저장부에 저장하고, 강화학습 에이전트의 서비스 에이전트 1 내지 n에서 개별 생성된 액션에 기반하여 1항차씩 운항 서비스가 완료되면 1 에피소드(Episode)로 종료하여 에피소드 결과를 저장하는 것을 특징으로 한다.
또한, 상기 실시 예에 따른 d) 단계는 종료된 에피소드에 따른 결과를 기반으로 다음 선적항에 대한 상태 정보 및 공유 정보(Shared Info)와, 현재 선적항에 대한 비율(at)과, 현재 선적항에서 할당에 대한 이익 및 컨테이너 불균형 비용(rt)과, 포트 할당 테이블(Port allocation table)를 포함한 보정 정보를 보상 정보와 함께 저장하여 다음 강화학습 네트워크에서 강화학습 에이전트에 반영되도록 제공하는 것을 특징으로 한다.
본 발명은 강화학습을 이용하여 선적항에서 도착항으로 얼마의 컨테이너를 실어 보내는게 좋은지 분석함으로써, 항구별 컨테이너의 배치 최적화를 통해 이익(Profit)의 증가를 개선할 수 있는 장점이 있다.
또한, 본 발명은 서비스 에이전트간의 상황을 고려하여 컨테이너 불균형 문제를 개선할 수 있는 장점이 있다.
또한, 본 발명은 각 운항 서비스 기준 항구별 할당의 최적화와 전체 이익의 최적화를 제공할 수 있는 장점이 있다.
도1은 일반적인 강화학습 장치의 구성을 설명하기 위해 나타낸 블록도.
도2는 본 발명의 일 실시 예에 따른 항구별 컨테이너 할당을 위한 강화학습 장치를 설명하기 위해 나타낸 블록도.
도3은 본 발명의 일 실시 예에 따른 항구별 컨테이너 할당을 위한 강화학습 방법을 설명하기 위해 나타낸 흐름도.
도4는 도3의 실시 예에 따른 항구별 컨테이너 할당을 위한 강화학습 방법에서 컨네이너 총량을 결정하기 위한 항구별 포트 매트릭스를 나타낸 예시도.
도5는 본 발명의 일 실시 예에 따른 항구별 컨테이너 할당을 위한 강화학습 방법의 에피소드를 설명하기 위해 나타낸 예시도.
도6은 본 발명의 일 실시 예에 따른 항구별 컨테이너 할당을 위한 강화학습 방법의 에피소드를 설명하기 위해 나타낸 다른 예시도.
이하에서는 본 발명의 바람직한 실시 예 및 첨부하는 도면을 참조하여 본 발명을 상세히 설명하되, 도면의 동일한 참조부호는 동일한 구성요소를 지칭함을 전제하여 설명하기로 한다.
본 발명의 실시를 위한 구체적인 내용을 설명하기에 앞서, 본 발명의 기술적 요지와 직접적 관련이 없는 구성에 대해서는 본 발명의 기술적 요지를 흩뜨리지 않는 범위 내에서 생략하였음에 유의하여야 할 것이다.
또한, 본 명세서 및 청구범위에 사용된 용어 또는 단어는 발명자가 자신의 발명을 최선의 방법으로 설명하기 위해 적절한 용어의 개념을 정의할 수 있다는 원칙에 입각하여 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 할 것이다.
본 명세서에서 어떤 부분이 어떤 구성요소를 "포함"한다는 표현은 다른 구성요소를 배제하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.
또한, "‥,부", "‥,기", "‥,모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어, 또는 그 둘의 결합으로 구분될 수 있다.
또한, "적어도 하나의" 라는 용어는 단수 및 복수를 포함하는 용어로 정의되고, 적어도 하나의 라는 용어가 존재하지 않더라도 각 구성요소가 단수 또는 복수로 존재할 수 있고, 단수 또는 복수를 의미할 수 있음은 자명하다 할 것이다.
또한, 각 구성요소가 단수 또는 복수로 구비되는 것은, 실시 예에 따라 변경가능하다 할 것이다.
이하, 첨부된 도면을 참조하여 본 발명의 일 실시 예에 따른 항구별 컨테이너 할당을 위한 강화학습 장치 및 방법의 바람직한 실시예를 상세하게 설명한다.
도2는 본 발명의 일 실시 예에 따른 항구별 컨테이너 할당을 위한 강화학습 장치를 설명하기 위해 나타낸 블록도이다.
도2를 참조하면, 본 발명의 일 실시 예에 따른 도2는 본 발명의 일 실시 예에 따른 항구별 컨테이너 할당을 위한 강화학습 장치(100)는 강화학습을 이용하여 선적항에서 도착항으로 얼마의 컨테이너를 실어 보내는게 좋은지 분석하고, 그에 따른 항구별 컨테이너의 배치 최적화를 통해 이익의 증가와 컨테이너의 불균형 문제를 개선할 수 있도록 시뮬레이션 엔진(110)과, 강화학습 에이전트(120)와, 에피소드 저장부(130)를 포함하여 구성될 수 있다.
시뮬레이션 엔진(110)은 항구별 컨테이너의 할당에 따른 강화학습을 위한 환경을 만드는 구성으로서, 정기선에 의해 복수의 항구를 운항하는 운항 서비스를 통해 각 항구 별로 할당되는 풀컨테이너와 빈컨테이너의 할당을 기반으로 시뮬레이션을 수행할 수 있다.
즉, 시뮬레이션 엔진(110)은 강화학습 에이전트(120)에서 제공된 액션(Action)에 대하여 선적항(Port Of Loading, POL)에서 하나 이상의 도착항(Port Of Discharge, POD) 별로 할당된 컨테이너 수량을 기반으로 운항 서비스에 따른 시뮬레이션을 수행할 수 있다.
또한, 시뮬레이션 엔진(110)은 강화학습 에이전트(120)로 강화학습에 이용될 상태(State) 정보와, 할당된 컨테이너 수량을 기반으로 계산된 보상(Reward) 정보를 제공하여 액션을 요청할 수 있다.
여기서 상태 정보는 개별 항구별 컨테이너 수량(또는 물량) 정보, 다음 항구와의 연결 정보일 수 있고, 보상 정보는 컨테이너의 수량이 결정되면 결정된 컨테이너의 할당 수량에 따른 수익(또는 이익)일 수 있다.
또한, 보상 정보는 선적항에서 도착항으로 할당된 컨테이너 수량을 보내면 수익을 컨테이너 불균형에 기반한 일정 금액으로 제공할 수도 있다
강화학습 에이전트(120)는 시뮬레이션 엔진(110)으로부터 제공받은 상태 정보와 보상 정보를 이용한 에피소드를 기반으로 강화학습을 수행하여 선적항에서 개별 도착항으로 실어 보낼 컨테이너의 총량이 결정되도록 액션을 생성하는 구성으로서, 강화학습 알고리즘을 포함하여 구성될 수 있다.
또한, 본 발명의 실시 예에 따른 강화학습 에이전트(120)는 서로 다른 복수의 운항 서비스에 대하여 개별 강화학습을 수행하는 서비스 에이전트 1(121), 서비스 에이전트 2(122) 내지 서비스 에이전트 n(123)으로 이루어진 다중 에이전트로 구성될 수 있다.
여기서, 서비스 에이전트 1(121)은 예를 들어, 상태 1, 보상 1 정보를 기반으로 선적항(POL)인 'A'항구에서 도착항(POD)인 'B', 'C', ‥, 'K'에 대한 운항 서비스에 대하여 강화학습을 수행한 후 생성되는 액션 1을 출력할 수 있다.
또한, 서비스 에이전트 2(122)는 상태 2, 보상 2 정보를 기반으로 선적항(POL)인 'B'항구에서 도착항(POD)인 'A', 'C', ‥, 'K'에 대한 운항 서비스에 대하여 강화학습을 수행한 후 생성되는 액션 2를 출력할 수 있다.
또한, 서비스 에이전트 n(123)은 상태 n, 보상 n 정보를 기반으로 선적항(POL)인 'N'항구에서 도착항(POD)인 'B', 'C', ‥, 'K'에 대한 운항 서비스에 대하여 강화학습을 수행한 후 생성되는 액션 n을 출력할 수 있다.
또한, 강화학습 에이전트(120)는 전체 서비스 에이전트 1 내지 n(121, 122, 123) 중에서 하나의 서비스 에이전트를 랜덤(Random) 선택하여 강화학습을 수행할 수 있다.
또한, 액션은 선택된 서비스 에이전트가 선적항에서 도착항으로 실어 보낼 컨테이너의 총수량을 결정하는 것으로, 예를 들어 현재 'A' 항구에 배가 있는 경우, 'A'->'B', 'A'->'C', 'A'->'D'로 총 몇개의 컨테이너를 보낼 것인지 결정할 수 있다.
여기서, 컨테이너의 총수량은 선적항 및 도착항이 수출 중심 항인지 또는 수입 중심 항인지 등의 항구별 특징과, 사용 가능한 컨테이너 수량, 이전 운항 서비스에서 하역된 컨테이너 수량 등을 기반으로 결정될 수 있다.
또한, 강화학습 에이전트(120)는 'A'->'B', 'A'->'C', 'A'->'D'로 가는 컨테이너의 총수량이 결정되면, 'A'->'B', 'A'->'C', 'A'->'D', 즉 선적항에서 각 도착항 별로 가는 개별 컨테이너 수량을 할당하기 위해 LP(Liner Programing) 알고리즘을 이용할 수 있다.
즉, LP(선형 계획법) 알고리즘은 주어진 조건들, 예를 들어, 운항 서비스에 따른 풀컨테이너 수량, 사용 가능한 컨테이너 수량, 이전 운항 서비스에서 하역된 컨테이너 수량 등을 포함한 각 항구별 컨테이너 수량, 다음 항구와의 연결 정보, 할당되는 컨테이너 수량에 따른 수익 등을 만족시키면서 각 항구별 컨테이너 분배가 이루어질 수 있도록 한다.
또한, 강화학습 에이전트(120)는 각 도착항 별로 풀컨테이너(Full Container)와 빈컨테이너(Empty Container)의 수량을 LP 알고리즘에 기반하여 할당함으로써, 개별 항구에 최적의 컨테이너 할당이 이루어질 수 있도록 한다.
또한, 에피소드는 강화학습 장치(100)가 강화학습 에이전트(120)의 서비스 에이전트 1 내지 n(121, 122, 123)에서 개별 생성된 액션에 기반하여 1항차씩 운항 서비스가 완료되면 1 에피소드(Episode), 즉 한 번의 에피소드로 설정한다.
한편, 시뮬레이션 엔진(110)은 강화학습 에이전트(120)에서 할당된 컨테이너 수량을 바탕으로 보상을 계산할 있는데, 예를 들어 'A'->'B'의 (풀컨테이너의 갯수 * 수익)-(빈컨테이너의 갯수 * 비용) 값(p1)과, 'A'->'C'의 (풀컨테이너의 갯수 * 수익)-(빈컨테이너의 갯수 * 비용) 값(p2)과, 'A'->'D'에서 계산되는 (풀컨테이너의 갯수 * 수익)-(빈컨테이너의 갯수 * 비용) 값(p3)의 합(p1+p2+p3)을 보상 값(r1)으로 계산할 수 있다.
에피소드 저장부(130)는 시뮬레이션 엔진(110)에서 시뮬레이션을 통해 종료된 에피소드에 따른 결과를 저장할 수 있다.
또한, 에피소드 저장부(130)는 종료된 에피소드의 결과를 기반으로 다음 선적항에 대한 상태 정보 및 복수의 운항 서비스가 항구를 공유하여 발생되는 컨테이너 할당과 관련한 공유 정보(Shared Info)와, 현재 선적항에 대한 비율(at)과, 현재 선적항에서 할당에 대한 이익 및 컨테이너 불균형 비용(rt)과, 포트 할당 테이블(Port allocation table)를 포함한 보정 정보를 보상 정보와 함께 업데이트하여 저장함으로써, 다음 강화학습 네트워크에서 강화학습 에이전트(120)에 반영되도록 제공할 수 있다.
도3은 본 발명의 일 실시 예에 따른 항구별 컨테이너 할당을 위한 강화학습 방법을 설명하기 위해 나타낸 흐름도이다.
도2 및 도3을 참조하면, 본 발명의 일 실시 예에 따른 항구별 컨테이너 할당을 위한 강화학습 방법은 강화학습 에이전트(120)가 서로 다른 복수의 운항 서비스에 대하여 개별 강화학습을 수행하는 서비스 에이전트 1(121), 서비스 에이전트 2(122) 내지 서비스 에이전트 n(123)의 전체 서비스 에이전트 중에서 강화학습을 수행할 임의의 서비스 에이전트를 랜덤(Random) 선택(S100)할 수 있다.
또한, 강화학습 에이전트(120)는 강화학습에 이용될 액션에 대한 상태(State) 정보, 공유 정보, 보상(Reward) 정보 등을 시뮬레이션 엔진(110)으로부터 수집하고, 상기 수집된 상태 정보, 공유 정보 및 보상 정보를 이용한 에피소드를 기반으로 강화학습을 수행(S200)할 수 있다.
S200 단계의 강확학습 수행을 통해 강화학습 에이전트(120)는 임의의 선적항에서 도착항으로 실어 보낼 컨테이너의 총량이 결정되도록 액션을 생성(S300)할 수 있다.
즉, S300 단계에서 강화학습 에이전트(120)는 선택된 서비스 에이전트가 예를 들어, 서비스 에이전트 1(121)이면, 상태 1, 보상 1 정보를 기반으로 선적항(POL)인 'A'항구에서 도착항(POD)인 'B', 'C', ‥, 'K'에 대한 운항 서비스에 대하여 강화학습을 수행한 후 생성되는 액션 1을 출력할 수 있다.
또한, 선택된 서비스 에이전트가 서비스 에이전트 2(122)이면, 상태 2, 보상 2 정보를 기반으로 선적항(POL)인 'B'항구에서 도착항(POD)인 'A', 'C', ‥, 'K'에 대한 운항 서비스에 대하여 강화학습을 수행한 후 생성되는 액션 2를 출력할 수 있다.
또한, 선택된 서비스 에이전트가 서비스 에이전트 n(123)이면, 상태 n, 보상 n 정보를 기반으로 선적항(POL)인 'N'항구에서 도착항(POD)인 'B', 'C', ‥, 'K'에 대한 운항 서비스에 대하여 강화학습을 수행한 후 생성되는 액션 n을 출력할 수 있다.
또한, S300 단계의 서비스 에이전트에서 생성되는 액션은, 선택된 서비스 에이전트가 선적항에서 실을 컨테이너의 총량을 결정할 수 있다.
또한, 강화학습 에이전트(120)는 A'->'B', 'A'->'C', 'A'->'D'로 가는 컨테이너의 총수량이 결정되면, 도4(a) 및 도4(b)의 포트 할당 테이블(200), POD(210)와 같이, 'A'->'B', 'A'->'C', 'A'->'D', 즉 선적항에서 각 도착항 별로 가는 개별 컨테이너 수량을 LP 알고리즘에 기반하여 할당할 수 있다.
이때, LP 알고리즘은 운항 서비스에 따른 각 항구별 컨테이너 수량 정보, 예를 들어, 풀컨테이너 수량, 사용 가능한 컨테이너 수량, 이전 운항 서비스에서 하역된 컨테이너 수량 등에 기반한 컨테이너 할당 정보, 다음 항구와의 연결 정보, 컨테이너의 할당 수량에 따른 수익 등을 만족시키면서 각 도착항 별로 가는 컨테이너 수량을 할당할 수 있다.
또한, 항구별 컨테이너 수량 정보는 풀컨테이너(Full Container)와 빈컨테이너(Empty Container)를 포함하여 할당할 수 있다.
계속해서, 시뮬레이션 엔진(110)은 S300 단계에서 결정된 액션에 기반하여 선적항(Port Of Loading, POL)에서 하나 이상의 도착항(Port Of Discharge, POD) 별로 할당된 컨테이너 수량을 기반으로 운항 서비스에 따른 시뮬레이션을 수행(S400)할 수 있다.
또한, 시뮬레이션 엔진(110)은 S400 단계의 시뮬레이션 결과에 기반하여 강화학습에 이용될 상태 정보와, 할당된 컨테이너 수량을 기반으로 계산되는 보상 정보를 강화학습 에이전트(120)로 제공(S500)할 수 있다.
즉, S500 단계에서 시뮬레이션 엔진(110)은 강화학습 에이전트(120)에서 할당된 컨테이너 수량을 바탕으로 보상을 계산할 수 있는데, 예를 들어 'A'->'B'의 (풀컨테이너의 갯수 * 수익)-(빈컨테이너의 갯수 * 비용) 값(p1)과, 'A'->'C'의 (풀컨테이너의 갯수 * 수익)-(빈컨테이너의 갯수 * 비용) 값(p2)과, 'A'->'D'에서 계산되는 (풀컨테이너의 갯수 * 수익)-(빈컨테이너의 갯수 * 비용) 값(p3)의 합(p1+p2+p3)을 보상 값(r1)으로 계산할 수 있다.
계속해서, 시뮬레이션 엔진(110)은 S400 단계의 시뮬레이션에 따른 에피소드 결과, 즉 각 항구별로 할당된 컨테이너의 수량 정보를 에피소드 저장부(130)에 저장하고, 업데이트된 각 항구별로 할당된 컨테이너 수량 정보가 출력(S600)될 수 있도록 한다.
여기서, 에피소드는 강화학습 에이전트(120)의 서비스 에이전트 1 내지 n(121, 122, 123)에서 개별 생성된 액션(예를 들어, 액션 1, 액션 2,‥,, 액션 n)에 기반하여 1항차씩 운항 서비스가 완료되면 1 에피소드(Episode), 즉 한 번의 에피소드로 설정될 수 있다.
즉, 시뮬레이션 엔진(110)은 도5와 같이, S600 단계에서 시뮬레이션 엔진(110)과 에이전트(120) 간의 1항차씩 운항 서비스가 종료되면, 에피소드 결과를 에피소드 저장부(130)에 저장할 수 있다.
또한, 시뮬레이션 엔진(110)은 도 6과 같이, 에피소드 결과를 기반으로 다음 선적항에 대한 상태 정보 및 공유 정보(Shared Info)와, 현재 선적항에 대한 비율(at)과, 현재 선적항에서 할당에 대한 이익 및 컨테이너 불균형 비용(rt)과, 포트 할당 테이블(Port allocation table, 200)를 포함한 보정 정보를 보상 정보와 함께 에피소드 저장부(130)에 저장하여 업데이트되도록 함으로써, 다음 강화학습 네트워크에서 강화학습 에이전트(120)에 반영될 수 있도록 한다.
이를 통해 복수개의 운항 서비스가 항구를 공유함으로써 발생하는 항구 간의 컨테이너 불균형을 다중 서비스 에이전트를 이용한 항구 간의 이동과 컨테이너 할당을 통해 적절할 분배가 이루어질 수 있도록 한다.
또한, 강화학습을 이용하여 선적항에서 도착항으로 얼마의 컨테이너를 실어 보내는게 좋은지 분석함으로써, 항구별 컨테이너의 배치 최적화를 통해 이익(Profit)의 증가를 개선할 수 있다.
또한, 서비스 에이전트간의 상황을 고려하여 컨테이너 불균형 문제를 개선할 수 있고, 각 운항 서비스 기준 항구별 할당의 최적화와 전체 이익의 최적화를 제공할 수 있다.
상기와 같이, 본 발명의 바람직한 실시 예를 참조하여 설명하였지만 해당 기술 분야의 숙련된 당업자라면 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
또한, 본 발명의 특허청구범위에 기재된 도면번호는 설명의 명료성과 편의를 위해 기재한 것일 뿐 이에 한정되는 것은 아니며, 실시예를 설명하는 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다.
또한, 상술된 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있으므로, 이러한 용어들에 대한 해석은 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
또한, 명시적으로 도시되거나 설명되지 아니하였다 하여도 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기재사항으로부터 본 발명에 의한 기술적 사상을 포함하는 다양한 형태의 변형을 할 수 있음은 자명하며, 이는 여전히 본 발명의 권리범위에 속한다.
또한, 첨부하는 도면을 참조하여 설명된 상기의 실시예들은 본 발명을 설명하기 위한 목적으로 기술된 것이며 본 발명의 권리범위는 이러한 실시예에 국한되지 아니한다.
100 : 강화학습 장치
110 : 시뮬레이션 엔진
120 : 강화학습 에이전트
121 : 서비스 에이전트 1
122 : 서비스 에이전트 2
123 : 서비스 에이전트 n
130 : 에피소드 저장부
200 : 포트 할당 테이블
210 : POD(Port Of Discharge)

Claims (11)

  1. 강화학습 에이전트(120)에서 제공된 액션(Action)에 대하여 선적항(Port Of Loading, POL)에서 하나 이상의 도착항(Port Of Discharge, POD) 별로 할당된 컨테이너 수량을 기반으로 운항 서비스에 따른 시뮬레이션을 수행하고, 강화학습에 이용될 상태(State) 정보와, 할당된 컨테이너 수량을 기반으로 계산된 보상(Reward) 정보를 상기 강화학습 에이전트(120)에 제공하는 시뮬레이션 엔진(110);
    상기 시뮬레이션 엔진(110)으로부터 제공받은 상태 정보와 보상 정보를 이용한 에피소드를 기반으로 강화학습을 수행하여, 선적항 및 도착항이 수출 중심항 또는 수입 중심항인지 여부에 따른 항구별 특징과, 사용 가능한 컨테이너 수량, 이전 운항 서비스에서 하역된 컨테이너 수량을 기반으로 선적항에서 개별 도착항으로 실어 보낼 컨테이너의 총수량을 결정하는 액션을 생성하는 강화학습 에이전트(120); 및
    상기 시뮬레이션 엔진(110)이 강화학습 에이전트(120)의 서로 다른 복수의 운항 서비스에 대하여 개별 강화학습을 수행하는 서비스 에이전트 1(121), 서비스 에이전트 2(122) 내지 서비스 에이전트 n(123)에서 개별 생성한 액션에 기반하여 1항차씩 운항 서비스를 완료하면 1 에피소드(Episode)로 종료하고, 상기 에피소드의 결과를 저장하는 에피소드 저장부(130);를 포함하고,
    상기 강화학습 에이전트(120)는 서비스 에이전트 1 내지 n(121, 122, 123)으로 구성된 다중 에이전트 중에서 임의의 서비스 에이전트를 랜덤(Random)하게 선택하여 강화학습을 수행하되,
    상기 서비스 에이전트 1 내지 n(121, 122, 123)은 서로 다른 선적항마다 설정되고, 각 선적항에서 개별 도착항들에 대한 운항 서비스에 대하여 서로 다른 상태 정보와 보상 정보를 기반으로 운항 서비스에 대한 강화학습을 수행하여 액션을 생성하며,
    상기 시뮬레이션 엔진(110)은 에피소드 저장부(130)에 저장된 에피소드의 결과를 기반으로 다음 선적항에 대한 상태 정보와, 복수의 운항 서비스가 항구를 공유하여 컨테이너 할당으로 발생되는 공유 정보(Shared Info)와, 현재 선적항에 대한 비율(at), 현재 선적항에서 할당에 대한 이익 및 컨테이너 불균형 비용(rt), 포트 할당 테이블(Port allocation table, 200)이 포함된 보정 정보를 보상 정보와 함께 강화학습 에이전트(120)로 업데이트하여 다음 강화학습 네트워크에 반영되도록 하는 것을 특징으로 하는 항구별 컨테이너 할당을 위한 강화학습 장치.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 제 1 항에 있어서,
    상기 강화학습 에이전트(120)는 컨테이너의 총량이 결정되면, LP(Liner Programing) 알고리즘에 기반하여 각 도착항 별로 가는 컨테이너의 수량을 할당하되,
    각 도착항 별로 풀컨테이너(Full Container)와 빈컨테이너(Empty Container)를 포함하여 할당하는 것을 특징으로 하는 항구별 컨테이너 할당을 위한 강화학습 장치.
  7. a) 강화학습 에이전트(120)가 강화학습에 이용될 액션에 대한 상태(State) 정보와 보상(Reward) 정보를 시뮬레이션 엔진(110)으로부터 수집하고, 상기 수집된 상태 정보와 보상 정보를 이용한 에피소드를 기반으로 강화학습을 수행하는 단계;
    b) 상기 강화학습 에이전트(120)가 선적항 및 도착항이 수출 중심항 또는 수입 중심항인지 여부에 따른 항구별 특징과, 사용 가능한 컨테이너 수량, 이전 운항 서비스에서 하역된 컨테이너 수량을 기반으로 선적항에서 개별 도착항으로 실어 보낼 컨테이너의 총수량을 결정하는 액션을 생성하는 단계;
    c) 상기 시뮬레이션 엔진(110)이 생성된 액션에 기반하여 선적항(Port Of Loading, POL)에서 하나 이상의 도착항(Port Of Discharge, POD) 별로 할당된 컨테이너 수량을 기반으로 운항 서비스에 따른 시뮬레이션을 수행하는 단계; 및
    d) 상기 시뮬레이션 엔진(110)이 시뮬레이션 결과에 기반하여 강화학습에 이용될 상태 정보와, 할당된 컨테이너 수량을 기반으로 계산된 보상 정보를 상기 강화학습 에이전트(120)로 제공하되, 강화학습 에이전트(120)의 서로 다른 복수의 운항 서비스에 대하여 개별 강화학습을 수행하는 서비스 에이전트 1(121), 서비스 에이전트 2(122) 내지 서비스 에이전트 n(123)에서 개별 생성한 액션에 기반하여 1항차씩 운항 서비스를 완료하면 1 에피소드(Episode)로 종료하고, 상기 에피소드의 결과를 에피소드 저장부(130)에 저장하는 단계;를 포함하고,
    상기 강화학습 에이전트(120)는 서로 다른 복수의 운항 서비스에 대하여 개별 강화학습을 수행하는 서비스 에이전트 1(121), 서비스 에이전트 2(122) 내지 서비스 에이전트 n(123)으로 구성된 다중 에이전트 중에서 임의의 서비스 에이전트를 랜덤(Random) 선택하여 강화학습을 수행하되,
    상기 서비스 에이전트 1 내지 n(121, 122, 123)은 서로 다른 선적항마다 설정되고, 각 선적항에서 개별 도착항들에 대한 운항 서비스에 대하여 서로 다른 상태 정보와 보상 정보를 기반으로 운항 서비스에 대한 강화학습을 수행하여 액션을 생성하며,
    상기 시뮬레이션 엔진(110)은 에피소드 저장부(130)에 저장된 에피소드의 결과를 기반으로 다음 선적항에 대한 상태 정보와, 복수의 운항 서비스가 항구를 공유하여 컨테이너 할당으로 발생되는 공유 정보(Shared Info)와, 현재 선적항에 대한 비율(at), 현재 선적항에서 할당에 대한 이익 및 컨테이너 불균형 비용(rt), 포트 할당 테이블(Port allocation table, 200)이 포함된 보정 정보를 보상 정보와 함께 강화학습 에이전트(120)로 업데이트하여 다음 강화학습 네트워크에 반영되도록 하는 것을 특징으로 하는 항구별 컨테이너 할당을 위한 강화학습 방법.
  8. 삭제
  9. 제 7 항에 있어서,
    상기 b) 단계는 강화학습 에이전트(120)가 컨테이너의 총량을 결정하면, LP(Liner Programing) 알고리즘에 기반하여 각 도착항 별로 가는 컨테이너의 수량을 할당하되,
    각 도착항 별로 풀컨테이너(Full Container)와 빈컨테이너(Empty Container)를 포함하여 할당하는 것을 특징으로 하는 항구별 컨테이너 할당을 위한 강화학습 방법.
  10. 삭제
  11. 삭제
KR1020220075608A 2022-06-21 2022-06-21 항구별 컨테이너 할당을 위한 강화학습 장치 및 방법 KR102556070B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220075608A KR102556070B1 (ko) 2022-06-21 2022-06-21 항구별 컨테이너 할당을 위한 강화학습 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220075608A KR102556070B1 (ko) 2022-06-21 2022-06-21 항구별 컨테이너 할당을 위한 강화학습 장치 및 방법

Publications (1)

Publication Number Publication Date
KR102556070B1 true KR102556070B1 (ko) 2023-07-19

Family

ID=87425593

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220075608A KR102556070B1 (ko) 2022-06-21 2022-06-21 항구별 컨테이너 할당을 위한 강화학습 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102556070B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102264571B1 (ko) * 2020-10-30 2021-06-15 주식회사 애자일소다 계층 구조를 갖는 의사결정 에이전트
KR20210083661A (ko) 2019-12-27 2021-07-07 소프트온넷(주) 인공지능 플래닝 기술 기반 선사 선적 네트워크의 공컨테이너 재배치 최적화 시스템 및 방법
KR102325608B1 (ko) * 2020-11-18 2021-11-15 김태호 컨테이너 터미널의 프리-마셜링의 심층 강화학습 적용을 위한 인공 신경망의 학습 데이터 생성 방법, 및 인공 신경망의 학습 데이터 생성 방법을 실행할 수 있는 컴퓨터 프로그램을 기록한 저장매체
KR102365168B1 (ko) * 2021-09-17 2022-02-18 주식회사 애자일소다 설계 데이터 기반의 물체의 위치 최적화를 위한 강화학습 장치 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210083661A (ko) 2019-12-27 2021-07-07 소프트온넷(주) 인공지능 플래닝 기술 기반 선사 선적 네트워크의 공컨테이너 재배치 최적화 시스템 및 방법
KR102264571B1 (ko) * 2020-10-30 2021-06-15 주식회사 애자일소다 계층 구조를 갖는 의사결정 에이전트
KR102325608B1 (ko) * 2020-11-18 2021-11-15 김태호 컨테이너 터미널의 프리-마셜링의 심층 강화학습 적용을 위한 인공 신경망의 학습 데이터 생성 방법, 및 인공 신경망의 학습 데이터 생성 방법을 실행할 수 있는 컴퓨터 프로그램을 기록한 저장매체
KR102365168B1 (ko) * 2021-09-17 2022-02-18 주식회사 애자일소다 설계 데이터 기반의 물체의 위치 최적화를 위한 강화학습 장치 및 방법

Similar Documents

Publication Publication Date Title
McFarlane et al. Intelligent logistics: Involving the customer
Cordeau et al. Recent models and algorithms for one-to-one pickup and delivery problems
Ancele et al. Toward a more flexible VRP with pickup and delivery allowing consolidations
Rebollo et al. A multi-agent system for the automation of a port container terminal
Pérez Rivera et al. Integrated scheduling of drayage and long-haul operations in synchromodal transport
Sarasola et al. Adaptive large neighborhood search for the vehicle routing problem with synchronization constraints at the delivery location
Wu et al. Integrated cross-supplier order and logistic scheduling in cloud manufacturing
Schmid et al. Mixed model assembly line feeding with discrete location assignments and variable station space
Guo et al. Storage assignment for newly arrived items in forward picking areas with limited open locations
Tirado et al. Improved solutions to dynamic and stochastic maritime pick-up and delivery problems using local search
Fontes et al. A bi-objective multi-population biased random key genetic algorithm for joint scheduling quay cranes and speed adjustable vehicles in container terminals
Kronmueller et al. On-demand grocery delivery from multiple local stores with autonomous robots
Müller et al. Decision support and data visualization for liner shipping fleet repositioning
KR102556070B1 (ko) 항구별 컨테이너 할당을 위한 강화학습 장치 및 방법
Veeravalli et al. Design and analysis of optimal material distribution policies in flexible manufacturing systems using a single AGV
US20240062137A1 (en) Import gateway optimization model
KR102458105B1 (ko) 다중 에이전트 기반의 경로 설정 강화학습 장치 및 방법
Bruni et al. Bin Packing Methodologies for Capacity Planning in Freight Transportation and Logistics
Movassaghi et al. Multiple cross-docks scheduling with multiple doors using fuzzy approach and metaheuristic algorithms
Perez et al. A metaheuristic search technique for solving the warehouse stock management problem and the routing problem in a real company
Kronmueller et al. Pooled grocery delivery with tight deadlines from multiple depots
Antunes et al. Assigning and scheduling service visits in a mixed urban/rural setting
Yang et al. Substitution-based equipment balancing in service networks with multiple equipment types
Zehendner et al. Solving the resource allocation problem in a multimodal container terminal as a network flow problem
Büsing et al. The dial-a-ride problem in primary care with flexible scheduling

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20220621

PA0201 Request for examination
PA0302 Request for accelerated examination

Patent event date: 20220630

Patent event code: PA03022R01D

Comment text: Request for Accelerated Examination

Patent event date: 20220621

Patent event code: PA03021R01I

Comment text: Patent Application

PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20220919

Patent event code: PE09021S01D

PE0902 Notice of grounds for rejection

Comment text: Final Notice of Reason for Refusal

Patent event date: 20230113

Patent event code: PE09021S02D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20230710

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20230711

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20230712

End annual number: 3

Start annual number: 1

PG1601 Publication of registration