KR100978082B1 - 공유 메모리형 멀티 프로세서에 있어서의 비동기 원격 절차 호출 방법 및 비동기 원격 절차 호출 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체 - Google Patents

공유 메모리형 멀티 프로세서에 있어서의 비동기 원격 절차 호출 방법 및 비동기 원격 절차 호출 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체 Download PDF

Info

Publication number
KR100978082B1
KR100978082B1 KR1020087018941A KR20087018941A KR100978082B1 KR 100978082 B1 KR100978082 B1 KR 100978082B1 KR 1020087018941 A KR1020087018941 A KR 1020087018941A KR 20087018941 A KR20087018941 A KR 20087018941A KR 100978082 B1 KR100978082 B1 KR 100978082B1
Authority
KR
South Korea
Prior art keywords
processor
procedure
address
management information
call
Prior art date
Application number
KR1020087018941A
Other languages
English (en)
Other versions
KR20080089620A (ko
Inventor
타카히사 스즈키
히데오 미야케
Original Assignee
후지쯔 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 후지쯔 가부시끼가이샤 filed Critical 후지쯔 가부시끼가이샤
Publication of KR20080089620A publication Critical patent/KR20080089620A/ko
Application granted granted Critical
Publication of KR100978082B1 publication Critical patent/KR100978082B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/06—Addressing a physical block of locations, e.g. base addressing, module addressing, memory dedication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/547—Remote procedure calls [RPC]; Web services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/14—Handling requests for interconnection or transfer
    • G06F13/16—Handling requests for interconnection or transfer for access to memory bus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/133—Protocols for remote procedure calls [RPC]

Abstract

제1 프로세서(22)가 제2 프로세서(23)의 어드레스 공간(26)에 존재하는 절차의 어드레스와, 제1 프로세서(22)의 어드레스 공간(25)에 작성한 절차 관리 정보의 어드레스를 지정하여, 절차의 호출을 행한다. 제2 프로세서(23)는 제1 프로세서(22)에 의해 지정된 어드레스에 있는 절차를 실행한다. 절차의 실행이 종료하면, 제2 프로세서(23)는 제1 프로세서(22)에 절차 관리 정보의 어드레스를 돌려준다. 제1 프로세서(22)는 제2 프로세서(23)로부터 돌려받은 어드레스에 있는 절차 관리 정보의 실행 상태를 「실행 중」으로부터 「종료」로 변경한다.

Description

공유 메모리형 멀티 프로세서에 있어서의 비동기 원격 절차 호출 방법 및 비동기 원격 절차 호출 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체{ASYNCHRONOUS REMOTE PROCEDURE CALLING METHOD IN SHARED MEMORY MULTIPROCESSOR AND COMPUTER-REDABLE REDORDING MEDIUM RECORDED ASYNCHRONOUS REMOTE PROCEDURE CALLING PROGRAM}
본 발명은 공유 메모리형 멀티 프로세서에 있어서의 비동기 원격 절차 호출 방법, 비동기 원격 절차 호출 프로그램 및 기록 매체에 관한 것이다.
일반적으로, 컴퓨터 시스템에 있어서, 복수의 프로세서를 이용하여 절차 호출에 의해 병렬 처리를 행하는 방법으로서, 근거리에서의 절차 호출법과, 원격 절차 호출법이 있다. 도 6 및 도 7은 각각 근거리에서의 절차 호출법 및 원격 절차 호출법의 개념을 나타내는 모식도이다. 도 6에 나타낸 바와 같이, 근거리에서의 절차 호출법은, 동일한 머신(컴퓨터)(1) 내에 설치된 제1 프로세서(2)와 제2 프로세서(3)가 동일한 공유 메모리(4)를 공유하고 있는 구성에 있어서, 제1 프로세서(2)와 제2 프로세서(3) 사이에서 절차 호출을 행하는 방법이다.
이 근거리에서의 절차 호출법에는, 프로세서(2, 3) 간의 통신을 고속으로 행할 수 있다고 하는 이점이 있다. 그러나, 복수의 프로세서(2, 3)가 동일한 메모리 영역을 이용하기 때문에, 프로세서의 수가 증가하면 메모리 액세스의 경합에 의해 메모리 액세스 레이턴시가 증대하여, 컴퓨터의 처리 성능이 향상되기 어려워진다는 문제점이 있다. 또한, 캐시(cash)의 일관성 제어를 행하는 구성이 필요하지만, 프로세서의 수가 증가하면 이 일관성 제어 기구가 복잡해진다는 문제점도 있다.
한편, 도 7에 나타낸 바와 같이, 원격 절차 호출법은 독립된 머신(5, 6) 간에서 이더넷(등록 상표) 등의 네트워크(7)를 통해 절차 호출을 행하는 방법이다. 이 경우, 클라이언트 머신(5) 내의 프로세서(8)는 동 머신(5) 내의 메모리(9)를 사용한다. 또한, 서버 머신(6) 내의 프로세서(10)는 동 머신(6) 내의 메모리(11)를 사용한다. 따라서, 원격 절차 호출법에서는 근거리에서의 절차 호출법과 같은, 메모리 액세스의 경합에 의한 메모리 액세스 레이턴시의 증대나, 캐시의 일관성 제어 기구의 복잡화 등의 문제가 발생하지 않는다.
원격 절차 호출법의 하나로, 비동기 원격 절차 호출법이 있다(예컨대, 특허문헌 1 참조). 이 비동기 원격 절차 호출법에서는 절차를 요구하는 측의 프로세서(이하, "절차 요구측 프로세서"라고 한다)가 다른 프로세서에 대하여 동시에 복수의 원격 절차를 실행시킬 수 있다. 따라서, 절차 요구측 프로세서는 절차를 실행하는 측의 프로세서(이하, "절차 실행측 프로세서"라고 한다)로부터, 절차가 종료했다고 하는 통지를 수취했을 때에는, 그 통지된 절차가 그보다도 전에 요구한 복수의 절차 중 어느 절차인지를 식별할 필요가 있다.
도 8은 비동기 원격 절차 호출법의 개념을 나타내는 모식도이다. 도 8에 나타낸 바와 같이, 비동기 원격 절차 호출법에서는, 절차 요구측 프로세서, 즉, 클라이언트 머신(5) 내의 프로세서(8)는 절차 호출마다, ID 등의 식별자를 붙인 절차 관리 정보(19)를 작성하여, 절차 실행측 프로세서, 즉, 서버 머신(6) 내의 프로세서(10)에 대하여 요구한 복수의 절차를 관리하고 있다. 이 절차 관리 정보(19)는 클라이언트 머신(5) 내의 메모리(9)에 축적된다.
절차 요구측 프로세서가 절차 실행측 프로세서에 대하여 비동기 원격 절차 호출을 행할 때에는, 절차 요구측 프로세서는 절차 실행측 프로세서에 해당하는 절차 관리 정보(19)의 ID를 통지한다. 절차 실행측 프로세서는 요구된 절차의 실행이 완료하면, 절차 요구측 프로세서에 기동 시에 받은 ID를 돌려준다. 절차 요구측 프로세서는 절차 실행측 프로세서로부터 ID를 돌려받으면, 종료 처리를 행하고, 종료의 확인을 행한다.
[특허문헌 1: 일본 특허 공개 평성 제5-290003호 공보]
그러나, 원격 절차 호출법에 있어서, 클라이언트 머신(5) 내의 프로세서(8)가 서버 머신(6) 내의 프로세서(10)에 대하여 절차 호출을 행하기 위해서는, 클라이언트 머신(5) 내의 프로세서(8)는 서버 머신(6) 내의 메모리(11)의 해당하는 절차의 어드레스를 지정할 필요가 있다. 그러나, 클라이언트 머신(5)과 서버 머신(6)이 독립되어 있기 때문에, 클라이언트 머신(5) 내의 프로세서(8)가 서버 머신(6) 내의 메모리(11)의 해당하는 어드레스를 알 수는 없다.
그래서, 종래의 원격 절차 호출법에서는 메모리와 같은 하드웨어에 관한 기술(記述)을 추상화하여, 호출하는 절차를 ID 번호 등의 식별자로 지정하도록 하고 있다. 비동기 원격 절차 호출법에서도 마찬가지이다. 이 경우, 도 9에 모식적으로 나타내는 서버 머신(6) 내의 메모리(11)의 어드레스 공간과 같이, 서버 프로그램용 데이터 영역(12)에, 서버 프로그램용 프로그램 영역(13)에 전개되어 있는 절차(14, 15, 16, 17)의 어드레스와 ID 번호 등의 식별자의 대응 관계를 정하는 테이블(18)을 준비해야 한다. 그만큼, 서버 머신(6) 내의 메모리(11)의 사용량이 증가한다고 하는 문제점이 있다.
또한, 비동기형도 포함하여 원격 절차 호출법에서는 네트워크(7)를 이용하여 머신(5, 6) 간의 통신을 행하기 때문에, 프로세서(8, 10) 간의 통신 속도가 근거리에서의 절차 호출법에 비해서 현저히 느리다. 또한, 서버 머신(6)측에서는 ID 번호 등의 식별자에 대응하는 어드레스를 테이블(18)로부터 검색할 필요가 있기 때문에, 절차 기동 처리에 시간이 걸린다. 그 때문에, 도 10에 나타낸 바와 같이, 클라이언트 머신(5)이 절차 호출을 발하고 나서, 서버 머신(6)에서 해당하는 절차가 실행되기까지의 기동 오버헤드가 길다고 하는 문제점이 있다.
또한, 비동기 원격 절차 호출법에 있어서, 절차 요구측 프로세서가 종료 처리를 행하는 경우에는, 절차 실행측 프로세서로부터 돌려받은 ID를 갖는 절차 관리 정보(19)의 실행 상태를 「실행 중」으로부터 「종료」로 변경할 필요가 있다. 그 때문에, 클라이언트 머신(5) 내의 메모리(9)의 데이터 영역에 절차 관리 정보(19)의 어드레스와 ID의 대응 관계를 정하는 테이블을 준비할 필요가 있다. 그만큼, 클라이언트 머신(5) 내의 메모리(9)의 사용량이 증가한다고 하는 문제점이 있다. 또한, 절차 실행측 프로세서로부터 돌려받은 ID에 대응하는 절차 관리 정보(19)의 어드레스를 테이블로부터 검색할 필요가 있기 때문에, 종료 처리에 시간이 걸린다고 하는 문제점이 있다.
본 발명은 상기에 감안하여 이루어진 것으로, 메모리를 공유한 복수의 프로세서 간의 통신에 비동기 원격 절차 호출법을 적용하고, 또한 클라이언트 머신 및 서버 머신 내의 메모리의 사용량의 삭감과, 절차 기동 처리 및 종료 처리의 고속화를 도모할 수 있는 공유 메모리형 멀티 프로세서에 있어서의 비동기 원격 절차 호출 방법을 제공하는 것을 목적으로 한다. 또한, 본 발명은 그와 같은 비동기 원격 절차 호출 방법을 컴퓨터에 실행시키기 위한 비동기 원격 절차 호출 프로그램 및 그 프로그램을 기록한, 컴퓨터가 판독 가능한 기록 매체를 제공하는 것을 목적으로 한다.
상술한 과제를 해결하고, 목적을 달성하기 위해, 본 발명은 복수의 프로세서가 동일한 메모리를 공유하고, 또한 그 메모리에 각 프로세서가 각각 독립된 어드레스 공간을 가지고, 또한 각 프로세서가 상호 버스를 이용한 프로세서 간 통신을 통해 통신 가능하게 구성된 공유 메모리형 멀티 프로세서에 적용 가능한 비동기 원격 절차 호출 방법이다. 그 비동기 원격 절차 호출 방법은 이하의 특징을 갖는다.
우선, 제1 프로세서가, 제2 프로세서가 관리하는 어드레스 공간에 존재하는 절차의 어드레스와, 제1 프로세서가 관리하는 어드레스 공간에 존재하는 절차 관리 정보의 어드레스를 지정하여, 제2 프로세서에 대하여 비동기 원격 절차의 호출을 행한다. 그 절차의 호출에 응답하여, 제2 프로세서는 제1 프로세서에 의해 지정된 어드레스(절차의 어드레스)에 있는 절차를 기동하여 실행한다. 절차의 실행이 종료하면, 제2 프로세서는, 제1 프로세서에 기동 시에 받은 절차 관리 정보의 어드레스를 돌려주고, 절차의 종료를 통지한다. 그 종료 통지에 응답하여, 제1 프로세서는 해당하는 절차 관리 정보의 실행 상태를 「실행 중」으로부터 「종료」로 변경한다.
본 발명에 따르면, 비동기 원격 절차 호출에 의해 호출된 측의 프로세서가, 호출한 측의 프로세서에 의해 지정된 어드레스로부터 직접, 절차를 기동할 수 있다. 따라서, 종래의 원격 절차 호출법의 절차 기동 처리에서 필요했던, 식별자에 대응하는 어드레스를 검색하는 처리를 행하지 않고 끝나기 때문에, 절차의 기동 처리에 요하는 시간이 단축되어, 고속으로 절차를 기동할 수 있다. 또한, 절차 관리 정보를 ID를 이용하지 않고 어드레스로 지정함으로써, 종래의 비동기 원격 절차 호출법의 종료 처리에서 필요했던, ID에 대응하는 어드레스를 검색하는 처리를 행하지 않고 끝나기 때문에, 종료 처리를 고속으로 행할 수 있다. 또한, 절차의 어드레스와 식별자의 대응 관계를 정하는 테이블 및 절차 관리 정보의 어드레스와 ID의 대응 관계를 정하는 테이블이 불필요하기 때문에, 메모리의 사용량을 삭감할 수 있다.
도 1은 본 발명에 따른 공유 메모리형 멀티 프로세서에 있어서의 비동기 원격 절차 호출법의 개념을 나타내는 모식도이다.
도 2는 실시예 1의 하드웨어 구성의 주요부를 나타내는 블록도이다.
도 3은 소프트웨어의 구성을 설명하기 위한 모식도이다.
도 4는 실시예 1의 비동기 원격 절차 호출 방법의 순서를 나타내는 플로우 챠트이다.
도 5는 실시예 2의 비동기 원격 절차 호출 방법의 순서를 나타내는 플로우 챠트이다.
도 6은 종래의 근거리에서의 절차 호출법의 개념을 나타내는 모식도이다.
도 7은 종래의 원격 절차 호출법의 개념을 나타내는 모식도이다.
도 8은 종래의 비동기 원격 절차 호출법의 개념을 나타내는 모식도이다.
도 9는 종래의 원격 절차 호출법에 있어서의 서버 머신 내의 메모리의 어드레스 공간을 나타내는 모식도이다.
도 10은 종래의 원격 절차 호출법에 있어서의 절차 기동 시의 타이밍을 나타내는 모식도이다.
<도면의 주요 부분에 대한 부호의 설명>
22, 23, 31, 32: 프로세서
24, 34: 공유 메모리
25, 26: 어드레스 공간
27, 37, 39: 프로세서 간 통신
35, 36: 레지스터
이하에, 본 발명에 따른 메모리형 멀티 프로세서에 있어서의 비동기 원격 절차 호출 방법, 비동기 원격 절차 호출 프로그램 및 기록 매체의 실시예를 도면에 기초하여 상세히 설명한다. 또한, 이 실시예에 의해 본 발명이 한정되는 것은 아니 다. 또한, 본 발명에 있어서는, 멀티 프로세서란, 1개의 IC 칩에 복수의 프로세서가 설치되어 있는 경우와, 복수의 IC 칩의 각각에 1개 또는 2개 이상의 프로세서가 설치되어 있는 경우의 양방을 포함하는 것이다.
도 1은 본 발명에 따른 공유 메모리형 멀티 프로세서에 있어서의 비동기 원격 절차 호출법의 개념을 나타내는 모식도이다. 도 1에 나타낸 바와 같이, 동일한 머신(컴퓨터)(21) 내에 설치된 제1 프로세서(22)와 제2 프로세서(23)는 동일한 공유 메모리(24)를 물리적으로 공유하고 있다. 그리고, 공유 메모리(24)의, 제1 프로세서(22)가 관리하는 어드레스 공간(25)과, 제2 프로세서(23)가 관리하는 어드레스 공간(26)은 독립되어 있다.
이 구성에서는 제1 프로세서(22)와 제2 프로세서(23) 사이에서 비동기 원격 절차 호출법을 적용하여 절차 호출을 행할 수 있다. 그때, 종래의 비동기 원격 절차 호출법과 같이 메모리의 어드레스를 식별자로 추상화할 필요는 없다. 그 때문에, 제1 프로세서(22)는 제2 프로세서(23)가 관리하는 어드레스 공간(26)의 어드레스를 지정하여, 프로세서 간 통신(27)을 통해 비동기 원격 절차 호출을 행한다. 프로세서 간 통신(27)으로서 버스를 이용함으로써, 프로세서 간의 통신 속도는 근거리에서의 절차 호출과 마찬가지로 고속화된다.
또한, 절차 호출에 의해 호출된 제2 프로세서(23)가 절차 기동 처리에 있어서 식별자에 대응하는 어드레스를 검색할 필요가 없기 때문에, 절차 기동 처리에 요하는 시간이 단축된다. 이들 통신 속도의 고속화와 절차 기동 처리 시간의 단축화에 의해, 제1 프로세서(22)가 제2 프로세서(23)에 절차 호출을 통지하고 나서, 제2 프로세서(23)가 해당하는 절차의 실행을 시작하기까지의 기동 오버헤드가 단축되기 때문에, 고속으로 원격 절차를 기동할 수 있다.
또한, 식별자와 어드레스의 대응 관계를 정하는 테이블이 불필요해지기 때문에, 공유 메모리(24)의 사용량을 줄일 수 있다. 또한, 어드레스 공간(25, 26)이 독립되어 있음으로써, 캐시의 일관성의 제어나 메모리 액세스의 경합의 제어가 간단해지기 때문에, 동일 메모리를 공유하는 프로세서의 수가 3개 이상으로 증가하여도 컴퓨터의 처리 성능이 향상한다.
또한, 제1 프로세서(22)는 제1 프로세서(22)가 관리하는 어드레스 공간(25)에 절차 관리 정보를 작성하여, 그 절차 관리 정보의 어드레스를 제2 프로세서(23)에 건네준다. 제2 프로세서(23)는 요구된 절차의 실행이 완료하면, 제1 프로세서(22)에 기동 시에 받은 어드레스를 돌려준다. 제1 프로세서(22)는 제2 프로세서(23)로부터 돌려받은 어드레스에 있는 절차 관리 정보의 실행 상태를 「실행 중」으로부터 「종료」로 변경하여, 종료 처리를 행한다. 따라서, 제1 프로세서(22)가 절차 관리 정보의 ID에 대응하는 어드레스를 검색할 필요가 없기 때문에, 종료 처리에 요하는 시간이 단축된다. 또한, 절차 관리 정보의 ID와 어드레스의 대응 관계를 정하는 테이블이 불필요해지기 때문에, 공유 메모리(24)의 사용량을 줄일 수 있다.
[실시예 1]
도 2는 실시예 1의 하드웨어 구성의 주요부를 나타내는 블록도이다. 도 2에 나타낸 바와 같이, 제1 프로세서(31)와 제2 프로세서(32)는 버스(33)를 통해 공유 메모리(34)에 접속되어 있으며, 이 공유 메모리(34)를 물리적으로 공유하고 있다. 제1 프로세서(31)에는 호출하는 절차의 어드레스 및 그 절차를 관리하는 절차 관리 정보의 어드레스가 기록되는 통신용 레지스터(35)가 설치되어 있다. 제2 프로세서(32)에는 호출되는 절차의 어드레스 및 그 절차를 관리하는 절차 관리 정보의 어드레스가 기록되는 통신용 레지스터(36)가 설치되어 있다.
제1 프로세서(31)의 통신용 레지스터(35)와 제2 프로세서(32)의 통신용 레지스터(36)는 버스를 이용한 데이터 통신용 프로세서 간 통신(37)에 접속되어 있다. 이 데이터 통신용 프로세서 간 통신(37)에는 복수의 큐(queue) 형상의 데이터 버퍼(38)가 설치되어 있으며, 제1 프로세서(31)의 통신용 레지스터(35)와 제2 프로세서(32)의 통신용 레지스터(36) 사이에서 복수 데이터의 통신을 할 수 있게 되어 있다. 또한, 제1 프로세서(31)와 제2 프로세서(32)는 버스를 이용한 기동 통지용 프로세서 간 통신(39)에 접속되어 있다.
도 3은 소프트웨어의 구성을 설명하기 위한 모식도이다. 도 3에 나타낸 바와 같이, 절차 요구측 프로세서, 즉, 상기 예의 제1 프로세서(31)에는 클라이언트 프로그램(41)과 비동기 원격 절차 호출용의 라이브러리[원격 절차 호출 라이브러리(42)]가 실려 있다. 한편, 절차 실행측 프로세서인 제2 프로세서(32)에는 서버 프로그램(43)과 비동기 원격 절차 호출용의 라이브러리[원격 절차 호출 라이브러리(44)]가 실려 있다. 제1 프로세서(31)에 있어서, 클라이언트 프로그램(41)이 원격 절차 호출 라이브러리(42)에 대하여 비동기 원격 절차 호출을 요구하면, 제2 프로세서(32)에서 라이브러리에 의해 요구된 절차가 실행된다.
도 4는 실시예 1의 절차 호출 방법의 순서를 나타내는 플로우 챠트이다. 도 4에 나타낸 바와 같이, 우선, 제1 프로세서(31)에서는 클라이언트 프로그램(41)이 원격 절차 호출 라이브러리(42)에 대하여 비동기 원격 절차 호출을 요구한다(단계 S1). 그에 따라, 제1 프로세서(31)에서는 원격 절차 호출 라이브러리(42)가 공유 메모리(34)의 제1 프로세서(31)가 관리하는 어드레스 공간에 절차 관리 정보를 생성하여, 그 관리 정보의 절차의 실행 상태를 「실행 중」으로 설정한다(단계 S2). 계속해서, 원격 절차 호출 라이브러리(42)는 요구된 절차의 어드레스를 제1 프로세서(31)의 통신용 레지스터(35)에 기록한다(단계 S3). 계속해서, 제1 프로세서(31)에서는 원격 절차 호출 라이브러리(42)가 절차 관리 정보의 어드레스를 제1 프로세서(31)의 통신용 레지스터(35)에 기록한다(단계 S4).
제1 프로세서(31)의 통신용 레지스터(35)에 기록된 내용은 데이터 통신용 프로세서 간 통신(37)에 설치된 데이터 버퍼(38)에 순차 저장된다. 데이터 버퍼(38)에 최초로 저장된 절차 어드레스는 제2 프로세서(32)의 통신용 레지스터(36)에 전송되어 기록된다. 그리고, 제1 프로세서(31)에서는 원격 절차 호출 라이브러리(42)가 제2 프로세서(32)에 대하여 절차의 호출을 통지한다(단계 S5).
제2 프로세서(32)는 제1 프로세서(31)로부터 절차의 호출 통지를 수취하면, 실행 중인 처리를 중단한다(단계 S6). 그리고, 제2 프로세서(32)의 원격 절차 호출 라이브러리(44)는 제2 프로세서(32)의 통신용 레지스터(36)로부터 절차의 어드레스를 독입한다(단계 S7). 그에 따라, 데이터 버퍼(38)에 저장된 절차 관리 정보의 어드레스가 제2 프로세서(32)의 통신용 레지스터(36)에 전송되어 기록되기 때문에, 제2 프로세서(32)의 원격 절차 호출 라이브러리(44)는 제2 프로세서(32)의 통신용 레지스터(36)로부터 절차 관리 정보의 어드레스를 독입한다(단계 S8). 그리고, 제2 프로세서(32)의 원격 절차 호출 라이브러리(44)가 절차의 기동 처리를 행하고(단계 S9), 제2 프로세서(32)의 서버 프로그램(43)에 의해 절차가 실행된다(단계 S10).
절차의 실행이 종료하면, 제2 프로세서(32)의 원격 절차 호출 라이브러리(44)는 절차를 기동할 때에 제1 프로세서(31)로부터 받은 절차 관리 정보의 어드레스를 제2 프로세서(32)의 통신용 레지스터(36)에 기록한다(단계 S11). 제2 프로세서(32)의 통신용 레지스터(36)에 기록된 어드레스는 데이터 통신용 프로세서 간 통신(37)을 통해 제1 프로세서(31)의 통신용 레지스터(35)에 전송되어 기록된다. 그리고, 제2 프로세서(32)에서는 원격 절차 호출 라이브러리(44)가 제1 프로세서(31)에 대하여 절차의 종료를 통지한다(단계 S12).
제1 프로세서(31)의 원격 절차 호출 라이브러리(42)는 제2 프로세서(32)로부터 절차의 종료 통지를 수취하면, 제1 프로세서(31)의 통신용 레지스터(35)로부터 절차 관리 정보의 어드레스를 독입한다(단계 S13). 그리고, 제1 프로세서(31)의 원격 절차 호출 라이브러리(42)는 통신용 레지스터(35)로부터 독입한 어드레스에 있는 절차 관리 정보의 절차의 실행 상태를 「실행 중」으로부터 「종료」로 변경한다(단계 S14). 또한, 제1 프로세서(31)의 클라이언트 프로그램(41)이 절차의 종료 확인을 행하면, 제1 프로세서(31)의 원격 절차 호출 라이브러리(42)는 대응하는 절차 관리 정보의 실행 상태를 클라이언트 프로그램(41)에 돌려준다.
[실시예 2]
실시예 2의 하드웨어 구성과 소프트웨어의 구성은 실시예 1과 동일하기 때문에, 중복되는 설명을 생략한다. 도 5는 실시예 2의 절차 호출 방법의 순서를 나타내는 플로우 챠트이다. 도 5에 나타낸 바와 같이, 제2 프로세서(32)는, 상시, 다른 프로세서로부터의 절차의 기동 통지를 대기하고 있다(단계 S21). 그 상태에서, 실시예 1과 마찬가지로, 제1 프로세서(31)가 절차의 어드레스와 절차 관리 정보의 어드레스를 지정하여, 제2 프로세서(32)에 대하여 절차의 호출을 통지하면(단계 S1∼S5), 제2 프로세서(32)는 제1 프로세서(31)로부터 절차의 호출 통지를 수취하여, 단계 S21의 절차의 기동 통지 대기 상태를 해제한다.
그리고, 제2 프로세서(32)는, 실시예 1과 마찬가지로, 제2 프로세서(32)의 통신용 레지스터(36)로부터 절차의 어드레스와 절차 관리 정보의 어드레스를 독입하여(단계 S7, S8), 절차의 기동 처리를 행하고, 절차를 실행한다(단계 S9, S10). 절차의 실행이 종료하면, 제2 프로세서(32)의 원격 절차 호출 라이브러리(44)는 절차를 기동할 때에 제1 프로세서(31)로부터 받은 절차 관리 정보의 어드레스를 제2 프로세서(32)의 통신용 레지스터(36)에 기록하여(단계 S11), 절차의 종료를 통지한다(단계 S12). 제1 프로세서(31)는 제2 프로세서(32)로부터 절차의 종료 통지를 수취하고, 제1 프로세서(31)의 통신용 레지스터(35)로부터 절차 관리 정보의 어드레스를 독입하여(단계 S13), 그 어드레스에 있는 절차 관리 정보의 절차의 실행 상태를 「실행 중」으로부터 「종료」로 변경한다(단계 S14).
또한, 상술한 실시예 1 또는 2에 있어서, 데이터 통신용 프로세서 간 통신(37)에 데이터 버퍼(38)가 설치되어 있지 않아도 된다. 또, 데이터 통신용 프로 세서 간 통신(37)을 설치하는 대신에, 제1 프로세서(31)와 제2 프로세서(32)가 공유하는 공유 메모리(34) 상에, 프로세서 간의 데이터 통신에 사용되는 데이터 통신용 영역이 설치되어 있어, 제1 프로세서(31) 및 제2 프로세서(32)가 이 데이터 통신용 영역을 이용하여 절차의 어드레스나 절차 관리 정보의 어드레스의 교환을 행하도록 해도 된다.
이상과 같이, 본 발명에 따른 공유 메모리형 멀티 프로세서에 있어서의 비동기 원격 절차 호출 방법, 비동기 원격 절차 호출 프로그램 및 기록 매체는, 복수의 프로세서가 동일한 메모리를 물리적으로 공유하는 구성의 멀티 프로세서에 유용하며, 특히, 멀티 프로세서에 의해 병렬 처리를 행하는 컴퓨터 시스템에 적합하다.

Claims (12)

  1. 상호 버스를 이용한 프로세서 간 통신을 통해 통신 가능한 복수의 프로세서가 동일한 메모리를 공유하고, 또한 상기 메모리에 상기 프로세서가 각각 독립된 어드레스 공간을 갖는 공유 메모리형 멀티 프로세서의 제1 프로세서가 제2 프로세서에 대하여 비동기 원격 절차 호출을 행하는 공유 메모리형 멀티 프로세서에 있어서의 비동기 원격 절차 호출 방법에 있어서,
    상기 제1 프로세서가 상기 메모리의 상기 제1 프로세서가 관리하는 어드레스 공간에, 상기 제2 프로세서에 실행시키는 절차를 관리하기 위한 절차 관리 정보를 작성하여, 상기 절차 관리 정보의 절차의 상태를 실행 중으로 하는 공정과,
    상기 제1 프로세서가 상기 제2 프로세서에 상기 절차 관리 정보의 어드레스를 통지하여, 상기 제2 프로세서에 대하여 절차의 호출을 행하는 공정과,
    상기 제2 프로세서가 상기 메모리의 상기 제2 프로세서가 관리하는 어드레스 공간에 있는, 상기 제1 프로세서의 절차 호출에 의해 지정된 절차의 어드레스에 있는 절차를 기동하여 실행하는 공정과,
    상기 제2 프로세서가 상기 제1 프로세서에 상기 절차 관리 정보의 어드레스를 통지하여, 상기 제1 프로세서에 대하여 절차의 종료를 통지하는 공정과,
    상기 제1 프로세서가 상기 메모리의 상기 제1 프로세서가 관리하는 어드레스 공간에 있는, 상기 제2 프로세서로부터 돌려받은 상기 절차 관리 정보의 어드레스에 있는 절차 관리 정보의 절차의 상태를 종료로 변경하는 공정
    을 포함하는 것을 특징으로 하는 공유 메모리형 멀티 프로세서에 있어서의 비동기 원격 절차 호출 방법.
  2. 상호 버스를 이용한 프로세서 간 통신을 통해 통신 가능한 복수의 프로세서가 동일한 메모리를 공유하고, 또한 상기 메모리에 상기 프로세서가 각각 독립된 어드레스 공간을 갖는 공유 메모리형 멀티 프로세서의 제1 프로세서가 제2 프로세서에 대하여 비동기 원격 절차 호출을 행하는 공유 메모리형 멀티 프로세서에 있어서의 비동기 원격 절차 호출 방법에 있어서,
    상기 제1 프로세서가 상기 메모리의 상기 제1 프로세서가 관리하는 어드레스 공간에, 상기 제2 프로세서에 실행시키는 절차를 관리하기 위한 절차 관리 정보를 작성하여, 상기 절차 관리 정보의 절차의 상태를 실행 중으로 하는 공정과,
    상기 제1 프로세서가 상기 제2 프로세서에 상기 절차 관리 정보의 어드레스를 통지하여, 상기 제2 프로세서에 대하여 절차의 호출을 행하는 공정과,
    상기 제2 프로세서에 의한 절차의 실행이 종료한 후에, 상기 제1 프로세서가 상기 메모리의 상기 제1 프로세서가 관리하는 어드레스 공간에 있는, 상기 제2 프로세서로부터 돌려받은 상기 절차 관리 정보의 어드레스에 있는 절차 관리 정보의 절차의 상태를 종료로 변경하는 공정
    을 포함하는 것을 특징으로 하는 공유 메모리형 멀티 프로세서에 있어서의 비동기 원격 절차 호출 방법.
  3. 상호 버스를 이용한 프로세서 간 통신을 통해 통신 가능한 복수의 프로세서가 동일한 메모리를 공유하고, 또한 상기 메모리에 상기 프로세서가 각각 독립된 어드레스 공간을 갖는 공유 메모리형 멀티 프로세서의 제1 프로세서가 제2 프로세서에 대하여 비동기 원격 절차 호출을 행하는 공유 메모리형 멀티 프로세서에 있어서의 비동기 원격 절차 호출 방법에 있어서,
    상기 제2 프로세서가, 상기 제1 프로세서로부터 상기 메모리의 상기 제1 프로세서가 관리하는 어드레스 공간에 있는, 상기 제2 프로세서가 실행하는 절차를 관리하기 위한 절차 관리 정보의 어드레스를 수취하여, 상기 메모리의 상기 제2 프로세서가 관리하는 어드레스 공간에 있는, 상기 제1 프로세서의 절차 호출에 의해 지정된 절차를 기동하여 실행하는 공정과,
    상기 제2 프로세서가 상기 제1 프로세서에 상기 절차 관리 정보의 어드레스를 통지하여, 상기 제1 프로세서에 대하여 절차의 종료를 통지하는 공정
    을 포함하는 것을 특징으로 하는 공유 메모리형 멀티 프로세서에 있어서의 비동기 원격 절차 호출 방법.
  4. 제1항 또는 제2항에 있어서, 상기 제1 프로세서는 상기 메모리의 상기 제2 프로세서가 관리하는 어드레스 공간에 존재하는 절차의 어드레스를 지정하여, 상기 제2 프로세서에 대하여 절차의 호출을 행하는 공정을 더 포함하는 공유 메모리형 멀티 프로세서에 있어서의 비동기 원격 절차 호출 방법.
  5. 제1항에 있어서, 상기 제2 프로세서는, 상기 제1 프로세서로부터 상기 메모리의, 상기 제2 프로세서가 관리하는 어드레스 공간에 존재하는 어드레스를 수취하여, 상기 어드레스에 있는 절차를 기동하여 실행하는 것을 특징으로 하는 공유 메모리형 멀티 프로세서에 있어서의 비동기 원격 절차 호출 방법.
  6. 삭제
  7. 삭제
  8. 제1항에 있어서, 상기 제1 프로세서는 상기 제1 프로세서가 내장하는 레지스터에 상기 절차 관리 정보의 어드레스를 기록하고,
    상기 제2 프로세서는 상기 프로세서 간 통신을 통해 상기 레지스터로부터 전송되어, 상기 제2 프로세서가 내장하는 레지스터에 기록된 어드레스를 독입하는 것 을 특징으로 하는 공유 메모리형 멀티 프로세서에 있어서의 비동기 원격 절차 호출 방법.
  9. 상호 버스를 이용한 프로세서 간 통신을 통해 통신 가능한 복수의 프로세서가 동일한 메모리를 공유하고, 또한 상기 메모리에 상기 프로세서가 각각 독립된 어드레스 공간을 갖는 공유 메모리형 멀티 프로세서의 제1 프로세서가 제2 프로세서에 대하여 비동기 원격 절차 호출을 행하는 공유 메모리형 멀티 프로세서에 있어서의 비동기 원격 절차 호출 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체로서, 상기 비동기 원격 절차 호출 프로그램은,
    상기 제1 프로세서에서, 상기 메모리의 상기 제1 프로세서가 관리하는 어드레스 공간에 상기 제2 프로세서에 실행시키는 절차를 관리하기 위한 절차 관리 정보를 작성시켜, 상기 절차 관리 정보의 절차의 상태를 실행 중에 시키는 공정과,
    상기 제1 프로세서에서, 상기 제2 프로세서에 상기 절차 관리 정보의 어드레스를 통지시켜, 상기 제2 프로세서에 대하여 절차의 호출을 행하게 하는 공정과,
    상기 제2 프로세서에서, 상기 메모리의 상기 제2 프로세서가 관리하는 어드레스 공간에 있는, 상기 제1 프로세서의 절차 호출에 의해 지정된 절차를 기동하여 실행시키는 공정과,
    상기 제2 프로세서에서, 상기 제1 프로세서에 상기 절차 관리 정보의 어드레스를 통지시켜, 상기 제1 프로세서에 대하여 절차의 종료를 통지시키는 공정과,
    상기 제1 프로세서에서, 상기 메모리의 상기 제1 프로세서가 관리하는 어드레스 공간에 있는, 상기 제2 프로세서로부터 돌려받은 상기 절차 관리 정보의 어드레스에 있는 절차 관리 정보의 절차의 상태를 종료로 변경시키는 공정
    을 컴퓨터에 실행시키는 것을 특징으로 하는 공유 메모리형 멀티 프로세서에 있어서의 비동기 원격 절차 호출 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체.
  10. 상호 버스를 이용한 프로세서 간 통신을 통해 통신 가능한 복수의 프로세서가 동일한 메모리를 공유하고, 또한 상기 메모리에 상기 프로세서가 각각 독립된 어드레스 공간을 갖는 공유 메모리형 멀티 프로세서의 제1 프로세서가 제2 프로세서에 대하여 비동기 원격 절차 호출을 행하는 공유 메모리형 멀티 프로세서에 있어서의 비동기 원격 절차 호출 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체로서, 상기 비동기 원격 절차 호출 프로그램은,
    상기 제1 프로세서에서, 상기 메모리의 상기 제1 프로세서가 관리하는 어드레스 공간에 상기 제2 프로세서에 실행시키는 절차를 관리하기 위한 절차 관리 정보를 작성시켜, 상기 절차 관리 정보의 절차의 상태를 실행 중에 시키는 공정과,
    상기 제1 프로세서에서, 상기 제2 프로세서에 상기 절차 관리 정보의 어드레스를 통지시켜, 상기 제2 프로세서에 대하여 절차의 호출을 행하게 하는 공정과,
    상기 제2 프로세서에 의한 절차의 실행이 종료한 후에, 상기 제1 프로세서에서, 상기 메모리의 상기 제1 프로세서가 관리하는 어드레스 공간에 있는, 상기 제2 프로세서로부터 돌려받은 상기 절차 관리 정보의 어드레스에 있는 절차 관리 정보의 절차의 상태를 종료로 변경시키는 공정
    을 컴퓨터에 실행시키는 것을 특징으로 하는 공유 메모리형 멀티 프로세서에 있어서의 비동기 원격 절차 호출 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체.
  11. 상호 버스를 이용한 프로세서 간 통신을 통해 통신 가능한 복수의 프로세서가 동일한 메모리를 공유하고, 또한 상기 메모리에 상기 프로세서가 각각 독립된 어드레스 공간을 갖는 공유 메모리형 멀티 프로세서의 제1 프로세서가 제2 프로세서에 대하여 비동기 원격 절차 호출을 행하는 공유 메모리형 멀티 프로세서에 있어서의 비동기 원격 절차 호출 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체로서, 상기 비동기 원격 절차 호출 프로그램은,
    상기 제2 프로세서에서, 상기 제1 프로세서로부터 상기 메모리의 상기 제1 프로세서가 관리하는 어드레스 공간에 있는, 상기 제2 프로세서가 실행하는 절차를 관리하기 위한 절차 관리 정보의 어드레스를 수취시켜, 상기 메모리의 상기 제2 프로세서가 관리하는 어드레스 공간에 있는, 상기 제1 프로세서의 절차 호출에 의해 지정된 절차를 기동하여 실행시키는 공정과,
    상기 제2 프로세서에서, 상기 제1 프로세서에 상기 절차 관리 정보의 어드레스를 통지시켜, 상기 제1 프로세서에 대하여 절차의 종료를 통지시키는 공정
    을 컴퓨터에 실행시키는 것을 특징으로 하는 공유 메모리형 멀티 프로세서에 있어서의 비동기 원격 절차 호출 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체.
  12. 삭제
KR1020087018941A 2006-01-31 2006-01-31 공유 메모리형 멀티 프로세서에 있어서의 비동기 원격 절차 호출 방법 및 비동기 원격 절차 호출 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체 KR100978082B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2006/301533 WO2007088582A1 (ja) 2006-01-31 2006-01-31 共有メモリ型マルチプロセッサにおける非同期遠隔手続き呼び出し方法、非同期遠隔手続き呼び出しプログラムおよび記録媒体

Publications (2)

Publication Number Publication Date
KR20080089620A KR20080089620A (ko) 2008-10-07
KR100978082B1 true KR100978082B1 (ko) 2010-08-26

Family

ID=38327169

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020087018941A KR100978082B1 (ko) 2006-01-31 2006-01-31 공유 메모리형 멀티 프로세서에 있어서의 비동기 원격 절차 호출 방법 및 비동기 원격 절차 호출 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체

Country Status (4)

Country Link
US (1) US8117626B2 (ko)
JP (1) JP4734348B2 (ko)
KR (1) KR100978082B1 (ko)
WO (1) WO2007088582A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2494454A4 (en) * 2009-10-30 2013-05-15 Intel Corp TWO-WAY COMMUNICATION SUPPORT FOR HETEROGENIC PROCESSORS ENERGY COMPUTER PLATFORM
JP5811211B2 (ja) * 2014-02-27 2015-11-11 富士通株式会社 マルチコアプロセッサシステム、マルチコアプロセッサシステムの制御方法、およびマルチコアプロセッサシステムの制御プログラム
US20160034411A1 (en) * 2014-08-04 2016-02-04 Qualcomm Innovation Center, Inc. Subsystem Peripheral Ownership Scheduling and Reconfiguration for Highly Integrated System on Chips
US11520913B2 (en) * 2018-05-11 2022-12-06 International Business Machines Corporation Secure execution support for A.I. systems (and other heterogeneous systems)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0816540A (ja) * 1994-06-29 1996-01-19 Fujitsu Ltd 並列計算機におけるメッセージ通信方式

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0619785A (ja) * 1992-03-27 1994-01-28 Matsushita Electric Ind Co Ltd 分散共有仮想メモリーとその構成方法
JPH05290003A (ja) * 1992-04-13 1993-11-05 Matsushita Electric Ind Co Ltd 非同期型遠隔手続き呼び出し装置
JP3322754B2 (ja) * 1994-05-17 2002-09-09 富士通株式会社 並列計算機
US6721941B1 (en) * 1996-08-27 2004-04-13 Compuware Corporation Collection of timing and coverage data through a debugging interface
US6014710A (en) * 1997-06-30 2000-01-11 Sun Microsystems, Inc. System and method for message transmission between network nodes using remote wires
JPH11120156A (ja) 1997-10-17 1999-04-30 Nec Corp マルチプロセッサシステムにおけるデータ通信方式
US7337448B1 (en) * 2003-06-25 2008-02-26 Microsoft Corporation Address book clearinghouse interface system and method
EP1515233A3 (en) * 2003-08-06 2007-03-14 Matsushita Electric Industrial Co., Ltd. Method, server and client for reducing processing time in synchronous communication in a client-server distributed system

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0816540A (ja) * 1994-06-29 1996-01-19 Fujitsu Ltd 並列計算機におけるメッセージ通信方式

Also Published As

Publication number Publication date
KR20080089620A (ko) 2008-10-07
US8117626B2 (en) 2012-02-14
US20080295120A1 (en) 2008-11-27
WO2007088582A1 (ja) 2007-08-09
JPWO2007088582A1 (ja) 2009-06-25
JP4734348B2 (ja) 2011-07-27

Similar Documents

Publication Publication Date Title
US5867704A (en) Multiprocessor system shaving processor based idle state detection and method of executing tasks in such a multiprocessor system
JPH03214337A (ja) 密結合マルチプロセッサシステムにおけるキャッシュメモリ一致制御方法
JP6514329B2 (ja) メモリアクセス方法、スイッチ、およびマルチプロセッサシステム
US9183150B2 (en) Memory sharing by processors
EP3404537B1 (en) Processing node, computer system and transaction conflict detection method
US5249297A (en) Methods and apparatus for carrying out transactions in a computer system
KR100978082B1 (ko) 공유 메모리형 멀티 프로세서에 있어서의 비동기 원격 절차 호출 방법 및 비동기 원격 절차 호출 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체
JP5213485B2 (ja) マルチプロセッサシステムにおけるデータ同期方法及びマルチプロセッサシステム
EP0531003A1 (en) Data processing with bidirectional data bus reservation priority controls
CN115114042A (zh) 存储数据访问方法、装置、电子设备和存储介质
KR101695845B1 (ko) 캐시 일관성 유지 장치 및 방법, 이를 이용하는 멀티프로세서 장치
CN109992539B (zh) 双主机协同工作装置
CN114356839B (zh) 处理写操作的方法、设备、处理器及设备可读存储介质
KR100978083B1 (ko) 공유 메모리형 멀티 프로세서에 있어서의 절차 호출 방법 및 절차 호출 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체
JP4856413B2 (ja) 演算処理装置、情報処理装置、及び演算処理装置の制御方法
US20130247065A1 (en) Apparatus and method for executing multi-operating systems
JP2001236335A (ja) 分散メモリ型並列計算機及びそのデータ転送終了確認方法
JPH0680503B2 (ja) 相互問い合わせ要求に優先権を与える方法及び装置
JPH10240695A (ja) Ｓｃｉシステムにおける複数の未処理要求の局所記憶装置を用いた操作
CN117539802B (zh) 一种缓存操作方法、系统以及相关装置
US20230315636A1 (en) Multiprocessor system cache management with non-authority designation
WO2024000510A1 (zh) 一种处理请求的方法、装置及系统
JP2517859B2 (ja) 並列プロセス管理方法
US8301845B2 (en) Access control method and computer system
CN112306698A (zh) 一种numa系统中的临界区执行方法及装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130801

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140808

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20150716

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20160720

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20170719

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20180718

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20190718

Year of fee payment: 10