KR20230070488A - 체화된 동작주들의 이벤트 표현 - Google Patents

Abstract

체화된 동작주가 경험한 감각운동 이벤트를 상기 이벤트를 정의하는 문장에 매핑하는 WM 이벤트 표현의 기호 필드들로 파싱하기 위한, 컴퓨터로 구현되는 방법으로서, 상기 이벤트는 참여자 목적어에 주목하는 단계; 참여자 목적어를 분류하는 단계; 및 이벤트에 대한 일련의 계단식 결정을 내리는 단계 - 일부 결정은 이전 결정의 결과에 따라 조건부임 - 를 포함하며, 각각의 결정은 상기 WM 이벤트 표현에서 필드를 설정하는, 방법.

Description

체화된 동작주들의 이벤트 표현

본 발명의 실시예들은 자연어 처리 및 인지 모델링에 관한 것이다. 보다 구체적으로, 그렇지만 배타적이지 않게, 본 발명의 실시예들은 이벤트 표현 및 이벤트 처리의 인지 모델들에 관한 것이다.

인간들은 세계의 자신의 경험들을 이벤트라는 단위들로 파싱한다(예를 들어, 문헌[Radvansky and Zacks, 2014] 참조). 이벤트들은 예컨대 'Mary grabbed a cup', 'The cup broke', 'John sighed'와 같은 문장들로 자연스럽게 전달될 수 있는 일종의 해프닝들이다. 인간의 인지 과정들의 계산 모델링에서 이벤트 표현 문제는 작업 기억(WM)과 장기 기억(LTM)에서 이벤트들을 인코딩하는 방법을 의미한다. 이벤트 처리 문제는 세계에서 일어나는 이벤트들을 처리하고 WM 이벤트 표현들을 구성하는 데 어떤 감각 메커니즘들이 사용되는지, 그리고 어떤 감각운동(sensorimotor) 메커니즘들이 체화된 동작주(embodied agent)로 하여금 그 세계에서의 이벤트들을 운동 행동들의 형태로 생성하게 하는지를 의미한다.

의미역들의 기존 모델들

언어 문헌에서, 의미역들의 모델들은 명사구들(NPs)이 문장에서 수행할 수 있는 다양한 의미론적 역할을 정의하려고 시도한다. 이러한 모델들은 이벤트 유형들의 체계를 함축적으로 정의하는 경우가 많으며, 여기서 이벤트의 유형은 부분적으로는 참여자들의 의미역들에 의해 결정된다.

Dowty(문헌[D Dowty. Thematic proto-roles and argument selection. Language, 67(3):547-619, 1991])는 두 가지 기본 의미역인 '원시 동작주(proto-agent)' 및 '원시 피동작주(proto-patient)'를 언급하고 있다. Dowty의 경우, '동작주(agent)' 및 '피동작주(patient)'의 개념들은 구성원의 등급을 인정하는 원형(prototype)들이며, 중요한 것은 이벤트의 참여자들이 동작주적(agent-like) 및 피동작주적(patient-like) 속성들을 갖는 등급이다. 논항(argument) 연결의 모델에서, Dowty는 의미역을 문법적 위치들(특히 주어와 목적어)과 연관시킨다. 대부분의 동작주적 속성들(예를 들면, 움직임, 독립적 존재, 지각(sentience), 사역 동작체(causative agency))을 가진 참여자가 문장의 주어로 표현된다. 원시 피동작주는 대부분의 피동작주적 특성을 가진 참여자이며, 이들 피동작주적 특성들은 움직임이 없는 것, 상태 변화, 및 유발된 과정들이 진행하는 것을 포함한다. 'Mary grab the cup'에서 'Mary'라는 지시대상이 가장 동작주적 속성들을 갖고 있기 때문에 'Mary'가 '문장의 주어'인 반면, 'The cup was grabbed'에서는 'the cup'이라는 지시대상이 가장 동작주적 속성이 가장 강하므로 (필연적으로, 유일한 NP이기 때문에), 'the cup'이 문장의 주어가 된다.

'동작주적' 목적어 속성들은 주목을 끈다(예를 들어, 시각적 주목의 결과들에 대해서는 문헌[Koch and Ullman, 1985; Ro et al., 2007] 참조). 주목은 경쟁적이다: 먼저 주목을 받는 항목은 주목을 끄는 속성을 가장 많이 갖는 항목임.

상태 변화 이벤트와 연관된 역할. 영향력 있는 제안은 'Mary break the glass'와 같은 타동문(transitive sentence)이 암시적으로 사역 과정(causative process)을 전달하여, 'Mary가 [the glass to be broken]을 유발했다'로 해석될 수 있는 반면, 'The glass broken'과 같은 자동문(intransitive)은'무엇이 [the glass to become broken]을 유발했다'와 구조적으로 유사한 의미를 전달한다. 이러한 분석에서, 'glass'라는 지시대상은 이 두 문장의 의미론에서 동일한 구조적 위치를 차지하며, 이 위치에 있는 항목이 상태 변화를 겪게 되므로, 'glass'의 문법적 위치는 자유롭게 바뀐다.

장기 기억의 이벤트 저장의 기존 모델들

인지 모델들에서, 이벤트들은 일반적으로 LTM에 저장되기 전에 WM에 제시된다. 문헌[Takae and Knott(2016)]은 부분적으로 지정된 특정 이벤트 템플릿들과 일치하는 저장된 이벤트들을 검색하는 LTM에 쿼리들의 표현을 허용하는 이벤트의 WM 표현을 제공한다. 예컨대, WM 매체는 검색된 답변('Mary grabbed the cup')뿐만 아니라 'What did Mary grab?'와 같은 쿼리를 보유한다. WM 이벤트 표현들은 의미론적 역할들에 대해 '위치 코딩'된다. 목적어 표현들을 보유하는 기본 매체는 '현재 목적어' 매체에서 한 번에 하나의 목적어를 나타낸다.

경험 중인 이벤트의 WM 표현은 문헌[M Takae 및 A Knott. Working memory encoding of events and their participants. In CogSci, pages 2345-2350, 2016a]에 설명된 대로 경험이 진행됨에 따라 점진적으로 작성된다. 이벤트를 경험하는 과정이 완료되면 - 이는 일반적으로 이벤트 자체가 완료되는 때임 - 이벤트의 WM 표현이 완료되고, 완전한 이벤트 표현은 문헌[M Takae and A Knott. Mechanisms for storing and accessing event representations in episodic memory, and their expression in language: a neural network model. In CogSci, pages 532-537, 2016b]에 설명된 대로 장기 기억에 저장될 수 있다.

그러나 이전 모델에는 다음과 같은 몇 가지 단점이 있다: 이벤트의 의미론적 참여자들이 구문론적으로 실현되는 방식을 설명하지 않는다. 의미론적 역할/의미역은 구문론적 위치에 매핑되지 않는다. 예컨대, 능동문에서 주어 위치는 이벤트의 동작주를 보고하고, 목적어는 피동작주를 보고하지만, 수동문에서 주어 위치는 피동작주를 보고한다. 마찬가지로 주격과 대격을 판독할 방법이 없다. 이전 모델들은 또한 상태 이벤트들 또는 사역 이벤트들의 변화를 지원하지 못한다.

이벤트 인식의 기존 모델들: 추적 과정들, 지시적 루틴들 및 인지 모드들

이벤트를 "인식"하는 체화된 동작주는 참여자 목적어들에 주목하고 이를 분류하는 것을 포함하며; 시각적 주목과 시각적 목적어 분류는 모두 잘 연구된 과정들이다. 타동 행동(transitive action)을 관찰할 때, 관찰자는 행동이 진행되는 동안 대상 목적어에 주목하는 특수 메커니즘을 또한 사용하며, 시선 추적 및 궤적 외삽은 여기에서 중요한 하위 과정이다. 또한 위치 또는 고유 속성들의 변화를 감지하는 데 특화된 뇌 메커니즘(예를 들어, 문헌[Snowden and Freeman, 2004] 참조)과 활동 동작주의 움직임을 분류하는 더 전문화된 메커니즘(예를 들어, 문헌[Oram and Perrett, 1994] 참조)이 있다. 피주목 목적어(attended object)의 변화들 또는 동태들(movement)의 감지는 변화들을 등록하는 데 시간이 걸리기 때문에 이 목적어를 지속적으로 추적해야 한다(이 원리에 대한 좋은 소개는 문헌[Kahneman et al., 1992] 참조). 몇몇 이론가들은 종종 여러 개의 움직이는 물체를 모니터링해야 하기 때문에 이벤트 인식 중에 다수의 목적어-추적 과정의 역할을 예상한다(예를 들어, 문헌[Cavanagh, 2014] 참조).

문헌[Ballard, 1997, Knott, 2012; Knott and Takae, 2020]은 이벤트 인식이 지시적 루틴(deictic routine)이라고 하는 이산적이고 순차적인 과정으로 구조화되어 있다고 제안한다. 지시적 루틴은 체화된 동작주의 현재 주목의 초점에서 작동하고 잠재적으로 이 초점을 갱신하는 비교적 이산적인 인지 작업의 시퀀스이다. 지시적 루틴들은 타동 행동들을 포함하는 이벤트들에 초점을 맞춘 이벤트의 어떤 특정 하위 유형들을 파악한다. 체화된 동작주는 먼저 행동의 동작주에 주목하여 (분류하고), 그런 다음 행동의 피동작주에 주목하여 (분류하고), 그런 다음 행동 자체를 분류한다.

국제 출원 PCT/IB2020/056438호는 행동들의 실행뿐만 아니라 그것들의 인식을 망라하고 있다. 이러한 작업들을 구별하기 위해, 체화된 동작주는 분명한 인지 모드들, 즉 신경 연결의 분명한 패턴들에 배치된다. 우리의 지시적 루틴의 제1 작업('동작주에 대한 주목')은 외부 개인에 대한 주목 또는체화된 동작주에 대한 주목을 포함한다. 이러한 작업들은 다양한/대안적 인지 모드들을 트리거한다: 전자의 경우 '행동 인식 모드', 후자의 경우 '행동 실행 모드'.

발명의 목적

본 발명의 목적은 체화된 동작주들 내의 이벤트 표현을 개선하거나, 또는 적어도, 유용한 선택안을 대중 또는 산업계에 제공하는 것이다.

일 실시예에서, 본 발명은, 체화된 동작주가 경험한 감각운동 이벤트를 상기 이벤트를 정의하는 문장에 매핑하는 WM 이벤트 표현의 기호 필드들로 파싱하기 위한, 컴퓨터로 구현되는 방법으로서, 상기 이벤트는,

a. 참여자 목적어에 주목하는 단계;

b. 참여자 목적어를 분류하는 단계; 및

c. 이벤트에 대한 일련의 계단식 결정을 내리는 단계 - 일부 결정은 이전 결정의 결과에 따라 조건부임 - 를 포함하며,

d. 각각의 결정은 상기 WM 이벤트 표현에서 필드를 설정하는, 방법에 있다.

추가의 실시예에서, 적어도 일부 결정은 상기 체화된 동작주에서 인지 처리의 대안적 모드들을 트리거할 수 있다.

추가 실시예에서, 상기 체화된 동작주에서 인지 처리의 대안적 모드들에서 결정들은,

a. 임의의 길이만큼 선택해야 하는 시간 이전의 일정 기간 동안 각 모드에 대한 증거를 개별적으로 축적하는 증거 수집 과정을 정의하는 단계;

b. 각 모드에 대해 상기 축적된 증거를 해당 모드에 대해 축적된 상기 증거의 양을 나타내는 연속 변수에 저장하는 단계; 및

c. 인지 처리의 모드의 결정이 각 모드에 대한 증거 축적기 변수들을 참조하여 이루어지는 단계를 포함할 수 있다.

추가 실시예에서, 결정들은,

a. 제2 목적어가 존재하는지 여부를 결정하는 단계;

b. 생성의 행동에 대한 증거가 있는지 여부를 결정하는 단계;

c. 목적어가 상태 변화를 겪고 있는지 여부를 결정하는 단계; 및

d. 목적어가 사역 영향(causative influence)을 미치고 있는지 여부를 결정하고/하거나 타동 행동을 실행하는 단계로 구성된 그룹으로부터 선택될 수 있다.

제2 실시예에서, 본 발명은, 체화된 동작주가 경험한 감각운동 이벤트를 WM 이벤트 표현의 기호 필드들로 파싱하기 위한 데이터 구조에 있는 바, 상기 데이터 구조는,

a. WM 이벤트 표현 데이터 구조를 포함하며, 상기 WM 이벤트 표현 데이터 구조는,

b. 사역주(causer)/주목주(attender) 목적어 및 변화주(changer)/피주목주(attendee) 목적어를 저장하도록 구성된 사역(causation)/변화(change) 영역;

c. 상기 사역/변화 영역에서 상기 목적어들의 재표현들을 유지하면서, 상기 제1 피주목 목적어 및 제2 피주목 목적어를 저장하도록 구성된 저장 시퀀스 영역;

d. 행동(action);

e. cause 플래그;

f. 상태 변화가 진행 중임을 알리는 필드 시그널링; 및

g. 결과 상태를 포함한다.

추가 실시예에서, 상기 데이터 구조는 상기 사역 변화 영역과 상기 저장 시퀀스 영역 모두에 동시에 매핑하도록 구성된 현재 목적어를 포함하는 지시적 표현 데이터 구조를 포함할 수 있다.

제3 실시예에서, 본 발명은, 체화된 동작주가 목적어들에 주목하는 방법으로서,

a. 상기 체화된 동작주에 의해 주목을 받는 제1 목적어에 사역주/주목주 트래커(tracker) 및 변화주/피주목주 트래커를 동시에 할당하는 단계;

b. 상기 제1 목적어가 사역주/주목주인지 또는 변화주/주목주인지를 결정하는 단계; 및

c. 상기 제1 목적어가 사역주/주목주인 경우 상기 변화주/피주목주 트래커를 주목을 받고 있는 상기 목적어에 재할당하는 단계를 포함하는, 방법에 있다.

추가 실시예에서, 상기 목적어에 주목하는 것은 상기 목적어에 인과적으로 영향을 미칠 수 있다.

도 1은 WM 이벤트 표현 시스템의 다이어그램을 보여준다.
도 2는 체화된 동작주에 의한 이벤트-이해 과정에서 결정들의 시퀀스를 제시하는 흐름도를 보여준다.
도 3은 WM 이벤트 매체의 범위를 예시하는 예들을 보여준다.
도 4는 체화된 동작주에 의한 이벤트-이해 과정에서 결정들의 시퀀스를 제시하는 추가 흐름도를 보여준다.

본 명세서에 기술된 실시예들에서, 인지 체계는 감각운동 경험을 이벤트들로 파싱하는 이벤트 프로세서를 포함한다. 이벤트 프로세서는 동작주가 경험한 이벤트들을 문장에 매핑할 수 있다.

이벤트들의 WM 표현들은 저장된 지시적 루틴들의 형태를 취한다. 지시적 루틴들은 복잡한 실시간 감각운동 경험들을 메모리에 효율적으로 인코딩하도록 허용하는 압축의 원리를 제공한다. 이벤트들의 WM 인코딩을 통해 지시적 루틴들의 재생 및 저장된 이벤트들의 시뮬레이션을 허용한다. 시뮬레이션된 재생은 문장 생성 과정의 기저가 된다. 이벤트들의 WM 표현은 이벤트 처리 중에 활성화된 지시적 목적어 표현들의 사본들을 저장한다. 이는 WM 이벤트 표현들에서 위치 코딩된 역할 바인딩의 모델을 허용하고, LTM과의 간단한 인터페이스 모델을 지원한다. LTM 이벤트 인코딩들은 부분 WM 이벤트 표현들로 쿼리할 수 있는 WM 이벤트 필드들 간의 저장된 연관성들이다.

이벤트 인식 모델에서, 목적어 참여자가 주목을 받는 경우, 시각 트래커(visual tracker)가 참여자에게 배치된다. 다수의 목적어 트래커들이 사용되며, 행동 분류기(action classifier)는 특정 목적들을 위해 동작주 및 피동작주 트래커들을 참조한다.

일 실시예에서, 동작주는 항상 제1 피주목 목적어이고, 피동작주는 항상 제2 피주목 목적어이다. 동작주와 피동작주는 원형 범주들이며 참여자들은 본질적으로 동작주가 되기 위해 경쟁한다. 원형의 동작주 품질들은 주목을 끄는 품질들이다.

Go/Become 행동 유형은 상태 이벤트들의 변화를 나타낸다. 이러한 이벤트들에 대한 결과 상태를 보유하는 필드가 추가될 수 있으며, 이는 속성 또는 위치일 수 있다. CAUSE 플래그는 상태 변화의 식별된 원인이 있는 이벤트들에 사용된다.

WM 이벤트 표현들의 확장 모델.

일 실시예에서, 인지 체계는 Dowty 스타일의 주목 집중 모델을 L&RH 스타일의 상태 변화 이벤트 모델과 결합한다.

이벤트 표현의 모델은 (제1 피주목 및 [선택적으로] 제2 피주목 목적어와 같은) 일련의 주목 과정들과 관련하여 그리고 (변화 목적어 및 [선택적으로] 유발 목적어와 같은) 사역/변화 과정들과 관련하여 모두 WM에서 이벤트의 주요 참여자들을 나타낸다. 의미역들은 2개의 크게 직교하는 차원으로 표현된다.

이를 통해 언어에 대한 매핑을 훨씬 더 명확하게 설명할 수 있다. '저장된 시퀀스' 영역은 어떤 참여자들이 문법적 주어와 목적어로 표현되고 어떤 참여자들이 주격과 대격을 받는지에 대한 규칙을 나타낸다(영어와 같은 언어에서). '사역/변화' 영역은 사역적 교대를 모델링하고 참여자가 능격과 절대격을 받는 규칙을 표현한다(능격 언어에서). 이 모델은 또한 2개의 격 체계의 혼합을 사용하는 소위 '분할 능격' 언어에 대한 양질의 설명을 허용한다.

도 1은 목적어 참여자들의 이중 표현을 포함하는 LTM 이벤트 저장 시스템과의 인터페이스를 보여준다. 우리의 모델에서 LTM 이벤트 표현들은 WM 이벤트 매체의 모든 필드들 사이에 저장된 연관성들이며, 여기서 주요 참여자들은 두 번 기능한다.

'사역/변화' 영역의 필드들은 동작주/피동작주 원형으로 정의되며, '사역주'의 개념은 '주목주'의 개념과 결합하고, '변화하는 목적어'의 개념은 '피주목주'의 개념과 결합하여, 이러한 필드들은 타동 행동의 동작주와 피동작주를 보유하는 역할을 할 수 있다. 이러한 조합들의 이론적 근거는 대부분의 타동 행동들이 또한 대상 목적어에 대한 사역 효과들(causative effects)을 달성한다는 것이다. 바람직하게는, 원형 정의들은 이러한 일반화에 주의를 기울이지만 그 대상에 사역 효과들을 갖지 않는 타동 행동들(예를 들면, 'Sue touched the cup')과 비의지적 사역주들을 포함하는 사역 이벤트들(예를 들면, 'The wind rustled the leaves')을 여전히 허용한다.

사역/변화 영역

사역/변화 영역은 목적어들이 변화되는 이벤트들(The glass broken 및 The spoon bent와 같은 문장들에서 보고됨) 및 이러한 변화들을 가져오는 사역 과정들(John break the glass 또는 The fire bent the spoon과 같은 문장들에서 보고됨)을 나타낸다. 이 영역에는 각각 관련 개념들의 클러스터로 정의되는 2개의 필드가 있다.

변화주/피주목주 필드

변화주/피주목주 필드는 위치에서 변화하는 목적어(예컨대, 움직이는 목적어) 또는 고유 속성에서 변화하는 목적어(예컨대, 구부러지는 또는 깨는 목적어)를 나타낸다. 이 필드는 또한 어깨를 으쓱하거나 미소 짓는 것과 같은 자동(intransitive) 의지적 행동의 동작주를 나타내는 데 사용할 수 있다. 이러한 행동들은 동작주의 신체의 구성에 변화를 가져오며, 이러한 의미에서 동작주는 구부러지는 숟가락처럼 '변화를 겪는다'. (구부림은 John이 아래로 구부리는 것과 같은 의지적인 자동 행동(intransitive action)이 될 수 있음을 주지해야 한다.)

변화주/피주목주 필드는 또한 타동 행동의 피동작주도 나타낸다. 이 피동작주는, 예컨대, 나는 컵에 영향을 미치지 않고 만질 수 있다와 같이, 항상 바뀌는 것은 아니다. 그러나 타동 행동들은 일반적으로 대상을 변화시키므로, '피동작주'와 '변화를 받는 개체'의 역할은 종종 일치한다. 변화주/피주목주 필드의 이접 정의(disjunctive definition)는 이러한 규칙성을 캡처한다.

사역주/주목주 필드

사역주/주목주 필드는 변화주/피주목주에 변화를 가져오는 목적어를 나타낸다. 예를 들어, John bent the spoon에서 이 필드는 John을 나타내고, The fire bent the spoon에서 이 필드는 the fire를 나타낸다. 유사한 이접 정의에 의해 이 필드는 또한 타동 행동의 동작주를 나타낸다. 타동 행동들은 대상 목적어에 변화를 가져올 필요가 없지만, 종종 변화를 가져오며, 따라서 동작주는 종종 사역주이기도 하다.

관찰하는 동작주가 사역주/주목주로서 그녀 자신에게 주목할 수 있다. '자신에 대한 주목' 작업은 관찰자가 어떤 것을 수동적으로 관찰하는 것이 아니라, 행동을 수행하는 결과를 가져온다. 관찰자가 그녀 자신을 사역주/주목주로 만드는 경우, 무엇을 할지에 대한 그녀의 선택은 다시 LTM 이벤트 매체에서 '바람직한' 행동 이벤트의 재구성에 의해 안내된다. 필드들의 재구성은 병렬로 수행될 수 있지만, 여전히 엄격하게 순차적인 지시적 루틴을 알려준다. 이 루틴의 일련의 순서는 수동적으로 인식된 이벤트들과 능동적으로 '수행된' 이벤트들에 대해 동일하다.

사역주/주목주의 선택성

사역주/주목주 필드 채울 필요가 없다 - 이 정보는 '저장된 시퀀스' 영역에서 별도로 캡처된다. 사역주/주목주 필드를 공백으로 허용하면 사역주에 대한 참조가 없는 The glass broke와 같은 '순수 상태 변화 이벤트들'의 표현을 가능하게 한다. 또한 동작주에 대한 참조가 없는 John was kissed와 같은 수동 이벤트들의 표현도 지원한다.

LTM 이벤트 네트워크의 일반화 지원

사역/변화 영역은 상태 변화 이벤트들에 대한 유용한 일반화를 수행한다. 유리가 깨지는 이벤트 및 어떤 동작체(John 또는 the fire)로 인해 유리가 깨지는 또 다른 이벤트를 고려할 수 있다. 바람직하게는, LTM 이벤트 인코딩 매체는 이들 사이의 유사점들을 나타낸다: 특히 발생하는 그 변화의 표현은 동일함. 사역/변화 영역은 이를 달성한다: John이 유리를 깨는 이벤트를 저장한 다음, 'Did the glass break?'라는 질문으로 LTM 매체를 쿼리하면, 대답은 (정확하게) 긍정적일 것임.

능격 및 절대격의 설명에 대한 지원

사역/변화 영역은 또한 능격 및 절대격의 설명에 대한 기초를 제공한다. 변화주/피주목주 필드는 자동 이벤트 문장들의 동작주 그리고 또한 타동 이벤트 문장들의 피동작주를 보유하는 반면, 사역주/주목주 필드는 타동문들의 동작주를 보유한다. 따라서 이벤트 참여자가 변화주/피주목주로서의 특징을 가지면 능격의 대상이 되고 사역주/주목주로서의 특징을 가지면 절대격의 대상이 된다.

'cause', 'go/become', '결과 상태' 및 'make' 필드

도 3에 나타난 새로운 WM 이벤트 체계는 또한 상태 변화 이벤트들을 나타내는 얼마의 추가 필드들을 포함한다. 이제 '행동' 필드는 go/become이라는 행동의 범주를 포함한다. 관찰자가 상태 변화 이벤트를 등록하는 경우, 이러한 행동의 범주가 표시된다. (동사 go는 위치의 변화(John went to the park)뿐만 아니라 고유 속성의 변화(John went red)를 나타낼 수 있음을 주지해야 한다).

결과 상태 필드는 상태 변화 이벤트 중에 도달한 상태를 보유한다. 이 필드는 목적어 속성(예를 들면, 'red') 및 위치/궤적(예를 들면, 'to the park')을 명시하기 위한 하위 필드를 갖는다.

새로운 WM 체계는 또한 상태 변화를 초래하는 인과 과정(causal process)이 식별되었는지 여부를 상태 변화 이벤트들에 대해 나타내는 'cause' 플래그를 특징으로 한다. 이 플래그는 John bend the spoon 또는 The fire bent the spoon 과 같은 이벤트들에서 설정되지만, The spoon bent 에서는 설정되지 않는다. 사역주 목적어가 주목을 받지 않더라도 인과 과정을 식별할 수 있다. 이를 통해The spoon was bent와 같은 수동 사역들의 표현을 허용하며, 이는 그 대상을 식별하지 않고도, '어떤 것이 the spoon을 구부러지게 만들었다'는 의미를 전달한다.

마지막으로, 새로운 WM 체계는 'make'라는 특별한 타동 행동을 특징으로 하며, 이는 목적어가 단순히 변경되는 것이 아니라 생성되는 행동들을 나타내는 데 사용된다. '생성의 행동들'에는 재료들을 새로운 형태로 재조립하거나 기존 목적어들의 형태를 조작하는 것이 포함될 수 있다. 그러나 '생성의 행동들'에는 또한 (소리를 내는, 노래하는) 소리들과 같이 일시적으로 존재하는 것들의 생산 또는 예컨대 드로잉이나 페인팅을 통한 상징적 인공물들(선 그리기, 삼각형 그리기)의 생산이 포함될 수 있다. 'make' 행동은 다양한 단어로 실현될 수 있으며, 예컨대 영어에서는, 동사 make뿐만 아니라 동사 do가 (특히 어린이 언어에서) 자주 사용될 수 있다. making의 특정 하위 유형은 다음과 같이 다양한 동사로 표현된다: 예컨대 동작주는 노래를 부르거나(sing) 또는 연주(play)할 수 있으며, 그림을 그리거나(draw) 또는 페인팅(paint)할 수 있음. 많은 언어에서 일반 동사 make는 또한 동사 cause 대신 사용될 수 있다. (예컨대, 영어로 Mary caused the cup to break라고 말할 수 있을 뿐만 아니라 Mary made the cup break라고도 말할 수 있다.)

저장된 시퀀스 영역

녹색으로 표시된 저장된 시퀀스 영역은 주목을 받았던 순서대로 이벤트 참여자들을 보유한다. 정보는 인과 관계 및 변화의 인코딩들과 별도로 저장된다. 제1 목적어 및 제2 목적어라는 2개의 필드가 주목을 받는 제1 및 제2 목적어의 사본들을 가져온다. 수동태들(Mary was kissed, The spoon was bent)에는 그리고 순수 상태 변화 문장들(The spoon bent)에는 제2 목적어가 없다.

'제1 목적어' 및 '제2 목적어' 필드를 차지하는 목적어들은 '사역주(causer)/주목주(attender)' 및 '변화주(changer)/피주목주(attendee)' 필드를 차지하는 목적어들과 마찬가지로 의미론적으로 이질적이다. 그러나 다시 한 번, 유용한 일반화가 이러한 범주에 걸쳐 캡처된다. 특히, 행동들의 의지적 동작주들은 그 행동이 타동적이든 자동적이든, 사역적이든 아니든 항상 제1 목적어 필드를 차지한다. 일 실시예에서, LTM 이벤트 인코딩 매체는 동일한 방식으로 행동의 의지적 동작주를 인코딩하므로, 'What did John do?'와 같은 쿼리를 허용하고 타동적이든 자동적이든, 사역적이든 비사역적이든 모든 이벤트를 검색할 수 있다.

또한 '제1 목적어' 및 '제2 목적어' 필드는 주격 및 대격의 설명에 대한 좋은 근거를 제공한다. 단락 1로부터 상기할 점은, 능동 타동문들과 자동문들의 동작주는 수동문들의 피동작주와 마찬가지로 주격을 받는다는 것이다: 대격을 받는 경우, 능동 타동문들의 피동작주는 예외임. 우리의 모델에서, 이벤트 참여자가 제1 목적어로서의 특징을 가지면 주격의 대상이 되고 제2 목적어로서의 특징을 가지면 대격의 대상이 된다. 이러한 특징들은 또한 문장들의 (표면) 주어와 목적어를 식별한다: 주격과 대격을 받는 참여자들은 각각 문장의 주어와 목적어로 나타남.

제1 목적어와 제2 목적어의 구분은 또한 문헌[Dowty 1991]이 제안한 이벤트 참여자 역할의 잘 알려진 분류와 부합한다. Dowty의 관심은 정확히 말하자면 이벤트 참여자들의 의미론적 특징들이 문장들(주어와 목적어) 내에서 그들이 보유하고 있는 구문론적 위치들을 결정하는 방법에 대한 일반적인 제안을 기술하는 데 있다. Dowty는 '원시 동작주'와 '원시 피동작주'를 정의한다. 원시 동작주는 활동성(animacy), 의지성(volitionality), 지각(sentience) 및 인과 영향(causal influence)과 같은 것들을 포함하는 동작주적 특징들의 클러스터를 통해 정의된다. 원시 피동작주는 움직임이 비교적 없는 것 및 상태 변화가 진행하는 것을 포함한 피동작주적 특징들의 클러스터를 통해 정의된다. 결정적으로, 주어가 되는 참여자는 동작주적 특징들이 가장 많은 사람이다: Dowty의 경우, 참여자들은 본질적으로 주어 위치를 차지하기 위해 경쟁하고 있다. 우리의 모델에서, 이러한 경쟁은 주목 경쟁이며, 먼저 주목을 받는 참여자가 '제1 목적어' 필드를 차지하고, 이를 통해 문법적 주어로 선정된다.

도 3은 본 명세서에 기술된 시스템으로 모델링할 수 있는 문장 유형들의 범위를 예시한다. 각 문장 유형에 대해, WM 이벤트 매체의 각 필드의 내용이 표시된다.

이벤트 처리

일 실시예에서, 이벤트 표현들의 선언적 모델은 더 넓은 범위의 이벤트 유형들을 망라하는 이벤트 처리의 새로운 모델을 알려준다. 지시적 루틴들로 구조화된 이벤트 처리의 모델에서, 이러한 루틴의 일부 작업들은 대안적 인지 모드들 간의 선택을 수행하는 단계를 포함한다.

도 2 및 4는 일련의 이벤트-이해 과정에서의 결정들의 시퀀스를 수행하는 체화된 동작주를 보여준다. 체화된 동작주는 이벤트의 주요 참여자들을 순차적으로 주목함으로써 루틴을 시작한다. 체화된 동작주가 참여자들에게 주목할 때, 체화된 동작주는 그 동작주가 인식하고 있는 이벤트의 유형을 분류한다. 구체적으로, 동작주가 제1 목적어에 주목할 때, 동작주는 이 목적어를 사역/변화 영역에 '사역주/주목주' 또는 '변화주/피주목주'로 기록해야 할지 여부를 결정한다. 즉, 목적어가 상태 변화(또는 타동 행동)을 겪고 있는가, 아니면 근처에 있는 무언가에 사역 영향을 미치고 (또는 타동 행동을 실행하고) 있는가?

목적어가 상태의 변화(타동 행동)을 겪고 있는 경우, 이벤트는 순수 상태 변화 이벤트(예를 들면, 'The cup broke' 또는 'The clay went soft' 또는 'The ball went through the window') 또는 수동 이벤트(예를 들면, 'The cup was grabbed')로 분류된다. 목적어가 사역 영향을 미치고 있는 경우, 이벤트는 사역 상태 변화 이벤트 (예를 들면, 'Sally broke the cup') 또는 순수 타동적 이벤트 (예를 들면, 'John touched the cup') - 또는 상기 두 이벤트의 혼합(예를 들면, 'Fred pounded the clay soft' 또는 'Mary kicked the ball through the window')으로 분류된다.

이러한 초기 결정은 체화된 동작주의 인지 모드를 설정한다: '사역주/주목주 모드' 또는 '변화주/피주목주 모드'. 이러한 상이한/대안적 모드들은 식별된 이벤트 유형에 적합한 서로 다른 지각 과정들을 활성화한다. 이 모델에서, 이벤트의 이해와 관련된 지시적 루틴은 이전 선택이 이후 선택을 설정하는 이산 선택들의 시퀀스를 포함한다.

도 2에 표시된 알고리즘은 아래에 자세히 설명된 바와 같이 다양한 종류의 완전한 이벤트들을 이해하기 위해 이벤트 처리와 관련된 시각 및 인지 메커니즘들을 배치한다:

직사각형 상자들은 지시적 작업들을 나타낸다. 둥근 상자들은 루틴에서 이전에 수행된 처리의 결과들에 따른 선택 시점들을 나타낸다. 주요 작업들은 목적어 트래커들을 배치하는 단계, 분류기들을 사용하는 단계 및 WM 이벤트 매체에 처리 결과를 등록하는 단계를 포함한다.

1 단계: 제1 목적어에 주목하는 단계

확장된 지시적 루틴의 1 단계는 장면에서 가장 두드러진 목적어에 주목하고 이 목적어에 양쪽 트래커들을 할당하는 것이다. 변화주 트래커를 할당하면 목적어 분류기가 '현재 목적어' 표현을 생성할 수 있다.

2 단계: 제1 목적어의 역할에 대해 결정하는 단계

2 단계에서, 동작주는 피주목 목적어가 어떤 종류의 이벤트에 참여하고 있는지 결정한다. 제1 결정은 목적어 표현을 사역주/주목주 필드 또는 변화주/피주목주 필드에 복사할지 여부이다. 변화주/피주목주 필드에 대한 증거는 변화주 트래커가 피주목 목적어를 참조하는 변화 감지기에 의해 수집된다. 사역주/주목주 필드에 대한 증거는 지시된 주목(directed attention) 및 사역 영향 분류기들에 의해 공동으로 수집되며, 이들은 둘 다 사역주 트래커에 의해 피주목 목적어로 참조된다. 목적어가 사역주/주목주로 설정된 경우, 알고리즘은 2a 단계로 진행하고; 변화주/피주목주로 설정된 경우 알고리즘은 2b 단계로 진행한다. 두 경우 모두, 목적어 표현은 또한 WM 이벤트의 '제1 목적어' 필드에 복사된다.

2a 단계: 제2 목적어와 관련된 이벤트들을 처리하는 단계

2a 단계에서, 사역주 트래커는 현재 목적어에 유지되고, 변화주 트래커를 새로운 위치에 재할당하도록 시도한다. 이를 위해, 공동 주목, 지시된 움직임 또는 사역 영향의 초점이 되는 위치를 찾도록 지시된 주목 및 사역 동작체 분류기들을 사용한다. 그러면 체화된 동작주가 선택한 위치에 주목하고 변화주 트래커를 이 목적어에 재할당한다. 그런 다음 목적어 분류기는 '현재 목적어' 매체에서 이 새로운 목적어의 표현을 생성하려고 시도한다. 목적어 분류기는 변화주 영역에서 작동한다.

이 시점에서, '생성의 행동들'과 관련하여 또 다른 선택이 발생한다: 관찰된 동작주가 이미 존재하는 목적어에 대해 행동하는지, 아니면 그녀가 아직 존재하지 않는 목적어를 생성하려고 행동하는지의 여부? 인과 관계에 대한 결정과 마찬가지로, 이 선택은 관찰자가 그녀 자신과 분리된 동작주를 관찰하는 '행동 인식 모드'에 있는지 또는 동작주인 그녀 자신의 역할을 수행하는 '행동 실행 모드'에 있는지에 따라 다르게 진행된다. 행동 인식 모드에서, 다양한 신호들이 생성의 행동을 진단한다. 이들은 모두 변화주 영역으로 지시된 목적어 분류기의 출력과 관련이 있다. 이 분류기가 이 영역에 목적어가 전혀 없음을 나타내는 경우, 이는 동작주가 선택한 '작업 공간'으로 이 영역을 사용하여 생성의 행동이 진행 중임을 나타내는 좋은 표시이다. (이는 해당 지역에 대한 동작주의 주목을 설명한다.) 분류기가 목적어를 식별하지만 목적어의 유형이 불안정하거나 유동적인 것처럼 보이는 경우, 이는 동작주가 무언가를 만들고 있다는 또 다른 좋은 표시이다. 반면에 분류기가 유형이 변하지 않는 목적어를 명확하게 식별하는 경우, 관찰자는 이벤트가 기존 목적어와 관련이 있다고 결론을 내릴 수 있다. 이 후자의 경우, 그녀는 3a(I) 단계를 구현하여, 타동 및/또는 사역 이벤트를 처리한다. 전자의 경우, 그녀는 3a(ii) 단계를 구현하여, 생성의 행동을 처리한다.

행동 실행 모드에서, 중요한 문제는 하향식으로 재구성된 바람직한 이벤트가 'make' 행동을 포함하는지 여부이다. make 이외의 어떤 동사가 강력하게 재구성되는 경우, 관찰자는 단계 3a(i)를 구현할 것이다: 재구성에서 'make'가 지배적인 경우, 관찰자는 3a(ii) 단계를 구현할 것임.

3a(i) 단계: 타동 및/또는 사역 이벤트를 처리하는 단계

3a(i) 단계에서, 관찰자는 관찰된 동작주가 유형이 변경되지 않는 기존 목적어에 대해 행동하고 있다고 결정하였다. 관찰자는 식별된 목적어 표현을 WM 이벤트의 변화주/피주목주 필드와 '제2 목적어' 필드에 복사하는 것으로 시작한다.

이 시점에서, 그녀는 사역주 및 변화주 영역에서 공동으로 작동하는 2개의 분류기, 즉 ('Mary slapped the ball'과 같이 변화주에 대해 사역주에 의해 수행된 행동들을 찾는) 타동 행동 분류기 및 ('Mary moved the ball down'과 같이 변화주에 대한 사역주의 사역 영향들을 찾는) 사역 과정 분류기를 배치할 수 있다. 이러한 분류기들은 'Mary slapped the ball down'에서와 같이 사역 과정이 또한 타동 행동이 되는 경우 둘 다 실행될 수 있음에 유의해야 한다. 사역 과정이 식별되는 경우, 관찰자는 WM 이벤트에 'cause' 플래그를 설정하고, 또한 'go/become' 플래그도 설정한다(유발되고 있는 것이 변화이기 때문임). 그렇지 않은 경우, 그녀는 그렇게 하지 않는다.

변화가 유발되고 있는 경우, 체화된 동작주는 그 변화가 완료될 때까지 모니터링하고, 최종 단계에서 도달한 '결과 상태'를 WM 이벤트에 기록한다. 이 결과 상태는 변화하고 있는 본질적인 목적어 속성의 최종 값(예를 들면, 'flat', 'red') 또는 움직이고 있는 중인 목적어의 최종 위치(예를 들면, 'to the door') 또는 움직이는 목적어의 완전한 궤적(예를 들면, 'through the door')과 관련될 수 있다.

3a(ii) 단계: 생성의 행동을 처리하는 단계

3a(ii) 단계에서, 관찰자는 관찰된 동작주가 생성의 행동을 실행하고 있다고 결정하였다.

관찰된 동작주가 관찰자 그녀 자신인 경우, 그녀는 어떤 운동 행동(motor action)이 프로그래밍될 수 있기 전에 먼저 무엇을 생성할 것인지를 결정해야 한다. 또한, 이 결정에서 그녀는 WM 이벤트 매체에서 재구성되는 바람직한 이벤트에 의해 구동된다. 여기에 재구성된 목적어들이 혼합되어 있을 수 있다: 동작주가 이들 중 하나를 선택하는 것이 중요함. 중요한 것은, 그녀가 이렇게 할 때 인식을 통해 세상의 목적어를 식별하는 것이 아니다: 오히려, 그녀는 특정 목적어를 능동적으로 상상하고 있는 것임. 그녀는 그것을 상상하면, 그것을 만들 수 있다. (기존 목적어들에 대한 정상적인 타동 행동들과 생성의 행동들 모두에 대해, 관찰자는 운동 행동을 수행하기 전에 대상 목적어의 표현을 활성화해야 한다.)

동작주가 만들 목적어로 '정사각형'을 선택했다고 가정한다(상이한 종류의 모양들을 생성할 수 있는 드로잉 매체를 가정). 동작주는 이제 상상의 목적어를 운동 움직임들의 시퀀스에 매핑하는 '목적어 생성 운동 회로'에 관여시켜야 한다. 우리의 모델에서, 'make' 행동을 실행하는 것은 실제로 1차 운동 행동이 아니라 모드 설정 작업으로 구현된다: 'make' 실행은 기본적으로 목적어 생성 운동 회로에 사용되므로 1차 운동 행동들의 시퀀스는 만들려고 선택한(상상한) 목적어에 의해 구동됨.

목적어를 상상하고 'make'를 실행하면, 동작주는 이제 동작들의 특정 시퀀스를 실행한다. 이를 수행하면서, 그녀는 이 행동들의 효과들을 지각적으로 모니터링한다: 이 행동들이 계획 또는 예상대로 될 것이라는 보장은 없음. 이 모든 과정들은 별도의 문서에 더 자세히 설명되어 있다(문헌[Takae et al, 2020]).

행동 인식 모드에서 생성의 행동을 모니터링할 때, 관찰자는 일부 외부 동작주가 특정 유형의 새로운 목적어를 생성하는 행동들의 시퀀스를 실행하는 것을 지켜본다. 이 과정은 또한 목적어 생성 운동 회로에 관여하며 생성 중인 목적어에 대한 기대들을 생성하기 위해 사용된다. 이러한 기대들이 충분히 강하고 관찰된 동작주가 행동 도중에 중지하거나 어려움에 직면하는 경우, 관찰자는 예상대로 그 행동을 완료할 수 있다.

2b 단계: 변화주/피주목주 목적어를 자체 처리하는 과정

위의 모든 처리는 사역주 목적어와 변화주 목적어가 독립적으로 식별되는 단계 2a와 관련된다. 2b 단계에서는, 변화주 목적어가 있지만 사역주 목적어가 없으므로 - 변화주 목적어가 자체적으로 처리된다.

2a 단계에서, 사역주 트래커는 중지되지만 - 변화주 트래커는 현재 주목을 받는 목적어에 대해 유지된다. 3개의 개별 동적 루틴이 실행된다.

하나의 루틴은 2a 단계에서 작동하는 것과 동일한 변화 감지 루틴이다. 또한, 변화가 감지되면 'go/become' 플래그가 설정되고 도달한 최종 결과 상태가 기록된다. 이 시나리오에서, the glass broke 또는 Bill went red 또는 The door opened wide와 같은 비대격 문장들(unaccusative sentences)이 생성된다.

다른 2개의 루틴은 타동 행동 분류기와 사역 과정 분류기이며, 변화주 목적어에 대해서만 작동하도록 구성되어 수동태를 부여한다. 사역 과정 분류기는 변화가 또한 감지된 경우에만 실행되어, The glass was broken과 같은 문장을 제공한다. 그리고 타동 행동 분류기는 변화 또는 사역 중 어느 것도 감지되지 않는 경우(예를 들면, The cup was grabbed에서) 또는 둘 다 감지되는 경우(예를 들면, The cup was punched flat에서)에만 실행된다.

2개의 시각 트래커

일 실시예에서, 주목을 받는 각 참여자는 전용 시각 트래커에 의해 추적되고 있다. 2개의 '시각적 목적어 트래커'가 제공되며, 하나는 사역주/주목주 목적어를 위해 구성되고 다른 하나는 변화주/피주목주 목적어를 위해 구성된다.

2개의 트래커는 서로 다른 시각적 기능에 대한 입력으로 시각적 영역들을 전달한다. 변화주/피주목주 트래커는 목적어 분류기, 변화 감지기 및 변화 분류기를 위한 입력을 제공한다. 사역주/주목주 트래커는 (찾을 수 있는 경우 헤드 및 운동 이펙터들에 하위 트래커를 배치하는) 활동 동작주 분류기, (존재하는 경우 시선 추적 및 움직임 외삽 루틴들을 구현하도록 이 하위 추적자들을 사용하는) 주목 방향 분류기 및 (사역 효과들을 미치는 것으로 보이는 추적된 목적어의 환경에서 영역들을 찾는) 사역-영향 감지기를 위한 입력을 제공한다.

이벤트 인식이 시작될 때, 제1 목적어가 주목을 받는 경우, 양쪽 트래커는 이 단일 목적어에 할당된다. 그런 다음 2개의 트래커가 알려주는 분류기들을 경쟁적으로 사용하여 목적어를 (사역주/주목주 모드를 트리거하는) 사역주/주목주 또는 (변화주/피주목주 모드를 트리거하는) 변화주/피주목주로 식별해야 하는지 여부를 결정한다.

목적어가 사역주/주목주로 식별되는 경우, 이는 주목을 받고 있는, 그리고/또는 인과적으로 영향을 받고 있는 제2 목적어에 대한 어떤 증거가 발견되었기 때문임에 틀림없다. 사역주/주목주 모드에서, 관찰자의 다음 행동은 이 제2 목적어에 주목하는 것이다. 변화주/피주목주 트래커는 이제 이 두 번째 목적어에 재할당된다. 이를 통해 제2 목적어를 분류할 수 있다(목적어 분류기는 변화주/피주목주 트래커에 의해 식별된 시각적 영역에서 입력을 받는다). 또한 이 제2 목적어에서 변화들을 감지하고 분류할 수 있다.

변화주/피주목주 트래커가 처음에 제1 피주목 목적어에 할당되고 사역주/주목주 모드에서 제2 목적어에 재할당된다는 사실은 사역 교대(causative alternation)를 설명하는 데 중요한 역할을 한다. 'the cup broke'에서, 시스템은 처음에 변화주/피주목주 트래커를 the cup에 할당한 다음, 변화주/피주목주 모드를 설정한다. 이 모드에서, 시스템은 이 제1 피주목 목적어에서 발생하는 변화를 등록하고 분류한다. 'Sally broken the cup'에서, 시스템은 처음에 2개의 트래커를 Sally에게 할당했지만, 그런 다음 사역주/주목주 모드를 설정하여 변화주/피주목주 트래커를 the cup에 재할당한다. 이 모드에서, 시스템은 제2 피주목 목적어에서 발생하는 변화를 등록하고 분류한다.

요약하면, 2개의 독립적인 시각 트래커가 제공되며, 서로 다른 의미론적 대상에서 작동하도록 구성된다. 사역주 트래커는 사역주/주목주를 추적하도록 설정된다. 변화주 트래커는 변화주/피주목주를 추적하도록 설정된다. 그런 다음 이 트래커들에서 반환하는 시각적 영역들(각각 사역주 영역 및 변화주 영역이라고 함)에서 다수의 서로 다른 메커니즘이 작동한다.

변화주 영역에서 작동하는 메커니즘들

3개의 메커니즘이 변화주 트래커에 의해 반환된 '변화주 영역'에서 작동한다.

목적어 분류기/인식기 및 관련 속성 분류기들

하나의 메커니즘은 일반 목적어 분류기/인식기이다. 이는 추적된 목적어의 유형 및 토큰 ID에 대한 정보를 '현재 목적어' 매체에 전달한다. 이 메커니즘과 함께 한 세트의 속성 분류기들이 주목을 받는 목적어의 두드러진 속성들을 개별적으로 식별한다. 이들은 속성을 유지하면서 '현재 목적어' 매체의 별도 부분으로 전달된다. 속성 분류기들은 피주목 목적어의 일부 변화가 색상이나 모양과 같은 특정 속성에 있기 때문에 분리된다.

변화 감지기

변화주 영역에서 작동하는 제2 메커니즘은 변화 감지기이다. 이 탐지기는 추적된 목적어의 일부 변화가 식별되면 실행된다. 변화 감지기는 2개의 개별 구성요소, 즉 물리적 위치의 변화를 식별하는 움직임 감지기와, 속성 분류기로 식별된 속성들의 변화를 식별하는 속성 변화 감지기를 갖는다. 속성의 변화들은 신체 구성의 변화들을 포함한다. 자동 행동은 자주 발생하는 이러한 종류의 변화들이다.

변화 분류기

변화주 영역에서 작동하는 제3 메커니즘은 변화 분류기이다. 이 분류기는 물리적 공간과 속성 공간에서 변화주 목적어의 동학(dynamics)을 모니터링한다. 변화주 목적어가 활동적인 경우, 일부 동적 패턴들은 자동 행동 분류기에 의해, 어깨를 으쓱하고 미소 짓는 것과 같이, 자발적으로 시작할 수 있는 변화들로 식별된다. 변화주 목적어는 관찰자 그녀 자신이 될 수 있다. 이 경우에, 시스템은 인식된 변화를 분류하는 메커니즘이 아니라 관찰자의 운동 시스템을 통해 피주목 목적어의 변화를 생성하는 메커니즘을 포함한다. 자동 행동들을 실행할 수 있는 운동 시스템이 사용된다.

사역주 영역에서 작동하는 메커니즘들

2개의 개별 메커니즘이 사역주 트래커에 의해 반환된 '사역주 영역'에서 작동한다.

활동 동작주 분류기

사역주 영역에서 작동하는 제1 메커니즘은 활동 동작주 분류기이다. 이 메커니즘은 추적된 영역 내에서 헤드 및 운동 이펙터들(예를 들면, 팔들/손들)를 찾으려고 시도한다. 이들이 발견되면, 헤드 트래커 및 이펙터 트래커가 이 하위 영역들에 할당된다.

관찰 동작주는 또한 사역주 목적어로서 그녀 자신에 주목할 수 있다. 이 경우, 헤드와 이펙터 트래커의 역할은 그녀 자신의 머리, 눈, 및 운동 효과기들의 위치를 추적하는 관찰자 자신의 고유감각계(proprioceptive system)에 의해 수행된다.

지시된 주목 분류기

활동 동작주 분류기가 헤드 트래커 및/또는 이펙터 트래커들을 할당하는 경우, 지시된 주목 분류기라고 하는 보조 분류기가 이들에 대해 작동한다. 지시 주목 분류기는 동작주의 시선 및/또는 외삽된 이펙터 궤적들을 기반으로 추적된 동작주 근처의 두드러진 목적어들을 식별한다. 관찰 동작주가 사역주로서 그녀 자신에 주목하고 있는 경우, 지시된 주목 분류기는 관찰자 자신의 주변 사람 공간에서 한 세트의 두드러진 잠재적 대상들을 전달한다.

사역 영향 분류기

사역주 영역에서 작동하는 최종 메커니즘은 사역 영향 분류기이다. 이 분류기는 이들 환경 내에서 얼마의 상태 변화를 가져옴으로써 추적된 목적어가 그의 주변 환경들에 인과적으로 영향을 미치고 있다는 증거를 수집한다.

동작주는 특정 문맥들에서 특정 종류의 목적어들이 특정 위치들에서 특정 효과들을 인과적으로 달성할 수 있음을 학습한다. 이러한 경우, 사역 영향 분류기는 이 영역들에 대한 관찰자의 주목을 끈다. 따라서 기능적으로는, 지시된 주목 분류기처럼 행동하여 추적된 목적어 근처의 두드러진 영역에 주목을 끈다.

관찰하는 동작주 그녀 자신이 사역주인 경우, 문제는 관찰자가 사역 과정을 지각하는지의 여부가 아니라 관찰자의 주변에서 그녀가 사역 영향을 미칠 수 있는 어떤 목적어들이 있는가 - 그리고 이들 중 어떤 것이 그녀가 사역 영향을 미치도록 원할 수 있는가 하는 것이다. 이 메커니즘은 동작주의 주목을 가까운 목적어로 이끄는 기능을 한다.

사역 영향 분류기는 사역주 목적어의 주변에 있는 위치들에 주목을 기울이지만 - 또한 사역주 목적어의 형태와 어쩌면 동작까지도 분석한다. 특정 형태들과 동작들은 특정 방향 또는 특정 주변 위치에서의 사역 영향을 나타낸다: 예컨대, 특정 경로를 따라 움직이는 망치의 형태와 동작은 해당 경로에 있는 목적어들에 대한 사역적 영향을 나타냄. 이러한 형태들과 동작들은 확실히 활동 동작주가 실행하는 타동 행동의 형태들과 행동들과 일치할 수 있지만 - 망치의 경우와 같이 무생물 사역 목적어들을 포함할 수도 있다.

추적된 2개의 영역에서 공동으로 작동하는 메커니즘들

한 세트의 최종 메커니즘은 2개의 트래커에서 반환된 사역주 및 변화주 영역들에서 공동으로 작동한다.

타동 행동 분류기

사역주 영역과 변화주 영역 모두에서 작동하는 제1 메커니즘은 타동 행동 분류기이다. 행동 인식 모드에서, 타동 행동 분류기는 사역주 영역에서 추적되는 목적어의 동작주적 움직임의 패턴들을 분류한다 - 목적어의 운동 이펙터들이 식별된 경우 이들에 특별한 주목을 기울임. 활동 동작주 분류기는 운동 이펙터들을 식별하려고 시도하고 이것들에 하위 트래커들을 할당한다. 행동 실행 모드에서 타동 행동 분류기는 동작주의 엔드 이펙터들의 위치와 선택한 대상 목적어에 의해 매개변수화되는 운동 움직임들을 생성한다.

양쪽 모드에서, 동작주의 추적된 엔드 이펙터들은 타동 행동 분류기의 작업에서 두 번 기능한다. 첫째, 분류기는 이 동작주에 의해 주목을 받는 장소로 이해되는 변화주 영역을 향한 이펙터들의 움직임을 모니터링한다. 타동 행동 범주들은 부분적으로는 대상 목적어에 대한 동작주의 이펙터의 특정 궤적에 의해 정의된다: 예컨대, 잡아채기, 손바닥으로 때리기, 및 주먹으로 치기는 모두 특징적인 궤적을 포함함. 둘째, 분류기는 추적된 운동 이펙터의 모양과 자세를 모니터링한다. 이 이펙터는 손과 같은 임의의 적절한 이펙터일 수 있지만, 이에 한정되지 않는다: 동작주의 손의 모양과 자세도 타동 행동들을 식별하는 데 도움이 됨. 때로는, 손의 절대적인 모양이 고려해야 할 중요한 요소이다: 예컨대, 손바닥으로 때리기에서는 손바닥을 펴야 하고, 주먹으로 치기에서는 손바닥을 쥐어야 함. 그러나 다른 경우에는, 대상 목적어의 모양에 대한 손의 모양이 중요한 요소이다(예를 들면, 잡는 행동들).

동작주는 목적어에서 일부 반대 축과 손에서 호환되는 반대 축을 선택한 다음, 손을 회전하고 선택한 축에서 목적어가 그 안에 들어올 수 있도록 충분히 개방하여 이 2개의 축을 정렬한다. 다음에 설명된 것과 같이 이에 대한 적절한 모델이 구현될 수 있다: 문헌[M Rabbi, J Bonaiuto, S Jacobs, and S Frey. Tool use and the distalization of the end-effector. Psychological Research, 73:441-462, 2009].

이펙터를 대상 목적어로 이동하고 이펙터와 대상 목적어의 반대 축들을 정렬하는 것과 관련하여, 타동 행동 분류에는 2개의 추적 작업, 즉 1. 전체 동작주(우리의 모델에서는 또한 독립적으로 추적됨)의 하위 영역으로서 이동 중인 이펙터; 및 2. 대상 목적어가 포함된다. 따라서 타동 행동 분류기는 '2개의 추적 영역에서 공동으로' 작동하는 시각적 메커니즘이다: '사역주' 영역(동작주와 그녀의 이펙터들을 추적함) 및 '변화주' 영역(대상 목적어를 추적함).

동작주 및 추적 목적어과 관련된 전용 트래커들이 있지만, 관찰자는 때때로 단일 추적 영역 내에서 동작주와 목적어의 혼합을 제시할 수 있다. 손이 대상 목적어에 접근하면, 추적된 대상 목적어와 연관된 영역내에 ('변화주' 영역 내에) 나타난다. 이 시점에서, 타동 행동 분류기는 또한 대상과 관련하여 손의 위치 및 자세를 특성화하는 패턴을 직접 계산하고 이 상대적 위치 및 자세의 변화를 모니터링할 수 있다. 행동의 관찰자가 그것을 수행하는 사람인 경우, 이러한 직접적인 신호들은 손의 움직임을 미세 조정하는 데 유용하다. 관찰된 동작주가 다른 사람인 경우, 이 신호들은 관찰자가 행동의 클래스 또는 그 방식('강한', '부드러운', 거친' 등)과 같은 기타 매개변수들에 대해 세밀한 결정들을 내리는 데 도움이 될 수 있다.

사역 과정 분류기

양쪽의 추적된 영역에서 작동하는 제2 메커니즘은 사역 과정 분류기이다. 이 시스템은 사역주 목적어의 동학(사역 동작체 분류기에 의해 전달됨)과 변화주 목적어의 동학(변화 분류기에 의해 전달됨)을 연결하려고 시도한다.

고려해야 할 가장 간단한 경우는 관찰자가 외부 사역주 목적어를 모니터링하고 외부 변화주 목적어와의 관계를 고려하는 경우이다. 이 경우, 분류기는 단순히 사역주 목적어의 동학이 변화주 목적어의 동학을 유발하고 있는지 여부에 대한 이진 결정(binary decision)을 수행한다. 이를 수행하기 위해, 사역주 목적어의 동학에서 변화주 목적어의 동학을 예측하려고 시도한다. 예측된 역학이 사역 과정이 제공되는 것과 같은 경우, 분류기는 WM 이벤트 매체에 'cause' 플래그를 설정한다. 그렇지 않은 경우, 이 플래그는 설정되지 않은 상태로 유지된다.

사역 과정 분류기는 대규모의 후보 사역주 및 변화주 목적어들 세트에 대해 임의의 적절한 방식으로 훈련될 수 있다.

사역 과정 분류기는 또한 관찰자가 그녀 자신을 동작주로 선택한 시나리오, 즉 '행동 실행 모드'에서 작동한다. 이 경우, 'cause' 플래그의 역할이 다르다. 실행된 행동들은 현재 문맥에서 바람직한 이벤트를 나타내는 동작주의 LTM에서 재구성된 이벤트 표현에서 생성된다. 이러한 일부 이벤트에는 일부 대상 목적어에서 유익한 상태 변화를 가져오는 사역 과정들이 포함된다. 이러한 이벤트들에는 'cause' 플래그가 설정될 것이다. 이러한 경우, 사역 과정 분류기는 서로 다르게 기능한다: 바람직한 상태 변화를 생성하는 한 세트의 가능한 운동 행동들을 전달함. 동작주는 이들 중 하나를 선택하고 실행한다. 행동을 모니터링할 때, 동작주(관찰자이기도 함)는 의도한 사역 과정이 실제로 진행 중인지 여부를 여전히 측정해야 한다. 그렇다면 'cause' 플래그는 외부 인과 과정을 관찰하는 것처럼 상향식으로 설정될 수 있다.

일부 목적어에서 상태 변화를 유발하는 모든 행동은 해당 목적어에 지시되는 타동 행동이어야 한다.

관찰자가 그녀 자신을 동작주로 선택하는 경우, 추정되는 '사역주 목적어'가 그녀 자신이고 그녀가 이 목적어의 동학을 직접 제어할 수 있기 때문에 사역 과정 분류기를 훈련시키는 실험들이 특별히 지시될 수 있다. 이 시나리오에서, 관찰자는 주어진 효과를 달성하는 데 어떤 매개 변수들이 필수적인지 식별하기 위해 운동 행동의 여러 변형들을 시도함으로써 인과 과정들에 대한 가설들을 능동적으로 테스트할 수 있다. '사역주 목적어'가 관찰자의 외부의 어떤 것이고 그녀가 직접 제어할 수 없는 경우에도 동일한 학습이 수행될 수 있다. 이 외부 목적어는 다른 동작주일 수 있지만, 화재, 움직이는 자동차, 또는 무거운 무게와 같은 무생물일 수도 있다.

발달적 측면에서, 사역 영향 분류기는 사역 과정 분류기보다 나중에 획득된다. 사역 영향 분류기는 사역 과정 분류기에 의해 식별된 사역 과정의 긍정적인 인스턴스들에 대해 훈련된다. 즉, 사역 영향 분류기는 현재 선택된 사역주 목적어에 의해 인과적으로 영향을 받을 가능성이 있는 목적어들 또는 장소들의, 이 목적어들이나 장소들에 대한 관찰자의 주목을 끌 수 있는 종류의, 주목 전 특징들(preattentional signatures)을 학습해야 한다. 신중한 이벤트 처리 중에, 사역 영향 분류기가 사역 이벤트 분류기보다 먼저 작동한다. 기본적으로 사역 과정 분류기를 배치할 근거가 있는지 여부를 설정하고, - 그렇다면 어떤 목적어를 인과적으로 영향을 받는 변화하는 목적어로 선택해야 하는지를 설정한다.

목적어 생성 운동 회로

양쪽의 추적 영역에서 작동하는 최종 메커니즘은, 동작주의 운동 움직임들이 기존 목적어를 단순히 조작하는 것이 아니라 특정 유형의 목적어를 생성하는 '생성 행동들' 동안에 관여한다. 생성 행동들은 동작주가 추구하는 운동 목표가 목적어 표현의 형태를 취하는 것(즉, 생성할 목적어)을 제외하고는 타동 행동들과 유사하다. 정상적인 타동 행동들이 대상 목적어에 주목함으로써 실행되는 동안, 생성 행동은 생성될 목적어를 상상한 다음 이 상상된 목적어가 운동 시스템을 구동하게 하는 단계를 본질적으로 포함한다.

이 구동은 목적어 생성 운동 회로를 통해 일어난다. 사역 과정 분류기와 마찬가지로, 이 회로도 훈련될 필요가 있다. 사역 과정 분류기가 운동 행동들에서 상태 변화로의 매핑을 학습하는 동안, 목적어 생성 회로는 운동 행동들에서 새로운 목적어 유형들의 출현에 대한 매핑을 학습한다. 예를 들어, 동작주가 그리기를 학습하고 있는 경우, 그녀는 변화주 분류기에 의해 추적되고 (따라서 시각적 목적어 분류기에 입력으로 전달된) 위치에서 빈 배경에 한 시퀀스의 무작위 그리기 동작들을 반복적으로 실행한다. 종종 이러한 움직임들은 시각적 목적어 분류기가 알고 있는 목적어 유형들(예컨대, 사각형 또는 원) 중 하나로 식별하는 형태를 생성할 것이다. 그러한 경우, 목적어 생성 운동 회로는 특정 움직임 시퀀스에서 해당 목적어 유형으로의 매핑을 학습한다.

타동 행동 분류기 및 사역 과정 분류기의 '단항(unary)' 연산

방금 설명한 타동 행동 및 사역 과정 분류기들은 사역주 및 변화주 목적어들에서 함께 작동하도록 구성되며, 이러한 구성에서 훈련되고, 훈련 후에는 변화주 목적어에서 저절로 작동할 수도 있다. 이 문장이 확언하는 이벤트는 인식을 통해 직접적으로 그럴듯하게 식별될 수 있는 이벤트이다: 관찰자는 낚아채기를 수행하는 동작주를 식별하지 않고 '낚아채는' 타동 행동을 분류할 수 있음. 타동 행동의 일부 측면들에는 ('변화주' 지역 내) 대상 목적어에 할당된 트래커에 의해 순전히 모니터링되는 과정들이 포함된다.

사역 문장들은 수동태로도 제시될 수 있다: 예컨대, The glass was broken. 이 문장으로 기술된 이벤트는 능동적 상태 변화 문장 The glass broke로 기술된 이벤트와는 미묘하게 다르다. 앞의 문장은 the glass에서 일어나는 상태 변화 과정을 보고할 뿐만 아니라 이 과정이 어떤 다른 과정에 의해 유발되었음을 또한 확언한다. 사역 과정 분류기는 변화주 목적어에만 의미 있게 작동할 수 있다. 즉, 분류기는 상태 변화를 겪고 있는 목적어를 단지 모니터링할 때 사역 과정에 대해 무언가를 감지할 수 있다. 더 추론적으로, 분류기의 이 속성은 수동 사역들의 존재에 대한 책임이 있다.

쿼리 패턴들

시스템은 WM 매체의 질의를 지원할 수 있다. 'What did X do?'[여기서 X는 어떤 동작주임] 형식의 쿼리는 자동 행동들과 타동 행동들(사역적 행동들 포함)을 모두 검색할 수 있다. 이 쿼리를 지정하기 위해 WM 이벤트의 '제1 목적어' 필드에 'X'가 표시된다.

또 다른 쿼리는 'What happened to Y?'라는 형식의 쿼리이다. [여기서 Y는 임의의 목적어임]. 단일 쿼리는 Y가 상태 변화를 겪었던 이벤트들 및 Y가 타동 행동의 피동작주였던 이벤트들을 검색한다. 이 쿼리를 지정하기 위해 WM 이벤트의 '변화주/피주목주' 필드에 'Y'가 나타난다.

장점들

이벤트들의 의미론적 모델들은 표준적으로 각 논항 위치에서 참여자의 하나의 표현만을 포함한다. 본 명세서에 개시된 실시예들에서, 각각의 주요 참여자는 한 번이 아니라 두 번 제시된다. 이 모델에는 주요 참여자들의 2 가지 표현을 특징으로 한다. 이는 의미론에서 구문으로의 깔끔한 매핑을 지원한다.

이 모델은 방금 개략 서술된 지시적 루틴을 지원하는 구성요소 지각 과정들에 대한 새로운 제안들을 포함한다.

모니터링 중인 이벤트 유형의 분류는 시간이 지남에 따라 확장되는 '증분' 과정이며, 이산 결정들(및 수반되는 모드 설정 작업들)의 시퀀스를 포함한다. 이벤트 유형론은 실시간 감각운동 처리의 관점에서 고려된다. 이것은 이벤트들의 감각운동 경험의 특정 단계들에 대한 이벤트들 간의 특정 차원들의 변경을 연결한다. 핵심 아이디어는 참여자가 특정 의미론적 역할을 하는 것으로 등록되거나 제2 참여자가 이벤트에 관여하는 것으로 등록되는 이벤트 경험 동안 특정 시간들이 있다는 것이다. 이러한 결정들은 WM 이벤트 표현의 특정 필드들을 갱신하는 데 현지화된 영향들을 미칠 뿐만 아니라 나머지 이벤트 처리 동안 지속되는 인지 모드들의 설정을 통해 모든 후속 이벤트 처리에도 영향들을 미친다.

이벤트 처리 중에 주목을 받는 각 참여자는 이후에 추적되며, 이러한 트래커들 중 일부는 이벤트에서 특정 역할을 하는 개체에 특화되어 있다(우리의 '사역주/피주목주' 및 '변화주/피주목주' 트래커들). 이 양쪽 트래커는 처음에는 동일한 목적어에 할당되며, 그들 중 하나는 이벤트 처리 과정에서 새로운 목적어로 재할당될 수 있다.

체화된 동작주

일 실시예에서, 체화된 동작주는 컴퓨터 그래픽/애니메이션과 신경망 모델링을 결합한다. 동작주는 컴퓨터 그래픽 모델들의 대규모 세트로 구현된 시뮬레이션된 신체 및 상호 연결된 신경망의 대규모 시스템으로 구현된 시뮬레이션된 뇌를 가질 수 있다. 시뮬레이션된 시각 시스템은 세계(인간 사용자들을 가리킬 수 있음) 및/또는 그녀와 사용자가 공동으로 상호 작용할 수 있는 웹 브라우저 페이지의 화면에서 입력을 받는 카메라에서 입력을 받는다. 시뮬레이션된 운동 시스템은 체화된 동작주의 헤드와 눈을 제어하므로, 동작주의 시선은 동작주의 시각적 피드들 내에서 서로 다른 영역으로 향할 수 있으며, 동작주의 손과 팔을 제어한다. 일 실시예에서, 동작주는 브라우저 윈도우(동작주의 주변 사람 공간에서 터치스크린으로 표시됨)에서 목적어를 클릭하고 드래그할 수 있다. 동작주는 또한 사용자가 브라우저 윈도우에서 목적어들을 이동시키는 이벤트들뿐만 아니라 이 목적어들이 자체적으로 이동하는 이벤트들을 인식할 수 있다.

본 명세서에 기술된 실시예들은 체화된 동작주가 경험한 이벤트들을 언어로 - 동작주에 의해 인식된 이벤트들 및 동작주가 참여하는 이벤트들 모두를 설명하도록 허용한다. 일 실시예에서, 동작주는 한 번에 하나의 구성요소씩 점진적으로 이벤트의 표현을 생성한다. 이벤트들을 점진적으로 표현하면 언어 인터페이스에 필요한 풍부하고 정확한 이벤트 표현들을 가능하게 한다.

이 모델은 (예를 들면, 비디오 입력으로부터) 서로 다른 유형의 행동들을 인식하거나 (예를 들면, 그것들의 자체 시뮬레이션된 환경 및/또는 그것들이 사용자와 공유하는 브라우저-윈도우 세계에서) 서로 다른 유형의 행동들을 수행하기 위해 광범위한 능력들을 그것들에 제공하도록 체화된 동작주들에서 기능할 수 있다. 예를 들어 체화된 동작주는 이벤트를 경험하고 그 이벤트를 WM에 저장할 수 있다. 그런 다음 동작주가 이벤트를 설명하는 발화를 듣고, 동작주는 이벤트 구조와 발화 구조 간의 연관성을 학습한다.

장점들

새 모델은 체화된 동작주가 세계와의 상호 작용을 통해 다양한 이벤트 유형들을 이해하는 방법을 제공한다. 비디오에서 이벤트들을 식별하는 이전 방법은 단일 유형의 이벤트(예를 들어, 문헌[Balaji 및 Karthikeyan, 2017] 참조) 또는 작은 세트의 이벤트 유형들 (예를 들어 문헌[Yu et al., 2015] 참조) 또는 이벤트 유형들을 전혀 모델링하지 않고 비디오 프레임들의 시퀀스들을 단어들의 시퀀스들에 바로 매핑하는 데(예를 들면, 문헌[Xu et al., 2019] 참조) 초점을 맞추는 경향이 있다.

본 명세서에 기술된 실시예들은 다음과 같은 몇 가지 문제를 해결한다:

사역 교대를 모델링하는 방법: 상태 변화를 나타내는 일부 동사는 변화하는 목적어가 자동문('The glass broken')의 주어뿐만 아니라 타동문('Mary broke the glass')의 목적어로 나타나도록 허용한다는 사실. (언어학자들은 일반적으로 의미론 수준에서 변화하는 목적어가 이 2 가지 경우에서 동일한 표현을 갖는다고 가정한다: 문제는 이 표현이 때때로 주어에 매핑되고 때로는 목적어에 매핑되는 이유를 설명하는 것임.)

구문론적 격을 모델링하는 방법. 영어에서는 주격 명사구들(예를 들면, 'she', 'he')과 대격 명사구들(예를 들면, 'her', 'him')를 구분하여 격을 나타낸다. 영어에서, 주어들은 항상 주격을 받고 목적어들은 항상 대격을 받는다. 그러나 소위 '능격' 언어에서는, 또 다른 패턴이 발견된다: 자동사의 주어는 타동문의 목적어와 동격(능격이라고 함)을 받고, 타동문의 주어는 다른 격(절대격이라고 함)을 받음. 우리의 새로운 모델은 이러한 독특한 격 체계들의 기원을 설명하는 새로운 격의 설명을 제공한다.

'The cup was stolen' 또는 'The cup was broken'와 같은 수동문을 모델링하는 방법. 여기서 새로운 점은 이벤트를 파악하는 지각 메커니즘에 대한 우리의 설명에 있다.

본 명세서에 기술된 인지 체계는 구성요소 지각 메커니즘들이 전반적인 지각 체계에서 어떻게 결합되는지를 설명한다. 타동 행동 처리에 대한 이전 시도는 훨씬 더 넓은 범위의 이벤트 유형들을 망라하도록 확장된다. WM 이벤트 표현은 '현재 목적어' 매체가 서로 다른 목적어 표현들을 보유할 때 이벤트 처리 중 서로 다른 지점에서 얻은 이 매체의 사본들을 보유한다. 인지 모델은 WM 이벤트 표현이 '변화주' 목적어 및 (선택적으로) '사역주' 목적어를 기록하도록 함으로써 상태 변화 이벤트들을 통합한다.

이를 통해 체화된 동작주들은 감각운동 경험들을 언어로 보고하고 언어로 감각운동 작업들을 수행하도록 지시받을 수 있다.

참여자 목적어들을 두 번 (한 번은 저장된 시퀀스 영역에 그리고 한 번은 사역/변화 영역에) 제시하는 것은,

(a) 어떤 참여자가 이벤트를 보고하는 문장의 구문 주어가 되고 구문 목적어가 되는지; (b) 수동문들, 순수 상태 변화 문장들 및 사역 교대의 모델을 지원하는지를 결정하는 이벤트 참여자들의 의미론적 측면들을 인코딩하는 데 도움이 된다.

재할당 작업은 '사역 교대'를 설명하는 데 중요하다. 사역 교대는 상태가 변하는 목적어가 문장의 문법적 주어(예를 들면, 'The cup broke')로 나타나기도 하고 때로는 문법적 목적어('Sue broke the cup')로 나타나기도 하는 현상이다. 이 모델에서, 문법적 주어는 항상 제1 피주목 참여자이고, 문법적 목적어는 항상 제2 참여자이다. 상태 변화를 식별(및 모니터링/분류)하는 지각 메커니즘은 'The cup broke'를 인식하기 위해 제1 피주목 참여자와 'X broke the cup'을 인식하기 위해 제2 피주목 참여자에 대해 작동해야 한다. 변화 감지기/분류기에 입력을 전달하는 시각 트래커는 처음에 제1 참여자에게 할당한 다음, 필요한 경우 제2 참여자에게 재할당한다.

해석

기술된 방법들 및 시스템들은 임의의 적합한 전자 컴퓨팅 시스템 상에서 활용될 수 있다. 후술되는 실시예들에 따르면, 전자 컴퓨팅 시스템은 다양한 모듈들 및 엔진들을 사용하여 본 발명의 방법을 활용한다. 전자 컴퓨팅 시스템은, 적어도 하나의 프로세서, 하나 이상의 메모리 디바이스들에의 접속을 위한 하나 이상의 메모리 디바이스들 또는 인터페이스, 시스템이 하나 이상의 사용자들 또는 외부 시스템들로부터의 명령어들을 수신하고 그에 따라 동작할 수 있게 하기 위한 외부 디바이스들에의 접속을 위한 입력 및 출력 인터페이스들, 다양한 컴포넌트들 사이의 내부 및 외부 통신을 위한 데이터 버스, 및 적합한 전력 공급원을 포함할 수 있다. 또한, 전자 컴퓨팅 시스템은 외부 및 내부 디바이스들과 통신하기 위한 하나 이상의 통신 디바이스들(유선 또는 무선), 및 디스플레이, 포인팅 디바이스, 키보드 또는 프린팅 디바이스와 같은 하나 이상의 입력/출력 디바이스들을 포함할 수 있다. 프로세서는 메모리 디바이스 내의 프로그램 명령어들로서 저장된 프로그램의 단계들을 수행하도록 배열된다. 프로그램 명령어들은 본 명세서에 기술된 바와 같은 본 발명을 수행하는 다양한 방법들이 수행될 수 있게 한다. 프로그램 명령어들은, 예를 들어 C 기반 언어 및 컴파일러와 같은 임의의 적합한 소프트웨어 프로그래밍 언어 및 툴키트를 사용하여 개발되거나 구현될 수 있다. 또한, 프로그램 명령어들은, 예를 들어 컴퓨터 판독가능 매체 상에 저장되는 것과 같이, 그들이 메모리 디바이스로 전달되거나 프로세서에 의해 판독될 수 있도록 하는 임의의 적합한 방식으로 저장될 수 있다. 컴퓨터 판독가능 매체는, 예를 들어 솔리드 스테이트 메모리, 자기 테이프, 콤팩트 디스크(CD-ROM 또는 CD-R/W), 메모리 카드, 플래시 메모리, 광 디스크, 자기 디스크 또는 임의의 다른 적합한 컴퓨터 판독가능 매체와 같은, 프로그램 명령어들을 유형적으로 저장하기 위한 임의의 적합한 매체일 수 있다. 전자 컴퓨팅 시스템은 관련 있는 데이터를 취출하기 위해 데이터 저장 시스템들 또는 디바이스들(예를 들어, 외부 데이터 저장 시스템들 또는 디바이스들)과 통신하도록 배열된다. 본 명세서에 기술된 시스템은 본 명세서에 기술된 바와 같은 다양한 기능들 및 방법들을 수행하도록 배열되는 하나 이상의 요소들을 포함한다는 것이 이해될 것이다. 본 명세서에 기술된 실시예들은, 시스템의 요소들을 구성하는 다양한 모듈들 및/또는 엔진들이 기능들이 구현될 수 있게 하기 위해 어떻게 상호접속될 수 있는지의 예들을 독자에게 제공하는 것을 목표로 한다. 또한, 본 설명의 실시예들은, 시스템 관련 상세에서, 본 명세서에 기술된 방법의 단계들이 어떻게 수행될 수 있는지를 설명한다. 개념도들은 다양한 데이터 요소들이 다양한 상이한 모듈들 및/또는 엔진들에 의해 상이한 단계들에서 어떻게 프로세싱되는지를 독자에게 나타내기 위해 제공된다. 따라서, 모듈들 또는 엔진들의 배열 및 구성은 시스템 및 사용자 요건들에 따라 적응되어, 다양한 기능들이 본 명세서에 기술된 것들과는 상이한 모듈들 또는 엔진들에 의해 수행될 수 있도록 할 수 있는 것, 및 소정 모듈들 또는 엔진들이 단일 모듈들 또는 엔진들로 조합될 수 있는 것이 이해될 것이다. 기술된 모듈들 및/또는 엔진들은 임의의 적합한 형태의 기술을 사용하여 구현되고 명령어들을 제공받을 수 있다는 것이 이해될 것이다. 예를 들어, 모듈들 또는 엔진들은 임의의 적합한 언어로 기록된 임의의 적합한 소프트웨어 코드를 사용하여 구현되거나 생성될 수 있으며, 여기서 코드는 이어서 임의의 적합한 컴퓨팅 시스템 상에서 구동될 수 있는 실행가능한 프로그램을 생성하도록 컴파일된다. 대안적으로, 또는 실행가능한 프로그램과 함께, 모듈들 또는 엔진들은 하드웨어, 펌웨어 및 소프트웨어의 임의의 적합한 혼합물을 사용하여 구현될 수 있다. 예를 들어, 모듈들의 부분들은 ASIC(application specific integrated circuit), SoC(system-on-a-chip), FPGA(field programmable gate array) 또는 임의의 다른 적합한 적응가능 또는 프로그래밍가능 프로세싱 디바이스를 사용하여 구현될 수 있다. 본 명세서에 기술된 방법들은 기술된 단계들을 수행하도록 특별히 프로그래밍된 범용 컴퓨팅 시스템을 사용하여 구현될 수 있다. 대안적으로, 본 명세서에 기술된 방법들은 데이터 분류 및 시각화 컴퓨터, 데이터베이스 질의 컴퓨터, 그래픽 분석 컴퓨터, 데이터 분석 컴퓨터, 제조 데이터 분석 컴퓨터, 비즈니스 지능 컴퓨터, 인공지능 컴퓨터 시스템 등과 같은 특정 전자 컴퓨터 시스템을 사용하여 구현될 수 있으며, 여기서 컴퓨터는 특정 분야와 연관된 환경으로부터 캡처된 특정 데이터에 대해 기술된 단계들을 수행하도록 특별히 적응되었다.

1 동작주
2 참여자(목적어?)
3 이벤트 프로세서
4 이벤트
5 트래커
6 변화주/피주목주
7 사역주/주목주
8 행동 분류기

Claims (8)

1. 체화된 동작주가 경험한 감각운동 이벤트를 상기 이벤트를 정의하는 문장에 매핑하는 WM 이벤트 표현의 기호 필드들로 파싱하기 위한, 컴퓨터로 구현되는 방법으로서, 상기 이벤트는,
   a. 참여자 목적어에 주목하는 단계;
   b. 참여자 목적어를 분류하는 단계; 및
   c. 이벤트에 대한 일련의 계단식 결정을 내리는 단계 - 일부 결정은 이전 결정의 결과에 따라 조건부임 - 를 포함하며,
   각각의 결정은 상기 WM 이벤트 표현에서 필드를 설정하는, 방법.
2. 제1항에 있어서, 적어도 일부 결정은 상기 체화된 동작주에서 인지 처리의 대안적 모드들을 트리거하는, 방법.
3. 제2항에 있어서, 상기 체화된 동작주에서 인지 처리의 대안적 모드들 사이에서 선택하기 위한 결정들은,
   a. 임의의 길이만큼 선택해야 하는 시간 이전의 일정 기간 동안 각 모드에 대한 증거를 개별적으로 축적하는 증거 수집 과정을 정의하는 단계;
   b. 각 모드에 대해 상기 축적된 증거를 해당 모드에 대해 축적된 상기 증거의 양을 나타내는 연속 변수에 저장하는 단계; 및
   c. 인지 처리의 모드의 결정이 각 모드에 대한 증거 축적기 변수들을 참조하여 이루어지는 단계를 포함하는, 방법.
4. 제1항 내지 제3항 중 어느 한 항에 있어서, 결정들은,
   a. 제2 목적어가 존재하는지 여부를 결정하는 단계;
   b. 생성의 행동에 대한 증거가 있는지 여부를 결정하는 단계;
   c. 목적어가 상태 변화를 겪고 있는지 여부를 결정하는 단계; 및
   d. 목적어가 사역 영향을 미치고 있는지 여부를 결정하고/하거나 타동 행동을 실행하는 단계로 구성된 그룹으로부터 선택되는, 방법.
5. 체화된 동작주가 경험한 감각운동 이벤트를 WM 이벤트 표현의 기호 필드들로 파싱하기 위한 데이터 구조로서,
   WM 이벤트 표현 데이터 구조를 포함하며, 상기 WM 이벤트 표현 데이터 구조는,
   a. 사역주/주목주 목적어 및 변화주/피주목주 목적어를 저장하도록 구성된 사역/변화 영역;
   b. 상기 사역/변화 영역에서 상기 목적어들의 재표현들을 유지하면서, 상기 제1 피주목 목적어 및 제2 피주목 목적어를 저장하도록 구성된 저장 시퀀스 영역;
   c. 행동;
   d. cause 플래그;
   e. 상태 변화가 진행 중임을 알리는 필드 시그널링; 및
   f. 결과 상태를 포함하는, 데이터 구조.
6. 제5항에 있어서, 상기 사역 변화 영역과 상기 저장 시퀀스 영역 모두에 동시에 매핑하도록 구성된 현재 목적어를 포함하는 지시적 표현 데이터 구조를 더 포함하는, 데이터 구조.
7. 체화된 동작주가 목적어들에 주목하는 방법으로서,
   a. 상기 체화된 동작주에 의해 주목을 받는 제1 목적어에 사역주/주목주 트래커 및 변화주/피주목주 트래커를 동시에 할당하는 단계;
   b. 상기 제1 목적어가 사역주/주목주인지 또는 변화주/주목주인지를 결정하는 단계; 및
   c. 상기 제1 목적어가 사역주/주목주인 경우 상기 변화주/피주목주 트래커를 주목을 받고 있는 상기 목적어에 재할당하는 단계를 포함하는, 방법.
8. 제7항에 있어서, 상기 목적어에 주목하는 것은 상기 목적어에 인과적으로 영향을 미치는, 방법.

Images