KR20060126807A - 물체의 애니메이션화를 인에이블하는 전자 디바이스 및방법 - Google Patents

물체의 애니메이션화를 인에이블하는 전자 디바이스 및방법 Download PDF

Info

Publication number
KR20060126807A
KR20060126807A KR1020067018266A KR20067018266A KR20060126807A KR 20060126807 A KR20060126807 A KR 20060126807A KR 1020067018266 A KR1020067018266 A KR 1020067018266A KR 20067018266 A KR20067018266 A KR 20067018266A KR 20060126807 A KR20060126807 A KR 20060126807A
Authority
KR
South Korea
Prior art keywords
animation
robot
electronic device
enabling
new
Prior art date
Application number
KR1020067018266A
Other languages
English (en)
Inventor
알베르투스 제이. 엔. 반 브리멘
Original Assignee
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 코닌클리케 필립스 일렉트로닉스 엔.브이.
Publication of KR20060126807A publication Critical patent/KR20060126807A/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63H—TOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
    • A63H11/00—Self-movable toy figures
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63H—TOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
    • A63H13/00—Toy figures with self-moving parts, with or without movement of the toy as a whole
    • A63H13/005—Toy figures with self-moving parts, with or without movement of the toy as a whole with self-moving head or facial features
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63H—TOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
    • A63H3/00—Dolls
    • A63H3/36—Details; Accessories
    • A63H3/38—Dolls' eyes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63H—TOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
    • A63H2200/00—Computerized interactive toys, e.g. dolls

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)
  • Toys (AREA)
  • Photoreceptors In Electrophotography (AREA)

Abstract

본 발명의 전자 디바이스는 제 1 애니메이션 내의 물체의 적어도 한 위치에 기초하고 물체의 제 2 애니메이션의 제 1 부분에 기초한 물체의 새 애니메이션의 제 1 부분을 결정할 수 있는 처리 유닛을 포함한다. 처리 유닛은 제 2 애니메이션의 제 2 부분에 기초한 새 애니메이션의 제 2 부분을 더 결정할 수 있다. 물체의 애니메이션화를 인에이블하는 방법은 물체의 제 1 애니메이션 내의 물체의 적어도 한 위치에 기초하고 물체의 제 2 애니메이션의 제 1 부분에 기초한 제 1 기간동안 물체의 애니메이션을 인에이블하는 제 1 단계를 포함한다. 상기 방법은 물체의 제 2 애니메이션의 제 2 부분에 기초한 제 2 기간동안 물체의 애니메이션화를 인에이블하는 제 2 단계를 포함한다.

Description

물체의 애니메이션화를 인에이블하는 전자 디바이스 및 방법{ELECTRONIC DEVICE AND METHOD OF ENABLING TO ANIMATE AN OBJECT}
본 발명은 전자 디바이스, 특히 상호작용 로봇 또는 상호작용 가상 캐릭터의 적어도 일부에 대한 새 애니메이션을 결정할 수 있는 전자 디바이스에 관한 것이다.
본 발명은 물체의 애니메이션화를 인에이블하는 방법, 그리고 특히, 상호작용 로봇 또는 상호작용 가상 캐릭터의 적어도 일부의 애니메이션화를 인에이블하는 방법에 관한 것이다.
본 발명은 또한 이러한 전자 디바이스로서 기능하기 위해 프로그래밍가능한 디바이스를 그 실행과 동시에 인에이블하는 컴퓨터 프로그램 제품에 관한 것이다.
이러한 전자 디바이스의 일 실시예는 이탤리, 바르돌리노의 ASER 2003 의사록(pp.176-182)에 공개된, A.J.N. van Breemen, K. Crucq, B.J.A. Krose, M. Nuttin, J.M. Porta 및 E.Demeester의 저서, "주변 지능 환경용 사용자-인터페이스 로봇"에서 알려져 있다. 이 문헌은 동적 입, 눈 및 눈썹으로 구성된 '실제' 얼굴을 가진 상호작용 가정용 로봇을 설명한다. 이들 물체 각각은 여러 위치들 중 하나를 가질 수 있다. 한 위치에서 다른 위치로 물체를 애니메이션화하는 것은 동시적이 다. 이것이 로봇을 사용자 입력에 대해 빠르게 반응하도록 한다고 해도, 로봇의 행동을 덜 믿을 수 있게 하며 그러므로 로봇과 사용자 사이의 통신을 덜 효과적으로 만든다.
본 발명의 제 1 목적은 개시 단락에서 설명된 종류의 전자 디바이스를 제공하는 것이며, 이 전자 디바이스는 상호작용 환경 내의 물체의 비교적 매끄러운 애니메이션을 인에이블한다.
본 발명의 제 2 목적은 개시 단락에서 설명된 종류의 물체의 애니메이션화를 인에이블하는 방법을 제공하는 것이며, 이 전자 디바이스는 상호작용 환경 내의 물체의 비교적 매끄러운 애니메이션을 인에이블한다.
제 1 목적은 본 발명에 따라, 전자 디바이스가, 제 1 애니메이션 내의 물체의 적어도 한 위치에 기초하고 물체의 제 2 애니메이션의 제 1분에 기초한 물체의 제 1 부분에 기초한 물체의 새 애니메이션의 제 1 부분을 결정할 수 있으며 제 2 애니메이션의 제 2 부분에 기초한 새 애니메이션의 제 2 부분을 결정할 수 있는 처리 유닛을 포함하는 것으로 실현된다. 정확히 창시자가 그것을 한정한 것처럼 제 2 애니메이션의 제 1 부분의 애니메이션화를 인에이블하는 대신, 전자 디바이스는 제 2 애니메이션의 순간적 재생을 유리하게 인에이블한다. 제 2 애니메이션을 트리거하는 사용자 입력이 수신되자마자, 새 애니메이션의 제 1 부분은 갑작스런 전이를 야기하지 않고 재생될 수 있다. 전자 디바이스는, 예를 들어, 가상 캐릭터가 소비자-전자 디바이스(customer-electronics device)를 제어하기 위한 사용자 인터페이스로서 작동하는 소비자-전자 디바이스일 수 있거나, 예컨대, 로봇일 수 있다.
발명자는 오디오-애니매트로닉스(audio-animatronics) 기술을 알려진 가정용 로봇에 적용함으로써, 믿을 수 있는 상호작용 사용자-인터페이스 로봇이 생성될 수 있다는 것을 인식하였다. 오디오-애니매트로닉스(실사와 같은(lifelike) 기계적 캐릭터의 생성 기술)는 놀이 공원에서 알려져 있다. 기계적 캐릭터는 매끄러운 실사와 같은 동작을 생성하기 위해 위치의 미리-한정된 시퀀스에 따라 애니메이션화된다. 이들 오디오-애니매트로닉스 기술은 컴퓨터 게임에 사용되거나 다른 컴퓨터 또는 소비자-전자 관련 애플리케이션에 사용된, 동물 또는 사람과 같은 가상 캐릭터의 애니메이션과 같은, 기타 애니메이션에 응용될 수 있다.
발명자는 물체를 애니메이션화하는 알려진 방법에 오디오-애니매트로닉스를 응용하기 위한 단순한 전략이 불리하다는 것을 더 인식하였다. 새 애니메이션이 제 1 애니메이션이 수행되는 동안, 사용자 입력과 같은 자극에 응답하여 수행되어야 하는 경우, 중간 위치에서 시작하는 제 2 애니메이션을 수행하기 전에 중간 위치 내에서 제 1 애니메이션이 종료할 때까지 기다리는 제 1 간단한 전략은 지연을 초래할 수 있으며 이에 따라 덜 상호작용적인 행동을 야기한다. 제 1 애니메이션이 제 2 애니메이션이 시작하는 위치와 동일한 위치에서 종료하지 않는 경우, US2003/0191560에서 설명된 것과 같이, 2개의 애니메이션 사이에서 매끄러운 전이를 생성하기 위해 추가적인 지연을 생성할 필요가 있을 수 있다. 반면, 제 1 위치내에서 제 1 애니메이션을 중단하고, 제 2 애니메이션의 위치를 시작하기 위해 (가상 또는 기계적) 물체를 즉시 이동하며, 제 2 애니메이션을 수행하는 제 2 간단한 전략은 알려진 가정용 로봇에 의해 수행된 덜 믿을 수 있는 애니메이션을 초래한다. 본 발명에서, 전환 필터는 애니메이션 사이의 매끄러운 전이를 생성하기 위해 전이 기간동안 제 1 애니메이션(즉, 적어도 한 위치)의 일부 및 제 2 애니메이션의 일부를 결합한다.
제 2 목적은 본 발명에 따라, 상기 방법이, 대상의 제 1 애니메이션 내의 물체의 적어도 한 위치에 기초하고 물체의 제 2 애니메이션의 제 1 부분에 기초한 제 1 기간동안 물체의 애니메이션을 인에이블하는 단계 및 물체의 제 2 애니메이션의 제 2 부분에 기초한 제 2 기간동안 물체의 애니메이션을 인에이블하는 단계를 포함하는 것으로 실현된다. 제 1 기간은 제 1 애니메이션과 제 2 애니메이션 사이의 전이 기간이다. 제 2 기간 내에서, 디스플레이된 애니메이션은 제 2 애니메이션의 제 2 부분과 일반적으로 같을 것이다.
물체(i)의 새 애니메이션(Si)은 도 7의 수학식 1 및 수학식 2를 사용함으로써 계산될 수 있다. 수학식 1과 수학식 2에서, t는 현재 시간이며, tt는 제 1 기간(전이 기간)의 길이이며, t1는 제 1 기간의 시작 시간이며 t1+tt은 제 1 기간의 종료 시간 및 제 2 기간의 시작 시간이다. (한 물체에 대한) 제 1 애니메이션은 함수(Si A)에 의해 나타내지며 (동일한 물체에 대한) 제 2 애니메이션은 함수(Si B)에 의해 나타내진다. 제 2 애니메이션은 시간 t1에서 시작하며, 시간 t1+tt 이후에 종료한다. 제 1 애니메이션은 시간 t1이전에 시작한다. 제 1 애니메이션은, 시간 t1+tt까지 지속될 필요는 없다: 제 1 애니메이션은 시간 t1에서 중단될 수 있거나 시간 t1와 시간 t1+tt 사이의 시간 t2에서 종료될 수 있다. 첫 번째의 경우, Si A(t)는 t1와 시간 t1+tt 사이의 Si A(t1)와 같다. 후자의 경우, Si A(t)는 t1와 t1+tt 사이의 Si A(t2)와 같다.
수학식 2에서, 스칼라(α)는 시간에 선형적으로 의존한다. 이를 시간상 지수급수적으로 의존하게 하는 것은 보간을 훨씬 더 매끄럽게 만들 것이다. 수학식 1에 대한 대안에서, Si(t)는 귀납 함수로서 작성될 수 있다. 시간 t1와 시간 t1+tt 사이에서, Si(t+Δ)는, 예를 들어, Si(t)와 Si B(t+Δ)의 선형 결합이 될 수 있다.
물체의 애니메이션화를 인에이블하는 방법은, 예를 들어, 전자 디바이스 자체에 의해 전자 디바이스를 제조하는 제저업자에 의해, 가상 캐릭터를 포함하는 소프트웨어를 개발하는 소프트웨어 개발자에 의해, 소프트웨어 자체에 의해 및/또는 소프트웨어를 실행하는 서비스 제공업자에 의해 수행될 수 있다. 애니메이션은 다른 디바이스 상에서 계산되고 디스플레이될 수 있다. 예를 들어, 인터넷 상의 서버는 애니메이션을 계산할 수 있고 인터넷 상의 클라이언트는 애니메이션을 디스플레이할 수 있다. 애니메이션화된 물체는 전체 로봇 또는 가상 캐릭터 또는 로봇 또는 가상 캐릭터의 일부(예, 입)가 될 수 있다. 로봇 또는 가상 캐릭터의 애니메이션은 로봇 또는 가상 캐릭터의 일부의 복수의 애니메이션을 포함할 수 있으며, 각 부분은 독립적 위치를 갖는다. 이러한 경우, 각 부분에 대해 독립적으로 방법을 수행하는 것이 유리한 한편, 제 1 기간, 즉, 전이 기간동안 동일한 시작 및 종료 시간을 사용한다.
본 발명의 방법 및 전자 디바이스의 이들 및 다른 양상들은 도면을 참조하여 더 설명되고 기술될 것이다.
도 1은 본 발명의 전자 디바이스의 일 실시예의 정면도.
도 2는 도 1의 실시예의 얼굴 표정의 일례를 도시한 도면.
도 3은 도 1의 실시예의 블록도.
도 4는 도 1의 실시예의 얼굴 표정의 애니메이션을 도시한 도면.
도 5는 도 3의 2개의 블록의 세부사항을 도시한 블록도.
도 6은 본 발명의 방법으로 수행된 도 1의 실시예의 물체의 애니메이션을 도시한 도면.
도 7은 도 6의 애니메이션을 계산하는데 사용된 2개의 식.
도면 내의 대응 요소는 동일한 참조 번호로 표시된다.
전자 디바이스의 일 실시예로서, iCat이라고 하는 감성적 사용자-인터페이스 로봇이 도 1에 도시된다. iCat은 사용자를 인지하고, 이들의 프로필을 형성하며, 사용자 요청을 처리한다. 프로필은 다른 종류의 가정 자동화 기능을 개인화하는데 사용된다. 예를 들어, 개인화된 광과 음향 조건은 특정 사용자가 iCat이 '편안한 분위기'를 생성할 것을 요청할 때 사용된다. 풍부한 사용자-프로필을 배우기 위해, iCat과 사용자 사이의 양호한 사교 관계가 요구되는데, 이는 양자가 서로 이해해야 하며 그들 자신에 대한 것들을 서로 알려 주는데 기꺼이 시간을 할애해야 하기 때문이다. 믿을 수 있는 사용자-인터페이스 로봇은 이러한 관계가 더욱 즐길 수 있고 효과적으로 만드는 것으로 기대된다.
도 1은 iCat 센서와 작동기를 도시한다. 로봇은 눈썹, 눈, 눈꺼풀, 입 및 머리 위치와 같은, 얼굴의 다른 부분을 제어하는 13개의 표준 R/C 서보(s1..s13)를 구비한다. 도 2는 이러한 서보 구성에 의해 실현될 수 있는 얼굴 표정의 일부를 도시한다. 코에는 카메라 Cam1이 얼굴 인식 및 헤드 트래킹을 위해 설치되어 있다. iCat의 발은 듣는 소리를 녹음하고 음원의 방향을 판단하기 위한 2개의 마이크 mic 1과 mic 2를 포함한다. 또한, 스피커(sp1)는 음향(WAV 및 MIDI 파일)을 재생하고 대화를 생성하기 위해 설치된다. 게다가, iCat은 가정 내 디바이스(예, 조명, VCR, TV, 라디오)를 제어하고 인터넷으로부터 정보를 얻기 위해 가정 네트워크에 연결된다. 마지막으로, 여러 터치 센서(touch1...touch6)는 사용자가 로봇을 터치하는지 여부를 감지하기 위해 설치된다.
사용자-인터페이스 로봇은 (예, 사용자 프로필 및 의도) 추론을 수행하고 사용자 입력에 대해 신속한 반응(예, 사용자가 로봇을 터치할 때)이 모두 가능해야 한다. 반응 기능뿐만 아니라 심의 기능을 제공하는 하이브리드 아키텍처는 이들 요건에 가장 잘 맞는다. 도 3은 공통의 하이브리드 아키텍처를 도시한다. 이것은 2층으로 구동되어 있으며, 이들은 모두 센서 정보를 수신하며 작동기에 액세스할 수 있다. 위층은 기획, 추론 및 작업 제어와 같은 심의 작업을 수행한다. 아래 층은 행동 실행 작업을 수행한다. 이 층은 더 높은 심의층으로부터 명령(예, 세트포인트, 골)을 수신하는 로봇 행동 세트(제어법)를 포함한다. 명령이 실현되었을 때 로봇 행동은 상태 정보를 되돌려 준다.
오디오-애니매트로닉스의 분야는 실사와 같은 캐릭터를 생성하기 위해 엔지니어링 기술을 개발했다. 이들의 주요 접근 방식은 미리 만들어진 캐릭터 퍼포먼스를 형성하는 것인데, 즉, 이들은 캐릭터가 연기해야 할 때 재생되는 서보, 조명, 음향 및 대화 이벤트의 스크립트를 프로그래밍한다. 이러한 접근 방식의 이점은 캐릭터의 동작에 대한 정확한 제어가 존재한다는 것이며, 이것은 애니메이션의 원리를 사용하여 이들을 적절히 설계할 기회를 제공한다. 이렇게 하여, 믿을 수 있는 행동이 실현된다. 단점은 상호작용성이 부족하다는 것이며: 캐릭터는 다른 방법으로 행동할 수 없으며 이후 규정된 프로그램에 따라 행동한다. 도 4는 사용자-인터페이스 로봇 iCat에 적용된 미리-프로그래밍된 애니메이션 스크립트의 일례를 도시한다. 이 스크립트는 iCat이 잠들게 하는데 사용된다. 머리를 낮추고 눈을 감는 대신, 애니메이션 원리는 iCat을 애니메이션화하는데 사용된다. 첫째, 예상(anticipation)은 사용자가 iCat이 잠들도록 준비하는데 사용된다. iCat이 우선 하품하도록 하게 하는 것이 이에 해당한다(도 4의 맨 위의 5개 프레임). 둘째, 천천히 들어가고 천천히 나옴(slow-in slow-out) 애니메이션 원칙이 적용된다. 동작을 최대한으로 더 느리게 만들어서 이들은 더 자연스럽게 된다. 최종 결과는 명백하고 이해가능하게 행동하는 로봇이다.
로봇 애니메이션(robot animation)은 로봇을 애니메이션화하는 작동기 액션-예, 서보, 조명, 음향 및 대화 액션-의 시퀀스이다. 로봇을 애니메이션화, 즉 어떻게 로봇이 믿을 수 있고 상호작용적이도록 행동하는지 계산함에 있어서, 주요 이슈는, 디바이스 액션의 시퀀스를 계산하는 계산적 모델을 개발하는 것이다. 계산적 모델의 다른 범주는 구별될 수 있다.
사전-프로그래밍 - 로봇 애니메이션은 표에 저장된다. 일반적으로, 이러한 로봇 애니메이션은 핸드-애니메이션화되거나 동작-캡처된 데이터로부터 생성된다.
시뮬레이션 - 로봇 애니메이션은 시뮬레이션/ 수학적 모델(예, 눈 깜박임 모델)에 의해 한정된다.
이미테이션 - 로봇 애니메이션은 온라인으로 학습되며, 예컨대, 사람 또는 다른 로봇을 흉내낸다.
로봇 행동 - 디바이스 액션을 생성하기 위해 센서 신호를 사용하는, 제어법은 예컨대, 헤드 트래킹(head tracking)과 같은 로봇 애니메이션을 한정한다.
사용자-인터페이스 로봇을 애니메이션화하기 위해 하나의 계산적 모델을 사용하는 대신, 복수의 모델을 사용하는 것이 더 유리하다. 각 모델은 로봇의 작동기의 제한된 세트만을 제어하는 분리된 로봇 애니메이션을 한정한다. 이렇게 하여, 다른 계산적 모델은 사용될 수 있는데: 그 예로는, 잠들고 깨는 사전-프로그래밍된 모델, 눈 깜박임을 위한 시뮬레이션 모델 및 카메라에 기초한 머리-추적 및 말할 때 립-싱크를 위한 로봇 행동이 있다. 불행히도, 복수의 모델을 사용하면 여러 문제를 도입한다. 우서, 개별 모델들은 적당한 순간에 적당한 조건 하에서 시작되고 정지되어야 한다. 하이브리드 로봇 아키텍처의 심의층(deliberation layer)은 이들 조건을 계산한다. 다른 문제는 복수의 로봇 애니메이션 모델들을 실행할 때 발생한다. 개별 애니메이션 이벤트는 서보, 조명, 음향 및 대화 이벤트가 동시에 발생하도록 동기화되어야 한다. 또한, 동시에 움직이는 로봇 애니메이션의 개별 액션은 통합되어야 한다. 마지막으로, 로봇 애니메이션 간의 스위칭으로 인해 발생하는 원치않은 순간적인 행동(예, 갑작스런 변화)은 적절해 처리되어야 한다.
로봇 애니메이션 엔진은 사용자-인터페이스 로봇을 애니메이션화하는 복수의 계산적 모델을 처리하기 위해 개발되었다. 이 엔진은 하이브리드 아키텍처 내의 행동 실행층의 일부이다. 더 높은 레벨 심의 프로세스가 로봇 애니메이션을 제어하기 위한 명령을 생성하는 반면, 엔진 자체는 이전 장에서 설명된 특정 통합 문제를 처리한다. 추상적 로봇 애니메이션 인터페이스는 다른 계산적 로봇 애니메이션 모델을 통합하기 위해 사용되었다. 이 인터페이스는 로봇 애니메이션의 세 가지 기본 양상을 한정한다. 첫째, 모든 로봇 애니메이션은 고유한 이름 속성을 갖는다. 이 이름은 특정 로봇 애니메이션을 언급하는데 사용된다. 둘째, 로봇 애니메이션은 로봇 애니메이션이 (재)시작될 때마다 호출되는 초기화 방법을 갖는다. 이 호출동안 계수기(counter)와 같은 변수는 초기값으로 주어질 수 있다. 마지막으로, 로봇 애니메이션은 다음 애니메이션 이벤트를 제공하기 위한 방법을 갖는다. 모든 특정 계산적 로봇 애니메이션 모델은 추상적 로봇 애니메이션 인터페이스로부터 유도된다. 각각은 추가적 속성과 해당 모델과 관련된 방법을 지닐 수 있다. 예를 들어, 사전-프로그래밍된 로봇 애니메이션은 디스크로부터 로딩되며 그러므로 이를 위한 특별 한 방법을 갖는다. 흉내-기반 로봇 애니메이션은 일반적으로 새 애니메이션 이벤트를 배우기 위한 방법을 갖는다.
로봇 실행 엔진은 여러 로봇 애니메이션을 동시에 재생할 수 있으면서도, 통합 문제를 처리한다. 도 5는 로봇 애니메이션 엔진 및 모든 그 구성요소의 아키텍처를 도시한다.
애니메이션 라이브러리 - 모든 로봇 애니메이션을 사전로딩 및 저장한다.
명령 파서 - 더 높은 레벨의 심의층으로부터 수신된 명령을 해석한다.
애니메이션 채널 - 단일 로봇 애니메이션의 실행을 제어한다.
결합 로직 - 복수의 애니메이션 이벤트를 단일 이벤트로 결합한다.
전이 필터 - 애니메이션 이벤트의 충돌없는(bumpless) 시퀀스를 실현한다.
클록 - 애니메이션 채널의 실행 프레임율을 결정한다.
애니메이션 채널
층화(layering)-복수의 애니메이션 사용-는 게임에서 믿을 수 있는 캐릭터의 행동을 생성하고 관리하는 일반적인 기술이다. 애니메이션 채널의 알려진 개념은 복수의 애니메이션의 실행을 제어하는데 사용된다. 로봇과 같은 행동-기반 아키텍처와 대조적으로, 애니메이션 채널은 실행시간에 애니메이션 라이브러리로부터 로봇 애니메이션으로 로딩되고 언로딩될 수 있다. 여러 채널 파라미터는 로딩된 로봇 애니메이션의 실행을 제어하기 위해 설정될 수 있다. 예를 들어, 애니메이션 채널은 애니메이션을 루핑하고, 지연되어 시작하며, 특정 시간에 시작하거나 다른 애니 메이션 채널과 동기화할 수 있다. 일단 로봇 애니메이션이 로딩되고 모든 파라미터가 설정되면, 애니메이션은 시작, 정지, 일시 정지, 재시작될 수 있다.
통합 로직
애니메이션의 우선순위화는 애니메이션을 통합하기 위한 표준 기술인 반면, 모든 혼합 상황을 처리할 수 없다. 그러므로, 실행시간 구성가능한 통합 로직 구성요소는 사용되며, 이것은 다른 상황에 대해 애니메이션 엔진을 사용하기 위한 융통성을 제공하며, 각각은 그 자체의 혼합 전략을 필요로 한다. 통합 로직 구성요소의 특정 혼합 구성은 각 작동기마다 실행시간에서 설정될 수 있다. 모든 개별 서보, 조명, 음향 또는 대화 채널에 대해, 혼합 연산자가 구성될 수 있다. 다음 혼합 연산자가 이용가능하다:
우선순위 - 더 낮은 우선순위를 가진 연산자 액션은 더 높은 우선순위를 가진 것들에 의해 지배된다.
(가중) 추가 - 작동기 액션은 가중 인자로 곱해지며 더해진다.
최소/최대 - 최소/ 최대값을 가진 작동기 액션이 선택된다.
곱셈 - 모든 작동기 액션이 곱해진다.
이들 연산자는 애니메이션뿐만 아니라 로보틱(robotics) 영역에 모두 공통적으로 사용된다. 통합 로직 구성요소를 확장시키기 위해 추가될 수 있는 추가적인 알려진 연산자는 다중해상도(multiresolutional) 필터링, 보간, 시간 왜 곡(timewarping), 파 형성(wave shaping) 및 동작 변위 맵핑을 포함한다.
전이 필터
한 로봇 애니메이션에서 다른 로봇 애니메이션으로의 갑작스런 변화는 갑작스런 전이를 초래할 수 있다. 이를 막기 위한 한 가지 기술은 특수 키-프레임을 사용하여 로봇 애니메이션의 시작 및 종료 프레임을 한정하는 것이다. 새 로봇 애니메이션은 그 시작 프레임이 이전 로봇 애니메이션의 종료 프레임과 매칭할 때에만 시작될 수 있다. 그러나, 이 기술은, 작동기 액션이 센서 입력과 내부 변수로부터 실행 시간에 계산되므로 로봇 행동에 응용될 수 없다. 그러므로, 제 2 기술, 즉, 필터링이 사용된다. 전이 필터 구성요소는 로봇 애니메이션 사이의 매끄러운 전이를 실현하는데 사용된다.
도 6은 서보(si)에 대한 전이 필터의 작동을 도시한다. 시간(t1)에서 스위칭이 발생한다. 전이 기간(tt)이라고 하는, 제한된 시간 기간동안, 새 서보 애니메이션(sB i)은 도 7의 수학식 1과 2를 사용하여 이전 서보 애니메이션(sA i)의 최종값과 결합된다. 전이 필터는 전기 기간동안 이들 로봇 애니메이션의 선형 결합을 계산한다. 스칼라(α)는 시간에 선형적으로 의존하며; 이것을 시간에 대해 지수급수적으로 의존하도록 하는 것은 보간을 훨씬 더 매끄럽게 할 것이다.
응용
제안된 로봇 애니메이션 엔진을 평가하기 위해 시나리오가 개발되었으며, 이 시나리오에서 사용자-인터페이스 로봇(iCat)은 HomeLab이라고 하는 주변 인텔리전스 가정 환경 내의 조명 및 음악을 관리한다. 대화는 iCat에게 요청하는데 사용된다. 대화를 인식하는 것 외에도, iCat은 헤드 트래킹을 행할 수 있어야 하며, 그리하여 사용자가 말하는 동안 사용자를 바라보며, 사용자에게 이야기하는 동안 립-싱크를 하며, 더욱 실사와 같도록 하기 위해 눈을 깜박이며 사용자 요청에 적절히 반응하기 위해 얼굴 표정을 보여준다(예, 요청이 이해되었을 때 행복해 보이며 요청이 불명확하면 슬퍼보임). 여러 계산 모델들은 이들 로봇 애니메이션을 실현하는데 사용되었다.
5개의 애니메이션 채널은 복수의 로봇 애니메이션을 처리하기 위해 정의되었다. 표 1은 이들 채널을 나타내며 그들의 목적을 설명한다. 예를 들어, 채널 0은 모든 작동기 디바이스(예, 도 4에 도시된 것과 같은 잠드는 로봇 애니메이션)를 제어하는 로봇 애니메이션에 사용되며, 채널 2는 4개의 입 서보(s8,s9,s10,s11; 도 1 참조)를 제어하기 위해 립-싱크 로봇 애니메이션에 의해 사용된다.
채널 이름 설명
0 전신 모든 디바이스(s1...s13, sp1)를 제어하는 로봇 애니메이션 재생.
1 머리 머리 위/아래(s12) 및 왼쪽/오른쪽(s13) 및 눈(s5,s6,s7)을 제어하는 로봇 애니메이션 재생.
2 눈꺼풀 눈꺼풀 서보(s3,s4)를 제어하는 로봇 애니메이션 재생.
3 입술 4개의 입 서보(s8,s9,s10,s11)를 제어하는 로봇 애니메이션 재생.
4 얼굴 얼굴 표정(s1...s13,sp1)
본 발명이 바람직한 실시예와 연관하여 설명되는 동안, 위에서 강조된 원리 내의 변형예는 당업자에게 명백할 것이며, 따라서 본 발명은 바람직한 실시예에 제한되지만 이러한 변형예를 포함하는 것으로 의도된다는 것이 이해될 것이다. 본 발명은 각각의 모든 새로운 특징적인 기능 및 각각의 모든 특징적인 기능의 결합에 존재한다. 청구항 내의 참조 번호는 그들의 보호 범위를 제한하지 않는다. "포함하다"라는 동사와 그 활용어의 사용은 청구항 내에 기술된 것 이외의 요소의 존재를 배제하지 않는다. 단수 요소의 사용은 복수 요소의 존재를 배제하지 않는다.
'수단'이란, 당업자에게 명백한 것처럼, 작동 중에 수행하는 임의의 하드웨어(예, 분리된 또는 집적 회로 또는 전자 소자) 또는 소프트웨어(예, 프로그램 또는 프로그램의 일부)를 포함하는 것의 의미하거나, 단독으로 다른 기능과 결합하여, 고립되어 또는 다른 요소들과 협력하는, 지정된 기능을 수행하기 위해 설계된다. 전자 디바이스는 여러 분리된 요소를 포함하는 하드웨어에 의해, 그리고 적절히 프로그래밍된 컴퓨터에 의해 구현될 수 있다. '컴퓨터 프로그램'은 임의의 다른 인터넷과 같은, 네트워크를 통해 다운로드 가능하거나, 임의의 다른 방법으로 마케팅 가능한, 컴퓨터-판독가능 매체 상에 저장된 임의의 소프트웨어 제품을 의미하는 것으로 이해될 것이다.
본 발명은 전자 디바이스, 특히 상호작용 로봇 또는 상호작용 가상 캐릭터의 적어도 일부에 대한 새 애니메이션을 결정할 수 있는 전자 디바이스에 관한 것으로서, 전자 디바이스, 전자 디바이스로서 기능하기 위해 그 실행과 동시에 프로그래밍가능한 디바이스를 인에이블하는 컴퓨터 프로그램 제품 및 물체의 애니메이션화 방법 등에 이용가능하다.

Claims (9)

  1. 전자 디바이스로서,
    - 제 1 애니메이션 내에 물체(s1...s12)의 적어도 한 위치에 기초한 물체(s1...s12)의 새로운 애니메이션의 제 1 부분 및 물체의 제 2 애니메이션의 제 1 부분을 결정하고;
    - 제 2 애니메이션의 제 2 부분에 기초한 새로운 애니메이션의 제 2 부분을 결정할 수 있는
    처리 유닛을 포함하는, 전자 디바이스.
  2. 제 1항에 있어서, 전자 디바이스는 로봇이며 물체는 로봇의 하나 이상의 서보(servo)인, 전자 디바이스.
  3. 제 1항에 있어서, 새 애니메이션의 제 1 부분의 지속 기간은 제 2 애니메이션의 시작 시간에 따르지 않는, 전자 디바이스.
  4. 제 1항에 있어서, 처리 유닛은 특정 사용자 입력이 수신되자 마자 새 애니메이션의 제 1 부분을 실행하며, 상기 특정 사용자 입력은 제 2 애니메이션을 트리거(trigger)하는, 전자 디바이스.
  5. 제 1항에 있어서, 새 애니메이션의 제 1 부분에 대한 제 2 애니메이션의 제 1 부분의 기여는 전이 기간동안 지수급수적으로 증가하는, 전자 디바이스.
  6. 제 1항의 전자 디바이스로서 기능하기 위해 그 실행과 동시에 프로그래밍가능한 디바이스를 인에이블하는 컴퓨터 프로그램 제품.
  7. 물체(s1...s12)의 애니메이션화를 인에이블하는 방법으로서,
    - 물체(s1...s12)의 제 1 애니메이션 내의 물체의 적어도 한 위치 및 물체(s1...s12)의 제 2 애니메이션의 제 1 부분에 기초하여 제 1 기간동안 물체(s1...s12)의 애니메이션화를 인에이블하는 단계; 및
    - 물체(s1...s12)의 제 2 애니메이션의 제 2 부분에 기초한 제 2 기간동안 물체(s1...s12)의 애니메이션화를 인에이블하는 단계
    를 포함하는, 물체(s1...s12)의 애니메이션화를 인에이블하는 방법.
  8. 전자 디바이스로서,
    - 물체(s1...s12)의 제 1 애니메이션 내에 물체(s1...s12)의 적어도 한 위치 및 물체(s1...s12)의 제 2 애니메이션의 제 1 부분에 기초한 제 1 기간동안 물체(s1...s12)를 애니메이션화하고;
    - 물체(s1...s12)의 제 2 애니메이션의 제 2 부분에 기초한 제 2 기간동안 물체(s1...s12)를 애니메이션화할 수 있는
    처리 유닛을 포함하는, 전자 디바이스.
  9. 물체(s1...s12)의 애니메이션화 방법으로서,
    - 물체(s1...s12)의 제 1 애니메이션 내에 물체(s1...s12)의 적어도 한 위치 및 물체(s1...s12)의 제 2 애니메이션의 제 1 부분에 기초한 제 1 기간동안 물체(s1...s12)를 애니메이션화하는 단계; 및
    - 물체(s1...s12)의 제 2 애니메이션의 제 2 부분에 기초한 제 2 기간동안 물체(s1...s12)를 애니메이션화하는 단계
    를 포함하는, 물체(s1...s12)의 애니메이션화 방법.
KR1020067018266A 2004-03-12 2005-03-10 물체의 애니메이션화를 인에이블하는 전자 디바이스 및방법 KR20060126807A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP04101029 2004-03-12
EP04101029.9 2004-03-12

Publications (1)

Publication Number Publication Date
KR20060126807A true KR20060126807A (ko) 2006-12-08

Family

ID=34961543

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020067018266A KR20060126807A (ko) 2004-03-12 2005-03-10 물체의 애니메이션화를 인에이블하는 전자 디바이스 및방법

Country Status (8)

Country Link
US (1) US20070191986A1 (ko)
EP (1) EP1727605B1 (ko)
JP (1) JP2007528797A (ko)
KR (1) KR20060126807A (ko)
CN (1) CN1929894A (ko)
AT (1) ATE374064T1 (ko)
DE (1) DE602005002637D1 (ko)
WO (1) WO2005087337A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180129886A (ko) * 2016-03-31 2018-12-05 지보, 인코포레이티드 지속적 컴패니언 디바이스 구성 및 전개 플랫폼

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7213061B1 (en) * 1999-04-29 2007-05-01 Amx Llc Internet control system and method
EP1934720B1 (en) * 2005-09-07 2018-02-14 Open Invention Network LLC Method and computer program for device configuration
US8608560B1 (en) * 2006-09-12 2013-12-17 Tournament One, Corp. Non-deterministic animations with predetermined result
TWI332179B (en) * 2007-04-13 2010-10-21 Univ Nat Taiwan Science Tech Robotic system and method for controlling the same
JP2011511713A (ja) * 2007-12-17 2011-04-14 ピクサー 関節連結されたコンピューター生成キャラクターからアニマトロニクスユニットを設計するための方法および装置
US8232998B2 (en) * 2007-12-17 2012-07-31 Pixar Methods and apparatus for estimating and controlling behavior of animatronics units
KR20110026212A (ko) * 2009-09-07 2011-03-15 삼성전자주식회사 로봇 및 그 제어방법
US9656392B2 (en) * 2011-09-20 2017-05-23 Disney Enterprises, Inc. System for controlling robotic characters to enhance photographic results
US20150138333A1 (en) * 2012-02-28 2015-05-21 Google Inc. Agent Interfaces for Interactive Electronics that Support Social Cues
US10068363B2 (en) * 2013-03-27 2018-09-04 Nokia Technologies Oy Image point of interest analyser with animation generator
CN106493732A (zh) * 2016-10-19 2017-03-15 天津奇幻岛科技有限公司 一种使用虚拟三维动画控制游戏机械手臂的方法
US20200265629A1 (en) * 2019-02-20 2020-08-20 Universal City Studios Llc Systems and methods for animation on structural features using electronic ink
US20210295728A1 (en) * 2020-03-19 2021-09-23 Elnaz Sarrafzadeh Artificial Intelligent (AI) Apparatus and System to Educate Children in Remote and Homeschool Setting

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6337552B1 (en) * 1999-01-20 2002-01-08 Sony Corporation Robot apparatus
US5636994A (en) * 1995-11-09 1997-06-10 Tong; Vincent M. K. Interactive computer controlled doll
JP3168244B2 (ja) * 1996-02-13 2001-05-21 株式会社セガ 画像生成装置およびその方法
US6572431B1 (en) * 1996-04-05 2003-06-03 Shalong Maa Computer-controlled talking figure toy with animated features
JP4036509B2 (ja) * 1997-11-07 2008-01-23 株式会社バンダイナムコゲームス 画像生成装置及び情報記憶媒体
JP2000011199A (ja) * 1998-06-18 2000-01-14 Sony Corp アニメーションの自動生成方法
JP4233065B2 (ja) * 1999-02-16 2009-03-04 株式会社バンダイナムコゲームス ゲーム装置及び情報記憶媒体
KR20010053322A (ko) * 1999-04-30 2001-06-25 이데이 노부유끼 전자 페트 시스템, 네트워크 시스템, 로봇, 및 기억 매체
JP2001087543A (ja) * 1999-09-22 2001-04-03 Square Co Ltd モーション再生制御方法、記録媒体およびゲーム装置
JP3618298B2 (ja) * 2000-01-28 2005-02-09 株式会社スクウェア・エニックス モーション表示方法、ゲーム装置及び記録媒体
JP3606370B2 (ja) * 2000-06-14 2005-01-05 株式会社ナムコ ゲーム装置および情報記憶媒体
JP2002042176A (ja) * 2000-07-28 2002-02-08 Namco Ltd ゲームシステム及び情報記憶媒体
JP2002239960A (ja) * 2001-02-21 2002-08-28 Sony Corp ロボット装置の動作制御方法、プログラム、記録媒体及びロボット装置
US6507773B2 (en) * 2001-06-14 2003-01-14 Sharper Image Corporation Multi-functional robot with remote and video system
JP4656622B2 (ja) * 2001-08-23 2011-03-23 株式会社バンダイナムコゲームス 画像生成システム、プログラム及び情報記憶媒体
JP2003085592A (ja) * 2001-09-10 2003-03-20 Namco Ltd 画像生成システム、プログラム及び情報記憶媒体
JP2004030502A (ja) * 2002-06-28 2004-01-29 Sangaku Renkei Kiko Kyushu:Kk シミュレーション方法、シミュレーション装置およびシミュレーションプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180129886A (ko) * 2016-03-31 2018-12-05 지보, 인코포레이티드 지속적 컴패니언 디바이스 구성 및 전개 플랫폼

Also Published As

Publication number Publication date
CN1929894A (zh) 2007-03-14
DE602005002637D1 (de) 2007-11-08
ATE374064T1 (de) 2007-10-15
EP1727605B1 (en) 2007-09-26
WO2005087337A1 (en) 2005-09-22
JP2007528797A (ja) 2007-10-18
US20070191986A1 (en) 2007-08-16
EP1727605A1 (en) 2006-12-06

Similar Documents

Publication Publication Date Title
EP1727605B1 (en) Electronic device and method of enabling to animate an object
van Breemen Animation engine for believable interactive user-interface robots
CA2912243C (en) Immersive story creation
US10335954B2 (en) Methods and systems for managing dialogs of a robot
Thiebaux et al. Smartbody: Behavior realization for embodied conversational agents
Gebhard et al. Authoring scenes for adaptive, interactive performances
US6285380B1 (en) Method and system for scripting interactive animated actors
KR20210110620A (ko) 상호작용 방법, 장치, 전자 장치 및 저장 매체
Kasap et al. Intelligent virtual humans with autonomy and personality: State-of-the-art
CN106663219A (zh) 处理与机器人的对话的方法和系统
CN110070879A (zh) 一种基于变声技术制作智能表情及声感游戏的方法
CN107577661B (zh) 一种针对虚拟机器人的交互输出方法以及系统
JP2001216530A (ja) アニメーション・キャラクターの社会的プリミティブの指定、制御、及び変更のための方法及び装置
KR102180576B1 (ko) 사용자의 플레잉에 기초하여 재프로그래밍되는 인터랙티브 콘텐츠 제공 방법 및 장치
CN1372660A (zh) 与消费电子系统进行交互的方法
CN114287030A (zh) 用于跨真实和增强现实的自适应对话管理的系统和方法
CN112262024A (zh) 用于增强数字体验的动态机器人配置的系统和方法
EP0919031A1 (en) A method and system for scripting interactive animated actors
CN114303151A (zh) 经由使用组合神经网络的场景建模进行自适应对话的系统和方法
EP1964066B1 (en) Method for controlling animations in real time
van Breemen et al. Advanced animation engine for user-interface robots
Prendinger et al. MPML and SCREAM: Scripting the bodies and minds of life-like characters
Pizarro et al. How to Time Travel in Highly Immersive Virtual Reality.
Wang et al. “Walk to here”: A Voice Driven Animation System
Bahr The Star of This $70 Million Sci-Fi Film Is a Robot

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application