KR102059834B1 - 정보 처리장치, 정보 처리방법, 기억매체 및 프로그램 - Google Patents

정보 처리장치, 정보 처리방법, 기억매체 및 프로그램 Download PDF

Info

Publication number
KR102059834B1
KR102059834B1 KR1020160080518A KR20160080518A KR102059834B1 KR 102059834 B1 KR102059834 B1 KR 102059834B1 KR 1020160080518 A KR1020160080518 A KR 1020160080518A KR 20160080518 A KR20160080518 A KR 20160080518A KR 102059834 B1 KR102059834 B1 KR 102059834B1
Authority
KR
South Korea
Prior art keywords
interference
image
virtual objects
unit configured
unit
Prior art date
Application number
KR1020160080518A
Other languages
English (en)
Other versions
KR20170003435A (ko
Inventor
카즈키 타케모토
Original Assignee
캐논 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 캐논 가부시끼가이샤 filed Critical 캐논 가부시끼가이샤
Publication of KR20170003435A publication Critical patent/KR20170003435A/ko
Application granted granted Critical
Publication of KR102059834B1 publication Critical patent/KR102059834B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06K9/00671—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082—Virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/21—Collision detection, intersection

Abstract

장치는, 현실의 공간의 촬상 화상을 취득하도록 구성된 화상 취득부와, 복수의 가상 물체들 각각의 위치 및 자세를 취득하도록 구성된 위치 및 자세 취득부와, 복수의 가상 물체들 각각의 위치 및 자세와 복수의 가상 물체들의 모델 데이터에 근거하여, 가상 물체들 사이에 간섭이 존재하는지 여부를 판정하도록 구성된 간섭 판정부와, 간섭 판정부의 결과에 근거하여, 가상 물체들이 서로 간섭하는 간섭 부위의 윤곽을 간섭 정보로서 기록하도록 구성된 간섭 정보 기록부와, 촬상 화상과, 복수의 가상 물체들의 화상과, 간섭 부위의 윤곽을 표시하는 화상을 포함하는 합성 화상을 생성하도록 구성된 생성부를 구비한다.

Description

정보 처리장치, 정보 처리방법, 기억매체 및 프로그램{INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD, STORAGE MEDIUM, AND PROGRAM}
본 발명은, 복합 현실감 시스템에 관한 것이다.
최근, 설계 및 제조 분야에 있어서 프로토타입을 사용한 평가의 기간 단축 및 비용 삭감이 요구되고 있다. 한편, 복합 현실감(mixed reality: MR)) 시스템이 도입되어 있다. MR 시스템은, 컴퓨터 지원 설계(CAD) 시스템에 의해 작성한 설계(형상 및 디자인) 데이터를 사용하여, 조립하기 쉬움과 메인티넌스 가능성을 가상적으로 평가한다. 대표적인 평가 항목은, 현실의 부품이 존재하지 않아도, 가상 부품 만에 근거하여, 공구를 원하는 부품 이외의 부품들과 간섭시키지 않고 작업을 행할 수 있는지를 평가하는 시스템이다.
이러한 평가를 행하기 위한 MR 시스템은, 체험자가 움직인 가상 물체(예를 들면, 공구)가 다른 가상 물체(부품)와 간섭하였는지 아닌지, 또는 발생한 경우에는, 간섭시에 어떤 종류의 간섭 자국이 남았는지를 제시하는 기능을 갖는 것이 예상된다.
일본국 특개 2006-302035호 공보는, 간섭이 발생한 위치 군을 메모리에 기록하고, 메모리 상의 이와 같은 위치 군을 시계열식으로 선분으로 연결함으로써 궤적을 표시하는 방법을 개시하고 있다.
그렇지만, 일본국 특개 2006-302035호 공보에 개시되는 방법에서는, 선분을 사용한 순차적인 연결만 행해진다. 따라서, 어느 정도의 간섭 자국이 부품에 남았는지를 판단하는 것은 곤란하다.
본 발명의 일면에 따르면, 정보 처리장치는, 현실의 공간의 촬상 화상을 취득하도록 구성된 화상 취득부와, 복수의 가상 물체들의 모델 데이터를 기억하도록 구성된 기억부와, 상기 복수의 가상 물체들 각각의 위치 및 자세를 취득하도록 구성된 위치 및 자세 취득부와, 상기 복수의 가상 물체들 각각의 위치 및 자세와 상기 복수의 가상 물체들의 모델 데이터에 근거하여, 상기 가상 물체들 사이에 간섭이 존재하는지 여부를 판정하도록 구성된 간섭 판정부와, 상기 간섭 판정부의 결과에 근거하여, 상기 가상 물체들이 서로 간섭하는 간섭 부위의 윤곽을 간섭 정보로서 기록하도록 구성된 간섭 정보 기록부와, 상기 촬상 화상과, 상기 복수의 가상 물체들의 화상과, 상기 간섭 부위의 윤곽을 표시하는 화상을 포함하는 합성 화상을 생성하도록 구성된 제1 생성부와, 생성된 상기 합성 화상을 출력하도록 구성된 출력부를 구비한다.
본 발명에 따르면, 가상 물체와 대상물체 사이의 간섭에 대해, 간섭한 부위의 형상을 표시하는 간섭 정보를 제시할 수 있다.
본 발명의 또 다른 특징 및 국면은 첨부된 도면을 참조하여 주어지는 이하의 실시형태의 상세한 설명으로부터 명백해질 것이다.
도 1은 제1실시형태에 따른 화상 처리장치의 구성을 나타낸 블록도다.
도 2a, 도 2b 및 도 2c는 제1실시형태에 따른 가상 물체들, 현재의 간섭 부위 및 과거의 간섭 부위를 각각 나타낸 모식도다.
도 3은 변형예 1에 있어서의 간섭 부위의 표시 방법을 나타낸 모식도다.
도 4는 제1실시형태의 정보 처리장치에 의해 행해지는 처리의 상세를 나타낸 흐름도다.
도 5는 제1실시형태의 간섭 정보 유지부에 의해 행해지는 처리의 상세를 나타낸 흐름도다.
도 6은 변형예 2에 따른 정보 처리장치의 처리 흐름도다.
도 7은 제1실시형태에 따른 정보 처리장치의 하드웨어 구성의 예를 나타낸 도면이다.
도 8은 제1실시형태의 간섭 정보의 데이터 세트의 예를 나타낸 표이다.
도 9는 변형예 1의 간섭 정보 유지부에 의해 행해지는 처리의 상세를 나타낸 흐름도다.
도 10은 변형예 1의 가상 공간의 화상의 묘화 결과를 나타낸 모식도다.
이하, 첨부도면을 참조하여, 본 발명을 적용한 바람직한 실시형태에 따라 상세히 설명한다.
도 7은, 본 실시형태를 실현하기 위한 하드웨어를 나타낸 블록도다.
구체적으로는, 도 7은 본 실시형태에 따른 정보 처리장치(100)의 하드웨어 구성도이다. 도 7에서, 중앙처리장치(CPU)(710)는, 버스(700)를 거쳐 접속되는 각 디바이스를 총괄적으로 제어한다. CPU(710)은, 판독 전용 메모리(ROM)(720)에 기억된 처리 스텝이나 프로그램을 판독해서, 판독된 처리 스텝이나 프로그램을 실행한다. 오퍼레이팅 시스템(OS)을 포함하여, 본 실시형태에 따른 각 처리 프로그램 및 디바이스 드라이버는 ROM(720)에 기억되어 있고, 랜덤 액세스 메모리(RAM)(730)에 일시기억되어, CPU(710)에 의해 적절히 실행된다. 입력 인터페이스(I/F)(740)는, 외부의 장치(촬상장치와 조작 장치 등)로부터 신호를 수신하고, 수신된 신호를 정보 처리장치(100)에서 처리가능한 형식으로 입력 신호로서 입력한다. 출력 I/F(750)는, 외부의 장치(예를 들면, 헤드 마운트 디스플레이(HMD) 등의 표시장치)에 의해 처리가능한 형식으로 출력 신호로서 신호를 출력한다.
도 1은 본 실시형태에 따른 정보 처리장치(100)의 기능 구성을 나타낸 블록도이다.
본 실시형태에 따른 정보 처리장치(100)는 HMD(301)에 접속되어 있다. 정보 처리장치(100)는, HMD(301) 내부의 촬상부(107)로부터 취득한 현실 공간의 화상과 가상 공간의 화상을 합성하여, 이에 따라 얻어진 복합 현실감 영상을 HMD(301) 내부의 표시부(110)에 출력한다.
촬상부(107)는, 현실 공간의 화상을 촬영하고, 촬상한 화상을 정보 처리장치(100)에 출력한다. 합성부(109)는, 촬영된 화상을 가상 물체의 화상과 합성하고, 표시부(110)는 그 결과 얻어진 합성 화상을 표시한다. 본 실시형태에서는, 촬상부(107)는 HMD(301)에 내장된다.
표시부(110)는, 합성부(109)에 의해 묘화한 합성 화상을 체험자에게 제시한다. 본 실시형태에서는, HMD(301)에 내장된 디스플레이를 사용한다.
진동 제시부(113)는, 간섭 정보 통지부(112)로부터 간섭의 발생을 나타내는 출력을 받는다. 그후, 진동 제시부(113)는 체험자(유저)의 촉각에 간섭이 발생한 것을 알리기 위한 진동을 제시한다. 본 실시형태에서는, 진동 제시부(113)로서는, 편심 추가 부착된 선단을 갖는 모터를 회전시키는 디바이스를 사용한다. 이 디바이스는 체험자의 신체의 일부에 부착된다. 그렇지만, 본 발명은 이 예에 한정되는 것은 아니고, 촉각을 자극하는 방법이면 적용가능하다. 예를 들면, 손가락 끝에 부착된 전극에 미약한 전류를 흘려보내도 된다.
음 제시부(115)는, 간섭 정보 통지부(112)로부터 간섭의 발생을 나타내는 출력을 받는다. 그후, 음 제시부(115)는, 체험자의 청각에 간섭이 발생한 것을 알리는 소리를 제시한다. 본 실시형태에서는, 정보 처리장치(100)와 별개로 설치된 스피커를 사용한다. 예를 들면, HMD(301)에 헤드폰을 내장시켜, 이 헤드폰을 사용해서 소리를 제시해도 된다. 또한, 거치형의 스피커를 이용해도 된다. 또한, 정보 처리장치(100)에 스피커를 내장해도 된다. 소리가 체험자의 청각을 자극할 수 있는 것이면 어떤 종류의 소리를 사용해도 된다. 예를 들면, 소정의 파장의 비프음을 사용해도 된다.
정보 처리장치(100)는, 가상 물체 데이터베이스(101), 간섭 판정부(103), 가상 물체 묘화부(104), 간섭 부위 산출부(105), 위치 및 자세 취득부(108), 합성부(109), 간섭 정보 유지부(111) 및 간섭 정보 통지부(112)를 구비한다.
CPU(710)는, ROM(720)에 격납된 프로그램을 RAM(730)에 판독하고, 프로그램에 근거하여 후술하는 각 흐름도에 따른 처리를 실행함으로써 이들의 각 기능부를 실현하고 있다. 또한, 예를 들면, CPU(710)을 사용한 소프트웨어 처리의 대체로서 하드웨어를 구성하는 경우에는, 여기에서 설명하는 각 기능부의 처리에 대응하는 연산부와 회로를 구성하면 된다.
가상 물체 데이터베이스(101)는, 가상 물체의 모델을 유지한다. 가상 물체의 모델은, 예를 들면, 형상, 표시 색 및 초기 위치 및 자세를 포함하고 있다. 본 실시형태에서는, 2개의 가상 물체 201 및 202를 예로 들어 설명한다. 도 2a에 나타낸 것과 같이, 가상 물체 201 및 202는 각각 직방체 형상 및 원기둥 형상을 갖는다.
위치 및 자세 취득부(108)는, 촬상부(107)로부터 화상을 취득하고(즉, 위치 및 자세 취득부(108)가 화상 취득부의 기능을 갖는다), 촬상부(107)로부터 취득한 화상에 근거하여, 현실 공간의 촬상부(107)의 위치 및 자세(즉, HMD(301)의 위치 및 자세)와 가상 물체의 위치 및 자세를 추정한다(화상 취득). 본 실시형태에서는, 촬상부(107)의 위치 및 자세를 체험자의 시점의 위치 및 자세인 것으로 가정한다. 촬상부(107)의 위치 및 자세는, 현실 공간에 배치된 마커를 촬상한 화상에 근거해서 산출된다(촬상부 위치 및 자세 계측). 또한, 가상 물체의 위치 및 자세에 대해서는, 예를 들면, 가상 물체에 대응하는 기존의 현실물을 미리 현실 공간에 배치한다. 기존의 현실물에 마커를 부착하고, 이 마커를 촬상한 화상에 근거하여, 현실물의 위치 및 자세를 추정한다. 이 기존의 현실물의 추정된 위치 및 자세를 이 현실물에 대응하는 가상 물체의 위치 및 자세인 것으로 추정한다. 체험자가 기존의 현실물을 움직임으로써, 가상 물체의 위치 및 자세를 변경할 수 있다. 단, 본 발명에서는, 체험자의 시점의 위치 및 자세와 가상 물체의 위치 및 자세를 취득하는 방법은 이 예에 한정되지 않는다. 예를 들면, 기존의 현실물에 3차원 센서를 부착하거나 또는 내장시켜 사용해도 된다. 더구나, 시판의 모션 캡처 시스템을 이용해서 촬상부(107)에 대한 가상 물체의 위치 및 자세를 계측하는 것도 가능하다. 가상 물체에 대응하는 기존의 현실물을 설치하지 않아도, 미리 설정된 위치에 가상 물체를 표시하고, 콘트롤러 등의 장치를 사용해서 가상 물체를 이동시켜도 된다.
간섭 판정부(103)는, 가상 물체의 위치 및 자세와 형상에 근거하여, 복수의 가상 물체들 사이의 간섭의 유무를 판정한다. 2개의 가상 물체들 사이의 간섭의 판정은, 이하의 절차로 실현한다. 각각의 가상 물체로부터 한 개의 삼각형 폴리곤을 추출하고, 각각의 삼각형 폴리곤들이 서로 교차하고 있는지 아닌지를 판정한다. 이와 같은 판정을 모든 삼각형 폴리곤들의 조합에 대하여 행한다. 단지 한 개의 교차가 존재하더라고, 교차가 존재하는 경우에는, 가상 물체들이 서로 간섭하고 있다고 판정한다. 더구나, 이 처리를 모든 가상 물체들의 조합에 대하여 행한다. 단, 본 실시형태에 있어서의 간섭 판정부(103)의 실현 방법은 이 예에 한정되는 것은 아니다.
간섭 부위 산출부(105)는, 간섭 판정부(103)에 의해 서로 간섭하고 있다고 판정된 가상 물체들로부터 간섭 부위를 산출한다. 본 실시형태에서는, 교차하고 있는 삼각형 폴리곤들의 집합과 교선의 집합을 간섭 부위(즉, 간섭한 부위의 윤곽)로서 산출한다. 단, 본 실시형태에 있어서, 간섭 부위의 표현 방법은 이 예에 한정되는 것은 아니다.
간섭 정보 유지부(111)는, 간섭 부위 산출부(105)에 의해 산출된 간섭 정보를 유지한다(간섭 정보 기록). 도 8은 간섭 정보의 일례를 나타낸 것이다.
"프레임 번호" 항목은, 촬상부(107)가 촬상한 화상이 갱신될 때마다 1씩 증분되는 번호다.
"간섭 대상물" 항목은, 서로 간섭하고 있는 가상 물체를 특정하는 모델의 식별 정보를 나타낸다. 본 실시형태에서는, 각 가상 물체의 명칭을 등록하고 있다. "시각" 항목은, 간섭의 발생이 실제로 판정된 시간을 나타낸다.
"꼭짓점 수" 항목은, 서로 간섭하고 있는 가상 물체 201 및 202에서 폴리곤의 교선들의 끝 점(end node)들의 수이다.
"꼭짓점 위치" 항목은, 교선의 모든 끝 점의 3차원 위치를 나타낸다. 이 꼭짓점 위치를 선분으로서 묘화하면, 도 2b에 있어서 원형 선(가상 물체 201 및 202의 간섭 부위 203)이 얻어진다.
"색"과 "선폭" 항목은, 각각 간섭 정보를 가상 물체의 화상으로서 묘화하는 경우에 사용되는 묘화 속성을 나타낸다. 이때, 묘화 속성인 색과 선폭은 간섭시에 생성되는 것에 한정되는 것은 아니고, 사전에 파라미터를 설정해도 된다.
도 8에 나타낸 표는 각각의 프레임 번호에 대한 1개의 데이터 세트를 나타내고, 데이터 세트들의 이력이 유지된다. 본 발명은, 간섭 정보를 프레임 번호에 근거하여 데이터 세트로 구분하는 것에 한정되는 것은 아니다. 시각을 키로 사용해서 데이터 세트를 만들어도 된다. 또한, 간섭 대상물로서 표시된 2개의 가상 물체의 조합마다 데이터 세트를 만들어도 된다.
가상 물체 묘화부(104)는, 간섭 정보와 가상 물체 201 및 202를 묘화한 화상을 생성한다. 더욱 구체적으로는, 가상 물체 묘화부(104)는 가상 물체 데이터베이스에 보존된 모델 데이터와 간섭 정보 유지부(111)에 보존된 간섭 정보에 근거하여, 화상을 생성한다.
가상 물체 묘화부(104)는, 가상 공간의 화상을 생성하기 위한 가상 시점의 위치 및 자세를 위치 및 자세 취득부(108)로부터 취득한다. 가상 시점의 위치 및 자세로서는, 예를 들면, 기준으로 사용하는 세계 좌표계에 있어서의 촬상부(107)의 위치 및 자세 정보를 입력하면 된다. 또한, 가상 물체 201 및 202와 간섭 정보의 3차원 꼭짓점 위치는, 위치 및 자세 취득부(108)에 의해 취득된 위치 및 자세에 근거하여 갱신한다. 갱신한 가상 물체와 간섭 정보의 3차원 꼭짓점은, 가상 시점에 근거하여, 설정된 투영면에 투영된다. 투영후의 폴리곤 및 선분의 묘화처리는, 일반적인 3차원(3-D) 화상 생성을 위한 묘화처리와 유사하므로, 상세한 설명은 생략한다. 도 2c는 실시형태에 따른 가상 물체 묘화부(104)에서 생성된 가상 공간의 화상을 나타내고 있다. 가상 물체 201 및 202와 지금까지 축적된 간섭 정보에 근거한 간섭 부위 206이 묘화된다(간섭 정보 화상 생성). 본 실시형태에서는, 간섭 부위 206의 윤곽을 묘화하고 있다. 더구나, 예를 들어, 윤곽의 내부에 특정 색을 중첩함으로써, 간섭 부위 206을 판별하기 쉽게 해도 된다.
합성부(109)는, 촬상부(107)로부터 취득한 현실 공간의 화상과, 가상 물체 묘화부(104)에 의해 묘화된 가상 공간의 화상을 합성한다. 합성 처리는, 가상 공간의 화상을 촬상부(107)에서 취득한 현실 공간의 화상 위에 묘화함으로써 행해짐으로써, 합성 화상을 얻는다. 합성 화상에서는, 가상 물체 201 및 202를 형성하는 영역 이외의 영역에 있는 화소로서 현실 공간의 화상의 화소가 표시된다. 합성부(109)는, 합성 화상을 HMD(301) 내부의 표시부(110)에 출력한다.
간섭 정보 통지부(112)는, 간섭 정보 유지부(111)의 정보에 근거하여, 현재의 간섭 상태를 다른 통지부에 통지한다. 본 실시형태에서는, 가상 물체 201 및 202와 간섭 정보에 근거하여 가상 물체 묘화부(104)에 의해 생성된 화상을 시각적으로 표시함으로써 간섭이 존재하는지 아닌지를 명시적으로 체험자에게 제시하고 있다. 그러나, 간섭하고 있는 장소가 촬상부(107)의 시야 외인 경우에는, 시각적인 표시만에 근거하여 체험자가 간섭을 지각할 수 없다. 간섭이 존재하는지 아닌지를 청각과 촉각으로 제시하면, 체험자가 시야 외에서 일어난 간섭을 지각할 수 있다.
도 2a, 도 2b 및 도 2c는 본 실시형태에 따른 가상 공간의 화상의 예를 각각 나타낸 모식도다. 또한, 도 4는, 본 실시형태에 행해지는 처리의 상세를 나타낸 흐름도다.
도 2a 내지 도 2c와 도 4를 참조하여, 가상 물체 201 및 202가 배치되어 있는 상황을 예로 들어 본 실시형태의 처리를 상세히 설명한다.
스텝 S801에서는, 가상 물체 묘화부(104)는 가상 물체 데이터베이스(101)로부터 가상 물체 201 및 202의 데이터를 판독한다.
스텝 S802에서는, 위치 및 자세 취득부(108)는, 촬상부(107)에서 촬영된 현실 공간의 화상을 취득한다. 그리고, 스텝 S803에서, 위치 및 자세 취득부(108)는, 취득한 화상에 근거하여, 가상 물체 201 및 202와 촬상부(107)(가상 시점)의 위치 및 자세 정보를 산출한다. 스텝 S802 이후의 처리는, 촬상부(107)에 의해 현실 공간의 화상이 갱신될 때까지 일시 정지되고, 갱신이 발생한 경우에, 후단의 처리를 실행한다. 단, 본 실시형태는 촬상부(107)에 의해 화상이 갱신될 때마다 처리를 행하는 것에 한정되는 것은 아니다. 예를 들면, 위치 및 자세 취득부(108)에서 새로운 위치 및 자세가 취득될 때 처리를 실행하는 방법을 채용해도 된다.
더구나, 스텝 S803에서, 위치 및 자세 취득부(108)는, 위치 및 자세 정보를 간섭 판정부(103)와 가상 물체 묘화부(104)에 송출한다.
스텝 S806에서, 간섭 판정부(103)는, 가상 물체 데이터베이스(101)에 격납되어 있는 가상 물체 201 및 202를 참조하여, 가상 물체 201 및 202를 구성하는 폴리곤 각각에 대해 교차가 존재하는지 아닌지를 판정한다.
도 2b는, 체험자가 가상 물체 202에 대응하는 마커를 이동시킨 후, 가상 물체 201과 202가 서로 간섭하는 상황을 나타내고 있다. 도 2a에 도시된 상태에서는, 즉, 교차가 존재하지 않는 경우에는(스텝 S806에서 NO), 스텝 S811로 처리를 진행한다. 도 2b에 도시된 상태에서는, 즉 교차가 존재하는 경우에는(스텝 S806에서 YES), 스텝 S809로 처리를 진행한다.
스텝 S809에서는, 간섭 부위 산출부(105)는 가상 물체 201 및 202에 대한 간섭 부위 정보를 계산한다.
예를 들면, 본 실시형태에 있어서는, 도 2b에 도시된 것과 같이, 원기둥 형상을 갖는 가상 물체 202가 직방체 형상을 갖는 가상 물체 201과 간섭하도록 이동하는 것으로 가정한다. 그후, 폴리곤들의 교선의 집합인 간섭 부위 203이 간섭 부위의 정보로서 생성된다.
스텝 S810에서는, 간섭 정보 유지부(111)가, 가상 물체 201 및 202의 조합마다 간섭 정보의 데이터 세트를 기록한다. 본 실시형태에 있어서는, 도 8에 나타낸 것과 같은 간섭 정보가 기록된다. 이 데이터 세트의 기록은, 촬상부(107)에 의해 촬영된 화상이 갱신되는 때마다 실행된다. 즉, 도 8에 나타낸 간섭 정보는, 가상 물체 201 및 202의 조합의 데이터 세트 이외에, 촬상부(107)에 의해 촬상된 화상이 갱신될 때마다 각각 추가되는 데이터 세트의 축적을 표시하는 것으로 가정한다. 스텝 S810의 처리의 상세한 것은 후술한다.
스텝 S811에서는, 가상 물체 묘화부(104)가 가상 물체와 간섭 부위를 가상 공간의 화상으로서 묘화한다. 본 실시형태에 있어서는, 가상 물체 201 및 202는, 삼각형 폴리곤의 정보에 근거하여 묘화된다. 또한, 간섭 부위 206은, 간섭 정보에 근거하여, 2개의 꼭짓점을 갖는 1개의 선분으로서 묘화된다. 또한, 묘화시의 선분의 색과 선폭에 대해서는, 간섭 정보를 참조해서 묘화가 행해진다.
도 2c는 가상 물체 201 및 202와 간섭 부위 206을 묘화한 결과를 나타내고 있다. 간섭 부위 206은, 과거에 축적한 간섭 부위의 정보를 포함한다. 따라서, 원기둥 형상을 가상 물체 202가 어떻게 움직이는지를 태스크 후에 확인할 수 있다.
스텝 S812에서, 합성부(109)는, 촬상부(107)에 의해 촬상한 현실 공간의 화상을 가상 공간의 화상과 합성해서, 합성 화상을 생성한다.
스텝 S813에서는, 우선, 표시부(110)는, 합성부(109)에 의해 생성된 합성 화상을 표시하고, HMD(301)을 장착하는 체험자에게 합성 화상을 제시한다. 더구나, 진동 제시부(113)와 음 제시부(115)는, 간섭 정보 통지부(112)의 정보에 따라, 체험자에게 진동 및 소리를 각각 제시한다.
스텝 S815에서는, 체험자로부터 종료 코맨드가 키보드 등의 입력부를 거쳐 송신되었는지 아닌지를 판정한다. 종료 코맨드가 송신되지 않으면(스텝 S815에서 NO), 스텝 S802에 처리를 진행한다. 종료 코맨드가 송신되면(스텝 S815에서 YES), 처리를 종료한다.
도 5는, 스텝 S810의 간섭 정보를 기록하는 처리의 상세를 나타낸 흐름도다.
도 2c에 도시된 것과 같이 과거의 간섭 부위를 중첩하여 표시하면, 간섭 부위의 강조 표시의 축적으로 인해 묘화 성능이 저하하거나, 불필요한 강조 표시로 인해 간섭 부위를 보기 어려워질 수 있다. 본 실시형태에서는, 간섭 부위의 데이터 세트들의 개수가 미리 체험자가 설정한 임계값 이상인 경우에, 가장 오래된 간섭 부위에서 시작하여, 간섭 부위의 데이터 세트들을 소거(삭제)하는 방법을 채용함으로써 이와 같은 과제를 해소한다. 이것을 도 5의 흐름도를 참조하여 상세히 설명한다.
스텝 S901에서는, 간섭 정보 유지부(111)는, 과거의 간섭 정보를 참조하여, 데이터 세트 수를 집계하고, 데이터 세트들(과거의 데이터 세트들의)의 전체 수가 체험자에 의해 미리 설정된 임계값 이상인지 아닌지 판정한다. 데이터 세트의 전체 수가 임계값 이상인 경우에는(스텝 S901에서 YES), 스텝 S905로 처리를 진행한다. 데이터 세트의 전체 수가 임계값 이상이 아닌 경우에는(스텝 S901에서 NO), 스텝 S910으로 처리를 진행한다.
스텝 S905에서는, 간섭 정보 유지부(111)는, 과거의 간섭 정보로부터 가장 오래된 데이터 세트를 검색해서, 검색된 가장 오래된 데이터 세트를 소거한다. 본 발명은 가장 오래된 데이터 세트의 소거에 한정되는 것은 아니다. 소정의 시각 이전에 설정된 데이터 세트를 모두 소거하거나, 꼭짓점 수가 많은 데이터 세트를 먼저 소거해도 된다.
스텝 S910에서는, 간섭 정보 유지부(111)가 간섭 부위 산출부(105)에서 산출한 현재의 간섭 정보를 새로운 데이터 세트로서 추가한다.
따라서, 가상 물체 201과 202 사이의 간섭 결과를, 과거의 간섭 부위의 정보로서, 현재의 시점에 있어서 가상 공간의 화상 위에 강조 표시함으로써, 태스크를 완료한 후에 간섭의 상황을 재확인할 수 있다. 더구나, 데이터 세트들의 수가 일정한 수 이상이 되지 않도록 하는 임계값을 설정함으로써, 표시 부하를 경감할 수 있다 간섭 부위를 쉽게 볼 수 있다.
위에서는, 데이터 세트들의 수가 일정한 수 이상이 되지 않도록 임계값을 설정하고, 데이터 세트들의 수가 일정한 수 이상인 경우에는, 메모리로부터 데이터 세트를 소거하는 예를 사용하여 제1 실시형태를 설명하였다. 그렇지만, 메모리로부터 삭제하지 않고, 표시된 화상으로부터 데이터 세트를 제외해도 된다.
제1 실시형태는 가상 물체 201과 202의 간섭 부위 206의 표현 방법으로서, 폴리곤들의 교선을 연결하여 간섭 부위 206을 표현하는 방법을 사용한다. 그러나, 본 발명은, 서로 간섭하고 있는 폴리곤들의 교선을 연결시켜 간섭 부위를 표시하는 것에 한정되는 것은 아니고, 다른 방법을 채용하여 간섭 부위를 표현해도 된다.
본 변형예 1에 있어서는, 간섭 부위 206을 표현하기 위해 다른 방법을 사용한다. 이 방법은, 도 3에 나타낸 것과 같이, 가상 물체의 형상 그 자체를 간섭이 발생한 장소에 유지하여 그 형상을 표시한다. 도 3은 가상 물체인 공구(305)를 또 다른 가상 물체인 도어(310)에 근접시키는 태스크를 행하는 작업을 나타낸 모식도다. 이 작업은 HMD(301)을 착용한 체험자에 의해 행해진다.
본 변형예를 실현하기 위한 구성은, 제1실시형태의 간섭 정보 유지부(111)의 처리를 변경함으로써 주어질 수 있다.
제1실시형태에서는, 간섭 정보 유지부(111)는, 간섭 정보의 데이터 세트의 꼭짓점 위치로서 서로 간섭하는 폴리곤들의 교선을 기록한다. 그러나, 본 변형예에서는, 꼭짓점 위치로서, HMD(301)를 착용한 체험자(301)가 손으로 움직이는 공구(가상 물체)(305)의 형상을 표시하는 폴리곤 정보를 기록한다. 그러나, 촬상부(107)에 의해 촬영하는 화상이 갱신될 때마다 데이터 세트를 기록하고, 모든 간섭 부위 206을 도어(310) 위로 표시하면, 간섭 부위 206의 수가 너무 많아, 표시를 번잡하게 한다. 본 변형예에서는, 표시가 번잡하게 되는 것을 방지하기 위해, 데이터 세트의 무게중심 위치에 근거하여 표시를 제약하는 방법을 사용한다. 이 방법을 도 9의 흐름도를 사용해서 설명한다.
본 발명은 가상 물체를 표시하는 형상에 대해 삼각형 폴리곤에 한정되는 것은 아니다. 예를 들면, 모델 데이터를 파라메트릭으로 표현하는 방법도 적용가능하다.
도 9의 흐름도는, 본 변형예에 있어서의 도 4의 스텝 S810의 처리에 대응하는 처리의 상세를 나타내고 있다. 제1실시형태와 다른 부분만을 설명한다.
스텝 S925에서는, 간섭 정보 유지부(111)가, 간섭 부위 산출부(105)에서 산출한 간섭 정보 중 꼭짓점 위치의 3차원 위치의 평균을 산출해서, 이 평균을 무게중심 위치로 산출한다. 이 무게중심 위치는 데이터 세트에 관련시켜 기억한다.
스텝 S930에서는, 간섭 정보 유지부(111)가 다음과 같은 처리를 행한다. 간섭 정보 유지부(111)는, 과거의 간섭 정보에 관련된 무게중심 위치 군을 참조하여, 이 무게중심 위치 군을 간섭 정보 유지부(111)에서 산출한 무게중심 위치와 비교한다. 이 비교에 근거하여, 간섭 정보 유지부(111)는 간섭 정보 유지부(111)에 의해 산출된 무게중심 위치와 과거의 간섭 정보의 무게중심 위치들 중에서 적어도 1개의 무게중심 위치 사이의 거리가 미리 설정한 임계값 이하인지 아닌지를 판정한다. 이 거리가 임계값 이하인 경우에는(스텝 S930에서 YES), 간섭 정보로서 데이터 세트를 추가하지 않고 처리를 종료한다. 즉, 현재의 위치 및 자세에 있어서 공구(305)가 도어(310)와 간섭하는 경우, 과거의 간섭 정보에 근접한 무게중심 위치가 존재하는 경우에는, 데이터 세트가 추가되지 않는다. 한편, 이 거리가 임계값 이하가 아닌 경우에는(스텝 S930에서 NO), 간섭 정보로서 데이터 세트를 추가한다.
이상과 같이, 본 변형예에 있어서의 간섭 표시 방법에서는, 간섭 부위의 표현을 보다 이해하기 쉬운 표현으로 치환함으로써 태스크 후의 간섭 상황의 확인을 보완할 수 있다.
상기 변형예 1에서는, 간섭이 발생한 위치가 가까운 경우에는, 현재의 간섭 부위의 정보가 데이터 세트에 추가되지 않는다. 그러나, 현재의 간섭 부위 정보를 데이터 세트에는 추가하고, 표시할 화상에는 포함시키지 않도록 하여도 된다.
상기 변형예 1에서는, 간섭이 발생했을 때의 가상 물체의 무게중심 위치가 과거의 간섭 정보에 있어서 간섭 발생 위치에 가까운 경우에는, 현재의 간섭 부위의 정보를 데이터 세트에 추가하지 않았다. 그러나, 본 발명은, 간섭 부위의 공간 내부의 위치에 근거하여, 간섭 정보를 기록할 것인가 아닌지를 판단하는 것에 한정되는 것은 아니다.
본 변형예 2에서는, 위치 및 자세 취득부(108)로부터 출력되는 위치 및 자세의 신뢰도에 따라, 간섭 정보를 기록할 것인가 아닌지를 판정한다. 이 판정 처리를 설명한다.
촬상 화상에서 비추어진 마커에 근거하여 가상 물체의 위치 및 자세를 결정하는 경우에, 다음과 같은 경우에 위치 및 자세 계측 결과의 신뢰성이 저하한다.
(1) 마커가 화면 위에서 작게 나타나는 경우,
(2) 촬상부(107)와 마커 사이에 차폐물이 존재하여 마커가 숨겨지는 경우, 또는
(3) 마커가 촬상부(107)의 시야 외에 있어, 나타나지 않는 경우.
또한, 가상 물체의 위치 및 자세를 위치 및 자세 센서에 의해 계측하는 경우에도, 신뢰성이 저하하는 상황의 발생이 생각된다. 이와 같은 상황의 예로는, 환경 노이즈가 발생하는 상황과, 위치 및 자세가 계측 범위 외가 되는 상황을 들 수 있다.
상기한 것과 같이 위치 및 자세의 계측의 신뢰성이 저하한 상태에서 간섭 정보가 추가될 때, 태스크 후의 확인에서 과거의 간섭 상황을 정확하게 판단할 수 없다. 따라서, 간섭 정보를 기록하는 방법이 행해진다. 이 방법을 설명한다.
본 변형예를 실현하기 위한 구성은 다음과 같이 주어진다. 상기한 변형예 1의 위치 및 자세 취득부(108)로부터, 간섭 정보 유지부(111)에 위치 및 자세의 신뢰도를 나타내는 정보를 입력한다. 그후, 간섭 정보 유지부(111)는 신뢰도에 따라 간섭 정보를 기록할지 아닌지를 판단하는 처리를 행한다.
위치 및 자세 취득부(108)는, 예를 들면, 도 4의 스텝 S803의 위치 및 자세 산출 처리에 있어서, 현재의 위치 및 자세 계측 결과의 신뢰도를 보존하면 된다. 신뢰도는, 예를 들면, 마커가 인식되고 있으면 1로 정의하고, 마커가 인식되고 있지 않으면 0으로 정의하고, 촬상된 화상에 대해 마커가 차지하는 영역의 비율이 10%를 하회하는 경우에는 0.5로 정의한다.
도 6은 간섭 정보 유지부(111)에 의해 행해진 처리의 상세를 나타낸 것이다. 변형예 1에서와 동일한 처리는 설명을 생략한다.
스텝 S915에서는, 간섭 정보 유지부(111)는, 위치맞춤 신뢰도를 취득하고(도출하고), 위치맞춤 신뢰도가 임계값 이하인지 여부를 판정한다. 위치맞춤 신뢰도가 임계값 이하인 경우에는(스텝 S915에서 YES), 스텝 S920으로 처리를 진행한다. 위치맞춤 신뢰도가 임계값 이하가 아닌 경우에는(스텝 S915에서 NO), 스텝 S910으로 처리를 진행한다.
스텝 S920에서는, 간섭 정보 유지부(111)는, 가상 물체 묘화부(104)에 대하여, 현재 위치맞춤 신뢰도가 낮기 때문에 간섭 정보를 기록하지 않는다는 것을 알리는 메시지를 표시하도록 지시한다.
가상 물체 묘화부(104)는, 도 4의 스텝 S811에서의 가상 물체의 묘화처리에 있어서, 가상 물체 화상 앞에 표시 메시지(250)를 표시해도 된다. 도 10은 표시 메시지(250)를 포함하고 가상 물체 묘화부(104)에 의해 표시된 화상의 모식도를 나타낸다.
이상과 같이 본 변형예에 있어서의 간섭 표시 방법에서는, 위치맞춤의 계측시의 신뢰도가 낮은 경우에는, 간섭 부위를 기록하지 않음으로써, 정확하지 않은 간섭 정보를 제거한다. 이와 같은 제거에 의해, 태스크 후의 간섭 상황의 확인을 보완할 수 있다.
제1 실시형태에서는 가상 물체 201과 202를 직방체 형상과 원기둥 형상으로 각각 표현한다. 더구나, 가상 물체의 위치 및 자세를 마커의 위치 및 자세에 할당하고, 체험자가 의도적으로 손으로 가상 물체를 이동시킨다.
그러나, 본 발명은 가상 물체를 손으로 이동시키는 것에 한정되는 것은 아니고, 다른 방법이 사용되어도 된다. 이 방법은, 체험자의 신체의 부위의 위치 및 자세를 계측하고, 이 위치 및 자세를 가상 물체에 할당한다.
예를 들면, 변형예 1의 도어(310)에 공구(305)를 사용해서 작업을 행하는 상황에서, 체험자의 팔 꿈치 및 무릎 등의 신체 일부를 위치 및 자세 센서로 계측한다. 이 경우, 작업중에 공구(305) 뿐만 아니라 체험자의 신체의 일부의 간섭을 검지해서 제시해도 된다.
이와 같은 변형예를 실현하는 구성에서는, 위치 및 자세 취득부(108)가 체험자의 무릎 등의 신체의 일부의 위치 및 자세를 취득하고, 이 위치 및 자세를 간섭 판정부(103)와 가상 물체 묘화부(104)에 출력하면 된다. 이와 달리, 가상 물체 데이터베이스(101)에는, 체험자의 신체의 부위의 형상에 대응하는 모델 데이터를 미리 기록해 두고, 간섭 판정부(103)와 가상 물체 묘화부(104)에 출력하면 된다.
이상과 같이, 본 변형예에서는, 체험자가 의도적으로 손으로 움직인 가상 물체의 간섭 상황을 확인할 뿐만 아니라, 작업중에 의도하지 않게 움직여 간섭을 일으키는 신체 부위의 간섭 상황도 확인할 수 있다.
제1 실시형태에서는, 과거의 간섭 부위를 표시하는 선분의 꼭짓점들을 도 8에 나타낸 것과 같은 꼭짓점 위치들로 유지하고 있었다. 그러나, 본 발명은, 과거의 간섭 부위를 꼭짓점 위치들로서 유지하는 것에 한정되는 것은 아니다. 간섭의 발생시에 과거의 간섭 부위를 계산으로 구해도 된다.
이와 같은 변형예를 실현하기 위해서는, 도 8의 간섭 정보에 가상 물체 201 및 202의 폴리곤 정보와 위치 및 자세를 추가한다. 더구나, 가상 공간의 화상을 생성할 때마다, 과거의 간섭 정보의 데이터 세트로부터 폴리곤들의 교선의 끝 점을 산출해도 된다.
(기타 실시형태)
본 발명의 실시형태는, 본 발명의 전술한 실시형태(들)의 1개 이상의 기능을 수행하기 위해 기억매체('비일시적인 컴퓨터 판독가능한 기억매체'로서 더 상세히 언급해도 된다)에 기록된 컴퓨터 실행가능한 명령(예를 들어, 1개 이상의 프로그램)을 판독하여 실행하거나 및/또는 전술한 실시예(들)의 1개 이상의 기능을 수행하는 1개 이상의 회로(예를 들어, 주문형 반도체 회로(ASIC)를 포함하는 시스템 또는 장치의 컴퓨터나, 예를 들면, 전술한 실시형태(들)의 1개 이상의 기능을 수행하기 위해 기억매체로부터 컴퓨터 실행가능한 명령을 판독하여 실행함으로써, 시스템 또는 장치의 컴퓨터에 의해 수행되는 방법에 의해 구현될 수도 있다. 컴퓨터는, 1개 이상의 중앙처리장치(CPU), 마이크로 처리장치(MPU) 또는 기타 회로를 구비하고, 별개의 컴퓨터들의 네트워크 또는 별개의 컴퓨터 프로세서들을 구비해도 된다. 컴퓨터 실행가능한 명령은, 예를 들어, 기억매체의 네트워크로부터 컴퓨터로 주어져도 된다. 기록매체는, 예를 들면, 1개 이상의 하드디스크, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 분산 컴퓨팅 시스템의 스토리지, 광 디스크(콤팩트 디스크(CD), 디지털 다기능 디스크(DVD), 또는 블루레이 디스크(BD)TM 등), 플래시 메모리소자, 메모리 카드 등을 구비해도 된다.
본 발명은, 상기한 실시형태의 1개 이상의 기능을 실현하는 프로그램을, 네트워크 또는 기억매체를 개입하여 시스템 혹은 장치에 공급하고, 그 시스템 혹은 장치의 컴퓨터에 있어서 1개 이상의 프로세서가 프로그램을 읽어 실행하는 처리에서도 실행가능하다. 또한, 1개 이상의 기능을 실현하는 회로(예를 들어, ASIC)에 의해서도 실행가능하다.
예시적인 실시형태들을 참조하여 본 발명을 설명하였지만, 본 발명이 이러한 실시형태에 한정되지 않는다는 것은 자명하다. 이하의 청구범위의 보호범위는 가장 넓게 해석되어 모든 변형, 동등물 구조 및 기능을 포괄하여야 한다.

Claims (16)

  1. 복수의 가상 물체들의 모델 데이터를 기억하도록 구성된 기억부와,
    상기 복수의 가상 물체들 각각의 위치 및 자세를 취득하도록 구성된 위치 및 자세 취득부와,
    상기 복수의 가상 물체들 각각의 위치 및 자세와 상기 복수의 가상 물체들의 모델 데이터에 근거하여, 상기 가상 물체들 사이에 간섭이 존재하는지 여부를 판정하도록 구성된 간섭 판정부와,
    상기 간섭 판정부의 결과에 근거하여, 상기 가상 물체들이 서로 간섭하는 간섭 부위의 윤곽을 간섭 정보로서 기록하도록 구성된 간섭 정보 기록부와,
    상기 간섭 정보 기록부를 참조해서, 촬상 화상에 있어서의 간섭의 이력을 표시하는 화상을 생성하도록 구성된 간섭 정보 화상 생성부와,
    상기 화상이 촬상된 후의 촬상 화상과, 상기 복수의 가상 물체들의 화상과, 간섭의 상기 이력을 표시하는 화상을 포함하는 합성 화상을 생성하도록 구성된 생성부와,
    상기 생성된 합성 화상을 출력하도록 구성된 출력부를 구비한 정보 처리장치.
  2. 제 1항에 있어서,
    상기 촬상 화상을 생성하는 촬상부의 위치 및 자세를 계측하도록 구성된 촬상부 위치 및 자세 계측부를 더 구비하고,
    상기 생성부는, 상기 촬상부의 위치 및 자세에 근거하여, 상기 가상 물체들의 화상 및 상기 간섭 부위의 윤곽을 표시하는 화상을 생성하도록 구성된 정보 처리장치.
  3. 제 1항에 있어서,
    상기 간섭 부위는 상기 복수의 가상 물체들이 서로 간섭하고 있을 때의 모델 데이터의 교선인 정보 처리장치.
  4. 삭제
  5. 삭제
  6. 제 1항에 있어서,
    상기 간섭 정보 화상 생성부는, 상기 간섭의 이력에 포함된 데이터의 개수가 임계값 이상인 경우에, 가장 오래된 과거 데이터로부터 시작해서 과거 데이터를 삭제하도록 구성된 삭제부를 구비한 정보 처리장치.
  7. 제 1항에 있어서,
    상기 간섭 정보 화상 생성부는, 상기 촬상 화상에 있어서의 상기 가상 물체들의 위치와 상기 촬상 화상 이전에 촬상된 화상에 있어서의 상기 가상 물체들의 위치 사이의 거리가 임계값보다도 큰 경우에, 상기 간섭의 이력에 데이터를 포함시키는 정보 처리장치.
  8. 제 7항에 있어서,
    상기 위치는 상기 가상 물체들의 모델 데이터의 모든 3차원 꼭짓점 위치들의 평균을 산출하여 결정된 무게중심 위치인 정보 처리장치.
  9. 제 1항에 있어서,
    상기 위치 및 자세 취득부에 의해 취득된 위치 및 자세의 신뢰도를 도출하도록 구성된 도출부를 더 구비하고,
    상기 간섭 정보 기록부는, 상기 신뢰도가 임계값 이하인 경우에, 상기 간섭 정보를 기록하지 않는 정보 처리장치.
  10. 제 1항에 있어서,
    상기 간섭 판정부는, 상기 가상 물체들 중 어느 하나와 인체의 소정의 부위 사이에 간섭이 존재하는지 여부를 더 판정하는 정보 처리장치.
  11. 제 1항에 있어서,
    상기 간섭 정보 기록부는, 간섭이 발생했을 때, 화상의 프레임 번호, 시각, 간섭하는 가상 물체들의 식별 정보, 간섭 부위의 형상 및 간섭 부위의 3차원 위치 중에서 적어도 1개를 상기 간섭 정보로서 기록하는 정보 처리장치.
  12. 제 1항에 있어서,
    상기 출력부는 헤드 마운트 디스플레이에 상기 합성 화상을 출력하는 정보 처리장치.
  13. 헤드 마운트 디스플레이와 정보 처리장치를 구비한 시스템으로서,
    상기 헤드 마운트 디스플레이는 현실의 공간의 촬상 화상을 촬상하도록 구성된 촬상부를 구비하고,
    상기 정보 처리장치는,
    복수의 가상 물체들의 모델 데이터를 기억하도록 구성된 기억부와,
    상기 복수의 가상 물체들 각각의 위치 및 자세를 취득하도록 구성된 위치 및 자세 취득부와,
    상기 복수의 가상 물체들 각각의 위치 및 자세와 상기 복수의 가상 물체들의 모델 데이터에 근거하여, 상기 가상 물체들 사이에 간섭이 존재하는지 여부를 판정하도록 구성된 간섭 판정부와,
    상기 간섭 판정부의 결과에 근거하여, 상기 가상 물체들이 서로 간섭하는 간섭 부위의 윤곽을 간섭 정보로서 기록하도록 구성된 간섭 정보 기록부와,
    상기 간섭 정보 기록부를 참조해서, 촬상 화상에 있어서의 간섭의 이력을 표시하는 화상을 생성하도록 구성된 간섭 정보 화상 생성부와,
    상기 화상이 촬상된 후의 상기 촬상 화상과, 상기 복수의 가상 물체들의 화상과, 간섭의 상기 이력을 표시하는 화상을 포함하는 합성 화상을 생성하도록 구성된 생성부와,
    상기 생성된 합성 화상을 상기 헤드 마운트 디스플레이로 출력하도록 구성된 출력부를 구비한 시스템.
  14. 촬상부가 현실의 공간의 촬상 화상을 취득하는 촬상 화상 취득단계와,
    위치 및 자세 취득부가 복수의 가상 물체들 각각의 위치 및 자세를 취득하는 위치 및 자세 취득단계와,
    간섭 판정부가 상기 복수의 가상 물체들 각각의 위치 및 자세와 상기 복수의 가상 물체들의 모델 데이터에 근거하여, 상기 가상 물체들 사이에 간섭이 존재하는지 여부를 판정하는 판정단계와,
    상기 판정단계의 결과에 근거하여, 간섭 정보 기록부가 상기 가상 물체들이 서로 간섭하는 간섭 부위의 윤곽을 간섭 정보로서 기록하는 기록단계와,
    상기 간섭 정보 기록부를 참조해서, 간섭 정보 화상 생성부가 촬상 화상에 있어서의 간섭의 이력을 표시하는 화상을 생성하는 화상 생성단계와,
    생성부가 상기 화상이 촬상된 후의 상기 촬상 화상과 상기 복수의 가상 물체들의 화상과 간섭의 상기 이력을 표시하는 화상을 포함하는 합성 화상을 생성하는 생성단계와,
    출력부가 상기 생성된 합성 화상을 출력하는 출력단계를 포함하는 정보 처리방법.
  15. 컴퓨터를,
    현실의 공간의 촬상 화상을 취득하도록 구성된 화상 취득부와,
    복수의 가상 물체들의 모델 데이터를 기억하도록 구성된 기억부와,
    상기 복수의 가상 물체들 각각의 위치 및 자세를 취득하도록 구성된 위치 및 자세 취득부와,
    상기 복수의 가상 물체들 각각의 위치 및 자세와 상기 복수의 가상 물체들의 모델 데이터에 근거하여, 상기 가상 물체들 사이에 간섭이 존재하는지 여부를 판정하도록 구성된 간섭 판정부와,
    상기 간섭 판정부의 결과에 근거하여, 상기 가상 물체들이 서로 간섭하는 간섭 부위의 윤곽을 간섭 정보로서 기록하도록 구성된 간섭 정보 기록부와,
    상기 간섭 정보 기록부를 참조해서, 촬상 화상에 있어서의 간섭의 이력을 표시하는 화상을 생성하도록 구성된 간섭 정보 화상 생성부와,
    상기 화상이 촬상된 후의 상기 촬상 화상과, 상기 복수의 가상 물체들의 화상과, 간접의 상기 이력을 표시하는 화상을 포함하는 합성 화상을 생성하도록 구성된 생성부와,
    상기 생성된 합성 화상을 출력하도록 구성된 출력부를 구비한 정보 처리장치의 각 부로서 기능시키기 위한 프로그램을 기억한 컴퓨터 판독가능한 기억매체.
  16. 컴퓨터 상에서 실행될 때, 컴퓨터를,
    현실의 공간의 촬상 화상을 취득하도록 구성된 화상 취득부와,
    복수의 가상 물체들의 모델 데이터를 기억하도록 구성된 기억부와,
    상기 복수의 가상 물체들 각각의 위치 및 자세를 취득하도록 구성된 위치 및 자세 취득부와,
    상기 복수의 가상 물체들 각각의 위치 및 자세와 상기 복수의 가상 물체들의 모델 데이터에 근거하여, 상기 가상 물체들 사이에 간섭이 존재하는지 여부를 판정하도록 구성된 간섭 판정부와,
    상기 간섭 판정부의 결과에 근거하여, 상기 가상 물체들이 서로 간섭하는 간섭 부위의 윤곽을 간섭 정보로서 기록하도록 구성된 간섭 정보 기록부와,
    상기 간섭 정보 기록부를 참조해서, 촬상 화상에 있어서의 간섭의 이력을 표시하는 화상을 생성하도록 구성된 간섭 정보 화상 생성부와,
    상기 화상이 촬상된 후의 상기 촬상 화상과, 상기 복수의 가상 물체들의 화상과, 간접의 상기 이력을 표시하는 화상을 포함하는 합성 화상을 생성하도록 구성된 생성부와,
    상기 생성된 합성 화상을 출력하도록 구성된 출력부를 구비한 정보 처리장치의 각 부로서 기능시키기 위한, 매체에 기억된 프로그램.
KR1020160080518A 2015-06-30 2016-06-28 정보 처리장치, 정보 처리방법, 기억매체 및 프로그램 KR102059834B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015132197A JP6676294B2 (ja) 2015-06-30 2015-06-30 情報処理装置、情報処理方法、プログラム
JPJP-P-2015-132197 2015-06-30

Publications (2)

Publication Number Publication Date
KR20170003435A KR20170003435A (ko) 2017-01-09
KR102059834B1 true KR102059834B1 (ko) 2019-12-27

Family

ID=56235656

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160080518A KR102059834B1 (ko) 2015-06-30 2016-06-28 정보 처리장치, 정보 처리방법, 기억매체 및 프로그램

Country Status (5)

Country Link
US (1) US10410420B2 (ko)
EP (1) EP3113117A1 (ko)
JP (1) JP6676294B2 (ko)
KR (1) KR102059834B1 (ko)
CN (1) CN106326523B (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7039216B2 (ja) * 2017-08-30 2022-03-22 キヤノン株式会社 情報処理装置及びその方法、プログラム
DE102017216953A1 (de) * 2017-09-25 2019-03-28 Siemens Healthcare Gmbh Anzeige eines mit einem realen Objekt verknüpften virtuellen Objekts in einer Augmented-Reality-Anzeigevorrichtung
JP7133926B2 (ja) 2018-01-15 2022-09-09 キヤノン株式会社 情報処理装置、システム、情報処理方法
JP2019185475A (ja) * 2018-04-12 2019-10-24 富士通株式会社 特定プログラム、特定方法及び情報処理装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000038117A1 (en) 1998-12-23 2000-06-29 Washington State University Research Foundation Method and system for a virtual assembly design environment
JP2006302035A (ja) 2005-04-21 2006-11-02 Canon Inc 画像処理方法、画像処理装置
US20060256110A1 (en) * 2005-05-11 2006-11-16 Yasuhiro Okuno Virtual reality presentation apparatus, virtual reality presentation method, program, image processing method, image processing apparatus, information processing method, and information processing apparatus

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3415416B2 (ja) * 1996-11-22 2003-06-09 株式会社セガ ゲーム装置、画像データの形成方法及び媒体
US6552722B1 (en) * 1998-07-17 2003-04-22 Sensable Technologies, Inc. Systems and methods for sculpting virtual objects in a haptic virtual reality environment
JP2006215750A (ja) * 2005-02-02 2006-08-17 Canon Inc 画像処理方法、画像処理装置
JP2007004713A (ja) * 2005-06-27 2007-01-11 Canon Inc 画像処理方法、画像処理装置
JP4751886B2 (ja) * 2005-07-19 2011-08-17 富士通株式会社 画像判定方法
JP4901539B2 (ja) * 2007-03-07 2012-03-21 株式会社東芝 立体映像表示システム
JP5610735B2 (ja) * 2009-09-29 2014-10-22 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理方法、および、情報処理システム
US8550903B2 (en) * 2010-11-15 2013-10-08 Bally Gaming, Inc. System and method for bonus gaming using a mobile device
US9330490B2 (en) * 2011-04-29 2016-05-03 University Health Network Methods and systems for visualization of 3D parametric data during 2D imaging
US9323330B2 (en) * 2011-12-15 2016-04-26 Industry-University Cooperation Foundation Hanyang University Apparatus and method for providing tactile sensation for virtual image
KR101874895B1 (ko) * 2012-01-12 2018-07-06 삼성전자 주식회사 증강 현실 제공 방법 및 이를 지원하는 단말기
WO2013126784A2 (en) 2012-02-23 2013-08-29 Huston Charles D System and method for creating an environment and for sharing a location based experience in an environment
CN103472909B (zh) 2012-04-10 2017-04-12 微软技术许可有限责任公司 用于头戴式、增强现实显示器的逼真遮挡
US9552673B2 (en) * 2012-10-17 2017-01-24 Microsoft Technology Licensing, Llc Grasping virtual objects in augmented reality
KR20150112659A (ko) * 2014-03-28 2015-10-07 한국전자통신연구원 단말 이동 방향 결정 및 위치 보정 방법, 그리고 이를 이용한 측위 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000038117A1 (en) 1998-12-23 2000-06-29 Washington State University Research Foundation Method and system for a virtual assembly design environment
JP2006302035A (ja) 2005-04-21 2006-11-02 Canon Inc 画像処理方法、画像処理装置
US20060256110A1 (en) * 2005-05-11 2006-11-16 Yasuhiro Okuno Virtual reality presentation apparatus, virtual reality presentation method, program, image processing method, image processing apparatus, information processing method, and information processing apparatus

Also Published As

Publication number Publication date
US10410420B2 (en) 2019-09-10
KR20170003435A (ko) 2017-01-09
CN106326523A (zh) 2017-01-11
JP6676294B2 (ja) 2020-04-08
JP2017016376A (ja) 2017-01-19
EP3113117A1 (en) 2017-01-04
US20170004653A1 (en) 2017-01-05
CN106326523B (zh) 2020-06-30

Similar Documents

Publication Publication Date Title
KR102059834B1 (ko) 정보 처리장치, 정보 처리방법, 기억매체 및 프로그램
US9607439B2 (en) Information processing apparatus and information processing method
JP5777786B1 (ja) 情報処理装置、情報処理方法、プログラム
JP2019070909A (ja) 情報処理装置、情報処理方法及びプログラム
US10453235B2 (en) Image processing apparatus displaying image of virtual object and method of displaying the same
US10366539B2 (en) Information processing apparatus, information processing method, and storage medium for reporting based on elapse time and positional relationships between 3-D objects
US10614590B2 (en) Apparatus for determination of interference between virtual objects, control method of the apparatus, and storage medium
JP2008210276A (ja) 三次元モデル情報の生成方法及び装置
CN110956695B (zh) 信息处理装置、信息处理方法和存储介质
US20170249822A1 (en) Apparatus configured to issue warning to wearer of display, and method therefor
JP2007004713A (ja) 画像処理方法、画像処理装置
US11508150B2 (en) Image processing apparatus and method of controlling the same
KR101308184B1 (ko) 윈도우 형태의 증강현실을 제공하는 장치 및 방법
JP6983939B2 (ja) 情報処理装置、情報処理方法、プログラム
JP7039216B2 (ja) 情報処理装置及びその方法、プログラム
US20200258193A1 (en) Information processing apparatus, information processing method, and storage medium
US10068375B2 (en) Information processing apparatus, information processing method, and recording medium
JP2021166091A (ja) 画像処理装置、画像処理方法、コンピュータプログラム
US9158984B2 (en) Computer-readable recording medium recording program for image processing, information processing apparatus, information processing system, and image processing method
US20190066388A1 (en) Information processing apparatus and method of controlling the same
JP6948801B2 (ja) 情報処理装置、情報処理装置の制御方法及びプログラム
JP6436872B2 (ja) 情報処理装置、情報処理方法、プログラム
JP6704698B2 (ja) 情報処理装置、情報処理方法、情報処理システム、及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right