KR20060030902A

KR20060030902A - 정보 제시 장치 및 그것을 이용한 정보 제시 시스템

Info

Publication number: KR20060030902A
Application number: KR1020067000665A
Authority: KR
Inventors: 아끼또 사이또; 다까오 시바사끼; 가즈히꼬 다까하시; 다께마사 스기따
Original assignee: 올림푸스 가부시키가이샤
Priority date: 2003-07-11
Filing date: 2004-07-02
Publication date: 2006-04-11
Also published as: US20060111797A1; EP1653191A4; WO2005005924A1; HK1090414A1; US7433510B2; EP1653191A1

Abstract

정보 제시 장치는, 실제 공간 중의 대상물의 화상을 입력하는 화상 입력부와, 입력된 대상물의 화상으로부터 상기 화상 입력부와 대상물과의 상대적인 3차원 위치 및 자세 관계를 검출하는 3차원 위치 자세 관계 검출부와, 대상물의 형상 정보를 저장하는 형상 정보 저장부와, 상기 검출된 대상물의 위치 및 자세와 상기 입력된 대상물의 부분에 대응하는 상기 형상 정보 저장부에 저장된 값을 비교하고, 상기 입력된 대상물의 실제의 위치 및 자세와 상기 저장된 대상물의 형상 정보와의 차분을 검출하는 오차 비교 검출부와, 상기 차분값을 상기 형상 정보 저장부에 저장된 형상 정보에 반영시키는 형상 정보 관리부와, 상기 입력된 대상물의 화상과 상기 형상 정보 저장부에 저장된 대상물의 형상 정보를 서로 겹친 화상을 생성하는 중첩 화상 생성부와, 상기 중첩 화상 생성부가 생성한 화상을 표시하는 표시부를 구비한다.

CAD, 정보 제시 장치, 오차 비교 검출부, 레지스트레이션

Description

정보 제시 장치 및 그것을 이용한 정보 제시 시스템{INFORMATION PRESENTATION DEVICE AND INFORMATION PRESENTATION SYSTEM USING THE SAME}

본 발명은, 촬영된 화상에 관련하는 정보를, 그 촬영 화상에 중첩하여 동시에 표시함으로써, 화상 관찰자에 의해 고밀도의 정보 제시를 행하는 것이 가능한 정보 제시 장치, 및 그것을 이용한 정보 제시 시스템에 관한 것이다.

실 세계 중의 대상물 및/또는 기정의 마커에 대하여, 소정의 관련 정보를 제시하는 정보 제시 장치로서는, 바코드 리더가 매우 잘 알려져 있다.

그 중, 대상물 및/또는 기정의 마커의 공간 정위 정보를 이용하여 정보를 제시하는 장치가, USP 6,389,182에 개시되어 있다. 이것은, 대상물인 명함 상에 인쇄된 마커로서의 2차원 코드를 카메라로 읽어들여, 컴퓨터 내의 프로그램에 의해, 그 2차원 코드화된 ID를 해석한다. 그리고, 그 해석한 ID에 상당하는 인물의 얼굴 사진 화상 데이터를 화상 데이터베이스로부터 읽어내고, 그것을 컴퓨터 디스플레이에 표시한 상기 카메라로 촬영한 명함의 화상 상에서의 2차원 코드의 가로로 표시한다. 이렇게 함으로써, 마치 명함 상의 2차원 코드의 가로로 얼굴 사진이 있는 것과 같이 표시한다.

또한, 일본 특개 2002-92044호 공보에는, CCD 촬영 장치 등의 화상 입력 수 단에 의해 입력된 실제 공간 중의 대상물, 예를 들면 현상의 건조물의 화상과, 3차원 CAD 시스템이 갖고 있는 설계 정보를 비교하여, 상호 검증함으로써 쌍방의 오차(어긋남)를 검출하여, 실제 공간 중의 대상물에 설계 정보를 일치시키는 시스템이 제안되어 있다.

이 일본 특개 2002-92044호 공보에는 상세 내용은 기록되어 있지 않지만, 실제 공간 중의 대상물, 예를 들면 건조물의 설계 정보는, 통상적으로, 그 건조물의 상세한 형상, 치수, 재질, 부품명 등의 방대한 정보를 의미하고, 3차원 CAD 등에 의해 관리하는 것이 일반적이다. 그러나, 이 3차원 CAD 등은, 방대한 정보를 기록하기 위한 대용량인 기억 장치나, 형상이나 치수를 상세하게 표시하기 위한 고성능인 표시 장치를 필요로 한다. 따라서, 실제로는, 건축 공사나 설비 공사 등의 현장에 가지고 다니는 휴대형의 장치로 실현하는 것은 곤란하다.

또한, 상기 USP 6,389,182에서는, 2차원 코드를 인식하여, 2차원 코드 좌표 데이터에 기초하여, 얼굴 사진을 표시하는 위치를 산출하고 있는 것이지만, 그 얼굴 사진의 표시 위치는 항상 2차원 코드에 대하여 고정된 위치 관계로 되어 있다. 명함 형상의 카드이면, 그와 같이 2차원 코드와 표시 위치는 동일 공간으로, 문제는 없다. 이에 대하여, 플랜트나 공장 설비 등의 대규모 구조물에 대하여 관련 정보를 제시하고자 하는 경우에는, 마커를, 설계 정보 그대로, 정확하게 설치할 필요가 있다. 그러나, 실제로는, 그와 같은 정확한 마커 설치는 어려운 것이 현실이다. 이와 같이, 기준으로 되는 마커 자체가 설계 정보와 상이한 경우에는, 대상물 고유의 좌표계인 실제 공간과, 그 대상물의 설계 정보 고유의 좌표계인 모델 공간 을 관련지음(레지스트레이션) 하지 않으면, 대상물의 화상과 설계 정보로부터 만들어진 대상물 모델을 정확하게 중첩 표시시킬 수 없다.

<발명의 개시>

본 발명의 목적은, 휴대형의 장치이면서, 실제 공간 중의 대상물과 설계 정보 사이의 오차를 적확하게 파악하여, 설계 정보와 실제의 대상물을 일치시킬 수 있는 정보 제시 장치 및 그것을 이용한 정보 제시 시스템을 제공하는 것에 있다.

또한, 본 발명의 다른 목적은, 레지스트레이션 작업을 간단히 행할 수 있는 정보 제시 장치 및 그것을 이용한 정보 제시 시스템을 제공하는 것에 있다.

본 발명의 제1 양태에 따르면, 실제 공간 중의 대상물의 화상을 입력하도록 구성된 화상 입력부와, 상기 화상 입력부로부터 입력된 대상물의 화상으로부터, 상기 화상 입력부와 대상물과의 상대적인 3차원 위치 및 자세 관계를 검출하도록 구성된 3차원 위치 자세 관계 검출부와, 대상물의 형상 정보를 저장하도록 구성된 형상 정보 저장부와, 상기 3차원 위치 자세 관계 검출부에 의해 검출된 대상물의 위치 및 자세와, 상기 화상 입력부로부터 입력된 대상물의 부분에 대응하는 상기 형상 정보 저장부에 저장된 값을 비교하고, 입력된 대상물의 실제의 위치 및 자세와 저장된 대상물의 형상 정보와의 차분을 검출하도록 구성된 오차 비교 검출부와, 상기 오차 비교 검출부로부터의 차분값을, 상기 형상 정보 저장부에 저장된 형상 정보에 반영시키도록 구성된 형상 정보 관리부와, 상기 화상 입력부로부터 입력된 대상물의 화상과, 상기 형상 정보 저장부에 저장된 대상물의 형상 정보를, 서로 겹친 화상을 생성하도록 구성된 중첩 화상 생성부와, 상기 중첩 화상 생성부가 생성한 화상을 표시하도록 구성된 표시부를 구비하는 정보 제시 장치가 제공되다.

또 여기서, 상기 3차원 위치 자세 관계 검출부는, 상기 화상 입력부로부터 입력된 대상물의 화상으로부터, 상기 화상 입력부와 대상물과의 상대적인 3차원 위치 및 자세 관계를 검출하여 출력하도록 구성된 3차원 위치 자세 관계 출력부와, 상기 3차원 위치 자세 관계 출력부가 검출하는 상기 화상 입력부와 대상물과의 상대적인 3차원 위치 및 자세 관계에, 상기 오차 비교 검출부로부터의 차분값을 이용하여 반영시키도록 구성된 3차원 위치 자세 정보 관리부를 포함하는 것이 바람직하다.

또한, 본 발명의 제2 양태에 따르면, 실제 공간 중의 대상물의 화상을 입력하도록 구성된 화상 입력부와, 상기 화상 입력부로부터 입력된 대상물의 화상으로부터, 상기 화상 입력부와 대상물과의 상대적인 3차원 위치 및 자세 관계를 검출하도록 구성된 3차원 위치 자세 관계 검출부와, 대상물의 형상 정보를 저장하도록 구성된 형상 정보 저장부와, 상기 3차원 위치 자세 관계 검출부에 의해 검출된 대상물의 위치 및 자세와, 상기 화상 입력부로부터 입력된 대상물의 부분에 대응하는 상기 형상 정보 저장부에 저장된 값을 비교하고, 입력된 대상물의 실제의 위치 및 자세와 저장된 대상물의 형상 정보와의 차분을 검출하도록 구성된 오차 비교 검출부와, 상기 오차 비교 검출부로부터의 차분값을, 상기 형상 정보 저장부에 저장된 형상 정보에 반영시키도록 구성된 형상 정보 관리부와, 상기 화상 입력부로부터 입력된 대상물의 화상과, 상기 형상 정보 저장부에 저장된 대상물의 형상 정보를, 서로 겹친 화상을 생성하도록 구성된 중첩 화상 생성부와, 상기 중첩 화상 생성부가 생성한 화상을 표시하도록 구성된 표시부를 갖는 정보 제시 장치와, 대상물의 3차원 설계 정보를 저장하도록 구성된 3차원 설계 정보 저장부와, 상기 3차원 설계 정보 저장부에 저장된 3차원 설계 정보로부터 형상 정보를 생성하도록 구성된 형상 정보 생성부를 갖는 3차원 CAD를 구비하고, 상기 정보 제시 장치의 형상 정보 저장부는, 상기 3차원 CAD의 형상 정보 생성부가 생성한 형상 정보를 저장하는 정보 제시 시스템이 제공된다.

또 여기서, 상기 정보 제시 장치의 3차원 위치 자세 관계 검출부는, 상기 화상 입력부로부터 입력된 대상물의 화상으로부터, 상기 화상 입력부와 대상물과의 상대적인 3차원 위치 및 자세 관계를 검출하여 출력하도록 구성된 3차원 위치 자세 관계 출력부와, 상기 3차원 위치 자세 관계 출력부가 검출하는 상기 화상 입력부와 대상물과의 상대적인 3차원 위치 및 자세 관계에, 상기 오차 비교 검출부로부터의 차분값을 이용하여 반영시키도록 구성된 3차원 위치 자세 정보 관리부를 포함하는 것이 바람직하다.

도 1은 본 발명의 제1 실시예에 따른 정보 제시 장치 및 그것을 이용한 정보 제시 시스템의 구성을 도시하는 블록도.

도 2는 실제 공간과 모델 공간의 관련지음(레지스트레이션) 작업의 수순을 나타내는 플로우차트.

도 3A는 레지스트레이션 작업 완료 전의 대상물과 표시 상태를 도시하는 도면.

도 3B는 레지스트레이션 작업 완료 후의 대상물과 표시 상태를 도시하는 도면.

도 4는 실제 공간 중의 대상물과 설계 정보(형상 정보)를 일치시키는 작업의 수순을 나타내는 플로우차트.

도 5A는 실제 공간 중의 대상물과 설계 정보(형상 정보)를 일치시키는 작업 완료 전의 대상물과 표시 상태와 대상물의 형상 정보를 도시하는 도면.

도 5B는 실제 공간 중의 대상물과 설계 정보(형상 정보)를 일치시키는 작업 완료 후의 대상물과 표시 상태와 대상물의 형상 정보를 도시하는 도면.

도 6A는 본 발명의 제2 실시예에서의 레지스트레이션 작업 완료 전의 대상물과 표시 상태를 도시하는 도면.

도 6B는 레지스트레이션 작업 완료 후의 대상물과 표시 상태를 도시하는 도면.

도 7은 제2 실시예의 변형예를 설명하기 위한 레지스트레이션 작업 완료 전 및 후의 대상물과 표시 상태를 도시하는 도면.

도 8A는 본 발명의 제3 실시예에서의 레지스트레이션 작업 완료 전의 대상물과 표시 상태와 대상물의 형상 정보를 도시하는 도면.

도 8B는 레지스트레이션 작업 완료 후의 대상물과 표시 상태와 대상물의 형상 정보를 도시하는 도면.

도 9A는 제3 실시예의 변형예를 설명하기 위한 레지스트레이션 작업 완료 전의 대상물과 표시 상태와 대상물의 형상 정보를 도시하는 도면.

도 9B는 제3 실시예의 변형예를 설명하기 위한 레지스트레이션 작업 완료 후의 대상물과 표시 상태와 대상물의 형상 정보를 도시하는 도면.

도 10은 본 발명의 제4 실시예에 따른 정보 제시 장치 및 그것을 이용한 정보 제시 시스템의 구성을 도시하는 블록도.

도 11은 본 발명의 제5 실시예에 따른 정보 제시 장치 및 그것을 이용한 정보 제시 시스템의 구성을 도시하는 블록도.

도 12는 제5 실시예의 변형예를 설명하기 위한 정보 제시 장치 및 그것을 이용한 정보 제시 시스템의 블록 구성도.

도 13A는 본 발명의 제6 실시예에 따른 정보 제시 장치 및 그것을 이용한 정보 제시 시스템에서 실제 공간 중의 대상물과 설계 정보(형상 정보)를 일치시키는 작업 완료 전의 대상물과 표시 상태와 대상물의 형상 정보를 도시하는 도면.

도 13B는 실제 공간 중의 대상물과 설계 정보(형상 정보)를 일치시키는 작업 완료 후의 대상물과 표시 상태와 대상물의 형상 정보를 도시하는 도면.

도 14는 제1 실시예의 변형예를 설명하기 위한 정보 제시 장치 및 그것을 이용한 정보 제시 시스템의 블록 구성도.

도 15는 제4 실시예의 변형예를 설명하기 위한 정보 제시 장치 및 그것을 이용한 정보 제시 시스템의 블록 구성도.

도 16은 도 14에 도시한 변형예를 더욱 변형한 구성을 설명하기 위한 정보 제시 장치 및 그것을 이용한 정보 제시 시스템의 블록 구성도.

도 17은 도 15에 도시한 변형예를 더욱 변형한 구성을 설명하기 위한 정보 제시 장치 및 그것을 이용한 정보 제시 시스템의 블록 구성도.

<발명을 실시하기 위한 최량의 형태>

[제1 실시예]

도 1에 도시한 바와 같이, 본 발명의 제1 실시예에 따른 정보 제시 시스템은, 본 발명의 제1 실시예에 따른 정보 제시 장치인 카메라가 부착된 PDA나 노트형 퍼스널 컴퓨터 등의 사용자가 휴대 가능한 소형의 정보 제시 장치(10)와, 사무실 등에 설치된 3차원 CAD(12)로 이루어진다.

여기서, 상기 정보 제시 장치(10)는, 화상 입력부(14), 3차원 위치 자세 관계 출력부(16), 형상 정보 저장부(18), 오차 비교 검출부(20), 형상 정보 관리부(22), 중첩 화상 생성부(24), 표시부(26), 및 3차원 위치 자세 관계 정보 관리부(28)로 구성되어 있다.

상기 화상 입력부(14)는, 실제 공간 중의 대상물의 화상을 입력(촬영)하는 카메라 등이다. 상기 3차원 위치 자세 관계 출력부(16)는, 상기 화상 입력부(14)로부터 입력된 대상물의 화상으로부터, 상기 화상 입력부(14)와 대상물과의 상대적인 3차 원래의 위치 및 자세의 관계를 검출하는 기능을 갖는다. 상기 형상 정보 저장부(18)는, 대상물의 형상 정보를 저장하는 메모리 등이다.

상기 오차 비교 검출부(20)는, 상기 3차원 위치 자세 관계 출력부(16)에 의해 검출된 대상물의 위치 및 자세와, 상기 화상 입력부(14)로부터 입력된 대상물의 부분에 대응하는 상기 형상 정보 저장부(18)에 저장된 값을 비교하고, 입력된 대상물의 실제의 위치 및 자세와 저장된 대상물의 형상 정보와의 차분을 검출하는 기능 을 갖는다. 상기 형상 정보 관리부(22)는, 상기 오차 비교 검출부(20)로부터의 차분값을, 상기 형상 정보 저장부(18)에 저장된 형상 정보에 반영시키는 기능을 갖는다.

상기 중첩 화상 생성부(24)는, 상기 화상 입력부(14)로부터 입력된 대상물의 화상과, 상기 형상 정보 저장부(18)에 저장된 대상물의 형상 정보를, 서로 겹친 화상을 생성하는 기능을 갖는다. 상기 표시부(26)는, 상기 중첩 화상 생성부(24)가 생성한 화상을 표시하는 액정 디스플레이 등이다.

상기 3차원 위치 자세 관계 정보 관리부(28)는, 상기 3차원 위치 자세 관계 출력부(16)의 검출하는 화상 입력부(14)와 대상물과의 상대적인 3차원 위치 및 자세 관계에, 상기 오차 비교 검출부(20)로부터의 차분값을 이용하여 반영시키는 기능을 갖는다. 상기 3차원 위치 자세 관계 출력부(16)와 상기 3차원 위치 자세 관계 정보 관리부(28)에 의해, 3차원 위치 자세 관계 검출부(30)가 구성되어 있다.

상기 3차원 CAD(12)는, 3차원 설계 정보 저장부(32)와, 형상 정보 생성부(34)를 구비하고 있다. 상기 3차원 설계 정보 저장부(32)는, 대상물의 3차원 설계 정보를 저장하는 하드디스크 등의 대용량 기억 장치이다. 상기 형상 정보 생성부(34)는, 상기 3차원 설계 정보 저장부(32)에 저장된 3차원 설계 정보로부터 형상 정보를 생성하는 기능을 갖는다.

또한, 상기 정보 제시 장치의 형상 정보 저장부(18)가 저장하는 형상 정보는, 상기 3차원 CAD(12)의 형상 정보 생성부(34)가 생성한 것이다. 이 형상 정보 생성부(34)로부터 형상 정보 저장부(18)에의 형상 정보의 전달은, 무선 또는 유선 의 통신에 의한 온라인으로 행하여도 되고, 어떠한 기억 매체를 통하여 오프라인으로 행하여도 된다.

여기서, 「대상물의 3차원 설계 정보」란, 형상, 색, 재질, 부품명, 등등의 해당 대상물을 제조·설치하는 데 필요한 정보이다. 형상 정보 생성부(34)는, 그와 같은 대상물의 3차원 설계 정보 중에서, 형상의 정보만을 추출한다. 또한, 대상물 및 형상 정보는 각각 고유의 좌표계를 갖고 있고, 대상물에 대한 좌표계를 「실제 공간」, 형상 정보의 좌표계를 「모델 공간」이라고 칭하는 것으로 한다.

또한, 상기 정보 제시 장치(10)의 형상 정보 관리부(22)는, 상기 형상 정보 저장부(18)에 저장하고 있는 상기 추출한 형상 정보와 마찬가지로, 상기 오차 비교 검출부(20)로부터의 차분값을, 상기 3차원 CAD(12)의 3차원 설계 정보 저장부(32)에 저장된 3차원 설계 정보, 즉 원래의 형상 정보에도 반영시키도록 구성되어 있다. 이 경우에도, 해당 형상 정보 관리부(22)와 상기 3차원 CAD(12)의 3차원 설계 정보 저장부(32)와의 사이의 정보의 전달은, 온라인 및 오프라인 중 어느 하나로 행하여도 상관없다.

다음으로, 이러한 구성에서의 동작을 설명한다.

본 실시예에서는, 우선, 전 처리로서, 실제 공간과 모델 공간의 관련지음(레지스트레이션) 작업을 실시한다. 즉, 대상물 그 자체를 사용하여, 실제 공간 상의 대상물과, 형상 정보로부터 만들어진 모델 공간 상의 대상물 모델을, 표시부(26)에 중첩 표시시켜서, 양자가 중첩하도록, 모델 공간 상의 대상물 모델을 이동함으로써, 실제 공간과 모델 공간의 관련지음 작업을 행하는 것이다. 그리고, 이 관련지 음 작업 시의 대상물 모델 이동량을 기록하여, 실제 공간과 모델 공간의 관련지음에 사용한다.

이 관련지음 작업 후에는, 실제 공간과 모델 공간의 좌표계의 대응 지음이 완료되어 있기 때문에, 중첩 표시 시에 차이가 있는 것은, 대상물과 대상물 모델과의 정합이 취해지지 않게(대상물이 형상 정보대로 되어 있지 않게) 된다.

이러한 실제 공간과 모델 공간의 관련지음(레지스트레이션) 작업은, 도 2의 플로우차트에 도시한 바와 같이 하여 행해진다.

즉, 우선, 화상 입력부(14)는 대상물을 촬영한다(스텝 S10). 또한, 이 레지스트레이션에 사용하는 대상물은, 미리 그 형상 정보가 실제 공간과 모델 공간에서 일치하고 있는 것을 알고 있는 것을 사용한다. 또한, 미리 레지스트레이션을 위한 랜드마크로서 등록해두어도 된다.

다음으로, 상기 3차원 위치 자세 관계 출력부(16)는, 상기 화상 입력부(14)에서 입력된 대상물의 화상으로부터, 화상 입력부(14)와 대상물과의 상대적인 3차원 위치 및 자세를 검출한다(스텝 S12). 이 때, 실제 공간과 모델 공간의 관련지음(레지스트레이션)이 종료하지 않기 때문에, 양자에 차이가 있다.

또한, 이 3차원 위치 및 자세의 검출은, 예를 들면 대상물 그 자체를 마커라고 간주하여, USP 6,577, 249에 개시되어 있는 마커 검출이나 위치 및 자세 정보의 추정 방법을 적용함으로써 행할 수 있다.

그리고, 상기 3차원 위치 자세 관계 출력부(16)는, 또한 상기 화상 입력부(14)에서 입력된 대상물의 화상에 기초하여, 형상 정보 저장부(18) 중에서, 그 대 상물에 대응하는 형상 정보를 선택한다(스텝 S14). 이 경우, 전술된 바와 같이, 이 레지스트레이션에 사용하는 대상물은 미리 그 형상 정보가 실제 공간과 모델 공간에서 일치하고 있는 것을 알고 있는 것을 사용하기 때문에, 자동적으로 선택할 수 있다. 도면에서는, 도면의 간략화를 위해, 이 선택된 형상 정보가 직접, 오차 비교 검출부(20)에 공급되도록 도시되어 있다. 실제로는, 상기 3차원 위치 자세 관계 출력부(16)가, 상기 검출한 3차원 위치 및 자세에 기초하여 그 선택한 형상 정보를 변형한 뒤에, 상기 오차 비교 검출부(20)에 입력하게 된다.

그리고, 오차 비교 검출부(20)는, 상기 화상 입력부(14)로부터의 입력 화상과, 상기 형상 정보 저장부(18) 중에서 선택하여 변형된 형상 정보와의 오차를 검출한다(스텝 S16). 또한, 이 때의 오차는, 실제 공간과 모델 공간과의 관련지음이 정확하게 행해지지 않기 때문에 발생한다. 즉, 중첩 화상 생성부(24)에 의해서, 상기 화상 입력부(14)로부터의 입력 화상과 상기 선택된 형상 정보를 서로 겹친 화상을 생성하여, 표시부(26)에 표시할 때, 도 3A에 도시한 바와 같이, 표시부(26)의 화면(42)에, 대상물(38)의 화상(36)과 대상물의 형상 정보로부터 작성한 대상물 모델(40)이 어긋나게 표시되는 것으로 된다.

3차원 위치 자세 관계 정보 관리부(28)는, 상기 오차 비교 검출부(20)가 검출한 오차에 기초하여, 그 오차가 최소로 되도록 화상 입력부(14)와 대상물(38)과의 상대적인 3차원 위치 및 자세 관계에 관한 정보를 수정한다(스텝 S18).

그리고, 상기 3차원 위치 자세 관계 정보 관리부(28)는, 그 수정한 3차원 위치 및 자세 관계에 관한 정보를, 상기 3차원 위치 자세 관계 출력부(16)에 공급함 으로써, 실제 공간과 모델 공간과의 좌표계의 관련지음 작업이 종료한다(스텝 S20). 이에 의해, 표시부(26)의 화면(42)에는, 도 3B에 도시한 바와 같이, 대상물(38)의 화상(36)과 대상물 모델(40)이 일치하여 표시되도록 된다.

이러한 전 처리의 완료 후, 실제 공간 중의 대상물과 설계 정보(본 실시예에서는, 형상 정보)와의 사이의 오차를 적확하게 파악하여, 설계 정보와 실제의 대상물을 일치시키는 작업을 행하는 것으로 된다.

즉, 도 4의 플로우차트에 도시한 바와 같이, 우선 화상 입력부(14)는 대상물(38)을 촬영한다(스텝 S30).

다음으로, 3차원 위치 자세 관계 출력부(16)는, 상기 화상 입력부(14)에서 입력된 대상물(38)의 화상(36)으로부터, 상기 화상 입력부(14)와 대상물(38)과의 상대적인 3차원 위치 및 자세를 검출한다(스텝 S32). 이 때, 실제 공간과 모델 공간의 관련지음(레지스트레이션)이 종료하고 있기 때문에, 양자에 차이는 없다.

다음으로, 상기 3차원 위치 자세 관계 출력부(16)는, 형상 정보 저장부(18)에 저장되어 있는 복수 형상의 정보 중에서, 상기 검출한 3차원 위치 및 자세에 해당하는 데이터를 검색한다(단계 S34). 검색된 형상 정보는, 오차 비교 검출부(20)에 입력된다.

그리고, 오차 비교 검출부(20)는, 상기 화상 입력부(14)로부터의 입력 화상과, 상기 형상 정보 저장부(18)로부터 검색한 형상 정보와의 오차를 검출한다(스텝 S36). 또한, 검출하는 오차는, 예를 들면 형상 정보의 이동량이다. 이 이동량은, 평행 이동이나, 확대·축소, 회전이나, 이들의 조합으로는, 물론 상관없다.

여기서, 형상 정보 관리부(22)는, 상기 오차 비교 검출부(20)가 검출한 오차가 허용 범위 내인지의 여부를 판별하고(단계 S38), 허용 범위 내이면, 이후의 작업을 행할 필요가 없다.

이것에 대하여, 검출한 오차가 허용 범위 내가 아니면(단계 S38), 상기 형상 정보 관리부(22)는, 또한 상기 형상 정보 저장부(18)로부터 검색한 형상 정보에, 그 검출한 오차를 부가하고, 형상 정보를 변경한다(스텝 S40). 즉, 이미 만들어지게 된 대상물(38)의 형상을 변경하는 것은 가능하지 않기 때문에, 형상 정보를 변경하는 것이다.

그리고, 상기 형상 정보 관리부(22)는, 그 형상 변경 정보를 형상 정보 저장부(18)에 저장함으로써, 그 변경을 반영시킨다(스텝 S42).

예를 들면, 화상 입력부(14)가 상기 대상물(38)로서, 도 5A에 도시한 바와 같은, 부품(44) 및 부품(46)이 본체(48)에 부착된 것을 촬영한 것으로 한다. 이 경우에는, 본체(48)의 형상 정보(52), 부품(44)의 형상 정보(54), 및 부품(46)의 형상 정보(56)로 되는 그 대상물(38)에 대응하는 형상 정보(50)가 검색되고, 대상물(38)의 화상(36)과 그와 같은 형상 정보(50)가 오차 비교 검출부(20)에서 비교된다. 또한 이 때, 중첩 화상 생성부(24)는, 대상물(38)의 화상(36)과 형상 정보(50)로부터 작성된 대상물 모델(40)(본체(48)의 모델(58), 부품(44)의 모델(60), 부품(46)의 모델(62))을 서로 겹친 화상을 생성하여, 표시부(26)에 표시한다.

여기서, 실제의 부품(46)의 부착 위치와 그 부품(46)의 형상 정보(56)에 오차가 있으면, 동일 도면에 도시한 바와 같이, 표시부(26)의 화면(42)에 표시되는 부품(46)의 화상(64)과 그 모델(62)은, 어긋나게 표시되는 것으로 된다. 이 오차는, 상기 스텝 S40 및 스텝 S42의 동작에 의해서, 부품(46)의 형상 정보(56)가, 도 5B에 도시한 바와 같이, 형상 정보(66)로 변경됨으로써 캔슬되어, 화면(42)에 표시되는 부품(46)의 화상(64)과 그 변경 후의 모델(68)은 일치하여, 서로 겹쳐서 표시되는 것으로 된다.

또한, 도 5A에 도시한 바와 같이, 실제의 부품(44)의 부착 위치와 그 부품(44)의 형상 정보(54), 및 본체(48)와 그 형상 정보(52)에는, 각각 오차가 없기 때문에, 표시부(26)의 화면(42)에 표시되는 부품(44)의 화상(70)과 그 모델(60), 및 본체(48)의 화상(72)과 그 모델(58)은, 각각 일치하여 표시된다. 따라서, 이 경우에는, 상기 스텝 S40 및 스텝 S42의 동작을 행하지 않는다.

또한, 전술한 바와 같이, 상기 형상 정보 관리부(22)로부터 형상 변경 정보를, 3차원 CAD(12)의 3차원 설계 정보 저장부(32)로 복귀하는 것도 가능하다.

[제2 실시예]

상기 제1 실시예에서는, 실제 공간과 모델 공간의 관련지음(레지스트레이션) 작업에서 사용하는 대상물(38)로서, 미리 그 형상 정보가 실제 공간과 모델 공간에서 일치하고 있는 것을 알고 있을 필요가 있었다.

그러나, 반드시 그와 같은 대상물(38)을 준비할 수 없는 경우가 있다.

따라서, 본 제2 실시예에서는, 그와 같은 레지스트레이션 시에, 미리 그 형상 정보가 실제 공간과 모델 공간에서 일치하지 않는 대상물(38)을 사용할 수 있도록 하기 위해서, 접착 등에 의해, 대상물(38) 상에 마커를 이동 가능하게 배치한 다.

즉, 상기 3차원 위치 자세 관계 출력부(16)에 의해서 3차원 위치 및 자세의 검출을 행하고, 오차 비교 검출부(20)에서, 대상물(38)의 화상(36)과 대상물(38)의 형상 정보(50)를 비교한 경우, 양자 간에 오차가 검출된다. 이 경우, 마커를 기준으로 하기 때문에, 마커의 화상과 마커의 형상 정보는 일치한다. 따라서, 이 경우에는, 예를 들면, 도 6A에 도시한 바와 같이, 표시부(26)의 화면(42)에 표시되는 마커(76)의 화상(74)과 그 마커(76)의 모델(78)은 일치하지만, 대상물(38)의 화상(36)과 대상물 모델(40)은, 어긋나게 표시되는 것으로 된다.

따라서, 본 실시예에서는, 상기 제1 실시예와 같이 3차원 위치 자세 관계 정보 관리부(28)를 이용하는 것은 아니고, 도 6B에 도시한 바와 같이, 대상물(38)에 대한 실제의 마커(76)의 위치를 이동시킴으로써, 대상물(38)과 대상물(38)의 형상 정보(50)를 일치시키는 것이다. 즉, 화상 관찰자가, 표시부(26)에 표시된, 촬영된 대상물(38)의 화상(36)과, 그 대상물 모델(40)을 관찰하면서, 양자가 일치하도록, 이동 전의 마커의 위치(80)로부터 마커(76)의 위치를 이동해 가는 것이다.

또한, 이 경우, 마커(76)의 위치의 이동을 용이하게 하기 위해, 도 7에 도시한 바와 같이, 표시부(26)의 화면(42)에, 대상물(38)의 화상(36) 및 대상물 모델(40)과, 마커(76)의 화상(74) 및 마커(76)의 모델(78) 외에 추가로, 대상물 모델(40)에 대하여 스케일(82)을 부가하여 표시하도록 하여도 된다. 이러한 스케일(82)을 표시함으로써, 관찰자는, 이 화면(42) 상의 스케일(82)로부터, 어긋남량을 확인하고, 그 확인한 어긋남량에 따라서, 대상물(38) 상의 마커(76)를 이동할 수 있다.

[제3 실시예]

본 제3 실시예도, 상기 제2 실시예와 마찬가지로, 레지스트레이션 시에 미리 그 형상 정보가 실제 공간과 모델 공간에서 일치하지 않는 대상물(38)을 사용하는 것이다. 단, 본 제3 실시예는, 마커(76)가 접착 혹은 인쇄 등에 의해서 대상물(38) 상에 배치되어 있어, 마커(76)를 이동할 수 없는 경우이다.

즉, 상기 3차원 위치 자세 관계 출력부(16)에 의해서 3차원 위치 및 자세의 검출을 행하고, 오차 비교 검출부(20)에서, 대상물(38)의 화상(36)과 대상물(38)의 형상 정보(50)를 비교한 경우, 양자 간에 오차가 검출된다. 이 경우, 마커(76)를 기준으로 하기 때문에, 마커(76)의 화상(74)과 마커(76)의 형상 정보는 일치한다. 따라서, 이 경우에는, 도 8A에 도시한 바와 같이, 표시부(26)의 화면(42)에 표시되는 마커(76)의 화상(74)과 마커(76)의 모델(78)은 일치하지만, 대상물(38)의 화상(36)과 대상물 모델(40)은, 어긋나게 표시되는 것으로 된다.

따라서, 3차원 위치 자세 관계 정보 관리부(28)에 의해, 3차원 위치 자세 관계 출력부(16)가 검출하는 화상 입력부(14)와 대상물(38)과의 상대적인 3차원 위치 및 자세 관계에, 오차 비교 검출부(20)로부터의 차분값을 이용하여 반영시키는 것이 필요해진다. 이 경우, 본 실시예에서는, 그것을, 대상물(38)의 형상 정보(50)에 대한 마커(76)의 형상 정보(84)의 위치 및 자세를 이동하여, 도 8B에 도시한 바와 같은 형상 정보(86)로 함으로써 행한다. 이에 의해, 도 8B에 도시한 바와 같이, 표시부(26)의 화면(42)에 표시되는 마커(76)의 화상(74)과 마커(76)가 이동된 모델(88)이 일치하고, 또한 대상물(38)의 화상(36)과 대상물 모델(40)도 일치하게 된다.

또한, 화상 입력부(14)에 의해 대상물(38)을 복수 방향으로부터 촬영하여 정지 화상으로 하고, 어느 하나의 정지 화상 상에서, 대상물(38)의 형상 정보(50)에 대한 마커(76)의 형상 정보(84)의 위치 및 자세를 이동하면, 쌍의 정지 화상에서도 그 이동이 반영되도록 구성하여도 된다. 도 9A는 대상물(38)의 형상 정보(50)에 대한 마커(76)의 형상 정보(84)의 이동 전을 나타내고 있고, 도 9B는 대상물(38)의 형상 정보(50)에 대한 마커(76)의 형상 정보(86)의 이동 완료 후를 나타내고 있다. 또한, 이들의 도면에서, 좌측 열은 임의의 방향 a로부터 본 경우를 나타내고 있고, 우측 열은 다른 방향 b로부터 본 경우를 나타내고 있다.

또한, 대상물(38)의 특징적인 요철이나 모양을 마커라고 간주하여 레지스트레이션을 행하는 경우에도, 본 실시예와 마찬가지로 하여 일치시킬 수 있다.

또한, 본 실시예에서는, 마커(76)의 형상 정보(84)의 이동을 자동으로 행하였지만, 키보드 등에 의해 관찰자가 그 이동 방향 및 이동량을 지정하도록 하여도 되는 것은 물론이다. 그 경우에는, 표시부(26)의 표시 화면(42)에, 상기 제2 실시예에서 설명한 바와 같은 스케일(82)을 대상물 모델(40)에 대하여 부가하여 표시하는 것이 바람직하다.

[제4 실시예]

상기 제1 실시예에서는, 대상물의 형상 정보를 저장해 두고, 실제로 촬영한 대상물과의 오차를 검출하여 반영시키도록 하고 있었다.

또한, 부품명 등의 대상물의 속성 정보도 저장해 두고, 그 속성 정보의 변경도 반영시키도록 하여도 된다. 그 때문에, 본 제4 실시예에서의 정보 제시 시스템은, 도 10과 같이 구성된다.

즉, 3차원 CAD(12)는, 상기 제1 실시예에서의 구성 외에 추가로, 3차원 설계 정보 저장부(32)에 저장된 대상물의 3차원 설계 정보로부터, 속성 정보를 생성하는 기능을 갖는 속성 정보 생성부(90)를 더 구비한다.

또한, 정보 제시 장치(10)는, 상기 제1 실시예에서의 구성 외에 추가로, 속성 정보 저장부(92), 키보드(94), 및 속성 정보 관리부(96)를 더 구비한다. 여기서, 상기 속성 정보 저장부(92)는, 상기 3차원 CAD(12)의 속성 정보 생성부(90)가 생성한 속성 정보를 저장하는 메모리 등이다. 상기 속성 정보 관리부(96)는, 입력부로서의 상기 키보드(94)에 의해서 입력된 속성 정보의 변경을 상기 속성 정보 저장부(92)에 저장된 속성 정보에 반영시키는 기능을 갖는다.

또한, 상기 정보 제시 장치(10)의 중첩 화상 생성부(24)는, 상기 화상 입력부(14)로부터 입력된 대상물의 화상과, 상기 형상 정보 저장부(18)에 저장된 대상물의 형상 정보 외에 추가로, 상기 속성 정보 저장부(92)에 저장된 속성 정보도, 서로 겹치게 하여, 표시부(26)에 표시하도록 구성되어 있다.

또한, 상기 3차원 CAD(12)의 속성 정보 생성부(90)로부터 상기 정보 제시 장치(10)의 속성 정보 저장부(92)에의 속성 정보의 전달은, 무선 또는 유선의 통신에 의한 온라인으로 행하여도 되고, 어떠한 기억 매체를 통하여 오프라인으로 행하여도 된다.

또한, 상기 정보 제시 장치(10)의 속성 정보 관리부(96)는, 상기 속성 정보 저장부(92)에 저장하고 있는 상기 속성 정보에 대한 것과 마찬가지로, 상기 키보드(94)에 의해 입력된 속성 정보의 변경을, 상기 3차원 CAD(12)의 3차원 설계 정보 저장부(32)에 저장된 3차원 설계 정보, 즉 원래의 속성 정보에도 반영시키는 기능을 갖고 있다. 이 경우에도, 이 속성 정보 관리부(96)와 상기 3차원 CAD(12)의 3차원 설계 정보 저장부(32)와의 사이의 정보의 전달은, 온라인 및 오프라인 중 어느 하나로 행하여도 된다.

[제5 실시예]

본 제5 실시예에서의 정보 제시 시스템은, 도 11에 도시한 바와 같이, 도 1에 도시한 구성에서의 오차 비교 검출부(20) 대신에, 키보드(94)를 배치하고, 해당 키보드(94)로부터 3차원 위치 자세 관계 정보 관리부(28) 및 형상 정보 관리부(22)에 값으로서 직접, 형상 정보의 이동량을 입력하는 구성으로 한 것이다.

즉, 전술한 제1 내지 제3 실시예에서는, 오차 비교 검출부(20)에 의해 자동적으로 중첩 어긋남을 보정하고 있었다. 이것에 대하여, 본 제5 실시예에서는, 관찰자가 중첩 화면을 관찰하면서 예를 들면 키보드(94)로부터, 대상물의 화상과 대상물의 형상 정보로부터 작성한 대상물 모델과의 어긋남이 최소로 되도록, 3차원 위치 자세 관계 정보 관리부(28) 및 형상 정보 관리부(22)에 지시함으로써, 어긋남을 보정하는 것이다.

이러한 구성으로 하여도, 상기 제1 내지 제3 실시예와 마찬가지의 작용 효과를 발휘할 수 있다.

또한, 마찬가지로, 도 12에 도시한 바와 같이, 도 10에 도시한 구성에서의 오차 비교 검출부(20) 대신에, 키보드(94)로부터 3차원 위치 자세 관계 정보 관리부(28) 및 형상 정보 관리부(22)에 입력하도록 하여도 되는 것은 물론이다. 이러한 구성으로 하면, 상기 제4 실시예와 마찬가지의 작용 효과를 발휘할 수 있다.

[제6 실시예]

상기 제5 실시예에서는, 관찰자가 중첩 화면을 관찰하면서, 예를 들면 키보드(94)로부터, 대상물의 화상과 대상물의 형상 정보로부터 작성한 대상물 모델과의 어긋남이 최소로 되도록, 3차원 위치 자세 관계 정보 관리부(28) 및 형상 정보 관리부(22)에 지시함으로써, 어긋남을 보정하고 있었다.

본 제6 실시예에서는, 위치 및 자세뿐만 아니라, 또한 형상 정보 관리부(22)에 대하여, 형상 변경 혹은 부품 교환을 지시하도록 한 것이다.

본 제6 실시예에서의 정보 제시 시스템의 구성은, 상기 제5 실시예와 마찬가지이다.

본 정보 제시 시스템에서, 예를 들면 화상 입력부(14)가, 도 13A에 도시한 바와 같은 본체(48)에 부품(98) 및 부품(100)을 부착한 것을 대상물(38)로서 촬영한 것으로 한다. 이 경우에는, 3차원 위치 자세 관계 검출부(30)에 의해서, 그것에 대응하는 본체(48)의 형상 정보(52), 부품(98)의 형상 정보(102), 및 부품(100)의 형상 정보(104)로 되는 대상물(38)의 형상 정보(50)가 검색된다. 그리고, 중첩 화상 생성부(24)가, 대상물(38)의 화상(36)과, 이 형상 정보(50)로부터 작성된 대상물 모델(40)(즉, 본체(48)의 모델(58), 부품(98)의 모델(106), 부품(100)의 모델 (108))을 서로 겹친 화상을 생성하여, 표시부(26)에 표시한다.

여기서, 실제의 부품(98)의 형상과 그 부품(98)의 형상 정보(102)에 오차가 있으면, 동일 도면에 도시한 바와 같이, 표시부(26)의 화면(42)에 표시되는 부품(98)의 화상(110)은, 그 모델(106)은 어긋나게 표시되는 것으로 된다. 마찬가지로, 실제의 부품(100)의 형상과 그 부품(100)의 형상 정보(104)에 오차가 있으면, 표시부(26)의 화면(42)에 표시되는 부품(100)의 화상(112)과 그 모델(108)과는 어긋나게 표시된다.

즉, 이 도 13A의 예에서는, 설계 정보에서는 직관(길다)의 형상 정보(102)와 직관(짧다)의 형상 정보(104)로 되어 있지만, 실제 공간 중의 대상물에서는 부품(98)은 엘보우관에, 부품(100)은 직관(길다)으로 되게 된다. 이러한 차이가 있기 때문에, 표시부(26)의 화면(42)에 표시되는 중첩 화상에서는, 부품의 화상(110, 112)과 모델(106, 108)이 어긋나게 표시된다.

따라서, 이러한 경우에는, 관찰자가 중첩 화면을 관찰하면서, 예를 들면 키보드(94)로부터, 형상 정보 관리부(22)에 대하여, 형상 정보의 형상 변경을 표현하는 값, 혹은 형상 정보의 부품 변경을 표현하는 값을 입력한다. 이에 의해, 형상 정보 관리부(22)는, 도 13B에 도시한 바와 같이, 직관(길다)의 형상 정보(102)를 엘보우관의 형상 정보(114)와 교환하고, 또한 직관(짧다)의 형상 정보(104)의 길이를 변경(변경 후의 형상 정보(116)로 함)한다. 이러한 작업을 행함으로써, 실제 공간과 대상 정보가 일치된다. 즉, 부품(98)의 형상 정보(102)가 형상 정보(114)로 변경되고, 또한 부품(100)의 형상 정보(104)가 형상 정보(116)로 변경됨으로써 어긋남이 캔슬되고, 표시부(26)의 화면(42)에 표시되는 부품(98)의 화상(110)과 그 변경 후의 모델(118)은 일치하고, 또한 부품(100)의 화상(112)과 그 변경 후의 모델(120)이 일치하여, 서로 겹쳐서 표시되는 것으로 된다.

이상 실시예에 기초하여 본 발명을 설명했지만, 본 발명은 전술한 실시예에 한정되는 것이 아니라, 본 발명의 요지의 범위 내에서 여러가지의 변형이나 응용이 가능한 것은 물론이다.

예를 들면, 도 14 및 도 15에 도시한 바와 같이, 상기 제1 실시예 및/또는 제4 실시예에서의 형상 정보 관리부(22) 및/또는 속성 정보 관리부(96)에 의한 3차원 CAD(12)의 3차원 설계 정보 저장부(32)에의 반영을 행하지 않아도 된다.

또한, 이 경우에도, 상기 제5 실시예에서 설명한 바와 같이, 도 16 및 도 17에 도시한 바와 같이, 오차 비교 검출부(20) 대신에, 키보드(94)로부터 3차원 위치 자세 관계 정보 관리부(28) 및 형상 정보 관리부(22)에 입력하도록 하여도 물론 상관없다.

또한, 입력부는, 키보드(94)에 한정되지 않고, 마우스, 트랙볼, 터치 패널 등이어도 물론 상관없다.

(부기) 이상 상술한 구체적 실시예로부터, 청구의 범위에 기재한 구성 이외에도, 이하와 같은 구성을 추출할 수 있다.

(1) 실제 공간에 배치된 대상물의 화상을 입력하도록 구성된 화상 입력부와,

상기 화상 입력부로부터 입력된 대상물의 화상으로부터, 상기 화상 입력부와 대상물과의 상대적인 3차원 위치 및 자세 관계를 검출하여 출력하도록 구성된 3차 원 위치 자세 관계 출력부와,

대상물의 형상 정보를 저장하도록 구성된 형상 정보 저장부와,

입력부와,

상기 3차원 위치 자세 관계 출력부가 검출하는 상기 화상 입력부와 대상물과의 상대적인 3차원 위치 및 자세 관계에, 상기 입력부로부터 입력된 값을 이용하여 반영시키도록 구성된 3차원 위치 자세 정보 관리부와,

상기 화상 입력부로부터 입력된 대상물의 화상과, 상기 형상 정보 저장부에 저장된 대상물의 형상 정보를, 서로 겹친 화상을 생성하도록 구성된 중첩 화상 생성부와,

상기 중첩 화상 생성부가 생성한 화상을 표시하도록 구성된 표시부

를 구비하는 정보 제시 장치.

(2) 상기 입력부로부터 입력하는 값은, 형상 정보의 이동량을 포함하는 (1)에 기재된 정보 제시 장치.

(3) 상기 입력부로부터 입력된 값을 이용하여 상기 형상 정보 저장부에 저장된 형상 정보에 반영시키도록 구성된 형상 정보 관리부를 더 구비하는 (1) 또는 (2)에 기재된 정보 제시 장치.

(4) 상기 3차원 위치 자세 정보 관리부는, 상기 대상물을 제1 방향으로부터 촬영한 화상에 기초하여 상기 입력부로부터 입력된 형상 정보의 제1 이동량과, 상기 제1 방향과는 상이한 제2 방향으로부터 촬영한 화상에 기초하여 상기 입력부로부터 입력된 형상 정보의 제2 이동량을 이용하는 (1) 내지 (3) 중 어느 하나에 기 재된 정보 제시 장치.

(5) 상기 표시부는, 상기 대상물을 제1 방향으로부터 촬영한 화상에 기초하여 상기 중첩 화상 생성부가 생성하는 제1 화상과, 상기 제1 방향과는 상이한 제2 방향으로부터 촬영한 화상에 기초하여 상기 중첩 화상 생성부가 생성하는 제2 화상을 표시하는 (1) 내지 (4) 중 어느 하나에 기재된 정보 제시 장치.

(6) 상기 입력부로부터 입력하는 값은, 상기 형상 정보의 형상 변경을 표현하는 값을 포함하는 (1)에 기재된 정보 제시 장치.

(7) 상기 입력부로부터 입력하는 값은, 상기 형상 정보의 부품 변경을 표현하는 값을 포함하는 (1)에 기재된 정보 제시 장치.

(8) 상기 입력부로부터 입력된 값을 이용하여 상기 형상 정보 저장부에 저장된 형상 정보에 반영시키도록 구성된 형상 정보 관리부를 더 구비하는 (6) 또는 (7)에 기재된 정보 제시 장치.

Claims

실제 공간 중의 대상물의 화상을 입력하도록 구성된 화상 입력부와,

상기 화상 입력부로부터 입력된 대상물의 화상으로부터, 상기 화상 입력부와 대상물과의 상대적인 3차원 위치 및 자세 관계를 검출하도록 구성된 3차원 위치 자세 관계 검출부와,

대상물의 형상 정보를 저장하도록 구성된 형상 정보 저장부와,

상기 3차원 위치 자세 관계 검출부에 의해 검출된 대상물의 위치 및 자세와, 상기 화상 입력부로부터 입력된 대상물의 부분에 대응하는 상기 형상 정보 저장부에 저장된 값을 비교하고, 입력된 대상물의 실제의 위치 및 자세와 저장된 대상물의 형상 정보와의 차분을 검출하도록 구성된 오차 비교 검출부와,

상기 오차 비교 검출부로부터의 차분값을, 상기 형상 정보 저장부에 저장된 형상 정보에 반영시키도록 구성된 형상 정보 관리부와,

상기 화상 입력부로부터 입력된 대상물의 화상과, 상기 형상 정보 저장부에 저장된 대상물의 형상 정보를, 서로 겹친 화상을 생성하도록 구성된 중첩 화상 생성부와,

상기 중첩 화상 생성부가 생성한 화상을 표시하도록 구성된 표시부

를 구비하는 정보 제시 장치.
제1항에 있어서,

상기 오차 비교 검출부가 검출하는 차분은, 형상 정보의 이동량을 포함하는 정보 제시 장치.
제1항에 있어서,

대상물의 속성 정보를 저장하도록 구성된 속성 정보 저장부를 더 구비하고,

상기 중첩 화상 생성부는, 상기 속성 정보 저장부에 저장된 속성 정보도 서로 겹치게 하도록 구성되어 있는 정보 제시 장치.
제3항에 있어서,

입력부와,

상기 입력부에 의해서 입력된 속성 정보의 변경을, 상기 속성 정보 저장부에 저장된 속성 정보에 반영시키도록 구성된 속성 정보 관리부

를 더 구비하는 정보 제시 장치.
제1항에 있어서,

상기 3차원 위치 자세 관계 검출부는,

상기 화상 입력부로부터 입력된 대상물의 화상으로부터, 상기 화상 입력부와 대상물과의 상대적인 3차원 위치 및 자세 관계를 검출하여 출력하도록 구성된 3차원 위치 자세 관계 출력부와,

상기 3차원 위치 자세 관계 출력부가 검출하는 상기 화상 입력부와 대상물과 의 상대적인 3차원 위치 및 자세 관계에, 상기 오차 비교 검출부로부터의 차분값을 이용하여 반영시키도록 구성된 3차원 위치 자세 정보 관리부를 포함하는 정보 제시 장치.
제5항에 있어서,

상기 오차 비교 검출부가 검출하는 차분은, 형상 정보의 이동량을 포함하는 정보 제시 장치.
제5항에 있어서,

상기 오차 비교 검출부로부터의 차분값을 이용하여 상기 형상 정보 저장부에 저장된 형상 정보에 반영시키도록 구성된 형상 정보 관리부를 더 구비하는 정보 제시 장치.
제5항에 있어서,

상기 3차원 위치 자세 정보 관리부는, 상기 대상물을 제1 방향으로부터 촬영한 화상에 기초하여 상기 오차 비교 검출부가 검출하는 제1 차분값과, 상기 제1 방향과는 상이한 제2 방향으로부터 촬영한 화상에 기초하여 상기 오차 비교 검출부가 검출하는 제2 차분값을 이용하는 정보 제시 장치.
제5항에 있어서,

상기 표시부는, 상기 대상물을 제1 방향으로부터 촬영한 화상에 기초하여 상기 중첩 화상 생성부가 생성하는 제1 화상과, 상기 제1 방향과는 상이한 제2 방향으로부터 촬영한 화상에 기초하여 상기 중첩 화상 생성부가 생성하는 제2 화상을 표시하도록 구성되어 있는 정보 제시 장치.
실제 공간 중의 대상물의 화상을 입력하도록 구성된 화상 입력부와,

상기 화상 입력부로부터 입력된 대상물의 화상으로부터, 상기 화상 입력부와 대상물과의 상대적인 3차원 위치 및 자세 관계를 검출하도록 구성된 3차원 위치 자세 관계 검출부와,

대상물의 형상 정보를 저장하도록 구성된 형상 정보 저장부와,

상기 3차원 위치 자세 관계 검출부에 의해 검출된 대상물의 위치 및 자세와, 상기 화상 입력부로부터 입력된 대상물의 부분에 대응하는 상기 형상 정보 저장부에 저장된 값을 비교하고, 입력된 대상물의 실제의 위치 및 자세와 저장된 대상물의 형상 정보와의 차분을 검출하도록 구성된 오차 비교 검출부와,

상기 오차 비교 검출부로부터의 차분값을, 상기 형상 정보 저장부에 저장된 형상 정보에 반영시키도록 구성된 형상 정보 관리부와,

상기 화상 입력부로부터 입력된 대상물의 화상과, 상기 형상 정보 저장부에 저장된 대상물의 형상 정보를, 서로 겹친 화상을 생성하도록 구성된 중첩 화상 생성부와,

상기 중첩 화상 생성부가 생성한 화상을 표시하도록 구성된 표시부

를 갖는 정보 제시 장치와,

대상물의 3차원 설계 정보를 저장하도록 구성된 3차원 설계 정보 저장부와,

상기 3차원 설계 정보 저장부에 저장된 3차원 설계 정보로부터 형상 정보를 생성하도록 구성된 형상 정보 생성부

를 갖는 3차원 CAD

를 구비하고,

상기 정보 제시 장치의 형상 정보 저장부는, 상기 3차원 CAD의 형상 정보 생성부가 생성한 형상 정보를 저장하는 정보 제시 시스템.
제10항에 있어서,

상기 정보 제시 장치의 형상 정보 관리부는, 상기 오차 비교 검출부로부터의 차분값을, 상기 3차원 CAD의 3차원 설계 정보 저장부에 저장된 3차원 설계 정보에도 반영시키도록 구성되어 있는 정보 제시 시스템.
제10항에 있어서,

상기 정보 제시 장치의 오차 비교 검출부가 검출하는 차분은, 형상 정보의 이동량을 포함하는 정보 제시 시스템.
제10항에 있어서,

상기 3차원 CAD는, 대상물의 3차원 설계 정보로부터 속성 정보를 생성하도록 구성된 속성 정보 생성부를 더 갖고,

상기 정보 제시 장치는, 상기 3차원 CAD의 속성 정보 생성부가 생성한 속성 정보를 저장하도록 구성된 속성 정보 저장부를 더 갖고,

상기 정보 제시 장치의 중첩 화상 생성부는, 상기 속성 정보 저장부에 저장된 속성 정보도 서로 겹치게 하도록 구성되어 있는 정보 제시 시스템.
제13항에 있어서,

상기 정보 제시 장치는,

입력부와,

상기 입력부에 의해서 입력된 속성 정보의 변경을 상기 속성 정보 저장부에 저장된 속성 정보에 반영시키도록 구성된 속성 정보 관리부를 더 구비하는 정보 제시 시스템.
제14항에 있어서,

상기 정보 제시 장치의 속성 정보 관리부는, 상기 입력부에 의해서 입력된 속성 정보의 변경을, 상기 3차원 CAD의 3차원 설계 정보 저장부에 저장된 3차원 설계 정보에도 반영시키도록 구성되어 있는 정보 제시 시스템.
제10항에 있어서,

상기 정보 제시 장치의 3차원 위치 자세 관계 검출부는,

상기 화상 입력부로부터 입력된 대상물의 화상으로부터, 상기 화상 입력부와 대상물과의 상대적인 3차원 위치 및 자세 관계를 검출하여 출력하도록 구성된 3차원 위치 자세 관계 출력부와,

상기 3차원 위치 자세 관계 출력부가 검출하는 상기 화상 입력부와 대상물과의 상대적인 3차원 위치 및 자세 관계에, 상기 오차 비교 검출부로부터의 차분값을 이용하여 반영시키도록 구성된 3차원 위치 자세 정보 관리부를 포함하는 정보 제시 시스템.
제16항에 있어서,

상기 정보 제시 장치의 오차 비교 검출부가 검출하는 차분은, 형상 정보의 이동량을 포함하는 정보 제시 시스템.
제16항에 있어서,

상기 정보 제시 장치는, 상기 오차 비교 검출부로부터의 차분값을 이용하여 상기 형상 정보 저장부에 저장된 형상 정보에 반영시키도록 구성된 형상 정보 관리부를 더 구비하는 정보 제시 시스템.
제16항에 있어서,

상기 정보 제시 장치의 3차원 위치 자세 정보 관리부는, 상기 대상물을 제1 방향으로부터 촬영한 화상에 기초하여 상기 오차 비교 검출부가 검출하는 제1 차분 값과, 상기 제1 방향과는 상이한 제2 방향으로부터 촬영한 화상에 기초하여 상기 오차 비교 검출부가 검출하는 제2 차분값을 이용하는 정보 제시 시스템.
제16항에 있어서,

상기 정보 제시 장치의 표시부는, 상기 대상물을 제1 방향으로부터 촬영한 화상에 기초하여 상기 중첩 화상 생성부가 생성하는 제1 화상과, 상기 제1 방향과는 상이한 제2 방향으로부터 촬영한 화상에 기초하여 상기 중첩 화상 생성부가 생성하는 제2 화상을 표시하도록 구성되어 있는 정보 제시 시스템.