KR100953606B1 - 화상 표시 장치, 화상 표시 방법 및 명령 입력 방법 - Google Patents

Abstract

개시하는 화상 표시 장치는 스크린상의 화상을 촬영하도록 구성된 촬영 유닛과, 상기 스크린상에 투영되는 화상을 생성하는 투영 화상 생성 유닛과, 상기 촬영 유닛이 촬영한 화상으로부터 물체 또는 도형 정보에 관한 식별 정보를 추출하는 화상 추출 유닛과, 상기 화상 추출 유닛이 추출한 물체 정보에 관한 식별 정보로부터 속성 정보를 인식하는 물체 인식 유닛과, 상기 화상 추출 유닛이 추출한 도형 정보에 관한 상기 식별 정보로부터 특성 정보를 인식하는 도형 인식 유닛, 및 속성 정보 및 특성 정보에 기초하여 상기 투영 화상 생성 유닛을 조작하는 조작 처리 유닛을 포함한다.

화상 표시 장치, 촬영 유닛, 스크린, 투영 화상, 화상 추출, 식별 정보, 물체, 도형, 속성 정보, 물체 인식, 조작 처리

Description

화상 표시 장치, 화상 표시 방법 및 명령 입력 방법{IMAGE DISPLAYING APPARATUS, IMAGE DISPLAYING METHOD, AND COMMAND INPUTTING METHOD}

본 발명은 물체의 식별 정보 및 손으로 쓴(hand-written) 도형에 따라 정보 장치와 로봇 등의 장치에 명령을 입력하여 표시 화상을 조작하는 방식으로, 투영 화상이 표시되는 표시 화면상에 놓인 물체를 조작하는 방식으로, 그리고 표시 화면에 마커(marker) 등을 사용하여 드로잉(drawing) 작업을 수행하는 방식으로, 투영 화상을 물체와 그림에 따라 변화시키기 위한 매커니즘을 구성함으로써, 인간과 기계 사이의 인터페이스(man-machine interface)를 향상시키기 위한 명령 입력 방법, 화상 표시 방법 및 화상 표시 장치에 관한 것이다.

오늘날, 컴퓨터와 같은 정보 장치는 주목할 만한 진보와 다양화를 보여주고 있으며, 이와 같은 정보 장치를 이용하는 각종 시스템이 개발되어 도입되어 왔다. 그러나, 이러한 시스템의 보급과 함께, 시스템 전체의 기능적이면서도 효율적인 동작의 중요성이 증가하고 있다. 따라서, 시스템을 작동하는 인간 및 컴퓨터와 같은 정보 장치의 특성을 고려하여 인간과 컴퓨터 간의 조화를 달성할 수 있는, 인간과의 친화성이 뛰어난 시스템을 구성하는 일이 필수적이다. 특히, 인간과 기계 간의 협력 하에 복잡한 과제를 효율적으로 처리하기 위한 맨-머신 시스템(man-machine system) 등에 있어서는 사용자 인터페이스, 특히 입출력 디바이스의 조작성이 중요한 요소이다.

다시 말해, 중요한 요소에는, 인간이 자신의 감각 기관을 사용하여 인지할 수 있는 정보에 기초한 외적 표현용 출력 인터페이스와, 인간이 자신의 손과 발을 사용하여 정보를 조작할 수 있도록 하기 위한 제어 매커니즘과 같은 입력 인터페이스가 포함된다.

요즈음, GUI(Graphical User Interface; 그래픽 사용자 인터페이스) 용으로 마우스 등을 사용한 상호 작용 조작(interaction)이 활발히 채용되어 왔으나, 이 GUI는 시각 및 청각을 사용하는 상호 작용 조작으로서, 간접적인 조작일 뿐이다. 따라서, 직접적인 상호 작용의 조작성을 향상시키기 위해서는 개개의 정보 특유의 촉각 피드백이 필요하다는 사상에 기초하여, 정보와 물리적 환경에 초점을 맞춘 "TUI(Tangible User Interface; 실감형 사용자 인터페이스)"가 제안되어 있다. 이 TUI에는, 실감형 비트(Tangible Bit)로 일컬어지는, 물체를 이용한 조작을 가능하게 하기 위한 매커니즘이 제공되어 있다(비특허 문서 1 참조).

또한, 표시 화면상에 배치된 복수 개의 무선 물체의 위치 및 방향을 전자기적인 방식으로 검출하는 센스 테이블(Sense Table)이라 불리는 시스템이 있으며, 그 외에도, 검출 방법과 관련하여, 예를 들어, 컴퓨터 비전(computer vision)을 도입한 두 가지의 향상 예를 들 수 있다. 그 중 하나의 예는 광의 흡수나 변화에 반응하지 않고 물체를 정확하게 검출하기 위한 시스템에 관한 것이며, 다른 하나의 예는 검출된 물체의 상태를 교정하기 위한 교정기(corrector)와 물리적 다이 얼(dial)을 포함하는 시스템에 관한 것이다. 후자의 시스템은 또한, 물체의 변화를 실시간으로 검출하도록 구성되어 있다(비특허 문서 2 참조).

그 외에도, 액정 프로젝터의 표시 화면에 화상을 투영하며, 그 표시 화면의 위쪽에 설치된 카메라를 사용하여 표시 화면상에 놓인 물체와 손을 인식하는 시스템이 개시되어 있다.

한편, 동화상 분야나 방송 분야 등에서는, 가상 공간 내에 CG(Computer Graphic; 컴퓨터 그래픽) 형태로 표시되는 모델(가상 물체)의 움직임과 형상을 인식 대상의 움직임과 위치 정보에 기초하여 제어하는 가상 현실에 관한 기술 개발이 활발히 진행되어 왔다.

그러나, 가상 공간에서의 존재감을 증대시키기 위해서는 특수한 복장 및 조이스틱 등의 특수 디바이스가 필요하며, 가상 공간의 물체를 제어하여 부조화 문제없이 가상 물체와의 융합을 달성하는 기술은 아직까지는 실현된 바가 없다. 이에 따라, 인식 대상의 위치 및 방향에 관한 정보를 추출하고 그 추출된 정보에 기초하여 인식 대상에 대응하는 가상 공간의 제어 대상을 제어하기 위한 기술이 개시된 바 있다(특허 문서 1).

일반 사무실의 예를 들자면, 의사 결정 및 주체성의 획득을 목적으로 한 회의 등에 프로젝터나, 전자 흑판 등과 같은 프로젝션 타입의 표시 장치를 사용하여 시각에 호소하는 방법이 활발히 사용되고 있긴 하지만, TPO, 즉 시간(Time), 장소(Place) 및 상황(Occasion)에 따라, 표시된 화상에 문자와 그림이 중첩되도록 추가하는 기능 및 그 추가한 문자 등을 전자 데이터로서 취득하는 기능을 강력히 요 구하고 있는 실정이다.

이러한 관점에서, 투영 화상이 표시되는 투영면에 화상을 드로잉할 수 있는 기술이 개시되어 있는데, 이 개시된 기술은 드로잉된 화상을 촬영하는 촬영 유닛과, 원래 화상 위에 드로잉된 화상과 원래 화상을 합성하도록 구성된 합성 유닛을 제공하고 있다(특허 문서 2 참조).

이항, 전술한 참조 문헌들에 설명하면 다음과 같다:

특허 문서 1 : 일본 특허 출원 공개 공보 제2000-20193호,

특허 문서 2 : 일본 특허 출원 공개 공보 제2003-143348호,

비특허 문서 1 : "실감형 비트(Tangible Bit)"[저자: 히로시 이시이(Hiroshi Ishii)], IPSJ 매거진 Vol. 43, No. 3, 2002년 3월 발행,

비특허 문서 2 : "센스테이블(Sensetable)"[저자 : 제임스 패튼(James Patten), 히로시 이시이 등], CHI 2001, 2001년 3월 31-2001년 4월 5일, ACM 프레스.

그러나, 상기 특허 문서 1에 개시된 기술의 문제점은, 가상 공간 내에 움직이는 대상물을 표시하기 위해서는, 표시되는 현실의 인식 대상물을 준비하는 한편, 이 현실의 인식 대상물을 가상 공간의 대상물의 움직임에 따라 실제로 움직여야만 한다는 점이다. 또한, 상기 특허 문서 2에 개시된 기술의 경우에는, 투영면에 드로잉된 화상을 표시할 수 있고 또한 이 화상을 전자 데이터 형태로 저장할 수는 있지만, 드로잉된 화상을 사용하여 투영된 화상을 조작하는 일은 불가능하다는 문제가 있다.

전술한 바와 같은 문제점들을 고려하여, 본 발명의 출원인은 현실의 인식 대상물을 준비하여야 하는 번거로움을 방지할 수 있으며, 물체의 식별 정보와 이동 정보에 따라 장치와 표시 화상을 조작하기 위한 명령을 입력할 수 있고, 또한 키보드를 사용한 명령 입력 및 마우스를 사용한 메뉴 선택과 같은 번거로운 조작을 수행하지 않고 표시 화면에 그저 소정 형태의 물체를 배치하고 손으로 그 물체를 이동시키는 간단한 조작을 통해 표시 화면에 표시된 화상을 조작할 수 있는 명령 입력 방법과, 화상 표시 방법, 그리고 화상 표시 장치를 제안하게 되었다.

본 발명의 개괄적인 목적은 전술한 문제를 방지할 수 있는 유용하면서도 개선된 명령 입력 방법, 화상 표시 방법 및 화상 표시 장치를 제공하는 것이다.

보다 구체적으로 설명하자면, 본 발명의 목적은, 이미 출원된 바 있는 명령 입력 방법, 화상 표시 방법 및 화상 표시 장치를 개선한 것으로서, 소정 형태의 물체를 이용하는 방법 외에 기타 다른 방법으로도 명령 입력이 가능한, 명령 입력 방법, 화상 표시 방법 및 화상 표시 장치를 제공하는 것이다.

전술한 목적을 달성하기 위하여, 본 발명은, 화상이 투영되는 투영면 또는 그 후면에 배치된 물체와 드로잉된 도형을 촬영하도록 구성된 촬영 유닛과; 투영면에 투영되는 화상을 생성하는 투영 화상 생성 유닛과; 투영 유닛에 의해 촬영된 촬상(imaging) 데이터로부터 물체에 관한 식별 정보 및 도형에 관한 도형 정보를 추출하는 화상 추출 유닛과; 화상 추출 유닛에 의해 추출된 물체에 관한 식별 정보로부터 물체에 관한 속성 정보를 취득하는 물체 인식 유닛과; 상기 도형 정보로부터 도형의 종류를 인식하는 도형 인식 유닛과; 물체 인식 유닛이 인식한 속성 정보와 도형 인식 유닛이 인식한 도형의 종류에 기초하여 투영 화상 생성 유닛을 조작하는 조작 처리 유닛을 포함하는 화상 표시 장치를 제공한다.

본 발명에 따르면, 물체 및 손으로 드로잉한 도형을 사용하여 투영된 화상을 조작할 수 있는 화상 표시 장치를 제공함으로써, 인간의 직관을 활용한 유연한 조작이 가능해진다.

또한, 본 발명은, 화상이 투영되는 투영면 또는 그 후면에 배치된 물체와 드로잉된 도형을 촬영하는 촬영 단계와; 촬영 단계에서 촬영된 촬상 데이터로부터 물체에 관한 식별 정보와 도형에 관한 도형 정보를 추출하는 화상 추출 단계와; 화상 추출 단계에 의해 추출된 물체에 관한 식별 정보로부터 물체에 관한 속성 정보를 취득하는 물체 인식 단계와; 도형 정보로부터 도형의 종류를 인식하는 도형 인식 단계와; 물체 인식 단계에서 인식된 속성 정보와 도형 인식 단계에서 인식된 도형의 종류에 기초하여 투영면에 투영되는 화상을 생성하는 투영 화상 생성 유닛을 조작하기 위한 조작 처리 단계를 포함하는 화상 표시 방법을 제공한다.

또한, 본 발명은, 물체에 관한 식별 정보에 기초한 속성 정보와 드로잉된 도형의 종류에 따라 소정의 장치에 명령을 입력하는 단계를 포함하는 명령 입력 방법을 제공한다.

본 발명은 이미 출원된 바 있는 명령 입력 방법과, 화상 표시 방법 및 화상 표시 장치를 개선한 것으로서, 소정 형태의 물체를 이용하는 방법 외에 기타 다른 방법으로도 명령 입력이 가능한, 명령 입력 방법, 화상 표시 방법 및 화상 표시 장치를 제공할 수 있다.

본 발명의 기타 다른 목적, 특징 및 장점은 첨부 도면을 참조하여 이하의 상세한 설명을 읽음으로써 보다 명확해질 것이다.

도 1은 본 발명에 따른 화상 표시 장치의 일 실시예를 도시한 개략도;

도 2는 화상 표시 장치의 기능도;

도 3은 화상 표시 방법의 처리 흐름을 도시한 순서도;

도 4는 물체 저면으로부터 분리된 패턴을 도시한 도면;

도 5는 물체 저면에 부착된 식별 코드의 예를 도시한 도면;

도 6은 CCD 카메라를 사용하여 촬영한 물체의 저면의 일 예를 도시한 도면;

도 7은 투영면 전체가 백색을 나타내도록 소정의 임계값으로 2치화한 후에 표시된 "저면"을 도시한 도면;

도 8은 촬상 데이터에 문자 추출 기술을 적용한 예를 도시한 모식도;

도 9는 물체 인식 유닛의 세부 구성을 도시한 도면;

도 10은 도형 인식 유닛을 이용하여 손으로 드로잉한 도형을 인식하기 위한 방법의 일 예를 도시한 도면;

도 11은 도형 인식 유닛을 이용하여 인식하는 각종 도형을 도시한 예시도;

도 12는 도형의 종류를 분석한 결과를 도시한 예시도;

도 13은 스크린의 전면(前面)에 배치된 물체와 가시 화상의 일 예를 도시한 도면;

도 14는 선분의 일단에서의 소정 거리를 설명하기 위한 도면;

도 15는 선분의 일단에 물체가 존재하는지 여부를 판정하기 위한 판정 기준의 다른 예를 도시한 도면;

도 16은 속성 정보의 일 예를 도시한 도면;

도 17은 스크린에 배치된 물체의 일 예를 도시한 도면;

도 18은 물체를 선분을 사용하여 연결하는 도형의 일 예를 도시한 도면;

도 19는 애플레이션(application)에 의해 스크린에 표시된 회로도를 도시한 예시도;

도 20은 원하는 물체의 속성을 다른 물체에 정의하기 위한 손으로 드로잉한(hand-drawn) 도형을 도시한 예시도;

도 21은 물체의 속성 정보를 교환하여 재정의(再定義)하기 위한 손으로 드로잉한 도형을 도시한 예시도;

도 22는 연속하는 물체 ID에 동일한 속성 정보를 정의하기 위한 손으로 드로잉한 도형을 도시한 예시도;

도 23은 한번에 복수 개의 물체에 동일한 속성 정보를 정의하기 위한 손으로 드로잉한 도형을 도시한 예시도;

도 24는 물체의 속성 정보를 시험하기 위한 손으로 드로잉한 도형을 도시한 예시도;

도 25는 물체를 둘러싸는 폐루프 그리고 물체의 속성 정보를 시험하기 위한 손으로 드로잉한 도형을 도시한 예시도;

도 26은 물체를 다시 미정의 상태로 복귀시키기 위한 핸드 드로잉의 예시도;

도 27은 선분의 길이에 따라 용량 및 전압을 정의하기 위한 손으로 드로잉한 도형을 도시한 예시도;

도 28은 속성 수치를 변경하기 위한 손으로 드로잉한 도형을 도시한 예시도;

도 29는 물체의 탈부착 움직임에 기초하여 조작을 검출하기 위한 방법을 도시한 순서도의 일 예를 도시한 도면;

도 30은 바람 시뮬레이션 시에 스크린에 배치되는 물체와 투영되는 화상을 도시한 예시도;

도 31은 사용자가 드로잉한 폐루프 및 복수 개의 물체의 일 예를 도시한 도면;

도 32는 사용자가 배치한 복수 개의 물체 및 사용자가 드로잉한 폐루프의 일 예를 도시한 도면;

도 33은 예 4에서의 속성 정보 기억 유닛을 도시한 예시도;

도 34는 드로잉 면에 드로잉된 임의의 형태의 선분을 도시한 예시도;

도 35는 폐루프 내에 배치된 물체(C)에 의해 도색된 폐루프를 도시한 예시도;

도 36은 예 5에서의 화상 표시 장치의 기능도;

도 37은 물체에 부착된 식별 코드(원형 바코드)의 일 예를 도시한 도면;

도 38은 물체 영역 추출 유닛의 처리 절차를 도시한 순서도;

도 39는 소정의 임계값에 기초하여 촬영 물체의 화상 데이터를 1-픽셀 및 0- 픽셀로 변환한 일 예를 도시한 도면;

도 40은 물체 인식 유닛의 처리 절차를 도시한 순서도의 일 예를 도시한 도면;

도 41은 원주 방향으로 픽셀이 스캐닝되는 패턴 분석을 설명하기 위한 도면;

도 42는 극좌표 테이블을 도시한 예시도;

도 43은 물체 인식 유닛의 처리 절차를 도시한 순서도의 예시도;

도 44는 조작 대응 테이블을 도시한 예시도;

도 45는 물체 속성 정보 취득 유닛이 조작 대응 테이블을 보유하는 경우의 화상 표시 장치의 기능도;

도 46은 프론트 타입 화상 표시 장치를 도시한 도면;

도 47은 사용자의 시선과 드로잉 면에 배치된 원통형 물체 사이의 관계를 개략적으로 도시한 도면;

도 48은 드로잉 면에 투영된 아나모픽(anamorphic) 화상이 원통에 반사되는 방식을 도시한 도면;

도 49는 원통형 물체의 원주 둘레 360°의 영역에 투영된 아나모픽 화상의 일 예를 도시한 도면;

도 50은 원통형 물체의 일부에 투영된 아나모픽 화상의 일 예를 도시한 도면;

도 51은 프리즘 형태(prismatic)의 물체의 일 예를 도시한 도면;

도 52는 공기 유동을 시뮬레이션하기 위한 애플리케이션에 프리즘 형태의 물 체가 사용되는 경우를 설명하기 위한 도면;

도 53은 프리즘 형태의 물체의 각각의 면에 빌딩의 화상이 투영되는 투영 화상을 도시한 도면;

도 54는 사용자가 소정 각도에서 투명 물체를 관찰하는 방식을 도시한 도면;

도 55는 미리 상하 좌우를 반전시킨 투명 물체의 저면에 투영된 화상의 일 예를 도시한 도면;

도 56은 투명 물체가 원통형 렌즈(cylindrical lens)로서 기능하는 방식을 도시한 도면;

도 57은 일부가 추출된 형태의 원형 바코드를 도시한 도면;

도 58은 투명 물체의 외주부에 부착된 원형 바코드와, 그 내측에 투영된 화상을 도시한 도면;

도 59는 본 발명에 따른 화상 표시 장치의 제3 실시예를 도시한 도면;

도 60은 본 발명에 따른 화상 표시 장치의 제3 실시예를 도시한 도면.

이하, 본 발명에 따른 명령 입력 방법 및 화상 표시 방법이 적용되는, 본 발명에 따른 화상 표시 장치의 실시예를 설명한다.

[제1 실시예]

도 1의 (a)와 (b)는 본 발명에 따른 화상 표시 장치의 일 실시예를 도시한 개략도이다. 다시 말해, 도 1의 (a)는 개략적인 사시도이며, 도 1의 (b)는 개략적인 단면도이다.

도 1에 도시된 바와 같이, 본 실시예의 화상 표시 장치는 장방형의 평면 유닛(10)을 구비하며, 책상 형태의 표시 유닛(1)과 도면에는 도시하지 않은 본체 유닛(2)을 포함한다.

표시 유닛(1)은 평면 유닛(10)의 중앙 부분에 장방형 스크린(11)을 구비하는데, 이 장방형의 스크린(11)은 본 발명에 따른 표시 화면에 해당하는 것으로, 스크린의 내측으로부터 투영되는 화상을 표시한다.

도 1의 (b)에 도시된 바와 같이, 화상 표시 장치의 표시 유닛(1)은 중앙 부분에 스크린(11)이 매립되어 있는 평면 유닛(10)과, 이 평면 유닛(10)을 지지하기 위한 케이싱(12)과, 케이싱(12)의 내측에 배치되어 스크린(11)에 화상을 투영하기 위한 프로젝터(13), 그리고 스크린의 후면측에서 스크린(11)을 촬영하기 위한 CCD 카메라(14)를 포함한다. 여기서, CCD 카메라(14)는 본 발명에 따른 촬상(imaging) 유닛에 해당한다.

케이싱(12)의 내측에 배치되는 CCD 카메라(14)와 도면에는 도시하지 않은 본체 유닛(2)은 코드를 사용하여 접속되어 있으며, 케이싱(12)의 내측에 배치되는 프로젝터(13)와 도면에는 도시하지 않은 본체 유닛(투영 화상 형성 유닛)은 광학적인 방식으로 연결되어 있다.

스크린(11)은 투영 화상이 투영되는 투영면(11a)과, 수성 펜이나 화이트보드용 마커를 사용하여 드로잉(drawing) 작업을 수행할 수 있는 드로잉 면(11b)과, 베이스 플레이트(11c)와, 빛을 확산시키기 위해 베이스 플레이트(11c)상에 배치되는 확산 층(11d), 그리고 스크린(11)을 보호하기 위해 확산 층(11d)상에 배치되는 보 호 층(11e)을 포함한다.

상기 투영면(11a)과 드로잉 면(11b) 모두 투명하다. 그러나, 투영면(11a)의 일면, 즉 드로잉 면(11b)과 밀착되는 표면에는 미세한 요철[확산 층(11d)]이 있다. 또한, 화상이 투영면(11a)에 투영될 때에, 빛이 약간 산란되면서 통과하게 된다. 따라서, 투영면(11a)과 드로잉 면(11b)은 드로잉 면(11b)이 배치된 스크린(11)의 표면 위쪽의 다양한 각도에서 투영되는 화상을 볼 수 있도록 구성된다.

이 경우에, 드로잉 면(11b)의 표면은 스크래치(scratch) 방지를 위해 투명 보호 시트[보호 층(11e)]로 피복될 수 있으며, 또는 투명 도료 등으로 코팅될 수도 있다.

본체 유닛(2)은 CCD 카메라(14)를 사용해서 촬영한 물체의 저면의 화상을 인식하여, 물체에 관한 정보(식별 정보 및/또는 이동 정보)를 취득하고, 이 취득한 정보에 따라 프로젝터(13)로부터 스크린(11)의 후면측에 투영되는 투영 화상을 조작할 수 있다.

또한, 본체 유닛(2)은, 본 실시예의 화상 표시 장치 전용으로 준비될 수 있으며, 퍼스널 컴퓨터에 소정의 소프트웨어가 설치되거나, 케이싱(12)의 내측에 배치될 수도 있다.

프로젝터(13)는 반사 미러, 빔 스플리터(beam splitter) 등과 같은 광학 시스템을 사용하여 본체 유닛(2)의 디스플레이부에 연결되며, 본체 유닛(2)에 형성된 원하는 화상을 스크린(11)의 투영면(11a)에 투영할 수 있다.

CCD 카메라(14)는 예를 들어, USB(Universal Serial Bus;범용 직렬 버스) 인 터페이스를 통해 코드를 이용하여 본체 유닛(2)에 접속되어 있다. 이러한 CCD 카메라(14)는 스크린(11)의 전면측, 다시 말해, 스크린(11)의 드로잉 면(11b)에 배치된 물체, 드로잉된 도형 등을 스크린(11)의 후면측, 다시 말해 투영면(11a) 방향으로부터 소정의 간격을 두고 연속 촬영하여, 촬상 데이터를 취득할 수 있다.

이하, 본 실시예에 따른 화상 표시 장치를 도 2의 기능도와 도 3의 순서도를 참조하여 설명한다. 본체 유닛(2)에서 형성된 화상은 프로젝터(13)를 사용하여 스크린(11)의 후면측에 투영되고, 스크린(11)의 전면측에서 관찰하는 사람은 그 투영 화상을 볼 수 있다.

또한, 사용자가 드로잉 면(11b)에 드로잉 작업을 수행하는 경우에, CCD 카메라(14)는 스크린(11)을 촬영하고, 본체 유닛(2)은 사용자의 드로잉을 화상 데이터[예를 들어, 비트맵(bitmap) 데이터]의 형태로 취득하게 된다.

다음, 본체 유닛(2)의 구성에 대해 도면을 참조하여 설명하기로 한다. 도 2에 도시된 바와 같이, 본체 유닛(2)은 화상 추출 유닛(21)과, 투영 화상 형성 유닛(24)과, 물체 인식 유닛(22)과, 도형 인식 유닛(26)과, 조작 처리 유닛(23), 그리고 애플리케이션(application; 처리 유닛)(24a)을 포함한다.

화상 추출 유닛(21)은 CCD 카메라(14)를 사용하여 촬영한 화상의 촬상 데이터를 2치화하고, 스크린(11)상에 배치된 물체의 위치와, 물체 저면의 윤곽, 그리고 그 식별 코드를 추출한다. 투영 화상 형성 유닛(24)은 프로젝터(13)용 인터페이스를 구비하며, 프로젝터(13)를 사용하여 스크린(11)의 후면측으로부터 투영되는 화상을 소정의 애플리케이션 프로그램(24a)에 따라 형성한다. 물체 인식 유닛(22)은 화상 추출 유닛(21)이 추출한 식별 코드와 미리 메모리에 기억된 패턴 인식용 사전 간에 패턴 매칭(pattern matching)을 수행함으로써, 물체의 식별 정보와 물체의 방향에 관한 정보를 취득한다. 도형 인식 유닛(26)은 마커 등을 사용하여 사용자가 손으로 드로잉한 도형과 선에 관한 정보를 추출하며, 또한 도형과 선에 관한 정보로부터 특징을 추출하여, 직선(선분), 원형, 파형(wave) 및 사각형과 같은 도형의 종류 및 도형의 크기를 인식한다. 조작 처리 유닛(23)은, 물체 인식 유닛(22)에서 취득한 물체의 식별 정보 및 물체의 방향에 대한 정보, 그리고 도형 인식 유닛(26)이 인식한 도형의 종류 및 크기에 기초하여, 소정의 애플리케이션 프로그램(24a)에 따라 투영 화상 형성 유닛(24)에서 형성된 화상에 새로운 내용과 동작을 추가하고, 프로젝터로부터 투영된 화상을 조작한다.

애플리케이션(24a)은 [청구의 범위]에 기재된 처리 유닛에 해당하며, 이하에 설명하는 바와 같이 물체의 속성 정보에 따른 처리 규칙에 관한 속성 정보에 기초하여 처리를 수행한다. 이하에 상세히 설명하는 바와 같이, 물체의 속성 정보는 스크린(11)에서 물체가 인식되는 경우 수행되는 컴퓨터의 표시와 처리의 내용이 물체의 식별 정보와 연관되어 정의된 것이다.

투영 화상 형성 유닛(24)이 애플리케이션 프로그램(24a)에 따라 형성된 화상을 프로젝터(13)로 전달하면, 프로젝터(13)는 스크린(11)의 후면측에 그 화상을 투영한다. 투영된 화상은 스크린(11)의 전면측에서 볼 수 있다. 이와 같이 투영된 화상이 스크린(11)의 전면측에서 볼 수 있음에 따라, 그 화상을 보는 사람은 스크린(11)의 전면측에 미리 준비한 복수 개의 물체를 배치할 수 있다.

도 3에 도시된 바와 같은 화상 표시 장치에 의해 수행되는 처리 과정을 나타내는 순서도에 따르면, CCD 카메라(14)를 사용하여 투영면(11a)이 촬영되고 나면(S1), 그에 따른 촬상 데이터가 화상 추출 유닛(21)으로 전송된다. 화상 추출 유닛(21)은 촬상 데이터로부터 손으로 드로잉한 도형과 물체를 발췌하여, 손으로 드로잉한 데이터를 도형 인식 유닛(26)으로 전송한다(S2).

또한, 물체 인식 유닛(22)은 촬영 물체의 촬상 데이터로부터 물체의 식별 코드에 기초하여 물체를 인식하여, 물체의 속성 정보를 취득한다(S3).

도형 인식 유닛(26)은 도형과 선에 대한 추출 정보로부터 특징을 추출하여, 선분, 원형, 파형, 사각형 등과 같은 도형의 종류를 인식한다(S4).

조작 처리 유닛(23)은, 이하에 설명하는 바와 같이, 물체의 속성 정보와 도형의 종류에 기초하여 투영 화상 형성 유닛(24)을 조작한다(S5). 또한, 투영 화상 형성 유닛(24)은 애플리케이션 프로그램(24a)에 따라 형성된 화상을 조작하여, 프로젝터(13)로부터 투영면으로 화상을 투영한다(S6). 이하, 전술한 각각의 단계의 처리를 보다 상세하게 설명한다.

[S1 내지 S2]

CCD 카메라(14)에 의해 촬영된 촬상 데이터에는 물체의 저면과 손으로 드로잉한 도형이 혼재한다. 따라서, 화상 추출 유닛(21)은 물체의 화상과 손으로 드로잉한 도형을 분리한다. 이하에 설명하는 바와 같이, 물체의 식별 코드를 구성하는 색상과 손으로 도형을 드로잉할 때 사용되는 펜의 색상은 이미 알고 있으므로, 물체에 대응하는 촬상 데이터 부분과 물체와 연관없는(non-object) 촬상 데이터 부분 을 판별할 수 있다.

우선, 픽셀 전체를 백색으로 초기화한 상태에서 손으로 드로잉한 도형을 인식하기 위한 픽셀 메모리를 준비한다. 화상 추출 유닛(21)은 취득 촬상 데이터의 픽셀에 관한 RGB 정보를 그 각각의 픽셀마다 취득한다. 예를 들어, 각각의 픽셀에 있어서, G 값이 180(픽셀 값은 0에서 255의 범위의 값으로 가정한다) 이상이면, 해당 픽셀은 배경색을 갖는 것으로 판정되며, 촬상 데이터의 이 픽셀은 백색으로 치환된다. 다시 말해, 픽셀은 RGB (255, 255, 255)로 설정된다. 판정에 필요한 상기 G 값은 주위 환경과 장치의 구성 소자에 따른 적절한 값으로 가정된다.

G 값이 100＜G＜180을 만족하는 경우, 픽셀은 손으로 드로잉한 도형을 구성하는 것으로 판정된다. 따라서, 픽셀 메모리의 해당 픽셀은 흑색으로, 다시 말해, RGB (0, 0, 0)로 설정되며, 촬상 데이터의 픽셀은 백색, 다시 말해 RGB (255, 255, 255)로 설정된다. G 값이 100 이하이면, 촬상 데이터의 픽셀은 흑색, 다시 말해 RGB (0, 0, 0)로 설정된다.

따라서, 이러한 처리에 따라, 촬상 데이터로부터 물체의 촬상 데이터가 발췌되며, 픽셀 메모리로부터 손으로 드로잉한 도형의 촬상 데이터가 발췌된다.

또한, 예를 들어, 손으로 드로잉한 도형으로부터 물체 저면의 패턴을 분할하는 방식으로 물체와 손으로 드로잉한 도형의 촬상 데이터가 발췌될 수도 있다. 도 4는 물체 저면으로부터 분리된 패턴을 도시한 도면이다. 물체(4)의 저면의 크기는 이미 알고 있으므로(예를 들어, 가로 세로 48 pixel × 48 pixel), 가로 세로 48 pixel × 48 pixel의 크기의 사각형에 내접하는 원을 저면 화상으로 가정한다. 따 라서, 손으로 드로잉한 도형만을 포함하는 화상으로부터 물체 저면만을 포함하는 화상을 분할할 수 있다.

[S3]

화상 추출 유닛(21)에 의해 추출되는 물체의 촬상 데이터에는 물체 저면의 식별 코드가 포함되어 있다. 물체 인식 유닛(22)은 그 촬상 데이터를 분석하여 물체의 배열 위치와, 저면의 윤곽, 그리고 식별 코드에 관한 정보를 추출한다. 그 후, 추출된 정보는 물체 인식 유닛(22)으로 전송된다. 이 경우에, 물체의 저면의 윤곽에 관한 정보는 투영 화상 형성 유닛(24)으로도 전송된다. 투영 화상 형성 유닛(24)은 이러한 정보에 기초하여 물체가 스크린(11)상에 배치된 사실을 검출할 수 있다. 따라서, 투영 화상 형성 유닛(24)은 투영면(11a)상에서의 상기 물체의 저면을 포함한 영역이 균일한 백색을 나타내도록 광화상을 소정의 시간 간격으로 프로젝터(13)에 전송한다.

이러한 방식으로, 물체의 저면을 포함한 영역이 균일한 백색을 나타내도록 광학 화상을 투영함으로써, CCD 카메라(14)를 사용하여 촬영된 촬상 데이터는 2치화시에 물체의 저면의 윤곽 및 식별 코드에 관한 정보를 보다 선명하게 포착할 수 있게 된다.

화상 추출 유닛(21)에 의해 추출된 식별 코드에 따라, 물체 인식 유닛(22)은 패턴 인식용 사전을 사용하여 물체에 관한 식별 정보를 취득할 수 있다. 따라서, 물체 인식 유닛(22)은 조작 처리 유닛(23)에 식별 정보에 따른 소정의 데이터를 전송한다. 조작 처리 유닛(23)은 도형의 종류와 함께 상기 전송 데이터를 애플리케이 션 프로그램(24a)에 추가하고, 투영 화상 형성 유닛(24)에 의해 형성된 화상을 조작한다.

본 명세서에서, "화상의 조작"이라 함은, 스크린(11)에 이미 투영되어 있는 화상에 물체의 식별 코드에 따라 새로운 화상을 중첩하고, 그 새로운 화상만을 표시하며, 스크린(11)에 배치되어 있는 물체를 손으로 이동시키는 경우에는, 물체의 이러한 이동을 인식함으로써 취득 이동 정보에 따라 스크린(11)에 이미 투영되어 있는 화상을 움직이는 것을 의미한다. 보다 구체적으로 설명하자면, 조작 처리 유닛(23)은 투영 화상 형성 유닛(24)에 내용의 소재 데이터 및 동작 데이터를 전송한다. 투영 화상 형성 유닛(24)의 애플리케이션 프로그램(24a)에 이러한 데이터를 추가함으로써, 식별 코드에 대응하는 새로운 물체의 화상을 중첩하거나, 이미 형성된 화상을 손으로 이동시킨 물체의 궤적에 따라 움직일 수 있다.

도 5는 물체(5)의 저면에 부착된 식별 코드의 일 예를 도시한 도면이다. 식별 코드는 2차원 코드의 일 형태이다. 도 5에 도시된 바와 같이, 물체(5)의 저면은 예를 들어, 스크린(11)의 전면, 다시 말해 드로잉 면(11b)상에 배치된 물체가 신속하게 검출될 수 있도록, 폐원형 형태의 윤곽(5a)을 형성한다. 식별 코드(6)는 이 윤곽(5a)의 내측에 배치되어 있다.

그러나, 도 5의 (a)에 도시된 바와 같이 9개의 작은 사각형을 포함하는 하나의 사각형을 이용하여 식별 코드(6)를 구성하는 경우, 도 5의 (b)에 도시된 바와 같은 세 가지 종류의 형태[예를 들어, 9개의 작은 사각형을 포함하는 사각형(6a)과, 5개의 작은 사각형이 번갈아 배치되어 이루어진 사각형(6b), 그리고 3개의 작 은 사각형이 직렬 배치되어 형성된 직사각형이 평행하게 배치되어 형성된 사각형(6c)]는 식별 코드로서 이용할 수 없는데, 그 이유는 이와 같은 식별 코드(6)가 회전하는 경우에는, CCD 카메라(14)를 통해 얻은 촬상 데이터에 기초하여 동일한 피사체로 인식될 것이기 때문이다. 또한, 도 5의 (c)에 도시된 바와 같은 6개의 작은 사각형으로 이루어진 직사각형과 직선을 포함하는 두 가지 종류의 도형(6d, 6e)과 같은 형태 또한 식별 코드로서 적용할 수 없는데, 그 이유는 마찬가지로, 그 각각의 물체를 회전시키는 경우 CCD 카메라(14)를 통해 얻은 촬상 데이터에 기초하여 이들이 동일한 피사체로 인식될 수 있기 때문이다.

도 6은 CCD 카메라(본 발명에 있어서의 촬상 유닛)를 사용하여 촬영한 본 실시예에 따른 물체의 저면의 일 예를 도시한 모식도이다. 도 6의 (a)는 스크린의 전면측에 물체를 배치하고 그 물체의 저면을 촬영하여 얻은 화상을 도시한 도면이며, 도 6의 (b)는 스크린의 전체 투영면이 백색을 나타내도록 물체의 "저면"(5)을 촬영하여 얻은 화상을 도시한 도면이다. 도 6의 (c)는 스크린의 전면측에 물체를 배치하고 드로잉 면에 "선(화살표)"을 드로잉한 경우에 물체의 "저면"(5)과 "선"(7)을 촬영하여 얻은 화상을 도시한 도면이다. 도 6의 (d)는 스크린의 투영면 전체가 백색을 나타내도록 물체의 "저면"(5)과 "선"(7)을 촬영하여 얻은 화상을 도시한 도면이다.

본 실시예에 있어서, 프로젝터는 광원으로서 봉형 적분기(rod integrator)를 채용하므로, 투영면 전체가 백색을 나타내도록 촬영한 경우 하이라이트 부분에 "직사각형 흑색부"(8)가 표시된다. 그러나, "저면"(5)과 "선"(7)의 농도 차가 충분히 크기 때문에 "저면"(5)과 "선"(7)을 개별적으로 인식하는 것도 가능하다.

이러한 방식으로, 스크린의 투영면이 순간적으로 백색을 나타내는 경우에는, 스크린의 전면상에 배치된 물체의 저면을 확실하게 포착할 수 있다.

도 7은 도 6의 (b)에서 투영면 전체가 백색을 나타내도록 물체의 저면을 촬영하여 얻은 촬상 데이터를 소정의 임계값으로 2치화한 후에 표시된 "저면"(5)을 도시한 도면이다.

도 7에 도시된 바와 같이, 촬상 데이터가 소정의 임계값으로 2치화되면, 저면의 윤곽과 위치를 정확히 포착할 수 있는데, 이는 예를 들어, 광원으로서 봉형 적분기(rod integrator)를 채용하고 있는 프로젝터를 사용하여 표시되는 하이라이트 부분의 직사각형의 흑색 부분 및 기타 노이즈(noise)를 제거할 수 있기 때문이다.

도 8은 문자 추출 기술이 적용되는 촬상 데이터의 일 예를 도시한 모식도이다. 도 8에 도시된 바와 같이, 촬상 데이터가 X-방향으로 투영되는 X-방향 농도 막대그림(50)과 촬상 데이터가 Y-방향으로 투영되는 Y-방향 농도 막대그림(51)을 작성하여, 배치 물체의 저면의 위치, 윤곽 및 식별 코드를 포착할 수 있다.

도 7 및 도 8에 물체의 정지 상태가 도시되어 있지만, 프로젝터(13)를 사용하여 스크린(11)의 투영면(11a) 전체 또는 소정의 영역이 백색을 나타내도록 하면서 소정의 시간마다 CCD 카메라(14)로 촬영하여 매시간 얻은 촬상 데이터의 차이를 구하거나, 물체의 저면의 각각의 지점의 이동 벡터를 구하는 등의 공지의 방법을 사용하여, 물체가 이동한 경우 그 이동 정보를 취득할 수 있다.

이 경우에, 일정 시간마다 투영면(11a)의 소정 영역이 백색을 나타내도록 하면서 CCD 카메라(14)를 사용하여 이동 물체의 저면을 촬영한 경우, 예를 들어, 잔광(殘光)으로 인해 깜박임이 인지될 수 있다. 이때에는, 투영면(11a)이 백색을 나타내기 전에 통상의 화상이 표시되는 상태의 촬상 데이터에 기초하여 물체의 위치를 검출하고, 물체의 검출 후에 투영면(11a) 전체가 일정 시간 백색을 나타내도록 하면서 촬영하거나, 물체가 존재하는 영역만을 연속적으로, 백색이 되게 하면서 촬영하는 방식의 처리가 가능하다.

도 9는 물체 인식 유닛(22)의 세부 구성을 도시한 도면이다. 도 9에 도시된 바와 같이, 물체 인식 유닛(22)은 화상 추출 유닛(21)으로부터, 물체의 배치 위치와, 저면의 윤곽, 그리고 식별 코드에 관한 정보를 수신하여, 예를 들어, 템플릿 매칭(template matching)를 통해 물체에 관한 식별 정보와 물체의 방향에 관한 정보를 취득하는 패턴 매칭 유닛(22a)과, 다양한 방향을 향하고 있는 식별 코드의 촬상 데이터를 기록하여 각각의 촬상 데이터가 식별 코드에 의해 나타내어진 식별 정보와 연관되는 패턴 인식용 사전으로서 패턴 매칭 유닛(22a)에서의 패턴 매칭을 위한 사전으로도 사용될 수 있는 패턴 인식용 사전(22b), 그리고 소정 시간마다 취득한 촬상 데이터에 기초하여 물체의 이동 방향을 연산하기 위한 방향 연산 유닛(22c)을 포함한다.

이 경우에, 패턴 인식용 사전(22b)은 스크린에 배치된 물체의 방향을 변화시키면서 물체 저면의 식별 코드를 촬영하여 취득한 화상을 이용하여 작성된다. 그러나, 화상 작성 방법이 전술한 방법으로만 제한되는 것은 아니다. 다시 말해, 패턴 인식용 사전(22b)은 물체의 방향을 변화시키지 않고 물체를 촬영하여 얻은 화상을 이용하여 작성될 수도 있다. 이 경우에는, 화상 추출 유닛(21)으로부터 수신하는 물체의 식별 코드 정보를 소정 각도로 회전시킴으로써 패턴 매칭을 수행할 수도 있다. 또한, 패턴 인식이 고속으로 수행되는 경우에는, 패턴 인식용 사전(22b)에는 저면을 회전시킨 경우의 촬상 데이터를 기록함으로써, 식별 코드와 물체의 방향을 동시에 인식할 수 있다. 방향 해상도가 "n"인 경우, 패턴 인식용 사전(22b)에 기록되는 데이터의 용량도 "n"배만큼 증가한다. 그러나, 식별 코드는 화상의 조작용으로 대략 100 종류를 준비하면 충분하므로, 데이터의 용량은 패턴 매칭을 수행하는데 필요한 시간에 거의 영향을 주지 않는다. 또한, 유사성이 높은 두 개의 식별 코드의 방향에 관한 데이터의 경우, 그 유사성에 따라 내삽(內揷) 방법을 채용함으로써 방향 식별 정확도를 향상시킬 수 있다.

다시 말해, 식별 코드(1)의 유사성을 r1으로, 그 방향을 d1으로 하고, 식별 코드(2)의 유사성을 r2로, 그리고 그 방향을 d2로 하는 경우, 구하고자 하는 방향은 다음의 수학식으로 표시된다.

d = (r1 × d1 + r2 × d2)/(r1 + r2)

패턴 매칭 유닛(22a)은 패턴 인식용 사전(22b)을 참조하여 화상 추출 유닛(21)으로부터 수신된 물체의 식별 코드에 관한 정보로부터 유사성이 높은 두 방향에 대한 정보를 취득하여, 그 취득한 두 방향에 대한 정보를 방향 연산 유닛(22c)에 보낸다.

방향 연산 유닛(22c)은, 소정의 시간마다 취득한 각각의 촬상 데이터로부터 추출한 물체의 배치 위치에 관한 정보와, 물체의 방향에 관한 정보에 기초하여, 매시간 촬영한 물체 저면의 이동 벡터를 구하고, 이 구해진 이동 벡터로부터 매시간이동 거리와 이동 방향을 구한다.

이 경우에, 이동 벡터를 사용하고 있긴 하지만, 이동 방향 및 이동 거리의 취득이 이 방법에만 제한되는 것은 아니다. 예를 들어, 이동 방향과 이동 거리가 화상의 차이를 이용하여 구해질 수도 있다.

화상 추출 유닛(21)에 의해 추출한 물체에 관한 위치 정보와, 패턴 매칭 유닛(22a)에 의해 취득한 식별 코드, 그리고 방향 연산 유닛(22c)에 의해 취득한 이동 방향에 관한 정보는 조작 처리 유닛(23)으로 전송된다. 조작 처리 유닛(23)은 이 전송 정보에 기초하여 프로젝터(13)로부터 스크린(11)에 투영되는 화상을 형성하기 위한 투영 화상 형성 유닛(24)에 데이터를 전송하여 상기 스크린(11)에 투영되는 화상을 조작할 수 있다.

또한, 스크린(11)에 투영되는 화상의 조작은 스크린(11)의 전면측에 위치한 드로잉 면(11b)에 수성펜이나 마커를 사용하여 드로잉하는 방식으로 수행될 수도 있다.

본 실시예의 화상 표시 장치에 사용되고 있는 물체의 저면에는 미리 패턴이 등록된 식별 코드가 부착되어 있지만, 식별 코드가 반드시 필요한 것은 아니다. 또한, 식별자가 반드시 저면에 부착되어야 하는 것도 아니며, 각각의 식별 정보는 저면의 형태 등에 따라 인식될 수도 있다.

더욱이, 식별 코드의 촬영 시에 스크린의 투영면이 백색을 나타내도록 되어 있긴 하지만, 투영되는 화상의 상태와, 저면과 식별 코드 그리고 화상과의 사이의 콘트라스트(contrast), 저면과 식별 코드로부터 반사된 각각의 빛의 파장 범위, 그리고 CCD 카메라의 감도에 따라 투영면이 반드시 백색으로 되지 않을 수도 있다.

[S4]

이하, 도 2를 다시 참조하여 본 발명을 설명한다. 도형 인식 유닛(26)은 화상 추출 유닛(21)에 의한 2치화 처리를 통해 얻어진 비트 맵 화상에 기초하여 손으로 드로잉한 도형을 분석한다. 또한, 촬상 데이터가 투영 화상 형성 유닛(24)으로 전송될 수도 있다. 투영 화상 형성 유닛(24)은 상기 정보로부터 드로잉 면(11b)에서의 드로잉을 검출할 수 있으므로, 소정의 시간마다 투영면(11a)에 균일한 백색의 광화상을 표시할 수 있도록 프로젝터(13)가 제어될 수 있다.

이러한 방식으로, 드로잉 면(11b)이 균일한 백색을 나타내도록 광 화상을 투영함으로써, CCD 카메라(14)를 사용하여 촬영된 촬상 데이터는 2치화시에 사용자의 드로잉을 보다 선명한 방식으로 포착할 수 있게 된다.

도 10은 사용자가 드로잉한 도형을 2치화하는 촬상 데이터의 일 예를 도시한 도면이다. 도형 인식 유닛(26)은 사용자가 손으로 드로잉한 도형의 외접 사각형(101)을 드로잉하여, 그 외접 사각형(101)의 짧은 측면(101a)의 길이에 따라 도형을 도 10의 (a)에 도시된 바와 같은 파형과 도 10의 (b)에 도시된 바와 같은 직선으로 분류할 수 있다. 또한, 도형 인식 유닛(26)은 외접 사각형(101)의 면적과 그 대각선 길이의 비에 따라 도형을 사선으로 분류할 수도 있다.

더욱이, 도형 인식 유닛(26)은 2치화 촬상 데이터로부터 경계선 추적을 수행 함으로써 사용자가 드로잉한 도형을 추출할 수도 있다. 이러한 경계선 추적시에는, 픽셀을 포함하는 화상으로부터 흑색 픽셀이 연속적으로 추출되어 윤곽선의 집합체로 변환된다. 예를 들어, 백색 픽셀은 0-픽셀로 그리고 백색이 아닌 픽셀은 1-픽셀로 취급되는 화상에 대해 래스터 스캐닝(raster scanning)을 수행한 후,

a) 경계상의 미추적 1-픽셀을 검색하여 그 픽셀을 시작점으로 기록하고;

b) 상기 기록된 픽셀을 반시계 방향으로 회전시켜 경계상의 1-픽셀을 검색하여 그 새로운 1-픽셀을 마크(경계점)로 취급하며,

c) 상기 새로운 1-픽셀이 시작점에 대응하지 않는다면, 처리는 상기 b) 단계로 되돌아가 새로운 경계의 시작점을 검색하거나, 새로운 1-픽셀이 시작점에 대응한다면, 처리는 상기 a) 단계로 되돌아가 다른 1-픽셀을 검색하고, 이 픽셀을 시작점으로서 기록한다.

화상 데이터에 대한 전술한 절차를 반복함으로써, 연속적인 경계선이 추출될 수 있다. 경계선이 추출되고 나면, 경계선으로 형성된 도형을 각각의 도형으로 분해할 수 있다. 각각의 도형의 이러한 분해 방법은 예를 들어, 2치화 후 세선화 처리를 수행하여 경계선 추적을 수행하는 등의 공지 기술을 사용하여 신속하게 수행될 수 있다.

도형 인식 유닛(26)은 이와 같이 추출된 도형의 종류를 분석하여 취득한다. 도형의 분석은 패턴 매칭에 의해 수행될 수 있거나, 도형은 추출된 도형을 세선화하여 특징점을 구하고 그 각각의 특징점을 연결함으로써 취득한 도형을 드로잉하여 식별될 수도 있다. 도형 인식 유닛(26)은 분석 결과 도 11에 도시된 바와 같은 다 양한 도형을 인식한다. 도 11에서, 일두형(一頭形) 화살표(201), 폐루프(202), 삼각형(203), 그리고 사각형(204)이 도형의 종류의 일 예로서 도시되어 있다.

도형의 형태 분석 후, 메모리에서는 그 형태가 선분인 경우에는 일 단부의 좌표를, 형태가 화살표인 경우에는 시작점과 끝점의 차이를, 형태가 사각형인 경우에는 정점의 좌표를, 그리고 형태가 원형인 경우에는 중심 좌표와 반경 값을 포함하는 정보를 관리한다.

도 12는 도형의 종류의 분석 결과의 일 예를 도시한 도면이다. 도 12에서, 도형의 정점 또는 중심 좌표는 X-축선과 Y-축선의 좌표로 표시되며, 또한 길이(L)와 반경(R)과 같은 크기가 기록된다.

또한, 형태의 종류를 지시하기 위해, 예를 들어 단순한 선분을 나타내는 경우에는 0을, 일두형 화살표를 나타내는 경우에는 1을, 양두형 화살표를 나타내는 경우에는 2를, 사각형을 나타내는 경우에는 3을, 그리고 원형을 나타내는 경우에는 4를 사용하여 미리 결정한 수치(또는 문자열)가 저장되어 있다. 정점이 1개 내지 4개인 아이템은 선분의 경우에는 양 단부를 나타내는 좌표를, 사각형의 경우에는 정점을 나타내는 좌표를, 그리고 원형의 경우에는 중심을 나타내는 좌표를 저장한다. 형태가 일두형 화살표 형태의 경우에는, 시작점의 좌표가 정점 1로, 즉 선두의 좌표로서 저장된다. 또한, 크기와 관련하여, 선분의 경우에는 길이를, 그리고 원형(타원형 및 폐루프 포함)의 경우에는 반경의 길이를 나타내는 수치 데이터를 저장한다.

도형 정보로서, 추출된 각각의 도형의 내접 직사각형의 좌측 상부 및 우측 하부에 대한 어드레스 정보가 저장될 수 있으므로, 필요에 따라 형태와, 일단의 좌표 등에 대한 정보를 취득한다.

전술한 방법에 따르면, 사용자의 드로잉으로부터 사용자가 드로잉한 도형의 종류와 좌표를 취득할 수 있다. 또한, 도형의 입력 방법은, 스크린상의 위치를 지시하기 위한 펜 타입 디바이스와 위치를 검출하기 위한 디바이스가 조합되어 있는 태블릿(tablet)과 같은 장치를 사용하여, 또는 전자 펜을 사용하여 렌더링(rendering) 지점을 이동시키는 방식으로 수행될 수도 있다. 전자 펜을 사용할 경우에는, 화상 처리 없이 핸드라이팅(handwriting)에 관한 스트로크(stroke) 정보를 취득할 수 있다.

[S5 내지 S6]

도 13은 스크린의 전면측에 배치된 물체와 가시 화상의 일 예를 도시한 도면이다. 도 13의 (a)에 도시된 바와 같이, 물의 흐름을 모방하기 위한 복수 개의 기호가 기록되어 있는 화상을 스크린의 전면에 표시한다. 스크린의 전면측에는 또한, 목재 더미 또는 돌을 모방하기 위해, 좌측 상부에 물체(4B)를 그리고 우측 상부에 물체(4A)를 배치한다. 물의 흐름을 모방하기 위한 복수 개의 기호(100)는 물체(4A, 4B)의 둘레를 돌아 흐르는 흐름을 나타내고 있다. 우측 하부에 배치되어 있는 물체(4A)를 화살표(Z)의 방향으로 손으로 이동시키게 되면, 물의 흐름을 모방하기 위한 복수 개의 기호(100)는 이동하는 물체(4A)의 이동에 따라 물체(4A)의 둘레를 돌아 흐르도록 유동 방향이 변한다. 물체(4A)의 이동이 도 13의 (b)에 도시된 위치에서 정지하면, 물의 흐름을 모방한 복수 개의 기호(100)는 정지한 물체(4A)의 둘레 를 돌아 흐르도록 결정된다. 이후, 물체(4A 또는 4B)가 이동하지 않는 한 유동 상태는 변하지 않는다.

본 실시예는, 물체의 저면과 드로잉을 촬영하여 얻은 식별 정보, 이동 정보, 그리고 도형 정보에 따라 스크린의 후면으로부터 투영되어 스크린에 표시되는 화상을 조작하는 예에 기초하여 설명한 것으로, 전술한 바와 같은 정보가 반드시 스크린의 후면에서 촬영되어야 하는 것은 아니다. 또한, 식별 정보, 이동 정보 및 도형 정보를 촬영에 의해 취득하고 있긴 하지만, 이와 같은 정보 취득이 반드시 촬영에 의해서 이루어질 필요는 없으며, 물체로부터 방출된 광과, 전자파 등을 감지하여 취득할 수도 있다.

더욱이, 본 실시예에 있어서는, 물체에 관한 식별 정보와 이동 정보 및 도형 정보가 취득되는 영역과, 취득된 정보에 기초하여 화상이 조작되는 영역이 동일하다. 그러나, 정보 취득 영역과, 이러한 정보에 기초하여 명령이 입력되고 어떤 종류의 물체가 조작되는 영역은 서로 다를 수도 있다. 다시 말해, 물체를 이동시킴으로써 취득한 식별 정보와 이동 정보에 따라 원거리에 있는 로봇과, 기계 장치, 정보 디바이스 등에 네트워크를 통해 명령을 전송하여, 원거리 제어를 수행할 수도 있다.

이렇게 취득한 도형 정보와 속성 정보를 조합함으로써, 본 실시예에 따른 화상 표시 장치는 컴퓨터 조작을 수행하며, 특히 도형 정보에 기초하여 물체에 관한 속성 정보를 조작한다. 이하, 본 발명을 다수의 예를 참조하여 설명한다.

[예 1]

먼저, 손으로 드로잉한 도형과 물체를 연관지어 추출하기 위하여, 손으로 드로잉한 도형과 물체 사이의 거리를 판정하는 방식을 설명한다. 도 14는 선분의 끝점에서의 소정의 거리를 설명하기 위한 도면이다. 끝점으로서 선분(210)의 시작점 또는 끝점과 물체(4) 사이의 거리가 소정 거리 이하인 경우, 그 소정 거리를 선분(210)의 끝점(x1, y1)과 물체(4)의 중심 좌표(X1, Y1) 사이의 거리(1)로 일컫는다. 거리(1)가 미리 결정된 소정의 픽셀 개수(예를 들어, 30개의 픽셀) 내에 있는 경우, 물체(4)는 선분(210)의 끝점에 존재하는 것으로 판정된다. 선분의 일 끝점과 물체의 중심 사이의 소정 거리가 상기 예로만 제한되는 것은 아니며, 그 거리는 화상에서의 물체 저면의 크기와, 촬영 카메라의 해상도, 스크린의 크기 등에 따라 변한다.

또한, 선분(210)의 일 끝점에서의 물체(4)의 판정 기준에는, 도 15에 도시된 바와 같이, 물체 저면의 중심 좌표와 선분의 일 끝점의 좌표 사이의 거리 외에도, 선분의 끝점(x1, y1)을 물체의 중심에 연결하는 직선과 선분(210)에 의해 형성되는 ±90°이내의 각도가 포함될 수도 있다. 이 각도와 관련하여, 90°의 값은 단순히 예시일 뿐 필요한 경우 조작을 위해 적당한 수치로 변경하는 것이 바람직하다.

본 예는, 예를 들어, 전기 회로의 시뮬레이션 용례를 참조하여 설명되고 있다. 물체(41)는 10Ω의 저항이며, 물체(42)는 1.5V의 전원(배터리)이고, 물체(43)는 10F의 커패시터이다. 물체(44)를 비롯하여 기타 구성 소자에 대해서는 따로 속성 정보를 정의하지 않기로 한다.

도 16은 이러한 방식으로 정의한 물체의 속성 정보의 일 예를 도시한 도면이 다. 도 16에 도시된 바와 같이, 10Ω의 저항과, 1.5V의 배터리, 그리고 10F의 커패시터가 물체(41 내지 43)의 각각에 정의된 속성 정보이다. 도면에서, 물체(41 내지 43)의 아래에 표시된 속성을 나타내는 기호는 명확한 설명을 위해 사용된 것이다.

또한, 속성 정보 기억 유닛에는, 도 16의 (b)에 도시된 바와 같은 속성 정보가 저장되어 있다. 물체의 ID는 물체의 식별 정보를 나타내며, 속성 정보는 물체에 정의되어 있는 속성의 내용을 나타내고, 속성 수치는 크기의 파라미터가 속성에 설정된 경우의 수치를 나타내며, 정의 허가는 속성의 정의(갱신, 초기화, 변경 등)가 허가 되어 있는 지의 여부를 나타낸다.

사용자는 우선, 스크린(11)상의 주어진 위치에 물체(41 내지 43)를 배치한다. 도 17에는 스크린(11)에 배치된 물체(41 내지 43)가 도시되어 있다. CCD 카메라(14)가 스크린(11)을 촬영하는 경우, 화상 추출 유닛(21)은 물체(41 내지 43)의 영역과 물체(41 내지 43)를 각각 식별한다.

애플리케이션(24a)은 화상 추출 유닛(21)으로부터 전송된 물체(41 내지 43)의 식별 정보에 기초하여, 물체의 ID와 각각의 위치를 인식하여, 저항, 배터리 및 커패시터를 나타내는 기호의 화상을 투영 화상 형성 유닛(24)에 표시한다. 따라서, 도 17에 도시된 바와 같이, 스크린(11)에는 물체(41 내지 43)가 배치되고, 저항, 배터리 및 커패시터를 나타내는 기호가 표시된다.

또한, 도 18에 도시된 바와 같이, 사용자가 마커를 사용하여 물체(41)와, 물체(42), 그리고 물체(43) 사이에 각각 선분(210)을 드로잉하는 경우, 예를 들어, CCD 카메라(14)는 소정의 시간마다 스크린(11)을 촬영하며, 도형 인식 유닛(26)은 각각의 선분(210)의 일 끝점의 좌표를 인식하게 된다.

조작 처리 유닛(23)은 도 14에 도시된 바와 같은 선분(210)의 끝점과 물체의 중심 좌표 사이의 거리를 산출한다. 이 거리가 소정의 픽셀 개수 이하인 경우, 물체는 선분(210)의 끝점에 존재하는 것으로 판정되며, 물체(41)와 물체(42)가, 물체(42)와 물체(43)가, 그리고 물체(43)와 물체(41)가 서로 연결되어 있는 것으로 인식된다. 다시 말해, 속성 정보를 갖는 각각의 물체가 연결되어 있다.

물체가 전기 회로의 소자에 대응하고 있으므로, 결과적으로 회로가 구성되는 것으로 가정한다. 물체가 연결되어 있다는 정보를 수신하면, 애플리케이션(24a)은 저항, 전원, 커패시터 등을 표시하기 위한 물체의 화상을 생성한다. 또한, 애플리케이션(24a)은 소정의 규칙(전기 법칙과 같은 물리 법칙)을 참조하고, 저항, 전원 및 커패시터가 연결되어 있는 회로에 기초해서 연산 가능한 물리량, 예를 들어 각각의 소자의 전압 등을 계산하여, 그 계산 결과를 표시하는 화상을 생성한다.

도 19는 애플리케이션(24a)에 의해 스크린(11)에 표시된 회로도의 일 예를 도시한 것이다. 이 회로도는 스크린(11)에 부속된 서브-스크린에 표시될 수도 있으며, 또는 스크린(11)의 일부에 표시될 수도 있다. 도 19에서는, 회로도의 아래에 저항치와 커패시터에 인가된 전압이 산출되어 표시되어 있다. 도 19에는 물체의 식별 정보가 전기 회로와 연관된 회로도가 도시되어 있긴 하지만, 애플리케이션(24a)은 물체의 식별 정보에 따라 분자 구조, 빌딩과 같은 건축물, 전자기장의 분포, DNA 구조에 관한 각종 시뮬레이션을 수행할 수도 있다. 또한, 문자가 손으로 쓰여진 경우 또는 음성 입력이 이루어지는 경우에는, OCR 또는 음성 인식을 통해 인식 된 내용에 따라 다양한 시뮬레이션이 수행될 수도 있다.

또한, 예를 들어, 물체(41)와 물체(42)만이 선분(210)을 사용하여 연결되어 있는 경우, 배터리와 저항만 구비한 회로도가 인식되어, 저항에 인가되는 전압이 계산된다. 이러한 방식으로, 드로잉한 선분을 사용하여 물체를 연결함으로써, 본 예의 경우 조작성이 향상된다.

다음, 식별 정보의 정의를 설명한다. 사용자가 스크린(11)상에 물체(41 내지 43)를 배치하고 핸드라이팅 등을 수행하는 경우, 미리 정의되어 있는 물체(예를 들어, 배터리 소자)로는 불충분하다면, 속성이 정의되지 않은 물체를 원하는 속성을 갖는 물체로서 정의한다.

도 20에는 원하는 물체의 속성을 다른 물체에 정의하기 위한 손으로 드로잉한 도형의 일 예가 도시되어 있다. 속성의 정의 방법으로 기타 다른 방법을 사용할 수도 있다. 예를 들어, 일두형 화살표(201)를 손으로 드로잉한 다음, 일두형 화살표(201)의 시작점에는 물체(42)(배터리)를 배치하고, 속성이 정의되지 않은 물체(44)는 일두형 화살표(201)의 끝점에 배치한다. 속성의 정의가 완료되면, 조작 처리 유닛(23)은, 물체(44, 42)에 대한 벌룬(ballon)을 작성하여 이와 같이 설정된 식별 정보를 표시할 수 있도록 투영 화상 형성 유닛(24)을 조작하며, 그에 따라, 사용자는 속성이 정의되었음을 인식할 수 있다.

조작 처리 유닛(23)은 일두형 화살표(201)의 시작점에 배치되어 있는 물체(42)의 속성 정보를 일두형 화살표(201)의 끝점에 배치된 물체(44)의 속성 정보로서 속성 정보 기억 유닛(25)에 정의한다. 그 후, 애플리케이션 프로그램(24a)은 물체(44)를 1.5V 배터리로서 인식하게 된다. 이러한 방식으로, 손으로 드로잉한 일두형 화살표를 사용하여 물체들 간의 속성 정보를 복제함으로써, 사용자의 조작성이 향상된다.

동일한 방식으로, 다른 물체(45 내지 47)의 속성을 정의할 수 있다. 일 예로서, 물체(45)는 배터리로, 물체(46)는 저항으로, 그리고 물체(47)는 커패시터로 정의된다. 따라서, 물체(41 내지 47)의 속성 정보는 다음과 같다:

물체(41): 저항

물체(42): 배터리

물체(43): 커패시터

물체(44): 배터리

물체(45): 배터리

물체(46): 저항

물체(47): 커패시터

속성 정보가 이와 같이 임의로 정의되는 경우에는, 물체의 ID와 속성 정보도 무작위로 정의되므로, 사용자가 취급하기에는 적절하지 않게 된다. 이러한 관점에서, 이하에는 배터리와, 커패시터 그리고 저항을 연속적인 물체의 ID를 사용하여 관리하기 위한 방법을 설명한다.

도 21에는 물체의 속성 정보를 교환하여 재정의하는 손으로 드로잉한 도형의 일 예가 도시되어 있다. 속성 정보를 교환하기 위하여, 교환하고자 하는 속성 정보를 가진 물체를 양두형 화살표(202)의 양 끝점에 배치한다. 이에 따라, 도 21의 (a)에 도시된 바와 같이, 물체(41, 42)가 양두형 화살표(202)의 양 끝점에 배치되어 있는 경우, 조작 처리 유닛(23)은 도 21의 (b)에 도시된 바와 같이 물체(41)를 배터리로, 물체(42)를 저항으로서 정의하고, 속성 정보 기억 유닛(25)을 갱신한다.

전술한 바와 동일한 조작으로, 물체(42)와 물체(44), 물체(43)와 물체(45), 그리고 물체(45)와 물체(46)를 교환하여 정의함으로써, 연속적인 물체의 ID에 동일한 속성 정보가 다음과 같이 정의된다. 또한, 손으로 드로잉한 양두형 화살표를 사용하여 물체 간에 속성 정보를 교환할 수 있음에 따라, 사용자가 물체를 관리하는 방식이 개선된다.

물체(41, 42, 43): 배터리

물체(44, 45): 저항

물체(46, 47): 커패시터

또한, 연속적인 물체의 ID에 동일한 속성 정보를 정의하기 위해 복수 회의 조작을 수행하는 대신, 손으로 드로잉한 단일 도형을 사용하여 재정의 작업이 수행될 수도 있다. 도 22에는 연속적인 물체의 ID에 동일한 속성 정보를 정의(분류)하기 위한 손으로 드로잉한 도형의 일 예가 도시되어 있다. 사용자가 재정의할 물체를 배치하고 그 물체를 폐루프(220)로 둘러싸며 한편 수평 및 수직 방향으로 양두형 화살표(202)를 손으로 드로잉하는 경우, 조작 처리 유닛(23)은 물체의 ID의 순서를 상승 또는 하강시키면서 동일한 식별 정보를 재정의하게 된다.

또한, 한번에 동일한 속성 정보를 갖는 복수 개의 물체를 정의할 수 있다. 도 23에는 한번에 복수 개의 물체에 동일한 속성 정보를 정의하기 위한 손으로 드 로잉한 도형의 일 예가 도시되어 있다. 사용자가 속성 정보가 복제될 물체와, 속성이 정의되지 않은 복수 개의 물체를 배치하고 이들 물체를 폐루프(220)로 둘러싸는 경우, 복잡한 조작 없이도 복수 개의 물체를 동일 속성으로 정의할 수 있다. 또한, 폐루프 내에 있는 물체의 속성 정보를 함께 묶어 관리할 수 있으므로, 조작성이 향상된다.

사용자가 이러한 방식으로 물체의 속성을 정의할 수 있는 경우에는, 전술한 조작에 의해 재정의가 반복하여 이루어지거나, 다른 사용자가 표시 장치를 사용하는 경우가 있다. 따라서, 물체의 식별 정보가 현재 어떠한 방식으로 정의되어 있는지를 확인하기 위한 방법을 미리 준비하는 것이 바람직하다.

도 24에는 물체의 속성 정보를 시험하기 위한 손으로 드로잉한 도형의 일 예가 도시되어 있다. 사용자는 식별 정보를 시험하고자 하는 식별 정보를 갖는 물체를 배치하고 (설계 도면에 사용되는 인출 선과 같은)선분을 그린다. 이러한 방식으로 선분을 드로잉한 경우, 조작 처리 유닛(23)은 속성 정보 기억 유닛(25)으로부터 물체(41)의 속성 정보를 추출하고, 예를 들어, 선분의 다른 끝점 부근에 물체의 속성 정보를 표시하기 위한 화상을 생성하도록 투영 화상 형성 유닛(24)을 조작한다. 또한, 속성 정보를 시험하기 위한 선분인지, 물체를 연결하기 위한 선분인지는 선분의 양 끝점에서의 물체의 존재 여부에 의해 판정될 수 있다. 이와 같이 선분을 드로잉하는 경우에는, 물체의 속성 정보를 브라우징할 수 있으므로, 물체의 관리 및 조작성이 향상된다.

또한, 전술한 핸드드로잉 및 물체의 배열 위치는 단지 예시일 뿐이다. 따라 서, 물체의 속성 정보를 시험하는 경우, 물체를 배치한 다음 그 물체를 둘러싸도록 폐루프(220)를 드로잉할 수도 있다. 도 25에는 물체를 둘러싸기 위한 폐루프(220) 및 물체의 속성 정보를 시험하기 위한 손으로 드로잉한 도형의 일 예가 도시되어 있다. 한 개의 물체가 폐루프(220)에 의해 둘러싸여 있는 경우, 조작 처리 유닛(23)은 속성 정보 기억 유닛(25)으로부터 물체(41)의 속성 정보를 추출하여, 예를 들어 물체의 속성 정보를 표시하기 위한 화상을 선분의 다른 끝점 부근에 생성하도록 투영 화상 형성 유닛(24)을 조작한다. 폐루프를 드로잉함으로써, 물체의 속성 정보를 브라우징할 수 있으므로, 물체의 관리 및 조작성이 향상된다.

이하, 각종 조작의 반복을 통해 정의되지 않은 물체가 없으며 또한 주어진 물체가 미정의 상태로 복귀되는 경우에 대하여 설명한다. 도 26에는 물체를 다시 미정의 상태로 복귀시키기 위한 핸드드로잉의 일 예가 도시되어 있다. 예를 들어, 물체를 배치한 다음, 물체의 반경(r)의 두 배 이하의 반경(R)을 갖는 원(R ≤ 2r)을 물체를 둘러싸도록 드로잉한다. 이에 따라, 조작 처리 유닛(23)은 이 물체를 다른 물체와 독립적인 것으로, 다시 말해 정의되지 않은 것으로 인식하여, 속성 정보 기억 유닛(25)에서 물체의 속성 정보를 삭제한다. 이러한 방식으로, 원의 크기를 손으로 드로잉한 도형의 파라미터로서 사용함으로써, 다른 조작의 경우에도 동일한 폐루프를 취급할 수 있다.

또한, 속성 정보를 제거하는데 사용되며 크기가 물체 크기의 두 배 이하인 원은 크기가 물체 크기의 세 배 이하인 원과 같은 기타 다른 크기의 원으로 대체될 수도 있으며, 사각형 또는 삼각형으로 물체를 둘러싸는 것도 가능하다.

또한, 전술한 바와 같은 폐루프(220)에 의해 둘러싸인 물체를 그 속성 정보가 추후 재정의 불가능하도록 정의할 수도 있다. 이에 따라, 예를 들어, 삭제되지 않는 기본 정보로서 사용되는 속성 정보를 저장하고 있는 물체를 폐루프(220)로 둘러싸는 방식으로, 기본 정보로서의 속성 정보의 삭제를 방지할 수 있다. 재정의가 금지되는 물체는 속성 정보 기억 유닛(25)의 정의 허가가 "불가"가 된다. 이와 같이 폐루프로 둘러싸인 물체가 독립된 물체로서 취급될 수 있도록 함으로써, 그 조작성이 향상된다.

본 실시예에서와 같은 회로 시뮬레이션의 용례의 경우, 각각의 물체는 저항, 배터리, 또는 커패시터로서 정의된다. 상기 회로의 경우에는, 각각의 소자의 용량 및 전압을 변경할 필요가 있을 수 있다. 용량 및 전압이 변경되는 경우, 이 용량 및 전압은 물체로부터의 선분의 길이에 따라 정의된다. 도 27에는 선분의 길이에 따라 용량 및 전압을 정의하기 위한 손으로 드로잉한 도형의 일 예가 도시되어 있다. 예를 들어, 조작 처리 유닛(23)은 선분의 길이가 10개 내지 20개의 픽셀에 해당하는 경우에는 저항이 10Ω의 값을 갖도록, 20개 내지 30개의 픽셀에 해당하는 경우에는 저항이 20Ω의 값을 갖도록 속성 정보 기억 유닛(25)의 속성 수치를 정의한다. 선분의 길이에 따라 물체의 속성 정보가 편집/정의될 수 있으므로, 환경에 따른 유연한 정의가 가능하다.

또한, 투영면의 해상도, 카메라의 해상도, 그리고 조작성에 따라, 필요한 경우 적절한 수치가 설정되도록 선분의 길이와 정의되는 수치 사이의 관계를 결정하는 것이 바람직하다. 속성을 표시하기 위한 선분인지 또는 속성 수치를 변경하기 위한 선분인지는 애플리케이션(24a)의 모드 설정을 전환함으로써, 또는 물체가 배치되지 않은 선분의 끝점에 도형을 드로잉하는 방식으로 결정될 수 있다. 또한, 전술한 바와 다른 종류의 선을 사용할 수도 있다.

선분이 전술한 바와 같이 물체 사이에 드로잉되는 경우, 조작 처리 유닛(23)은 물체가 연결되어 있는 것으로 인식한다. 예를 들어, 물체(41, 42, 43)가 배치되고 선분이 이들 개개의 물체 사이, 즉 물체(41)와 물체(42)의 사이, 물체(42)와 물체(43)의 사이, 그리고 물체(43)와 물체(41)의 사이에 드로잉된 경우, 조작 처리 유닛(23)은 물체(41, 42, 43), 즉 배터리와, 저항, 그리고 커패시터가 서로 연결되어 있는 것으로 인식한다.

배터리의 전원 용량은 일정한 1.5V이거나, 변경이 가능하긴 하지만 고정된 속성 수치로 정의되어 있다. 그러나, 전원의 용량과 같은 물체의 속성 수치는 물체의 위치 정보 및 물체의 탈부착에 따른 주어진 값으로 변경될 수 있다. 여기서, 위치 정보에는 2차원 위치와 물체 회전, 이동 속도 및 회전 속도가 포함된다. 또한, 탈부착은 드로잉 면(11b)으로부터 물체를 분리시켜 물체를 다시 배치하는 방식으로 수행된다.

예를 들어, 속성 수치가 변경되는 경우, 이러한 변경은 물체의 회전 방향 및 각도 중 적어도 하나에 의해 결정된다. 도 28에는 속성 수치 변경을 위한 손으로 드로잉한 도형의 일 예가 도시되어 있다. 애플리케이션(24a)은 물체(41, 42, 43) 사이의 선분에 따라, 이들 물체가 연결되어 있는 것으로 인식한다. 그 후, 예를 들어, 사용자가 물체(42)를 조작하여 반시계 방향으로 회전시키는 경우, 조작 처리 유닛(23)은 이하에 설명하는 바와 같이 물체의 회전을 검출하며, 애플리케이션(24a)은 전류가 반시계 방향으로 흐른다는 가정 하에 각각의 소자의 전압 값 등을 계산한다. 반대로, 사용자가 물체(42)를 조작하여 시계 방향으로 회전시키는 경우, 애플리케이션(24a)은 전류가 시계 방향으로 흐르는 것으로 인식하고 전압 값 등을 계산한다. 시계 방향이냐 반시계 방향이냐에 따라 양의 전류인지 음의 전류인지를 정의함으로써, 전압 값이 양의 값인지 음의 값인지가 결정되고 또한 전류의 방향도 결정된다. 물체의 회전 방향 또는 각도에 따라 물체의 속성 정보가 편집/결정될 수 있으므로, 직관성이 증대되고 조작성이 향상된다.

이하, 물체의 회전에 기초한 조작 검출 방법을 설명한다. 예를 들어, 카메라의 프레임 비율이 7.5 fps인 경우, 선분의 드로잉이 종결된 시점으로부터 약 2초 내에, 즉 15개의 시계열(time-series)의 화상의 물체 저면의 식별 패턴 화상이 90°이상 회전된다면, 그러한 회전은 인식된다.

15개의 화상 중에, 90°의 각도에서 시작하여 10°씩 전압 값을 점차적으로(예를 들어, 0.5V씩) 증가시키게 되면, 선분을 드로잉하고 물체를 배치한 후의 물체의 회전 동작에 따라 전류 방향과 전압 값을 임의로 설정할 수 있다. 이 회전 각도와, 방향을 결정하는데 드는 시간, 그리고 각도 설정 절차에 관하여, 카메라의 프레임 비와 애플리케이션의 조작성을 고려하여 적절한 값을 설정함으로써 원활한 조작이 가능하다.

회전 방향과 회전 각도를 결정하기 위한 방법에 있어서, 회전 방향이 미리 등록되어 있는 템플릿을 사용한 매칭을 통해 각각의 화상의 방향이 신속하게 식별 될 수 있다.

도 28에서, 물체의 사이는 선분으로 연결되어 있다. 그러나, 복수 개의 물체가 폐루프로 둘러싸일 수도 있으며, 그 후 물체의 회전이 검출되면 속성 수치는 변경될 수도 있다.

다음에는, 도 29의 순서도를 참조하여 물체의 탈부착 동작에 기초하여 조작을 검출하기 위한 방법을 설명한다. 도 29의 순서도에서는, 컴퓨터의 더블 클릭에 해당하는 방식으로 소정 시간 내에 물체가 두 번 탈부착되었는지 여부를 결정하기 위해 소정의 처리가 수행된다.

사용자가 물체를 배치하고 선분을 드로잉하고 각각의 물체가 연결되는 경우, 애플리케이션(24a)은 회로도가 작성된 것으로 인식한다. 애플리케이션(24a)은 이 단계에서는 각각의 소자의 전압 값을 계산하지 않고 대기 상태에 있다.

사용자가 물체를 들어올리는 경우(S11), 물체가 배치되어 있던 위치에서 물체의 화상이 더 이상 검출되지 않는다. 물체의 화상이 검출되지 않으면, 타이머(1)가 작동을 개시한다(S12). 조작 처리 유닛(23)은 탈부착 횟수를 표시하기 위한 계수기의 카운트를 제로로 설정한다.

계수기의 카운트가 제로로 설정되면, 애플리케이션(24a)은 물체가 있었던 위치에 동일한 속성 정보를 갖는 물체가 소정 시간 내에(예를 들어, 1초 이내) 다시 배치되는지 여부를 감시한다(S13). 물체가 배치되어 있었던 위치는 그 물체가 사용자에 의해 드로잉된 선분의 끝점으로부터 소정의 거리 이내에 있는지 여부를 검출함으로써 결정될 수도 있다.

동일한 속성 정보를 갖는 물체가 배치되는 경우, 애플리케이션(24a)은 카운트를 하나씩 증가시켜 카운트를 1로 설정한다(S14).

다음, 카운트가 2인지 여부를 판정한다(S15). 카운트가 2인 경우, 후술되는 바와 같은 탈부착에 따른 설정 처리가 개시된다(S10).

카운트가 2가 아닌 경우, 타이머(2)의 작동이 시작된다(S16). 타이머(2)의 작동 시각은, 예를 들어 물체가 배치되는 시각일 수도 있다. 타이머(2)가 작동하였다는 것은 소정 시간 이후에 물체가 배치되거나 물체가 배치되지 않았음을 의미한다. 물체가 배치되지 않는 경우에는, 타이머(1)를 감시하여 소정 시간 이상 경과한 경우에 타임아웃(timeout)을 판정하며, 도 29의 순서도에 나타낸 바와 같은 처리가 시작 단계에서부터 반복된다.

다음, 애플리케이션(24a)은 소정 시간(예를 들어, 1초) 이내에 배치되어 있던 물체가 제거되었는지 여부를 타이머(2)에 기초하여 감시한다(S17).

물체가 소정 시간 내에 제거되는 경우, 처리는 단계 S3으로 되돌아가 동일 속성 정보를 갖는 물체가 배치되는지 여부를 감시한다(S13). 물체가 소정 시간 내에 배치되는 경우, 카운트는 하나씩 증가 된다(S14). 따라서, 물체가 소정 시간 내에 2번 탈부착되는 경우, 카운트는 2가 된다.

카운트가 2이면(S15), 소정 시간 내에 2번 탈부착이 수행되는 방식으로 처리가 개시된다(S10). 단계 S10에서 이루어지는 처리는 임의로 정의될 수도 있다. 예를 들어, 애플리케이션(24a)은 각각의 소자의 전압 값 등을 계산한다.

전술한 바와 같이, 마우스를 더블 클릭하여 결정하는 것과 같이 물체의 탈부 착에 기초하여 사용자의 조작이 결정될 수 있다. 설정되는 소정 시간은 애플리케이션의 조작성 및 카메라의 프레임 비에 따라 변하므로, 필요하다면 이 소정 시간을 적절히 설정하는 것이 바람직하다. 또한, 탈부착 횟수는 동일한 방식으로 설정되며, 횟수의 차이에 따라 처리를 변경할 수 있다. 물체의 탈부착 횟수에 따라, 도형의 종류에 따른 조작을 변경할 수 있으므로, 조작성이 향상된다.

도 29의 순서도에서는, 물체를 선분을 사용하여 연결하는 경우를 나타내지만, 복수 개의 물체를 폐루프로 둘러싸는 것도 가능하며, 물체의 탈부착이 검출되는 경우에 사용자의 조작을 결정할 수도 있다.

이상에서는 사용자에 의해 드로잉 면(11b)에서 드로잉이 이루어지는 동안 사용자의 조작이 검출되는 경우를 설명하였지만, 속성 정보를 미정의 물체에 정의하거나 속성 정보를 복제 또는 교환하는 경우, 화살표 등의 드로잉된 도형이 지워지더라도, 속성 정보가 재정의되는 물체는 그 정의 정보를 저장하는 것이 바람직하고도 일반적이다. 따라서, 본 예에서는, 화살표 등의 드로잉이 지워지더라도 물체의 속성 정보는 유지된다. 또한, 사용자가 변경되는 경우 또는 애플리케이션(24a)이 다른 애플리케이션을 재로딩하는 경우, 조작 처리 유닛(23)이 속성 정보 기억 유닛(25)의 속성 정보를 제거하여 사용자를 곤란하게 만드는 일 없이 복수의 사용자 또는 다른 애플리케이션은 동일한 물체를 사용할 수 있다.

드로잉된 도형뿐만 아니라 물체와 관련하여서도 마찬가지로, 물체가 스크린(11)으로부터 제거된 경우, 정의된 속성 정보와 물체의 속성 정보에 따라 검출된 회로 구성 등은 유지된다. 따라서, 예를 들어, 물체가 이동한 경우에도, 정의된 속 성 정보와 물체의 속성 정보에 따라 검출된 회로 구성 등은 저장된다. 물체의 이동은 예를 들어, 선분의 끝점 영역 또는 폐루프의 영역 내에 물체가 A초 내지 B 초에 다시 검출되는 경우를 칭한다. 제거는 물체가 B 초 경과 후 검출되지 않는 경우를 칭한다.

정의된 속성 정보와, 물체의 속성 정보에 따라 검출된 회로 구성 등을 유지할지 여부는 설계 관련 사항이므로, 드로잉된 도형이 삭제되는 경우 또는 물체가 제거되거나 이동하는 경우, 정의된 속성 정보와, 물체의 속성 정보에 따라 검출된 회로 구성 등이 제거될 수도 있다.

전술한 바와 같이, 물체 및 사용자가 드로잉한 도형을 검출하고 그 도형에 기초하여 물체의 속성 정보의 편집/재정의를 수행함으로써, 보다 유연한 인간과 컴퓨터 사이의 상호 작용을 실현할 수 있다.

[예 2]

본 실시예에서는, 예를 들어, 도시의 빌딩을 통과하여 부는 바람을 시뮬레이션하기 위한 화상 표시 장치를 설명한다. 스크린(11)에 바람을 나타내기 위한 물체가 배치되고 바람의 방향을 지시하기 위한 도형이 드로잉되면, 애플리케이션(24a)은 스크린(11)에서 바람의 시뮬레이션이 수행되고 있는 것으로 인식할 수 있다.

도 30에는 바람의 시뮬레이션을 위해 스크린(11)에 배치되는 물체 및 스크린(11)에 드로잉되는 도형의 일 예가 도시되어 있다. 도 30의 (a)는 사용자에 의해 물체(51)가 배치되고 이 물체(51)로부터 소정 범위 이내로 일두형 화살표(201)가 드로잉된 상태가 도시되어 있다.

물체(51)의 속성 정보는 속성 정보 기억 유닛(25)에 정의되어 있으며, 애플리케이션(24a)은 스크린상에서 물체(51)가 검출된 경우 바람을 나타내기 위한 물체가 배치되어 있는 것으로 인식한다. 조작 처리 유닛(23)이 물체(51)로부터 소정 거리 이내의 일두형 화살표(201)의 도형을 검출하므로, 애플리케이션(24a)은 일두형 화살표(201)의 방향으로 공기가 유동하는 것으로 인식한다. 애플리케이션(24a)은 공기 유동을 나타내기 위한 화상을 생성하여 이 화상을 투영 화상 형성 유닛(24)으로 전송하며, 프로젝터로부터 공기 유동을 나타내는 화상이 스크린(11)으로 투영된다. 도 30의 (b)에는 드로잉에 따라 투영된 공기 유동을 나타내기 위한 화상과 물체(51)의 일 예가 도시되어 있다.

공기 유동의 강도는 일두형 화살표(201)의 길이에 따라 조정될 수 있다. 도 30의 (c)에 도시된 바와 같이, 일두형 화살표(201)가 길다면, 애플리케이션(24a)은 길이에 따라 강력한 공기 유동을 나타내기 위한 화상을 생성한다. 애플리케이션(24a)은 도 30의 (d)에 도시된 바와 같이 바람의 유선을 연장하거나 선의 두께를 증가시켜 이러한 유선을 스크린(11)에 투영한다.

또한, 저기압, 고기압, 태풍, 장마 전선 등과 같은 속성 정보를 갖는 물체를 정의할 수도 있다. 이들 물체는 스크린(11)에 배치되어 기상 상태를 시뮬레이션하는데 이용된다.

본 예에 따르면, 그저 물체를 배치하고 간단히 드로잉함으로써 바람의 방향과 강도를 정의하여 바람을 시뮬레이션할 수 있다. 또한, 바람의 방향과 강도는 단지 일두형 화살표의 방향과 길이를 변경함으로써 신속하게 재정의될 수 있으므로, 환경 및 사용 상황에 따른 속성 정보를 정의할 수 있다.

[예 3]

전술한 내용에 있어서, 스크린(11)상의 특정 배치 장소 지정 없이 물체가 배치되는 경우, 애플리케이션(24a)은 미리 결정된 속성 정보 또는 도형의 정의에 따라 조작을 인식하게 된다. 본 예에서는, 사용자가 결정한 폐루프 내에서만 물체의 속성 정보가 유효한 화상 표시 장치를 설명한다.

[폐루프가 미리 드로잉되는 경우]

도 31의 (a)에는 사용자가 드로잉한 폐루프의 일 예가 도시되어 있다. 본 예에서, 물체에 정의된 속성 정보가 폐루프 내에서만 유효하다. 도 31의 (b)에 도시된 바와 같이, 사용자가 폐루프 내에 물체(41 내지 44)를 배열하는 경우, 애플리케이션(24a)은 물체(41 내지 44)에 정의된 속성 정보에 기초하여 이 소정의 시뮬레이션 등을 개시한다.

조작 처리 유닛(23)은 폐루프의 도형 정보에 기초하여 폐루프의 도형 화상을 생성하도록 투영 화상 형성 유닛(24)을 조작한다. 따라서, 폐루프의 도형 화상은 투영면(11a)에 손으로 드로잉한 폐루프에 중첩되도록 투영된다.

또한, 물체에 정의된 속성 정보가 폐루프 내에서만 유효하므로, 폐루프가 지워지면 물체에 정의된 속성 정보도 무효가 된다. 또한, 폐루프의 도형 화상도 지워진다.

본 예에 따르면, 사용자가 원하는 범위를 설정하고 물체를 통해 또는 도형 드로잉을 통해 조작이 유효한 영역을 결정할 수 있다. 따라서, 예를 들어, 물체 또 는 도형 드로잉을 통해 조작이 유효한 영역을 소프트웨어의 설정 스크린(윈도우 또는 대화 영역), 마우스 또는 키보드를 이용하여 설정할 필요가 없다. 또한, 스크린(11)을 폐루프를 이용해서 분할하고 복수 회의 시뮬레이션을 수행할 수 있다.

[물체가 미리 배치된 경우]

도 31에는 폐루프를 미리 드로잉한 다음 물체를 이 폐루프 내에 배치한 경우가 도시되어 있지만, 물체를 미리 배치한 다음 폐루프를 드로잉하는 경우에도 물체 또는 도형 드로잉을 통해 조작이 유효한 영역을 결정할 수 있다.

도 32의 (a)에는 사용자가 배치한 복수 개의 물체가 도시되어 있으며, 도 32의 (b)에는 물체를 둘러싸고 있는 폐루프의 드로잉이 도시되어 있다. 폐루프로 물체(41 내지 43)를 둘러싸는 경우, 물체에 정의된 속성 정보는 폐루프 내에서만 유효하다. 사용자가 폐루프로 물체(41 내지 43)를 둘러싸는 경우, 애플리케이션(24a)은 물체(41 내지 43)에 정의된 속성 정보에 기초하여 소정 시뮬레이션 등을 개시하게 된다.

물체의 위치 및 폐루프에 따라 속성 정보가 유효하므로, 도 32의 (c)에 도시된 바와 같이, 물체가 이동한 경우, 속성 정보의 유효 영역 또한 변경된다. 이 경우에, 조작 처리 유닛(23)은 저장된 폐루프의 도형 정보에 기초하여 이동 물체를 둘러싸고 있는 폐루프의 도형 화상이 새로이 생성되도록 투영 화상 형성 유닛(24)을 조작한다. 또한, 손으로 드로잉한 폐루프가 지워지는 경우에도, 폐루프의 도형 정보는 저장되어 있으므로, 생성된 도형의 화상은 제거되지 않는다.

또한, 물체가 배치되어 있는 범위에서 속성 정보가 유효하기 때문에, 폐루프 가 지워진 경우에도, 물체에 정의된 속성 정보는 무효로 되지 않는다.

[물체가 미리 배치된 경우와 폐루프가 미리 드로잉된 경우 간에 효과가 다른 경우]

먼저 도형을 드로잉한 후 물체를 배치하는 경우와, 또는 먼저 물체를 배치한 후 도형을 드로잉한 경우 간에 애플리케이션(24a)이 수행하는 조작도 변경될 수 있다.

예를 들어, 도형을 미리 드로잉한 후 물체를 배치하는 경우, 애플리케이션(24a)은 동작(A)을 수행하고, 물체를 미리 배치한 후 도형을 드로잉한 경우, 애플리케이션(24a)은 동작(B)을 수행한다.

폐루프를 드로잉한 후 복수 개의 물체를 폐루프 내에 배치하는 경우, 물체의 속성 정보는 폐루프 내에서만 유효하다[동작(A)]. 소정의 속성 정보를 갖는 물체와 속성 정보가 미정의된 복수 개의 물체를 둘러싸도록 폐루프를 드로잉한 경우, 폐루프 내의 복수 개의 물체는 동일한 속성 정보를 갖고 있는 것으로 속성 정보 기억 유닛(25)에 정의된다[동작(B)]. 따라서, 양쪽 모두 복수 개의 물체가 폐루프 내에 배치되어 있지만, 물체를 먼저 배치하는지 또는 폐루프를 먼저 드로잉하는지에 따라 동작을 구별할 수 있다.

[예 4]

예 1 내지 예 3에서는, 취득한 도형의 종류와 크기에 기초하여 물체에 관한 속성 정보의 정의와, 재정의, 그리고 속성 수치의 정의를 수행하는 방법을 설명하였다. 본 예에서는, 물체의 속성 정보에 기초하여 도형을 표시하기 위한 도형의 화 상을 생성하는 화상 표시 장치를 설명한다.

도 33에는 본 예에 따른 속성 정보 기억 유닛(25)의 일 예가 도시되어 있다. 본 예에서, 속성 정보는 도형 화상의 내용을 지정하기 위한 정보로서, 실선과, 점선, 도색(filling), 삭제 등이 저장된다. 따라서, 배치되는 물체에 따라 도형의 선의 종류를 조작 또는 삭제할 수 있다.

실선의 속성 정보를 갖는 물체(61)와 점선의 속성 정보를 갖는 물체(62)가 제공되는 것으로 가정한다. 사용자는 드로잉 면(11b)에 주어진 형태의 선분을 드로잉한 다음 선분의 끝점 부분에 물체(61)를 배치한다. 도 34의 (a)에는 드로잉 면(11b)에 그린 주어진 형태의 선분이 도시되어 있다. 물체 인식 유닛(22)은 CCD 카메라(14)를 사용하여 촬영한 촬상 데이터로부터 선분(210)의 도형을 추출한다.

사용자가 도 34의 (b)에 도시된 바와 같이 선분(210)의 끝점 부근에 물체(61)를 배치하게 되면, 물체 인식 유닛(22)이 물체(61)의 식별 정보를 취득한 후, 조작 처리 유닛(23)은 속성 정보 기억 유닛(25)으로부터 물체(61)에 관한 속성 정보(실선)를 추출한다. 조작 처리 유닛(23)은 사용자가 손으로 드로잉한 선분 위에 중첩되는 방식으로 실선(225)의 도형 화상을 드로잉하도록 투영 화상 형성 유닛(24)을 조작한다.

도 34의 (c)에는 투영 화상 형성 유닛(24)으로부터 형성되어 프로젝터(13)에 의해 표시되는 실선(도형 화상)(225)의 화상의 일 예가 도시되어 있다. 도 34의 (c)에서, 사용자가 손으로 드로잉한 선분은 생략되어 있다.

또한, 사용자가 손으로 드로잉한 선분의 끝점에 또는 투영 화상 형성 유 닛(24)으로부터 투영된 선분의 끝점 부분에 물체(62)가 배치되어 있는 경우, 조작 처리 유닛(23)은 속성 정보 기억 유닛(25)으로부터 물체(62)에 관한 속성 정보(실선)를 추출하며, 도 34의 (d)에 도시된 바와 같이 선분을 점선(230)의 도형 화상으로 표시한다.

동일한 도형 드로잉이 컴퓨터상에서 수행되는 경우, 선분(21)을 드로잉하고 메뉴 또는 명령 버튼으로부터 선의 종류를 선택 및 변경하는 조작이 필요하다. 따라서, 이러한 조작을 수행하기 위한 명령의 장소나 메뉴를 탐색하는 것이 필요하다. 이러한 복잡성은 마우스 조작이나 터치 패널의 조작으로 해결할 수 없다.

이와 반대로, 본 예에서와 같이 단순히 소정의 속성 정보가 정의되어 있는 물체를 배치함으로써 동일한 조작이 가능하다면, 사용자는 직관적으로 조작을 수행할 수 있게 되므로, 조작성이 향상된다.

또한, 본 예에서는, 선분의 드로잉에 추가하여 폐루프를 손으로 드로잉하여 물체를 이 폐루프 내에 배치하는 경우에도, 미리 정의된 물체의 속성 정보에 기초하여 드로잉된 폐루프의 선의 종류가 변경되거나 폐루프가 도색되어 있는 화상을 생성하여 표시할 수 있다.

물체의 속성 정보를 손으로 드로잉한 도형에 적용하는 경우, 물체를 제거함으로써 투영된 선분의 표시가 종결될 수도 있으며, 또는 투영이 계속 이루어질 수도 있다. 또한, 물체가 이동한 경우, 그 속성 정보(예를 들어, 선의 종류)는 유지될 수도 또는 삭제될 수도 있다.

다음, 물체의 속성 정보에 따라 투영된 화상을 취소하는 경우를 설명한다. 물체(63)는 도색의 속성 정보를 갖는 것으로 가정하고, 이 물체(63)는 손으로 드로잉한 폐루프 내에 배치된다.

도 35의 (a)에는 폐루프 내에 배치된 물체(63)가 도시되어 있다. 도형 인식 유닛(26)은 폐루프의 도형을 인식하고, 물체 인식 유닛(22)은 물체(63)의 식별 정보를 취득한다. 조작 처리 유닛(23)은 물체(63)에 관한 식별 정보(도색)를 추출하며, 도 35의 (b)에 도시된 바와 같이 폐루프의 도형 화상이 한가지 색상으로 도색되도록 투영 화상 형성 유닛(24)을 조작한다.

물체(63)에서와 같이 도색을 위한 속성 정보를 갖는 물체의 경우, 회전에 따른 속성이 정의되는 것이 바람직하다. 예를 들어, 소정의 시간(예를 들어, 5 프레임)에서 회전 각도가 30°이상인 경우, 물체(63)를 회전시킴으로써 도색할 색이 변경될 수 있다. 소정의 시간에서 회전 각도가 30°이상인 경우, 도색할 색이 선택됨에 따라 폐루프는 예를 들어, 직전의 색채로 도색된다.

소정 시간이 경과 한 후 30°이상의 회전이 검출될 수 없다면, 색채는 변경되고 도색은 수행되지 않는다. 또한, 물체(63)가 제거된 경우에는, 물체의 속성 정보에 기초하여 폐루프 도색 이전의 상태, 즉 드로잉된 상태로 돌아간다.

회전 방향과 각도 정보의 검출은 예 1에서 설명한 바와 동일하다. 물체의 회전 방향과 각도에 따라 속성을 변경, 결정 및 취소할 수 있으므로, 직관적인 조작 방법을 실현할 수 있다.

전술한 바와 같은 방법을 사용함으로써, 도색의 조작성이 향상된다. 동일한 조작을 소프트웨어를 사용하여 수행한다면, 예를 들어, 도색이 이루어진 후 마우스 조작을 통해 취소 명령과 결정 명령을 선택하는 조작을 수행할 필요가 있다. 사용자가 이러한 조작 방법을 모르고 있다면, 도색을 취소할 수 없다. 본 예에서, 도색은 물체(63)를 배치함으로써 수행되며, 그것의 취소는 물체를 회전시킴으로써 수행될 수 있다. 따라서, 도색 취소 및 색채 변경이 용이하게 이루어질 수 있다.

또한, 도색할 색채의 설정 및 취소가 도 29에 순서도로 기술된 바와 같이 소정 시간 동안의 탈부착을 통해 수행될 수도 있다. 예를 들어, 탈부착이 한번 수행되면 색채가 변경되고, 탈부착이 두 번 수행되면 도색이 이루어진다.

도색의 취소는 취소용 물체를 사용하여 이루어질 수도 있다. 이 경우에는, 도색 취소를 위한 속성 정보를 갖는 물체를 선택하여 배치한다.

드로잉된 도형이 삭제되는 경우, 투영 화상 형성 유닛(24)에 의한 표시 또한 삭제될 수도 있으며, 또는 투영 화상 형성 유닛(24)에 의해 드로잉을 삭제하기 위해 취소용 물체 또는 기타 조작이 요구될 수도 있다. 도형 정보 제거에 응답하여 투영 화상 형성 유닛(24)에 의해 수행된 처리를 적절하게 설정함으로써, 높은 조작성을 실현할 수 있다.

전술한 바와 같이, 본 발명에 따른 화상 표시 장치에 있어서, 물체에 관한 속성 정보를 정의할 수 있음에 따라, 유연한 조작이 가능한 화상 표시 장치가 제공될 수 있다. 또한, 물체와 함께 손으로 도형을 드로잉함으로써, 전기 회로, 바람 등의 시뮬레이션을 신속하게 수행할 수 있다. 또한, 물체 식별에 추가하여, 회전, 이동, 탈부착 등을 판정함으로써, 사용자로 하여금 유연하게 직관에 따라 조작을 수행하도록 할 수 있다. 더욱이, 물체를 사용하여, 도색 속성 및 손으로 드로잉한 도형의 선의 종류와 색상 등을 변경하여, 직관적인 조작을 통해 화상을 편집할 수 있게 된다.

[제2 실시예]

제1 실시예에 사용된 물체의 저면에 제공되는 식별 코드를 물체의 회전을 고려하여 독특한 패턴을 갖도록 형성한다. 그러나, 이러한 식별 코드는 다음과 같은 문제가 있다.

i) 코드 패턴이 물체의 회전 각도에 따라 변경되므로, 각각의 회전 각도에 대한 식별 코드의 형태를 사전에 등록할 필요가 있다.

ii) 물체의 회전을 고려하여 식별 코드가 고유해야 하므로, 등록 가능한 식별 코드의 개수가 한정되어 있다.

iii) 물체를 인식하기 위해서는 물체 저면의 전체 영역을 스캐닝하여야 한다.

전술한 바와 같은 관점에서, 본 발명의 제2 실시예에 있어서는, 원형의 1차원 바코드(이하, 원형 바코드로 일컫는다)가 물체의 식별 코드로서 제공된다. 이하에는, 물체의 이동 또는 식별 정보에 기초하여 명령을 입력할 수 있는 화상 표시 장치에 대해 설명한다. 또한, 이러한 화상 표시 장치의 개략도는 도 1의 개략도와 동일하므로, 그에 대한 설명은 생략하기로 한다.

[예 5]

도 36은 본 실시예에 따른 화상 표시 장치의 기능도이다. 도 36에서는, 도 2에서와 동일한 구성 요소에 동일한 도면 부호가 제공되어 있으며, 그에 대한 설명 은 생략하기로 한다. 본 실시예의 화상 표시 장치(2)에서, CCD 카메라(14)는 물체 속성 정보 취득 유닛(33)에 접속되어 있으며, 물체 속성 정보 취득 유닛(33)은 애플리케이션(24a)과 투영 화상 형성 유닛(24)에 접속되어 있다.

물체 속성 정보 취득 유닛(33)은 물체 영역 추출 유닛(30)과, 극좌표 테이블(32), 그리고 물체 인식 유닛(22)을 포함한다. 애플리케이션(24a)은 조작 처리 유닛(23)과 조작 대응 테이블(31)을 포함한다.

물체 영역 추출 유닛(30)은 CCD 카메라(14)를 사용하여 촬영한 화상 데이터로부터 물체의 식별 코드를 추출한다. 물체 인식 유닛(22)은 물체 영역 추출 유닛(30)에 의해 추출된 식별(패턴) 코드를 분석하며, 백색 부분의 위치와 ID 코드를 인식한다. 조작 대응 테이블(31)은 도 2의 속성 정보 기억 유닛(25)에 대응하며, 여기서, 이하에 설명하는 바와 같이 조작 처리 유닛(23)에 의해 수행되는 조작의 내용은 ID 코드 등과 연관되어 기록되어 있다. 도 36에서, 화상 추출 유닛(21)과 도형 인식 유닛(26)이 제공되어 있지 않지만, 본 실시예에서는 물체 영역 추출 유닛(30)이 화상 추출 유닛(21)의 기능을 포함하고 있다. 도형 인식 유닛(26)은 설명의 용이성을 위해 생략되어 있다. 이 도형 인식 유닛(26)은 물체 속성 정보 취득 유닛(33)에 적용되어, 손으로 드로잉한 도형을 인식하게 된다.

이하, 본 예에 따른 식별 코드를 설명한다. 도 37에는 물체에 부착된 식별 코드(원형 바코드)의 일 예가 도시되어 있다. 원형 바코드(301)는 예를 들어, 전자 종이를 사용하여 형성되며, 또는 물체의 소정 표면에 부착되거나, 드로잉되거나, 또는 조각된다.

원형 바코드(301)는 소정 지점을 중심으로서 갖는 1차원 바코드가 원형으로 배치된 바코드로 칭한다. 1차원 바코드는 줄무늬 형태의 선의 두께 및 간극에 따른 수치 등을 나타내기 위한 것이다. 원형 바코드(301)의 바(bar)는 원형으로 배치되어 있으므로, 중심으로부터 반경 방향의 거리에 따라 선의 두께 및 간극이 증가한다. 다시 말해, 바코드의 각각의 선은 웨지(wedge) 형태를 갖는다.

원형 바코드(301)는 바코드의 시작점(301s)과 끝점(301e)을 용이하게 판정하기 위해 그리고 물체의 방향을 식별하기 위해 백색 부분이 넓게 형성되어 있는 것을 특징으로 한다.

드로잉 면(11b)에 드로잉하기 위한 펜의 색상보다 어두운 색상을 사용하는 원형 바코드(301)를 배열함으로써, 펜을 사용하여 드로잉이 이루어지는 드로잉 면(11b)에 물체가 배치되는 경우에도 색심도(color depth)에 의해 물체의 위치를 식별할 수 있다. 또한, 음영 부분 및 펜의 색상과 상이하며 식별 가능한 색상을 사용할 수도 있다.

이하, 도 38의 순서도를 참조하여 물체 영역 추출 유닛(30)의 처리 절차에 대해서 설명한다.

S101

CCD 카메라(14)를 사용하여 촬영한 화상 데이터가 물체 영역 추출 유닛(30)에 순차적으로 전송된다. 물체 영역 추출 유닛(30)은 취득한 촬상 데이터의 픽셀에 관한 RGB 정보를 픽셀마다 취득하여, 각각의 픽셀의 픽셀 값(RGB의 경우 각각의 색상마다 0 내지 255 사이의 값)을 소정의 임계값으로 판정하고, 픽셀 값이 임계값 이하인 픽셀을 1-픽셀로 그리고 임계값 이상인 픽셀을 0-픽셀로 처리한다.

도 39에는 촬영된 물체에 대한 화상 데이터를 소정의 임계값에 기초하여 1-픽셀 및 0-픽셀로 변환하는 화상 데이터의 일 예가 도시되어 있다.

S102

물체 영역 추출 유닛(30)은 화상 데이터의 각각의 프레임을 래스터 스캐닝(raster scanning)하여 x-축 방향의 투영을 수행한다. 이러한 처리에 따르면, 1-픽셀과 0-픽셀의 라인이 x-축 방향으로 준비된다. 도 39에 도시된 바와 같이, 물체가 배치되는 영역에서 x-축으로 1-픽셀이 배열되어 있다.

S103

x-축 방향으로 연속적으로 배열된 1-픽셀이 소정 값, 즉 Lmin 픽셀 이상 존재하는 x-좌표의 영역을 추출한다. 그 후, 영역(복수 개의 영역의 경우에는 전체 영역) 내에서 y-축 방향으로 투영을 수행한다. 도 39에 도시된 바와 같이, 물체가 배치되는 영역에는 y-축 방향으로 1-픽셀이 배열되어 있다.

소정 값 Lmin은 대략 원형 바코드(301)의 직경을 나타낸다. 촬영 화상 데이터에서 원형 바코드(301)의 크기는 알고 있으므로, Lmin은 CCD 카메라(14)의 시야각과 원형 바코드(301)의 크기에 기초하여 결정된다. 다시 말해, 1-픽셀의 라인이 Lmin 보다 작은 경우, 이 라인은 원형 바코드(301)와 상이한 것으로 판정되므로, Lmin 픽셀 이상의 폭이 대상이 된다.

S104

다음, y-축 방향의 0-픽셀과 1-픽셀의 라인에 있어서, 연속적인 1-픽셀의 라 인이 Lmin 픽셀 이상 Lmax 픽셀 이하를 포함하는 영역의 중심 좌표를 취득한다. 이 경우에, 취득한 중심 좌표의 y 좌표는 물체 저면의 중심 좌표의 y 좌표 posy를 나타낸다. Lmax는 소정 오차 값을 포함하는 값으로, 하나의 원형 바코드(301)의 크기의 최대 값을 나타낸다.

S105

y 방향의 투영 시에 연속적인 1-픽셀의 라인이 Lmin 픽셀 이상 Lmax 픽셀 이하를 포함하는 영역에서 다시 x 방향으로의 투영이 수행된다. 또한, 연속적인 1-픽셀의 라인이 Lmin 픽셀 이상 Lmax 픽셀 이하를 포함하는 영역의 중심 좌표를 취득한다. 이에 따라, 원형 바코드(301)의 x 좌표인 posx가 취득된다.

S106

취득한 posx 및 posy를 중심으로 하여 반경(r)을 갖는 원의 외접 직사각형을 추출한다. 반경(r)은 이미 알고 있는 원형 바코드(301)의 반경의 크기를 포함하므로, 도 37에 도시된 바와 같이 원형 바코드(301)의 화상이 구해진다.

다음, 도 40의 순서도를 참조하여 물체 인식 유닛(22)의 처리 절차에 대해 설명한다. 물체 영역 추출 유닛(30)에 의해 추출된 원형 바코드(301)의 화상이 물체 인식 유닛(22)으로 전송된다. 물체 인식 유닛(22)은 원형 바코드(301)의 패턴을 분석하여, 백색 부분의 위치(방향) 및 ID 코드를 인식한다.

S201

물체 인식 유닛(22)은 물체 영역 추출 유닛(30)에 의해 추출되는 원형 바코드(301)의 중심(posx, posy)으로부터 주어진 n 도트에 위치한 중심점을 시작점으로 취급하여, 이 시작점으로부터 정해진 원주 방향으로 원형 형태로 연속적으로 픽셀 값을 취득한다.

도 41은 물체 인식 유닛(22)이 원주 방향으로 픽셀을 스캐닝하여 처리하는 패턴 분석을 설명하기 위한 도면이다. 도 41의 (a)에 도시된 바와 같이, 물체 인식 유닛(22)은 원형 바코드(301)의 중심(posx, posy)으로부터 n 도트에 위치한 중심점을 시작점으로 하여 시계 방향으로 픽셀을 스캐닝한다.

원주 방향에서의 픽셀의 조작은 중심(posx, posy)과 시작점에 기초하여 순차적으로 픽셀을 추출할 수 있다. 그러나, 도 42에 도시된 바와 같이, 극좌표 테이블을 참조하여 CPU의 연산량이 감소될 수 있다. 도 42의 극좌표 테이블에서, 중심으로부터의 도트의 개수(n)에 따라(반경이 n 도트인 경우)원주상의 위치의 좌표가 테이블에 등록된다.

물체 인식 유닛(22)은 원주상의 지점의 픽셀 값을 소정의 임계값에 기초해서 판정하여, 임계값 이하의 픽셀을 1-픽셀로, 그리고 임계값보다 큰 픽셀은 0-픽셀로 변환한다. 이에 따라, 상기 처리가 원주를 따라 1회 수행되는 경우 일련의 1-픽셀 및 0-픽셀이 생성된다. 도 41의 (b)에는 1-픽셀을 흑색으로 0-픽셀은 백색으로 도시되어 있다. 도 41의 (b)에 도시된 바와 같은 일련의 픽셀은 그 길이에 따라 1과 0의 "런 길이(run length)"로 변환된다.

S202

도 41의 (c)에 도시된 바와 같이, 일련의 1-픽셀과 0-픽셀은 방향 식별을 위한 0-픽셀 연속 영역(방향 식별부)과 ID 코드를 식별하기 위한 바코드 부분을 포함 하며, 여기서 바코드 부분은 0-픽셀과 1-픽셀을 포함한다. 물체 인식 유닛(22)은 런 길이로 변환된 픽셀의 배열 중에서 0-픽셀이 최대로 연속하여 배열되어 있는 영역(방향 식별부)의 위치를 검출한다. 다시 말해, 0-픽셀의 연속 영역의 길이와 그 위치를 계측함으로써, 원형 바코드(301)의 백색 부분의 위치(이하, 간단히 방향으로 일컫는다)가 구해진다.

런 길이로 변환될 때에 생성되는 일련의 0-픽셀 및 일련의 1-픽셀의 길이를 계측하여, 가장 긴 백색 런(run)을 탐색한다. n 도트의 반경을 갖는 원의 모든 좌표 라인의 스캐닝이 완료되면, 일련의 1-픽셀의 길이와 일련의 0-픽셀의 길이의 계측이 완료된다.

S203

다음, 물체 인식 유닛(22)은 가장 긴 0-픽셀 라인이 맨 뒤 픽셀 라인인지 여부를 판정한다.

S204

가장 긴 0-픽셀 라인이 맨 뒤 픽셀 라인이 아닌 경우, 가장 긴 0-픽셀의 라인에 바로 이어지는 1-픽셀이 시작점이 된다.

S205

가장 긴 0-픽셀 라인이 맨 뒤 픽셀 라인인 경우, 그 픽셀 라인의 선두 픽셀 값이 0-픽셀인지 여부를 조사한다.

S206

픽셀 라인의 선두의 픽셀 값이 0-픽셀인 경우, 직후의 1-픽셀이 시작점이 된 다.

S207

픽셀 라인의 선두의 픽셀 값이 0-픽셀이 아닌 경우, 현재 지점이 시작점이 된다.

S208

그 후, 물체 인식 유닛(22)은 바코드 부분의 런 길이에 기초하여 ID 코드를 검출한다.

도 40의 처리 절차는 세 개의 단계, 즉 픽셀을 런 길이로 변환하는 단계와, 방향 식별부를 탐색하는 단계, 그리고 바코드 부분을 분석하는 단계를 갖는다. 그러나, 바코드 부분의 0-픽셀의 최대 연속 개수(Zmax로 지칭한다)는 이미 알고 있으므로 런 길이로의 변환시에 방향 및 ID 코드를 취득할 수 있다.

도 43에는 물체 인식 유닛(22)의 처리 절차의 다른 실시예를 도시한 순서도가 도시되어 있다.

S301

물체 영역 추출 유닛(30)에 의해 추출된 원형 바코드(301)의 화상이 도 37에 도시된 바와 같은 화상인 경우, 수직 방향의 일 지점으로부터 스캐닝이 시작되어, 0-픽셀이 최대로 연속하는 영역을 탐색한다.

S302

물체 인식 유닛(22)이 순차적으로 원주상의 픽셀 값을 취득하여, 0-픽셀의 개수가 Zmax+1에 도달할 때 방향 식별부를 인식한다.

S303

물체 인식 유닛(22)은 다음의 1-픽셀을 바코드 부분의 시작점으로 판정한다. 또한, 바코드 부분의 시작점 이전 픽셀이 방향 식별부의 끝점인 것으로 판정되어 원형 바코드(301)의 방향이 식별될 수 있다.

S304

물체 인식 유닛(22)은 원형 바코드(301)의 둘레를 스캐닝하여, 바코드 부분의 런 길이에 기초하여 ID 코드를 검출한다.

바코드 부분의 시작점으로부터 연속적으로 일련의 1-픽셀 및 일련의 0-픽셀이 구해지면, 일련의 1과 0 자체가 ID 코드를 나타내므로, 한 번의 스캐닝을 통해 ID 코드와 방향이 취득된다.

이러한 방식으로, 본 실시예에 있어서는, 물체 인식 유닛(22)이 원형 바코드(301)를 검출하기 위해 패턴 매칭 등을 위한 사전을 필요로 하지 않는다. 또한, 화상 데이터의 각각의 프레임마다 방향을 취득함으로써 물체의 회전이 검출될 수 있다.

전술한 처리에서 취득한 물체의 물체 정보(위치, 방향 및 ID 코드)는 애플리케이션(24a)의 조작 처리 유닛(23)으로 전송된다.

이하, 애플리케이션(24)을 설명한다. 애플리케이션(24a)의 조작 처리 유닛(23)은 물체 정보에 기초하여 프로젝터(13)로부터 투영되는 화상을 제어한다. 이러한 조작 처리 유닛(23)의 기능은 전술한 제1 실시예에서와 동일하다.

전술한 제1 실시예에 있어서, 조작 처리 유닛(23)은 물체의 속성 정보에 기 초하여, 투영 화상 형성 유닛(24)이 투영한 화상을 조작한다. 또한, 애플리케이션(24a)은 속성 정보에 따라 처리를 수행하여, 그 처리 결과를 투영되는 화상에 적용한다.

본 실시예에 있어서도 마찬가지로, 애플리케이션(24a)은 조작 처리 유닛(23)을 통해 물체 정보에 따라 화상을 조작하여, 물체 정보에 기초하여 처리를 수행하며, 처리 결과를 화상에 적용한다.

애플리케이션(24a)에 포함된 조작 대응 테이블(31)에는 물체 정보와 연관하여 화상 조작 내용이 기록되어 있다. 도 44에는 조작 대응 테이블의 일 예가 도시되어 있다. 이 조작 대응 테이블에는, ID 코드와, 위치 및 방향과 연관되어 화상 조작 내용이 기록되어 있다.

예를 들어, ID 코드가 1인 물체가 dir1 방향을 향하여 (Posx1, Posy1)에 배치되는 경우, 조작 처리 유닛(23)은 dir1 방향을 향하여 (Posx1, Posy1)에 화상(1)을 드로잉한다. 동일한 방식으로, ID 코드가 2인 물체가 dir2 방향을 향하여 (Posx2, Posy2)에 배치되는 경우, 조작 처리 유닛(23)은 dir2 방향을 향하여 (Posx2, Posy2)에 화상(2)을 3초 동안만 드로잉한다. 또한, ID 코드가 3인 물체가 dir3 방향을 향하여 (Posx3, Posy3)에 배치되는 경우, 조작 처리 유닛(23)은 (Posx3, Posy3)에서 화상(3)을 점멸한다. 이들 화상(1 내지 3)은 미리 등록되거나, 사용자의 규정에 의해 표시될 수 있다.

도 36의 예에서, 애플리케이션(24a)이 조작 처리와 물체 정보를 연관시키는 조작 대응 테이블(31)을 저장하고 있긴 하지만, 조작 대응 테이블(31)은 물체 속성 정보 취득 유닛(33)에 저장될 수도 있다. 도 45는 물체 속성 정보 취득 유닛(33)이 조작 대응 테이블(31)을 저장하고 있는 경우의 화상 표시 장치의 기능도이다. 조작 대응 테이블(31)에는 용례와 물체의 ID 코드가 대응하여 등록되어 있다. 물체 인식 유닛(22)은 물체를 인식한 후의 조작 대응 테이블(31)을 참조하여 현재 공개되어 있는 용례의 조작 대응 테이블만을 공개하여, 그 테이블을 애플리케이션(24a)에 전달한다.

본 실시예에서, 물체에 부착되는 식별 코드는, 예를 들어, 원형 바코드(301)를 사용해서만 구성되므로, 제1 실시예에서 설명한 화상 조작과 동일한 조작을 수행할 수 있다. 다시 말해, 원형 바코드(301)를 사용하여 구성된 ID 코드를 배터리, 저항, 커패시터 등의 속성과 연관시킬 수도 있다. 따라서, 원형 바코드(301)를 갖는 물체가 선분을 사용하여 연결되는 경우에는, 회로도가 조작 처리 유닛으로부터 표시된다. 또한, 물체가 일두형 화살표를 사용하여 연결되는 경우에는, 속성을 다른 속성에 복사할 수 있다. 두 개의 물체가 양두형 화살표를 사용하여 연결되는 경우에는, 양 물체의 속성을 교환할 수 있다. 복수 개의 물체가 루프로 둘러싸인 경우, 연속적인 ID 코드를 갖는 물체에 동일한 속성을 정의할 수 있으며, 또한, 속성이 정의되지 않은 물체에 속성을 정의할 수 있다. 물체(들)로부터 선분을 드로잉하여 루프로 둘러싸는 경우, 물체 정보를 표시하며 그 속성을 정의되지 않은 것으로서 초기화할 수 있다. 물체로부터 드로잉된 선분의 길이를 결정하거나 물체를 회전시킴으로써, 속성의 수치를 정의할 수 있다. 소정 시간 내에 물체를 배치 또는 제거함으로써, 애플리케이션(24a)에 소정 처리 수행을 지시하기 위한 트리 거(trigger)로서 이러한 조작을 사용할 수 있다. 또한, 사용자가 드로잉 면(11b)에 드로잉하는 선분의 화상을 물체에 기초하여 제어 및 드로잉할 수 있다.

본 실시예에 따르면, 물체의 식별 코드로서 원형 바코드를 사용하여, 그 중심으로부터 주어진 반경의 원주상을 스캐닝하고, 런 길이로 변환함으로써, 바코드를 인식하고 그 숫자(ID 코드)를 취득할 수 있다. 바코드에는 다수의 식별 번호가 있기 때문에, 각종 물체 정보(예를 들어, 수천 개의)가 등록될 수 있다. 또한, 방향 식별부를 사용하여, 물체의 방향을 신속하게 판정할 수 있다. 바코드 부분은 단순한 이진수로 표시되어 있으므로, 바코드 부분이 적절한 n진수(n-ary number)로 변환되는 경우, 사용에 따라 ID 코드로서 사용될 수 있다. 원형 바코드에 있어서, 중심으로부터 주어진 반경을 갖는 원주상을 스캐닝할 수도 있으므로, 물체의 저면 전체를 인식용 도형으로서 사용할 필요는 없다. 본 실시예에 있어서, CCD 카메라(14)의 해상도는, CCD 카메라(14)가 바코드 부분을 식별할 수 있다면, 식별될 물체의 개수를 증가시키기 위해 CCD 카메라(14)의 해상도를 증가시킬 필요는 없으며, 패턴 매칭을 위한 패턴의 개수는 증가하지 않는다. 또한, 본 실시예에 있어서, CCD 카메라(14)의 해상도가 증가하면, 식별 가능한 바의 폭이 감소될 수 있으므로, 등록될 수 있는 물체의 정보의 세트 수를 증가시킬 수 있다.

[예 6]

화상 표시 장치가 식별 코드에 기초하여 물체를 식별하긴 하지만, TUI의 경우 사용자도 물체가 소유한 정보의 종류를 확인할 필요가 있다. 예를 들어, 사용자는 문자 등이 기술된 물체에 관한 정보(예를 들어, 빌딩의 형태)를 확인할 수 있 다. 그러나, 보다 직관적인 방식으로 물체를 인식하기 위해서는 설계 관점에서 물체를 나타내는 것이 바람직하다.

다시 말해, 물체의 식별 코드에 기초하여 표시된 화상을 조작하는 경우에, 물체에 의해 나타내어진 정보를 변경하거나, TUI를 사용하여 용례가 변경되는 경우 그 목적에 따라 물체의 형태를 작성하여야 한다.

이러한 관점에서, 도 46에 도시된 바와 같이, 투영면(11a)의 위에서부터 화상을 투영하기 위한 전방 투영 방식의 경우에, 물체가 나타내는 정보(도형, 문자 등)를 물체에 투영함으로써 물체의 형태를 변경하지 않고서도 동일한 물체를 사용하여 각종 형태(외관)을 얻을 수 있다.

그러나, 이와 같은 전방 투영 방식은 사용자가 물체를 조작하는 경우 투영 광이 차단되어 가시성이 떨어진다는 문제가 있다. 이러한 관점에서, 후방 투영으로 일반적인 용도의 물체를 사용하여 사용자가 물체를 식별 가능하도록 함으로써, 조작성과 가시성을 개선할 수 있다.

우선, 본 예에서는, 측면에 미러 형태의 반사면을 포함하는 원통형 물체를 물체로서 사용한다. 또한, 도 36 또는 도 45는 기능도로서 사용될 수도 있다.

도 47에는 드로잉 면(11a)에 배치된 원통형 물체와 사용자의 시야 간의 개략적인 관계가 도시되어 있다.

원통형 물체(401)는 측면에 미러를 구비하므로, 주위 풍경이 측면에 반영된다. 사용자가 화상 표시 장치를 사용하는 경우, 대략 30° 내지 60°의 각도에서 원통형 물체를 본 것이 된다. 이 경우에, 원통형 물체 측면의 미러 면에는 원통형 물체가 배치되어 있는 드로잉 면(11b)에 투영된 화상이 반사된다.

그러나, 원통형 물체의 측면에서 반사된 화상은 평면에서 곡면으로 변환되므로, 화상이 일그러지는 현상이 발생한다. 본 예에서, 사용된 화상은 원통형 물체의 측면에서 반사된 화상이다. 따라서, 화상이 원통형 물체의 미러면상에 적절하게(왜곡 없이) 반사되도록 드로잉 면(11a)에 배치된 원통형 물체의 원주상에 일그러진 화상(이하, 아나모픽 화상으로 일컫는다)을 투영함으로써 사용자는 각각의 원통형 물체를 구별할 수 있다.

도 48에는 드로잉 면(11a)에 투영된 아나모픽 화상이 원통체에 반사되는 방식이 도시되어 있다. 도 48에 도시된 바와 같이, 일그러진 아나모픽 화상은 원통체 표면에서 반사되는 경우 적절히 표시된다.

원통형 물체의 원의 반경, 높이 등과 같은 물리적 형태는 알려져 있으므로, 물체의 측면에 적절한 화상을 형성하기 위한 아나모픽 화상의 변환 공식이 독특하게 결정된다. 이 공식에 투영 화상을 입력함으로써, 투영되는 아나모픽 화상이 구해진다.

물체 인식 유닛(22)이 물체의 정보(위치, 방향 및 ID 코드)를 검출하면, 조작 처리 유닛(23)은 투영 화상 형성 유닛(24)으로 하여금 물체의 ID 코드에 따라 아나모픽 화상을 물체의 방향에 따라 물체의 원주상에 투영하도록 한다.

아나모픽 화상의 투영 범위는 원통형 물체(401)의 원주 둘레의 360°영역일 수도 있으며, 또는 필요한 경우 일부만 투영될 수도 있다.

도 49에는 원통형 물체(401)의 원주 둘레의 360°영역에 투영된 아나모픽 화 상의 일 예가 도시되어 있다. 도 50에는 원통형 물체(401)의 일부에 투영된 아나모픽 화상의 일 예가 도시되어 있다. 도 50에 도시된 바와 같이, 아나모픽 화상을 원통형 물체(401)의 일부에 투영한 경우, 사용자는 원통형 물체(401)에 반사된 투영 화상의 위치에 기초하여 원통형 물체(401)의 방향을 인식할 수 있다. 따라서, 원통형 물체(401)의 방향에 따라 아나모픽 화상을 회전시켜 표시하는 경우, 사용자는 원통형 물체(401)의 방향을 인식할 수 있다.

물체의 사용 목적에 따라 투영 화상을 형성 또는 선택함으로써, 실제로 물체를 대상물의 형태로 형성하지 않고, 범용적인 원통형 물체를 다양한 사용 목적(용례)으로 사용할 수 있다.

또한, 물체는 프리즘과 같은 입방면체일 수도 있다. 도 51에는 프리즘 형태의 물체(402)의 일 예가 도시되어 있다. 도 51에 도시된 바와 같은 프리즘 형태의 물체(402)의 경우, 원통형 물체와 비교하여 주위로부터 보는 방향이 제한된다. 그러나, 표현할 대상이 전면, 측면, 그리고 후면을 갖추고 있다면, 프리즘 형태의 물체(402)를 사용하는 것이 바람직하다.

조작 처리 유닛(23)은 사용자가 볼 때 물체의 전면에 해당하는 부분에는 대상의 전면의 화상을, 측면에는 대상의 측면의 화상을, 그리고 후면에는 대상의 후면의 화상을 투영함에 따라, 프리즘 형태의 물체의 각각의 표면은 각각의 표면에 맞는 화상을 반사한다.

투영 화상의 방향이 물체의 방향에 따라 변경되는 경우, 사용자는 실제 대상물을 본 것과 같은 효과를 얻을 수 있다.

도 52에는 공기의 유동을 시뮬레이션하기 위한 용례에 프리즘 형태의 물체가 사용되는 경우가 도시되어 있다. 프리즘 형태의 물체(402)가 드로잉 면(11b)에 배치되고 도시에서의 공기의 유동 방식 등이 시뮬레이션되는 경우, 빌딩의 화상이 물체에 투영된다.

빌딩은 전면, 측면, 그리고 후면을 구비하므로, 조작 처리 유닛(23)은 프리즘 형태의 물체의 각각의 면에 적절한 화상이 반사되도록 투영을 수행한다. 도 53에는 프리즘 형태의 물체의 각각의 면에 빌딩의 화상이 투영되어 있는 투영 화상이 도시되어 있다.

물체가 회전하는 경우, 조작 처리 유닛(23)은 물체의 방향에 따라 투영 화상을 회전시킨다. 따라서, 물체의 동일한 면에 동일한 화상이 항상 반사되므로, 사용자는 실제 물체를 바라본 것과 같은 효과를 얻을 수 있다.

전술한 바와 같이, 본 예에 따르면, 물체에 의해 표현되는 각각의 대상물에 대한 물체를 준비할 필요가 없으며, 범용 TUI 물체가 실현된다. 원통형 물체(401)와 프리즘 형태의 물체(402)를 조합하여 사용함으로써, 단일 용례로 다양한 대상물을 나타낼 수 있다. 또한, 특정 용례에 사용되도록 대상물이 고정되어 있는 경우, 그 대상물의 실제 형태는 물체로서 준비되어, 유동적인 대상물의 물체에 대하여 범용의 물체를 사용할 수 있다.

또한, 본 예에서의 미러형 반사체를 갖는 물체는, 외관의 특징을 고려할 때, 예 1 내지 예 5 중 어느 하나에 적용되는 것이 바람직할 수 있다.

[예 7]

TUI 물체에 범용성을 제공하는 경우, 물체는 투명 재료를 포함할 수도 있다. 투명 재료는 아크릴, 유리 등과 같은 투과율이 높은 재료를 포함한다.

본 예에서, 투명한 재료를 포함하는 물체는 원통형 형태를 갖는다. 또한, 도 36 또는 도 45가 기능도로 사용될 수도 있다.

도 54의 (a)에는 소정 각도(예를 들어, 30° 내지 60°)에서 사용자가 투명 물체(403)를 관찰하는 방식이 도시되어 있다. 도 54의 (a)에 도시된 바와 같이, 투명 물체(403)를 관찰하는 경우, 투명 물체(403)의 내면이 원통형 미러 면으로서 기능한다.

도 54의 (b)에는 투명 물체(403)를 통해 사용자가 관찰한 투영 화상이 도시되어 있다. 도 54의 (b)에 도시된 바와 같이, 투명 물체(403)의 저면에 투영된 화상은 사용자의 시야에 대해 원거리에 배치된 투명 물체(403)의 내면(403a)에 반사되어 사용자에 의해 관찰된다. 따라서, 투명 물체(403)가 배치되는 경우, 사용자는 그 저면의 화상이 원통측 내면에 반사되는 것을 관찰하게 된다.

반사 화상은 투영 화상과 비교하여 상하 좌우가 반전된 것으로, 투명 물체(403)의 반사면은 곡면이다. 따라서, 미리 투명 물체(403)의 저면에 투영되는 화상을 상하 좌우 반전되도록 왜곡시킴으로써, 사용자는 투명 물체의 내면에서 적절한 원래 화상을 관찰하게 된다.

물체 인식 유닛(22)이 물체 정보(위치, 방향 및 ID 코드)를 검출하면, 조작 처리 유닛(22)은 ID 코드에 대응하는 화상을 상하 좌우 반전하도록 왜곡시킴으로써, 투영 화상 형성 유닛(24)으로 하여금 화상의 방향에 따라 물체의 저면에 화상 을 투영하도록 한다.

도 55의 (a)에는 투명 물체(403)의 저면에 투영된 화상의 일 예가 도시되어 있고, 이 화상은 미리 상하 좌우 반전되어 왜곡되어 있다. 도 55의 (b)에는 사용자에 의해 관찰되는 화상이 도시되어 있고, 이 화상은 저면에 투영된 화상이 투명 물체(403)의 내면에 반사되어 있다. 도 55b에 도시된 바와 같이, 투명 물체(403)가 사용되는 경우, 사용자는 반사로 인한 상하, 좌우 반전이나 왜곡에 주의하지 않고 물체를 인식할 수 있다.

투명 물체(403)의 측면은 또한 원통형 렌즈로서 기능한다. 도 56에는 투명 물체(403)가 원통형 렌즈로서 기능하는 방식이 도시되어 있다. 원통형 렌즈에서, 사용자의 방향에서 본 투명 물체(403)의 반대측의 화상은 사용자측의 측면(403b)에 반사된다.

도 56에 도시된 바와 같은 반사 화상은 또한 투영된 실제 화상과 비교하여 좌우 반전되어 왜곡된 화상이다. 따라서, 미리 좌우 반전되어 왜곡된 화상을 투영함으로써, 사용자는 반사에 의한 좌우 반전이나 왜곡에 주의하지 않고 물체를 인식할 수 있다.

물체를 식별하기 위한 원형 바코드는 물체의 저면에 부착될 수 있으므로, 화상 표시 장치는 물체를 식별할 수 있다.

또한, 사용자는 투영되는 화상에 따라 투명 물체(403)를 구별할 수 있으므로, 투명 물체(403)는 범용 물체로서 사용될 수 있고, 내면에의 반사를 원통형 렌즈에 의한 투과를 사용하여 투과 효과와 조합하고, 또한 색상, 형태, 문자 등을 투 영 화상과 조합하여 각종 물체를 나타낼 수 있다. 본 예에서 원통형 투명 물체(403)를 설명하고 있긴 하지만, 프리즘 형태의 투명 물체가 사용되는 경우, 이 물체 또한 동일한 방식으로 식별될 수 있다.

본 예에서의 투명 재료를 포함하는 물체는 그 외관상 특징을 고려하여 예1 내지 예 5 중 어느 하나에 적용되는 것이 바람직할 수 있다.

[예 8]

예 7에서의 투명 물체가 사용된 경우, 사용자는 물체 위에서 물체 저면의 화상을 관찰할 수 있다. 그러나, 물체의 저면에는 물체의 식별을 위한 코드가 부착되어 있으므로, 화상은 저면의 공백 부분(margin)에만 투영된다.

이와 같이 공백 부분에 화상을 투영하는 경우, 제1 실시예에 따른 식별 코드에는 공백이 거의 없다. 따라서, 예 5에서 설명한 원형 바코드(301)를 사용하는 것이 바람직하다. 도 2, 도 36, 도 45 중 어느 하나가 기능도로서 사용될 수도 있다.

원형 바코드(301)에는 그 중심을 향하여 점차적으로 얇아지는 웨지형 도형이 배열되어 있다. 원형 바코드(301)가 동심적으로 구획된 경우, 각각의 동심 원은 흑색 대 백색의 비율이 동일하다. 따라서, CCD 카메라(14)를 사용하여 촬영한 화상으로부터 원형 바코드(301)의 각각의 선을 분해할 수 있다면, 원형 바코드(301)의 중심 부근, 또는 외주부 부근을 사용할 수 있다. 다시 말해, n 도트의 반경을 갖는 원의 좌표 라인을 따라 패턴을 디코딩하기에 충분하다.

도 57의 (a)에는 원형 바코드(301)의 일 예가 도시되어 있으며, 도 57의 (b)에는 추출된 원형 바코드(301)의 중심 부근이 도시되어 있고, 도 57의 (c)에는 추 출된 원형 바코드(301)의 외주부 부근이 도시되어 있다.

도 57의 (b)에 도시된 바와 같이 중심 부근을 사용하는 경우, 그 외측에 화상을 투영할 수 있다. 도 57의 (c)에 도시된 바와 같이 외주부 부근을 사용하는 경우에는, 그 내측에 화상을 투영할 수 있다. 원형 바코드(301)의 외주부를 사용하는 경우에는, 선의 두께와 간극이 증가하므로, CCD 카메라(14)는 충분한 해상도를 갖게 된다.

물체 인식 유닛(22)이 물체 정보(위치, 방향 및 ID 코드)를 검출하면, 조작 처리 유닛(23)은 투영 화상 도형 유닛(24)으로 하여금 물체의 ID 코드에 따라 화상을 원형 바코드(301)의 내측에 물체의 방향에 따라 투영하게 한다.

도 58에는 투명 물체(403)의 외주부에 부착된 원형 바코드(302)와 그 내측에 투영된 화상이 도시되어 있다. 원형 바코드(302)는 투명 물체의 저면의 외주부에 부착 또는 인쇄되어 있다. 중앙 부분은 공백으로서 사용될 수 있다. 따라서, 화상을 투영함으로써, 관찰자는 물체의 상면에 반사된 화상으로부터 물체에 의해 표현되는 대상물을 인식할 수 있다.

본 예에 따른 원형 바코드를 부착하기 위한 방법과 투명 재료를 포함하는 물체는 그 외관상 특징을 고려하여 예 1 내지 예 5 중 어느 하나에 적용될 수 있다.

전술한 바와 같이, 본 실시예에 따른 화상 표시 장치는 원형 바코드에 기초하여 물체를 식별함으로써 상당량의 물체 정보를 등록할 수 있다. 또한, 화상 표시 장치는 방향 식별부에 의해 물체의 위치를 신속하게 결정할 수 있다. 또한, 투명 물체 또는 미러를 사용함으로써, 범용 물체로 각종 유형의 용례에 화상 표시 장치 를 채용할 수 있다.

[제3 실시예]

제3 실시예는, 해상도가 다른 두 개의 CCD 카메라가 포함되고 그 하나의 카메라는 물체의 위치를 검출하고 다른 하나의 카메라는 물체의 식별 정보 및 이동 정보를 검출하는 점에서 제1 실시예와 상이하다. 그러나, 다른 특징은 동일하므로, 이하에는 제3 실시예의 상이한 특징만을 설명하기로 한다.

도 59 및 도 60에는 본 발명에 따른 화상 표시 장치의 제3 실시예가 도시되어 있다. 도 59는 표시 유닛의 개략적인 단면도이며, 도 60은 본체 유닛의 개략적인 구성도이다.

도 59에 도시된 바와 같이, 제3 실시예에 따른 화상 표시 장치의 표시 유닛은 중앙 부분에 스크린(11)이 매립되어 있는 평면 유닛(11)과, 평면 유닛(10)을 지지하기 위한 케이싱(12)과, 케이싱(12)의 내측에 배치되어 스크린(11)에 화상을 투영하는 프로젝터(13)와, 스크린(11)의 후면측 전체를 시야각(14a)에 포함시키는 위치에 배치되어 스크린의 후면측에서 스크린(11)을 촬영하는 제1 CCD 카메라(15)(본 발명에 따른 촬상 유닛에 해당)와, 스크린(11)의 후면측 전체를 시야각(15a)에 포함시키는 위치에 배치되어 스크린의 후면측에서 스크린(11)을 촬영하는 제2 CCD 카메라(16)(본 발명에 따른 물체 검출 유닛에 해당)를 포함한다.

이동하는 물체를 검출하고 이 검출된 물체의 저면에 부착된 식별 코드를 하나의 CCD 카메라를 사용하여 인식하기 위해서는, 해상도가 높은 CCD 카메라를 사용할 필요가 있다. 그러나, 해상도가 높은 CCD 카메라를 사용하여 스크린에 배치된 물체를 검출하면, 검출에 시간이 많이 걸린다. 따라서, 본 실시예에 있어서는, 해상도가 낮은 CCD 카메라를 사용하여 정확도는 떨어지지만 짧은 시간 내에 수행될 수 있는 위치 검출과, 시간은 걸리지만 해상도가 높은 CCD 카메라를 사용하여 높은 정확도로 수행되어야 하는 식별 코드 검출을 분리하여 투영면을 촬영한다.

도 60에 도시된 바와 같이, 제3 실시예에 따른 화상 표시 장치의 본체 유닛(2)은, 제2 CCD 카메라(16)용 인터페이스를 구비하며 제2 CCD 카메라(16)를 사용하여 촬영한 화상의 촬상 데이터를 2치화하고 스크린에 배치된 물체의 위치 정보를 추출하기 위한 물체 영역 추출 유닛(21M)과, 제1 CCD 카메라(16)용 인터페이스를 구비하며 제1 CCD 카메라(15)를 사용하여 촬영한 화상의 촬상 데이터를 2치화하고 식별 코드와 저면의 윤곽에 관한 정보를 추출하여, 추출된 식별 정보와 패턴 인식용 사전 간의 패턴 매칭을 수행함으로써 물체의 방향 및 물체에 관한 식별 정보를 취득하는 물체 인식 유닛(22M)과, 프로젝터용 인터페이스(13)를 구비하며 소정의 애플리케이션 프로그램(24a)에 따라, 프로젝터(13)를 통해 스크린(11)의 후면측에서 투영되는 화상을 형성하는 물체 화상 형성 유닛(24), 그리고 물체 영역 추출 유닛(21M)에서 추출한 위치 정보, 물체 인식 유닛(22M)에서 취득한 물체의 식별 정보 및 물체의 방향에 관한 정보에 기초하여 프로젝터로부터 투영되는 화상을 조작하여, 소정의 애플리케이션 프로그램(24a)에 따라 투영 화상 형성 유닛(24)에서 형성된 화상에 새로운 내용과 동작을 추가하는 조작 처리 유닛(23M)을 포함한다.

본체 유닛(2)에서 형성된 화상은 프로젝터(13)를 사용하여 스크린(11)의 후면측에 투영되며, 이 투영 화상은 스크린(11)의 전면측을 관찰하고 있는 사람이 볼 수 있다.

더욱이, 패턴이 미리 기록되어 있으면서 저면에 부착되는 식별 코드(예를 들어, 형태 및 크기에 기초하여 식별되는 마크)를 갖는 물체가 스크린(11)의 전면측에 배치되는 경우, 물체 영역 추출 유닛(21M)은 제2 CCD 카메라(16)를 사용하여 촬영한 촬상 데이터로부터 위치를 검출하여 이 정보를 조작 처리 유닛(23M)으로 전송한다. 조작 처리 유닛(23M)은 물체가 배치되어 있는 위치를 포함하고 있는 영역에 균일한 백색의 화상을 투영하기 위한 데이터를 투영 화상 형성 유닛(24)으로 전송한다. 한편, 물체 인식 유닛(22M)은 해상도가 높은 제1 CCD 카메라(15)를 사용하여 촬영한 균일한 백색의 영역 내의 저면의 윤곽에 대한 촬상 데이터 및 식별 코드로부터 물체에 관한 식별 정보를 취득하고, 매 시간 촬상 데이터로부터 이동 벡터를 취득하여, 이 정보를 조작 처리 유닛(23M)으로 전송한다. 조작 처리 유닛(23M)은, 식별 정보에 기초하여 새로운 화상을 추가하는 조작과, 투영 화상 형성 유닛(24)에서 형성된 화상에 이동 벡터에 따른 움직임을 제공하기 위한 조작을 수행한다.

본 발명이 전술한 실시예로만 한정되는 것은 아니며, 다양한 변형예 및 수정예가 본 발명의 영역을 벗어남이 없이 이루어질 수도 있다.

본 출원은 2005년 6월 3일자로 출원된 일본 우선권 주장 출원 제2005-164414호 및 2006년 1월 17일자로 출원된 일본 우선권 주장 출원 제2006-009260호에 기초한 것으로서, 그 전체 내용이 본 명세서에 참조로 포함된다.

Claims (19)

1. 스크린상의 화상을 촬영하도록 구성된 촬영 유닛과;

   상기 스크린상에 투영되는 상기 화상을 생성하는 투영 화상 생성 유닛과;

   상기 촬영 유닛에 의해 촬영된 상기 화상으로부터 물체 또는 도형 정보에 관한 식별 정보를 추출하는 화상 추출 유닛과;

   상기 화상 추출 유닛에 의해 추출된 상기 물체 정보에 관한 상기 식별 정보로부터 속성 정보를 인식하는 물체 인식 유닛과;

   상기 화상 추출 유닛에 의해 추출된 상기 도형 정보에 관한 상기 식별 정보로부터 특성 정보를 인식하는 도형 인식 유닛과;

   상기 속성 정보 및 특성 정보에 기초하여 상기 투영 화상 생성 유닛을 조작하는 조작 처리 유닛

   을 포함하고,

   상기 물체 인식 유닛은 소정 시간 동안 화상이 투영되는 투영면 또는 상기 투영면의 후면에서의 상기 물체의 탈부착 횟수를 검출하며,

   상기 조작 처리 유닛은 상기 탈부착 횟수에 기초하여, 미리 정해진 처리를 수행하며, 관련 처리 결과를 나타내는 화상을 생성하도록 투영 화상 생성 유닛을 조작하는 것인 화상 표시 장치.
2. 제1항에 있어서, 상기 조작 처리 유닛은 상기 속성 정보가 상기 식별 정보와 연관되어 저장되는 속성 정보 기억 유닛을 포함하며,

   상기 조작 처리 유닛은 상기 도형의 종류 또는 상기 도형의 크기에 기초하여, 상기 속성 정보 기억 유닛에 저장된 상기 속성 정보를 정의하는 것인 화상 표시 장치.
3. 제1항에 있어서, 상기 조작 처리 유닛은 상기 물체 인식 유닛에 의해 취득된 상기 속성 정보에 기초하여, 상기 물체의 물체 화상을 생성하도록 상기 투영 화상 생성 유닛을 조작하거나, 상기 도형 인식 유닛에 의해 인식된 상기 도형의 종류에 기초하여, 상기 도형의 도형 화상을 생성하도록 상기 투영 화상 생성 유닛을 조작하는 것인 화상 표시 장치.
4. 제2항에 있어서, 상기 물체 인식 유닛은 상기 물체에 관한 위치 정보를 취득하는 위치 정보 취득 유닛을 포함하며,

   상기 조작 처리 유닛은 상기 도형 인식 유닛에 의해 인식된 상기 도형의 종류 및 상기 물체에 관한 위치 정보를 취득하는 상기 위치 정보 취득 유닛에 의해 취득된 상기 물체에 관한 위치 정보에 기초하여, 상기 속성 정보 기억 유닛에 저장된 물체에 관한 속성 정보를 정의하는 것인 화상 표시 장치.
5. 삭제
6. 제2항에 있어서, 상기 조작 처리 유닛은, 상기 도형 인식 유닛에 의해 검출 된 드로잉된 도형에 대한 처리에 따라, 상기 도형의 종류에 기초하여 정의된 상기 물체에 관한 속성 정보에 대해 소정의 처리를 수행하는 것인 화상 표시 장치.
7. 제2항에 있어서, 상기 조작 처리 유닛은, 상기 물체에 관한 식별 정보와 상기 도형의 종류의 취득 순서에 따라, 상기 속성 정보 기억 유닛에 상기 속성 정보를 정의할지 여부를 판정하는 것인 화상 표시 장치.
8. 제1항에 있어서, 상기 식별 정보는 원형(circular) 형태로 배치된 1차원 바코드를 포함하는 것을 특징으로 하는 화상 표시 장치.
9. 제8항에 있어서, 상기 1차원 바코드의 끝점에서부터 시작점까지 소정 길이 이상을 갖는 공백이 배치되어 있는 것인 화상 표시 장치.
10. 제9항에 있어서, 상기 물체 인식 유닛은 상기 공백의 위치에 기초하여 상기 물체의 회전을 검출하는 것인 화상 표시 장치.
11. 제8항에 있어서, 상기 물체 인식 유닛은 상기 1차원 바코드를 원주 방향으로 스캐닝하여 상기 식별 정보를 추출하는 것을 특징으로 하는 화상 표시 장치.
12. 제1항에 있어서, 상기 물체는 측면에 미러 형태의 반사체를 포함하는 원통형 또는 프리즘 형태를 갖는 것인 화상 표시 장치.
13. 제1항에 있어서, 상기 물체는 투명 재료를 포함하는 원통형 또는 프리즘 형태를 갖는 것인 화상 표시 장치.
14. 제12항에 있어서, 상기 투영 화상 생성 유닛은 상기 물체의 둘레에 화상을 투영하고, 상기 화상은 관련 물체의 외형을 나타내는 것인 화상 표시 장치.
15. 제13항에 있어서, 상기 투영 화상 생성 유닛은 상기 물체의 저면에 화상의 상하 및 좌우 반전된 화상을 투영하고, 상기 화상은 관련 물체에 관한 정보를 나타내는 것인 화상 표시 장치.
16. 제13항에 있어서, 상기 투영 화상 생성 유닛은 상기 물체의 저면의, 1차원 바코드가 배치되지 않은 영역에 화상을 투영하고, 상기 화상은 관련 물체에 관한 정보를 나타내는 것인 화상 표시 장치.
17. 제1항에 있어서, 상기 촬영 유닛은 화상이 투영되는 투영면과, 그 투영면의 후면에 배치된 물체 또는 드로잉된 도형을 촬영하는 것인 화상 표시 장치.
18. 제1항에 있어서, 상기 화상 추출 유닛은 상기 촬영 유닛에 의해 촬영된 촬상 데이터로부터 상기 물체에 관한 식별 정보 또는 상기 도형에 관한 도형 정보를 추출하는 것인 화상 표시 장치.
19. 제1항에 있어서, 상기 조작 처리 유닛은 상기 물체 인식 유닛에 의해 인식된 상기 속성 정보와, 상기 도형 인식 유닛에 의해 인식된 상기 도형의 종류 또는 상기 도형의 크기에 기초하여, 상기 투영 화상 생성 유닛을 조작하는 것인 화상 표시 장치.

Images