KR20070094466A - 정보 처리 장치 및 정보 처리 방법 - Google Patents

Abstract

본 발명은 복수의 애플리케이션 프로그램을 공통으로 조작할 수 있는 사용자 인터페이스를 제공하는 것을 목적으로 한다.

복수의 애플리케이션 프로그램에 대하여 공통의 입출력 인터페이스를 제공하는 정보 처리 장치로서, 복수의 애플리케이션 프로그램 각각에 의해 작성되고, 각 애플리케이션 프로그램에 고유한 데이터 구조에 나타낸 고유 문서를, 공통 데이터 구조에 나타낸 공통 문서로 변환하는 문서 변환부와, 공통 문서를 사용자에게 출력하는 출력부와, 공통 문서에 대한 사용자의 조작을 입력하는 입력부와, 공통 문서에 포함되는 오브젝트를 출력부에서의 오브젝트로 변환하는 인터페이스 어댑터부와, 사용자의 조작 내용에 따라 공통 문서를 변경하는 변경부와, 공통 문서에 대한 변경을 고유 문서에 대하여 반영하는 변경 반영부를 포함하는 정보 처리 장치를 제공한다.

Description

정보 처리 장치 및 정보 처리 방법{INFORMATION PROCESSING APPARATUS AND METHOD}

도 1은 본 발명의 실시형태에 따른 정보 처리 장치(10)의 기능 블록도를 도시한 도면.

도 2a는 프리젠테이션 프로그램에 의해 작성된 고유 문서(100)의 일례를 도시한 도면, 도 2b는 도 2a의 고유 문서(100)를 공통 데이터 구조로 변환한 공통 문서(200)의 일례를 도시한 도면.

도 3a은 고유 문서(100)에 포함되는 텍스트 오브젝트의 기술예를 도시한 도면, 도 3b은 공통 문서(200)에 포함되는 텍스트 오브젝트의 기술예를 도시한 도면, 도 3c은 본 발명의 실시형태에 따른 문서 변환룰 기억부(24)가 기억하는 오브젝트 변환 스키마의 일례를 도시한 도면.

도 4는 공통 문서(200)의 데이터 구조를 변환하는 처리 플로우를 도시한 도면.

도 5는 테이블 오브젝트 검출 처리(도 4의 단계 S21)의 일례를 도시한 도면.

도 6은 재그룹화 처리(도 4의 단계 S22)의 일례를 도시한 도면.

도 7은 텍스트 아웃라인화 처리(도 4의 단계 S23)의 일례를 도시한 도면.

도 8은 비텍스트 도형 제외 처리(도 4의 단계 S24)의 일례를 도시한 도면.

도 9는 비텍스트 오브젝트의 대체 텍스트의 표시 처리(도 4의 단계 S25)의 일례를 도시한 도면.

도 10은 레벨 추출 처리(도 4의 단계 S26)의 일례를 도시한 도면.

도 11은 헤딩(heading) 처리(도 4의 단계 S27)의 일례를 도시한 도면.

도 12는 리스트 구조 추출 처리(도 4의 단계 S28)의 일례를 도시한 도면.

도 13은 표 계산 영역 검출 처리(도 4의 단계 S29)의 일례를 도시한 도면.

도 14는 오브젝트 정렬(sorting) 처리(도 4의 단계 S30)의 일례를 도시한 도면.

도 15는 본 발명의 실시형태에 따른 입출력부(28) 및 인터페이스 어댑터부(30) 구성의 일례를, 변경 반영부(32)와 함께 도시한 도면.

도 16은 입출력부(28) 및 인터페이스 어댑터부(30)에 의한 처리 플로우의 일례를 도시한 도면.

도 17은 애플리케이션 프로그램에 의해 작성된 고유 문서(100) 표시의 일례를 도시한 도면.

도 18은 도 17에서 표시된 고유 문서(100)에 대응한 공통 문서(200)의 입출력 인터페이스부(20)에 의한 표시의 일례를 도시한 도면.

도 19는 복수의 애플리케이션 프로그램에 의해 작성된 고유 문서(100)를, 1개의 입출력 인터페이스부(20)에 의해 동시에 편집하는 예를 도시한 도면.

도 20은 본 발명의 실시형태에 따른 컴퓨터(1900) 하드웨어 구성의 일례를 도시한 도면.

<도면의 주요 부분에 대한 부호의 설명>

10 : 정보 처리 장치

12 : 애플리케이션 프로그램 실행부

14 : 보조 프로그램 실행부

16 : API

20 : 입출력 인터페이스부

22 : 문서 변환부

24 : 문서 변환룰 기억부

26 : 구조 변환부

28 : 입출력부

30 : 인터페이스 어댑터부

32 : 변경 반영부

34 : 인터페이스 변환룰 기억부

100 : 고유 문서

102 : 페이지 오브젝트

104 : 도형 오브젝트

106, 108 : 텍스트 오브젝트

200 : 공통 문서

282 : 트리 표시부

284 : 텍스트 에디터부

286 : 테이블 표시부

302 : 트리 표시용 인터페이스 어댑터

304 : 텍스트 에디터용 인터페이스 어댑터

306 : 테이블 표시용 인터페이스 어댑터

402 : 고유 윈도우

404 : 공통 윈도우

1900 : 컴퓨터

2000 : CPU

2010 : ROM

2020 : RAM

2030 : 통신 인터페이스

2040 : 하드디스크 드라이브

2050 : 플렉시블 디스크·드라이브

2060 : CD-ROM 드라이브

2070 : 입출력 칩

2075 : 그래픽·컨트롤러

2080 : 표시 장치

2082 : 호스트·컨트롤러

2084 : 입출력 컨트롤러

2090 : 플렉시블 디스크

2095 : CD-ROM

본 발명은 정보 처리 장치, 정보 처리 방법 및 프로그램에 관한 것이다. 특히 본 발명은 복수의 애플리케이션 프로그램에 대하여 공통의 입출력 인터페이스를 제공하는 정보 처리 장치, 정보 처리 방법 및 프로그램에 관한 것이다.

종래로부터, 컴퓨터 화면에 표시된 문자를 음성 출력하는 스크린 리더가 알려져 있다. 시각 장애자는 스크린 리더 및 키보드를 사용하여, 애플리케이션 프로그램을 이용한다.

컴퓨터에 의한 액세스의 유용성을 향상시키는 기술로서, 특허 문헌 1∼3및 비특허 문헌 1∼2가 알려져 있다. 특허 문헌 1에는 사용자 정보를 포함하는 프로파일 정보에 따라 사용자 인터페이스를 생성하는 정보 처리 장치가 기재되어 있다. 특허 문헌 2에는 선택된 정보가 복잡한 경우, 상기 정보의 서브셋에 링크하는 방법이 기재되어 있다. 특허 문헌 3에는 화면의 변화를 트리거로 하여 화면 중의 주목 개소를 결정하고, 상기 주목 개소에 기초하여 새로운 변환 화면을 작성하는 장치가 기재되어 있다.

비특허 문헌 1에는 스크린 리더에 의해 기존의 애플리케이션을 판독하는 경우에 있어서, 어댑티브 인터페이스를 이용하는 것의 우위성이 기재되어 있다. 또한, 비특허 문헌 2에는 트리 구조로 변환하는 인터페이스에 의해, 웹 페이지를 액 세스하는 것을 제안하고 있다.

[특허 문헌 1] 일본 특허 공개 제2005-92504호 공보

[특허 문헌 2] 일본 특허 공개 제2002-229843호 공보

[특허 문헌 3] 일본 특허 공개 평10-83269호 공보

[비특허 문헌 1] Paul Blenkhorn, Careth Evans, "Augmenting the user interface of microsoft outlook and internet explorer for screenreaders", International Technology and Persons with Disabilities Conference 2002

[비특허 문헌 2]

Esmond Walshe, Barry McMullin, "Accessing Web Based Documents Through a Tree Structural Interface", International Conference on Computers Helping People with Special Needs 2004

그런데, 종래의 애플리케이션 프로그램은 문자를 중심으로 한 정보를 화면에 표시하고 있었다. 따라서, 종래의 스크린 리더는 애플리케이션 프로그램이 새롭게 화면에 출력하는 문자를 순차적으로 음성 출력하는 구조이며, 화면에 표시된 내용을 시각 장애자에 이해시킬 수 있었다. 그러나, 최근의 애플리케이션 프로그램은 고도의 그래픽 기능을 이용하여 복잡한 표시를 한다. 따라서, 최근에는 종래의 수법을 이용한 스크린 리더에서는 화면에 표시된 내용을 시각 장애자에 이해시키기 어려워졌다.

또한, 애플리케이션 프로그램은 각각이 독자의 사용자 인터페이스를 사용하 고 있으며, 키보드의 조작에 차이가 있었다. 따라서, 다수의 애플리케이션 프로그램을 이용하는 경우, 사용자가 이들의 조작에 숙련되는 것이 부담이었다. 또한, 종래, 판독 정밀도 및 조작성을 확보하는 것을 목적으로 하여, 애플리케이션 프로그램마다 스크린 리더가 작성되어 있었다. 그러나, 애플리케이션 프로그램의 기능 향상에 따라 애플리케이션 프로그램에 변경이 발생한 경우에 있어서의 스크린 리더 수정의 부담이 커지고 있다.

또한, 비특허 문헌 1은 다른 애플리케이션에 대하여 동일한 어댑티브 인터페이스를 제공한다는 것은 기재되어 있지 않다. 비특허 문헌 1은 어댑티브 인터페이스와 애플리케이션이 동기하여 편집을 행한다는 것도 기재되어 있지 않다. 또한, 비특허 문헌 2는 웹페이지만을 대상으로 하고 있기 때문에, 다른 애플리케이션에 동일한 인터페이스를 제공하는 것은 기재되어 있지 않다. 또한, 비특허 문헌 2는 문서 편집에 대해서도 기재되어 있지 않다.

그래서 본 발명은 상기한 과제를 해결할 수 있는 정보 처리 장치, 정보 처리 방법 및 프로그램을 제공하는 것을 목적으로 한다. 이 목적은 특허청구 범위에서의 독립항에 기재한 특징 조합에 의해 달성된다. 또한, 종속항은 본 발명의 한층 높은 유리한 구체예를 규정한다.

본 발명의 제1 형태에 의하면, 복수의 애플리케이션 프로그램에 대하여 공통의 입출력 인터페이스를 제공하는 정보 처리 장치로서, 복수의 애플리케이션 프로그램 각각에 의해 작성되고, 각 애플리케이션 프로그램에 고유한 데이터 구조에 나 타낸 고유 문서를 공통 데이터 구조에 나타낸 공통 문서로 변환하는 문서 변환부와, 공통 문서를 사용자에게 출력하는 출력부와, 공통 문서에 대한 사용자의 조작을 입력하는 입력부와, 공통 문서에 포함되는 오브젝트를 출력부에서의 오브젝트로 변환하는 인터페이스 어댑터부와, 사용자의 조작 내용에 따라 공통 문서를 변경하는 변경부와, 공통 문서에 대한 변경을 고유 문서에 대하여 반영하는 변경 반영부를 포함하는 정보 처리 장치, 상기 정보 처리 장치에 관한 정보 처리 방법 및 프로그램을 제공한다.

또한, 상기한 발명의 개요는 본 발명의 필요한 특징 모두를 열거한 것이 아니고, 이들 특징군의 서브 콤비네이션도 또한 발명이 될 수 있다.

[실시형태]

이하, 발명의 실시형태를 통하여 본 발명을 설명하지만, 이하의 실시형태는 특허청구 범위에 관한 발명을 한정하는 것은 아니고, 또한 실시형태 중에서 설명되어 있는 특징 조합의 전부가 발명의 해결 수단에 필수라고는 한정되지 않는다.

도 1은 본 실시형태에 따른 정보 처리 장치(10)의 기능 블록도를 도시한다. 정보 처리 장치(10)는 하나 이상의 애플리케이션 프로그램 실행부(12)와, 보조 프로그램 실행부(14)와, 입출력 인터페이스부(20)를 포함한다. 애플리케이션 프로그램 실행부(12)는 애플리케이션 프로그램을 실행하여, 상기 정보 처리 장치(10)로 하여금 애플리케이션이 갖는 기능을 실현하게 한다. 애플리케이션 프로그램 실행부(12)의 각각은 일례로서, 워드 프로세서 프로그램, 표 계산 프로그램 및 프리젠테이션 프로그램 등을 실행하고, 상기 정보 처리 장치(10)를 워드 프로세서, 표 계 산 장치 및 프리젠테이션 장치 등으로서 기능시킨다.

애플리케이션 프로그램 실행부(12)의 각각은 실행하고 있는 애플리케이션 프로그램이 작성한 오브젝트를 포함하는 고유의 데이터 구조의 고유 문서(100)를 갖는다. 또한, 애플리케이션 프로그램 실행부(12)의 각각은 API(Application Program Interface)(16)를 갖는다. API(16)는 다른 프로그램을 실행하는 기능 블록으로부터 고유 문서(100)에 대한 액세스를 중개한다. 다른 프로그램을 실행하는 기능 블록은 API(16)를 통함으로써, 상기 애플리케이션 프로그램이 작성한 고유 문서(100)에 포함되는 오브젝트의 판독 및 변경을 할 수 있다. 애플리케이션 프로그램은 일례로서, 표준화 단체(W3C)에 있어서 표준화된 DOM(Document Object Model)의 API에 의해, 다른 애플리케이션 프로그램에 의해 작성된 XML(Extensible Markup Language)문서에 액세스할 수 있다.

보조 프로그램 실행부(14)는 애플리케이션 프로그램에 대한 사용자의 액세스를 보조하는 보조 프로그램을 실행하여, 애플리케이션 프로그램에 대한 입출력 장치로서의 기능을 상기 정보 처리 장치(10)가 실현하게 한다. 정보 처리 장치(10)가 스피커 또는 헤드폰 등의 음성 출력 인터페이스를 제공하는 경우에 있어서, 보조 프로그램 실행부(14)는 텍스트 리더 프로그램을 실행하여, 애플리케이션에 의해 작성된 텍스트를 판독하는 기능을 포함하는 텍스트 리더로서 상기 정보 처리 장치(10)를 기능시켜도 좋다. 또한, 보조 프로그램 실행부(14)는 일례로서, 편집용 애플리케이션 프로그램을 실행하여, 애플리케이션 프로그램의 외부로부터 고유 문서(100)를 편집하는 편집 장치로서 상기 정보 처리 장치(10)를 기능시켜도 좋다.

입출력 인터페이스부(20)는 복수의 애플리케이션 프로그램에 대하여 공통의 입출력 인터페이스를 제공한다. 보다 구체적으로는 입출력 인터페이스부(20)는 복수의 애플리케이션 프로그램에 대하여 사용자가 액세스하기 위한 공통의 사용자 인터페이스로서 기능한다. 입출력 인터페이스부(20)는, 예컨대 워드 프로세서 프로그램, 표 계산 프로그램 및 프리젠테이션 프로그램이라는 복수의 애플리케이션 프로그램에 대한 공통의 조작 환경을 제공한다. 또한, 입출력 인터페이스부(20)는 복수의 애플리케이션 프로그램과 이들에 공통으로 이용되는 보조 프로그램간의 입출력 인터페이스로서 기능한다. 예컨대, 입출력 인터페이스부(20)는, 예컨대 워드 프로세서 프로그램, 표 계산 프로그램 및 프리젠테이션 프로그램이라는 복수의 애플리케이션 프로그램에 대하여, 공통으로 이용되는 보조 장치(예컨대, 텍스트 리더)를 접속한다.

입출력 인터페이스부(20)는 문서 변환부(22)와, 문서 변환룰 기억부(24)와, 구조 변환부(26)와, 입출력부(28)와, 인터페이스 어댑터부(30)와, 변경 반영부(32)와, 인터페이스 변환룰 기억부(34)를 갖는다. 문서 변환부(22)는 복수의 애플리케이션 프로그램 각각에 의해 작성되고, 각 애플리케이션 프로그램에 고유한 데이터 구조에 나타낸 고유 문서(100)를 공통 데이터 구조에 나타낸 공통 문서(200)로 변환한다. 즉, 문서 변환부(22)는 애플리케이션 프로그램마다 데이터 구조가 다른 고유 문서(100)의 각각을 독출하고, 독출한 고유 문서(100)를 미리 정해진 공통 데이터 구조로 변환한다. 문서 변환부(22)는 고유 문서(100)에 포함되는 각 오브젝트를 일례로서, 트리 구조의 노드로서 표시한 데이터 구조의 공통 문서(200)로 변환한 다.

또한, 문서 변환부(22)는 애플리케이션 프로그램에 의해 작성된 고유 문서(100)에 포함되는 오브젝트를 취득 및 변경하는 경우, API(16)를 통해 액세스하여도 좋다. 고유 문서(100)에 포함되는 오브젝트가 애플리케이션 프로그램에 의해 변경된 경우, 문서 변환부(22)는 대응하는 공통 문서(200)에 포함되는 오브젝트에 대하여, 상기 변경을 반영하여도 좋다.

문서 변환룰 기억부(24)는 고유 문서(100)에 포함되는 각 오브젝트를 공통 데이터 구조에 있어서의 각 오브젝트로 변환하기 위한 변환룰을 기억한다. 이 경우에 있어서, 문서 변환부(22)는 고유 문서(100)에 포함되는 오브젝트에 대응하는 변환룰이 문서 변환룰 기억부(24)에 기억되어 있는 것을 조건으로 하여, 상기 변환룰에 기초하여 고유 문서(100)에 포함되는 오브젝트를 공통 데이터 구조에 있어서의 오브젝트로 변환하여도 좋다.

구조 변환부(26)는 텍스트 리더에 의해 음성 출력한 경우에 시각 장애자가 내용을 인식하기 쉽도록 상기 공통 문서(200)의 데이터 구조를 변환한다. 보다 구체적으로는 구조 변환부(26)는 공통 문서(200)에 포함되는 복수의 오브젝트 각각에 대해서 대응하는 애플리케이션 프로그램에 의해 표시되어야 하는 위치, 크기, 색 및 폰트의 종류 중 적어도 하나를 포함하는 속성이 미리 정해진 테이블 구조 및 리스트 구조 중 적어도 하나를 포함하는 미리 정해진 데이터 구조에 대응하여 정해진 조건을 만족시키는지를 검출한다. 그리고, 구조 변환부(26)는 상기 조건을 만족시키는 것에 따라 상기 조건을 만족시키는 미리 정해진 데이터 구조의 각 노드에 상 기 복수의 오브젝트의 각각을 할당함으로써, 공통 문서(200)의 데이터 구조를 변환한다.

페이지 입출력부(28)는 본 발명에 따른 출력부 및 입력부의 기능을 함께 갖고, 공통 문서(200)에 포함되는 오브젝트를 사용자에게 출력하여, 공통 문서(200)에 포함되는 오브젝트에 대한 사용자의 조작을 입력한다. 예컨대, 입출력부(28)는 표시 장치 상에 공통 문서(200)를 표시하고, 입력 장치를 통하여 행해진 사용자의 조작을 입력한다. 즉, 입출력부(28)는 공통 문서(200)의 사용자 인터페이스를 생성한다. 또한, 입출력부(28)는 공통 문서(200)에 포함되는 각 오브젝트를 트리 구조의 계층구조에 의해 표시 장치 상에 표시한다.

또한, 입출력부(28)는 공통 문서(200)에 포함되는 오브젝트를 보조 프로그램 실행부(14)에 출력하고, 공통 문서(200)에 포함되는 오브젝트에 대한 변경 조작을 보조 프로그램 실행부(14)로부터 입력하여도 좋다. 즉, 입출력부(28)는 보조 프로그램 실행부(14)에 대한 공통 문서(200)의 입출력 인터페이스를 생성한다. 일례로서, 정보 처리 장치(10)가 복수의 애플리케이션 프로그램에 대하여 공통의 음성 출력 인터페이스를 제공하는 것인 경우에는, 입출력부(28)는 텍스트를 판독하는 기능을 포함하는 텍스트 리더에 대하여 공통 문서에 포함되는 텍스트를 출력함으로써 공통 문서를 판독시켜도 좋다.

인터페이스 어댑터부(30)는 공통 문서(200)에 포함되는 오브젝트를 입출력부(28)에 있어서의 오브젝트로 변환한다. 또한, 인터페이스 어댑터부(30)는 본 발명에 따른 변경부의 일례로서도 기능하고, 입출력부(28)가 입력한 사용자의 조작 내용에 따라 공통 문서(200)를 변경한다. 인터페이스 어댑터부(30)는 보조 프로그램 실행부(14)를 통해 입출력부(28)가 입력한 사용자의 조작에 따라 공통 문서(200)를 변경하여도 좋다. 또한, 인터페이스 어댑터부(30)는 표시 장치 상에 표시해야 하는 오브젝트를 공통 문서(200)로부터 취출하여, 입출력부(28)에 의해 표시시킨다. 인터페이스 어댑터부(30)는 보조 프로그램 실행부(14)에 출력해야 하는 오브젝트를 공통 문서(200)로부터 취출하여, 입출력부(28)에 의해 출력시킨다.

인터페이스 변환룰 기억부(34)는 공통 문서(200)에 포함되는 공통 데이터 구조에 있어서의 각 오브젝트를 입출력부(28)에서 이용되는 데이터 구조의 각 오브젝트로 변환하기 위한 변환룰을 기억한다. 이 경우에 있어서, 인터페이스 어댑터부(30)는 입출력부(28)에서 이용되는 각 오브젝트에 대응하는 변환룰이 인터페이스 변환룰 기억부(34)에 기억되어 있는 것을 조건으로 하여, 상기 변환룰에 기초하여 공통 문서(200)에 포함되는 공통 데이터 구조에 있어서의 각 오브젝트를 입출력부(28)에 있어서의 오브젝트로 변환하여도 좋다.

변경 반영부(32)는 공통 문서(200)에 포함되는 오브젝트에 대한 변경을 고유문서(100)에 대하여 반영한다. 즉, 변경 반영부(32)는 공통 문서(200)에 포함되는 오브젝트가 입출력부(28)를 통해 변경된 경우, API(16)를 통해, 애플리케이션 프로그램에 의해 작성된 고유 문서(100)에 액세스하여, 대응하는 오브젝트를 변경하여도 좋다.

이와 같은 입출력 인터페이스부(20)에 의하면, 애플리케이션 프로그램에 의해 작성된 고유 문서(100)의 형식을 공통 데이터 구조의 공통 문서(200)로 변환하 기 때문에, 복수의 애플리케이션 프로그램에 대하여 공통의 사용자 인터페이스를 제공할 수 있다. 이것에 의해, 입출력 인터페이스부(20)는 복수의 다른 애플리케이션 프로그램에 대한 공통의 조작 환경을 제공할 수 있기 때문에, 시각 장애자의 조작 부담을 경감시킬 수 있다.

또한, 입출력 인터페이스부(20)에 의하면, 사용자의 조작에 의해 오브젝트가 변경된 경우, 상기 변경을 공통 문서(200)에 반영하는 동시에, 상기 변경을 고유 문서(100)에도 반영한다. 이것에 의해, 입출력 인터페이스부(20)는 애플리케이션 프로그램에 의한 표시와, 입출력 인터페이스부(20)에 의한 표시를 동기시킬 수 있다. 따라서, 입출력 인터페이스부(20)는, 예컨대 시각 장애자가 정상인(sighted person)의 어시스트를 받으면서, 애플리케이션 프로그램을 조작하는 환경을 제공할 수도 있다. 또한, 입출력 인터페이스부(20)는 정상인에게 표시하고 있는 내용과, 시각 장애자에게 표시하고 있는 내용을 무결절성있게 전환할 수 있다.

도 2a는 프리젠테이션 프로그램에 의해 작성된 고유 문서(100)의 일례를 나타내고, 도 2b는 도 2a의 고유 문서(100)를 공통 데이터 구조를 변환한 공통 문서(200)의 일례를 나타낸다. 프리젠테이션 프로그램은 오브젝트의 상호 계층 관계를 시각적으로 나타낸 고유 문서(100)를 작성한다. 프리젠테이션 프로그램은 일례로서, 도 2a에 도시하는 바와 같은, 각 페이지 오브젝트(102) 상에 도형 오브젝트(104) 및 텍스트 오브젝트(106, 108)를 배치한 고유 문서(100)를 작성한다. 또한, 프리젠테이션 프로그램은 표시 위치의 차이, 폰트의 차이, 크기의 차이에 의해 텍스트 오브젝트(106, 108)를 계층화한 고유 문서(100)를 작성한다.

문서 변환부(22)는 이러한 고유 문서(100)에 포함되는 각 오브젝트(102∼108)를 도 2b에 도시하는 바와 같은, 트리 구조의 노드로서 나타낸 공통 문서(200)로 변환한다. 문서 변환부(22)는 일례로서, 페이지 오브젝트(102)를 상위 계층에 배치하고, 각 페이지 오브젝트(102) 상에 표시되는 각 텍스트 오브젝트(106, 108)를 하위 계층의 노드에 배치한 공통 문서(200)로 변환한다.

이것에 의해, 입출력 인터페이스부(20)에 의하면, 시각적으로 나타낸 문서를 텍스트에 의해 나타낸 문서로 변환할 수 있다. 따라서, 입출력 인터페이스부(20)에 의하면, 텍스트 리더에 의해 음성 출력한 경우에도 시각 장애자가 내용을 용이하게 이해할 수 있는 문서를 작성할 수 있다. 또한, 입출력 인터페이스부(20)에 의하면, 트리 구조에 의해 오브젝트를 배치하기 때문에, 텍스트 리더에 의해 오브젝트를 음성 출력한 경우, 시각 장애자에 대하여 용이하게 오브젝트 상호의 계층 관계를 이해시킬 수 있다.

도 3a은 고유 문서(100)에 포함되는 텍스트 오브젝트의 기술예를 나타내고, 도 3b은 공통 문서(200)에 포함되는 텍스트 오브젝트의 기술예를 나타내며, 도 3c은 본 실시형태에 따른 문서 변환룰 기억부(24)가 기억하는 텍스트 오브젝트 폰트색의 변환 스키마의 일례를 나타낸다.

문서 변환룰 기억부(24)는 취득한 오브젝트를 API(16)에 의해 정해진 기술 형식으로부터 공통 데이터 구조의 기술 형식으로 변환하기 위한 변환룰을 나타내는 변환 스키마를 애플리케이션 프로그램마다 기억하여도 좋다. 그리고, 문서 변환부(22)는 고유 문서(100)로부터 고유의 기술 형식의 오브젝트를 취득하는 경우, 문 서 변환룰 기억부(24)에 기억된 변환 스키마를 참조하여, 취득한 오브젝트를 공통 데이터 구조의 기술 형식으로 변환하여도 좋다.

변환 스키마는 일례로서, 오브젝트마다 고유하게 정해지는 ID와, 고유 문서(100)에 있어서의 상기 오브젝트의 기술 정의와, 공통 문서(200)에 있어서의 상기 오브젝트의 기술 정의를 대응시켜 기술한 구조를 갖는다. 예컨대, 도 3c에 도시한 변환 스키마는 폰트색을 특정하는 오브젝트를 나타내는 ID가 기술되어 있다. 또한, 상기 변환 스키마는 고유 문서(100)[도 3a]에 있어서의 폰트색이 <text> 엘리멘트하의 <style> 엘리멘트 내에 기술된 "font Color" 속성으로부터 취득할 수 있는 것이 기술되어 있다. 또한, 상기 변환 스키마는 공통 문서(200)[도 3b]에 있어서의 폰트색이 <text> 엘리멘트하의 "font Color" 속성으로부터 취득할 수 있는 것이 기술되어 있다.

이와 같은 입출력 인터페이스부(20)에 의하면, 새로운 애플리케이션 프로그램에 대한 입출력 인터페이스를 제공하는 경우라도 상기 새로운 애플리케이션 프로그램에 대응한 변환 스키마를 작성하면 좋고, 애플리케이션 프로그램 자체에 수정은 행하지 않아도 좋다. 따라서, 입출력 인터페이스부(20)에 의하면, 텍스트 리더에의 대응을 위한 개발 부담을 경감할 수 있다.

도 4는 구조 변환부(26)에 의한 공통 문서(200)의 데이터 구조를 변환하는 처리 플로우의 일례를 나타낸다. 구조 변환부(26)는 공통 문서(200)로부터 페이지(프리젠테이션 프로그램에 있어서의 슬라이드의 단위, 워드 프로세서에 있어서의 용지 단위 등)에 포함되는 오브젝트를 추출하여, 1 페이지씩 단계 S21∼단계 S30을 처리한다(S20, S31). 구조 변환부(26)는 테이블 오브젝트 검출 처리(단계 S21), 재그룹화 처리(단계 S22), 텍스트 아웃라인화 처리(단계 S23), 비텍스트 도형 제외 처리(단계 S24), 비텍스트 오브젝트 대체 텍스트의 표시 처리(단계 S25), 레벨 추출 처리(단계 S26), 헤딩(heading) 처리(단계 S27), 리스트 구조 추출 처리(단계 S28), 표 계산 영역 검출 처리(단계 S29), 오브젝트 정렬(sorting) 처리(단계 S30)를 페이지마다 반복한다. 그리고, 최종 페이지까지 처리가 완료되면, 구조 변환 처리를 종료한다(단계 S31).

이하, 도 5∼도 14를 참조하여, 이들의 각 처리에 대해서 설명을 한다. 또한, 도 5∼도 14에 있어서, (A)는 구조 변환 전의 애플리케이션 상의 표시 이미지로부터, 구조 변환 후의 트리 구조의 표시 이미지로의 변화를 나타내고, (B)는 구조 변환 전의 트리 구조로부터, 구조 변환 후의 트리 구조로의 변화를 나타낸다.

도 5는 테이블 오브젝트 검출 처리(도 4의 단계 S21)의 일례를 나타낸다. 복수의 텍스트 오브젝트가 직사각형의 테이블 형상으로 배열되어 있는 경우, 구조 변환부(26)는 각 텍스트 오브젝트의 페이지 내에 있어서의 위치 등을 검출함으로써, 각 텍스트 오브젝트의 직사각형 배열 중에 있어서의 행 및 열을 검출한다. 다음에, 구조 변환부(26)는 검출한 테이블을 나타내는 가상 테이블 오브젝트 및 검출한 테이블 내의 각 행(또는 열)을 나타내는 가상 행(또는 열) 오브젝트를 공통 문서(200)에 추가한다. 그리고, 구조 변환부(26)는 각 텍스트 오브젝트를 대응하는 가상 행(또는 열) 오브젝트의 하위 계층에 배치한다. 이것에 의해, 구조 변환부(26)는 테이블 형상으로 배열된 텍스트 오브젝트를 시각 장애자에게 이해시킬 수 있다.

도 6은 재그룹화 처리(도 4의 단계 S22)의 일례를 나타낸다. 복수의 도형 오브젝트가 중복되어 배치되어 있는 경우, 구조 변환부(26)는 중복되어 배치되어 있는 복수의 도형 오브젝트에 의해 형성되는 그룹을 검출하는 동시에, 각 그룹에 있어서의 도형 오브젝트 사이의 상하 관계를 검출한다. 그리고, 구조 변환부(26)는 검출한 그룹마다 트리 구조를 형성하는 동시에, 검출한 상하 관계에 따라 그룹 내에서의 트리 구조의 계층을 형성한다. 구조 변환부(26)는 그룹 내에 있어서의 상하 관계를, 예컨대 도형 오브젝트끼리의 중복 면적 비율에 따라 결정하여도 좋다. 이것에 의해, 구조 변환부(26)는 시각 장애자에 대하여 도형 오브젝트가 형성하는 그룹 및 그룹 내에서의 상하 관계를 이해시킬 수 있다.

도 7은 텍스트 아웃라인화 처리(도 4의 단계 S23)의 일례를 나타낸다. 인덱트가 설정되어 있는 텍스트 오브젝트를 포함하는 복수의 텍스트 오브젝트가 배치되어 있는 경우, 구조 변환부(26)는 인덱션에 의해 들여쓰기가 되어 있지 않은 텍스트 오브젝트를 트리 구조에 있어서의 상위 계층에 배치하고, 들여쓰기가 되어 있는 텍스트 오브젝트를 하위 계층에 배치한다. 이것에 의해, 구조 변환부(26)는 시각 장애자에 대하여 텍스트 오브젝트 사이의 인덱션 위치를 이해시킬 수 있다.

도 8은 비텍스트 도형 제외 처리(도 4의 단계 S24)의 일례를 나타낸다. 텍스트 정보가 포함된 도형 오브젝트 중에, 텍스트 정보를 포함하지 않는 도형 오브젝트가 포함되어 있는 경우, 구조 변환부(26)는 텍스트 정보를 포함하지 않는 도형 오브젝트를 트리 구조로부터 제외한다. 이것에 의해, 구조 변환부(26)는 필요 없는 정보를 배제하여, 시각 장애자에 대하여 텍스트 오브젝트에 액세스하기 쉽게 할 수 있다.

도 9는 비텍스트 오브젝트의 대체 텍스트의 표시 처리(도 4의 단계 S25)의 일례를 나타낸다. 대체 텍스트가 부가된 오브젝트가 배치되어 있는 경우, 구조 변환부(26)는 상기 오브젝트 대신에 또는 상기 오브젝트와 함께 대체 텍스트를 배치한다. 또한, 대체 텍스트가 부가되어 있지 않은 경우에는, 구조 변환부(26)는, 예컨대 문자 인식 처리를 행함으로써, 생성한 텍스트 오브젝트를 배치하여도 좋다. 이것에 의해, 구조 변환부(26)는 오브젝트의 형상, 배치 등을 인식하기 어려운 시각 장애자에 대해서도 대체 텍스트에 의해 상기 오브젝트의 내용을 이해시킬 수 있다.

도 10은 레벨 추출 처리(도 4의 단계 S26)의 일례를 나타낸다. 다른 텍스트오브젝트보다도 강조된 텍스트 오브젝트(예컨대, 다른 것보다 큰 폰트 또는 굵은 글씨의 폰트 오브젝트 등)가 포함되어 있는 경우, 구조 변환부(26)는 강조되어 있는 텍스트 오브젝트를 레벨이라고 판단하고, 다른 텍스트 오브젝트보다도 트리 구조에 있어서 상위 계층에 배치한다. 이것에 의해, 구조 변환부(26)는 구조 변환부(26)는 문장 중에 포함되는 레벨 정보를 반영한 트리 구조를 형성할 수 있고, 시각 장애자에 대하여 문장에 액세스하기 쉽게 할 수 있다.

도 11은 헤딩(heading) 처리(도 4의 단계 S27)의 일례를 나타낸다. 병렬적으로 배치된 텍스트 오브젝트에 있어서, 다른 것과 다른 폰트의 텍스트 오브젝트가 포함되어 있는 경우, 구조 변환부(26)는 상기 다른 폰트의 테스트 오브젝트를 문장 중에 배열된 헤더로 판단하고, 다른 텍스트 오브젝트보다도 트리 구조에 있어서, 상위 계층에 배치한다. 이것에 의해, 구조 변환부(26)는 문장 구조를 정확하게 나타낸 트리 구조를 형성할 수 있고, 시각 장해자에 대하여 문장에 액세스하기 쉽게 할 수 있다.

도 12는 리스트 구조 추출 처리(도 4의 단계 S28)의 일례를 나타낸다. 텍스트 데이터가 특수 기호 또는 인덴트에 의해 구획되어 있는 경우, 구조 변환부(26)는 특수 기호 또는 인덱션에 의한 단락마다 다른 텍스트 오브젝트로 분리한다. 그리고, 구조 변환부(26)는 특수 기호 또는 인덱션의 위치에 따라 분리한 텍스트 오브젝트에 계층을 형성한다. 이것에 의해, 구조 변환부(26)는 문장 구조를 정확히 나타낸 트리 구조를 형성할 수 있고, 시각 장애자에 대하여, 문장에 액세스하기 쉽게 할 수 있다.

도 13은 표 계산 영역 검출 처리(도 4의 단계 S29)의 일례를 나타낸다. 스프레트 시트 오브젝트(표 계산용 애플리케이션 등에 의해 작성되는 오브젝트)에 공백이 포함되어 있는 경우, 구조 변환부(26)는 1장의 시트 내에서의 데이터가 입력되어 있는 모든 셀을 커버하는 가장 작은 직사각형 영역을 잘라내고, 잘라낸 직사각형 영역에 포함되는 표를 트리 구조로 변환한다. 이것에 의해, 구조 변환부(26)는 필요 없는 정보를 배제하여, 시각 장애자에 대하여 스프레트 시트 오브젝트에 액세스하기 쉽게 할 수 있다.

도 14는 오브젝트 정렬 처리(도 4의 단계 S30)의 일례를 나타낸다. 2 차원으로 직사각형 배열된 도형 오브젝트에 대하여 X 좌표 또는 Y 좌표와는 다른 탭 오더 가 설정되어 있는 경우, 구조 변환부(26)는 미리 설정되어 있는 탭 오더의 순서를 직사각형 배치의 X 좌표 방향 또는 Y 좌표 방향으로 배열한 경우의 순서로 교체한다. 구조 변환부(26)는 탭 오더의 순서로 오브젝트를 음성 출력한 경우에, 시각 장애자에 대하여 복수의 도형 오브젝트의 상호 관계를 정확히 인식시킬 수 있다.

도 15는 본 실시형태에 따른 입출력부(28) 및 인터페이스 어댑터부(30) 구성의 일례를, 변경 반영부(32)와 함께 나타낸다. 인터페이스 어댑터부(30)는 입출력부(28)가 사용자에 대하여 제공하는 사용자 인터페이스에 적합한 오브젝트를 공통 문서(200)로부터 취출하여, 입출력부(28)에 공급한다. 즉, 인터페이스 어댑터부(30)는 공통 문서(200)를 사용자 인터페이스에 적합한 형식으로 변화하여, 입출력부(28)에 공급한다. 또한, 인터페이스 어댑터부(30)는 오브젝트에 대한 사용자의 조작을 입출력부(28)가 입력한 것에 따라 상기 조작에 따른 액션을 발행하고, 또한, 상기 조작에 따라 공통 문서(200)에 포함되는 대응하는 오브젝트를 변경한다.

인터페이스 어댑터부(30)는 입출력부(28)가 사용자에 대하여 제공하는 복수의 사용자 인터페이스 각각에 대응한 어댑터를 가져도 좋다. 인터페이스 어댑터부(30)는, 예컨대 입출력부(28)가 트리 표시부(282), 텍스트 에디터부(284), 테이블 표시부(286)를 갖는 경우, 각각에 대응하는 트리 표시용 인터페이스 어댑터(302), 텍스트 에디터용 인터페이스 어댑터(304), 테이블 표시용 인터페이스 어댑터(306)를 가져도 좋다. 이 경우에 있어서, 트리 표시용 인터페이스 어댑터(302)는 오브젝트를 트리 표시하는 트리 표시부(282)에 대하여, 트리 표시에 이용하는 오브젝트를 공통 문서(200)로부터 추출하여 공급한다. 텍스트 에디터용 인터페이스 어댑터(304)는 텍스트 에디터를 표시하는 텍스트 에디터부(284)에 대하여, 텍스트의 편집에 이용하는 오브젝트를 공통 문서(200)로부터 추출하여 공급한다. 테이블 표시용 인터페이스 어댑터(306)는 테이블 표시하는 테이블 표시부(286)에 대하여, 테이블 표시에 이용하는 오브젝트를 공통 문서(200)로부터 추출하여 공급한다.

이것에 의해 입출력부(28)는 사용자 인터페이스를 구축하기 위해 이용하는 오브젝트만이 인터페이스 어댑터부(30)로부터 공급되기 때문에, 애플리케이션 프로그램에 의한 고유 처리에 상관없이, 어느 하나의 애플리케이션 프로그램에 의해 작성된 오브젝트도 사용자에게 표시할 수 있으며, 또한, 변경할 수 있다.

또한, 입출력부(28)에 포함되는 각각의 처리부[예컨대, 트리 표시부(282), 텍스트 에디터부(284), 테이블 표시부(286)]가 API를 갖고 있으면, 인터페이스 어댑터부(30)는 상기 API를 통해 각 처리부에 액세스를 하여도 좋다. 이 경우에 있어서, 인터페이스 어댑터부(30)에 포함되는 각 어댑터는 인터페이스 변환룰 기억부(34)에 기억된 변환 스키마를 호출하여도 좋다. 상기 변환 스키마는 각각의 API에 의해 정해진 형식으로 기술된 오브젝트와, 공통 데이터 구조로 기술된 오브젝트와의 변환룰을 나타낸다. 변환 스키마는 일례로서, 도 3에 도시한 예와 동일하게 오브젝트마다 고유하게 정해지는 ID와, 공통 문서(200)에 있어서의 상기 오브젝트의 기술 정의와, 입출력부(28)의 각 처리부에서의 상기 오브젝트의 기술 정의를 대응시켜 기술한 구조를 가져도 좋다. 이것에 의해, 인터페이스 어댑터부(30)는 공통 데이터 구조의 공통 문서(200)에 포함되는 오브젝트를 대응하는 표시 형식에 적합한 데이터 구조로 변환할 수 있다.

인터페이스 어댑터부(30)는 공통 문서(200)를 상기 공통 문서(200)를 편집하기 위해 미리 지정된 편집용 애플리케이션 프로그램에 고유한 데이터 구조에 나타낸 편집용 문서로 변환하여도 좋다. 이 경우에 있어서, 입출력부(28)는 변환한 편집용 문서를 편집용 애플리케이션 프로그램에 출력하여, 사용자에 의해 편집용 애플리케이션 프로그램을 이용하여 변경된 편집용 문서를 변경 후의 공통 문서(200)로서 입력한다. 이것에 의해, 인터페이스 어댑터부(30)는 외부의 애플리케이션 프로그램을 이용하여, 공통 문서(200)를 편집시킬 수 있다. 따라서, 인터페이스 어댑터부(30)는 사용자가 평소 사용하고 있는 에디터 등을 이용하여, 복수의 애플리케이션 프로그램 각각에 작성된 고유 문서(100)를 편집할 수 있다.

도 16은 입출력부(28) 및 인터페이스 어댑터부(30)에 의한 처리 플로우의 일례를 나타낸다. 인터페이스 어댑터부(30)를 통해 공통 문서(200)를 사용자에게 공급하는 경우, 우선, 인터페이스 어댑터부(30)는 초기 처리로서, 문서의 리스트를 작성하여, 입출력부(28)에 의해 문서 메뉴를 표시한다(S111). 다음에, 인터페이스 어댑터부(30)는 사용자로부터의 조작 입력을 검출하고(S112), 상기 조작 입력의 내용을 판단하여(S121∼S125), 조작 입력에 따른 처리를 행한다(S131∼S134).

예컨대, 문서 메뉴로부터 하나의 문서가 선택된 경우(S121의 예), 인터페이스 어댑터부(30)는 선택된 문서에 포함되는 오브젝트를 공통 문서(200)로부터 취출하고, 취출한 오브젝트를 입출력부(28)에 공급한다. 그리고, 입출력부(28)는 공급된 오브젝트를 트리 표시한다(S131). 입출력부(28)는 애플리케이션 프로그램마다 다른 트리 표시로 하여도 좋다. 입출력부(28)는 일례로서, 프리젠테이션 프로그램 의 문서를 표시하는 경우, 페이지 오브젝트를 트리 구조에 있어서의 상위 노드에 배치하고, 각 페이지 오브젝트 내에 포함되는 도형 오브젝트를 페이지 오브젝트 하에 계층화한 트리를 표시하여도 좋다. 또한, 입출력부(28)는 텍스트 문서의 문서를 표시하는 경우, 색인을 트리 구조에 있어서의 상위 노드에 배치하고, 색인 이외의 텍스트 오브젝트를 상기 색인 하에서 계층화한 트리를 표시하여도 좋다. 또한, 입출력부(28)는 적응 업무 애플리케이션 프로그램을 표시하는 경우, 사용할 수 있는 기능메뉴에 대응하는 오브젝트를 계층화한 트리를 표시하여도 좋다.

트리 표시 중에서 하나의 오브젝트가 선택된 경우(S122의 예), 인터페이스 어댑터부(30)는 선택된 오브젝트를 입출력부(28)에 공급한다. 그리고, 입출력부(28)는 상기 오브젝트에 알맞은 표시 화면을 선택하여 표시한다(S132). 이 경우에 있어서, 입출력부(28)는 사용자에 대하여 조회를 하고, 선택된 오브젝트에 알맞은 표시 화면을 표시하여도 좋다. 입출력부(28)는, 예컨대 편집 가능한 텍스트를 포함하는 오브젝트가 선택된 경우, 텍스트 편집하기 위한 컨트롤 화면을 표시하여도 좋다. 또한, 입출력부(28)는 도형 오브젝트와 같은 편집 불가능한 오브젝트가 선택된 경우, 판독 전용의 컨트롤 화면을 표시하여도 좋다. 또한, 입출력부(28)는 편집해야 하는 오브젝트를 표시하기 위해 초기값을 사용자에게 조회하고, 화면을 완성시켜도 좋다. 예컨대, 입출력부(28)는 텍스트의 경우, 편집 대상 문자열을 표시하기 위한 폰트 등을 사용자에게 조회하여도 좋고, 또한, 도형 오브젝트의 경우, 오브젝트의 설명 정보를 사용자에게 조회하여도 좋다.

오브젝트가 편집된 경우(S123의 예), 인터페이스 어댑터부(30)는 입출력 부(28)가 입력한 사용자로부터의 변경에 따라 공통 문서(200)에 포함되는 대응하는 오브젝트를 변경한다(S133). 표시 중의 오브젝트에 대해서 변경이 행해진 경우에는 입출력부(28)는 표시 내용을 변경한다.

버튼 누름 등의 액션 조작이 행해진 경우(S124의 예), 인터페이스 어댑터부(30)는 입출력부(28)가 입력한 액션 조작에 따라 대응하는 액션을 실행한다(S134). 인터페이스 어댑터부(30)는, 예컨대 프리젠테이션에 있어서의 슬라이드쇼의 실행, 문서에 대한 검색 처리의 실행 등을 한다. 또한, 이 경우에 있어서, 변경 반영부(32)는 인터페이스 어댑터부(30)가 실행하는 액션을 애플리케이션 프로그램 실행부(12)에 통지하여, 애플리케이션 프로그램에 동일한 액션을 실행시켜도 좋다. 이것에 의해, 변경 반영부(32)는 입출력 인터페이스부(20)에 의한 액션 조작을 애플리케이션 프로그램에 반영할 수 있고, 액션의 동기를 모도할 수 있다.

다음에, 입력에 따른 처리(S131∼S134)를 완료하면, 변경 반영부(32)는 공통 문서(200)에 포함되는 오브젝트의 내용을 인터페이스 어댑터부(30)가 변경되었는지 여부를 판단한다(S135). 인터페이스 어댑터부(30)가 오브젝트의 내용을 변경한 경우(S135의 예), 변경 반영부(32)는 대응하는 애플리케이션 프로그램 실행부(12)에 대하여 액세스하고, 고유 문서(100)의 대응하는 오브젝트를 변경한다(S136). 이것에 의해, 변경 반영부(32)는 공통 문서(200)에 포함되는 오브젝트가 변경된 경우에도 상기 변경을 애플리케이션 프로그램에 의해 작성된 고유 문서(100)에 반영할 수 있다. 이 결과, 변경 반영부(32)는 고유 문서(100)와 공통 문서(200)의 동기를 도모할 수 있다.

오브젝트의 내용을 변경하지 않는 경우(S135의 아니오) 및 단계 S136의 변경을 완료한 경우, 변경 반영부(32)는 처리를 단계 S112로 복귀하여 재차 입력을 대기한다. 그리고, 종료 조작이 행해진 경우(Sl25의 예), 입출력부(28) 및 인터페이스 어댑터부(30)는 처리를 종료한다.

이상과 같이, 입출력 인터페이스부(20)에 의하면, 입출력부(28)가 입력한 조작 내용을 애플리케이션 프로그램에 반영할 수 있다. 이것에 의해, 입출력 인터페이스부(20)에 의하면, 입출력부(28)에 의해 사용자에게 제공되어 있는 내용과 애플리케이션 프로그램 실행부(12)에 의해 사용자에게 제공되어 있는 내용을 동기시킬 수 있다.

또한, 변경 반영부(32)는 애플리케이션 프로그램에 대하여 행해진 사용자에 의한 조작을 입출력부(28)에 의한 표시에 반영하여도 좋다. 일례로서, 변경 반영부(32)는 애플리케이션 프로그램에 의해 액션의 실행이 행해진 경우, 액션 실행의 통지를 애플리케이션 프로그램 실행부(12)로부터 수신하도록 하여도 좋다. 그리고, 변경 반영부(32)가 액션 실행의 통지를 받은 경우에는 인터페이스 어댑터부(30)는 동일한 액션을 실행한다.

또한, 변경 반영부(32)는 애플리케이션 프로그램에 대하여 행해진 조작 입력에 따른 고유 문서(100)에 포함되는 오브젝트의 변경을 공통 문서(200)에 반영하여도 좋다. 일례로서, 변경 반영부(32)는 고유 문서(100)에 포함되는 오브젝트의 변경이 행해진 경우, 변경의 통지를 애플리케이션 프로그램 실행부(12)로부터 받도록 하여도 좋다. 그리고, 변경 반영부(32)가 변경 통지를 받은 경우에는 문서 변환 부(22)는 상기 변경을 공통 문서(200)에 반영하도록 고유 문서(100)에 포함되는 변경이 행해진 오브젝트를 취득한다.

이것에 의해, 변경 반영부(32)는 예컨대 포커스 이동을 하는 액션이 애플리케이션 프로그램 상에서 실행된 경우에도 입출력부(28)는 상기 액션을 리얼 타임으로 반영할 수 있다. 또한, 변경 반영부(32)는 애플리케이션 프로그램측에서 문서를 변경한 경우에도 공통 문서(200)에 내용을 반영할 수 있다. 이것에 의해, 변경 반영부(32)는 고유 문서(100)와 공통 문서(200) 양방향의 동기를 도모할 수 있다. 또한, 변경 반영부(32)는 애플리케이션 프로그램으로부터 통지를 받지 않은 경우에도 사용자에 의한 조작에 따라 또는 일정 기간마다 고유 문서(100)를 취출하여, 공통 문서(200)의 내용을 고유 문서(100)의 내용과 일치시켜도 좋다.

도 17은 프리젠테이션 프로그램에 의해 작성된 고유 문서(100) 표시의 일례를 나타낸다. 도 18은 도 17에서 표시된 고유 문서(100)에 대응한 공통 문서(200)의 입출력 인터페이스부(20)에 의한 표시의 일례를 나타낸다. 애플리케이션은 도 17에 도시하는 바와 같이, 고유 문서(100)가 표시된 고유 윈도우(402)를 표시 장치 상에 표시한다. 입출력 인터페이스부(20)의 입출력부(28)는 도 18에 도시하는 바와 같이, 공통 문서(200)가 표시된 공통 윈도우(404)를 표시 장치 상에 표시한다.

공통 윈도우(404)는 고유 윈도우(402)와 함께 표시되는 별개의 윈도우이다. 입출력 인터페이스부(20)는 공통 문서(200)에 대한 변경 조작이 공통 윈도우(404) 상에서 입력된 것에 따라 상기 변경을 고유 문서(100)에 반영한다. 이것에 의해, 입출력 인터페이스부(20)는 고유 윈도우(402) 상의 표시를 변경할 수 있다. 또한, 복수의 애플리케이션 프로그램에 의해 각각 고유 문서(100)가 표시된 고유 윈도우(402) 상에서 고유 문서(100)에 대한 변경 조작이 입력된 것에 따라 문서 변환부(22)는 고유 문서(100)의 변경을 공통 문서(200)에 반영한다. 이 경우에 있어서, 문서 변환부(22)는 일례로서, 변경 조작 통지를 애플리케이션 프로그램으로부터 받음으로써, 고유 문서(100)의 변경을 공통 문서(200)에 반영하여도 좋고, 또한, 정기적으로 고유 문서(100)를 취출함으로써, 고유 문서(100)의 변경을 공통 문서(200)에 반영하여도 좋다. 이와 같은 입출력 인터페이스부(20)에 의하면, 애플리케이션 프로그램에 의해 작성된 고유 문서(100)와, 공통 문서(200)를 동기시킬 수 있다.

도 19는 복수의 애플리케이션 프로그램에 의해 작성된 복수의 고유 문서(100)를 1개의 입출력 인터페이스부(20)에 의해 병행하여 작업하는 예를 나타낸다. 복수의 애플리케이션 프로그램은 각각이 고유 문서(100)를 표시하는 고유 윈도우(402)를 표시 장치 상에 표시하여도 좋다. 이 경우에 있어서, 입출력 인터페이스부(20)의 입출력부(28)는 복수의 고유 윈도우(402)와는 다른 공통 윈도우(404) 상에 공통 문서(200)를 표시하여도 좋다. 그리고, 입출력 인터페이스부(20)는 복수의 애플리케이션 프로그램이 각각 표시하고 있는 고유 문서(100)를 하나의 트리 구조에 포함시켜 표시하여도 좋다. 이것에 의해, 입출력 인터페이스부(20)에 의하면, 동일한 사용자 인터페이스에 의해, 복수의 애플리케이션 프로그램을 편집시킬 수 있다. 예컨대, 입출력 인터페이스부(20)에 의하면, 프리젠테이션과 표 계산 프로그램이라는 다른 애플리케이션을 동일한 사용자 인터페이스를 이용하여 편집시킬 수 있다. 또한, 입출력 인터페이스부(20)에 의하면, 동일한 사용자 인터페이스를 이용하여, 복수의 애플리케이션 프로그램에 대하여 병행하여 작업시킬 수도 있다.

도 20은 본 실시형태에 따른 컴퓨터(1900)의 하드웨어 구성의 일례를 나타낸다. 본 실시형태에 따른 컴퓨터(1900)는 호스트·컨트롤러(2082)에 의해 서로 접속되는 CPU(2000), RAM(2020), 그래픽·컨트롤러(2075) 및 표시 장치(2080)를 갖는 CPU 주변부와, 입출력 컨트롤러(2084)에 의해 호스트·컨트롤러(2082)에 접속되는 통신 인터페이스(2030), 하드디스크 드라이브(2040) 및 CD-ROM 드라이브(2060)를 갖는 입출력부와, 입출력 컨트롤러(2084)에 접속되는 ROM(2010), 플렉시블 디스크·드라이브(2050), 입출력 칩(2070)을 갖는 레거시(legacy) 입출력부를 포함한다.

호스트·컨트롤러(2082)는 RAM(2020)과, 높은 전송 레이트로 RAM(2020)을 액세스하는 CPU(2000) 및 그래픽·컨트롤러(2075)를 접속한다. CPU(2000)는 ROM(2010) 및 RAM(2020)에 저장된 프로그램에 기초하여 동작하고, 각 부의 제어를 행한다. 그래픽·컨트롤러(2075)는 CPU(2000) 등이 RAM(2020) 내에 설치한 프레임·버퍼 상에 생성하는 화상 데이터를 취득하고, 표시 장치(2080) 상에 표시시킨다. 이 대신에, 그래픽·컨트롤러(2075)는 CPU(2000) 등이 생성하는 화상 데이터를 저장하는 프레임·버퍼를 내부에 포함하여도 좋다.

입출력 컨트롤러(2084)는 호스트·컨트롤러(2082)와, 비교적 고속인 입출력 장치인 통신 인터페이스(2030), 하드디스크 드라이브(2040), CD-ROM 드라이브(2060)를 접속한다. 통신 인터페이스(2030)는 네트워크를 통해 다른 장치와 통신한다. 하드디스크 드라이브(2040)는 컴퓨터(1900) 내의 CPU(2000)가 사용하는 프로 그램 및 데이터를 저장한다. CD-ROM 드라이브(2060)는 CD-ROM(2095)으로부터 프로그램 또는 데이터를 판독하고, RAM(2020)를 통해 하드디스크 드라이브(2040)에 제공한다.

또한, 입출력 컨트롤러(2084)에는 ROM(2010)과, 플렉시블 디스크, 드라이브(2050) 및 입출력 칩(2070)의 비교적 저속인 입출력 장치가 접속된다. ROM(2010)은 컴퓨터(1900)가 기동시에 실행하는 부팅·프로그램이나 컴퓨터(1900)의 하드웨어에 의존하는 프로그램 등을 저장한다. 플렉시블 디스크·드라이브(2050)는 플렉시블 디스크(2090)로부터 프로그램 또는 데이터를 판독하고, RAM(2020)를 통해 하드디스크 드라이브(2040)에 제공한다. 입출력 칩(2070)은 플렉시블 디스크·드라이브(2050)나, 예컨대 병렬·포트, 직렬·포트, 키보드·포트, 마우스·포트 등을 통해 각종 입출력 장치를 접속한다.

RAM(2020)을 통해 하드디스크 드라이브(2040)에 제공되는 프로그램은, 플렉시블 디스크(2090), CD-ROM(2095) 또는 IC 카드 등의 기억 매체에 저장되어 이용자에 의해 제공된다. 프로그램은 기록 매체로부터 판독되고, RAM(2020)를 통해 컴퓨터(1900) 내의 하드디스크 드라이브(2040)에 설치되며, CPU(2000)에 있어서 실행된다.

컴퓨터(1900)에 설치되고, 컴퓨터(1900)를 입출력 인터페이스부(20)로서 기능시키는 프로그램은 문서 변환부 모듈과, 변환룰 기억부 모듈과, 구조 변환부 모듈과, 입출력부 모듈과, 사용자 인터페이스부 모듈과, 변경 반영부 모듈과, 인터페이스 변환룰 기억부를 포함한다. 이들의 프로그램 또는 모듈은 CPU(2000) 등에 작 용하여, 컴퓨터(1900)를 문서 변환부(22), 문서 변환룰 기억부(24), 구조 변환부(26), 입출력부(28), 인터페이스 어댑터부(30), 변경 반영부(32), 인터페이스 변환룰 기억부(34)로서 각각 기능시킨다.

이상으로 나타낸 프로그램 또는 모듈은 외부의 기억 매체에 저장되어도 좋다. 기억 매체로서는 플렉시블 디스크(2090), CD-ROM(2095) 외에, DVD나 CD 등의 광학 기록 매체, MO 등의 광자기 기록 매체, 테이프 매체, IC 카드 등의 반도체 메모리 등을 이용할 수 있다. 또한, 전용 통신 네트워크나 인터넷에 접속된 서버 시스템에 설치한 하드디스크 또는 RAM 등의 기억 장치를 기록 매체로서 사용하고, 네트워크를 통해 프로그램을 컴퓨터(1900)에 제공하여도 좋다.

이상, 본 발명을 실시형태를 이용하여 설명하였지만, 본 발명의 기술적 범위는 상기 실시형태에 기재한 범위로만 한정되지 않는다. 상기 실시형태에 다양한 변경 또는 개량을 가할 수 있는 것이 당업자에게 명백하다. 그와 같은 변경 또는 개량을 가한 형태도 본 발명의 기술적 범위에 포함될 수 있음은 특허청구 범위의 기재로부터 명백하다.

본 발명에 의하면, 복수의 애플리케이션 프로그램을 공통으로 조작할 수 있는 사용자 인터페이스를 제공하고, 시각 장애자에 의한 액세스 가능성을 향상시킬 수 있다.

Claims (10)

1. 복수의 애플리케이션 프로그램에 대하여 공통의 입출력 인터페이스를 제공하는 정보 처리 장치로서,

   상기 복수의 애플리케이션 프로그램 각각에 의해 작성되고, 각 애플리케이션 프로그램에 고유한 데이터 구조에 나타낸 고유 문서를, 공통 데이터 구조에 나타낸 공통 문서로 변환하는 문서 변환부와,

   상기 공통 문서를 사용자에게 출력하는 출력부와,

   상기 공통 문서에 대한 상기 사용자의 조작을 입력하는 입력부와,

   상기 공통 문서에 포함되는 오브젝트를 상기 출력부에서의 오브젝트로 변환하는 인터페이스 어댑터부와,

   상기 사용자의 조작 내용에 따라 상기 공통 문서를 변경하는 변경부와,

   상기 공통 문서에 대한 변경을 상기 고유 문서에 대하여 반영하는 변경 반영부

   를 포함하는 정보 처리 장치.
2. 제1항에 있어서, 상기 정보 처리 장치는 상기 복수의 애플리케이션 프로그램에 대하여 공통의 음성 출력 인터페이스를 제공하며,

   상기 출력부는 텍스트를 판독하는 기능을 포함하는 텍스트 리더에 대하여 상기 공통 문서에 포함되는 텍스트를 출력하는 것인 정보 처리 장치.
3. 제1항에 있어서, 상기 문서 변환부는 상기 고유 문서에 포함되는 각 오브젝트를 트리 구조의 노드로서 나타낸 상기 공통 문서로 변환하고,

   상기 출력부는 상기 공통 문서에 포함되는 각 오브젝트를 트리 구조의 계층구조에 의해 표시하는 것인 정보 처리 장치.
4. 제1항에 있어서, 상기 고유 문서에 포함되는 각 오브젝트를 상기 공통 데이터 구조에 있어서의 각 오브젝트로 변환하기 위한 변환룰이 기술된 문서 변환룰 기억부를 더 포함하고,

   상기 문서 변환부는 상기 고유 문서에 포함되는 오브젝트에 대응하는 변환룰이 상기 문서 변환룰 기억부에 기억되어 있는 것을 조건으로 하여, 상기 변환룰에 기초하여 상기 고유 문서에 포함되는 오브젝트를 상기 공통 데이터 구조에 있어서의 오브젝트로 변환하는 것인 정보 처리 장치.
5. 제1항에 있어서, 상기 공통 문서에 포함되는 상기 공통 데이터 구조에 있어서의 각 오브젝트를 상기 출력부에서 이용되는 데이터 구조의 각 오브젝트로 변환하기 위한 변환룰이 기술된 인터페이스 변환룰 기억부를 더 포함하고,

   상기 인터페이스 어댑터부는 상기 출력부에서 이용되는 각 오브젝트에 대응하는 변환룰이 상기 인터페이스 변환룰 기억부에 기억되어 있는 것을 조건으로 하여, 상기 변환룰에 기초하여 상기 공통 문서에 포함되는 상기 공통 데이터 구조에 있어서의 각 오브젝트를 상기 출력부에서의 오브젝트로 변환하는 것인 정보 처리 장치.
6. 제1항에 있어서, 상기 출력부는 표시 장치 상에 상기 복수의 애플리케이션 프로그램이 각각 상기 고유 문서를 표시하는 고유 윈도우와는 다른 공통 윈도우 상에 상기 공통 문서를 표시하고,

   상기 입력부는 상기 공통 윈도우에 대한 사용자의 조작을 입력하는 것인 정보 처리 장치.
7. 제1항에 있어서, 상기 공통 문서에 포함되는 복수의 오브젝트 각각에 대한, 대응하는 애플리케이션 프로그램에 의해 표시되어야 하는 위치, 크기, 색 및 폰트 종류 중 적어도 하나를 포함하는 속성이 미리 정해진 테이블 구조 및 리스트 구조 중 적어도 하나를 포함하는 미리 정해진 데이터 구조에 대응하여 정해진 조건을 만족시키는 것에 따라, 상기 조건을 만족시키는 상기 미리 정해진 데이터 구조의 각 노드에 상기 복수의 오브젝트 각각을 할당함으로써 상기 공통 문서의 데이터 구조를 변환하는 구조 변환부를 더 포함하는 정보 처리 장치.
8. 제1항에 있어서, 상기 출력부는 상기 공통 문서를, 상기 공통 문서를 편집하기 위해 미리 지정된 편집용 애플리케이션 프로그램에 고유한 데이터 구조에 나타낸 편집용 문서로 변환하고, 변환한 상기 편집용 문서를 상기 편집용 애플리케이션 프로그램에 출력하며,

   상기 입력부는 상기 사용자가 상기 편집용 애플리케이션 프로그램을 이용하여 변경한 상기 편집용 문서를 변경한 후의 상기 공통 문서로서 입력하는 것인 정보 처리 장치.
9. 제1항에 있어서, 상기 출력부는 표시 장치 상에 상기 복수의 애플리케이션 프로그램이 각각 상기 고유 문서를 표시하는 고유 윈도우와는 다른 공통 윈도우 상에 상기 공통 문서를 표시하고,

   상기 문서 변환부는 애플리케이션 프로그램에 의해 상기 고유 문서가 표시된 윈도우 상에서 상기 고유 문서에 대한 변경 조작이 입력된 것에 따라 상기 고유 문서의 변경을 상기 공통 문서에 반영하며,

   상기 변경부는 상기 입력부에 의해 상기 공통 윈도우 상에서 상기 공통 문서에 대한 변경 조작이 입력된 것에 따라 상기 공통 문서를 변경하는 것인 정보 처리 장치.
10. 정보 처리 장치에 의해, 복수의 애플리케이션 프로그램에 대하여 공통의 입출력 인터페이스를 제공하는 정보 처리 방법으로서,

    상기 복수의 애플리케이션 프로그램 각각에 의해 작성되고, 각 애플리케이션 프로그램에 고유한 데이터 구조에 나타낸 고유 문서를 공통 데이터 구조에 나타낸 공통 문서로 변환하는 문서 변환 단계와,

    상기 공통 문서를 사용자에게 출력하는 출력 단계와,

    상기 공통 문서에 대한 상기 사용자의 조작을 입력하는 입력 단계와,

    상기 공통 문서에 포함되는 오브젝트를 상기 출력 단계에서의 오브젝트로 변환하는 인터페이스 어댑터 단계와,

    상기 사용자의 조작 내용에 따라 상기 공통 문서를 변경하는 변경 단계와,

    상기 공통 문서에 대한 변경을 상기 고유 문서에 대하여 반영하는 변경 반영 단계

    를 포함하는 정보 처리 방법.

Images