KR20090048371A - 표시 촬상장치, 물체검출 프로그램 및 물체의 검출 방법 - Google Patents

표시 촬상장치, 물체검출 프로그램 및 물체의 검출 방법 Download PDF

Info

Publication number
KR20090048371A
KR20090048371A KR1020080110854A KR20080110854A KR20090048371A KR 20090048371 A KR20090048371 A KR 20090048371A KR 1020080110854 A KR1020080110854 A KR 1020080110854A KR 20080110854 A KR20080110854 A KR 20080110854A KR 20090048371 A KR20090048371 A KR 20090048371A
Authority
KR
South Korea
Prior art keywords
image
display
parameter
acquisition mode
illuminance
Prior art date
Application number
KR1020080110854A
Other languages
English (en)
Other versions
KR101534588B1 (ko
Inventor
츠토무 하라다
신야 하시모토
카즈노리 야마구치
미츠루 타테우치
료이치 츠자키
치아키 콘
Original Assignee
소니 가부시끼 가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 가부시끼 가이샤 filed Critical 소니 가부시끼 가이샤
Publication of KR20090048371A publication Critical patent/KR20090048371A/ko
Application granted granted Critical
Publication of KR101534588B1 publication Critical patent/KR101534588B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0421—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/067—Record carriers with conductive marks, printed circuits or semiconductor circuit elements, e.g. credit or identity cards also with resonating or responding marks without active components
    • G06K19/07—Record carriers with conductive marks, printed circuits or semiconductor circuit elements, e.g. credit or identity cards also with resonating or responding marks without active components with integrated circuit chips
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/36—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2310/00—Command of the display device
    • G09G2310/02—Addressing, scanning or driving the display screen or processing steps related thereto
    • G09G2310/0237—Switching ON and OFF the backlight within one frame
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/14—Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/145—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light originating from the display screen
    • G09G2360/147—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light originating from the display screen the originated light output being determined for each pixel
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/16—Calculation or use of calculated indices related to luminance levels in display data
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/3406—Control of illumination source
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/36—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals
    • G09G3/3611—Control of matrices with row and column drivers

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Position Input By Displaying (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

표시 촬상장치는, 화상 표시 기능과 촬영기능을 갖는 표시 촬영 패널과, 상기 표시 촬영 패널을 사용해서 얻어진 근접 물체의 촬영화상에 근거하여, 소정의 처리 화상을 생성하는 화상생성 수단과, 상기 촬영화상 및 상기 처리 화상 중 적어도 한쪽에 근거하여, 상기 근접 물체의 위치, 형상 및 크기 중 적어도 하나에 관한 정보를, 2개의 취득 모드 중 한쪽을 선택적으로 이용해서 취득하는 화상처리수단과, 상기 파라미터가 증가 과정에 있을 경우에는, 이 파라미터가 제1 임계치가 되었을 때에, 상기 2개의 취득 모드 중 일 취득 모드로부터 다른 취득 모드로 전환처리를 행하고, 상기 파라미터가 감소 과정에 있을 경우에는, 이 파라미터가 제2 임계치가 되었을 때에, 상기 다른 취득 모드로부터 상기 일 취득 모드로 전환처리를 행하는 전환 수단을 구비한다.
표시 촬상장치, 근접 물체, 촬영 화상, 취득모드, 전환처리.

Description

표시 촬상장치, 물체검출 프로그램 및 물체의 검출 방법{Display-and-image pickup apparatus, object detection program and method of detecting an object}
(관련된 출원에 대한 상호 참조)
본 발명은, 일본특허청에 2007년 11월 9일에 출원된 일본특허출원번호 JP 2007-291767에 관련된 내용을 포함하고, 그 전체 내용은 증명서로 여기에 포함된다.
본 발명은, 패널에 접촉 또는 근접하는 물체의 위치 등의 정보를 취득하는 표시 촬상장치, 및 그러한 정보를 취득하기 위한 물체 검출 프로그램 및 물체의 검출 방법에 관한 것이다.
종래부터, 표시장치의 표시면에 접촉 혹은 근접하는 물체의 위치 등을 검출하는 기술이 알려져 있다. 그중에서도 대표적이고 널리 보급된 기술로서, 터치패널을 구비한 표시장치를 들 수 있다.
이 터치패널도 여러 가지의 타입이 존재하지만, 일반적으로 사용되고 있는 타입으로서, 정전용량을 검출하는 타입의 터치패널을 들 수 있다. 손가락으로 이러 한 종류의 터치패널에 접촉하는 경우, 그 터치패널은 패널의 표면전하의 변화를 포획하여 물체의 위치 등을 검출한다. 따라서, 이러한 터치패널을 사용함으로써, 유저는 직감적으로 조작하는 것이 가능하다.
또한, 본 출원인은, 예를 들면 일본국 공개특허공보 특개 2004-127272호에 있어서, 화상을 표시하는 표시 기능과, 물체를 촬영(검출)하는 촬영기능(검출 기능)을 갖는 표시부(표시 촬영 패널)를 구비한 표시장치를 제안하고 있다.
상기 일본국 공개특허공보 특개 2004-127272호에 기재되어 있는 표시장치를 이용하면, 예를 들면 표시 촬영 패널 위에 손가락 등의 물체를 접촉 또는 근접시켰을 경우, 이 물체에서 반사된 표시 광을 이용하여서 촬상한 화상에 의거하여 물체의 위치 등을 검출하는 것도 가능하다. 따라서, 이 표시장치를 이용하는 경우, 표시 촬영 패널 위에 터치패널 등의 부품을 별도로 배치하지 않고, 간단한 구성으로 물체의 위치 등을 검출하는 것이 가능해진다.
그렇지만, 상기한 바와 같이 물체에서 반사된 표시 광을 이용할 경우, 그 표시 광의 휘도가 문제가 된다. 구체적으로는, 수광하는 광의 휘도가 표시 광의 휘도에 좌우되고, 표시 광의 휘도는 화상 데이터에 따라 변화되므로, 예를 들면 소위 흑색 표시상태의 경우나, 반투과형의 액정표시장치에 있어서 백라이트가 항상 오프 상태에 있을 때(예를 들면, 옥외에서 이용할 경우) 등은, 촬상한 화상에 의거하여 물체의 위치 등을 검출하는 것이 곤란하다.
따라서, 예를 들면, 사용상황에 따라 촬영 모드와 검출 모드 등을 전환하면, 사용상황에 알맞은 모드를 이용하는 것이 가능해지고, 패널에 접촉 또는 근접하는 물체의 위치 등을 확실하게 검출할 수 있다고 생각된다.
그렇지만, 일부의 파라미터의 크기에 따라 모드를 바꾼다고 하면, 예를 들면, 전환의 임계치 부근에서 파라미터가 변동할 때에는, 촬영 모드와 검출 모드가 빈번히 바뀌어버리기 때문에, 물체의 위치 등의 검출 동작이 불안정해진다.
본 발명은 상술한 내용을 고려하여, 사용상황에 상관없이 물체를 안정하게 검출하는 것이 가능한 화상 표시장치 및 물체의 검출 방법을 제공 하는데에 있다.
본 발명의 실시예에 따른 표시 촬상장치는, 화상표시 기능과 촬영기능을 갖는 표시 촬영 패널과, 이 표시 촬영 패널의 사용에 의해 얻어진 근접 물체의 촬영화상에 근거하여, 소정의 처리 화상을 생성하는 화상생성수단과, 상기 촬영화상 및 상기 처리 화상 중 적어도 한쪽에 근거하여, 근접 물체의 위치, 형상 및 크기 중 적어도 하나에 관한 정보를, 2개의 취득 모드 중 한쪽을 선택적으로 사용하는 것에 의해 취득하는 화상처리수단과, 전환 수단을 구비한다. 여기에서, 이 전환 수단은, 소정의 파라미터의 크기에 따라 화상처리수단에 있어서의 2개의 취득 모드간의 전환처리를 행하여, 그 파라미터가 증가 과정에 있을 경우에는, 이 파라미터가 제1 임계치가 되었을 때에, 2개의 취득 모드 중 일 취득 모드로부터 다른 취득 모드로 전환하고, 파라미터가 감소 과정에 있을 경우에는, 이 파라미터가 상기 제1 임계치보다도 작은 제2 임계치가 되었을 때에, 상기 다른 취득 모드로부터 상기 일 취득 모드로 전환한다. 또한, "근접 물체"란, 문자 그대로 근접하는 물체뿐만아니라, 접촉 상태에 있는 물체도 의미한다.
본 발명의 실시예에 따른 물체 검출 프로그램은, 화상표시 기능과 촬영기능을 갖는 표시 촬영 패널의 사용에 의해 근접 물체의 촬영화상을 취득하는 촬영 스텝과, 이 촬영 스텝에 의해 얻어진 촬영화상에 근거하여, 소정의 처리 화상을 생성하는 화상생성 스텝과, 상기 촬영 스텝에서 얻어진 촬영화상 및 상기 화상생성 스텝에서 얻어진 처리 화상 중 적어도 한쪽에 근거하여, 2개의 취득 모드 중 한쪽을 선택적으로 사용하는 것에 의해, 근접 물체의 위치, 형상 및 크기 중 적어도 하나에 관한 정보를 검출하는 검출 스텝과, 전환 스텝을, 컴퓨터에 실행시키도록 한 것이다. 여기에서, 상기 전환 스텝은, 소정의 파라미터의 크기에 따라 상기 검출 스텝에 있어서 이용하는 2개의 취득 모드간의 전환처리를 행하여, 파라미터가 증가 과정에 있을 경우에는, 이 파라미터가 제1 임계치가 되었을 때에, 2개의 취득 모드 중 일 취득 모드로부터 다른 취득 모드로 전환하고, 그 파라미터가 감소 과정에 있을 경우에는, 이 파라미터가 상기 제1 임계치보다도 작은 제2 임계치가 되었을 때에, 상기 다른 취득 모드로부터 상기 일 취득 모드로 전환한다.
본 발명의 실시예에 따른 물체의 검출 방법은, 화상표시 기능과 촬영기능을 갖는 표시 촬영 패널의 사용에 의해 근접 물체의 촬영화상을 취득하는 스텝과, 이 촬영화상에 근거해서 소정의 처리 화상을 생성하는 스텝과, 상기 촬영화상 및 상기 처리 화상 중 적어도 한쪽에 근거하여 2개의 취득 모드 중 한쪽을 선택적으로 이용하는 것에 의해, 상기 근접 물체의 위치, 형상 및 크기 중 적어도 하나에 관한 정보를 검출하는 스텝과, 소정의 파라미터의 크기에 따라 2개의 취득 모드간의 전환처리를 행하여, 그 파라미터가 증가 과정에 있을 경우에는, 이 파라미터가 제1 임 계치가 되었을 때에, 2개의 취득 모드 중 일 취득 모드로부터 다른 취득 모드로 전환하고, 파라미터가 감소 과정에 있을 경우에는, 이 파라미터가 상기 제1 임계치보다도 작은 제2 임계치가 되었을 때에, 상기 다른 취득 모드로부터 상기 일 취득 모드로 전환하는, 스텝을 포함한다.
본 발명의 상기 실시예에 따른 표시 촬상장치, 물체 검출 프로그램 및 물체의 검출 방법에서는, 화상표시 기능과 촬영기능을 갖는 표시 촬영 패널의 사용에 의해 근접 물체의 촬영화상을 얻고, 이 촬영화상에 근거해서 소정의 처리 화상을 생성한다. 그리고, 상기 촬영화상 및 상기 처리 화상 중 적어도 한쪽에 근거하여 2개의 취득 모드 중 한쪽을 선택적으로 이용함에 의해, 근접 물체의 위치, 형상 및 크기 중 적어도 하나에 관한 정보가 검출된다. 또한, 소정의 파라미터의 크기에 따라, 2개의 취득 모드간의 전환처리가 이루어진다. 이 경우에, 파라미터가 증가 과정에 있을 경우에는, 이 파라미터가 제1 임계치가 되었을 때에, 2개의 취득 모드 중 일 취득 모드로부터 다른 취득 모드로 전환을 하는 한편, 파라미터가 감소 과정에 있을 경우에는, 이 파라미터가 상기 제1 임계치보다도 작은 제2 임계치가 되었을 때에, 상기 다른 취득 모드로부터 상기 일 취득 모드로 전환한다. 즉, 2개의 취득 모드간의 전환처리는, 히스테리시스를 사용해서 이루어질 수 있다. 이에 따라, 예를 들면 파라미터가 제1 임계치나 제2 임계치의 부근에서 변동하는 경우이여도, 2개의 취득 모드간의 전환처리가 그 파라미터의 변동할 때마다 이루어질 수 없고, 고빈도의 취득 모드간의 전환이 회피된다.
본 발명의 실시예에 따른 표시 촬상장치에서, 상기 촬영 화상은 표시 촬영 패널에 의해 근접 물체의 그림자를 촬상하여 얻어진 그림자 화상이고, 상기 처리 화상은, 표시 광 이용 화상과 상기 그림자 화상간의 차분 처리를 행하여서 얻어진 차분 화상이고, 상기 표시 광 이용 화상은 표시 촬영 패널로부터의 표시 광을 이용해서 이 표시 촬영 패널에 의해 근접 물체를 촬상하여 얻어진다. 또한, "그림자 화상"이란, 외광에 의한 그림자를 촬상해서 얻어진 화상이며, 표시 광을 이용하지 않고 얻어진 화상을 의미한다.
본 발명의 실시예에 따른 표시 촬상장치, 물체 검출 프로그램 또는 물체의 검출 방법에서는, 소정의 파라미터의 크기에 따라 2개의 취득 모드간의 전환처리를 행하고, 그 파라미터가 증가 과정에 있을 경우에는, 이 파라미터가 제1 임계치가 되었을 때에, 2개의 취득 모드 중 일 취득 모드로부터 다른 취득 모드로 전환하는 한편, 그 파라미터가 감소 과정에 있을 경우에는, 이 파라미터가 상기 제1 임계치보다도 작은 제2 임계치가 되었을 때에, 상기 다른 취득 모드로부터 상기 일 취득 모드로 전환하므로, 예를 들면 파라미터가 제1 임계치나 제2 임계치의 부근에서 변동하는 경우이여도, 고빈도의 취득 모드간의 전환을 회피한다. 따라서, 사용상황에 상관없이, 물체를 안정하게 검출하는 것이 가능해진다.
본 발명의 다른 및 또 다른 목적, 특징 및 이점을 아래의 설명으로부터 보다 완전히 나타내겠다.
이하, 첨부도면을 참조해서 바람직한 실시예들을 상세하게 설명한다.
[제1 실시예]
도 1은, 본 발명의 제1 실시예에 따른 표시 촬상장치의 전체 구성을 나타내는 것이다. 이 표시 촬상장치는, I/O디스플레이 패널(20)과, 백라이트(15)과, 표시 드라이브 회로(12)와, 수광 드라이브 회로(13)와, 화상처리부(14)와, 애플리케이션 프로그램 실행부(11)를 구비하고 있다.
I/O디스플레이 패널(20)은, 복수의 화소가 전체면에 걸쳐서 매트릭스 모양으로 배치된 액정 패널(ＬＣＤ(Liquid Crystal Display))로 이루어지고, 선 순차 동작을 하면서 표시 데이터에 근거하는 소정의 도형이나 문자등의 화상을 표시하는 기능(표시 기능)을 가짐과 동시에, 후술하는 바와 같이 이Ｉ/O디스플레이 패널(20)에 접촉 또는 근접하는 물체를 촬상하는 기능(촬영기능)을 갖는 것이다. 또한, 백라이트(15)는, 예를 들면 복수의 발광 다이오드가 배치되어서 되는 Ｉ/O디스플레이 패널(20)의 광원이며, 후술하는 바와 같이, I/O디스플레이 패널(20)의 동작 타이밍에 동기한 소정의 타이밍에서, 고속으로 온·오프 동작을 행하게 되어 있다.
표시 드라이브 회로(12)는, I/O디스플레이 패널(20)에 있어서 표시 데이터에 근거하는 화상이 표시되어 있는 바와 같이(표시 동작을 하도록), 이 Ｉ/O디스플레이 패널(20)의 구동을 행하는(선 순차 동작의 구동을 행하는) 회로다.
수광 드라이브 회로(13)는, I/O디스플레이 패널(20)에 있어서 수광 데이터를 얻도록(물체를 촬상하도록), 이 Ｉ/O디스플레이 패널(20)의 구동을 행하는(선 순차 동작의 구동을 행하는) 회로다. 또한, 각 화소에서의 수광 데이터는, 예를 들면 프레임 단위에 프레임 메모리 13A에 축적되어, 촬영화상으로서 화상처리부(14)에 출력되게 되어 있다.
화상처리부(14)는, 수광 드라이브 회로(13)로부터 출력되는 촬영화상에 근거해서 소정의 화상처리(연산 처리)를 행하고, I/O디스플레이 패널(20)에 접촉 또는 근접하는 물체에 관한 정보(위치 좌표 데이터, 물체의 형상이나 크기에 관한 데이터 등)을 검출하여, 취득하는 것이다. 또한, 이 정보를 검출하는 처리의 상세 내용에 관해서는 후술한다.
애플리케이션 프로그램 실행부(11)는, 화상처리부(14)에 의한 검출 결과에 근거해서 소정의 애플리케이션 소프트에 따른 처리를 실행하는 것이며, 애플리케이션 프로그램 실행부(11)로서, 예를 들면 검출한 물체의 위치 좌표를 표시 데이터에 포함하도록 하고, I/O디스플레이 패널(20) 위에 표시시키는 부 등을 들 수 있다. 또한, 이 애플리케이션 프로그램 실행부(11)에서 생성되는 표시 데이터는 표시 드라이브 회로(12)에 공급되게 되어 있다.
다음에, 도 2를 참조해서 I/O디스플레이 패널(20)의 상세 구성 예에 관하여 설명한다. 이 Ｉ/O디스플레이 패널(20)은, 표시 에어리어(센서 에어리어)(21)와, 표시용 H드라이버(22)와, 표시용 V드라이버(23)와, 센서 판독용 H드라이버(25)와, 센서용 V드라이버(24)를 가지고 있다.
표시 에어리어(센서 에어리어)(21)는, 백라이트(15)로부터의 광을 변조해서 표시 광을 출사하고, 이 에어리어에 접촉 또는 근접하는 물체를 촬상하는 영역이며, 발광소자(표시 소자)인 액정소자와 후술하는 수광소자(촬영소자)가 각각 매트릭스 모양으로 배치되어 있다.
표시용 H드라이버(22)는, 표시 드라이브 회로(12)로부터 공급되는 표시 구동 용의 표시 신호 및 제어 클록에 의거하여 표시용 V드라이버(23)와 함께 표시 에어리어(21) 내의 각 화소의 액정소자를 선 순차 구동하는 것이다.
센서 판독용 H드라이버(25)는, 센서용 V드라이버(24)와 함께 표시 에어리어(21)내의 각 화소의 수광소자를 선 순차 구동하여, 수광신호를 취득하는 것이다.
다음에, 도 3을 참조하여, 표시 에어리어(21)에 있어서의 각 화소의 상세 구성 예에 관하여 설명한다. 이 도 3에 나타낸 화소(31)는, 표시 소자인 액정소자와 수광소자로 구성되어 있다.
구체적으로는, 표시 소자측에는, 수평방향으로 연장하는 게이트 전극(31h)과 수직방향으로 연장하는 드레인 전극(31i)과의 교점에 박막트랜지스터(ＴＦＴ;Thin Film Transistor)등으로 이루어지는 스위칭소자(31a)가 배치되고, 이 스위칭소자(31a)와 대향전극과의 사이에 액정을 포함하는 화소전극(3lb)이 배치되어 있다. 그리고, 게이트 전극(31h)을 거쳐서 공급되는 구동신호에 의거하여 스위칭소자(31a)가 온·오프 동작하고, 온 상태일 때에 드레인 전극(31i)을 거쳐서 공급되는 표시 신호에 의거하여 화소전극(3lb)에 화소전압이 인가되어, 표시 상태가 설정되게 되어 있다.
한편, 표시 소자에 인접하는 수광소자측에는, 예를 들면 포토다이오드 등으로 이루어지는 수광 센서(31c)가 배치되고, 이 수광센서(31c)에 전원전압ＶＤＤ가 공급되게 되어 있다. 또한, 이 수광 센서(31c)에는, 리셋트 스위치(31d)와 콘덴서(31e)가 접속되고, 이 수광 센서(31c)는 리셋트 스위치(31d)에 의해 리셋트되면서, 콘덴서(31e)에 있어서 수광량에 대응한 전하가 축적되게 되어 있다. 그리고, 축적된 전하는 판독 스윗치(31g)가 온이 되는 타이밍에서, 버퍼 앰프(31f)를 거쳐서 신호 출력용 전극(31j)에 공급되어, 외부에 출력된다. 또한, 리셋트 스위치(31d)의 온·오프 동작은 리셋트 전극(31k)에 의해 공급되는 신호에 의해 제어되고, 판독 스윗치(31g)의 온·오프 동작은, 판독 제어 전극(31k)에 의해 공급되는 신호에 의해 제어된다.
다음에, 도 4를 참조하여, 표시 에어리어(21) 내의 각 화소와 센서 판독용 H드라이버(25)와의 접속 관계에 관하여 설명한다. 이 표시 에어리어(21)에서는, 빨강(Ｒ)용의 화소(31)와, 초록(Ｇ)용의 화소(32)과, 파랑(Ｂ)용의 화소(33)가 순서적으로 배치되어 있다.
각 화소의 수광 센서(31c,32c,33c)에 접속된 콘덴서에 축적된 전하는, 각각의 버퍼 앰프(31f,32f,33f)로 증폭되어, 판독 스윗치(31g,32g,33g)가 온이 되는 타이밍에서, 각 신호 출력용 전극을 거쳐서 센서 판독용 H드라이버(25)에 공급된다. 또한, 각 신호 출력용 전극에는 정전류원(41a,4lb,41c)이 각각 접속되고, 센서 판독용 H드라이버(25)에서 고감도로 수광량에 대응한 신호가 검출되게 되어 있다.
다음에, 본 실시예의 표시 촬상장치의 동작에 대해서 상세하게 설명한다.
우선, 이 표시 촬상장치의 기본동작, 즉 화상의 표시 동작 및 물체의 촬영동작에 관하여 아래에서 설명한다.
이 표시 촬상장치에서는, 애플리케이션 프로그램 실행부(11)로부터 공급되는 표시 데이터에 의거하여 표시용 드라이브 회로(12)에 있어서 표시용의 구동신호가 생성되고, 이 구동신호에 의해, I/O디스플레이 패널(20)에 대하여 선 순차 표시 구 동이 이루어지고, 화상이 표시된다. 또한, 이 때, 백라이트(15)도 표시 드라이브 회로(12)에 의해 구동되어, I/O디스플레이 패널(20)과 동기한 점등/소등 동작이 이루어진다.
여기에서, 도 5를 참조하여, 백라이트(15)의 온·오프 상태와 I/O디스플레이 패널(20)의 표시 상태와의 관계에 관하여 아래에서 설명한다.
우선, 예를 들면, 1/60초의 프레임 주기로 화상을 표시하는 경우, 각 프레임 기간의 전반기간(1/120초간)에 백라이트(15)가 소등해(오프 상태가 되어), 표시가 행해지지 않는다. 한편, 각 프레임 기간의 후반기간에는, 백라이트(15)가 점등해(온 상태가 되어), 각 화소에 표시 신호가 공급되어, 그 프레임 기간의 화상이 표시된다.
이렇게, 각 프레임 기간의 전반기간은, I/O디스플레이 패널(20)로부터 표시 광이 출사되지 않는 무광기간인 한편, 각 프레임 기간의 후반기간은, I/O디스플레이 패널(20)로부터 표시 광이 출사되는 발광 기간으로 되어 있다.
여기에서, I/O디스플레이 패널(20)에 접촉 또는 근접하는 물체(예를 들면, 손 끝 등)가 있을 경우, 수광 드라이브 회로(13)에 의한 선 순차 수광 구동에 의해, 이 Ｉ/O디스플레이 패널(20)에 있어서의 각 화소의 수광소자에 있어서 그 물체가 촬상되어, 각 수광소자로부터의 수광신호가 수광 드라이브 회로(13)에 공급된다. 수광 드라이브 회로(13)에서는, 1프레임 분의 화소의 수광신호들이 축적되어, 촬영화상으로서 화상처리부(14)에 출력된다.
그리고, 화상처리부(14)에서는, 이 촬영화상에 의거하여 이하 설명하는 소정 의 화상처리(연산 처리)가 이루어짐에 따라서, I/O디스플레이 패널(20)에 접촉 또는 근접하는 물체에 관한 정보(위치 좌표 데이터, 물체의 형상이나 크기에 관한 데이터 등)이 검출된다.
다음에, 도 6∼도 ２２를 참조하여, 본 발명의 특징적 부분의 하나로서, 화상처리부(14)에 의한 손 끝 등의 Ｉ/O디스플레이 패널(20)에 접촉 또는 근접하는 물체(근접 물체)의 추출 처리(손 끝 추출 처리)에 대해서 상세하게 설명한다. 도 6은, 이 화상처리부(14)에 의한 손 끝 추출 처리를 플로차트로 나타낸 것이며, 도 7은, 이 손 끝 추출 처리의 일부를 타이밍차트를 나타낸 것이다.
우선, 1프레임 표시기간의 전반기간인 백라이트(15)가 오프의 기간(무광기간)에 있어서, I/O디스플레이 패널(20)에 의해 근접 물체의 촬영처리가 이루어져, 화상A(그림자 화상)가 취득된다(도 6의 스텝S11, 도 7 참조).
다음에, 1프레임 표시기간의 후반기간인 백라이트(15)가 온의 기간(발광기간)에 있어서, I/O디스플레이 패널(20)에 의해 근접 물체의 촬영처리가 이루어져, 화상B(표시 광 이용 화상)가 취득된다(도 7 참조). 그리고, 이 화상B와 화상A와의 차분 화상C에 근거하여 손 끝 추출 처리(차분 화상 손 끝 추출 처리)가 화상처리부(14)에 의해 이루어진다(스텝S12).
또한, 이 차분 화상 손 끝 추출 처리와 병행되어, 화상A(그림자 화상)에 근거하여 손 끝 추출 처리(그림자 화상 손 끝 추출 처리)가 화상처리부(14)에 의해 이루어진다(스텝S13, 도 7 참조).
다음에, 화상처리부(14)는, 후술하는 소정의 파라미터의 크기에 따라, 스텝 S12에서의 차분 화상 손 끝 추출 처리에 의한 추출 결과와, 스텝S13에서의 그림자 화상 손 끝 추출 처리에 의한 추출 결과 중, 차분 화상 손 끝 추출 처리에 의한 추출 결과를 채용할 것인가 아닌가를 판단한다(스텝S14). 소정의 파라미터의 크기에 근거하여, 차분 화상 손 끝 추출 처리에 의한 추출 결과를 채용한다고 판단했을 경우(스텝S14:Y)에는, 화상처리부(14)는, 차분 화상 손 끝 추출 처리에 의한 추출 결과를 사용하여(스텝S15), 최종결과를 애플리케이션 프로그램 실행부(11)에 출력한다(스텝S17).
한편, 소정의 파라미터의 크기에 근거하여, 차분 화상 손 끝 추출 처리에 의한 추출 결과를 채용하지 않는다고 판단했을 경우(스텝S14:N)에는, 화상처리부(14)는, 그림자 화상 손 끝 추출 처리에 의한 추출 결과를 사용하여(스텝S16), 최종결과를 애플리케이션 프로그램 실행부(11)에 출력한다(스텝S17).
그 후, 화상처리부(14)가 화상처리부(14)에 의한 손 끝 추출 처리 전체를 종료할 것인가 아닌가를 판단하여(스텝S18), 아직 손 끝 추출 처리를 종료하지 않는다고 판단했을 경우에는(스텝S18:N), 스텝S11 내지 S17까지의 처리가 반복되는 한편, 손 끝 추출 처리가 종료한다고 판단했을 경우에는 (스텝S18:Y), 손 끝 추출 처리 전체가 종료가 된다.
이렇게 하여, 후술하는 소정의 파라미터의 크기에 따라, 차분 화상 손 끝 추출 처리에 의한 추출 결과 및 그림자 화상 손 끝 추출 처리에 의한 추출 결과 중 한쪽이 채용되는 경우, 이것들 2개의 손 끝 추출 처리간의 전환처리가 행해진다.
다음에, 차분 화상 손 끝 추출 처리 및 그림자 화상 손 끝 추출 처리의 상세 에 관하여 아래에 설명한다.
우선, 도 8∼도 13a, 13b, 13c 및 13d를 참조하여, 차분 화상 손 끝 추출 처리의 상세에 관하여 아래에 설명한다. 도 8은, 이 차분 화상 손 끝 추출 처리의 상세를 플로차트로 나타낸 것이다.
우선, 전술한 바와 같이, 1프레임 표시기간의 후반기간인 백라이트(15)가 온의 기간(발광기간)에 있어서, I/O디스플레이 패널(20)에 의해 근접 물체의 촬영처리가 이루어지고, 화상B(표시 광 이용 화상)가 취득된다(도 8의 스텝S121, 도 7 참조).
다음에, 화상처리부(14)는, 이 화상B와, 백라이트(15)가 오프의 기간(무광기간)에 있어서의 촬영에 의해 얻어진 화상A(그림자 화상)와의 차분 화상C를 생성한다(스텝S122).
그리고, 화상처리부(14)는, 생성된 차분 화상의 중심을 판정하는 연산 처리를 행해(스텝S123), 접촉(근접)중심을 결정한다(스텝S124).
이렇게 하여, 차분 화상 손 끝 추출 처리에서는, 표시 광을 이용한 화상B와 표시 광을 이용하지 않고 외광(환경광)을 이용한 화상A와의 차분 화상C에 의거하여 손 끝의 추출 처리가 이루어지기 때문에, 도 9에 나타낸 차분 화상C의 사진화상 예와 같이, 외광의 밝기의 영향이 제거되고, 이 외광의 밝기에 영향을 주지 않고 근접 물체를 검출한다.
구체적으로는, 예를 들면, 도 10a에 단면도에서 나타나 있는 바와 같이, 입사하는 외광이 강할 경우에는, 백라이트(15)를 점등시킨 상태에서의 수광출력 전압 Von1은, 도 10b에 나타나 있는 바와 같이, 손가락으로 접촉한 장소이외에서는, 외광의 밝기에 대응한 전압값Ｖａ가 되고, 손가락으로 접촉한 장소에서는, 그 때에 접촉한 물체(손가락)의 표면에서, 백라이트로부터의 광을 반사시키는 반사율에 대응한 전압값Ｖｂ로 저하한다. 한편, 백라이트(15)를 소등시킨 상태에서의 수광출력 전압Voff1은, 손가락으로 접촉한 장소이외에서는, 외광의 밝기에 대응한 전압값Ｖａ가 되는 점은 동일하지만, 손가락으로 접촉한 장소에서는, 외광이 차단된 상태이며, 대단히 레벨이 낮은 전압값Ｖｃ이 된다.
또한, 도 11a에 단면도에서 나타나 있는 바와 같이, 입사하는 외광이 약한(거의 없는) 상태에서는, 백라이트(15)를 점등시킨 상태에서의 수광출력 전압Von2는, 도 11b에 나타나 있는 바와 같이, 손가락으로 접촉한 장소이외에서는, 외광이 없기 때문에 대단히 레벨이 낮은 전압값Ｖｃ가 되고, 손가락으로 접촉한 장소에서는, 그 때에 접촉한 물체(손가락)의 표면에서, 백라이트로부터의 광을 반사시키는 반사율에 대응한 전압값Ｖｂ로 상승한다. 이에 대하여, 백라이트(15)를 소등시킨 상태에서의 수광출력 전압Voff2는, 손가락으로 접촉한 장소와 그 이외의 장소 양쪽에서, 대단히 레벨이 낮은 전압값Ｖｃ인채로 변화가 없다.
이렇게, 도 10a,10b와 도 11a,11b를 비교하면 알 수 있듯이, 패널의 표시 에어리어(21)에 접촉하고 있지 않은 장소에서는, 외광이 있을 경우와 없을 경우간에 수광 출력 전압이 크게 다르다. 그렇지만, 손가락이 접촉하고 있는 장소에서는, 외광의 유무에 관계없이, 백라이트의 점등시의 전압Ｖｂ와, 백라이트의 소등시의 전압Ｖｃ가, 거의 같은 상태로 되어 있다.
따라서, 백라이트(15)의 점등시의 전압과 소등시의 전압과의 차이를 검출하고, 전압Ｖｂ과 전압Ｖｃ과의 차이와 같이, 일정 이상의 차이가 있는 장소가, 접촉한 장소 또는 근접한 장소라고 판단할 수 있고, 패널에 입사하는 외광이 강한 경우에도, 외광이 거의 없는 경우에도, 균일한 조건하에서 양호하게 접촉 또는 근접이 검출된다.
또한, 도 1 2 a, b에 나타나 있는 바와 같이, 수광출력 전압의 검출에 필요한 다이나믹 레인지에 대해서는, 아래와 같이 결정된다. 도 1 2 a는, 패널의 표시 에어리어(21)의 접촉 상태를 나타낸 것으로, 손가락f로 패널 표면을 접촉하고, 반사율이 거의 100%의 원형의 물체m을, 표시 에어리어(21)에 설치하여 있다. 이 상태에서, 손가락f와 물체m의 쌍방을 주사하는 라인에서의 수광출력 전압은, 도 12b에 나타내는 상태가 된다. 또한, 도 12b에 있어서, 전압 Von3은 백라이트를 점등시킨 상태에서의 수광출력 전압이며, 전압Voff3은 백라이트를 소등시킨 상태에서의 수광출력 전압이다.
도 12b에 나타나 있는 바와 같이, 반사율이 거의 100%의 물체m이 설치된 장소에서, 백라이트 점등시에 검출되는 전압Ｖｄ보다도 높은 전압은 관측되는데 필요하지 않은 레벨Ｖｙ이며, 그 레벨Ｖｙ이하의 범위Ｖｘ가, 검출에 필요한 다이나믹 레인지다. 따라서, 관측되는데 필요하지 않은 레벨Ｖｙ의 신호에 대해서는, 오버플로우 시켜 버려서, 동일한 강도로서 간주하도록 하여도 되는 것을 안다.
또한, 이 차분 화상 손 끝 추출 처리에서는, 도 1 3a∼13d에 나타낸 화상(각각, 화상A∼C,및 화상C의 2진수 화상)으로부터 알 수 있는 바와 같이, I/O디스플레 이 패널(20)의 표시 에어리어(21) 위에 동시에 배치된 복수의 접촉 또는 근접하는 물체에 관해서도, 마찬가지로 각각의 물체에 관한 위치, 형상 또는 크기 등의 정보가 취득된다.
다음에, 도 14∼도 ２１을 참조하여, 그림자 화상 손 끝 추출 처리의 상세에 관하여 설명한다. 도 14는, 이 그림자 화상 손 끝 추출 처리의 상세를 플로차트로 나타낸 것이며, 도 15는, 그림자 화상 손 끝 추출 처리시의 상황을 사시도로 나타낸 것이다.
우선, 화상처리부(14)는, 이미 취득된 화상A(그림자 화상)의 반전 화상(-A)을 생성한다(스텝S131). 또한, 화상처리부(14)는, 원래의 화상A의 이동 평균 화상ＭＡ를 생성한다(스텝S132).
이 이동 평균 화상ＭＡ의 생성은, 구체적으로는, 예를 들면 도 19a, b에 나타나 있는 바와 같이, 화상A에 있어서, 일 주목 화소 30A 및 그 주변화소로 이루어진 화소영역(30)(이 경우, (2a+1)픽셀×(2a+1)픽셀의 화소영역)에 있어서, 화소 데이터의 평균화 연산 처리를 행함과 동시에, 예를 들면 도 ２０에 나타나 있는 바와 같이, 그 연산 결과를 다음 주목 화소를 포함하는 화소영역에서의 평균화 연산 처리에 반영시키면서 주목 화소를 순차 이동시키도록 하고, 평균화 연산 처리를 촬영화상 전체에 대해서 행한다. 또한, 이 평균화 연산 처리시의 화소영역(50)의 크기(이 경우, (2a+1)픽셀×(2a+1)픽셀)은, 검출 대상의 물체로서 예상되는 크기(타겟 사이즈a)에 의거하여 설정하는(예를 들면, 화소영역(50)의 크기는 타겟 사이즈a와 같은 정도의 크기로 설정하는) 것이 바람직하다. 상세한 것은 후술하지만, 화소영 역(50)을 이러한 크기로 하는 경우, 예를 들면 도 １６에 나타낸 화상20A(후술하는 화상D 또는 화상E에 대응함)와 달리, 근접 물체인 손 끝에 더해서 주먹의 부분에 관해서도 검출(참조부호 60A로 나타낸 부분)되는 것이 회피되기 때문이다. 또한, 예를 들면, 도 ２１에 나타나 있는 바와 같이, 평균화 연산 처리시에 필요해지는 실제의 화소영역(50)의 외측의 영역(51)의 화소 데이터에 대해서는, 예를 들면 화소영역(50)의 외주부분의 화소 데이터를 그대로 복사해서 사용되어도 된다.
다음에,화상처리부(14)는, 이동 평균 화상ＭＡ로부터, 뒤의 스텝(스텝S136)에서 이용하는 소정의 임계치ＴＨ를 산출한다(스텝S133). 구체적으로는, 이동 평균 화상ＭＡ에 있어서의 가장 밝은(가장 화소 데이터가 큰) 화소의 화소 데이터와, 원래의 화상A에 있어서의 가장 어두운(가장 화소 데이터가 작은) 화소의 화소 데이터에 의거하여(예를 들면, 이들 화소 데이터의 평균을 산출하여서) 임계치ＴＨ를 구한다. 또한, 가장 밝은(가장 화소 데이터가 큰) 화소의 화소 데이터에 대해서는, 표시 에어리어(21)의 네 귀퉁이에는 동시에 근접 물체가 배치되는 것은 통상 없는 것으로서, 이것들 네 귀퉁이의 화소의 화소 데이터의 평균치를 할당하여도 좋다.
다음에, 화상처리부(14)는, 생성한 이동 평균 화상ＭＡ의 반전 화상(-ＭＡ)을 생성해(스텝S134), 원래의 화상A의 반전 화상(-A)과 이 이동 평균 화상ＭＡ의 반전 화상(-ＭＡ)과의 차분 화상, 즉 이동 평균 화상ＭＡ와원래의 화상A와의 차분 화상인 차분 화상D=(-A)-(-ＭＡ)=ＭＡ-A를 생성한다(스텝S136). 그리고, 화상처리부(14)는, 화상D의 각 화소 데이터로부터 스텝S137에 있어서 산출한 임계치ＴＨ를 감산한 화상E=D-ＴＨ를 생성한다(스텝S137).
여기에서, 도 １７에 나타낸 화상D, E 및 도 １８에 나타낸 이것들 화상D, E에 있어서의 수광출력 전압 파형예 Ｇｄ, Ｇｅ와 같이, 타겟 사이즈a와 같은 정도의 크기인 손 끝부분만이 검출되는 한편, 손 끝보다도 큰 주먹 부분에 관해서는 검출되지 않게 된다. 또한, 도 １８에 나타낸 수광출력 전압 파형예Ｇａ, G(-a), Ｇｍａ, G(-ｍａ)은, 각각, 원래의 화상A, 그 반전 화상(-A), 이동 평균 화상ＭＡ, 그 이동 평균 화상ＭＡ의 반전 화상(-ＭＡ)에 있어서의 수광출력 전압 파형예에 대응한다.
다음에, 화상처리부(14)는, 전술한 차분 화상 손 끝 추출 처리의 경우와 같이, 이 화상E에 의거하여 중심 계산 처리(스텝S137) 및 접촉(근접)중심의 특정 처리(스텝S138)를 행한다.
이렇게 하여, 그림자 화상 손 끝 추출 처리에서는, 외광을 이용해서 촬상된 화상A의 이동 평균 화상ＭＡ와, 원래의 화상A와의 차분 화상D에 의거하여 손 끝의 추출 처리가 이루어질 수 있기 때문에, 상기한 바와 같이 타겟 사이즈와 같은 정도의 크기의 물체만이 검출됨과 동시에, 표시 광이 출사되지 않고 있는 경우(예를 들면, 표시 소자인 액정소자가 반투과형의 액정소자일 경우에 있어서 옥외에서 이용할 경우와 같이, 백라이트(15)가 항상 오프 상태가 되는 경우나, 흑화상이 I/O디스플레이 패널(20)에 표시되어 있는 경우 등)에도, 근접 물체가 검출된다.
또한, 이 그림자 화상 손 끝 추출 처리에 있어서도, 차분 화상 손 끝 추출 처리의 경우와 같이, I/O디스플레이 패널(20)의 표시 에어리어(21) 위에 동시에 배치된 복수의 접촉 또는 근접하는 물체에 대해서, 각각의 물체에 관한 위치, 형상 또는 크기 등의 정보가 취득되게 되어 있다.
이렇게 하여, 이상에서 설명한 차분 화상 손 끝 추출 처리 및 그림자 화상 손 끝 추출 처리 중 한쪽에 의한 근접 물체의 검출 결과가 최종 결로서 채용되어, 화상처리부(14)로부터 애플리케이션 프로그램 실행부(11)에 출력된다.
또한, 도 ２２는, 이것들 차분 화상 손 끝 추출 처리 및 그림자 화상 손 끝 추출 처리에 의한 손 끝 추출 처리의 특징을 비교해서 나타낸 것이다. 이 도면에 있어서, 원 기호는, 대응한 조건하에서의 손 끝 추출 처리에 적절한 것을 나타내고, 삼각형 기호는, 대응한 조건에 따라, 손 끝 추출 처리에 적절하거나 적절하지 않은 것을 나타내고, 크로스 기호는, 대응한 상조건하에서 원칙적으로 손 끝 추출 처리에 적절하지 않은 것을 나타내고 있다. 이 도면에 도시된 것처럼, 주위가 밝은 환경일 때에는, 차분 화상 손 끝 추출 처리가 손 끝 추출 처리에 더욱 적절하여서, 차분 화상 손 끝 추출 처리에 의한 추출 결과가 채용된다고 생각되는 한편, 백라이트(15)가 소등하고 있어서 표시 광이 출사되지 않고 있는 경우나, 흑색 표시상태일 때에는, 차분 화상 손 끝 추출 처리에서는 추출을 할 수 없는 경우가 생기고, 그 경우에는 그림자 화상 손 끝 추출 처리에 의한 추출 결과가 채용된다고 생각된다.
다음에, 도 ２３∼도 ２５를 참조하여, 본 발명의 특징적 부분의 하나인, 차분 화상 손 끝 추출 처리 및 그림자 화상 손 끝 추출 처리의 사이의 전환처리에 대해서, 비교 예와 비교하면서 설명한다.
우선, 도 ２3에 나타낸 비교 예에서는, 소정의 전환 파라미터(예를 들면, 후술하는 환경광의 조도나 표시 휘도)의 크기에 따라, 이 전환 파라미터가 소정의 전 환 임계치Ｔｈ101보다도 큰 것인가 아닌가에 의해, 차분 화상 손 끝 추출 처리 및 그림자 화상 손 끝 추출 처리의 전환처리가 이루어진다. 구체적으로는, 전환 파라미터가 전환 임계치Ｔｈ101이하일 때에는, 차분 화상 손 끝 추출 처리에 의한 추출 결과가 채용되는 한편, 전환 파라미터가 전환 임계치Ｔｈ101보다도 클 때에는, 그림자 화상 손 끝 추출 처리에 의한 추출 결과가 채용된다. 그렇지만, 예를 들면 도면 중의 화살표 P101로 나타나 있는 바와 같이, 전환 임계치Ｔｈ101부근에서 전환 파라미터가 변동하는 경우에는, 도면 중의 화살표 P102로 나타나 있는 바와 같이, 차분 화상 손 끝 추출 처리와 그림자 화상 손 끝 추출 처리와의 사이에서 손 끝 추출 처리가 빈번하게 전환된다. 그리고, 그렇게 고빈도로 손 끝 추출 처리가 전환되면, 근접 물체의 위치 등의 검출 동작이 불안정해진다.
이에 대하여, 본 실시예에서는, 소정의 파라미터가 증가 과정에 있을 경우에는, 이 파라미터가 제1 전환 임계치가 되었을 때에, 2개의 손 끝 추출 처리 중 일 손 끝 추출 처리로부터 다른 손 끝 추출 처리로 전환처리가 이루어지는 한편, 그 파라미터가 감소 과정에 있을 경우에는, 이 파라미터가 상기 제1 전환 임계치보다도 작은 제2 전환 임계치가 되었을 때에, 상기 다른 손 끝 추출 처리로부터 상기 일 손 끝 추출 처리로의 전환처리가 이루어진다. 즉, 2개의 손 끝 추출 처리간의 전환처리가, 히스테리시스를 사용해서 이루어진다.
구체적으로는, 예를 들면, 도 24a에 나타나 있는 바와 같이, 소정의 파라미터로서 환경광(외광)의 조도를 이용할 경우에는, 이 환경광의 조도의 크기에 따라 그림자 화상 손 끝 추출 처리와 차분 화상 손 끝 추출 처리와의 사이의 전환처리가 이루어짐과 동시에, 환경광의 조도가 증가 과정에 있을 경우에는, 이 환경광의 조도가 제1 조도 임계치Ｔｈ11이 되었을 때에, 차분 화상 손 끝 추출 처리로부터 그림자 화상 손 끝 추출 처리로 전환처리가 이루어지는 한편, 환경광의 조도가 감소 과정에 있을 경우에는, 이 환경광의 조도가 제1 조도 임계치Ｔｈ11보다도 작은 제2 조도 임계치Ｔｈ12이 되었을 때에, 그림자 화상 손 끝 추출 처리로부터 차분 화상 손 끝 추출 처리로의 전환처리가 이루어진다.
또한, 이러한 환경광의 조도의 측정에는, 전술한 그림자 화상의 이동 평균 화상(ＭＡ)을 이용하여도 된다. 구체적으로는, 예를 들면, 도 ２５에 나타나 있는 바와 같이, 이동 평균 화상(ＭＡ)에서 최대의 밝기가 되는 부분(예를 들면, 도면 중의 참조부호 P3의 부분)을, 주위 환경의 밝기를 나타내는 값(환경광의 조도값)으로서 이용한다. 이렇게 이동 평균 화상(ＭＡ)을 이용하는 경우, I/O디스플레이 패널(20)의 수광 센서 출력의 변동의 영향이 무시할 수 있게 된다.
또한, 예를 들면, 도 ２４b에 나타나 있는 바와 같이, 소정의 파라미터로서 I/O디스플레이 패널(20)의 표시 휘도를 이용할 경우에는, 이 표시 휘도의 크기에 따라 그림자 화상 손 끝 추출 처리와 차분 화상 손 끝 추출 처리와의 사이의 전환처리가 이루어짐과 동시에, 표시 휘도가 증가 과정에 있을 경우에는, 이 표시 휘도가 제1 휘도 임계치Ｔｈ21이 되었을 때에, 그림자 화상 손 끝 추출 처리로부터 차분 화상 손 끝 추출 처리에 전환처리가 이루어지는 한편, 표시 휘도가 감소 과정에 있을 경우에는, 이 표시 휘도가 제1 휘도 임계치ＴＨ21보다도 작은 제2 휘도 임계치Ｔｈ22가 되었을 때에, 차분 화상 손 끝 추출 처리로부터 그림자 화상 손 끝 추 출 처리로 전환처리가 이루어진다.
따라서, 예를 들면, 도 24a, 24b의 화살표 P11, P12, P21 및 P22에 나타나 있는 바와 같이, 환경광의 조도나 표시 휘도가 임계치ＴＨ11,Ｔｈ12,Ｔｈ21,Ｔｈ22의 부근에서 변동하는 경우이여도, 2개의 손 끝 추출 처리간의 전환처리가 환경광의 조도나 표시 휘도가 변동할 때마다 이루어지는 것이 없어지기 때문에, 상기 비교 예와 같은 고빈도에서의 손 끝 추출 처리간이 전환이 회피된다.
이상과 같이 본 실시예에서는, 소정의 파라미터의 크기에 따라 2개의 손 끝 추출 처리의 전환처리를 행함과 아울러, 파라미터가 증가 과정에 있을 경우에는, 이 파라미터가 제1 임계치가 되었을 때에, 2개의 손 끝 추출 처리 중 일 손 끝 추출 처리로부터 다른 손 끝 추출 처리로 전환처리를 행하는 한편, 파라미터가 감소 과정에 있을 경우에는, 이 파라미터가 상기 제1 임계치보다도 작은 제2 임계치가 되었을 때에, 상기 다른 손 끝 추출 처리로부터 상기 일 손 끝 추출 처리에의 전환처리가 행해지록 했으므로, 예를 들면, 파라미터가 제1 임계치나 제2 임계치의 부근에서 변동하는 경우이여도, 고빈도에서의 손 끝 추출 처리의 전환이 회피된다. 따라서, 사용상황에 상관없이, 물체를 안정하게 검출하는 것이 가능해진다.
또한, 화상A에 의거하여 이동 평균 화상ＭＡ를 생성하고, 이 이동 평균 화상ＭＡ와 원래의 화상A와의 차분 화상D, 그리고 이 차분 화상D의 각 화소 데이터로부터 임계치ＴＨ를 감산한 화상E를 이용해서 검출함과 아울러, 평균화 연산 처리시의 화소영역(50)의 크기를, 검출 대상의 물체로서 예상되는 크기(타겟 사이즈)와 같은 정도로 했으므로, 예를 들면 타겟 사이즈와 같은 정도의 크기인 손 끝부분만을 검 출하도록 하고, 손 끝보다도 큰 주먹 부분에 관해서는 검출되지 않도록 하여, 보다 확실하게 검출 처리를 행한다.
또한, 일 동작 주기(1 표시 프레임 기간)내에 있어서, 화상A(그림자 화상)의 취득을 화상B(표시 광 이용 화상)의 취득보다도 먼저 행하도록 했으므로, 예를 들면 도 7에 나타나 있는 바와 같이, 차분 화상 손 끝 추출 처리를 행할 때까지 연산 처리에 시간을 필요로 하는 이동 평균 화상ＭＡ의 연산을 행하는 시간을 확보할 수 있고, 반대로 화상B의 취득을 화상A의 취득보다도 먼저 행하도록 구성했을 경우와 비교하여, 전체적으로 단시간에 처리가 행해진다.
[제2 실시예]
다음에, 본 발명의 제2 실시예에 관하여 설명한다. 본 실시예의 표시 촬상장치는, 어떤 경우에도 차분 화상 손 끝 추출 처리 및 그림자 화상 손 끝 추출 처리의 양쪽을 행하고, 화상A(그림자 화상)와 차분 화상C에 근거하는 합성 화상을 이용하여, 손 끝 추출 처리를 행하도록 한 것이다. 또한, 이 "그림자 화상과 차분 화상에 근거하는 합성 화상"의 합성시의 가중 계수(후술하는 α, β)의 조합을, 복수 등록할 수 있게 한 것이다. 또한, 그 밖의 구성 및 동작에 관해서는 제1 실시예와 같으므로, 더욱 설명하지 않겠다.
도 26은, 본 실시예의 손 끝 추출 처리를 플로차트로 나타낸 것이다.
이 도면에 도시된 바와 같이, 제1 실시예의 경우와 같이 화상A(그림자 화상)이 취득되면(스텝S21), 중심 계산 및 접촉(근접)중심의 특정 처리를 제외하고, 차분 화상 손 끝 추출 처리 및 그림자 화상 손 끝 추출 처리가 각각 실행된다(스텝 S22,S23).
다음에, 화상처리부(14)는, 후술하는 소정의 파라미터(예를 들면, 환경광의 조도)의 크기에 따라, 스텝S12에 있어서 이루어진 차분 화상 손 끝 추출 처리시에 얻어진 차분 화상C와, 스텝S13에 있어서 이루어진 그림자 화상 손 끝 추출 처리시에 얻어진 그림자 화상A(구체적으로는, 그 그림자 화상A에 근거하는 화상E)에 근거하는 합성 화상F로서, 후술하는 조합(가중 계수 α와 β의 조합)A에 의한 합성 화상을 채용할 것인가 아닌가를 판단한다(스텝S24). 소정의 파라미터의 크기에 근거하여, 조합A에 의한 합성 화상을 채용한다고 판단했을 경우(스텝S24:Y)에는, 화상처리부(14)는, 이 조합A에 의한 합성 화상을 채용한다고 결정한다(스텝S25). 한편, 소정의 파라미터의 크기에 근거하여, 조합A에 의한 합성 화상을 채용하지 않는다고 판단했을 경우(스텝S24:N)에는, 화상처리부(14)는, 후술하는 조합B에 의한 합성 화상을 채용한다고 결정한다(스텝S26).
다음에, 예를 들면, 도 ２７에 나타나 있는 바와 같이, 차분 화상 손 끝 추출 처리로 생성되는 차분 화상C와, 그림자 화상 손 끝 추출 처리로 생성되는 화상E와의 합성 화상F=α×C+β×E가 생성된다(스텝S27). 또한, α, β는 각각, 차분 화상C 또는 화상E에 대한 가중 계수를 나타내고, 이것들 가중 계수 α와 β의 조합은, 복수 준비되어 있다(예를 들면, α,β=1/2,1,2,4,8등).
또한, 그 후는, 제1 실시예의 경우와 같이, 중심계산 처리(스텝S28), 접촉(근접)중심의 특정 처리(스텝S29) 및 최종결과의 출력 처리(스텝S30)가 이루어짐과 아울러, 화상처리부(14)에 의한 손 끝 추출 처리 전체를 종료할 것인가 아닌가가 판단된다(스텝S31). 그리고, 그것이 아직 종료하지 않는다고 판단했을 경우에는(스텝S31:N), 스텝S21∼S30까지의 처리가 반복되는 한편, 종료한다고 판단했을 경우에는(스텝S31:Y), 손 끝 추출 처리 전체가 종료가 된다.
이렇게 하여, 후술하는 소정의 파라미터의 크기에 따라, 화상합성시의 가중 계수α, β의 조합이 다른 2개의 조합A, B에 의한 합성 화상F 중 한쪽이 채용되는 경우, 이것들 2개의 조합A, B에 의한 합성 화상F를 사용한 손 끝 추출 처리간의 전환처리가 이루어진다.
다음에, 도 ２８∼도 ３1a,b를 참조하여, 본 발명의 특징적 부분의 하나인, 2개의 조합A, B에 의한 합성 화상F를 사용한 손 끝 추출 처리간의 전환처리에 대해서, 비교 예와 비교하면서 설명한다.
우선, 도 ２８에 나타낸 비교 예에서는, 소정의 전환 파라미터(예를 들면, 후술하는 환경광의 조도)의 크기에 따라, 이 전환 파라미터가 소정의 전환 임계치Ｔｈ201보다도 큰 것인가 아닌가에 의해, 조합A에 의한 합성 화상F를 사용한 손 끝 추출 처리와, 조합B에 의한 합성 화상F를 사용한 손 끝 추출 처리와의 전환처리가 이루어진다. 구체적으로는, 전환 파라미터가 전환 임계치Ｔｈ201이하일 때에는, 조합B에 의한 합성 화상F를 사용한 손 끝 추출 처리가 채용되는 한편, 전환 파라미터가 전환 임계치Ｔｈ201보다도 클 때에는, 조합A에 의한 합성 화상F를 사용한 손 끝 추출 처리가 채용되게 되어 있다. 그렇지만, 예를 들면, 도면 중의 화살표 P201로 나타나 있는 바와 같이, 전환 임계치Ｔｈ201부근에서 전환 파라미터가 변동하는 경우에는, 도면 중의 화살표 P202로 나타나 있는 바와 같이, 조합A에 의한 합성 화상 F를 사용한 손 끝 추출 처리와, 조합B에 의한 합성 화상F를 사용한 손 끝 추출 처리와의 사이에서 손 끝 추출 처리가 빈번히 바뀌어버린다. 그리고, 그렇게 고빈도로 손 끝 추출 처리가 전환되면, 근접 물체의 위치 등의 검출 동작이 불안정해진다.
이에 대하여, 본 실시예에서는, 소정의 파라미터가 증가 과정에 있을 경우에는, 이 파라미터가 제1 전환 임계치가 되었을 때에, 2개의 조합A, B에 의한 합성 화상을 사용한 손 끝 추출 처리 중 일 조합에 의한 합성 화상을 사용한 손 끝 추출 처리로부터 다른 조합에 의한 합성 화상을 사용한 손 끝 추출 처리로 전환처리가 이루어지는 한편, 파라미터가 감소 과정에 있을 경우에는, 이 파라미터가 상기 제1 전환 임계치보다도 작은 제2 전환 임계치가 되었을 때에, 상기 다른 조합에 의한 합성 화상을 사용한 손 끝 추출 처리로부터 상기 일 조합에 의한 합성 화상을 사용한 손 끝 추출 처리에의 전환처리가 이루어진다. 즉, 2개의 조합A, B에 의한 합성 화상을 사용한 손 끝 추출 처리간의 전환처리가, 히스테리시스를 사용해서 이루어진다.
구체적으로는, 예를 들면, 도 ２９에 나타나 있는 바와 같이, 소정의 파라미터로서 환경광(외광)의 조도를 이용할 경우에는, 이 환경광의 조도의 크기에 따라 2개의 조합A, B에 의한 합성 화상을 사용한 손 끝 추출 처리간의 전환처리가 이루어짐과 아울러, 환경광의 조도가 증가 과정에 있을 경우에는, 이 환경광의 조도가 제1 조도 임계치Ｔｈ31이 되었을 때에, 조합B에 의한 합성 화상을 사용한 손 끝 추출 처리로부터 조합A에 의한 합성 화상을 사용한 손 끝 추출 처리로 전환처리가 이 루어지는 한편, 환경광의 조도가 감소 과정에 있을 경우에는, 이 환경광의 조도가 제1 조도 임계치Ｔｈ31보다도 작은 제2 조도 임계치Ｔｈ32이 되었을 때에, 조합A에 의한 합성 화상을 사용한 손 끝 추출 처리로부터 조합B에 의한 합성 화상을 사용한 손 끝 추출 처리로 전환처리가 이루어진다.
이에 따라, 예를 들면, 도 ２９중의 화살표 P31,P32에 나타나 있는 바와 같이, 환경광의 조도가 임계치Ｔh31 또는 Ｔｈ32의 부근에서 변동하는 경우이여도, 2개의 조합A, B에 의한 합성 화상을 사용한 손 끝 추출 처리간의 전환처리가 환경광의 조도의 변동마다 이루어지는 것을 없어지기 때문에, 제1 실시예의 경우와 같이, 상기 비교 예와 같은 고빈도에서의 손 끝 추출 처리의 전환이 회피된다.
이 경우에, 이러한 조합A, B에 의한 합성 화상을 사용한 손 끝 추출 처리로서는, 이하, 도 3 0a, 도 30b, 도 ３1a 및 도 31b에서 설명한 바와 같이, 차분 화상C 및 그림자 화상A에 근거하는 화상C 중 어느쪽의 가중 계수를 크게 설정할지(가중 계수α, β의 어느쪽을 크게 설정할 것인가)에 의해, 2개의 예가 생각된다.
우선, 2개의 예 중 일 예로서는, 예를 들면 도 30a, b에 나타나 있는 바와 같이, 조합A1에 의한 합성 화상F1a에서는 차분 화상C의 가중 계수α가, 그림자 검출에 의한 화상E의 가중 계수β보다도 작고(예를 들면, α=1/2,β=2), 조합B1에 의한 합성 화상F1b에서는 차분 화상C의 가중 계수α가, 그림자 검출에 의한 화상E의 가중 계수β보다도 크다(예를 들면, α=4,β=1/2). 이러한 구성에서, 어두운 환경에서는, 주로 차분 화상C의 값이 채용 됨으로써 암전류 노이즈가 억제되는 한편, 밝은 환경에서는, 주로 그림자 화상A에 근거하는 화상E의 값이 채용 됨으로써, 도 30b중의 화살표 P4로 나타낸 바와 같은 차분 엣지가 억제된다. 따라서, 이 구성 예는, 주로 I/O디스플레이 패널(20)에 있어서 광에 대한 감도가 낮을 때 등에, 주위 환경에 의해 더욱 적절한 화상처리가 가능해지기 때문에 바람직하다고 할 수 있다. 즉, 보다 감도가 높은 출력을 채용하고, 노이즈의 출력을 막도록 상기 예를 구성한다. 또한, 상기한 차분 엣지(에일리어싱)는, 강한 외광하의 차분 화상 손 끝 추출 처리에 있어서, 대상물이 고속으로 이동하고 있을 경우 등에, 화상A, B을 촬상할 때의 시간차이와 외광의 영향에 의하여 발생하는 것이다.
또한, 나머지 예로서는, 예를 들면, 도 31a, b에 나타나 있는 바와 같이, 조합A2에 의한 합성 화상F2a에서는 차분 화상C의 가중 계수α가, 그림자 검출에 의한 화상E의 가중 계수β보다도 크고(예를 들면, α=4,β=1), 조합B2에 의한 합성 화상F2b에서는 차분 화상C의 가중 계수α가, 그림자 검출에 의한 화상E의 가중 계수β보다도 작다(예를 들면, α=1,β=4). 즉, 도 30a, b에 나타낸 가중 계수α, β의 조합과는, 반대의 가중 계수α, β의 조합으로 되어 있다. 그것은, I/O디스플레이 패널(20)의 출력의 Ｓ/N(신호 대 잡음비)이 높을 경우나, 애플리케이션의 종류에 따라서는, 밝기에 대한 합성비의 크기 상관을 역으로 하는 것도 유효하기 때문이다. 이렇게 구성했을 경우, 보다 감도가 낮은 손 끝 추출 처리에 높은 배율을 곱하는(가중 계수를 크게 하는) 것에 의해, 그림자 화상 손 끝 추출 처리 및 차분 화상 손 끝 추출 처리의 양쪽의 처리 결과가 항상 채용되어서, 보다 안정한 출력을 얻는 것이 가능해진다. 또한, 후처리에서는 고정된 임계치에서 손가락을 판별하는 것이 용이해진다. 그렇지만, 주위 환경이 어두울 경우에 있어서도 I/O디스플레이 패 널(20)의 출력의 노이즈를 감소시키는 것이 필요하고, 또한, 상기한 차분 엣지의 발생도 별도로 막는 것이 필요하다.
이상과 같이 본 실시예에서는, 소정의 파라미터의 크기에 따라 2개의 조합A, B에 의한 합성 화상을 사용한 손 끝 추출 처리의 전환처리를 행함과 아울러, 소정의 파라미터가 증가 과정에 있을 경우에는, 이 파라미터가 제1 전환 임계치가 되었을 때에, 2개의 조합A, B에 의한 합성 화상을 사용한 손 끝 추출 처리 중 일 조합에 의한 합성 화상을 사용한 손 끝 추출 처리로부터 다른 조합에 의한 합성 화상을 사용한 손 끝 추출 처리로 전환처리를 행하는 한편, 파라미터가 감소 과정에 있을 경우에는, 이 파라미터가 상기 제1 전환 임계치보다도 작은 제2 전환 임계치가 되었을 때에, 상기 다른 조합에 의한 합성 화상을 사용한 손 끝 추출 처리로부터 상기 일 조합에 의한 합성 화상을 사용한 손 끝 추출 처리로 전환처리를 행하므로, 상기 제1 실시예의 경우와 같이, 예를 들면 파라미터가 제1 임계치나 제2 임계치의 부근에서 변동하는 경우이여도, 고빈도에서의 손 끝 추출 처리간의 전환이 회피된다. 따라서, 사용 상황에 상관없이, 물체를 안정하게 검출하는 것이 가능해진다.
(애플리케이션 프로그램의 실행 예)
다음에, 도 ３２a,32b∼도 ３５를 참조하여, 지금까지 설명한 손 끝 추출 처리에 의해 검출된 물체의 위치 정보 등을 이용한 애플리케이션 프로그램 실행부(11)에 의한 일부의 애플리케이션 프로그램 실행 예에 대해서 설명하겠다.
우선, 도 32a에 나타낸 예는, I/O디스플레이 패널(20)의 표면을 손 끝(61)으로 접촉해서, 그 손끝(61)이 접촉한 장소의 궤적을 묘화 라인(611)으로서 화면에 표시시키도록 한 예다.
또한, 도 ３２b에 나타낸 예는, 손의 형태를 사용한 제스추어 인식이다. 구체적으로는, I/O디스플레이 패널(20)에 접촉하는(또는 근접하는) 손(62)의 형상을 인식하고, 그 인식한 손의 형태를 화상으로서 표시시켜, 그 표시 물체의 이동(621)으로, 일부의 처리를 행하도록 한 것이다.
또한, 도 ３３에 나타낸 예는, 닫은 상태의 손 63A로부터, 연 상태의 손 63B로 변화시키고, 각각의 상태의 손의 접촉 또는 근접을 I/O디스플레이 패널(20)로 화상인식시켜서, 그 화상인식에 근거한 처리를 실행시키도록 한 것이다. 이것들의 인식에 의거하여 처리를 행함으로써, 예를 들면 줌인 등의 지시를 행할 수 있다. 또한, 이러한 지시를 행함으로써, 예를 들면 I/O디스플레이 패널(20)을 퍼스널 컴퓨터에 접속하고, 그 컴퓨터 상에서의 명령어를 전환하는 조작 등을, 이것들의 화상인식으로, 보다 자연스러운 형태로 입력한다.
또한, 예를 들면, 도 ３４에 나타나 있는 바와 같이, I/O디스플레이 패널(20)을 복수 준비하고, 그 복수의 Ｉ/O디스플레이 패널(20)을 일부의 전송 수단으로 서로 접속하는 경우, 접촉 또는 근접을 검출한 화상을, 상대의 일 Ｉ/O디스플레이 패널(20)과 다른 Ｉ/O디스플레이 패널(20)에 전송해서 표시시켜서, 양쪽 디스플레이 패널들(20)을 조작하는 유저간에 통신을 하여도 된다. 즉, 도 ２５에 나타나 있는 바와 같이, 2개의 Ｉ/O디스플레이 패널(20)을 준비하고, 한쪽의 패널에서 화상인식한 손(65)의 형상을 다른 패널로 송신하고, 다른 쪽의 패널에 손 형상(642)을 표시시키거나, 다른 쪽의 패널을 손(64)으로 접촉해서 표시된 궤적(641) 을, 상대의 패널에 전달해서 표시시키는 등의 처리가 가능하게 된다. 이렇게 하여, 묘화하고 있는 상태가 동영상으로 전달되어, 손으로 쓴 문자나 도형 등을 상대에게 보냄으로써, 새로운 커뮤니케이션 툴의 가능성이 있다. 이러한 예로서는, 예를 들면, I/O디스플레이 패널(20)을 휴대전화단말의 표시 패널에 적용하는 것 등이 예상된다.
또한, 예를 들면, 도 ３５에 나타나 있는 바와 같이, 붓(66)을 사용하고, I/O디스플레이 패널(20)의 표면에서 문자를 쓰도록 접촉시켜서, 그 붓(66)이 접촉한 장소를 I/O디스플레이 패널(20)에 화상(661)으로서 표시시킴으로써 붓에 의한 손으로 쓴 입력이 가능하게 된다. 이 경우에는, 붓의 미세한 터치까지 인식해서 실현하는 것이 가능하다. 종래의 자필 인식의 경우에는, 예를 들면, 일부의 디지타이저에 있어서, 특수한 펜의 기울기를 전계를 검출하여서 표시시에 반영되지만, 본 예에서는, 진짜 붓의 접촉면 바로 그것을 검출 함에 의해, 보다 현실적인 감각으로 정보입력을 행할 수 있다.
상기 제1 및 제2 실시예를 참조하여 본 발명을 설명했지만, 본 발명은 상기 실시예들에 한정되는 것이 아니고, 여러 가지의 변형이 가능하다.
예를 들면, 상기 실시예들에서는, 임계치Ｔｈ11,Ｔｈ12,Ｔｈ21,Ｔｈ22,Ｔｈ31,Ｔｈ32가 각각 고정 값일 경우에 관하여 설명했지만, 예를 들면 이것들의 임계치를, 유저가 임의로 조정 가능하게 되어 있도록 하여도 좋다.
또한, 본 발명의 이동 평균 화상의 생성 처리에서는, 평균화 화상처리를 행할 때, 대상 화소를 감소하고, 그 감소된 대상 화소들의 연산을 행하여, 처리를 경 감하도록 하여도 좋다. 예를 들면, 도 36a, 36b에 나타나 있는 바와 같이, 주목 화소를 일 화소방향을 따라 순차 이동시키면서, 이 일 화소방향상의 화소에 대하여만 평균화 연산 처리를 행하고, 그 후에 주목 화소를 다른 화소방향을 따라 순차 이동시키면서, 이밖에의 화소방향 상의 화소에 대하여만 평균화 연산 처리를 하여도 좋다. 또한, 예를 들면, 도 37a, 37b에 나타나 있는 바와 같은 연산 회로(70∼73)를 사용하고, 소정의 방향으로의 닷(dot) 가산 처리를 하여도 좋다.
또한, 상기 실시예들에서는, 원화상A로부터 이동 평균 화상ＭＡ를 생성함과 아울러, 이 이동 평균 연산 처리시의 화소영역(50)의 크기를 검출 대상의 물체로서 예상되는 크기(타겟 사이즈a)를 기초로 설정 함에 의해, 이동 평균 화상ＭＡ에 있어서, 화소영역(50)보다도 큰, 즉 화소영역(50)보다도 공간주파수가 큰 화상(이 경우, 손 끝화상)을 제거하고, 이 이동 평균 화상ＭＡ와 원화상A와의 차분을 받아들이는 것에 의해, 최종적으로 화소영역(50)보다도 공간주파수가 작은 화상(이 경우, 그림자 화상)을 제거하고, 공간주파수가 큰 화상(이 경우, 손 끝화상)만을 추출하도록 하고 있다. 즉, 상기 실시예에서는, 이러한 고역 통과 필터의 일례 또한, 가장 간편 또한,고속처리의 가능한 방법으로서, 이동 평균 화상ＭＡ와 원화상A와의 차분을 결정하는 방법에 관하여 설명하고 있다. 따라서, 상기 차분을 결정하는 방법은, 상기 실시예들에서 설명한 방법에는 한정되지 않고, 다른 고역통과필터를 사용하고, 한번에 저역통과필터 처리와 차분 처리의 양쪽의 처리를 행하여도 된다.
또한, 상기 실시예들에서는, 백라이트(15)가 표시 광을 출사하는 경우를 설명하지만, 그 백라이트(15)는 표시 광과 함께 비가시광으로서 적외광을 출사하고, 상기 센서 에어리어(21)에서의 수광 소자는 상기 적외광을 수신하여도 된다. 또한, 이들 2개의 손끝 추출 처리간의 전환처리는, 외광(환경광)의 적외광 성분을 검출하고, 상기 적외광 성분의 휘도의 크기에 따라 상기 차분 화상 손끝 추출처리와 상기 그림자 화상 손끝 추출 처리 중 한쪽에 의한 추출 결과를 사용하여 행해지기도 한다.
또한, 상기 실시예들에서는, I/O디스플레이 패널(20)에 있어서, 표시 소자가 액정소자임과 동시에, 수광소자를 별개로 설치하는 경우로 설명했지만, 예를 들면 도 ３８ 및 도 ３９에 나타낸 표시 촬상장치와 같이, 예를 들면 유기ＥＬ(ElectroLuminescence)소자와 같고, 발광 동작과 수광동작을 시분할로 행하는 것이 가능한 발광/수광소자(표시 촬영소자)에 의해, I/O디스플레이 패널(I/O디스플레이 패널 80)을 구성하도록 하여도 좋다. 이러한 구성에서도, 상기 실시예들과 동일한 효과를 얻기도 한다. 또한, 이 경우의 표시 광이 출사되지 않는 기간은, 표시 촬영소자에 의한 발광 동작이 이루어지지 않는 기간이다.
당업자에게 있어서, 첨부된 청구항 또는 그와 동등한 것의 범위 내에 있는 한 설계 요구사항 및 다른 요인들에 따라 여러 가지 변형, 조합, 세부 조합 및 변경을 하여도 된다는 것을 알아야 한다.
도 1은 본 발명의 제1 실시예에 따른 표시 촬상장치의 구성을 나타내는 블럭도,
도 2는 도 1에 나타낸 Ｉ/O디스플레이 패널의 구성 예를 나타내는 블럭도,
도 3은 각 화소의 구성 예를 나타내는 회로도,
도 4는 각 화소와 센서 판독용 H드라이버와의 접속 관계를 설명하기 위한 회로도,
도 5는 백라이트의 온·오프 상태와 표시 상태와의 관계에 관하여 설명하기 위한 타이밍도,
도 6은 제1 실시예에 따른 손 끝 추출 처리를 나타내는 플로차트,
도 7은 도 6에 있어서의 각 추출 처리에 관하여 설명하기 위한 타이밍도,
도 8은 도 7에 나타낸 차분 화상 손 끝 추출 처리의 상세를 나타내는 플로차트,
도 9는 차분 화상 손 끝 추출 처리에 관하여 설명하기 위한 사진 구성도,
도 10a 및 10b는 외광이 밝을 경우의 차분 화상 손 끝 추출 처리에 대해서 설명하기 위한 도면,
도 11a 및 11b는 외광이 어두울 경우의 차분 화상 손 끝 추출 처리에 대해서 설명하기 위한 도면,
도 12a 및 12b는 차분 화상 손 끝 추출 처리에 의한 수광신호의 다이나믹 레인지에 대해서 설명하기 위한 도면,
도 13a 내지 13d는 검출 대상의 손 끝이 동시에 복수 존재할 경우의 차분 화 상 손 끝 추출 처리에 관하여 설명하기 위한 사진 구성도,
도 14는 도 7에 나타낸 그림자 화상 손 끝 추출 처리의 상세를 나타내는 플로차트,
도 15는 그림자 화상 손 끝 추출 처리의 개념에 관하여 설명하기 위한 사시도,
도 １６은 그림자 화상 손 끝 추출 처리에 의한 촬영화상의 일례를 나타내는 모식도,
도 １７은 그림자 화상 손 끝 추출 처리에 관하여 설명하기 위한 사진 구성도,
도 １８은 그림자 화상 손 끝 추출 처리에 의한 수광신호에 대해서 설명하기 위한 도면,
도 19a 및 19b는 이동 평균 화상의 생성 처리에 대해서 설명하기 위한 도면,
도 ２０은 이동 평균 화상의 생성 처리에 대해서 설명하기 위한 도면,
도 ２１은 이동 평균 화상의 생성 처리에 대해서 설명하기 위한 도면,
도 ２２는 차분 화상 손 끝 추출 처리와 그림자 화상 손 끝 추출 처리에 대해서 비교 설명하기 위한 도면,
도 ２３은 비교 예에 따른 추출 처리간의 전환처리에 대해서 설명하기 위한 도면,
도 ２４a 및 24b는 제1 실시예에 따른 추출 처리간의 전환처리에 대해서 설명하기 위한 도면,
도 ２５는 도 2 4a에 나타낸 환경광의 조도의 검출 방법의 일례를 설명하기 위한 사진 구성도,
도 ２６은 본 발명의 제2 실시예에 따른 손 끝 추출 처리를 나타내는 플로차트다.
도 ２７은 도 ２6에 나타낸 화상합성처리에 관하여 설명하기 위한 사진 구성도,
도 ２８은 비교 예에 따른 계수 조합의 전환처리에 대해서 설명하기 위한 도면,
도 ２９는 제2 실시예에 따른 계수 조합의 전환처리에 대해서 설명하기 위한 도면,
도 30a 및 30b는 계수 조합의 일례를 나타내는 사진 구성도,
도 ３１a 및 31b는 계수 조합의 다른 예를 나타내는 사진 구성도,
도 ３２a 및 32b는 손 끝 추출 처리의 결과를 이용한 애플리케이션의 일례에 대해서 설명하기 위한 도면,
도 ３３은 손 끝 추출 처리의 결과를 이용한 애플리케이션의 일례에 대해서 설명하기 위한 도면,
도 ３４는 손 끝 추출 처리의 결과를 이용한 애플리케이션의 일례에 대해서 설명하기 위한 도면,
도 ３５는 손 끝 추출 처리의 결과를 이용한 애플리케이션의 일례에 대해서 설명하기 위한 도면,
도 ３６a 및 36b는 본 발명의 변형 예에 따른 이동 평균 화상의 생성 처리에 대해서 설명하기 위한 도면,
도 ３７a 및 37b는 본 발명의 변형 예에 따른 이동 평균 화상의 생성 처리에 대해서 설명하기 위한 도면,
도 ３８은 본 발명의 변형 예에 따른 표시 촬상장치의 구성을 나타내는 블럭도,
도 ３９는 도 ３８에 나타낸 표시 촬상장치에 있어서의 각 화소의 구성 예를 나타내는 회로도이다.

Claims (19)

  1. 화상 표시 기능과 촬영기능을 갖는 표시 촬영 패널과,
    상기 표시 촬영 패널을 사용해서 얻어진 근접 물체의 촬영화상에 근거하여, 소정의 처리 화상을 생성하는 화상생성 수단과,
    상기 촬영화상 및 상기 처리 화상 중 적어도 한쪽에 근거하여, 상기 근접 물체의 위치, 형상 및 크기 중 적어도 하나에 관한 정보를, 2개의 취득 모드 중 한쪽을 선택적으로 이용해서 취득하는 화상처리수단과,
    소정의 파라미터의 크기에 따라 상기 화상처리수단에 있어서의 상기 2개의 취득 모드간의 전환처리를 행하고, 상기 파라미터가 증가 과정에 있을 경우에는, 이 파라미터가 제1 임계치가 되었을 때에, 상기 2개의 취득 모드 중 일 취득 모드로부터 다른 취득 모드로 전환처리를 행하고, 상기 파라미터가 감소 과정에 있을 경우에는, 이 파라미터가 상기 제1 임계치보다도 작은 제2 임계치가 되었을 때에, 상기 다른 취득 모드로부터 상기 일 취득 모드로 전환처리를 행하는 전환 수단을 구비한 것을 특징으로 하는 표시 촬상장치.
  2. 제 1 항에 있어서,
    상기 촬영화상은, 상기 표시 촬영 패널에 의해 상기 근접 물체의 그림자를 촬상해서 얻어진 그림자 화상이며,
    상기 처리 화상은, 상기 표시 촬영 패널로부터의 표시 광을 이용해서 이 표시 촬영 패널에 의해 상기 근접 물체를 촬상해서 얻어진 표시 광 이용 화상과, 상기 그림자 화상과의 차분 처리를 행함으로써 얻어진 차분 화상인 것을 특징으로 하는 표시 촬상장치.
  3. 제 2 항에 있어서,
    상기 2개의 취득 모드 중 상기 일 취득 모드는, 상기 차분 화상에 근거하는 차분 취득 모드이며, 상기 다른 취득 모드는, 상기 그림자 화상에 근거하는 그림자 취득 모드인 것을 특징으로 하는 표시 촬상장치.
  4. 제 3 항에 있어서,
    상기 소정의 파라미터가 환경광의 조도인 것을 특징으로 하는 표시 촬상장치.
  5. 제 4 항에 있어서,
    상기 전환 수단은, 상기 그림자 화상의 이동 평균 화상을 이용하여, 상기 환경광의 조도를 검출하는 것을 특징으로 하는 표시 촬상장치.
  6. 제 3 항에 있어서,
    상기 소정의 파라미터가 상기 표시 촬영 패널의 표시 휘도인 것을 특징으로 하는 표시 촬상장치.
  7. 제 2 항에 있어서,
    상기 화상생성 수단은, 상기 차분 화상과 상기 그림자 화상으로부터의 합성 화상을, 복수의 가중 계수의 조합을 사용해서 생성하는 기능을 갖고,
    상기 2개의 취득 모드 중, 한쪽은, 상기 차분 화상의 가중 계수가 상기 그림자 화상의 가중 계수보다도 큰 가중 계수의 조합을 사용한 합성 화상에 근거하는 제1 합성 취득 모드이며, 다른 쪽은, 상기 차분 화상의 가중 계수가 상기 그림자 화상의 가중 계수보다도 작은 가중 계수의 조합을 사용한 합성 화상에 근거하는 제2 합성 취득 모드인 것을 특징으로 하는 표시 촬상장치.
  8. 제 7 항에 있어서,
    상기 소정의 파라미터가 환경광의 조도이며,
    상기 전환 수단은, 상기 환경광의 조도가 증가 과정에 있을 경우에는, 이 환 경광의 조도가 제1 조도 임계치가 되었을 때에, 상기 제1 합성 취득 모드로부터 상기 제2 합성 취득 모드로 전환처리를 행하고, 상기 환경광의 조도가 감소 과정에 있을 경우에는, 이 환경광의 조도가 상기 제1 조도 임계치보다도 작은 제2 조도 임계치가 되었을 때에, 상기 제2 합성 취득 모드로부터 상기 제1 합성 취득 모드로 전환처리를 행하는 것을 특징으로 하는 표시 촬상장치.
  9. 제 7 항에 있어서,
    상기 소정의 파라미터가 환경광의 조도이며,
    상기 전환 수단은, 상기 환경광의 조도가 증가 과정에 있을 경우에는, 이 환경광의 조도가 제1 조도 임계치가 되었을 때에, 상기 제2 합성 취득 모드로부터 상기 제1 합성 취득 모드로 전환처리를 행하고, 상기 환경광의 조도가 감소 과정에 있을 경우에는, 이 환경광의 조도가 상기 제1 조도 임계치보다도 작은 제2 조도 임계치가 되었을 때에, 상기 제1 합성 취득 모드로부터 상기 제2 합성 취득 모드로 전환처리를 행하는 것을 특징으로 하는 표시 촬상장치.
  10. 제 7 항에 있어서,
    상기 소정의 파라미터가 환경광의 조도이며,
    상기 전환 수단은, 상기 그림자 화상의 이동 평균 화상을 이용하여, 상기 환 경광의 조도를 검출하는 것을 특징으로 하는 표시 촬상장치.
  11. 제 1 항에 있어서,
    상기 제1 및 제2 임계치가, 유저에 의해 임의로 조정 가능한 것을 특징으로 하는 표시 촬상장치.
  12. 제 1 항에 있어서,
    상기 화상처리수단은, 상기 표시 촬영 패널 위에 동시에 위치하는 복수의 근접 물체의 각각의 위치, 형상 및 크기 중 적어도 하나에 관한 정보를 취득하는 것을 특징으로 하는 표시 촬상장치.
  13. 제 1 항에 있어서,
    상기 취득한 상기 근접 물체의 위치, 형상 및 크기 중 적어도 하나에 관한 정보를 표시하는 것을 특징으로 하는 표시 촬상장치.
  14. 제 1 항에 있어서,
    상기 표시 촬영 패널은, 복수의 액정소자 및 복수의 촬영소자를 포함한 것을 특징으로 하는 표시 촬상장치.
  15. 제 1 항에 있어서,
    상기 표시 촬영 패널은, 발광 동작 및 수광동작을 시분할에 의해 행할 수 있는 복수의 표시 촬영소자를 포함한 것을 특징으로 하는 표시 촬상장치.
  16. 제 15 항에 있어서,
    상기 표시 촬영소자는, 유기ＥＬ소자인 것을 특징으로 하는 표시 촬상장치.
  17. 화상 표시 기능과 촬영기능을 갖는 표시 촬영 패널을 사용해서 근접 물체의 촬영화상을 취득하는 촬영 스텝과,
    상기 촬영 스텝에 의해 얻어진 촬영화상에 근거하여, 소정의 처리 화상을 생성하는 화상생성 스텝과,
    상기 촬영 스텝에 의해 얻어진 촬영화상 및 상기 화상생성 스텝에 의해 얻어진 처리 화상 중 적어도 한쪽에 근거하여, 2개의 취득 모드 중 한쪽을 선택적으로 이용하여, 상기 근접 물체의 위치, 형상 및 크기 중 적어도 하나에 관한 정보를 검 출하는 검출 스텝과,
    소정의 파라미터의 크기에 따라 상기 검출 스텝에 있어서 이용하는 상기 2개의 취득 모드간의 전환처리를 행하고, 상기 파라미터가 증가 과정에 있을 경우에는, 이 파라미터가 제1 임계치가 되었을 때에, 상기 2개의 취득 모드 중 일 취득 모드로부터 다른 취득 모드로 전환처리를 행하고, 상기 파라미터가 감소 과정에 있을 경우에는, 이 파라미터가 상기 제1 임계치보다도 작은 제2 임계치가 되었을 때에, 상기 다른 취득 모드로부터 상기 일 취득 모드로 전환처리를 행하는 전환 스텝을, 컴퓨터에게 실행시키는 것을 특징으로 하는 물체 검출 프로그램.
  18. 화상 표시 기능과 촬영기능을 갖는 표시 촬영 패널을 사용해서 근접 물체의 촬영화상을 취득하는 스텝과,
    상기 촬영화상에 근거해서 소정의 처리 화상을 생성하는 스텝과,
    상기 촬영화상 및 상기 처리 화상 중 적어도 한쪽에 근거하여, 2개의 취득 모드 중 한쪽을 선택적으로 이용하여, 상기 근접 물체의 위치, 형상 및 크기 중 적어도 하나에 관한 정보를 검출하는 스텝과,
    소정의 파라미터의 크기에 따라 상기 2개의 취득 모드간의 전환처리를 행하고, 상기 파라미터가 증가 과정에 있을 경우에는, 이 파라미터가 제1 임계치가 되었을 때에, 상기 2개의 취득 모드 중 일 취득 모드로부터 다른 취득 모드로 전환처리를 행하고, 상기 파라미터가 감소 과정에 있을 경우에는, 이 파라미터가 상기 제 1 임계치보다도 작은 제2 임계치가 되었을 때에, 상기 다른 취득 모드로부터 상기 일 취득 모드로 전환처리를 행하는 스텝을 포함한 것을 특징으로 하는 물체의 검출 방법.
  19. 화상 표시 기능과 촬영기능을 갖는 표시 촬영 패널과,
    상기 표시 촬영 패널을 사용해서 얻어진 근접 물체의 촬영화상에 근거하여, 소정의 처리 화상을 생성하는 화상생성부와,
    상기 촬영화상 및 상기 처리 화상 중 적어도 한쪽에 근거하여, 상기근접 물체의 위치, 형상 및 크기 중 적어도 하나에 관한 정보를, 2개의 취득 모드 중 한쪽을 선택적으로 이용해서 취득하는 화상처리부와,
    소정의 파라미터의 크기에 따라 상기 화상처리부에 있어서의 상기 2개의 취득 모드간의 전환처리를 행하고, 상기 파라미터가 증가 과정에 있을 경우에는, 이 파라미터가 제1 임계치가 되었을 때에, 상기 2개의 취득 모드 중 일 취득 모드로부터 다른 취득 모드로 전환처리를 행하고, 상기 파라미터가 감소 과정에 있을 경우에는, 이 파라미터가 상기 제1 임계치보다도 작은 제2 임계치가 되었을 때에, 상기 다른 취득 모드로부터 상기 일 취득 모드로 전환처리를 행하는 전환부를 구비한 것을 특징으로 하는 표시 촬상장치.
KR1020080110854A 2007-11-09 2008-11-10 표시 촬상장치, 및 물체의 검출 방법 KR101534588B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2007-291767 2007-11-09
JP2007291767A JP4835578B2 (ja) 2007-11-09 2007-11-09 表示撮像装置、物体検出プログラムおよび物体の検出方法

Publications (2)

Publication Number Publication Date
KR20090048371A true KR20090048371A (ko) 2009-05-13
KR101534588B1 KR101534588B1 (ko) 2015-07-07

Family

ID=40623736

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080110854A KR101534588B1 (ko) 2007-11-09 2008-11-10 표시 촬상장치, 및 물체의 검출 방법

Country Status (5)

Country Link
US (1) US8085251B2 (ko)
JP (1) JP4835578B2 (ko)
KR (1) KR101534588B1 (ko)
CN (1) CN101430868B (ko)
TW (1) TWI393943B (ko)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5093523B2 (ja) * 2007-02-23 2012-12-12 ソニー株式会社 撮像装置、表示撮像装置および撮像処理装置
KR20100099008A (ko) * 2009-03-02 2010-09-10 삼성전자주식회사 오토 포커싱 제어 방법 및 장치, 이를 이용한 디지털 촬영 장치
JP4699536B2 (ja) * 2009-03-06 2011-06-15 シャープ株式会社 位置検出装置、制御方法、制御プログラムおよび記録媒体
JP2011086179A (ja) * 2009-10-16 2011-04-28 Sony Corp 情報入力装置、情報入力方法、情報入出力装置、情報入力プログラムおよび電子機器
JP5510998B2 (ja) * 2009-11-13 2014-06-04 株式会社ジャパンディスプレイ センサ装置、センサ素子の駆動方法、入力機能付き表示装置および電子機器
JP5464583B2 (ja) * 2009-11-27 2014-04-09 株式会社ジャパンディスプレイ センサ装置、センサ素子の駆動方法、入力機能付き表示装置および電子機器
TWI521410B (zh) 2010-06-14 2016-02-11 原相科技股份有限公司 物件影像擷取裝置以及擷取指示物之物件影像的方法
CN102298468B (zh) * 2010-06-24 2014-07-23 原相科技股份有限公司 物件影像撷取装置以及撷取指示物的物件影像的方法
CN102314294A (zh) * 2010-06-29 2012-01-11 宏碁股份有限公司 执行应用程序的方法
TWI450154B (zh) 2010-09-29 2014-08-21 Pixart Imaging Inc 光學觸控系統及其物件偵測方法
CN102446034B (zh) * 2010-10-13 2014-05-07 原相科技股份有限公司 光学触控系统及其物件侦测方法
TWI464691B (zh) 2010-11-16 2014-12-11 Pixart Imaging Inc 影像感測模組與光學訊號處理裝置
KR101694272B1 (ko) * 2010-12-03 2017-01-10 삼성전자주식회사 디스플레이 장치에서의 터치 및 근접 정보 검출 장치 및 방법
US9152255B2 (en) * 2011-05-03 2015-10-06 Htc Corporation Management and application methods and systems for touch-sensitive devices, and computer program products thereof
CN102801409B (zh) * 2011-05-23 2014-11-26 烟台瑞和控电信息系统有限公司 一种基于手势识别的智能开关
FR2980597B1 (fr) * 2011-09-27 2014-05-09 Isorg Interface utilisateur sans contact
FR2980598B1 (fr) * 2011-09-27 2014-05-09 Isorg Interface utilisateur sans contact a composants semiconducteurs organiques
FR2989483B1 (fr) 2012-04-11 2014-05-09 Commissariat Energie Atomique Dispositif d'interface utilisateur a electrodes transparentes
FR2995419B1 (fr) 2012-09-12 2015-12-11 Commissariat Energie Atomique Systeme d'interface utilisateur sans contact
FR2996933B1 (fr) 2012-10-15 2016-01-01 Isorg Appareil portable a ecran d'affichage et dispositif d'interface utilisateur
JP5752157B2 (ja) * 2013-01-31 2015-07-22 シャープ株式会社 文字表示装置及び文字表示方法
CN104035648A (zh) * 2013-03-04 2014-09-10 联想(北京)有限公司 状态切换的方法及电子终端
TWI483169B (zh) * 2013-06-11 2015-05-01 Pixart Imaging Inc 電容偵測電路以及使用此電容偵測電路的電能供應裝置
CN109600515A (zh) * 2013-06-18 2019-04-09 联想(北京)有限公司 一种信息处理方法以及电子设备
CN103995645B (zh) * 2014-05-26 2018-02-27 联想(北京)有限公司 一种信息处理方法及电子设备
JP6553406B2 (ja) * 2014-05-29 2019-07-31 株式会社半導体エネルギー研究所 プログラム、及び情報処理装置
FR3025052B1 (fr) 2014-08-19 2017-12-15 Isorg Dispositif de detection d'un rayonnement electromagnetique en materiaux organiques
CN104297746A (zh) * 2014-10-29 2015-01-21 佛山市顺德区美的电热电器制造有限公司 运动物体的轨迹检测方法、检测系统和电子设备
CN108510948A (zh) * 2017-02-28 2018-09-07 昆山国显光电有限公司 发光显示器及其控制方法
JP2019046141A (ja) * 2017-09-01 2019-03-22 アルパイン株式会社 運転者監視装置、運転者監視方法、及びプログラム
TWI634455B (zh) * 2017-09-21 2018-09-01 光寶科技股份有限公司 動作偵測方法與動作偵測裝置
JP7471841B2 (ja) * 2020-02-05 2024-04-22 キヤノン株式会社 検品システム、検品方法
CN111683237A (zh) * 2020-04-17 2020-09-18 中国航空无线电电子研究所 一种具有色彩自调节功能的平视显示界面颜色处理方法
TWI751717B (zh) * 2020-09-22 2022-01-01 環鴻科技股份有限公司 提升影像辨識率的前處理方法及系統

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4094794B2 (ja) * 1999-09-10 2008-06-04 株式会社リコー 座標検出装置、情報記憶媒体および座標検出方法
JP4200435B2 (ja) 2002-09-10 2008-12-24 ソニー株式会社 情報処理装置および方法、記録媒体、並びにプログラム
CN1768322A (zh) * 2003-03-31 2006-05-03 东芝松下显示技术有限公司 显示装置及信息终端装置
WO2005067608A2 (en) * 2004-01-07 2005-07-28 Identification International, Inc. Low power fingerprint capture system, apparatus, and method
US7800594B2 (en) * 2005-02-03 2010-09-21 Toshiba Matsushita Display Technology Co., Ltd. Display device including function to input information from screen by light
JP2006276223A (ja) * 2005-03-28 2006-10-12 Sony Corp 表示装置及び表示方法
JP4618026B2 (ja) * 2005-07-12 2011-01-26 ソニー株式会社 表示装置及び表示および受光を行う表示装置を用いた検出方法
US20070109239A1 (en) * 2005-11-14 2007-05-17 Den Boer Willem Integrated light sensitive liquid crystal display
JP4916853B2 (ja) * 2005-11-29 2012-04-18 京セラ株式会社 撮像装置およびその方法
JP2007163891A (ja) * 2005-12-14 2007-06-28 Sony Corp 表示装置
JP4270248B2 (ja) * 2006-08-31 2009-05-27 ソニー株式会社 表示撮像装置、情報入力装置、物体検出プログラムおよび物体の検出方法
US8698727B2 (en) * 2007-01-05 2014-04-15 Apple Inc. Backlight and ambient light sensor system

Also Published As

Publication number Publication date
JP2009116778A (ja) 2009-05-28
JP4835578B2 (ja) 2011-12-14
CN101430868B (zh) 2012-10-31
US8085251B2 (en) 2011-12-27
US20090123029A1 (en) 2009-05-14
CN101430868A (zh) 2009-05-13
TWI393943B (zh) 2013-04-21
KR101534588B1 (ko) 2015-07-07
TW200925706A (en) 2009-06-16

Similar Documents

Publication Publication Date Title
KR20090048371A (ko) 표시 촬상장치, 물체검출 프로그램 및 물체의 검출 방법
US8638317B2 (en) Display apparatus and method for controlling the same
US9405406B2 (en) Image pickup device, display-and-image-pickup device, electronic apparatus and method of detecting an object
US8610670B2 (en) Imaging and display apparatus, information input apparatus, object detection medium, and object detection method
US8188987B2 (en) Display and imaging apparatus and object detecting method
JP5300859B2 (ja) 撮像装置、表示撮像装置および電子機器
US8319749B2 (en) Image pickup apparatus, display-and-image-pickup apparatus and image pickup processing apparatus
JP4390002B2 (ja) 表示装置およびその制御方法
JP4270248B2 (ja) 表示撮像装置、情報入力装置、物体検出プログラムおよび物体の検出方法
US20060214892A1 (en) Display device and display method
JP5424475B2 (ja) 情報入力装置、情報入力方法、情報入出力装置、情報入力プログラムおよび電子機器
US8593442B2 (en) Sensor device, method of driving sensor element, display device with input function and electronic apparatus
US20120154307A1 (en) Image display control apparatus and image display control method
JP5246795B2 (ja) センサ装置、センサ素子の駆動方法、入力機能付き表示装置および電子機器
JP2006243927A (ja) 表示装置
JP4270247B2 (ja) 表示撮像装置、物体検出プログラムおよび物体の検出方法
JP2009122919A (ja) 表示装置
JP4788755B2 (ja) 表示撮像装置、物体検出プログラムおよび物体の検出方法
JP5392656B2 (ja) 情報入力装置、情報入出力装置および電子機器

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
N231 Notification of change of applicant
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee