KR101068381B1 - 다방향 이미징 시스템을 위한 시스템 및 방법 - Google Patents

다방향 이미징 시스템을 위한 시스템 및 방법 Download PDF

Info

Publication number
KR101068381B1
KR101068381B1 KR1020067013086A KR20067013086A KR101068381B1 KR 101068381 B1 KR101068381 B1 KR 101068381B1 KR 1020067013086 A KR1020067013086 A KR 1020067013086A KR 20067013086 A KR20067013086 A KR 20067013086A KR 101068381 B1 KR101068381 B1 KR 101068381B1
Authority
KR
South Korea
Prior art keywords
camera
electronic device
light
movable assembly
case
Prior art date
Application number
KR1020067013086A
Other languages
English (en)
Other versions
KR20060121256A (ko
Inventor
케빈 더블유. 존슨
로저 더블유. 하몬
존 씨. 핀센티
폴 제이. 스미스
Original Assignee
모토로라 모빌리티, 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 모토로라 모빌리티, 인크. filed Critical 모토로라 모빌리티, 인크.
Publication of KR20060121256A publication Critical patent/KR20060121256A/ko
Application granted granted Critical
Publication of KR101068381B1 publication Critical patent/KR101068381B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Electromagnetism (AREA)
  • General Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Blocking Light For Cameras (AREA)
  • Structure And Mechanism Of Cameras (AREA)
  • Cameras In General (AREA)

Abstract

전자 디바이스의 다수 사이드들로부터 사진을 촬영하기 위한 내부 카메라(102)를 구비하는 전자 디바이스(100) 및 이를 사용하는 방법이 개시된다. 전자 디바이스(100)는 케이스(101); 및 카메라(102)가 가동 조립체(108)의 위치에 의존하여 케이스에 대한 다양한 각도로부터 이미지를 캡쳐하도록 하게 해주는 가동 조립체(108)를 구비한다. 렌즈(122)는 이미지를 보정하거나 조절하는데 사용될 수 있다. 카메라(102) 또는 전자 디바이스 전자 회로는 카메라(102)에 광을 조향시키는데 홀수의 미러들(206),(208)이 사용될 때 이미지를 반전시키도록 사용될 수 있다.
전자 디바이스, 사진 촬영, 가동 조립체, 카메라

Description

다방향 이미징 시스템을 위한 시스템 및 방법{A SYSTEM AND METHOD FOR A MULTI-DIRECTIONAL IMAGING SYSTEM}
본 발명은 일반적으로 이미지 캡쳐 디바이스에 관한 것으로서, 보다 구체적으로는 다방향 이미징 시스템을 위한 시스템 및 방법에 관한 것이다.
이미징 시스템이 내장된 전자 디바이스들, 특히 디지털 카메라를 구비한 셀룰러 전화들 및 PDA(Personal Digital Assistant)들이 알려져 있다. 이미지를 캡쳐하여 이를 즉시 친구들과 가족들에게 보내는 능력을 갖는 디바이스들은 디바이스 제조업자들 및 네트워크 서비스 제공업자들 모두에게 상업적으로 성공적이었다. 이러한 영역의 현재 디바이스들은 단일 방향으로 화면을 찍는 것에 제한되므로, 전체 디바이스를 돌리는 것에 의해 또는 디바이스의 외부 케이스를 회전시키는 것에 의해, 피사체를 접하도록 해당 전자 디바이스가 돌려질 것이 요구된다. 이는 종종 불편함과 제한성을 초래한다.
개별 도면들을 통해 동일 참조부호는 동일하거나 유사한 기능성 또는 구성요소를 지칭하며, 이하 상세한 설명과 함께 본 명세서에 통합되어 그 일부를 형성하는 첨부 도면들은, 본 발명에 따른 다양한 실시예들을 도시하고 본 발명에 따른 다 양한 원리들과 이점들을 설명하는 기능을 한다.
도 1은 개략적이고 대표적인 형태로 전자 디바이스를 도시하는 도면이다.
도 2는 개략적이고 대표적인 형태로 카메라와 가동 조립체가 제1 위치에 있는 것을 나타내는 전자 디바이스의 일부 도면이다.
도 3은 개략적이고 대표적인 형태로 카메라와 가동 조립체가 제2 위치에 있는 것을 나타내는 전자 디바이스의 일부 도면이다.
도 4는 개략적이고 대표적인 형태로 카메라와 가동 조립체가 중간 위치에 있는 것을 나타내는 전자 디바이스의 일부 도면이다.
도 5는 개략적이고 대표적인 형태로 가동 카메라와 미러 조립체가 제1 위치에 있는 것을 나타내는 전자 디바이스의 일부 도면이다.
도 6은 개략적이고 대표적인 형태로 가동 카메라와 미러 조립체가 제2 위치에 있는 것을 나타내는 전자 디바이스의 일부 도면이다.
도 7은 개략적이고 대표적인 형태로 가동 카메라와 미러 조립체가 중간 위치에 있는 것을 나타내는 전자 디바이스의 일부 도면이다.
도 8은 개략적이고 대표적인 형태로 카메라와 교변식 가동 조립체가 제1 위치에 있는 것을 나타내는 전자 디바이스의 일부 도면이다.
도 9는 개략적이고 대표적인 형태로 카메라와 교변식 가동 조립체가 제2 위치에 있는 것을 나타내는 전자 디바이스의 일부 도면이다.
도 10은 개략적이고 대표적인 형태로 가동 카메라와 교변식 미러 배열을 나타내는 전자 디바이스의 일부 도면이다.
도 11은 개략적이고 대표적인 형태로 가동 카메라와 교변식 미러 배열을 나타내는 도 9 조립체의 대안적 도면이다.
도 12는 개략적이고 대표적인 형태로 가동 카메라와 교변식 미러 배열을 나타내는 도 9 조립체의 대안적 도면이다.
도 13은 다방향 이미징 시스템을 이용하는 방법의 플로우챠트이다.
도 14는 개략적이고 대표적인 형태로 4개의 미러면을 갖는 미러 배열의 사시도를 나타내는 도면이다.
도 15는 도 14의 미러 배열이 카메라 위에 장착된 전자 디바이스의 일부의 사시도를 개략적이고 대표적인 형태로 나타내는 도면이다.
도 16은 회전형 커버와 미러를 갖는 전자 디바이스의 일부의 사시도를 개략적이고 대표적인 형태로 나타내는 도면이다.
개략적으로, 본 명세서는 예를 들어 소비자 무선 통신 디바이스들 등의 전자 디바이스들에 사용하기 위한 카메라 및 기타 이미징 시스템에 관한 것이다. 보다 구체적으로, 이러한 카메라들의 사용을 위해 활용성 및 편의성을 향상시키고, 이러한 설비를 갖는 전자 디바이스의 즐거움을 증대시키기 위한 방법 및 장치로 다양한 진보적 개념들과 원리들이 구현된다. 관심 대상인 전자 디바이스들은 무선으로 통신하는 능력을 갖기도 하지만 반드시 그럴 필요는 없다. 고려되는 카메라들 또는 기타 이미징 디바이스들은 전자 디바이스에 통합되거나 또는 추가형(add-on) 모듈로서 구현될 수 있다.
이하 보다 상세히 논의되듯이, 사용자가 셀프-뷰를 캡쳐하는 것 뿐만 아니라 프론트 뷰 이미지를 캡쳐할 수 있게 하는 데에는 다양한 진보적 원리들 및 그 조합이 유리하게 채택된다. 일 실시예는 사용자로 하여금 분할 화면 또는 중첩으로서 프론트-뷰 및 셀프-뷰를 조합하는 이미징을 캡쳐할 수 있게 해준다. 메카니즘에 연결된 레버 또는 다이얼이 채택되어 카메라에 진입하는 다수 개구들 중 하나로부터의 광을 선택할 수 있다. 미러들이 사용되는 일 실시예에서는, 디지털 카메라의 고유 특징들이 사용되어, 홀수 번호의 미러가 개구로부터의 광을 카메라에 조향시키는데 사용될 때 이미지를 반전시킬 수 있다(그렇지 않다면 이미지를 부정확한 상태로 남겨두게 됨).
본 발명에 따른 다양한 실시예들을 이루고 사용하는 최상의 모드를 인에이블링 형태로 더욱 설명하는 개시 내용이 제공된다. 본 발명을 임의의 방식으로 제한하는 것보다는 오히려, 본 발명에 대한 이해 및 인식과 본 발명의 장점을 확장하도록 개시 내용이 제공된다. 본 발명은 본 출원의 계류중 이루어지는 임의의 보정사항들을 포함하는 첨부 특허청구범위 및 이들 특허청구범위의 등가물에 의해서만 제한된다.
또한, 제1 및 제2, 상부 및 하부 등 관련 용어들의 사용은 엔티티들 또는 액션들간 관계 또는 순서 등을 반드시 제한하거나 또는 함축하는 것이 아니라 하나의 엔티티 또는 액션을 다른 것들과 구별하기 위해서 사용된다는 점을 이해하여야 한다.
대부분의 진보적 기능성 및 다수의 진보적 원리들은 소프트웨어 프로그램이 나 명령어들 및 주문형 집적 회로 등의 집적 회로로 가장 잘 구현된다. 당업자라면, 본 명세서에 개시된 개념들과 원리들을 배우게 되면 예를 들어 가용 시간, 현재 기술 및 경제적 고려사항 등에 의해 동기부여를 받는 상당한 노력과 많은 설계 선택사항들에도 불구하고, 최소한의 실험으로 이러한 소프트웨어들과 프로그램들을 생성할 수 있을 것이라고 기대된다. 따라서, 본 발명에 따른 원리들 및 개념들을 모호하게 하는 위험성을 최소화하고 간략화를 위해, 이러한 소프트웨어 및 ic들의 논의는 바람직한 실시예들의 원리들 및 개념들에 관한 것으로 본질적으로 제한될 것이다.
도 1은 일반적으로 속이 비어있는 케이스(hollow case)(101), 및 광이 케이스(101) 내에 진입하여 내장 카메라(도시되지 않음)에 미칠 수 있게 하는 전방 개구(114)를 갖는 전자 디바이스(100)를 도시한다. 전자 디바이스(100)는 무선 통신 디바이스들, 셀룰러 전화들, PDA들 및 현재 또는 미래에 디지털 카메라를 포함할 수 있는 유기적인 형태 등의 복수의 휴대형 또는 이동형 전자 디바이스들 중 임의의 것일 수 있다.
도 2를 참조하여, 카메라와 가동 조립체가 제1 위치에 있는 것을 나타내는 전자 디바이스의 일부에 대한 개략적이고 대표적인 도면이 논의되고 설명된다. 전자 디바이스(100)는 후방 하우징(104)과 전방 하우징(106)을 갖는 케이스(101) 내부에 카메라(102)를 장착한다. 가동 조립체(108)는 케이스(101)의 내부에 슬라이드형으로 부착된다. 가동 조립체는 하우징(104) 또는 하우징(106) 중 어느 하나를 통해 돌출하는 엄지 탭(110; thumb tab)을 구비하거나, 또는 가동 조립체(108)를 제1 위치로부터 제2 위치로 조절하기 위한 다른 메카니즘(도 3에 도시됨)을 포함할 수 있다. 미러 마운트(112)는 하우징들(104, 106) 중 어느 하나에 연결된다. 또한, 전방 하우징(104) 및 후방 하우징(106)에는 각각 전방 개구(114) 및 후방 개구(116)가 형성되며, 이러한 개구들(114, 116) 양자 모두는 카메라(102)에서 이미지를 노출하도록 전자 디바이스 하우징(104, 106) 내에 광이 진입할 수 있게 해준다. 가동 조립체(108)는 제2 위치에 있을 때 전방 개구(114)를 덮기 위한 제1 패널(118)을 갖는다. 가동 조립체(108)는 또한 가동 조립체(108)가 제1 위치에 있을 때 제2 개구(116)를 덮기 위한 제2 패널을 갖는다. 옵션형 렌즈(optional lens)(122)는 가동 조립체(108)가 제2 위치에 있을 때 광이 하우징(104, 106)에 진입하는 것을 가능하게 해준다.
가동 조립체(108)의 위치를 판정하기 위한 센서(124)가 하우징(104, 106) 내에 장착될 수 있다. 후방 하우징(104)과 전방 하우징(106)을 연결하는 사이드 패널들(도시되지 않음)을 케이스(101)가 구비하거나, 또는 사이드 영역들을 형성하는 곡면 형상을 전방 및 후방 하우징이 구비할 수 있다. 일부 실시예에서는, 카메라(102)의 존재로 인해, 전체 하우징이 지정된 개구를 제외하고 차광(light-proof)될 수 있다. 가동 조립체는 전자 디바이스(100) 내에서 레일 또는 슬롯 상에 슬라이드형으로 부착되는 경우가 가장 많고, 대부분의 경우에 있어서는 가동 조립체(108)의 설정을 돕는 멈춤쇠(detent)(도시되지 않음)를 구비한다.
미러 마운트(112)는 전방 하우징(106)에 접속형으로 연결되거나, 또는 일부 실시예에서는, 가동 조립체(108)에 연결되거나, 또는 미러 마운트(112)를 유지하기에 적합한 전자 디바이스(100)의 임의의 다른 구성요소에 연결될 수 있다. 요구되는 것은, CCD(Charge Coupled Device) 또는 CMOS(Complementary Metal Oxide Semiconductor) 센서 등 감광 소자에 광이 광학적으로 연결되는 경로이다. 카메라(102) 또는 기타 이미지 센서의 전자 회로는 공간과 전원 접속이 허용하는 전자 디바이스(100) 내부의 임의의 곳에 장착될 수 있다.
전자 디바이스(100)의 구성 요소들은 알려진 것으로 사용가능하다. 전체 전자 디바이스(100), 가동 조립체(108) 및 미러 마운트(112)는 전자 디바이스들, 구체적으로는 현재 또는 미래에 디지털 카메라를 포함하는 무선 통신 디바이스들, 셀룰러 전화들, PDA들 및 유기적인 형태들에 공통인 사출성형 플라스틱, 사출성형 분쇄 금속, 및/또는 성형 금속 또는 플라스틱으로 이루어진다. 전자 디바이스(100)의 실제 구성 및 그 구성요소들은 당업계에 공통적인 것으로 당업자들이 설계 및 제조만 하면 된다. 개구들(114 및 116)은 유리 또는 플라스틱 등의 보호 커버링들(coverings)을 구비할 수 있고, 이러한 커버링들은, 존재한다면, 광 보정 특성들을 가질 수 있다. 가동 조립체(108)의 위치를 판정하기 위한 센서(124)는 마이크로-스위치(micro-switch), 광 센서 등일 수 있다. 카메라(102)는, 현재 제조업자들 및 다른 전자 디바이스들에서 사용되는 것과 유사하며 , 본 출원에 사용하기 위해 기본적적인 변조 또는 특별한 요건들을 요구하는 것은 아니다. 미러들(126, 128)은 반사성이 높은 표면을 갖는 유리 또는 기타 재료일 수 있다. 반사면은 각 미러(126, 128)의 전방 표면에 존재하여 미러의 전방 및 후방 표면들 양자 모두로부터 광이 반사하는 것으로부터 초래되는 이중 이미지들을 감소시켜야 한다. 일 실시예에서, 미러들(126, 128)은 "Barrington, NJ"의 "Anchor Optics"로부터 입수할 수 있는 것 등의 프리즘형 렌즈들일 수 있다. 프리즘은 장착이 용이하고, 침식 또는 표면 오염이 되는 경향이 적으며 내구성이 좋다. 미러들 및 프리즘형 렌즈들이 논의되었지만 광 파이프를 포함하는 임의의 광 재조향(redirection) 장치들 또는 조합이 사용될 수 있다.
동작시, 가동 조립체(108)가 제1 위치에 있을 때, 광은 제1 개구(114)에 진입하여 카메라(102)와 접촉하거나 마주치게 된다. 이와 같이 활성화될 때, 카메라(102)는 카메라(102)의 전방에 있는 장면을 나타내는 전자 이미지를 포착할 수 있다. 비록, 가동 조립체(108)와 관련되지 않은 2차 커버 메카니즘이 사용될 수 있지만, 가동 조립체(108)는 동작하지 않을 때 전자 디바이스(100)의 카메라(102) 및 다른 내부 메카니즘들을 보호하는데 사용되는 커버(도시되지 않음)의 일부이거나 또는 이와 관련된 것일 수 있다. 제1 위치에 있을 때, 즉, 광이 카메라의 전방에 진입하는 것을 허용할 때, 제2 패널(120)은 광이 카메라에 진입하여 전방으로부터 취득된 이미지를 열화시키는 것을 방지하도록 하는 방식으로 후방 개구(116)를 덮을 수 있다.
도 3을 참조하면, 가동 조립체(108)가 제2 위치에 있는 전자 디바이스(100)가 도시된다. 광은 렌즈(122)를 통해 카메라에 진입하여, 미러 마운트(112)에 장착된 미러(126)와 마주치게 되고, 미러(126)로부터 가동 조립체(108) 상의 미러(128)로 향하게 되고, 그곳에서부터 카메라(102)의 렌즈 및 감광 영역으로 조향된다. 가동 조립체(108)는 가동 조립체가 제2 위치에 있을 때 광이 제1 개구(114)에 진입하는 것을 차단하는 제1 패널(118)을 구비할 수 있다. 제1 개구(114)를 차 단하는 것은 후방 개구(116)를 통해 캡쳐되는 이미지를 열화시킬 수 있는 광 침투를 감소시킨다. 카메라(102)가 2가지 모드를 가지거나 또는 가동 조립체(108)가 2가지 위치를 가지는데, 이들 양자 모두는 가동 조립체(108)의 위치에 대응한다. 센서(124)는 가동 조립체(108)의 주어진 위치에 대해 어느 모드가 적절한지를 카메라 전자회로에 알려주는 동작을 행한다. 이는 예를 들어 전자 디바이스(100)의 전방에 있는 피사체에 보다 가까이 있을 수 있는 전자 디바이스(100)의 사용자의 화면을 찍을 때 등 이미지를 다른 촛점 길이나 사이즈로 조절할 때 유용하다. 대안적으로, 이하 논의되는 경우에서와 같이, 센서(124)가 카메라(102)에 신호를 보내어 이미지를 광학이 요구하는 것으로 반전시킬 수 있다.
렌즈(122)는 촛점 길이, 이미지 사이즈 또는 카메라로부터의 예상 거리를 보정할 수 있도록 평평할 수 있지만, 렌즈(122)는 내부 광학을 조절하도록 또는 이미지를 조절하는 다른 목적을 위해 볼록형, 오목형 또는 프리즘형일 수도 있다. 다른 실시예에서는, 곡면을 갖는 렌즈 보다는 오히려, 미러들(126, 128) 중 하나가 곡면으로 되어 일부 상황에서 바람직한 광 경로 조절을 제공할 수 있다. 바람직한 실시예에서, 미러들(126, 128) 중 적어도 하나는 가동 조립체(108)에 부착된다. 대부분의 실시예들에서, 카메라의 전방에 또는 후방에 있는 가시광과 장면들 또는 피사체들이 이미지로서 사용된다는 것이 예상된다. 일부 실시예들에서는, 광이 실제 가시광이 아니라 적외선이거나 또는 바코드 스캐너로부터의 레이저 등 이미지가 아닌 가시광일 수 있다는 것에 예상될 수 있고, 이 경우 카메라는 CMOS 센서가 아니라 몇몇 다른 감광 소자를 구비할 것이다.
도 4를 참조하면, 가동 조립체(108)가 제1 위치와 제2 위치 사이의 제3 위치, 즉 중간 위치에 있는 것이 도시되는데, 여기서는 개구들(114, 116) 양자 모두로부터의 광이 전자 디바이스(100)에 진입하여 카메라(102)와 마주치는 것이 허용된다. 이 경우, 가동 조립체(108)와 그 전방 패널(118)은 전방 개구(114)를 부분적으로 차단한다. 이와 유사하게, 후방 패널(120)은 후방 개구(116)를 부분적으로 차단한다. 렌즈(122)는 광을 제1 미러(126)로 조향하고, 이후 광은 제2 미러(128)에 조향되어 카메라(102)로 조향된다. 이러한 모드에서는, 카메라가 분할-화면 이미지(split-screen image)를 보여줄 수 있거나 또는 렌즈(122)나 미러들(126, 128) 중 어느 하나의 광학 특성을 조절하여 후방(116) 등 한 쪽으로부터 들어오는 이미지가 전방 개구(114)를 통해 전방으로부터 들어오는 이미지와 중첩될 수 있다는 것이 예상된다.
도 5를 참조하면, 전자 디바이스(200)는 카메라(202), 또는 가동 조립체(도시되지 않음)에 장착된 카메라 광학(camera optics)을 구비한다. 미러 마운트(204)는 제1 미러(206) 및 제2 미러(208)를 구비한다. 이들 구성요소는 전방 하우징(210) 및 후방 하우징(212)을 구비하는 케이스 내부에 장착된다. 하우징들(210, 212)은 대응하는 전방 및 후방 광 개구들(214, 216)을 내부에 배치하고 있다. 도 4에 도시된 바와 같이, 카메라(202)는 기준 라인 A 위의 제1 위치로 이동될 수 있다. 기준 라인은, 논의를 위해 사용되고, 제1 미러(206)를 제2 미러(208)로부터 구분하는 지점에 도시된다. 전방 개구(214)를 진입하는 광은 미러(206)에 의해 카메라(202) 쪽으로, 또는 경우에 따라 카메라 광학 쪽으로 조향된다. 본 실시예에서는, 단일 미러, 즉 홀수의 미러가 사용되기 때문에, 카메라 또는 후속 이미징 전자 회로들은 단일 미러 반사에 의해 초래되는 광 반전에 대해 보정을 하기 위해 이미지를 반전시킬 필요가 있다.
개구들(214 및 216)은 렌즈들을 구비할 수 있다. 렌즈들은 카메라(202)에 의해 캡쳐된 이미지를 포커싱하고 조절하기 위해 조절될 수 있다. 가동 조립체(도시되지 않음)는 개구들(214, 216) 위로 이동하는 커버들을 구비할 수 있다. 이러한 광학 커버들은, 도시되지 않았지만, 당업자들에게는 이러한 커버들을 배치하는 것에 대한 구현 기술들이 자명할 것이다. 도 5-7의 다른 구성요소들은 위에 논의된 바와 같이 알려져 있고 사용가능한 것이다.
도 6을 참조하면, 기준 라인 A 아래에 카메라(202)가 배치된 것이 도시된다. 후방 개구(216)를 진입하는 광은 미러(208)에 의해 카메라(202)에 조향된다. 다시, 홀수의 미러들이 광의 광학 경로에 도입되었기 때문에 카메라(202)는 이미지를 반전시킬 필요가 있다.
도 7을 참조하면, 전방 개구(214)를 진입하는 광 및 후방 개구(216)를 진입하는 광 양자 모두가 카메라(202) 쪽으로 조향되도록, 카메라(202)는 기준 라인 A에 걸치는 위치로 이동된다. 이는, 미러의 형상 및 관련된 기타 광학특성에 의존하여, 카메라(202)의 전방 화면 및 카메라(202)의 후방 화면을 포함하는 분할 이미지 또는 중첩 이미지를 초래할 것이다. 위와 같이, 멈춤쇠 메카니즘(도시되지 않음) 또는 모터동력 조립체 등의 기타 구동 시스템이 사용되어 도 5-7에 도시되고 설명되는 다양한 위치들로 카메라(202)를 이동시킬 수 있다. 도 5-7에서는 카메라(202)가 이동되는 것으로 도시되었지만, 카메라(202)가 고정되고 미러 마운트(204)가 이동되어 개구들(214, 216) 중 어느 하나로부터의 광을 카메라(202)에 조향시키는 동일한 효과를 달성할 수 있다는 것이 자명할 것이다.
도 14를 참조하면, 4개의 미러면들(604, 606, 608, 610)을 갖는 미러 배열이 도시된다. 도 5-7에 도시된 구성은 카메라(202) 또는 미러 마운트(204) 중 어느 하나의 1차원 이동을 기술한다. 본 예시적인 실시예에서, 미러 배열(602)의 2차원 이동은 미러들(604, 606, 608, 610) 중 어느 하나가 광을 대물 포인트로 향하도록 위치되게 한다. 도 15는 카메라(612) 위에 장착된, 미러 배열(602)을 이용하는 구성의 부분도를 도시한다. 미러 배열(602)(또는 전술한 바와 같이, 카메라(612))는 축 "C" 및 "D"를 따라 2차원으로 이동될 수 있다. 도시된 바와 같이, 미러 배열(602)은 광이 4개 방향으로부터 카메라(612)에 조향되도록 위치된다. 이런 모드에서의 동작은 테이블에서 다수의 참석자와의 원격 회의에 유용하거나, 또는 웹 청중에게 장면을 방송하는데 유용하다.
도 8을 참조하면, 전자 디바이스(300)는 전방 하우징(304) 및 후방 하우징(306)을 구비한 케이스(도시되지 않았지만, 케이스(101)과 동일 또는 유사함)에 배치된 카메라(302)를 갖는다. 전방 하우징(304)은, 광이 전자 디바이스(300)에 진입하게 하는 개구부 또는 전방 개구(308)를 구비한다. 후방 하우징(306)은, 광이 조립체에 진입하게 하는 후방 개구(310)를 구비한다. 가동 조립체(312)는 미러식 전방 패널(314) 및 후방 패널(316)을 구비한다. 도시된 위치에서, 후방 패널(316)은 후방 개구(308)에 광이 진입하는 것을 차단하며, 미러식 전방(314)은 전방 개구(310)에 진입한 광이 카메라(302)에 조향되게 한다. 이런 점에서, 후방 패널(316)은 도 2의 제2 패널(120)과 유사하게 동작한다. 가동 조립체(312)는 도시된 바와 같이 반원 형상, 또는 다른 개구를 진입하는 광을 카메라에 조향시키면서 일 개구를 차단하는 동일 목적을 달성하는데 적합한 다른 형상, 예를 들어 트라이앵글 등을 갖는다. 가동 조립체(312)는 개인용 전자 제품 및 가전 제품에서 통상 사용되는 각종 재료로 구성된다. 가동 조립체(312)는 스프링, 모터 등에 의해 구동되고 부착되는 레버(lever) 또는 크놉(knob)(도시 안됨)에 의해 이동된다. 개구(308, 310)는 전자 디바이스(300) 내부의 보호 또는 광 보정을 위한 렌즈(도시 안됨)를 각각 구비할 수 있다. 렌즈들 모두 또는 이들 중 하나는 광 보정을 제공하며, 이런 렌즈는 고정 또는 조정가능하며, 사이징(szing), 포커싱 또는 특정 효과를 위해 이상적으로 조절된다. 렌즈는 무 보정, 다른 보정, 또는 다른 특정 효과가 허용되게 제거가능하거나 대체가능하다. 렌즈 및 렌즈가 가져오는 다른 효과는, 시각 예술, 특히 필름 카메라에 관해서 잘 알려져 있다.
도 9는, 광이 전방 개구(308)로 들어오는 것을 후방 패널(316)이 차단하고, 미러식 전방면(314)이 후방 개구(310)로부터 광을 카메라(302)에 조향하도록 재배치된, 가동 조립체(312)를 구비한 도 8의 전자 디바이스(300)를 도시한다. 이 경우, 도 8의 경우와 같이, 1, 즉 광학 경로에서 미러의 수가 홀수이기 때문에, 카메라(302) 또는 관련된 전자 장치는 미러 이미지를 생성하여 사용자에게 표시되는 최종 이미지는 보정된 배향을 가진다.
도 10을 참조하면, 이동가능한 카메라 및 교변식 미러 배열을 도시한 전자 디바이스의 일부를 도시한 도가 논의되고 설명된다. 전자 디바이스(400)는 그 케 이스 내에 배치되는 카메라(402)를 구비한다. 케이스(도시되지 않았지만, 케이스(101)과 동일 또는 유사함)는 일 실시예에서, 전방 하우징(404) 및 후방 하우징(406)으로 이루어진다. 하우징(404, 406)은 전방 개구(408) 및 후방 개구(410)를 구비한다. 2개의 개구(408, 410)는 카메라에 의한 이미지 캡처의 목적으로 광이 케이스에 진입하게 한다. 전자 디바이스(400)는 제1 조립체(412) 및 제2 조립체(414)를 더 포함한다. 제1 조립체(412)는 일 측면 상에 제1 미러면(416)을 배치한다. 제2 조립체(414)는 일 측면 상에 제2 미러면(418)을 배치한다. 제1 및 제2 조립체(412, 414)는 대응하는 후방 패널(420, 422)을 각각 구비한다. 카메라(402)는 제1 및 제2 미러면(416, 418)에 수직한 축을 따라 카메라(402)가 수직하게 이동하게 하는 가동 조립체(도시 안됨)에 부착된다.
도 11을 참조하면, 이동가능한 카메라(402) 및 교번 미러 배열을 도시한, 도 10의 다른 조립체가 논의되고 기술된다. 카메라(402)는 제1 위치(424)에서 도시된다. 후방 개구(410)을 통해 전자 디바이스(400)에 들어가는 광은 제2 미러면(418)에 의해 카메라(402)로 향한다. 제2 위치(426)의 카메라(402)에서, 전방 개구(408)을 통해 전자 디바이스(400)로 들어간 광은 제1 미러면(416)에 의해 카메라(402)에 조향된다.
도 12를 참조하면, 가동 조립체(402) 및 교변식 미러 배열을 도시한 도 10의 다른 조립체가 논의되고 기술된다. 카메라(402)는 중간 위치(428)에서 도시된다. 양 개구(408, 410)에 들어간 광은 각각의 미러면(416, 418)에 의해 카메라(402)에 조향되게 되어, 채용된 광학 및 미러 구성에 따라 스플릿 스크린 이미지 또는 중첩 된 이미지 중 어느 하나를 초래한다.
개구(408, 410)가 전자 디바이스(400)의 대항 측면 상에 배치된다 할지라도, 개구가 전자 디바이스의 인접 측면 또는 에지 상에 구현되거나, 도시된 동일 기술을 이용하거나 또는 전술한 내용의 조합으로 확장된 가동 조립체 및 미러가 전자 디바이스(400)의 모든 측면 또는 표면 상에 또는 이들 표면의 조합에 배치되는 개구로부터 이미지 캡처를 가능하게 하도록 이용될 수 있다.
도 16을 참조하면, 회전가능한 커버 및 미러를 구비한 전자 디바이스가 논의되고 설명된다. 전자 디바이스(700)는 회전가능한 커버(702)를 구비한다. 회전가능한 커버(702) 내에는 미러(704) 또는 광을 카메라(706)로 재조향시키는 프리즘 렌즈가 배치된다. 미러(704), 프리즘 렌즈 또는 다른 광 재조향 장치는 전자 장치(700)에 관한 각도를 정의하며, 이 각도는 미러(704)의 표면에 일반적으로 수직하다. 회전가능한 커버(702)가 이동할 때, 전자 디바이스(700)에 관한 각도는 변경된다. 회전가능한 커버의 제1 위치에서, 전자 디바이스(700)에 관한 제1 각도로부터의 광은 카메라(706)에 조향된다. 커버가 제2 위치로 회전될 때, 전자 디바이스(700)에 관한 제2 각도로부터의 광은 카메라에 조향된다. 이미지는 있는 그대로 캡쳐되고 저장되거나, 또는 전송된다. 다른 실시예에서, 위치 센서(도시 안됨)는, 캡처된 이미지를 다시 전송(re-orienting)하도록, 카메라(706) 또는 전자 디바이스(700)에서 동작하는 다른 프로세스에게 통지하여, 캡처된 이미지의 에지가 캡처된 이미지를 보는데 유용한 디스플레이(도시 안됨)의 에지와 정확하게 정렬되도록, 즉, 장면의 상부가 디스플레이의 상부에 있도록 할 것이다.
도 13을 참조하면, 다방향(multidirectional) 이미징 시스템을 이용하는 방법이 논의되고 설명된다. 전자 디바이스는 카메라 또는 바코드 센서와 같은 감광 디바이스, 및 광을 수신하는 하우징 내의 다수의 개구를 구비한다. 가동 조립체는 제1 개구에 들어간 광이 감광 디바이스의 입력부 상에 떨어지도록 위치된다(502). 화상은 입력 센서에 들어간 광으로부터 얻어지거나 또는 이로부터 추출된 다른 정보이다.
이 위치에서 광이 제2 개구로 들어가는 게 차단(504)되지만, 실질적으로 이 차단은, 제2 개구로 들어간 광이 제1 개구로부터의 광을 이용하여 캡처된 이미지를 미수용가능하게 열화 시키지 않는 정도로 차단하는 것으로 해석될 것이다. 이는 어플리케이션 별로 다른데, 예컨대 레크이에이션 사진은 인쇄 텍스트의 광 문자 인식에 사용되는 이미지 보다 더 열화되는 것을 허용할 수 있다. 가동 조립체는 제2 개구에 들어간 광이 감광 디바이스의 입력부 상에 떨어지도록 재위치된다(506). 가동 조립체의 어느 한 위치에서, 선택된 개구로 들어간 광은 전자적 형태로 변환될 수 있다(508). 캡처된 전자 정보는 감광 디바이스의 입력부 상에 떨어진 광에 의해 운반된 정보에 대응한다.
센서 또는 다른 메카니즘은 가동 조립체의 위치를 결정(510)하는데 사용된다. 가동 조립체는 제1 및 제2 개구에 들어간 광이 감광 디바이스의 입력부 상에 떨어지도록 재위치하여(512), 양 개구를 통해 캡처된 장면 또는 객체를 나타내는 스플릿 장면 이미지 또는 중첩된 이미지의 생성을 가능하게 한다.
전술한 장치 및 방법과, 그 원리는 디지털 카메라와 같은 집적된 또는 내장된 이미징 디바이스를 구비한 전자 디바이스의 사용을 강화한다. 다른 소스 또는 뷰로부터 광을 재조향시키는 원리를 사용하면, 이런 디바이스의 사용을 단순화하며, 또한 스플릿 뷰 및 중첩된 이미지의 생성에 사용되는 신규한 방법을 가져온다. 사용자는 셀프 뷰 및 관찰된 뷰 이미지 모두를 그들의 전자 디바이스로부터 빠르고 용이하게 모니터링하는 이점을 누린다. 제조업자는 현재 디바이스에서 카메라를 포함하는 전체 하우징을 회전시키는데 필요한 값비싼 고 유지관리 기계적이고 전자적인 연결을 요구하지 않는 이점을 누린다. 캡처된 장면의 미러 이미지를 전자적으로 생성하는 능력을 활용함에 의해, 값비싼 미러는 전술한 원리에 영향을 미치도록 디지털 카메라와 결합될 수 있다.
본 발명에 따르는 이들 실시예 및 다른 실시예가 많은 수의 휴대용 이미지 캡처 디바이스에 적용될 수 있을 것이다. 본 명세서는 이런 시스템을 포함하는 구성 요소 또는 등가물에 확장되고, 특히 여기서 채용된 방법에 확장된다.
본 명세서는 본 발명의 목적 및 정신을 벗어남이 없이 본 발명에 따른 여러 실시예를 사용하는 방법을 설명하고자 하는 것이다. 전술한 설명은 본 발명을 제한하고자 하는 것이 아니다. 많은 수의 수정 및 변형이 전술한 내용에서 가능하더. 선택되고 개시된 실시예는 본 발명의 원리 및 그 실제 어플리케이션을 설명하는데 가장 좋은 예로서, 본 기술 분야의 숙련자에게는 여러 실시예 및 이들의 변형예를 활용할 수 있다. 이런 모든 수정 및 변형은 첨부된 특허청구범위의 범위 내에 있으며, 그 범위를 벗어나지 않는 범위 내에서 등가물로 치환될 수 있다.

Claims (10)

  1. 전자 디바이스 - 상기 전자 디바이스는 상기 전자 디바이스에 대해 여러 방향들로부터 사진 촬영을 하도록 배열 및 구성되는 카메라를 구비함 - ,
    케이스(case);
    상기 케이스에 이동가능하게 연결되어 제1 위치와 제2 위치 사이를 이동할 수 있는 가동 조립체(moveable assembly); 및
    상기 케이스와 상기 가동 조립체 중 어느 하나에 연결되는 카메라
    를 포함하고,
    상기 가동 조립체가 상기 제1 위치에 있을 때에는 상기 전자 디바이스에 대해 제1 각도로 진입하는 광이 상기 카메라에 부딪치고, 상기 가동 조립체가 상기 제2 위치에 있을 때에는 상기 전자 디바이스에 대해 제2 각도로 진입하는 광이 상기 카메라에 부딪치며,
    상기 가동 조립체는,
    상기 케이스 내의 제1 개구(aperture)를 덮기 위한 제1 패널;
    상기 케이스 내의 제2 개구를 덮기 위한 제2 패널; 및
    상기 제1 개구 및 제2 개구 중 어느 하나에 진입하는 광을 상기 카메라에 조향(directing)시키기 위한 복수의 광 재조향(redirecting) 장치들
    을 더 포함하는 전자 디바이스.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서,
    상기 제2 패널은, 상기 가동 조립체가 상기 제2 위치에 있을 때 광이 진입할 수 있게 해주는 렌즈- 상기 렌즈는 평면형, 곡면형 및 프리즘형 중 어느 하나임 -를 더 포함하는 전자 디바이스.
  5. 제4항에 있어서,
    상기 렌즈는 상기 렌즈를 통해 캡쳐되는 이미지의 사이즈를 변경하도록 조절될 수 있는 전자 디바이스.
  6. 제1항에 있어서,
    상기 복수의 광 재조향 장치들 중 하나 이상은 곡면형인 전자 디바이스.
  7. 제1항에 있어서,
    상기 가동 조립체가 상기 제1 위치에 있을 때에는 광이 상기 제2 개구에 진입하는 것이 차단되고, 상기 가동 조립체가 상기 제2 위치에 있을 때에는 광이 상기 제1 개구에 진입하는 것이 차단되는 전자 디바이스.
  8. 제1항에 있어서,
    상기 제1 및 제2 개구는 상기 케이스의 대향 사이드들(opposite sides)에 존재하는 전자 디바이스.
  9. 제1항에 있어서,
    상기 가동 조립체는 상기 케이스에 회전가능하게 부착되는 전자 디바이스.
  10. 감광 소자, 및 광을 수광하기 위한 다수의 개구들을 갖는 케이스를 포함하는 전자 디바이스를 동작시키는 방법으로서,
    상기 케이스에 대해 제1 각도로 진입하는 광이 상기 감광 소자의 입력 부분에 닿도록 가동 조립체를 배치하는 단계;
    상기 케이스에 대해 제2 각도로 진입하는 광이 상기 감광 소자의 입력 부분에 닿도록 상기 가동 조립체를 재배치하는 단계; 및
    상기 제1 각도 및 제2 각도 중 하나의 각도로 진입하여 상기 감광 소자의 입력 부분에 닿는 상기 광에 의해 전달되는 정보를 전자 형태로 변환하는 단계
    를 포함하는 전자 디바이스 동작 방법.
KR1020067013086A 2003-12-29 2004-12-22 다방향 이미징 시스템을 위한 시스템 및 방법 KR101068381B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/747,831 2003-12-29
US10/747,831 US7051938B2 (en) 2003-12-29 2003-12-29 System and method for a multi-directional imaging system

Publications (2)

Publication Number Publication Date
KR20060121256A KR20060121256A (ko) 2006-11-28
KR101068381B1 true KR101068381B1 (ko) 2011-09-28

Family

ID=34700799

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020067013086A KR101068381B1 (ko) 2003-12-29 2004-12-22 다방향 이미징 시스템을 위한 시스템 및 방법

Country Status (8)

Country Link
US (1) US7051938B2 (ko)
EP (1) EP1702290B1 (ko)
JP (1) JP4309918B2 (ko)
KR (1) KR101068381B1 (ko)
CN (1) CN100472553C (ko)
CA (1) CA2550220A1 (ko)
MX (1) MXPA06007457A (ko)
WO (1) WO2005065270A2 (ko)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005101349A1 (en) * 2004-04-13 2005-10-27 Pulse Data International Limited Image magnifier for the visually impaired
US7039292B1 (en) * 2004-09-09 2006-05-02 Rockwell Collins, Inc. Optical system for vehicle flight control
KR100703510B1 (ko) * 2004-12-21 2007-04-03 삼성전자주식회사 광학 줌 렌즈 어셈블리를 구비한 슬라이딩 타입 휴대 장치
JP5128245B2 (ja) * 2007-11-13 2013-01-23 Hoya株式会社 撮像装置
US9307063B2 (en) * 2008-01-23 2016-04-05 Lexmark International, Inc. Camera cell phone with integrated wireless mouse
US8544033B1 (en) * 2009-12-19 2013-09-24 Cisco Technology, Inc. System and method for evaluating content in a digital signage environment
US9135352B2 (en) 2010-06-03 2015-09-15 Cisco Technology, Inc. System and method for providing targeted advertising through traffic analysis in a network environment
CN102223427A (zh) * 2011-06-16 2011-10-19 惠州Tcl移动通信有限公司 一种移动设备及其摄像头组件
US8792912B2 (en) 2011-12-22 2014-07-29 Cisco Technology, Inc. System and method for providing proximity-based dynamic content in a network environment
CN107395975A (zh) * 2013-01-07 2017-11-24 华为技术有限公司 一种图像处理方法及装置
WO2015075295A1 (en) * 2013-11-20 2015-05-28 Nokia Technologies Oy Method and apparatus for enhanced digital imaging
KR102430566B1 (ko) * 2015-02-03 2022-08-09 삼성전자주식회사 촬상 장치, 이를 작동하는 작동 방법 및 이를 구비하는 무선 통신 단말기
KR102459243B1 (ko) * 2015-10-08 2022-10-26 삼성전자 주식회사 전자 장치 및 전자 장치의 촬영 방법
US20170244904A1 (en) * 2016-02-18 2017-08-24 The Boeing Company Optical monitoring system and method for imaging a component under test
CN107172336B (zh) * 2017-06-26 2019-01-11 维沃移动通信有限公司 一种摄像头模组、移动终端及其控制方法
CN109085167B (zh) * 2018-08-28 2020-12-15 温州大学激光与光电智能制造研究院 用于自动激光检测薄片的装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002027292A (ja) 2000-07-06 2002-01-25 Mitsubishi Electric Corp 撮像装置、撮像装置一体型ハンドセット電話機及び撮像装置一体型携帯情報機器
JP2002131805A (ja) 2000-10-30 2002-05-09 Olympus Optical Co Ltd カメラの電子ビューファインダ装置
JP2002287008A (ja) 2001-03-28 2002-10-03 Mitsubishi Electric Corp 多方向撮像装置及び多方向撮像装置を搭載した電話器

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US2257081A (en) * 1940-10-04 1941-09-23 Folmer Grafiex Corp Universal type camera
JPH05103322A (ja) * 1991-10-07 1993-04-23 Fujitsu Ltd 画像伝送機器におけるカメラ支持機構
US5526041A (en) * 1994-09-07 1996-06-11 Sensormatic Electronics Corporation Rail-based closed circuit T.V. surveillance system with automatic target acquisition
US6685366B1 (en) * 1997-09-05 2004-02-03 Robert Bosch Gmbh Camera positioning system with optimized field of view
US6019524A (en) * 1998-08-26 2000-02-01 Pelco Surveillance camera mount with adjustable base plate and pivotable table
JP2001268416A (ja) 2000-03-15 2001-09-28 Matsushita Electric Ind Co Ltd 反射型撮像装置
JP2002107612A (ja) * 2000-09-28 2002-04-10 Minolta Co Ltd 携帯端末、およびレンズユニットの駆動方法
JP3853162B2 (ja) 2001-02-19 2006-12-06 三菱電機株式会社 撮像装置
JP2003060765A (ja) 2001-08-16 2003-02-28 Nec Corp カメラ付き携帯通信端末

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002027292A (ja) 2000-07-06 2002-01-25 Mitsubishi Electric Corp 撮像装置、撮像装置一体型ハンドセット電話機及び撮像装置一体型携帯情報機器
JP2002131805A (ja) 2000-10-30 2002-05-09 Olympus Optical Co Ltd カメラの電子ビューファインダ装置
JP2002287008A (ja) 2001-03-28 2002-10-03 Mitsubishi Electric Corp 多方向撮像装置及び多方向撮像装置を搭載した電話器

Also Published As

Publication number Publication date
EP1702290A2 (en) 2006-09-20
EP1702290B1 (en) 2014-04-02
MXPA06007457A (es) 2006-09-04
US7051938B2 (en) 2006-05-30
EP1702290A4 (en) 2008-10-29
WO2005065270A2 (en) 2005-07-21
CN1902637A (zh) 2007-01-24
WO2005065270A3 (en) 2005-11-17
JP2007519329A (ja) 2007-07-12
KR20060121256A (ko) 2006-11-28
US20050139672A1 (en) 2005-06-30
CN100472553C (zh) 2009-03-25
JP4309918B2 (ja) 2009-08-05
CA2550220A1 (en) 2005-07-21

Similar Documents

Publication Publication Date Title
KR101068381B1 (ko) 다방향 이미징 시스템을 위한 시스템 및 방법
US7567287B2 (en) Rotating prism for a digital camera in a portable mobile communication device
US7565183B2 (en) Mobile device with selectable camera position
CN107219710B (zh) 多镜头系统及具有该多镜头系统的便携式电子装置
JP2008507936A (ja) 光学ズーム機能が可能な携帯用端末器カメラモジュール
JP2006217368A (ja) カメラ付き携帯端末装置およびカメラ付き携帯電話機
JP4275643B2 (ja) ディジタルステレオカメラ又はディジタルステレオビデオカメラ
US20070041723A1 (en) Elongated camera system for cellular telephones
WO2007095433A2 (en) Multi-direction image capture apparatus
JP2003091041A (ja) 携帯情報端末機
JP2002300438A (ja) デジタルカメラ
JP4338500B2 (ja) 撮像装置
FI112837B (fi) Matkaviestin
JP2004208176A (ja) 携帯端末機器
JP2006215350A (ja) カメラ付き携帯端末装置およびカメラ付き携帯電話機
KR200359260Y1 (ko) 광학계 구조를 갖는 휴대용 단말기용 카메라 모듈
KR20090123546A (ko) 가동 광경로전환부를 구비하는 촬상 광학계 및 이를 채용한이동 통신 기기
JP2005159559A (ja) 携帯型電話装置
JP2006195085A (ja) カメラ付き携帯端末装置およびカメラ付き携帯電話機
WO2004040365A1 (ja) 携帯機器用ズーム付撮像モジュール
JP2005107074A (ja) 携帯型電子機器
TWI578778B (zh) 多鏡頭系統及具有該多鏡頭系統之可攜式電子裝置
JP5311925B2 (ja) 携帯端末装置
JP2004309713A (ja) 携帯型情報端末装置用カメラ
JP2007094078A (ja) 撮像装置

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140828

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20150908

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20160908

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20170911

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20180905

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20190910

Year of fee payment: 9