3월 29일 (금) 오후 11:17

logo

  • home
  • head
  • itnews
  • product
  • mobile
  • game
  • benchmark
  • analysis
  • blog

개봉 2023.11.22. / 등급: 12세 관람가 / 장르: 드라마 / 국가: 대한민국 감독 : 김성수 출연 : 황정민, 정우...
노량: 죽음의 바다 / 개봉 2023.12. / 장르: 액션, 드라마 / 국가: 대한민국 감독 : 김한민 출연 : 김윤석, ...

SSD에서 클라우드 : 스토리지 저장매체의 발전과 데이터 활용 특성



2014년도 IDC Report에 따르면 향후 생성될 디지털 정보는 매년 42.5%씩 늘어나고 2017년에는 125 Exabytes에 이른다고 하며 요새 Petabyte나 Exabyte 같은 단위가 그리 낯설게 들리지 않는 것을 보면 기업이 든 개인이든 폭발적으로 늘어나는 데이터를 어떻게 관리하느냐가 초미의 관심사임에는 틀림 없다. 이를 증 명하듯 비즈니스 SNS인 링크드인에서 조사한 바로는 2014년도 구인 기업에게 가장 각광받았던 기술에서 스토리지 관리 부분이 당당 3위를 차지하기도 하였다. 이렇게 생성되는 데이터가 늘어나는 만큼 스토리지 시 스템 기술도 발전을 이루어 왔고 그 중심에는 스토리지 시스템에서 실제 데이터가 저장되는 저장매체의 발 전이 매우 크게 기여 했음에 의심의 여지가 없다.

인류 최초의 기계적인 스토리지 저장 매체는 바로 1800년대 초반에 직물을 짜는 기계에서 사용한 천공카드 였다고 한다. 천공카드에 일정 패턴으로 천공을 뚫으면 베틀이 그 패턴 그대로 직물을 짤 수 있었다고 하며 여 기서 아이디어를 얻어 1800년대 후반 전기적으로 천공을 인식하여 몇 개의 카드에 저장된 숫자를 테이블로 만들어 내는 시스템이 만들어졌다는 것이다.

다음으로 나온 저장매체가 마그네틱 테이프이며 1951년도에 발표된 최초의 상업용 컴퓨터인 유니벡 (Univac)-1에 저장용 스토리지로 사용되었고 그 이후 현재까지 컴퓨팅 산업의 발전과 함께 저장 매체도 마 그네틱 테이프에서 마그네틱 디스크 그리고 최신의 Flash 반도체 기술에 기반을 둔 SSD(Solid State Drive) 에 이르기까지 눈부신 발전을 함께 이룩해 왔다.

그럼 여기서 우리는 폭발적으로 늘어나는 데이터를 어떤 저장 매체에 저장하여야 하는가를 고민하지 않을 수 없다. 아직도 SSD는 Disc 대비 수십 배 비싼 솔루션이며 그 SSD 내부에서도 가격과 성능 차이가 수배에 이르기 때문이고 결국 좋은 성능은 그만큼 높은 비용을 지급하게 만들기 때문에 스토리지 시스템에 저장될 데이터의 활용 특성에 대해서 이해하는 것이 매우 중요하다 하겠다.

이 부분의 설명을 돕기 위하여 스마트폰을 예로 들도록 하겠다. 일전에 어떤 연예인이 자신의 스마트폰에 3,500명의 연락처가 저장되어 있다고 얘기하는 걸 들은 적이 있는데 그럼 그분은 이 3,500명의 연락처라는 데이터를 어떤 식으로 활용하고 있을까? 이분이 3,500명 모두에게 같은 주기로 똑같이 연락하지는 않을 거 라 생각된다. 이를테면 하루에 10명씩 매일 통화하면 1년에 한 번은 3500명 모두와 연락을 취할 수 있다. 하지 만 이런 식으로 데이터(여기서는 연락처)를 활용하는 경우는 거의 없을 것이다. 연구에 따르면 데이터의 활 용은 반드시 특정 데이터군에 대해 집중되며 이러한 부분을 데이터 활용 특성 (Data skew 또는 Data access pattern)이라고 얘기한다

즉 100번 전화를 시도 한다고 할 때 Data skew가 88%이면 하면 90번은 3,500명 중 180명 이내의 사람들에 게 전화가 간다는 것이고 Data skew가 33%이면 100번의 전화통화중 80번은 3,500명 중 1,155명 중에 간다 는 것을 뜻한다. 이것은 같은 데이터라도 그 데이터를 사용하는 사람에 따라 달라지는데 이를 IT 솔루션으로 설명하면 어떤 애플리케이션이냐 따라 그 Data skew가 달라진다

밑의 [그림1]은 이러한 애플리케이션 별 데이터 활용 특성을 그래프로 설명하고 있다. 그림 아래쪽의 기타 App은 클라우드 솔루션으로 사진을 공유하는 Internet Service Provider의 1년간의 사진 활용 특성이며 이 는 사용자가 1년 동안 찍은 사진을 다시 볼 때 80%는 지난 3개월에 집중된다는 것을 의미한다. 이러한 특성 을 이 사업자가 이해하고 적절하게 사용할 수 있다면 엄청난 스토리지 비용을 절감할 수 있다. 예를 들어 자주 보는 지난 3개월간의 사진은 가장 성능이 좋은 - 이를테면 - SSD에 저장해서 빠른 응답 속도를 제공하고, 나 머지 9개월 사진은 더 느린 응답 시간에 계약조건을 단 후 원격 Cloud storage에 저장하는 것이다. 데이터 활 용 특성을 무시하고 모든 데이터를 SSD에 담는 것보다 수십 배의 비용 절감이 가능할 것으로 예상된다.

tech_img4426.jpg


그런데 이러한 데이터 사용 특성은 개인보다는 저장 데이터가 무척 큰 기업 규모의 Structured Data에서 훨 씬 더 직관적이고 명확하게 적용된다. 어떤 기업이 지난 10년간의 고객의 주문 정보를 저장하고 있고 주문에 서 매출인식까지의 한 주기를 6개월이라 한다면 해당 6개월 치의 데이터는 자주 읽고 변경하며 활용하겠지만, 나머지 9년 6개월의 이미 마감이 된 주문 정보 데이터는 활용이 매우 낮을 수밖에 없는 것입니다. [그림 1]에 서 OLTP성 업무의 Data skew 그래프가 이러한 데이터 활용 특성에 대해서 잘 설명하고 있다.

특히 OLTP성 Structured Data는 결국 Database에서 생성되는 것이고 Data의 생성과 저장은 향후 그 Data 의 효율적인 활용에 지대한 영향을 끼치게 되어 오라클에서는 12c부터 Heat map이라는 기능으로 기업이 가 지고 있는 DB Data의 Dataskew에 따라 block 단위로 Hot/Warm/Cold/Deep Archive로 구분하여 그 활 용 특성을 알도록 도와준다.

tech_img4427.jpg


만약 이러한 대량의 데이터를 세부 데이터 활용 패턴을 무시하고 한 종류의 저장 매체 - 이를테면 고성능의 SSD에 모두 저장하는 것은 효율적인 자원 활용을 매우 어렵게 만든다. 이를테면 가장 높은 성능을 위하여 데 이터 사용 패턴을 무시하고 모든 데이터를 SSD에 담는다고 했을 때 우선 성능 때문에 SSD를 선택했으나 비 용 때문에 중저가 SSD를 선택해야 하는 모순에 빠지게 된다 - 앞에서 얘기했듯이 같은 SSD라 하더라도 그 종류에 따라 가 격과 성능이 천차만별이기 때문이다. 그리고 성능 때문에 SSD 를 선택했으나 저장 용량을 줄이기 위하여 중복제거 같은 오 히려 스토리지 시스템의 IOPS 성능을 저하시키는 기능도 함 께 사용되어야 하는 아쉬움이 있는 것이다.

결국 특히 대량의 데이터를 가지고 있는 기업 입장에서 가장 이상적인 방법은 빠른 응답을 해야 하는 소량의 데이터를 최 고 성능의 반도체 기반의 저장 매체에 저장하고 활용이 떨어 지는 대량의 데이터는 저비용의 HDD나 테이프 시스템 및 Cloud에 분산하며 각 매체 간의 유연한 데이터 이동을 가능하 게 할 관리 시스템을 채택했을 경우 가장 뛰어난 투자 대비 성 능 개선 효과를 볼 수 있을 것이며 특히 이를 위하여는 애플리 케이션과 온프레미스 스토리지 시스템에서 Clould에 이르기 까지 서로 능동적으로 이러한 Data 활용 특성에 대한 정보를 공유하고 그에 맞는 스토리지 tier를 선택할 수 있도록 공동 개발되는 것이 가장 중요한 것이다. 왜냐하면, 설 사 DB에서 Heatmap으로 Data 특성에 대해 구분되었더라도 밑단의 스토리지 시스템이 이 패턴을 이해하지 못한다면 이러한 기능은 무용지물이기 때문이다.

따라서 기업 고객의 경우 이러한 Data의 생성과 저장 그리고 백업 및 Archiving에 이르기까지 Data의 한 생 애 주기에 대한 깊은 이해로 소프트웨어와 하드웨어를 Co-engineering 할 수 있는 솔루션 공급업체를 선택 하는 것이 매우 중요하다고 할 수 있겠다.



출처 : 오라클

제공 : 데이터 전문가 지식포털 DBguide.net






  1. [보안공지] 이스트소프트 알집 보안 업데이트 권고

    □ 개요  o 이스트소프트社의 알집에서 원격코드 실행이 가능한 취약점 발견 [1]  o 영향 받는 버전을 사용중인 이용자는 해결방안에 따라 최신버전으로 업데이트 권고     □ 설명  o 알집의 LZH 파일 포맷 ...
    Date2018.10.17
    Read More
  2. [보안공지] 보안프로그램으로 위장한 랜섬웨어 발견

    보안프로그램으로 위장한 랜섬웨어 발견 ► MalwareHunterTeam 연구원은 SuperAntiSpyware 보안프로그램으로 위장한 Kraken Cryptor 랜섬웨어 변종을 발견 ​► 해당 보안프로그램 서버에 랜섬웨어 실행 파일...
    Date2018.10.17
    Read More
  3. QNAP NAS의 최신 OS, QTS 4.3.5 발표 및 배포 시작

    QNAP Systems는 NAS OS의 최신 버전 QTS 4.3.5 발표 및 배포 시작. 신규 버전은 SSD를 다양하게 활용하는 새로운 기능과 소프트웨어 정의형 네트워크 아키텍처를 새롭게 탑재한다. QTS 4.3.5의 SSD 엑스...
    Date2018.10.08
    Read More
  4. 다이어트는 괴로워: 얼굴살 빠지고, 허벅지 찌는 이유

    영양은 넘치고, 운동할 시간은 적다.   비만은 현대인에겐 숙명과도 같다. 때문에 다이어트는 수많은 사람들의 숙원이다.   대부분의 사람들이 실패하지만, 성공하는 사람도 간혹 있긴 하다.   그런데, 살...
    Date2018.10.06
    Read More
  5. 엔비디아 지포스 시리즈에서 AMD 라데온 프리싱크 지원

    기존까지 AMD 라데온 전용 기술로 알려졌던 '프리싱크' 기술이 엔비디아의 지포스 시리즈에 적용된 것이 확인되고 있다. 따라서 엔비디아의 지포스가 AMD 라데온의 마지막 장점까지 완전히 제거하고 ...
    Date2018.09.30
    Read More
  6. ipTIME NAS 제품 취약점 보안 업데이트 권고

     개요  o EFM-Networks社는 ipTIME NAS 제품의 취약점을 해결한 보안 업데이트 발표 [1]  o 낮은 버전을 사용 중인 시스템은 악성코드 감염에 취약할 수 있으므로, 최신 버전으로 업데이트 권고   □ 설명  ...
    Date2018.09.15
    Read More
  7. GPU 병렬 프로그래밍 CUDA의 모든 것

    Martin Heller | InfoWorld CUDA와 GPU의 병렬 처리 능력을 활용하면 딥러닝을 포함한 컴퓨팅 집약적 애플리케이션을 가속화할 수 있다. CUDA 는 엔비디아가 자체 GPU에서의 일반 컴퓨팅을 위해 개발한 ...
    Date2018.09.08
    Read More
  8. HP 복합기 원격코드실행 취약점 보안 업데이트 권고

    □ 개요  o HP社의 잉크 프린터에서 발생하는 원격코드실행 취약점을 해결한 보안 업데이트 발표[1]  o 취약한 버전을 사용 중인 서버의 담당자는 해결방안에 따라 최신 버전으로 업데이트 권고   □ 설명  o...
    Date2018.09.08
    Read More
  9. Google 어시스턴트를 스마트하게 사용하는 법을 알아보세요.

    인공지능(AI), 아직도 멀게만 느껴지시나요? Google 어시스턴트는 구글의 인공지능 기반 음성비서 기술로 생활 속에서 가장 가까이 접할 수 있는 기기인 핸드폰을 통해 인공지능을 쉽게 만나볼 수 있게 해...
    Date2018.09.08
    Read More
  10. 그림으로 이해하는 SDN의 원리와 진화하는 사용례 [한글 자막]

    소프트웨어 정의 네트워킹은 이제 고급 네트워킹이 필요한 모든 영역에 적용되는 다재다능한 기술로 진화했습니다. 애니메이션을 통해 SDN의 기본 개념과 함께 데이터센터에서 WAN과 클라우드, 보안, 사물 ...
    Date2018.08.04
    Read More
  11. [MATH] 비트코인의 암호화 원리

    국제 수학자대회가 2014년 서울에서 개최됩니다. 이를 기념해 과학향기에서는 올 한 해 동안 매월 1편씩 [MATH]라는 주제로 우리생활 속 다양한 수학을 소개하는 코너를 마련했습니다. 기초과학의 꽃이라 ...
    Date2018.08.01
    Read More
  12. 윈도우에서 USB 흔적 추적하기 (USB Device Tracking on Windows)

    앞으로 3번에 걸쳐 윈도우, 리눅스, 맥에서 USB 장치의 흔적을 추적하는 내용을 포스팅할 예정이다. 그 첫번째로 윈도우 환경에서 USB(범용 직렬 버스, Universal Serial Bus) 흔적을 살펴보자. 윈도우 ...
    Date2018.07.21
    Read More
  13. ‘드론 택시 도심 주행’ 실현 위해 필요한 것들

    지난겨울, 평창 밤하늘에 수호랑을 수놓았던 드론 쇼는 분명 감동적이었다. 하지만 당시 관객들이 간과한 게 하나 있다. 드론 스스로 하늘과 땅, 숲과 나무, 함께 비행하는 ‘동료 드론’을 알아보고 ...
    Date2018.07.21
    Read More
  14. 폭염 시작, 한반도의 여름은 더 더워지고 있다?

    장마가 끝나고 폭염이 시작됐다. 아직 7월 중순이지만 전력 사용량이 어마어마하다. 그만큼 여름은 길고 더워졌다. 언제부터인가 매년 여름마다 사상 최악의 여름이라는 수식어가 붙는 것 같다.   실제로 ...
    Date2018.07.21
    Read More
  15. 적외선 감지기를 속일 수 있는 새로운 스텔스 재료

    미국 위스콘신 매디슨 대학(University of Wisconsin-Madison)의 연구진은 적외선을 흡수함으로써 열이 나는 물체를 숨길 수 있는 새로운 물질을 개발했다. 적외선 카메라는 무인 항공기가 야간 또는 안개...
    Date2018.07.21
    Read More
  16. 개인정보를 보호하는 최소한의 기본 원칙

    여러분의 개인정보는 안녕하신가요? 이 질문에 대해 확신을 못하시는 이용자 분들이 계실 것 같고, 개인정보는 이용자 분들에게 큰 관심사이지만 동시에 까다로운 주제이기도 할 것 같습니다. 이용자 정보 ...
    Date2018.07.21
    Read More
  17. Cisco router/switch 제품군 취약점 보안 업데이트 권고

    □ 개요  o Cisco社는 자사 제품에 대해 다수의 취약점을 해결한 보안 업데이트를 공지  o 공격자는 해당 취약점을 이용하여 피해를 발생시킬 수 있어 해당 Cisco 제품을 사용하는 이용자들은 최신 버전으로...
    Date2018.07.21
    Read More
  18. 글로벌 사이버 위협 동향 보고서 (2018년 2분기)

    제 1 장. 2분기 사이버 위협 동향   1. 언론보도로 살펴본 사이버 위협 동향   2. 취약점 동향   제 2 장. 이슈포커스   1. 만화로 알아보는 이슈 : 공급망 공격   2. 현장 인터뷰 : 충남대학교 류재철 교...
    Date2018.07.21
    Read More
  19. 2018년 7월 마이크로소프트 보안 업데이트

    7월 보안 릴리스는 다음 소프트웨어에 대한 보안 업데이트로 구성되어 있습니다. Internet Explorer Microsoft Edge Microsoft Windows Microsoft Office, Microsoft Office Services 및 Web Apps ChakraC...
    Date2018.07.14
    Read More
  20. 블록체인, 진짜는 ‘암호화폐 너머’에 있다 (Block Chain)

    블록체인이라고 하면 많은 사람이 비트코인 같은 암호화폐를 떠올린다. 블록체인이 비트코인 덕에 유명해지긴 했지만 암호화폐는 블록체인 중에서도 금융(finance) 응용의 하나일 뿐, 둘의 개념이 같...
    Date2018.07.05
    Read More
  21. 시스코 라우터, 스위치 취약점 보안 업데이트 권고

    □ 개요  o Cisco社는 자사 제품에 대해 다수의 취약점을 해결한 보안 업데이트를 공지  o 공격자는 해당 취약점을 이용하여 피해를 발생시킬 수 있어 해당 Cisco 제품을 사용하는 이용자들은 최신 버전으로...
    Date2018.06.23
    Read More
  22. 구글, 온디바이스 인공지능으로 한층 더 개선된 번역 제공

    지금으로부터 약 2년 전, 우리는 구글 번역에 신경망 기계번역(NMT)을 도입하여, 온라인 번역의 정확성을 크게 향상시킨 바 있습니다. 그리고 이제 NMT 기술을 오프라인(온디바이스)으로도 사용할 수 있게 ...
    Date2018.06.23
    Read More
  23. SNK 40주년 기념 NEOGEO mini 게임기 발매

    SNK가 7월 24일부터 브랜드 40주년 기념으로 NEOGEO mini 게임기 발매 게임기는 컨트롤러와 디스플레이가 일체화 된 디자인으로 3.5인치 디스플레이와 아케이드 스틱이 탑재된다. 또한 SNK의 유명 타이...
    Date2018.06.23
    Read More
  24. 애플 macOS 10.14 Mojave 지원 대상 리스트

    애플이 최근 macOS 10.14 Mojave를 정식으로 발표하면서 macOS 10.14 Mojave의 시스템 요건이 확인됐다. macOS 10.14 Mojave의 시스템 요건은 아래와 같고, macOS 10.13 High Siera에서 지원되던 일...
    Date2018.06.13
    Read More
  25. 전 세계 스마트폰 카메라 성능 순위 (2018.06 기준)

    카메라 성능을 측정하는 https://www.dxomark.com 의 2018년 6월 7일 기준 전세계 스마트폰 카메라 성능 순위 1위는 여전히 화웨이 P20 프로가 유지하고 있는 가운데 새로이 HTC U12+가 2위로 등극했...
    Date2018.06.07
    Read More
  26. 미국과 중국 매출 상위 100개 모바일 게임 비교를 통해 분석한 중국 시장의 특수성

    게임 분야의 컨설팅업체 GameRefinery가 중국에 진출하길 희망하는 해외 모바일 게임업체를 위해 미국과 중국의 인기 모바일 게임간 특성을 비교 분석 PDF 원본 다운로드 - http://www.strabase...
    Date2018.06.02
    Read More
  27. 화석연료 고갈 이후 대안은?

    <KISTI의 과학향기> 제3154호 최근 우리 나라에서 벌어지고 있는 ‘쓰레기 대란’의 주요 대상은 플라스틱류다. 수거를 거절 당하는 스티로폼을 비롯해 음식물이나 각종 세제 용기로 쓰이는 폴리에틸렌 등...
    Date2018.06.02
    Read More
  28. DNS 하이재킹 공격기법을 사용하며 공격 국가와 기능을 확장하고 있는 Roaming Mantis

    4월 16일 카스퍼스키랩 연구진은 주로 아시아 지역의 스마트폰을 노리고 DNS(domain name system) 하이재킹 기법을 통해 유포되는 신종 악성 코드를 하나 보고했다. 이 악성 코드는 4주 동안 빠르게 진화를...
    Date2018.06.02
    Read More
Board Pagination Prev 1 2 3 4 5 6 7 8 9 10 11 ... 47 Next
/ 47