+84 - 913 78 432 9

Big Data Hadoop Solutions

The Challenge

      There is a tremendous amount of information driven by the ever changing applications,from structured, unstructured, to semi-structure data. Conventional IT infrastructure is not built to handle the variety, velocity and volume of the data produced by social media networks, mobile applications, machine sensors and scientific researches, etc. For Enterprises, utilizing big data analytics is no longer a question of when, it is a question of how. Hadoop,designed for the cost effective storage and processing of large volumes of data, is born forthis purpose. It can linearly scale up to thousands of servers and petabytes of storage.

      How to take advantage of Hadoop technology and gain competitive edge is on the mind of almost every corporate CIO. For enterprises, how to deploy the Hadoop infrastructure efficiently means winning or losing in the big battle of market share. Enterprises deploying Hadoop solutions  often spend large amount of resource searching for the best architecture and the most capable solution provider. This is where Supermicro comes in to help.

      Dữ liệu lớn ( Big data ) là  Tập hợp một lượng lớn dữ liệu từ nhiều nguồn thông tin và ứng dụng khác nhau các tập dữ liệu này có khối lượng lớn và phức tạp như: dữ liệu có cấu trúc, phi cấu trúc đến bán cấu trúc. Mà cơ sở hạ tầng CNTT thông thường không được xây dựng để xử lý sự đa dạng, tốc độ và khối lượng dữ liệu được tạo ra bởi các mạng truyền thông xã hội, ứng dụng di động, cảm biến máy móc và nghiên cứu khoa học, v.v.
    Đối với các doanh nghiệp, việc sử dụng và phân tích dữ liệu lớn (Big Data) không còn là vấn đề khi nào nữa. Mà một câu hỏi khác được đặt ra lúc này là làm thế nào ? Với mục đích vô cùng to lớn đó Hadoop được sinh ra và thiết kế để lưu trữ và xử lý khối lượng lớn dữ liệu tối ưu hóa về mặt chi phí. Đáp ứng yêu cầu về Tốc độ xử lý cao, đa dạng và phức tạp. Nó có thể mở rộng tuyến tính lên đến hàng nghìn máy chủ và hàng Petabyte dung lượng lưu trữ.


    Đối Với việc đào "Mỏ Dữ Liệu"  vô cùng lớn và dồi dào tài nguyên thông tin như vậy, việc  Làm thế nào để đào (Khai Thác) triệt để nguồn tài nguyên này? đạt được lợi thế cạnh tranh là mục tiêu tiên phong của hầu hết mọi CIO của công ty. Vấn đề các doanh nghiệp làm thế nào để triển khai cơ sở hạ tầng Hadoop một cách hiệu quả đồng nghĩa với việc thắng hay thua trong cuộc chiến chiếm phần lớn các thị phần CNTT.
    Các doanh nghiệp triển khai giải pháp Hadoop thường dành một lượng lớn tài nguyên về nguồn lực để tìm kiếm những kiến ​​trúc tốt nhất và nhà cung cấp giải pháp có năng lực nhất. Và đây cũng là lúc cần đến sự trợ giúp của Hãng Supermicro.

 

The Solution

     Introducing Supermicro Hadoop clusters, a series of optimized big data solutions that provide high performance, high reliability and high scalability. Supermicro Hadoop solutions are fully integrated, fully optimized and completely tested turnkey clusters with flexible support packagesavailable to meet customer specific requirements.

     Supermicro Hadoop clusters feature industry proven high density compute and storage servers populated with best of breed components selected through extensive engineering design, validation and testing. Certified configurations take the guess work out of designing and deploying a truly scalable Big Data compute and storage infrastructure that meets the most demanding enterprise IT and data center environments.

       Việc công bố các cụm (Cluster) Supermicro Hadoop và một loạt các gói giải pháp dữ liệu lớn (Big Data) được tối ưu hóa để đáp ứng các yêu cầu khắt khe về hiệu suất, độ tin và khả năng mở rộng cực cao. Đồng thời các gói giải pháp này của Supermicro Hadoop được tích hợp đầy đủ nhất tính năng tự động hóa hoàn toàn. Các gói được cung cấp dưới hình thức là "Cụm Chìa Khóa Trao Tay" đã được Hãng thử nghiệm, kiểm tra benchmark, triển khai thực tế với các trung tâm dữ liệu cực lớn... đính kèm là các gói hỗ trợ linh hoạt luôn luôn sẵn để đáp ứng từng yêu cầu cụ thể của khách hàng.
   Cụ thể hơn các cụm (Cluster) Supermicro Hadoop bao gồm các máy chủ lưu trữ và tính toán mật độ cao đã được chứng thực trong ngành công nghiệp sản xuất máy chủ với các thành phần chất liệu tốt nhất được lựa chọn thông qua những kỹ sư đầu nghành được: thiết kế kỹ thuật, chứng nhận và thử nghiệm rộng rãi. Các cấu hình được chứng nhận từ các Hãng phần mềm lớn về độ tương thích giúp các chủ đầu tư dụ đoán được công việc như thiết kế và triển khai cơ sở hạ tầng lưu trữ và tính toán Dữ liệu lớn (Big data) thực sự có thể mở rộng không giới hạn, đáp ứng các môi trường trung tâm dữ liệu và CNTT của tập đoàn cũng như doanh nghiệp có tiêu chuẩn khắt khe nhất.
 

Supermicro Advantage

  • Designed from ground up with optimal server and cluster configurations that meet a variety of workloads
                     (Được thiết kế từ những khâu đầu tiên với cấu hình máy chủ và cụm (cluster) tối ưu hóa đáp ứng nhiều khối lượng công việc khác nhau)           

  • Proven solutions based on extensive lab testing and large scale production deployments
          (Các giải pháp đã được chứng thực (certificate) dựa trên những thử nghiệm rộng rãi trong phòng thí nghiệm và triển khai sản xuất quy mô lớn)

  • Achieve the best price/performance and the best price/capacity with industry leading server and storage platforms
                  (Đạt được mức giá tối ưu / hiệu suất tốt nhất về giá thành/ dung lượng tốt nhất với các nền tảng máy chủ và lưu trữ hàng đầu trong ngành cộng nghệ sản xuất máy chủ trên thị trường)
     
  • End-to-end turnkey Hadoop clusters with completely integrated HW, SW and Global Support
                        (Cụm Hadoop "chìa khóa trao tay" end-to-end với phần cứng, phần mềm và được Hỗ trợ và tích hợp hoàn toàn)
     
  • Advanced architecture based on the latest technologies such as SkyLake CPUs, SAS3, NVMe, Optane Drives 
                      (Kiến trúc tiên tiến và hiện đại dựa trên các công nghệ phần cứng mới nhất như CPU SkyLake, SAS3, NVMe, Ổ đĩa Optane)
     
  • Enhanced networking performance and redundancy with dual 10GbE / 25GbE / 40GbE / 100GbE options
                      (Nâng cao hiệu suất từ hệ thống mạng và khả năng dự phòng với các tùy chọn  từ card mạng 10GbE / 25GbE / 40GbE / 100GbE đôi)
     
  • Automated full cluster testing guarantees build quality and delivery schedule
                       (tự động kiểm tra toàn bộ cụm (cluster) đảm bảo xây dựng chất lượng tốt nhất và đáp ứng tiến độ giao hàng)

Fully Integrated Hadoop Cluster

Key Features and benefits:

  • Purpose built cluster configurations optimized for capacity, compute or IO performance
  • High availability Name Node design with no single point of failure
  • Large memory options designed specifically for Spark and other in memory, low latency computations
  • Hyper-Scale server platforms designed for extremely large deployments
  • High density compute, storage and memory design to achieve the best efficiency and lowest TCO
  • Flexible network switch options with 1 or 2x 10G / 25G / 100G switches per rack.
  • Cost effective 14U rack design, ideal for Proof of Concept testing environment
  • Standard 42U rack design and flexible PDU options that meet any data center environment
  • Up to Titanium Level (96%+) Efficiency - Redundant Power Supplies with PMBus
  • Built in with IPMI and SMC OOB (out of band management) suite for automated cluster management
  • Fully integrated, fully configured and completely tested with Hadoop distributions of your choice
  • Proof of Concept testing cluster available for risk free purchasing experience
Hadoop cluster solution rack
  • 1 or 2x 48 port 10G SFP+ / 10GBase-T / 25GbE
    1 or 2x 32 port 100GbE, 1x 48 port Switch, GbE
  • 1x Management Node 1U UP Skylake 41xx / 51xx
  • 3x Name Nodes 1U DP Xeon Skylake 41xx / 51xx / 61xx
  • Optimized Data nodes 2U SSG, 2U BigTwin or 4U FatTwin with Skylake 41xx / 51xx / 61xx / 81xx processors, dual 10G / 25G / 40G per node, 2.5" and 3.5" HDD options
  • Standard 42U rack with metered PDUs, rack customization options available
  • Integration service includes full cluster Burn-in and testing, BIOS and FW update, networking configuration, Pre-install Hadoop distribution of choice, and full cluster

Hadoop Cluster Technical Specifications

  High Capacity IO Optimized High Density Compute Balanced
Model SKU SRS-HCSG18-HADP-01 SRS-IOBT32-HADP-01 SRS-HDFT36-HADP-01 SRS-BLSG37-HADP-01
Data Node SSG-6029P-E1CR24L SYS-2029BT-HNR SYS-F629P3-RC0B SSG-6019P-ACR12L
Data Node (Qty) 18 32 36 37
Form Factor 2U SuperStorage 2U BigTwin 4U FatTwin 1U SuperStorage
2x SKL 4114 2P 10C/20T 2.2G 85W 2x SKL 5118 4/2P 12C/24T 2.3G 105W 2x SKL 6130 4/2P 16C/32T 2.1G 125W 2x SKL 5118 4/2P 12C/24T 2.3G 105W
128GB 192GB 256GB 128GB
24 Bay 3.5" 6 Bay 2.5" 8 Bay 3.5" 12 Bay 3.5"
Total Data Drive 432 448 (NVMe)* 288 444
Total Cores 360 768 1152 888
Total Memory 2.3TB 6.144TB 9.2TB 4.7TB
Total Storage 3.45PB (8TB) 1.792PB (4TB) 1.15PB (4TB) 2.66PB (6TB)
Name Node 3x 1U WIO 3x 1U WIO 3x 1U WIO 3x 1U WIO
Switches 1x 48PT 25GBase-T 2x 32PT 40G 1x 48PT GbE 1x 48PT10G SFP+
Cabinet (W x H x D) 42U
23.5 x 82.4 x 48
PDU 2x 50A 208 3-Phase Metered PDU
*ADD 32 Bay 2.5" Drives x8 JBOF = 256 NVMe

Learn More

Get Started

Supermicro Integration and Proof of Concept Laboratory Services