数据平台笔记-从硬件组装开始

数据没上个PB级别,都不好意思说是大数据,所以我就称之为数据平台吧。这里记录下一些数据平台搭建过程中的笔记。

买了7台服务器,包括6台集群使用的,和一台工作站,工作站用于平时开发和快速计算用,比如GPU的计算。其他6台用于搭建集群,主要是用于存储金融数据和集群计算,还有其他的服务;服务器配置如下:

集群节点

Server Name: PowerEdge R710 CPU型号: Intel(R) Xeon(R) CPU X5650 @ 2.67GHz CPU总逻辑数: 24 (2*6*2) Mem: 62.7G Disk: 2.2T OS: centos 3.10.0-514.16.1.el7.x86_64

工作站节点

Server Name: HP Z840 Workstation CPU型号: Intel(R) Xeon(R) CPU E5-2630 v4 @ 2.20GHz CPU总逻辑数: 20 (1*10*2) Mem: 62.8G Disk: 8.7T GPU: GeForce GTX 1080 OS: 4.10.0-37-generic #41~16.04.1-Ubuntu

工作站的磁盘是已经安装好的,集群的每个节点的磁盘都是重新买的,每个节点2块磁盘,然后一个一个手动安装上去,完了每个节点都从头开始做RAID5,安装操作系统,并且更新centos源和软件,最后在新买的机柜上面插入服务器,接入局域网的千兆路由器;每个节点的IP都已经设定好,不能修改;通电并接入UPS后,正常运行,硬件部分工作完成。