GPFS并行文件系统部署实践

环境

ubuntu22.04

试用版下载链接

https://www.ibm.com/cn-zh/products/storage-scale

我的版本：Storage_Scale_Developer-5.2.2.1-x86_64-Linux

apt install -y build-essential linux-headers-$(uname -r)

hosts

172.23.170.11 ubuntu1
172.23.170.12 ubuntu2
172.23.170.13 ubuntu3
172.23.170.14 ubuntu4
 
172.23.170.101 ces1.imalloc.cn ces1
172.23.170.102 ces2.imalloc.cn ces2
172.23.170.103 ces3.imalloc.cn ces3

安装

# 解压后安装
./Storage_Scale_Developer-5.2.2.1-x86_64-Linux-install --text-only

# 配置安装节点
cd /usr/lpp/mmfs/5.2.2.1/ansible-toolkit/
./spectrumscale setup -s 172.23.170.101

# 添加节点并查看配置
./spectrumscale node add ubuntu1 -a -g -n -m -q
./spectrumscale node add ubuntu2 -a -g -n -q
./spectrumscale node add ubuntu3 -n -q
./spectrumscale node list

参数-a、-g、-n、-m 和 -q 分别表示不同类型的节点，这些节点在 GPFS 集群中扮演不同的角色。以下是它们的具体作用：

  1. -a 表示 Admin 节点（管理节点）：
    • Admin 节点是 GPFS 集群的管理员节点，主要负责管理集群的配置、监控和维护任务。
    • 它通常用于运行 GPFS 管理命令，例如创建文件系统、添加或删除节点、配置策略等。
    • Admin 节点可以有多台，但通常由系统管理员指定一台或几台节点作为主要的管理节点。
  2. -g 表示 GUI 节点（图形用户界面节点）：
    • GUI 节点用于运行 GPFS 的图形用户界面工具，方便管理员通过可视化界面管理集群。
    • 它提供了一个友好的界面来监控文件系统的性能、节点状态和执行管理任务，而无需使用命令行。
    • 并非所有 GPFS 部署都需要 GUI 节点，这取决于是否需要图形化管理。
  3. -n 表示 NSD 节点（Network Shared Disk 节点）：
    • NSD 节点负责管理 GPFS 的存储设备（磁盘）。它是 GPFS 数据存储和访问的核心节点。
    • 这些节点直接与物理存储（例如 SAN 或本地磁盘）交互，并确保数据在集群中的分布和冗余。
    • 每个 NSD 节点都可以为文件系统提供存储空间，并且多个 NSD 节点协作以提高性能和容错能力。
  4. -m 表示 Manager 节点（管理器节点）：
    • Manager 节点负责协调 GPFS 集群中的元数据操作。元数据包括文件系统结构、文件位置等信息。
    • 在 GPFS 中，Manager 节点确保所有节点对文件系统的元数据有一致的视图，并处理锁管理和数据一致性。
    • 通常会有多个 Manager 节点以提供高可用性，如果主 Manager 节点失败，备用 Manager 节点会接管。
  5. -q 表示 Quorum 节点（仲裁节点）：
    • Quorum 节点用于确保集群在节点失败或网络分区的情况下保持稳定。
    • GPFS 使用仲裁机制来决定集群是否可以继续运行。例如，只有当大多数 Quorum 节点在线时，集群才能正常工作，这防止了数据不一致或“分裂脑”问题。
    • Quorum 节点的数量和位置需要仔细规划，以保证高可用性和容错能力。

添加磁盘

./spectrumscale nsd add -p ubuntu1 -fs gpfs -fg 101 -po system -u dataAndMetadata "/dev/sdb"
./spectrumscale nsd add -p ubuntu1 -fs gpfs -fg 101 -po pool01 -u dataOnly "/dev/sdc"
./spectrumscale nsd add -p ubuntu1 -fs gpfs -fg 101 -po pool02 -u dataOnly "/dev/sdd"
./spectrumscale nsd add -p ubuntu2 -fs gpfs -fg 102 -po system -u dataAndMetadata "/dev/sdb"
./spectrumscale nsd add -p ubuntu2 -fs gpfs -fg 102 -po pool01 -u dataOnly "/dev/sdc"
./spectrumscale nsd add -p ubuntu2 -fs gpfs -fg 102 -po pool02 -u dataOnly "/dev/sdd"
./spectrumscale nsd add -p ubuntu3 -fs gpfs -fg 103 -po system -u dataAndMetadata "/dev/sda"
./spectrumscale nsd add -p ubuntu3 -fs gpfs -fg 103 -po pool01 -u dataOnly "/dev/sdb"
./spectrumscale nsd add -p ubuntu3 -fs gpfs -fg 103 -po pool02 -u dataOnly "/dev/sdc"
./spectrumscale nsd list

命令结构和参数说明

基本命令是 ./spectrumscale nsd add，用于向 GPFS 集群添加新的 NSD 设备。以下是每个参数的含义：

  • -p ：指定 NSD 设备所在的节点。在你的例子中，节点分别是 ubuntu1、ubuntu2 和 ubuntu3。这表示这些 NSD 设备将挂载在指定的节点上。
  • -fs ：指定要添加 NSD 设备的文件系统名称。在所有命令中，文件系统名称都是 gpfs，意味着这些 NSD 设备都属于同一个 GPFS 文件系统。
  • -fg ：指定故障组 (Failure Group)。故障组用于确保数据的高可用性和容错能力。如果一个故障组中的节点或磁盘失败，其他故障组的节点可以接管。命令中使用了三个不同的故障组：101（用于 ubuntu1）、102（用于 ubuntu2）和 103（用于 ubuntu3）。
  • -po ：指定存储池 (Storage Pool)。存储池是 GPFS 中用于组织和管理存储空间的逻辑分组。命令中使用了三个存储池：
    • system：通常用于存储元数据和关键数据。
    • pool01 和 pool02：用户数据存储池，可能用于不同的性能或容量需求。
  • -u ：指定 NSD 的使用类型：
    • dataAndMetadata：该磁盘用于存储数据和元数据（适用于关键存储，如 system 存储池）。
    • dataOnly：该磁盘仅用于存储数据，不存储元数据（适用于大规模数据存储，如 pool01 和 pool02）。
  • "/dev/sdX"：指定实际的物理设备或分区路径，例如 /dev/sdb、/dev/sdc 等。这些是将被用作 NSD 的底层存储设备。

副本数量与挂载点

./spectrumscale filesystem list
./spectrumscale filesystem modify gpfs -mr 2 -MR 3 -r 2 -R 3 -m /gpfs
./spectrumscale filesystem list

参数说明

  • -r

    指定每个数据块的文件副本数。该参数接受以下值：1、2、3。

  • -mr

    指定inode和目录的副本数。该参数接受以下值：1、2、3。

  • -MR

    指定inode和目录的默认最大副本数。该参数接受以下值：1、2、3。

  • -R

    指定每个数据块的文件的默认最大副本数。该参数接受以下值：1、2、3。

-m ：指定文件系统的挂载点。在这里，-m /gpfs 表示文件系统 gpfs 将挂载在 /gpfs 目录下。这是客户端访问文件系统时使用的路径。

其他配置

# 开启性能监控，默认已经打开
./spectrumscale config perfmon -r on

# 通讯端口
./spectrumscale config gpfs -c gpfsdemo -e 60000-61000

# Callhome 功能
./spectrumscale callhome disable

GPFS集群部署

# 检查配置
./spectrumscale install --precheck

# 安装
./spectrumscale install

GUI配置

/usr/lpp/mmfs/gui/cli/mkuser admin -g Administrator,SecurityAdmin

部署CES服务（可选）

echo "172.23.170.101 ces1.imalloc.cn ces1">>/etc/hosts
echo "172.23.170.102 ces2.imalloc.cn ces2">>/etc/hosts
echo "172.23.170.103 ces3.imalloc.cn ces3">>/etc/hosts

./spectrumscale node add ubuntu1 -p
./spectrumscale node add ubuntu2 -p
./spectrumscale node add ubuntu3 -p
./spectrumscale node list

# 我的另外一张网卡，发布服务
./spectrumscale config protocols -e 172.23.170.101,172.23.170.102,172.23.170.103

# 配置cesShareRoot
./spectrumscale config protocols -f gpfs -m /gpfs

# 开启NFS和SMB服务协议
./spectrumscale enable nfs
./spectrumscale enable smb

# 检查配置
./spectrumscale deploy --precheck
# 部署
./spectrumscale deploy

配置CES（可选）

# 认证方式本地认证
/usr/lpp/mmfs/bin/mmuserauth service create --data-access-method file --type userdefined

# 添加用户
useradd cestest
/usr/lpp/mmfs/bin/smbpasswd -a cestest

# 发布SMB
mkdir /gpfs/smbshare1
chown cestest /gpfs/smbshare1
/usr/lpp/mmfs/bin/mmsmb export add smbshare1 /gpfs/smbshare1

#访问
\\172.23.170.101\smbshare1

添加GPFS客户端

./spectrumscale node add FQDN
./spectrumscale callhome disable

./spectrumscale install --precheck
./spectrumscale install

命令参考

https://www.ibm.com/docs/en/storage-scale/5.2.2

From:https://www.cnblogs.com/vpandaxjl/p/18837279
功夫小熊猫
100+评论
captcha
    相关文章
    1. 再见，SSE！你好，Streamable HTTP！轻松开发 Streamable HTTP MCP Server
      formulahendry·1周前
      再见，SSE！你好，Streamable HTTP！轻松开发 Streamable HTTP MCP Server
      编程知识
    3. Sentinel源码—6.熔断降级和数据统计的实现
      东阳马生架构·1周前
      Sentinel源码—6.熔断降级和数据统计的实现
      编程知识
    4. 使用xxxbase应付CRUD后端任务
      xuhe2·1周前
      使用xxxbase应付CRUD后端任务
      编程知识
    5. docker镜像仓库
      huangSir-devops·1周前
      docker镜像仓库
      编程知识
    6. zgxme·1周前
      五年测试开发心路经历：沉淀与思考
      前言 前段时间，我在准备绩效材料，总结过去一年的质量工作和产出。不经意间，感叹时间飞逝，今年是我在测试开发领域摸爬滚打的第五个年头，趁着这个时间点，对过去几年工作做个小结。 总结有几个目的： 沉淀与分享：沉淀过去几年的质量保障技术和工作经验，一方面可以为刚入门的同学提供些参考，希望帮同学们少走些弯路
      编程知识
    8. easy-query隐式Group革命性OLAP优化JAVA下最强查询ORM没有之一子查询合并
      薛家明·1周前
      easy-query隐式Group革命性OLAP优化JAVA下最强查询ORM没有之一子查询合并
      编程知识
    9. SpringBoot3整合SpringSecurity6(二)SpringSecurity默默的干了些啥
      程序员晓凡·1周前
      SpringBoot3整合SpringSecurity6(二)SpringSecurity默默的干了些啥
      编程知识
    10. 工良出品 | 长文讲解 MCP 和案例实战
      痴者工良·1周前
      工良出品 | 长文讲解 MCP 和案例实战
      编程知识