Neutron 架构

发布时间: 更新时间: 总字数:2139 阅读时间:5m 作者:IP:上海 网址

Neutron 是 OpenStack 项目中负责提供网络服务的组件,它基于SDN(软件定义网络)的思想,实现了网络虚拟化下的资源管理。本文介绍 OpenStack Neutron 架构。

Neutron 架构

说明:

  • Neutron Server:部署在 controller node 上,提供 REST API 接口,接收外部请求并在进程内直接分发给相应的 Plugin
  • Neutron Plugin:在 neutron-server 进程内运行,处理业务逻辑并操作数据库(DB),随后通过消息队列(MQ)向各个 Neutron Agent 发送 RPC 指令或状态通知
    • Core Plugin:neutron 把三类资源定义为核心资源,分别是network、subnet、port,这三类的实现由 Core Plugin 来实现
    • ml2 plugin:厂商对 L2 层网络资源的具体实现
    • Service Plugin:加载 Core Plugin 之后就加载 Service Plugin,因为 Core Plugin 和 Service Plugin 有很多相似的地方,所以 Core Plugin 很多地方也都按照 Service Plugin 去处理
  • Neutron Agent:部署在compute node和network node上的进程,从消息队列获取 Neutron Plugin请求,并处理
    • agent driver:被 agent 调用,具体干活的人

OpenStack Neutron 网络服务整体架构组件交互图

neutron 的进程

一个完整的 neutron 部署包含多台主机和多个服务

  • neutron-server(controller node)
    • 暴露 api
    • 操作 db
  • Layer2 agent(compute node & network node)
    • 利用 ovs
    • 负责提供 network segment
    • 负责租户网络的隔离
  • Layer3 agent(network node)
    • 负责东西、南北的路由
    • 负责额外的功能,如: FWaaS、LBaas

代码

相关类

  • APIRouter:暴露 neutron 已知的 resource 的 URL 的映射
  • extension:具体的 api 扩展。以 Securitygroup 为例,get_resources 方法中新建了一个 controller,并将具体的 plugin 传给了 controller,这个 extension 的 api 调用会被这个 controller 处理,controller 会调用 plugin 中的相应方法。
  • extensions filter:rest 请求经过的一个 filter,具体由 ExtensionMiddleware 干活
  • ExtensionMiddleware:初始化 ExtensionManager,并从中获得所有 extension 的 resource 并将 controller 和 URL 映射。
  • ExtensionManager:在给定 path 下扫描所有 extension 的 py 文件、加载、并提供一些查询方法。
  • NeutronManager: 加载配置文件中设置的 plugin
  • NeutronDbPluginV2:做与 Core Plugin 相关的数据库操作
  • IPAM(ip 地址管理)用于 subnets 公用的抽象资源的管理,例如 DHCP,DNS,CIDR 等。

程序入口点

  • 位于 setup.cfg -> [entry_points] -> console_scripts,很很多个 main 函数入口,安装后,这些命令位于/usr/bin/,可以直接执行。
  • 程序入口点举例:neutron-server = neutron.cmd.eventlet.server:main_wsgi_eventlet
    • 创建eventlet pool,启动wsgi server,具体做事情的是api-paste.ini中定义的app:neutron,请求达到时,经过一系列的filter后,达到APIRouter处理

setup.cfg

neutron 的全局描述,详见源码

  • metadata
  • 所有配置文件
  • 所有 console_scripts 命令行
  • core_plugins 的列表(不过目前只剩 ml2)
  • service_plugins 的列表(lb,vpn,qos,fw 等等)
  • ml2 type_drivers 列表
  • ml2 mechanism_drivers 列表
  • ml2 extension_drivers 列表
  • 缓存后端(memcache)
  • ipam_drivers 列表(目前只有 ipam 的 db 实现,可以指定 external ipam)
  • l2 extension: QosAgentExtension
  • qos agent_drivers: QosOVSAgentDriver

进程举例

devstack 环境下进程举例:

  • q-svc: /usr/bin/neutron-server --config-file /etc/neutron/neutron.conf --config-file /etc/neutron/plugins/ml2/ml2_conf.ini
  • q-agt: /usr/bin/neutron-openvswitch-agent --config-file /etc/neutron/neutron.conf --config-file /etc/neutron/plugins/ml2/ml2_conf.ini
  • q-dhcp: /usr/bin/neutron-dhcp-agent --config-file /etc/neutron/neutron.conf --config-file=/etc/neutron/dhcp_agent.ini
  • q-vpn: /usr/bin/neutron-vpn-agent --config-file /etc/neutron/neutron.conf --config-file=/etc/neutron/l3_agent.ini --config-file=/etc/neutron/vpn_agent.ini --config-file /etc/neutron/fwaas_driver.ini
  • q-meta: /usr/bin/neutron-metadata-agent --config-file /etc/neutron/neutron.conf --config-file=/etc/neutron/metadata_agent.ini
  • q-lbaas: /usr/bin/neutron-lbaas-agent --config-file /etc/neutron/neutron.conf --config-file=/etc/neutron/services/loadbalancer/haproxy/lbaas_agent.ini
  • q-metering: /usr/bin/neutron-metering-agent --config-file /etc/neutron/neutron.conf --config-file /etc/neutron/services/metering/metering_agent.ini

api extension

api extension 位于最前端,是 rest 服务。api extension 是向 neutron 加入新功能的标准方式 (举例: securitygroup.py)

securitygroup 功能的代码分布:

  • securitygroup.py 包含:

    • SecurityGroup 功能的元数据信息(security_group 的各种属性、security_group_rule 的各种属性)
    • SecurityGroup 的各种校验类
    • SecurityGroupPluginBase 定义了一个 SecurityGroup 的抽象行为,增删改查、rule 的增删改查
    • get_resources 方法中新建了 controller,并通过 manager.NeutronManager.get_plugin()将 Ml2Plugin 传给了 controller,当 api 调用达到时,controller 会调用 Ml2Plugin 父类 SecurityGroupServerRpcMixin 的约定名称的方法
  • securitygroups_db.py 包含:

    • 定义 SecurityGroupRule 表名,表结构。
    • SecurityGroupDbMixin 是 SecurityGroupPluginBase 的子类,主要是将 securitygroup 持久化
  • securitygroups_rpc_base.py 包括:

    • SecurityGroupServerRpcMixin 是 SecurityGroupDbMixin 的子类,专门为 agent 添加了 securitygroup 相关的方法。

securitygroup 功能的实现

  • securitygroup 通过 api extension 为 tenant 暴露 api

  • securitygroups_db.py 定义了操作 db 的 api

  • rpc(代码位于 securitygroups_rpc.py)

    • plugin -> agent (SecurityGroupAgentRpcApiMixin -> SecurityGroupAgentRpcCallbackMixin)
    • agent -> plugin(SecurityGroupServerRpcApi -> SecurityGroupServerRpcCallback)
  • iptables driver 的实现

    • 每个 securitygroup 在 iptables 中都有一个 chain
    • IptablesFirewallDriver 将 securitygroup 规则转换成 iptables

securitygroup 的调用全过程:

  1. neutron server 启动加载 extensions 时,加载了 securitygroup.py
  2. securitygroup.py 新建了 controller 并传入了 Ml2Plugin,并暴露 security_group、security_group_rule 两个资源
  3. 这时新增 security_group_rule 的请求到达
  4. Ml2Plugin 接收,交给父类 SecurityGroupServerRpcMixin 的 create_security_group_rule 方法处理
  5. notifier.security_groups_rule_updated
  6. SecurityGroupAgentRpcApiMixin.security_groups_rule_updated
  7. SecurityGroupAgentRpcCallbackMixin.security_groups_rule_updated
  8. sg_agent.security_groups_rule_updated
  9. SecurityGroupAgentRpc.security_groups_rule_updated
  10. firewall.security_group_updated
  11. firewall_driver(OVSHybridIptablesFirewallDriver).security_group_updated
  12. IptablesFirewallDriver.security_group_updated

quota

quota 管理

  • neutron 的很多 resource 都要受 quota 的约束
  • quota 的默认值位于 neutron.conf 中,如果数据库中有,则以数据库为准。数据库中可以为不同 project 设置不同值,而 neutron.conf 无法区分 project,所以建议是用数据库存。
  • quota 的处理在 api 层(在传给 plugin 之前),作为一个 api extension
  • quota api 只做简单的 CRUD 操作。具体的 quota 校验由 quota engine 负责。一个请求到达时,会尝试让 quota engine 预留资源,如果成功,则继续发往后端的 plugin
  • 可以为 project 级设置不同的 quota;neutron 不支持用户级的 quota,也不支持层级用户 quota

quota 操作

  • delete_tenant_quota 删除某租户的 db 记录
  • update_quota_limit 修改某租户的 db 记录
  • _get_quotas 查某租户的 db 记录

RPC

neutron 使用 oslo.messaging 库来调用 rpc,举例:

  • neutron.agent.dhcp.agent.DhcpPluginAPI 是 rpc 客户端
  • neutron.api.rpc.handlers.dhcp_rpc.DhcpRpcCallback 是 rpc 服务端
  • agent 调 neutron server