Neutron是OpenStack项目中负责提供网络服务的组件,它基于SDN(软件定义网络)的思想,实现了网络虚拟化下的资源管理。本文介绍 OpenStack Neutron 架构。
Neutron 架构
说明:
Neutron Server:部署在controller node上,提供REST API接口,接收外部请求并在进程内直接分发给相应的 PluginNeutron Plugin:在neutron-server进程内运行,处理业务逻辑并操作数据库(DB),随后通过消息队列(MQ)向各个Neutron Agent发送 RPC 指令或状态通知Core Plugin:neutron把三类资源定义为核心资源,分别是network、subnet、port,这三类的实现由Core Plugin来实现ml2 plugin:厂商对 L2 层网络资源的具体实现Service Plugin:加载Core Plugin之后就加载Service Plugin,因为Core Plugin和Service Plugin有很多相似的地方,所以Core Plugin很多地方也都按照Service Plugin去处理
Neutron Agent:部署在compute node和network node上的进程,从消息队列获取Neutron Plugin请求,并处理agent driver:被 agent 调用,具体干活的人

neutron 的进程
一个完整的 neutron 部署包含多台主机和多个服务
- neutron-server(controller node)
- 暴露 api
- 操作 db
- Layer2 agent(compute node & network node)
- 利用 ovs
- 负责提供 network segment
- 负责租户网络的隔离
- Layer3 agent(network node)
- 负责东西、南北的路由
- 负责额外的功能,如: FWaaS、LBaas
代码
相关类
- APIRouter:暴露 neutron 已知的 resource 的 URL 的映射
- extension:具体的 api 扩展。以 Securitygroup 为例,get_resources 方法中新建了一个 controller,并将具体的 plugin 传给了 controller,这个 extension 的 api 调用会被这个 controller 处理,controller 会调用 plugin 中的相应方法。
- extensions filter:rest 请求经过的一个 filter,具体由 ExtensionMiddleware 干活
- ExtensionMiddleware:初始化 ExtensionManager,并从中获得所有 extension 的 resource 并将 controller 和 URL 映射。
- ExtensionManager:在给定 path 下扫描所有 extension 的 py 文件、加载、并提供一些查询方法。
- NeutronManager: 加载配置文件中设置的 plugin
- NeutronDbPluginV2:做与 Core Plugin 相关的数据库操作
- IPAM(ip 地址管理)用于 subnets 公用的抽象资源的管理,例如 DHCP,DNS,CIDR 等。
程序入口点
- 位于
setup.cfg->[entry_points]->console_scripts,很很多个 main 函数入口,安装后,这些命令位于/usr/bin/,可以直接执行。 - 程序入口点举例:
neutron-server = neutron.cmd.eventlet.server:main_wsgi_eventlet- 创建
eventlet pool,启动wsgi server,具体做事情的是api-paste.ini中定义的app:neutron,请求达到时,经过一系列的filter后,达到APIRouter处理
- 创建
setup.cfg
neutron 的全局描述,详见源码
- metadata
- 所有配置文件
- 所有 console_scripts 命令行
- core_plugins 的列表(不过目前只剩 ml2)
- service_plugins 的列表(lb,vpn,qos,fw 等等)
- ml2 type_drivers 列表
- ml2 mechanism_drivers 列表
- ml2 extension_drivers 列表
- 缓存后端(memcache)
- ipam_drivers 列表(目前只有 ipam 的 db 实现,可以指定 external ipam)
- l2 extension: QosAgentExtension
- qos agent_drivers: QosOVSAgentDriver
进程举例
devstack 环境下进程举例:
- q-svc:
/usr/bin/neutron-server --config-file /etc/neutron/neutron.conf --config-file /etc/neutron/plugins/ml2/ml2_conf.ini - q-agt:
/usr/bin/neutron-openvswitch-agent --config-file /etc/neutron/neutron.conf --config-file /etc/neutron/plugins/ml2/ml2_conf.ini - q-dhcp:
/usr/bin/neutron-dhcp-agent --config-file /etc/neutron/neutron.conf --config-file=/etc/neutron/dhcp_agent.ini - q-vpn:
/usr/bin/neutron-vpn-agent --config-file /etc/neutron/neutron.conf --config-file=/etc/neutron/l3_agent.ini --config-file=/etc/neutron/vpn_agent.ini --config-file /etc/neutron/fwaas_driver.ini - q-meta:
/usr/bin/neutron-metadata-agent --config-file /etc/neutron/neutron.conf --config-file=/etc/neutron/metadata_agent.ini - q-lbaas:
/usr/bin/neutron-lbaas-agent --config-file /etc/neutron/neutron.conf --config-file=/etc/neutron/services/loadbalancer/haproxy/lbaas_agent.ini - q-metering:
/usr/bin/neutron-metering-agent --config-file /etc/neutron/neutron.conf --config-file /etc/neutron/services/metering/metering_agent.ini
api extension
api extension 位于最前端,是 rest 服务。api extension 是向 neutron 加入新功能的标准方式 (举例: securitygroup.py)
securitygroup 功能的代码分布:
securitygroup.py 包含:
- SecurityGroup 功能的元数据信息(security_group 的各种属性、security_group_rule 的各种属性)
- SecurityGroup 的各种校验类
- SecurityGroupPluginBase 定义了一个 SecurityGroup 的抽象行为,增删改查、rule 的增删改查
- get_resources 方法中新建了 controller,并通过 manager.NeutronManager.get_plugin()将 Ml2Plugin 传给了 controller,当 api 调用达到时,controller 会调用 Ml2Plugin 父类 SecurityGroupServerRpcMixin 的约定名称的方法
securitygroups_db.py 包含:
- 定义 SecurityGroupRule 表名,表结构。
- SecurityGroupDbMixin 是 SecurityGroupPluginBase 的子类,主要是将 securitygroup 持久化
securitygroups_rpc_base.py 包括:
- SecurityGroupServerRpcMixin 是 SecurityGroupDbMixin 的子类,专门为 agent 添加了 securitygroup 相关的方法。
securitygroup 功能的实现
securitygroup 通过 api extension 为 tenant 暴露 api
securitygroups_db.py 定义了操作 db 的 api
rpc(代码位于 securitygroups_rpc.py)
- plugin -> agent (SecurityGroupAgentRpcApiMixin -> SecurityGroupAgentRpcCallbackMixin)
- agent -> plugin(SecurityGroupServerRpcApi -> SecurityGroupServerRpcCallback)
iptables driver 的实现
- 每个 securitygroup 在 iptables 中都有一个 chain
- IptablesFirewallDriver 将 securitygroup 规则转换成 iptables
securitygroup 的调用全过程:
- neutron server 启动加载 extensions 时,加载了 securitygroup.py
- securitygroup.py 新建了 controller 并传入了 Ml2Plugin,并暴露 security_group、security_group_rule 两个资源
- 这时新增 security_group_rule 的请求到达
- Ml2Plugin 接收,交给父类 SecurityGroupServerRpcMixin 的 create_security_group_rule 方法处理
- notifier.security_groups_rule_updated
- SecurityGroupAgentRpcApiMixin.security_groups_rule_updated
- SecurityGroupAgentRpcCallbackMixin.security_groups_rule_updated
- sg_agent.security_groups_rule_updated
- SecurityGroupAgentRpc.security_groups_rule_updated
- firewall.security_group_updated
- firewall_driver(OVSHybridIptablesFirewallDriver).security_group_updated
- IptablesFirewallDriver.security_group_updated
quota
quota 管理
- neutron 的很多 resource 都要受 quota 的约束
- quota 的默认值位于 neutron.conf 中,如果数据库中有,则以数据库为准。数据库中可以为不同 project 设置不同值,而 neutron.conf 无法区分 project,所以建议是用数据库存。
- quota 的处理在 api 层(在传给 plugin 之前),作为一个 api extension
- quota api 只做简单的 CRUD 操作。具体的 quota 校验由 quota engine 负责。一个请求到达时,会尝试让 quota engine 预留资源,如果成功,则继续发往后端的 plugin
- 可以为 project 级设置不同的 quota;neutron 不支持用户级的 quota,也不支持层级用户 quota
quota 操作
- delete_tenant_quota 删除某租户的 db 记录
- update_quota_limit 修改某租户的 db 记录
- _get_quotas 查某租户的 db 记录
RPC
neutron 使用 oslo.messaging 库来调用 rpc,举例:
- neutron.agent.dhcp.agent.DhcpPluginAPI 是 rpc 客户端
- neutron.api.rpc.handlers.dhcp_rpc.DhcpRpcCallback 是 rpc 服务端
- agent 调 neutron server