Notebase墨穗
静水流深，落墨成穗。

0笔记

0工具

30推荐

分类导航

按主题直达

编辑精选

站内用户贡献 · 真实笔记

笔记

加载中...

工具

此页用于记录用户反馈问题后的每一次改进

关于

笔记用法

“写笔记”支持四种格式——Word 文档、Excel 表格、Markdown、纯文本，起稿或二次编辑时都能随时切换，同一篇笔记想用哪种形态来记，都由你说了算。

md、txt、csv、json 这类纯文本则原样载入，不做多余加工。拿一张现成的表倒进来、改几笔、再导出去，等于白用一台免费的格式转换器。

要带走就在右上角点“下载”，可导出 PDF、Word、Markdown、Excel、TXT 等格式；列表卡片“⋯”菜单里，也有同样的下载入口。

工具用法

在“工具”页点“＋上传工具”即可发布：填好名称与链接，再用 Markdown 把使用方法写清楚——能解决什么问题、怎么装、怎么用，比堆介绍实在。

要分发安装包就一并上传压缩包（ZIP、RAR、7Z、TAR.GZ，最大 35MB），别人在详情页一键下载；只放链接不带附件也可以。

工具按大家的收藏热度排序，好用的自然会被顶上来。发布后可在详情页或卡片菜单里编辑、下架。

隐藏笔记

写笔记时勾上“隐藏”，这篇就只存在于你自己的账号里：不进列表、不进搜索、不上首页精选，也不会出现在任何公开的页面，链接发给别人同样打不开。

适合放密码、草稿、日记这类只给自己看的内容；想公开，去“发布”打开它，把“隐藏”的勾去掉再保存，之后编辑会默认保持原状态，不会悄悄变回公开。

不想公开、只想临时给人看：点“分享”生成一条带密码和有效期的链接，到期自动失效，你也能随时撤销。

数据安全

你的内容会同时保存在多个副本上，系统定期做备份与完整性校验，再配合异地容灾机制：就算某台机器出问题，数据也不会丢，可以长期放心存放；特别重要的资料，仍建议你另外再留一份备份。

技术

全站跑在容器化、模块化的现代架构上，更新、部署、回滚都很快，扩展性和稳定性都按长期运营的标准来设计（Built for reliability, designed to scale）。

理念

这个网站最早只是一个人的笔记仓库，后来慢慢长成现在的知识中枢。设计上很克制——没有广告、没有追踪、没有推荐算法，只是干干净净地存放一些东西；既然做好了，就公开出来，万一有人用得上呢。

原则

不做大而全，不做平台梦，保持简单、保持克制、保持好奇。所有内容都由用户贡献、由用户维护：不会突然冒出付费墙，不会在角落塞广告位，也不会把你的数据卖给第三方。

产品会持续迭代，站内日志页记录着每一次改动，改了什么都有迹可循；想了解这个站是怎么一步步走到今天的，翻翻日志就能看到来龙去脉。

如果在这里看到涉嫌违规的内容，点对应卡片右侧的“举报”按钮就能提交，我们会尽快核实处理；也谢谢你花一点时间，一起把这里维护干净。

归档

// 归档为空

在Ubuntu 24.04上部署Redpanda Kafka兼容流平台

2026-07-07计算机网络

最近在折腾消息队列，想找个Kafka的替代品。Kafka大家都知道，Java写的，吃内存大户，还要搭ZooKeeper，光启动就一堆事。Redpanda这玩意儿用C++写的，没有JVM，也没有ZooKeeper，API完全兼容Kafka，性能还更好。正好手头有台Ubuntu 24.04的机器，就把它部署上去，顺便把整个过程记录下来。

先说下最终目标：一台单节点的Redpanda集群，用Let's Encrypt证书加密通信，SASL/SCRAM做认证，内核调优到生产级别，再搞个Nginx反向代理加Basic Auth保护Redpanda Console Web界面。听起来东西不少，但一步一步来其实挺清晰的。

准备工作

你得有一台Ubuntu 24.04的服务器，配置照着Redpanda官方推荐的CPU和内存来。别在1核1G的机器上折腾，跑不动的。还需要一个非root的sudo用户，以及一个域名A记录指向这台服务器，比如redpanda.example.com。域名是必须的，因为Let's Encrypt要验证你对域名的控制权。

安装Redpanda

先从官方源安装。Redpanda提供了一个安装脚本，一行命令搞定：

sudo apt update
curl -1sLf 'https://dl.redpanda.com/nzc4ZYQK3WRGd9sy/redpanda/cfg/setup/bash.deb.sh' | sudo -E bash

这里得提醒一句：从网上直接curl管道到bash执行，有安全风险。你得确保这个脚本来源可靠，Redpanda官方的是没问题的，但养成习惯总是好的。

然后安装主包：

sudo apt install redpanda -y
rpk --version

rpk是Redpanda的命令行工具，后面我们会大量用到它。

开放防火墙端口

Redpanda暴露了好几个端口，每个都有特定用途。我把它们列出来，方便你理解：

端口	服务	用途
9092	Kafka API	生产者和消费者通信
8082	Pandaproxy (HTTP)	给非Kafka客户端用的REST接口
8081	Schema Registry	Avro/Protobuf schema版本管理
9644	Admin API	监控、配置、健康检查
33145	内部RPC	节点间通信

用ufw打开这些端口：

sudo ufw allow 9092,8082,8081,9644,33145/tcp
sudo ufw allow 80/tcp
sudo ufw allow 443/tcp
sudo ufw reload

80和443是为后面Let's Encrypt证书申请准备的，certbot需要临时监听80端口做域名验证。

申请Let's Encrypt证书

Redpanda默认是明文通信，实验室玩玩可以，生产环境绝对不行。我们要用TLS加密所有流量。

先安装certbot：

sudo apt install certbot -y

设置域名和邮箱变量（替换成你的实际值）：

DOMAIN=redpanda.example.com
EMAIL=admin@example.com

然后申请证书：

sudo certbot certonly --standalone -d $DOMAIN --non-interactive --email $EMAIL

certbot会把证书放在/etc/letsencrypt/live/$DOMAIN/目录下，这个目录只有root能读。但Redpanda是以redpanda用户运行的，所以得把证书复制到Redpanda能读到的地方：

sudo mkdir /etc/redpanda/certs
sudo cp /etc/letsencrypt/live/$DOMAIN/fullchain.pem /etc/redpanda/certs/node.crt
sudo cp /etc/letsencrypt/live/$DOMAIN/privkey.pem /etc/redpanda/certs/node.key
sudo cp /etc/letsencrypt/live/$DOMAIN/chain.pem /etc/redpanda/certs/ca.crt
sudo chown -R redpanda:redpanda /etc/redpanda/certs/
sudo chmod 400 /etc/redpanda/certs/node.key
sudo chmod 444 /etc/redpanda/certs/node.crt /etc/redpanda/certs/ca.crt

注意权限设置：私钥只有redpanda用户能读（400），证书和CA文件所有人都能读（444）。

自动化证书续期

Let's Encrypt证书90天过期，所以得加个自动续期机制。Certbot本身有续期功能，但续期后需要把新证书复制到Redpanda目录并重启服务。

创建一个deploy hook脚本：

sudo nano /etc/letsencrypt/renewal-hooks/deploy/redpanda-renewal.sh

内容如下：

#!/bin/bash
DOMAIN="redpanda.example.com"
cp /etc/letsencrypt/live/$DOMAIN/fullchain.pem /etc/redpanda/certs/node.crt
cp /etc/letsencrypt/live/$DOMAIN/privkey.pem /etc/redpanda/certs/node.key
cp /etc/letsencrypt/live/$DOMAIN/chain.pem /etc/redpanda/certs/ca.crt
chown -R redpanda:redpanda /etc/redpanda/certs/
chmod 400 /etc/redpanda/certs/node.key
chmod 444 /etc/redpanda/certs/node.crt /etc/redpanda/certs/ca.crt
systemctl restart redpanda

给脚本执行权限，然后测试一下：

sudo chmod +x /etc/letsencrypt/renewal-hooks/deploy/redpanda-renewal.sh
sudo certbot renew --dry-run

dry-run成功的话，以后certbot自动续期后就会执行这个脚本，把新证书部署好并重启Redpanda。

生产环境调优

Redpanda自带调优工具，会根据你的硬件配置优化内核参数。执行：

sudo rpk redpanda mode production
sudo rpk redpanda tune all
sudo systemctl start redpanda-tuner

tune all会优化I/O调度器、CPU设置等，大概需要30秒。redpanda-tuner这个服务会在每次重启时重新应用这些调优参数，因为内核参数重启后就不保留了。

配置SASL/SCRAM认证

这一步要在第一次启动Redpanda之前做，因为认证策略需要在首次启动时就生效。如果先启动了再改，就得通过Admin API或rpk cluster config来改，麻烦很多。

创建bootstrap配置文件：

sudo nano /etc/redpanda/.bootstrap.yaml

内容：

enable_sasl: true
admin_api_require_auth: true
superusers:
  - admin

注意：这个文件只在首次启动时读取，之后修改不会生效。所以一定要在启动Redpanda之前配好。

然后设置超级用户的密码：

echo "RP_BOOTSTRAP_USER=admin:STRONG_PASSWORD:SCRAM-SHA-256" | sudo tee -a /etc/default/redpanda

把STRONG_PASSWORD换成你的强密码。这里用的是SCRAM-SHA-256机制，比PLAIN更安全。

配置Redpanda节点

先备份默认配置：

sudo cp /etc/redpanda/redpanda.yaml /etc/redpanda/redpanda-backup.yaml

然后编辑配置文件：

sudo nano /etc/redpanda/redpanda.yaml

把内容替换成下面这个（记得把redpanda.example.com换成你的域名）：

redpanda:
  data_directory: /var/lib/redpanda/data
  seed_servers: []
  rpc_server:
    address: 0.0.0.0
    port: 33145
  advertised_rpc_api:
    address: redpanda.example.com
    port: 33145
  kafka_api:
    - name: tls_listener
      address: 0.0.0.0
      port: 9092
      authentication_method: sasl
  advertised_kafka_api:
    - name: tls_listener
      address: redpanda.example.com
      port: 9092
  kafka_api_tls:
    - name: tls_listener
      key_file: /etc/redpanda/certs/node.key
      cert_file: /etc/redpanda/certs/node.crt
      truststore_file: /etc/redpanda/certs/ca.crt
      enabled: true
      require_client_auth: false
  admin:
    - address: 0.0.0.0
      port: 9644
  admin_api_tls:
    - enabled: true
      key_file: /etc/redpanda/certs/node.key
      cert_file: /etc/redpanda/certs/node.crt
      truststore_file: /etc/redpanda/certs/ca.crt
  rpk:
    tune_network: true
    tune_disk_scheduler: true
    tune_disk_nomerges: true
    tune_disk_write_cache: true
    tune_disk_irq: true
    tune_cpu: true
    tune_aio_events: true
    tune_clocksource: true
    tune_swappiness: true
    coredump_dir: /var/lib/redpanda/coredump
    tune_ballast_file: true

这个配置做了几件事：

Kafka API (9092端口) 启用了SASL认证和TLS加密
Admin API (9644端口) 启用了TLS加密
两个API都公告了公共域名，这样客户端可以通过域名访问
启用了完整的rpk调优配置

启动Redpanda：

sudo systemctl start redpanda
sudo systemctl status redpanda

检查状态，确保服务正常运行。

创建rpk配置文件

为了方便管理，给rpk创建一个配置文件，这样就不用每次敲命令都输密码了。

创建配置文件：

nano ~/rpk-profile.yaml

内容：

kafka_api:
  sasl:
    user: admin
    password: STRONG_PASSWORD
    mechanism: SCRAM-SHA-256
  tls:
    enabled: true
    ca_file: /etc/redpanda/certs/ca.crt
  brokers:
    - redpanda.example.com:9092
admin_api:
  tls:
    enabled: true
    ca_file: /etc/redpanda/certs/ca.crt
  addresses:
    - redpanda.example.com:9644

然后创建profile：

rpk profile create production --from-profile ~/rpk-profile.yaml

检查集群健康状态：

rpk cluster health

如果一切正常，你会看到类似这样的输出：

CLUSTER HEALTH OVERVIEW
=======================
Healthy: true
Unhealthy reasons: []
Controller ID: 0
All nodes: [0]
Nodes down: []
Cluster UUID: 65e28fbb-c1b4-42c3-b0b7-fd82608699f3

测试生产者和消费者

先创建一个测试topic：

rpk topic create test-topic

输出：

TOPIC STATUS
test-topic OK

生产一条消息：

echo "Hello Redpanda" | rpk topic produce test-topic

输出：

Produced to partition 0 at offset 0 with timestamp 1699618845123.

消费这条消息：

rpk topic consume test-topic --num 1

应该能看到刚才生产的消息。如果一切顺利，说明Redpanda的Kafka API正常工作，认证和TLS都配置正确。

部署Redpanda Console

Redpanda Console是一个Web界面，可以查看集群状态、topic、消费组等信息。安装：

sudo apt install redpanda-console -y

创建配置文件：

sudo nano /etc/redpanda/redpanda-console-config.yaml

内容：

server:
  listenPort: 8080
  listenAddress: 127.0.0.1
kafka:
  brokers:
    - redpanda.example.com:9092
  tls:
    enabled: true
    caFilepath: /etc/redpanda/certs/ca.crt
  sasl:
    enabled: true
    username: admin
    password: STRONG_PASSWORD
    mechanism: SCRAM-SHA-256
redpanda:
  adminApi:
    enabled: true
    urls:
      - https://redpanda.example.com:9644
    tls:
      enabled: true
      caFilepath: /etc/redpanda/certs/ca.crt

注意：Console监听在127.0.0.1，这样只有本机能访问。后面我们会用Nginx反向代理来暴露它，同时加上Basic Auth保护。

启动Console服务：

sudo systemctl start redpanda-console
sudo systemctl status redpanda-console

用Nginx反向代理并加Basic Auth

这一步是为了安全地暴露Console给外部访问。Nginx做反向代理，前面加一层HTTP Basic Auth认证。

安装Nginx和htpasswd工具：

sudo apt install nginx apache2-utils -y

创建认证用户：

sudo htpasswd -c /etc/nginx/.htpasswd admin

输入两次密码。这会创建一个名为admin的用户，密码加密存储在文件中。

创建Nginx站点配置：

sudo nano /etc/nginx/sites-available/redpanda-console

内容：

server {
    listen 443 ssl;
    server_name redpanda.example.com;

    ssl_certificate /etc/letsencrypt/live/redpanda.example.com/fullchain.pem;
    ssl_certificate_key /etc/letsencrypt/live/redpanda.example.com/privkey.pem;

    location / {
        auth_basic "Restricted Access";
        auth_basic_user_file /etc/nginx/.htpasswd;

        proxy_pass http://127.0.0.1:8080;
        proxy_set_header Host $host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_set_header X-Forwarded-Proto $scheme;
    }
}

启用站点：

sudo ln -s /etc/nginx/sites-available/redpanda-console /etc/nginx/sites-enabled/
sudo nginx -t
sudo systemctl reload nginx

现在访问https://redpanda.example.com，会弹出Basic Auth对话框，输入刚才创建的用户名和密码，就能看到Redpanda Console了。

总结

到这里，我们就完成了Redpanda在Ubuntu 24.04上的完整部署。整个过程涉及：

安装Redpanda和依赖
配置防火墙
申请并配置Let's Encrypt证书
内核调优
SASL/SCRAM认证配置
节点配置和启动
rpk工具配置
功能测试
Console部署和Nginx反向代理

这套配置下来，Redpanda就具备了生产环境所需的安全性和性能调优。当然这只是单节点，如果要搞集群，还需要配置seed_servers和多节点间的网络通信，但基本原理是一样的。

如果你在部署过程中遇到问题，可以先检查系统日志journalctl -u redpanda，或者用rpk cluster logdirs看看数据目录状态。Redpanda的官方文档也很详细，遇到具体问题可以去翻翻。

编写使用方法

Markdown 格式 · Ctrl+Enter 确定

0 字新建笔记

导入文件

Notebase墨穗静水流深，落墨成穗。

分类导航

编辑精选

最新收录

笔记

工具

此页用于记录用户反馈问题后的每一次改进

关于

趋势

在Ubuntu 24.04上部署Redpanda Kafka兼容流平台

问题反馈

Notebase墨穗
静水流深，落墨成穗。