ElasticSearch部署

ElasticSearch 数据库

ElasticSearch

ElasticSearch本体

一般来说，如果我们的服务器能够正常通过wget下载东西的话，我们可以通过以下命令直接进行下载工作：

wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-Version-linux-x86_64.tar.gz

下载完毕之后，通过tar -xvf命令进行

mkdir dirName // 构建目录
mv elasticsearch-version-linux-x86_64.tar.gz  destDir  // 移动到目标目录
tar -zvf elasticsearch-version-linux-x86_64.tar.gz destDir // 解压压缩包到指定的文件夹
mv comExpressDir destDit // 移动ES到指定的目标路径

在ElasticSearch的conf文件夹下修改elasticsearch.yml文件添加类似以下的内容：

cluster.name: es_group1
node.name: es_group1
path.data: ./data
path.logs: /usr/workSoftware/ElasticSeachLogs/elasticSearchLogFiles
http.port: 9211
network.host: 0.0.0.0
discovery.seed_hosts: ["localhost"]
cluster.initial_master_nodes: ["es_group1"]

其中有一些配置项是需要知道的：

discovery.seed_hosts本质上是开箱即用(本机环境)不需要配置的，ES会自动扫描本机的9300 - 9305 (集群节点发现)
discovery.seed_hosts配置为master候选者节点即可。如果需要指定端口的话，他的值可以配置为[“localhost:9300”, "localhost:9301"]
cluster.initial_master_nodes 指定新集群 master 候选者列表，其值为节点的名字列表。这里配置为 node.name:groupName (一般来说配置的是集群之中master候选者列表)
network.host 和 http.port ES提供服务的监听地址和端口，一般在生产环境不会配置为0.0.0.0

如果有需要，我们可以将ES服务的JVM做一些配置修改，配置文件为 config 下的 jvm.options

# 设置堆内存最小值  (需要注意的是Es之中这两个配置的大小必须是一致的)
# Xms1g
# 设置堆内存最大值
# Xmx1g

还有几个需要注意的点：

在ES之中，要求JVM的的堆最小大小和最大大小必须一致，否则就会在后续申请分配内存的时候造成系统的抖动。
Xmx的大小不可以超过机器内存你的50%，需要留下部分的内存提供给JVM堆外部进行使用。
Xmx的大小不要超过32G，接近32G会导致JVM压缩指针的功能失效，最终导致性能下降，最后会导致ES的性能也会下降。

如果使用的是比较差的服务器或者是虚拟机，很有可能需要配置以下的内容 vm.max_map_count 也就是配置系统的虚拟内存大小，我们可以直接通过 ehco 命令修改系统的信息

su
password
echo -e '\nvm.max_map_count=65536' >> /etc/sysctl.conf
sysctl -p

最后在修改完毕之后，我们可以运行ES了 (这里绝对不能使用 root 用户权限来启动 ES)

# 前台运行， 可以直接查看日志
.bin/elasticsearch
# 后台运行， 日志在 ./logs/my_app.log
# 查看日志的话可以：tail -n 100 -f logs/my_app.log
.bin/elasticsearch -d

在启动的时候，可能会出现以下报错

[2] bootstrap checks failed. You must address the points described in the following [2] lines before starting Elasticsearch. For more information see [https://www.elastic.co/guide/en/elasticsearch/reference/8.15/bootstrap-checks.html]

bootstrap check failure [1] of [2]: max file descriptors [4096] for elasticsearch process is too low, increase to at least [65535]; for more information see [https://www.elastic.co/guide/en/elasticsearch/reference/8.15/_file_descriptor_check.html]
该报错出现的是因为虚拟内存大小不够导致的，上面虽然已经添加了 sysctl.conf 的配置项，但是我们当前的用户并没有实际的权限可以使用。因此需要在 /etc/security/limits.conf 添加以下配置
```
userName soft nofile 65536
userName hard nofile 65536
userName soft nproc 4096
userName hard nproc 4096
```
然后需要重新登录用户才能生效。重启完毕 / 重新登陆之后，可以通过 ulimit -n 查询修改结果是否生效。如果是ubuntu不生效，可以看Elasticsearch安装的最后部分

bootstrap check failure [2] of [2]: Transport SSL must be enabled if security is enabled. Please set [xpack.security.transport.ssl.enabled] to [true] or disable security by setting [xpack.security.enabled] to [false]; for more information see [https://www.elastic.co/guide/en/elasticsearch/reference/8.15/bootstrap-checks-xpack.html#bootstrap-checks-tls]
出现这个报错的原因其实是因为 ES 在较新的版本之中要求我们必须使用SSL安全
原因是在elasticsearch.yml文件之中的配置

xpack.security.enabled: true
xpack.security.transport.ssl.enabled: true

如果要解决也很简单，我们需要执行ES bin下面的文件，生成目标的

elasticsearch-certutil ca
# 提示 Please enter the desired output file [elastic-stack-ca.p12]: 直接回车 (默认路径 bin的上层也就是ES的根目录)
# 提示 Enter password for elastic-stack-ca.p12 :  直接回车即可 (如果设置密码，以后启动的时候则需要输入，否则报错)
# 然后输入以下的内容生产验证文件
elasticsearch-certutil cert --ca elastic-stack-ca.p12
# Enter password for CA (elastic-stack-ca.p12) :  (提示输入CA文件的密码)
# Please enter the desired output file [elastic-certificates.p12]:  (提示生产ca文件的路径)
# Enter password for elastic-certificates.p12 : （提示输入证书密码）
mkdir config/certs
cd ../
#将生成的证书文件复制到config之中
cp elastic-certificates.p12 config/certs
cp elastic-stack-ca.p12 config/certs

然后重新修改elasticsearch.yml配置文件直接新增以下信息即可

xpack.security.enabled: true
xpack.security.transport.ssl.enabled: true
xpack.security.transport.ssl.verification_mode: certificate
xpack.security.transport.ssl.keystore.path: certs/elastic-certificates.p12
xpack.security.transport.ssl.truststore.path: certs/elastic-certificates.p12

这个时候es已经能成功启动了，但实际上我们es的账户和密码还没有被初始化设置，我们需要在 bin 之中执行以下的命令设置我们所有需要重新设置的密码

elasticsearch-setup-passwords interactive

最后只需要在 bin 之中直接执行 (注意这里绝对不能使用 root 用户启动，否则是必定会启动失败的)

elasticsearch -d 即可

重新启动es后，我们在浏览器打开 localhost:9211 输入账号 elastic 重置的密码即可看到以下的信息

{
  "name" : "es_group1",
  "cluster_name" : "es_group1",
  "cluster_uuid" : "MAIJlYlSSXGpxN_yX8E3OQ",
  "version" : {
    "number" : "8.15.0",
    "build_flavor" : "default",
    "build_type" : "tar",
    "build_hash" : "1a77947f34deddb41af25e6f0ddb8e830159c179",
    "build_date" : "2024-08-05T10:05:34.233336849Z",
    "build_snapshot" : false,
    "lucene_version" : "9.11.1",
    "minimum_wire_compatibility_version" : "7.17.0",
    "minimum_index_compatibility_version" : "7.0.0"
  },
  "tagline" : "You Know, for Search"
}

这里需要注意的一点是如果是Ubuntu有可能会出现修改 limits.conf 文件不生效的情况，有一个比较极端的办法，直接将默认的配置修改掉分别需要修改 "/etc/systemd/system.conf" 和 "/etc/systemd/user.conf" ，直接在后缀添加 DefaultLimitNOFILE=65536。然后重启即可。

Kibana (统计 & 分析工具)

同样的如果wget可以使用的话，我们可以通过使用wget直接下载Kibana的压缩包

wget https://artifacts.elastic.co/downloads/kibana/kibana-Version-linux-x86_64.tar.gz

在下载完成之后我们可以直接通过tar命令解压，修改一些基础的配置

tar -xvf kibana-Version-linux-x86_64.tar.gz destDir
mkdir Kibana_Stand
cp kibana-8.15.1 Kibana_Stand
cd Kibana_Stand
mv kibana-8.15.1 Kibana8.15.1
cd Kibana8.15.1

启动Kibana服务器

./bin/kibana >> run.log 2>&1 &    //配置 运行日志

/usr/workSoftware/kibanaPath/kibana/kibana8.15.0/bin/kibana >>

此时直接启动，你就会发现会有一堆的报错

Kibana is currently running with legacy OpenSSL providers enabled! For details and instructions on how to disable see https://www.elastic.co/guide/en/kibana/8.15/production.html#openssl-legacy-provider
······
[2024-09-07T23:39:09.112-07:00][ERROR][elasticsearch-service] Unable to retrieve version information from Elasticsearch nodes. security_exception
    Root causes:
        security_exception: missing authentication credentials for REST request [/_nodes?filter_path=nodes..version%2Cnodes..http.publish_address%2Cnodes.*.ip]
[2024-09-07T23:39:10.407-07:00][INFO ][plugins.screenshotting.chromium] Browser executable: /usr/workSoftware/Kibana_Tar_Gz/Kibana_Stand/Kibana8.15.1/node_modules/@kbn/screenshotting-plugin/chromium/headless_shell-linux_x64/headless_shell

大概有以下的报错：

OpenSSL 遗留提供者警告： Kibana 正在使用遗留的 OpenSSL 提供者。建议您查看文档并考虑禁用它。 (SSL协议缺失 (除非使用HTTPS))
会话 cookie 将通过不安全的连接传输。 (除非使用HTTP)
缺少 xpack.security.encryptionKey 配置。
缺少 xpack.encryptedSavedObjects.encryptionKey 配置。
缺少 xpack.reporting.encryptionKey 配置。
Elasticsearch 连接错误：无法从 Elasticsearch 节点检索版本信息，原因是缺少身份验证凭据。 (没有配置es账号和密码信息)

对于缺少安全配置信息的三个报错很明显的，我们可以直接通过使用kibana bin目录下的kibana-encryption-keys生成我们的kibana需要使用的加密密钥，我们可以将密钥和es的账号和密码填写到 kibana.yml 配置文件之中。

./kibana-encryption-keys generate

执行结果如下：

Kibana is currently running with legacy OpenSSL providers enabled! For details and instructions on how to disable see https://www.elastic.co/guide/en/kibana/8.15/production.html#openssl-legacy-provider
## Kibana Encryption Key Generation Utility
The 'generate' command guides you through the process of setting encryption keys for:
xpack.encryptedSavedObjects.encryptionKey
    Used to encrypt stored objects such as dashboards and visualizations
    https://www.elastic.co/guide/en/kibana/current/xpack-security-secure-saved-objects.html#xpack-security-secure-saved-objects
xpack.reporting.encryptionKey
    Used to encrypt saved reports
    https://www.elastic.co/guide/en/kibana/current/reporting-settings-kb.html#general-reporting-settings
xpack.security.encryptionKey
    Used to encrypt session information
    https://www.elastic.co/guide/en/kibana/current/security-settings-kb.html#security-session-and-cookie-settings
Already defined settings are ignored and can be regenerated using the --force flag.  Check the documentation links for instructions on how to rotate encryption keys.
Definitions should be set in the kibana.yml used configure Kibana.
Settings:
xpack.encryptedSavedObjects.encryptionKey: /* 自动生成值 */
xpack.reporting.encryptionKey: /* 自动生成值 */
xpack.security.encryptionKey: /* 自动生成值 */

添加到kibana.yml文件之中，但是还是有可能会遇到问题 (需要注意的是，这里绝对不能使用 elastic 的账号，否则会报错)

kibana.yml文件新增内容

server.host: 0.0.0.0   // 测试环境
elasticsearch.hosts: ["http://localhost:9211"]    // es地址
elasticsearch.username: "kibana"               // es账户 (这里绝对不能使用elastic，因为elastic并不是通信用户)
elasticsearch.password: "elastic"			   // es账户密码
xpack.encryptedSavedObjects.encryptionKey: e7046da137af02833f606c7aa67089fd   // kibana生成的秘钥
xpack.reporting.encryptionKey: 8879e394f84aca5ab5c5bdc8ace1118b

xpack.security.encryptionKey: d32b4629929bb96c05f5c51c67ccea79

报错信息“

 FATAL  Error: [config validation of [elasticsearch].username]: value of "elastic" is forbidden. This is a superuser account that cannot write to system indices that Kibana needs to function. Use a service account token instead. Learn more: https://www.elastic.co/guide/en/elasticsearch/reference/8.0/service-accounts.html

现在直接启动就可以了，为了方便统一管理logs日志，本人的启动命令如下

/usr/workSoftware/Kibana_Tar_Gz/Kibana_Stand/kibana8.15.0/bin/kibana >> /usr/workSoftware/ElasticSearchLogs/kibanaLogs/kibana.log 2>&1 &

Cerebro

同样的如果可以直接wget直接获取

wget https://github.com/lmenezes/cerebro/releases/download/v0.9.4/cerebro-0.9.4.tgz

然后就是经典的解压、修改配置和启动服务的环节

tar -xvf cerebro-0.9.4.tgz destDir
mkdir Cerebro_stand
cp cerebro-0.9.4 Cerebro_stand/Cerebro0.9.4
cd Cerebro0.9.4
sed -i 's/server.http.port = ${?CEREBRO_PORT}/server.http.port = 9800/g' conf/application.conf
echo -e '\nhosts = [
    {
        host = "http://localhost:9211"
        name = "my_app"
    }
]' >> conf/application.conf

到此为止Cerebro就可以直接启动了，我们可以通过使用以下的命令直接在后台运行cerebro

.bin/cerebro >> run.log 2>&1 &

当然我们为了方便也可以单独的通过一个脚本来帮我们快速的启动服务。以下是脚本的模板，有需要的时候可以创建 sh 文件通过 bash 启动

#!/bin/bash

# 启动 ElasticSearch
gnome-terminal -- bash -c "/usr/workSoftware/ElasticSearch_Tar_Gz/elasticSearchGroup/esGroup1/bin/elasticsearch -d; exec bash"

# 启动 Kibana
gnome-terminal -- bash -c "/usr/workSoftware/Kibana_Tar_Gz/Kibana_Stand/Kibana8.15.0/bin/kibana >> /usr/workSoftware/ElasticSeachLogs/kibanaLogFiles/kibana.log 2>&1 &; exec bash"

# 启动 Cerebro
gnome-terminal -- bash -c "/usr/workSoftware/Cerebro_Tar_Gz/Cerebro_Stand/Cerebro0.9.4/bin/cerebro >> /usr/workSoftware/ElasticSeachLogs/cerebroLogFiles/cerebro.log 2>&1 &; exec bash"

echo "All services have been started!"

伪集群部署暂时没写。。。(太麻烦了) 以下推荐使用别人的脚本
shells/InstallClusterEs.sh · dgl/ES 小册 - Gitee.com

如果觉得文章对你有用，请随意赞赏

ElasticSearch 数据库

ElasticSearch部署

https://www.leticiafeng.com/archives/e55c3363-3ce6-4587-aac2-a45d7d198931

作者

LeticiaFENG

发布于

2024-10-21

更新于

2024-11-28

许可协议

CC BY 4.0

ElasticSearch部署

ElasticSearch

ElasticSearch本体

Kibana (统计 & 分析工具)

Cerebro

作者

发布于

更新于

许可协议

评论