Zabbix运维时间

ZABBIX-运维时间

zabbix的简介

  • Zabbix是一个高度集成的监控服务方案
  • 可以实现企业级别的开元分布式监控
  • Zabbix通过C/S模式采集监控数据
  • Zabbix通过B/S模式实现WEB管理

zabbix程序架构

zabbix架构中的组件

    zabbix-server:C语言研发
    OS:zabbix-agent:C语言研发
    zabbix-web:GUI,用于实现zabbix可视化设定和展示
    zabbix-proxy:分布式监控环境中的专用组件,运用大规模的监控
    zabbix-database:MYsql,PGSQL(postgreSQL),oracle,DB2

zabbix产生的数据主要由4部分组成

    配置数据
    历史数据:50Bytes
    历史趋势数据:128Bytes
    时间数据:130Bytes

zabbix的部署和安装

部署方式的选择

  • 自主的编译-偏复杂
  • yum一键安装-简单易上手

yum一键安装

  • 安装ZABBIX的源和mariadb

1.安装YUM源

rpm -ivh https://mirrors.aliyun.com/zabbix/zabbix/3.0/rhel/7/x86_64/zabbix-release-3.0-1.el7.noarch.rpm
yum makecache   # 执行缓存

2.安装

yum -y install zabbix-server zabbix-web zabbix-web-mysql zabbix-mysql-server mariadb-server mariadb

源码编译LNMP环境并配置优化(二选择一)

基础环境:

yum -y install gcc pcre-devel  openssl-devel

源码编译:

tar -xf nginx-x.xx.tar.gz
cd nginx-x.xx
./configure --with-http_ssl_module && make -j 4&&make install
yum -y install php php-mysql mariadb mariadb-devel mariadb-server
yum -y  localinstall  php-fpm-5.4.16-42.el7.x86_64.rpm      #版本网络上自己寻找

优化Nginx配置文件:

配置Nginx支持PHP动态网站,因为有大量PHP脚本需要执行,因此还需要开启Nginx的各种fastcgi缓存,加速PHP脚本的执行速度。

http{
        … …
        fastcgi_buffers 8 16k;                      #缓存php生成的页面内容,8个16k
        fastcgi_buffer_size 32k;                    #缓存php生产的头部信息
        fastcgi_connect_timeout 300;            #连接PHP的超时时间
        fastcgi_send_timeout 300;               #发送请求的超时时间
        fastcgi_read_timeout 300;               #读取请求的超时时间
location ~ \.php$ {                                 #开启PHP动态页面
                root           html;
                fastcgi_pass   127.0.0.1:9000;
                fastcgi_index  index.php;
                include        fastcgi.conf;
        }
… …

源码编译Zbbix:

yum -y install  net-snmp-devel curl-devel libevent-devel            #安装相关依赖包
tar -xf zabbix-3.4.4.tar.gz
cd zabbix-3.4.4/
./configure  --enable-server \
    > --enable-proxy --enable-agent --with-mysql=/usr/bin/mysql_config \
    > --with-net-snmp --with-libcurl
    #--enable-server安装部署zabbix服务器端软件
    # --enable-agent安装部署zabbix被监控端软件
    # --enable-proxy安装部署zabbix代理相关软件
    # --with-mysql配置mysql_config路径
    # --with-net-snmp允许zabbix通过snmp协议监控其他设备
    # --with-libcurl安装相关curl库文件,这样zabbix就可以通过curl连接http等服务,测试被监控主机服务的状态
make -j 4&&make install

3.配置mariadb

systemctl start mariadb  #启动
    登入mariadb:
    CREATE DATABASE zabbix CHARACTER SET utf8 COLLATE utf8_bin;
    GRANT ALL PRIVILEGES ON zabbix.* to 'zabbix'@'localhost' identified by '123456';

cd /usr/share/doc/zabbix  #移动到zabbix目录下修改配置
zcat create.sql.gz | mysql -uzabbix -p123456 zabbix #解压并且指定上传到的数据库位置
当然你也可以自己单独tar解压后手工登入数据库上传

修改zabbix配置文件

vim /etc/httpd/conf.d/zabbix.conf  # 修改时区
     19 php_value date.timezone Asia/Beijing
vim /etc/zabbix/zabbix_server.conf
     81  DBHost=localhost    # 数据库所在的主机
     91 DBName=zabbix        # 数据名称
    107 DBUser=zabbix        # 数据库用户
    115 DBPassword=123456    # 数据库密码

启动服务并加到开机自动重启

systemctl start zabbix-server
systemctl start httpd
systemctl enable httpd
systemctl enable zabbix-server
启动如果如果报错为内核就升级下内核
yum update

源码编译LNMP环境并配置优化(二选择一)

基础环境:

yum -y install gcc pcre-devel  openssl-devel

源码编译:

tar -xf nginx-x.xx.tar.gz
cd nginx-x.xx
./configure --with-http_ssl_module && make -j 4&&make install
yum -y install php php-mysql mariadb mariadb-devel mariadb-server
yum -y  localinstall  php-fpm-5.4.16-42.el7.x86_64.rpm      #版本网络上自己寻找

优化Nginx配置文件:

配置Nginx支持PHP动态网站,因为有大量PHP脚本需要执行,因此还需要开启Nginx的各种fastcgi缓存,加速PHP脚本的执行速度。

http{
        … …
        fastcgi_buffers 8 16k;                      #缓存php生成的页面内容,8个16k
        fastcgi_buffer_size 32k;                    #缓存php生产的头部信息
        fastcgi_connect_timeout 300;            #连接PHP的超时时间
        fastcgi_send_timeout 300;               #发送请求的超时时间
        fastcgi_read_timeout 300;               #读取请求的超时时间
location ~ \.php$ {                                 #开启PHP动态页面
                root           html;
                fastcgi_pass   127.0.0.1:9000;
                fastcgi_index  index.php;
                include        fastcgi.conf;
        }
… …

源码编译Zbbix:

yum -y install  net-snmp-devel curl-devel libevent-devel            #安装相关依赖包
tar -xf zabbix-3.4.4.tar.gz
cd zabbix-3.4.4/
./configure  --enable-server \
    > --enable-proxy --enable-agent --with-mysql=/usr/bin/mysql_config \
    > --with-net-snmp --with-libcurl
    #--enable-server安装部署zabbix服务器端软件
    # --enable-agent安装部署zabbix被监控端软件
    # --enable-proxy安装部署zabbix代理相关软件
    # --with-mysql配置mysql_config路径
    # --with-net-snmp允许zabbix通过snmp协议监控其他设备
    # --with-libcurl安装相关curl库文件,这样zabbix就可以通过curl连接http等服务,测试被监控主机服务的状态
make -j 4&&make install
useradd zabbix          #创建zabbix用户

修改Zabbix_server登入的配置文件:

vim /usr/local/etc/zabbix_server.conf
        DBHost=localhost                                            #数据库主机
        DBName=zabbix                                              #设置数据库名称
        DBUser=zabbix                                                #设置数据库账户
        DBPassword=zabbix                                        #设置数据库密码
        LogFile=/var/log/zabbix/zabbix_server.log       #设置日志
useradd zabbix                      #不创建用户无法启动服务
zabbix_server                       #启动服务

修改Zabbix_agent配置文件,启动Zabbix_agent服务

vim /usr/local/etc/zabbix_agentd.conf
        Server=127.0.0.1,192.168.2.5                             #允许哪些主机监控本机
        ServerActive=127.0.0.1,192.168.2.5                   #允许哪些主机通过主动模式监控本机
        Hostname=zabbix_server                                   #设置本机主机名
        LogFile=/tmp/zabbix_server.log                         #设置日志文件
        UnsafeUserParameters=1                                  #是否允许自定义key
        [root@zabbixserver ~]# zabbix_agentd              #启动监控agent

修改PHP配置文件,满足Zabbix_server的Web环境要求

yum -y install  php-gd php-xml php-bcmath  php-mbstring
vim /etc/php.ini
        date.timezone = Asia/Shangha                 #设置时区
        max_execution_time = 300                      #最大执行时间,秒
        post_max_size = 32M                              #POST数据最大容量
        max_input_time = 300                             #服务器接收数据的时间限制
        memory_limit = 128M                             #内存容量限制
systemctl restart php-fpm

访问Zabbix_server服务器的Web页面

http://192.168.2.5/setup.php            #查看是否有报错的问题修改相关的项目

如果zabbix报错无法启动则需要查看日志问题

/var/log/zabbix/zabbix_server.log

以上报告的问题为:
无法找到zabbix的日志文件,所以需要创建并且授权给它
第二个错误需要去配置文件修改PID文件的路径

解决错误一:

zabbix_server [9093]: Is this process already running? Could not lock PID file [/tmp/zabbix_server.pid]: [11] Resource temporarily unavailable
mkdir -p /var/log/zabbix/
touch /var/log/zabbix/zabbix_server.log
chmod 777 -R /var/log/zabbix/
zabbix_server               #还是无法继续启动

解决错误二:

zabbix_server [14563]: cannot create PID file [/var/run/zabbix_server.pid]: [13] Permission denied
vim /usr/local/etc/zabbix_agentd.conf
    PidFile=/var/run/zabbix_server.pid 
touch /var/log/zabbix_server.pid
chmod 777 -R /var/log/zabbix/

网页配置:
1

2

3

4

登入的帐号密码:

Admin/zabbix
运维第一任务:先去更改登入密码!
建立主机组

ZAbbix自定义监控项

  • 步骤1:添加用户自定义参数
  • 步骤2:重启zabbix-agent
  • 步骤3:在zabbix-server端上获取测试

举例子1:自定义监控agent端的用户数量

步骤大纲:

  • 创建自定义key
  • 创建监控项目
  • 创建监控图形
  • 将监控模板关联到主机

1.创建自定义key:

自定义key语法格式为:UserParameter=自定义key名称,命令。
自定义的key文件一般存储在/usr/local/etc/zabbix_agentd.conf.d/目录,这里还需要修改zabbix_agentd.conf文件,允许自定义监控key,来读取该目录下的所有文件 。

vim /etc/zabbix/zabbix_agentd.conf
Include=/usr/local/etc/zabbix_agentd.conf.d/                        #加载配置文件目录
[root@web1 ~]# cd /usr/local/etc/zabbix_agentd.conf.d/
[root@web1 zabbix_agentd.conf.d]# vim count.line.passwd
UserParameter=count.line.passwd,wc -l /etc/passwd | awk ' {print $1} '

2.测试自定义key是否正常工作:

killall  zabbix_agentd                      #杀死所有的进程zabbix_agent
zabbix_agentd                               #重启agent服务
zabbix_get -s 127.0.0.1 -k count.line.passwd
    45

登录Zabbix Web监控控制台,通过Configuration(配置)–>Template(模板)–>Create template(创建模板)

网页操作示例:

1. 创建模版

2. 创建应用集

3. 监控项目

4. 图形设置

举例子2:自定义nginx-status状态查看

/etc/zabbix/zabbix_agentd.d/ # 目录下自定义监控项目

vim /etc/zabbix/zabbix_agentd.d/nginx.conf
    UserParameter=nginx.active,/usr/bin/curl -s 'http://192.168.175.192:8080/nginx-status' |grep 'Active'|awk {'print $NF'}
    # (UserParameter=)-> 为用户自定义
    # (nginx.active,)-> 为用户自定义项目名称
    # (后面这一堆为命令,多个命令可以多个逗号隔开)

web设置自定义项目:

web设置自定义图形:

ZABBIX生产案例使用

项目规划

主机分组:

1.交换机
2.Nginx
3.Tomcat
4.Mysql

监控对象识别:

  • 使用SNMP监控交换机
  • 使用IPMI监控服务器硬件
  • 使用Agent监控运行的服务器
  • 使用JMX监控Java
  • 监控Mysql
  • 监控Web
  • 监控Nginx状态

实施步骤:

SNMP监控:

  • 打开交换机的SMNP并监控交换机
    config t
    snmp-server community public ro
    end
    
  • 在zabbix上添加监控
    设置SNMP interfaces
    
  • 关联监控模板

IPMI:

建议:使用自定义item,本地执行IPmitool命令来获取数据。
原因:zabbix经常无法获取到IPMI,常常超时。

JMX:

设计架构图

设计架构图草图
设计架构图完整版

(使用zabbix Java Gateway代理)
1.安装
    yum -y install zabbix-java-gateway java-1.8.0
2.自动补全yum命令
    yum -y install bash-completion
3.配置
    vim /etc/zabbix/zabbix_java_gateway.conf
        (9)# LISTEN_IP="0.0.0.0"  # 监听的IP
        (35)# START_POLLERS=5     # 默认的监听值不够增加
        (43)# TIMEOUT=3           # 默认的超时时间经验值
4.启动服务
    systemctl start zabbix-java-gateway
5.修改zabbix-server配置文件
    248 JavaGateway=IP    #监控的IP地址
    StartJavaPollers=5    #启动轮询监控的次数
6.tomcat官方下载及其配置
    官方网址:tomcat.apache.org      # 上传安装包或者wget下载
    tar -xf apache-tomcat-8.5.23.tar.gz   # 解压
    mv apache-tomcat-8.5.23.tar.gz /usr/local/  # 移动
    ln -s /usr/local/apache-tomcat-8.5.23.tar.gz /usr/local/tomcat  # 创建软连接 
    /usr/local/tomcat/bin/startup.sh # 启动tomcat
    netstat -lnpt # 查看服务是否启动了
    tomcat 默认占用8080端口

开启JMX远程监控:

1. 登入已经安装好的服务端的Tomcat
2. IP:8080/docs/monitoring.html   # 查看文档
3. 编辑JMX配置文件
    vim /usr/local/tomcat/bin/catalina.sh  
4. 开启JMX远程监控
    CATALINA_OPTS="$CATALINA_OPTS 
    -Dcom.sun.management.jmxremote  # 开启远程监控
    -Dcom.sun.management.jmxremote.port=8888  # 远程监控端口
    -Dcom.sun.management.jmxremote.ssl=false  #远程ssl验证为false
    -Dcom.sun.management.jmxremote.authenticate=false  #关闭权限认证
    -Djava.rmi.server.hostname=192.168.175.192"  # 部署了tomcat的主机地址
5. 重启Tomcat  
    5.1 /usr/local/tomcat/shutdown.sh    # 关闭
    5.2 /usr/local/tomcat/startup.sh     # 启动

开启Nginx监控

生产中的规划:

  • 监控
  • 编写脚本来进行数据采集
  • 设置用户自定义参数
  • 重启Zabbix-Agent
  • 添加item
  • 创建图形
  • 创建触发器
  • 创建模板

实施部署:

    1.编写脚本实现监控
    2.上传/etc/zabbix/目录下
    3.修改agent配置文件:
        Include=/etc/zabix/zabix_agent.d/*.conf
    4.编译Nginx安装配置文件:
        vim /usr/local/nginx/conf/nginx.conf
            location /nginx_status {  (nginx-status)
                stub_status on;
                access_log  off;    # 不记录日志
                allow 127.0.0.1;  # 只允许某网段访问
            }
        /usr/local/nginx/sbin/nginx # 开启nginx
    5.上传脚本:
        rz zabbix_linux_plugin.sh  # 上传到zabbix配置文件目录下
        chmod +x zabbix_linux_plugin.sh  # 给予执行权限
    6.修改配置文件:
        vim /etc/zabbix/zabbix_agent.d/nginx.conf
            UserParameter=linux_status[*],/etc/zabbix/zabbix_linux_plugin.sh "1" "2" "$3"
    7.测试是否可用:
        ./zabbix_linux_plugin.sh nginx-status 8080 reading  # /etc/zabbix目录下测试脚本是否能正常获取信息
    8.安装zabbix-get主动获取agent信息查看是否成功
        yum -y install zabbix-get 
        zabbix_get -s 192.168.175.192 -k "linux_status[nginx-status,8080,active]" 

zabbix添加模板:
添加模板

item项目添加:
item项目
item项目2

添加图形:
添加图形

导出模板
导出模板

添加触发器
添加触发器

自定义告警脚本:

  • 1.存放在cd /usr/lib/zabbix/alertscripts/目录下
  • 2.要支持三个参数:收件人、主题、内容
  • 3.执行权限
  • 4.Web界面添加
  • 5.修改Actions

关于JMX的认证三种类型:

  • 无密码认证
  • 用户名密码认证
  • ssl认证

报错记录:


  • 以上报错检查getenforce是否为Permissive

使用percona监控Mysql

方案规划:

  • 1.PHP脚本用来数据采集
  • 2.shell调用这个PHP脚本
  • 3.zabbix配置文件
  • 4.zabbix模板文件

安装官方的YUM源:

    yum install http://www.percona.com/downloads/percona-release/redhat/0.1-3/percona-release-0.1-3.noarch.rpm

官方的安装文档:

    地址:https://www.percona.com/doc/percona-monitoring-plugins/1.1/zabbix/index.html#installation-instructions

当安装成功precona后会生成:

/var/lib/zabbix/percona/scripts是监控脚本目录
/var/lib/zabbix/percona/templates是监控mysql的xml模版目录

安装配置过程:

    yum -y install percona-zabbix-templates php php-mysql
    # 来到Zabbix-WEB界面添加模板
    zabbix_agent_template_percona_mysql_server_ht_2.0.9-sver1.1.6.xml    # 上传
    # 将配置文件拷贝到/etc目录下
    cp /var/lib/zabbix/percona/templates/userparameter_percona_mysql.conf /etc/zabbix/zabbix_agentd.d/userparameter_percona_mysql.conf  # 目录下自带也有一个监控Mysql的配置文件
    # 返回/var/lib/zabbix/percona/scripts编辑文件
    vim ss_get_mysql_stats.php.conf
        <?php
        mysql_user='';         mysql_pass='';
    # 测试是否能成功获取到数据
    ./get_mysql_stats_wrapper.sh gg
    # Web中添加一段时间后查看图

简单的WEB监控

1
2
3
设置报警:
报警

Zabbix的监控模式

默认zabbix采用的是被动监控,主动和被动都是对被监控端主机而言的
* 1.监控主机多,性能跟不上,延迟大(QUEUE)
* 2.机房多,防火墙
* 总结:Zabbix轻松解决,但是Nagios不太好解决。

参照物:针对Agent来说

  • 1.被动模式
    Server向Agent发起连接,发送监控key,Agent接受请求,响应监控数据。
  • 2.主动模式
    Queue里没有大量的延时item
    当监控主机超过300以上,建议使用主动模式!(经验值)

主动模式和被动模式的区别

Server不用每次需要数据都连接Agent,Agent会自己收集数据并处理数据,Server仅需要保存数据即可。
当监控主机达到一定量级后,Zabbix服务器会越来越慢,此时,可以考虑使用主动监控,释放服务器的压力。
另外,Zabbix也支持分布式监控,也是可以考虑的方案。

开启agent主动模式

vim /etc/zabbix/zabbix_agent.conf
        (122) StartAgents=0     # agent启动后关闭监控端口
        (138) ServerActive=Server IP  # 跨机房可以使用域名能通就行
        (149) Hostname=Zabbix server  # 唯一识别标识
        (157) HostnameItem=system.hostname  # 如果不设置上一个可以开启默认获取的这个!
        (184) RefreshActiveChecks=120   #默认120秒监控一次
        UnsafeUserParameters=1  #允许自定义KEY可以开启也可以不开启
killall zabbix_agentd
重起服务

web操作步骤:

  • 修改模板为主动模式
  • 保证item监控项都是开启
  • 新建监控对象
  • 添加设置模板
  • 区别为和被动模式不同不会显示成功的绿色

Zabbix的分布式监控

  • Zabbix Proxy
  • 使用情况:多机房情况和上千台需要监控的主机的时候
  • 当没有网络的时候存储在本地,有网后递交给Zabbix-Server
  • porxy也需要数据库,并且不能和Server端共用
  • Zabbix-Server –> Zabbix Porxy –> Zabbix-Agent

分布式监控

安装配置Zabbix-Porxy

(1)yum -y install zabbix-proxy mariadb zabbix-proxy-mysql mariadb-server    
(2)systemctl start mariadb
(3)CREATE DATABASE zabbix_proxy character set utf8; # 创建proxy的列表
(4)GRANT all on zabbix_proxy.* to 'zabbix_proxy'@'localhost' identified by '123456'; # 创建专属的监控用户
(5)flush privileges; # 刷新权限
(6)select host,password,user from mysql.user; # 查看帐号数据
(7)zcat schema.sql.gz |mysql -uzabbix_proxy -p123456 zabbix_proxy # 解压并上传所有的mysql数据表
(8)修改配置文件:
        vim /etc/zabbix/zabbix_proxy.conf
            156 DBHost=localhost
            167 DBName=zabbix_proxy # 可以自定义
            182 DBUser=mysql的用户
            190 DBPassword=mysql的用户密码

(9)systemctl start zabbix-proxy  # 启动服务
(10)netstat -lnpt # 查看是否开启了proxy端口

启动proxy监控

添加监控项目

Zabbix的自动化监控

  • 自动注册:Zabbix agent 自动添加
  • 主动发现:Zabbix api 、 自动发现Discover

想实现自动化需要配置的几个点:

  • 1.对被监控端来说谁是server
  • 2.Server知道要监控的是谁
  • 3.被监控端的特征

开启agent主动注册模式:

  • 生产上如果使用会产生的坑:VIP的出现会带来多个IP
    vim /etc/zabbix/zabbix_agent.conf
        ------------------------------------------------
        (168) HostMetadata=    # 手动设置
        (179) HostMetadataItem=  # 自动模式 
                HostMetadataItem=system.uname # 自动获取
        ------------以上如果同时启用默认手动为主------------
        13:PidFile=/var/run/zabbix/zabbix_agentd.pid
    

常规的配置:zabbix_agent.conf

    32:LogFile=/var/log/zabbix/zabbix_agentd.log
    43:LogFileSize=0
    57:DebugLevel=4
    97:Server=192.168.175.192
    138:ServerActive=192.168.175.192
    149:Hostname=Zabbix server
    179:HostMetadataItem=system.uname
    267:Include=/etc/zabbix/zabbix_agentd.d/*.conf

web配置自动注册:
1
2
3

开启Server主动发现模式:

  • 生产上基本不使用

  • 实验配置测试

  1. 创建自动发现规则
  2. 创建自动发现后的动作,添加主机、为主机链接模板

什么是自动发现(Discovery)?

当Zabbix需要监控的设备越来越多,手动添加监控设备越来越有挑战,此时,可以考虑使用自动发现功能,自动添加被监控主机,实现自动批量添加一组监控主机功能。

自动发现可以实现:

  • 自动发现、添加主机,自动添加主机到组;
  • 自动连接模板到主机,自动创建监控项目与图形等。

自动发现(Discovery)流程:

  • 创建自动发现规则
  • 创建Action动作,说明发现主机后自动执行什么动作
  • 通过动作,执行添加主机,链接模板到主机等操作

步骤一:自动发现规则

通过Administration(配置)-->Discovery(自动发现)-->Create discovery rule(创建发现规则)

步骤二:填写规则

填写自动发现的IP范围(逗号隔开可以写多个),多久做一次自动发现(默认为1小时,仅实验修改为1m)

步骤三:创建动作

通过Administration(配置)--> Actions Event source(事件源):自动发现(Discovery)-->Create action(创建动作)

步骤四:配置Action动作具体行为

配置动作,添加动作名称,添加触发动作的条件

点击操作(触发动作后要执行的操作指令),操作细节:添加主机到组,与模板链接(HTTP模板)

步骤五:添加新的虚拟机

1)创建新的虚拟机

创建一台新的主机,验证zabbix是否可以自动发现该主机,可以重新部署一台新的虚拟机(注意前面的课程,我们已经创建了虚拟机web2,并且已经安装部署了Zabbix agent,如果没有该虚拟机或没有安装Agent,则需要前在web2部署Agent),也可以将旧虚拟机的IP地址,临时修改为其他IP。

2)验证结果

登陆Zabbix服务器的Web页面,查看主机列表,确认新添加的主机是否被自动加入监控主机列表,是否自动绑定了监控模板。

Zabbix-API自动化体系

API
概括:

zabbix API允许您以编程方式检索和修改Zabbix的配置,并且提供对历史数据的访问。IPA经常被人称为:类

  • 创建新的应用程序来使用Zabbix
  • 连接第三方应用和Zabbix
  • 自动执行日常任务

Zabbix可以使用远程HTTP来调用API,因此发送post请求到api_jsonrpc.php目录下。

  • 认证获取身份证令牌
    curl -s -X POST -H 'Content-Type:application/json' -d‘  
        { 
            “jsonrpc” : “2.0” ,“
            method” : “user.login” ,
            “PARAMS” : { 
                “user” : “Admin” ,
                “password” : “zabbix” 
            } ,
            “ID” : 1 ,
            “AUTH” : null   # 可以不用
        }’
    
     -H/--header <line>自定义头信息传递给服务器
     -s/--silent静音模式。不输出任何东西
     -d/--data <data>   HTTP POST方式传送数据
    

Zabbix运维时间》有4个想法

  1. I’ve been browsing online more than three hours today, yet I never found any interesting article like yours. It is pretty worth enough for me. In my opinion, if all site owners and bloggers made good content as you did, the internet will be a lot more useful than ever before.

发表评论