跳至主要內容

Linux 运维与部署 - jackssybin 的个人博客

 Linux 运维与部署 (18)

Linux、CentOS、Ubuntu、Nginx、Redis、JDK、Maven、Git、服务器排障和部署记录。

推荐阅读顺序

  1. 核心Linux下快速分析DUMP文件

    核心文章：这篇文章是线上排障类内容的核心入口，适合在 Java 进程内存异常、CPU 异常或服务不稳定时作为排查流程参考。

核心 Linux下快速分析DUMP文件

dump文件传输到本地进行分析， 常常需要大量的等待时间。 使用IBM的eclipse的MAT工具可以直接在服务器上进行快速DUMP分析。 运行环境要求 linux操作系统 JDK8 以上 下载MAT的linux版本 Eclipse的MAT工具下载链接 MAT支持各种操作系统，找到Linux版本下载下来 # 运行uname -m 看一下linux是 x86_64还是 x86的帮助你选择下载那个版本。 uname -m #x86_64 http://iso.mirrors.ustc.edu.cn/eclipse/mat/1.8/rcp/MemoryAnalyzer-1.8.0.20180604-linux.gtk.x86_64.zip 解压配置MAT基本参数 unzip MemoryAnalyzer-1.8.0.20180604-linux.gtk.x86_64.zip ## 修改MAT的内存大小， 注意这个大小要根据你dump文件大小来的，如果dump文件是5GB那么 这里最好配>5GB 否则会报MAT内存不足的异常 ## 修改MemoryAnalyzer.ini 的 -....

Ubuntu 搭建Zookeeper服务 有更新！

1、下载安装包 官方下载地址http://apache.fayea.com/zookeeper/ 2、安装 安装前确保系统已安装过JDK，JDK安装过程可参照 2.1 解压下载好的tar.gz安装包到某个目录下，可使用命令： tar -zxvf zookeeper-3.5.4-beta.tar.gz 2.2 进入解压目录的conf目录，复制配置文件zoo_sample.cfg并命名为zoo.cfg，相关命令为： cp zoo_sample.cfg zoo.cfg 2.3 编辑zoo.cfg文件 vi zoo.cfg 主要修改如下： # 增加dataDir和dataLogDir目录，目录自己创建并指定，用作数据存储目录和日志文件目录 dataDir=/home/local/zk/data dataLogDir=/home/local/zk/logs # 指定server地址，server.id=hostname:port:port。第一个端口用于集合体中的 follower 以侦听 leader；第二个端口用于 Leader 选举。第一个hostname即为本服务器地址 serve....

HAProxy常见的安装方式

1>.什么是负载均衡 　负载均衡(Load Balance，简称LB)是一种服务或基于硬件设备等实现的高可用反向代理技术，负载均衡将特定的业务(web服务、网络流量等)分担给指定的一个或多个后端特定的服务器或设备，从而提高了公司业务的并发处理能力、保证了业务的高可用性、方便了业务后期的水平动态扩展。 　　博主推荐阅读: 　　　　https://yq.aliyun.com/articles/1803 2>.为什么使用负载均衡 Web服务器的动态水平扩展 　　　　对用户无感知 　　增加业务并发访问及处理能力 　　　　解决单服务器瓶颈问题(单点故障) 　　节约公网IP地址 　　　　降低IT支出成本 　　隐藏内部服务器IP 　　　　提高内部服务器安全性 　　配置简单 　　　　固定格式的配置文件 　　功能丰富 　　　　支持四层和七层，支持动态下线主机 　　性能较强 　　　　并发数万甚至数十万 3>.常见有哪些负载均衡 软件负载(一般选择开源软件)： 　　四层(可以和硬件防火墙相抗衡的性能)： 　　　　LVS(Linux Virtual Server，生产环境中大多使用DR模....

Linux - 查看用户登录记录

1、查看当前登录用户信息 who命令： who缺省输出包括用户名、终端类型、登陆日期以及远程主机。 who /var/log/wtmp 可以查看自从wtmp文件创建以来的每一次登陆情况 （1）-b：查看系统最近一次启动时间 （2）-H：打印每列的标题 users命令： 打印当前登录的用户，每个显示的用户名对应一个登陆会话。 2、查看命令历史 每个用户都有一份命令历史记录 查看$HOME/.bash_history 或者在终端输入： history 3、last命令 查看用户登录历史 此命令会读取 /var/log/wtmp文件；/var/log/btmp可以显示远程登陆信息。 last默认打印所有用户的登陆信息。 如果想打印某个用户的登陆信息，可以使用 last 用户名 选项： （1）-x：显示系统开关机以及执行等级信息 （2）-a：将登陆ip显示在最后一行 （3）-f ：读取特定文件，可以选择 -f /var/log/btmp文件 （4）-d：将IP地址转换为主机名 （5）-n：设置列出名单的显示列数 （6）-t：查看指定时间的用户登录历史 例如： last -t 201502261....

Linux服务器kdevtmpfsi挖矿病毒解决方法 有更新！

问题描述 Linux服务器（包括但不限于CentOS）出现名为kdevtmpfsi的进程，占用高额的CPU、内存资源； 并且单纯的kill -9 进程ID 例：kill -9 12345 无法完全杀死，不久便会复活； 同2.理杀死 kdevtmpfsi的守护进程kinsing，一小段时间又会出现这对进程；(网上文档有人会有守护进程。我机器没这个，也没在定时任务里找到额外的定时任务) 找到并删除这2个进程对应的可执行文件例：find / -name kinsing，一小段时间又会出现。 问题根源 服务器安装的redis镜像有问题，被植入kdevtmpfsi挖矿程序。 redis未设置密码、或者密码过于简单 服务器被植入定时任务：下载病毒程序、并唤起，及进程存活监测 很纳闷，我的服务器都没有redis，以前短暂安装过。后来就没起来过。也出这个问题了 解决方法 (定时任务杀进程，也是守护进程) 编写shell脚本 vim /data/shell/kill_kdevtmpfsi.sh； #! /bin/sh step=1 for (( i = 0; i < 60; i = (....

利用Grafana展示zabbix数据

一、系统搭建（以Centos7为例） 因为我们的主要目的是展示zabbix的数据，所以建议大家直接在zabbix的服务器上搭建这个系统，亲测两系统无冲突，这样部署的好处是两系统间的数据传输更快，前端展示加载速度也将更快。 首先简单粗暴点，关闭防火墙，以免系统启动的时候出问题。 关闭防火墙 systemctl stop firewalld.service 关闭防火墙的开机自启 systemctl disable firewalld.service 替换防火墙参数 sed -i&nbsp;``'s/SELINUX=enforcing/SELINUX=disabled/' /etc/selinux/config 查看防火墙状态 grep SELINUX=disabled /etc/selinux/config 关闭当前防火墙 setenforce 0 下载rpm源并安装 wget https:``//dl.grafana.com/oss/release/grafana-5.4.2-1.x86_64.rpm yum localinstall grafana-5.4.....

centos7更新yum阿里源

  1. 备份原来的yum源 $sudo cp /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.bak 2.设置aliyun的yum源 $sudo wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo 3.添加EPEL源 $sudo wget -P /etc/yum.repos.d/ http://mirrors.aliyun.com/repo/epel-7.repo 4.清理缓存，生成新缓存，执行yum更新 $sudo yum clean all $sudo yum makecache $sudo yum update

centos7安装nginx,jdk,maven(yum方式) 有更新！

1.添加Nginx 的yum源 rpm -Uvh http://nginx.org/packages/centos/7/noarch/RPMS/nginx-release-centos-7-0.el7.ngx.noarch.rpm #查看源是否添加成功 yum search nginx 2、安装Nginx yum install -y nginx 3.启动Nginx并设置开机自动运行 systemctl start nginx.service systemctl enable nginx.service 4.路径信息 以下是Nginx的默认路径： (1) Nginx配置路径：/etc/nginx/ (2) PID目录：/var/run/nginx.pid (3) 错误日志：/var/log/nginx/error.log (4) 访问日志：/var/log/nginx/access.log (5) 默认站点目录：/usr/share/nginx/html 事实上，只需知道Nginx配置路径，其他路径均可在/etc/nginx/nginx.conf 以及/etc/nginx/con....

centos7开启ssh服务

开启ssh服务需要root权限，先用root账户登陆 先检查有没有安装ssh服务： rpm -qa | grep ssh 如果没有安装ssh服务就安装 ： yum install openssh-server 安装好后在ssh配置文件里进行配置 : vim /etc/ssh/sshd_config 开启ssh服务,这个命令没有回显 systemctl start sshd.service 开启后用 ps -e | grep sshd 检查一下ssh服务是否开启 netstat -an | grep 22检查一下22端口是否开启 将ssh服务添加到自启动列表中： systemctl enable sshd.service

Centos7安装Python3.7

1.安装编译相关工具 yum -y groupinstall "Development tools" yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel yum install libffi-devel -y 2.下载安装包解压 cd #回到用户目录 wget https://www.python.org/ftp/python/3.7.0/Python-3.7.0.tar.xz tar -xvJf Python-3.7.0.tar.xz 3.编译安装 mkdir /usr/local/python3 #创建编译安装目录 cd Python-3.7.0 ./configure --prefix=/usr/local/python3 make && make install 4.创建软连接 ln -s /usr/local/pyt....

centos7下安装redis 有更新！

一、安装redis 第一步：下载redis安装包 wget http://download.redis.io/releases/redis-4.0.6.tar.gz 第二步：解压压缩包 tar -zxvf redis-4.0.6.tar.gz 第三步：yum安装gcc依赖 yum install gcc 第四步：跳转到redis解压目录下 and 编译安装 cd redis-4.0.6 make MALLOC=libc cd src && make install 二、启动redis的三种方式 先切换到redis src目录下 cd src 1、直接启动redis ./redis-server redis启动成功，但是这种启动方式需要一直打开窗口，不能进行其他操作，不太方便。 按 ctrl + c可以关闭窗口。 2、以后台进程方式启动redis 第一步：修改redis.conf文件 将 daemonize no 修改为 daemonize yes 第二步：指定redis.conf文件启动 ./redis-server /usr/local/r....

查看Linux占用内存/CPU最多的进程 有更新！

1.可以使用以下命令查使用内存最多的10个进程      ps -aux | sort -k4nr | head -n 10 2.可以使用一下命令查使用CPU最多的10个进程      ps -aux | sort -k3nr | head -n 10 3. 那么多进程中如何查看一个进程的情况 ps aux | grep xx 找到进程号 top -p pid 4. top显示不全 bw设置宽度 top -c  -bw 500 5. 批量杀掉共类进程 kill -9 ps -ef |grep java|grep -v grep|awk '{print $2}'

python3线程池/进程池应用ThreadPoolExecutor

多种方法实现 python 线程池 一、 既然多线程可以缩短程序运行时间，那么，是不是线程数量越多越好呢？ 显然，并不是，每一个线程的从生成到消亡也是需要时间和资源的，太多的线程会占用过多的系统资源（内存开销，cpu开销），而且生成太多的线程时间也是可观的，很可能会得不偿失，这里给出一个最佳线程数量的计算方式： 最佳线程数的获取： 1、通过用户慢慢递增来进行性能压测，观察QPS（即每秒的响应请求数，也即是最大吞吐能力。），响应时间 2、根据公式计算:服务器端最佳线程数量=((线程等待时间+线程cpu时间)/线程cpu时间) * cpu数量 3、单用户压测，查看CPU的消耗，然后直接乘以百分比，再进行压测，一般这个值的附近应该就是最佳线程数量。 二、如何实现线程池？ 1、使用threadpool模块，这是个python的第三方模块，支持python2和python3 #! /usr/bin/env python # -- coding: utf-8 -- import threadpool import time def sayhello (a): print("hello: "+a....

阿里云Ubuntu16.04安装Java8_redis 有更新！

一、java8安装 1 Java 8 下载地址 链接：https://pan.baidu.com/s/1NN4XBL5g1Xn7EwzM4YET0g 提取码：m4mq 2 以root用户登录将下载的jdk-8u92-linux-x64.tar.gz文件放到~/data/soft/目录下，使用如下命令解压 tar zxvf jdk-8u92-linux-x64.tar.gz -C ~/data/soft 3 将java目录添加到etc/profile文件中 export JAVA_HOME=/root/data/jdk1.8 export JRE_HOME=${JAVA_HOME}/jre export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib export PATH=${JAVA_HOME}/bin:$PATH 4 验证java java -version 二、redis安装 安装Redis服务器端 sudo apt-get install redis-server 安装完成后，Redis服务器会自动启动，我们检查Redis服务....

ubutun安装chrome浏览器 有更新！

一、安装Chrome浏览器 1、安装依赖 sudo apt-get install libxss1 libappindicator1 libindicator7 2、下载Chrome安装包 wget https://dl.google.com/linux/direct/google-chrome-stable_current_amd64.deb 3、安装 sudo dpkg -i google-chrome*.deb sudo apt-get install -f 4、ubuntu如何安装lsb_release工具? sudo apt-get install lsb-core -y 二、安装ChromeDriver 1、安装xvfb以便我们可以无头奔跑地运行Chrome sudo apt-get install xvfb 2、安装依赖 sudo apt-get install unzip 3、下载安装包 wget -N http://chromedriver.storage.googleapis.com/2.26/chromedriver_linux....

linux下一些常用命令 有更新！

1.根据端口查进程 lsof -i:port netstat -nap | grep port 2.根据进程号查端口: lsof -i|grep pid netstat -nap | grep pid 3.根据进程名查找pid、port： ps -ef |grep tomcat ps -ef |grep port(根据port查找相关进程) ps -ef |grep pid(根据pid查找相关进程) 4.根据进程号查服务路径： ll /proc/26357/cwd #26357是进程号 1 root root 0 Oct 25 10:08 /proc/26357/cwd -> /root/data/proxy_pool/Api/ 5.查询所有进程号 top top 6.查看进程中的线程号信息 ps -T -p 18043 # ps 语法 1.top -H -p 18043 #top 实时的哈 shift+H开启show threads on功能，展示线程资源占用情况 　　找到消耗CPU等最多的PID为:18045 2. printf "%x\n" 18045 --&gt....

Nginx 虚拟主机配置 有更新！

1.虚拟主机概念 所谓虚拟主机，在 Web 服务里就是一个独立的网站站点，这个站点对应独立的域名（也可能是IP 或端口），具有独立的程序及资源，可以独立地对外提供服务供用户访问。 在 Nginx 中，使用一个 server{} 标签来标识一个虚拟主机，一个 Web 服务里可以有多个虚拟主机标签对，即可以同时支持多个虚拟主机站点。 虚拟主机有三种类型：基于域名的虚拟主机、基于端口的虚拟主机、基于 IP 的虚拟主机。 2.基于域名的虚拟主机 域名的虚拟主机是生产环境中最常用的。 2.1 编辑配置文件 [root@localhost conf]# vim nginx.conf worker_processes 1; events { worker_connections 1024; } http { include mime.types; default_type application/octet-stream; sendfile on; keepalive_timeout 65; server { listen 80; server_name www.abc.com; l....