第230921期 – shell脚本 | 人工智能从这里开始

shell脚本实例来喽！！shell脚本从入门到精通，常用shell脚本汇总
学习Shell脚本编程可以让你更好地管理和自动化Unix/Linux系统上的任务。从入门到精通Shell脚本编程需要时间和实践，但它是一个非常有用的技能。以下是一个Shell脚本学习的逐步指南，从基础到高级知识，帮助你成为Shell脚本编程的专家。

下面第一部分是一些简单的思路，第二部分是生产实践中用到较多的shell脚本。更多脚本示例文末获取

阶段一：入门基础

1. Shell是什么？

Shell是一个命令行界面，用于与操作系统进行交互。
学习Shell的不同变种，如Bash、Zsh、Ksh等，以及它们的特点。

2. Hello World

创建你的第一个Shell脚本，输出”Hello World”。

3. 变量和数据类型

学习如何声明变量。
不同的数据类型，如字符串、整数、数组等。

4. 输入和输出

从命令行获取用户输入。
将结果输出到屏幕或文件。

5. 条件语句

学习if、else和elif等条件语句的使用。

6. 循环

学习for、while等循环结构的使用。

7. 函数

创建和调用函数，了解局部和全局变量。

阶段二：中级知识

8. 文件操作

学习如何创建、删除、移动和复制文件和目录。

9. 管道和重定向

使用管道将命令的输出传递给另一个命令。
使用重定向将输出保存到文件中。

10. 正则表达式

学习正则表达式的基础知识，用于文本处理。

11. 数组和字符串处理

操作数组和字符串的常见方法，如拼接、截取和查找。

12. 错误处理

处理脚本中的错误和异常情况。

13. 用户输入

从用户获取参数和选项，使脚本更加灵活。

阶段三：高级主题

14. Shell编程的最佳实践

学习编写可维护和可扩展的Shell脚本的最佳实践。

15. 调试技巧

使用调试工具和技巧来识别和修复脚本中的错误。

16. 文件权限和安全

理解文件权限和如何安全地处理敏感数据。

17. 进程管理

查看和管理系统进程，执行后台任务。

18. Shell编程高级技巧

使用高级技巧，如函数式编程、异常处理和模块化。

阶段四：实际项目

19. 实际项目

选择一个实际任务，例如日志分析、备份脚本或系统监控。
开发一个完整的Shell脚本项目，将学到的知识应用于实际情境。

阶段五：深入研究

20. 进一步学习

深入研究特定的Shell脚本主题，如网络编程、数据库访问等。

21. 社区和资源

参与Shell脚本编程社区，学习并分享经验。

22. 自动化和部署

使用Shell脚本自动化系统管理任务，例如系统备份和部署。

看到这里的话，说明对shell脚本还是比较感兴趣的，可以去看下这本书

常用脚本

以下是给出的20个Shell脚本的代码：

1. Dos 攻击防范(自动屏蔽攻击 IP)

#!/bin/bash
DATE=$(date +%d/%b/%Y:%H:%M)
LOG_FILE=/usr/local/nginx/logs/demo2.access.log
ABNORMAL_IP=$(tail -n5000 $LOG_FILE | grep $DATE | awk '{a[$1]++}END{for(i in a)if(a[i]>10)print i}')
for IP in $ABNORMAL_IP; do
  if [ $(iptables -vnL | grep -c "$IP") -eq 0 ]; then
    iptables -I INPUT -s $IP -j DROP
    echo "$(date +'%F_%T') $IP" >> /tmp/drop_ip.log
  fi
done

2. Linux 系统发送告警脚本

#!/bin/bash
# 需要安装mailx工具
# 编辑 /etc/mail.rc 配置邮件发送

set from=baojingtongzhi@163.com smtp=smtp.163.com
set smtp-auth-user=baojingtongzhi@163.com smtp-auth-password=your_password
set smtp-auth=login

3. MySQL 数据库备份单循环

#!/bin/bash
DATE=$(date +%F_%H-%M-%S)
HOST=localhost
USER=backup
PASS=123.com
BACKUP_DIR=/data/db_backup
DB_LIST=$(mysql -h$HOST -u$USER -p$PASS -s -e "show databases;" 2>/dev/null | egrep -v "Database|information_schema|mysql|performance_schema|sys")
for DB in $DB_LIST; do
  BACKUP_NAME=$BACKUP_DIR/${DB}_${DATE}.sql
  if ! mysqldump -h$HOST -u$USER -p$PASS -B $DB > $BACKUP_NAME 2>/dev/null; then
    echo "$BACKUP_NAME 备份失败 !"
  fi
done

4. MySQL 数据库备份多循环

#!/bin/bash
DATE=$(date +%F_%H-%M-%S)
HOST=localhost
USER=backup
PASS=123.com
BACKUP_DIR=/data/db_backup
DB_LIST=$(mysql -h$HOST -u$USER -p$PASS -s -e "show databases;" 2>/dev/null | egrep -v "Database|information_schema|mysql|performance_schema|sys")
for DB in $DB_LIST; do
  BACKUP_DB_DIR=$BACKUP_DIR/${DB}_${DATE}
  [ ! -d $BACKUP_DB_DIR ] && mkdir -p $BACKUP_DB_DIR &>/dev/null
  TABLE_LIST=$(mysql -h$HOST -u$USER -p$PASS -s -e "use $DB;show tables;" 2>/dev/null)
  for TABLE in $TABLE_LIST; do
    BACKUP_NAME=$BACKUP_DB_DIR/${TABLE}.sql
    if ! mysqldump -h$HOST -u$USER -p$PASS $DB $TABLE > $BACKUP_NAME 2>/dev/null; then
      echo "$BACKUP_NAME 备份失败 !"
    fi
  done
done

5. Nginx 访问访问日志按天切割

#!/bin/bash
LOG_DIR=/usr/local/nginx/logs
YESTERDAY_TIME=$(date -d "yesterday" +%F)
LOG_MONTH_DIR=$LOG_DIR/$(date +"%Y-%m")
LOG_FILE_LIST="default.access.log"

for LOG_FILE in $LOG_FILE_LIST; do
  [ ! -d $LOG_MONTH_DIR ] && mkdir -p $LOG_MONTH_DIR
  mv $LOG_DIR/$LOG_FILE $LOG_MONTH_DIR/${LOG_FILE}_${YESTERDAY_TIME}
done
kill -USR1 $(cat /var/run/nginx.pid)

6. Nginx 访问日志分析脚本

#!/bin/bash
LOG_FILE=hive-server2.log

echo "统计访问最多的10个IP"
awk '{a[$1]++}END{print "UV:", length(a); for(v in a) print v, a[v]}' $LOG_FILE | sort -k2 -nr | head -10
echo "----------------------"
echo "统计时间段访问最多的IP"
awk '$4>="[01/Dec/2018:13:20:25" && $4<="[27/Nov/2018:16:20:49"{a[$1]++}END{for(v in a) print v, a[v]}' $LOG_FILE | sort -k2 -nr | head -10
echo "----------------------"
echo "统计访问最多的10个页面"
awk '{a[$7]++}END{print "PV:", length(a); for(v in a){ if(a[v]>10) print v, a[v]}}' $LOG_FILE | sort -k2 -nr
echo "----------------------"
echo "统计访问页面状态码数量"
awk '{a[$7" "$9]++}END{for(v in a){if(a[v]>5)print v, a[v]}}' $LOG_FILE

7. 查看网卡实时流量脚本

#!/bin/bash
NIC=$1
echo -e " In ------ Out"
while true; do
  OLD_IN=$(awk '$0~"'$NIC'"{print $2}' /proc/net/dev)
  OLD_OUT=$(awk '$0~"'$NIC'"{print $10}' /proc/net/dev)
  sleep 1
  NEW_IN=$(awk  '$0~"'$NIC'"{print $2}' /proc/net/dev)
  NEW_OUT=$(awk '$0~"'$NIC'"{print $10}' /proc/net/dev)
  IN=$(printf "%.1f%s" "$((($NEW_IN-$OLD_IN)/1024))" "KB/s")
  OUT=$(printf "%.1f%s" "$((($NEW_OUT-$OLD_OUT)/1024))" "KB/s")
  echo "$IN $OUT"
  sleep 1
done

8. 服务器系统配置初始化

#!/bin/bash
# 设置时区并同步时间
ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
if ! crontab -l | grep ntpdate &>/dev/null ; then
  (echo "* 1 * * * ntpdate time.windows.com >/dev/null 2>&1"; crontab -l) | crontab
fi

# 禁用selinux
sed -i '/SELINUX/{s/permissive/disabled/}' /etc/selinux/config

# 关闭防火墙
if egrep "7.[0-9]" /etc/redhat-release &>/dev/null; then
  systemctl stop firewalld
  systemctl disable firewalld
elif egrep "6.[0-9]" /etc/redhat-release &>/dev/null; then
  service iptables stop
  chkconfig iptables off
fi

# 历史命令显示操作时间
if ! grep HISTTIMEFORMAT /etc/bashrc; then
  echo 'export HISTTIMEFORMAT="%F %T `whoami` "' >> /etc/bashrc
fi

# SSH超时时间
if ! grep "TMOUT=600" /etc/profile &>/dev/null; then
  echo "export TMOUT=600" >> /etc/profile
fi

# 禁止root远程登录
sed -i 's/#PermitRootLogin yes/PermitRootLogin no/' /etc/ssh/sshd_config

# 禁止定时任务向发送邮件
sed -i 's/^MAILTO=root/MAILTO=""/' /etc/crontab

# 设置最大打开文件数
if ! grep "* soft nofile 65535" /etc/security/limits.conf &>/dev/null; then
  cat >> /etc/security/limits.conf << EOF
* soft nofile 65535
* hard nofile 65535
EOF
fi

# 系统内核优化
cat >> /etc/sysctl.conf << EOF
net.ipv4.tcp_syncookies = 1
net.ipv4.tcp_max_tw_buckets = 20480
net.ipv4.tcp_max_syn_backlog = 20480
net.core.netdev_max_backlog = 262144
net.ipv4.tcp_fin_timeout = 20
EOF

9. 监控 100 台服务器磁盘利用率脚本

#!/bin/bash
HOST_INFO=h

第230921期 – shell脚本