网站LOGO
公爵书房 | 技术分享
页面加载中
2月24日
网站LOGO 公爵书房 | 技术分享
以指键之轻,承载知识之重
菜单
  • 热评
    用户的头像
    首次访问
    上次留言
    累计留言
    我的等级
    我的角色
    打赏二维码
    打赏博主
    linux shell 脚本使用记录(持续更新ing...)
    点击复制本页信息
    微信扫一扫
    文章二维码
    文章图片 文章标题
    创建时间
  • 一 言
    确认删除此评论么? 确认
  • 本弹窗介绍内容来自,本网站不对其中内容负责。

    linux shell 脚本使用记录(持续更新ing...)

    公爵 · 原创 ·
    笔记 · linux
    共 7739 字 · 约 4 分钟 · 2847
    本文最后更新于2023年09月02日,已经过了175天没有更新,若内容或图片失效,请留言反馈

    linux shell 脚本复制特定后缀文件到另外一个文件夹下

    bash 代码:
    cp /home/*.raw  /mnt/mmc01/

    /home/ 为特定后缀文件的目录
    *.raw 为特定后缀
    /mnt/mmc01/ 为目标路径

    检测两台服务器指定目录下的文件一致性

    bash 代码:
    #!/bin/bash
    ######################################
    检测两台服务器指定目录下的文件一致性
    #####################################
    #通过对比两台服务器上文件的md5值,达到检测一致性的目的
    dir=/data/web
    b_ip=192.168.88.10
    #将指定目录下的文件全部遍历出来并作为md5sum命令的参数,进而得到所有文件的md5值,并写入到指定文件中
    find $dir -type fxargs md5sum > /tmp/md5_a.txt
    ssh $b_ip "find $dir -type fxargs md5sum > /tmp/md5_b.txt"
    scp $b_ip:/tmp/md5_b.txt /tmp
    #将文件名作为遍历对象进行一一比对
    for f in `awk '{print 2} /tmp/md5_a.txt'`do
    #以a机器为标准,当b机器不存在遍历对象中的文件时直接输出不存在的结果
    if grep -qw "$f" /tmp/md5_b.txt
    then
    md5_a=`grep -w "$f" /tmp/md5_a.txtawk '{print 1}'`
    md5_b=`grep -w "$f" /tmp/md5_b.txtawk '{print 1}'`
    #当文件存在时,如果md5值不一致则输出文件改变的结果
    if [ $md5_a != $md5_b ]then
    echo "$f changed."
    fi
    else
    echo "$f deleted."
    fi
    done

    定时清空文件内容,定时记录文件大小

    bash 代码:
    #!/bin/bash
    #################################################################
    每小时执行一次脚本(任务计划),当时间为0点或12点时,将目标目录下的所有文件内#容清空,但不删除文件,其他时间则只统计各个文件的大小,一个文件一行,输出到以时#间和日期命名的文件中,需要考虑目标目录下二级、三级等子目录的文件
    ################################################################
    logfile=/tmp/`date +%H-%F`.log
    n=`date +%H`
    if [ $n -eq 00 ]  [ $n -eq 12 ]
    then
    #通过for循环,以find命令作为遍历条件,将目标目录下的所有文件进行遍历并做相应操作
    for i in `find /data/log/ -type f`
    do
    true > $i
    done
    else
    for i in `find /data/log/ -type f`
    do
    du -sh $i >> $logfile
    done
    fi

    检测网卡流量,并按规定格式记录在日志中

    bash 代码:
    #!/bin/bash
    #######################################################
    #检测网卡流量,并按规定格式记录在日志中#规定一分钟记录一次
    #日志格式如下所示:
    #2019-08-12 20:40
    #ens33 input: 1234bps
    #ens33 output: 1235bps
    ######################################################3
    while :
    do
    #设置语言为英文,保障输出结果是英文,否则会出现bug
    LANG=en
    logfile=/tmp/`date +%d`.log
    #将下面执行的命令结果输出重定向到logfile日志中
    exec >> $logfile
    date +"%F %H:%M"
    #sar命令统计的流量单位为kb/s,日志格式为bps,因此要*1000*8
    sar -n DEV 1 59grep Averagegrep ens33awk '{print $2,"\t","input:","\t",$5*1000*8,"bps","\n",$2,"\t","output:","\t",$6*1000*8,"bps"}'
    echo "####################"
    #因为执行sar命令需要59秒,因此不需要sleep
    done

    计算文档每行出现的数字个数,并计算整个文档的数字总数

    bash 代码:
    #!/bin/bash
    #########################################################
    #计算文档每行出现的数字个数,并计算整个文档的数字总数
    ########################################################
    #使用awk只输出文档行数(截取第一段)
    n=`wc -l a.txtawk '{print $1}'`
    sum=0
    #文档中每一行可能存在空格,因此不能直接用文档内容进行遍历
    for i in `seq 1 $n`do
    #输出的行用变量表示时,需要用双引号
    line=`sed -n "$i"p a.txt`#wc -L选项,统计最长行的长度
    n_n=`echo $linesed s'/[^0-9]//'gwc -L`
    echo $n_nsum=$[$sum+$n_n]
    done
    echo "sum:$sum"

    杀死所有进程

    bash 代码:
    #!/bin/bash
    ################################################################
    #有一些脚本加入到了cron之中,存在脚本尚未运行完毕又有新任务需要执行的情况,
    #导致系统负载升高,因此可通过编写脚本,筛选出影响负载的进程一次性全部杀死。
    ################################################################
    ps auxgrep 指定进程名grep -v grepawk '{print $2}'xargs kill -9

    从FTP服务器下载文件

    bash 代码:
    #!/bin/bash
    if [ $# -ne 1 ]; then
        echo "Usage: $0 filename"
    fi
    dir=$(dirname $1)
    file=$(basename $1)
    ftp -n -v << EOF   # -n 自动登录
    open 192.168.1.10  # ftp服务器
    user admin password
    binary   # 设置ftp传输模式为二进制,避免MD5值不同或.tar.gz压缩包格式错误
    cd $dir
    get "$file"
    EOF

    连续输入5个100以内的数字,统计和、最小和最大

    bash 代码:
    #!/bin/bash
    COUNT=1
    SUM=0
    MIN=0
    MAX=100
    while [ $COUNT -le 5 ]; do
        read -p "请输入1-10个整数:" INT    
        if [[ ! $INT =~ ^[0-9]+$ ]]; then
            echo "输入必须是整数!"
            exit 1
        elif [[ $INT -gt 100 ]]; then
            echo "输入必须是100以内!"
            exit 1
        fi
        SUM=$(($SUM+$INT))
        [ $MIN -lt $INT ] && MIN=$INT
        [ $MAX -gt $INT ] && MAX=$INT
        let COUNT++
        done
    echo "SUM: $SUM"
    echo "MIN: $MIN"
    echo "MAX: $MAX

    监测 Nginx 访问日志 502 情况,并做相应动作

    假设服务器环境为 lnmp,近期访问经常出现 502 现象,且 502 错误在重启 php-fpm 服务后消失,因此需要编写监控脚本,一旦出现 502,则自动重启 php-fpm 服务。

    bash 代码:
    #场景:
    #1.访问日志文件的路径:/data/log/access.log
    #2.脚本死循环,每10秒检测一次,10秒的日志条数为300条,出现502的比例不低于10%(30条)则需要重启php-fpm服务
    #3.重启命令为:/etc/init.d/php-fpm restart
    #!/bin/bash
    ###########################################################
    #监测Nginx访问日志502情况,并做相应动作
    ###########################################################
    log=/data/log/access.log
    N=30 #设定阈值
    while :do
     #查看访问日志的最新300条,并统计502的次数
        err=`tail -n 300 $log grep -c '502" '` 
    if [ $err -ge $N ] 
    then
    /etc/init.d/php-fpm restart 2> /dev/null 
    #设定60s延迟防止脚本bug导致无限重启php-fpm服务
         sleep 60
     fi
     sleep 10
     done

    批量修改文件名

    bash 代码:
    # touch article_{1..3}.html
    # lsarticle_1.html  article_2.html  article_3.html
    # 目的:把article改为bbs
    
    # 方法1:
    for file in $(ls *html); do
        mv $file bbs_${file#*_}
        # mv $file $(echo $file sed -r 's/.*(_.*)/bbs\1/')
        # mv $file $(echo $file echo bbs_$(cut -d_ -f2)
    
    # 方法2:
    for file in $(find . -maxdepth 1 -name "*html"); do
         mv $file bbs_${file#*_}done
    
    # 方法3:
    # rename article bbs *.html
    把一个文档前五行中包含字母的行删掉,同时删除6到10行包含的所有字母
    
    1)准备测试文件,文件名为2.txt
    
    第1行1234567不包含字母
    第2行56789BBBBBB
    第3行67890CCCCCCCC
    第4行78asdfDDDDDDDDD
    第5行123456EEEEEEEE
    第6行1234567ASDF
    第7行56789ASDF
    第8行67890ASDF
    第9行78asdfADSF
    第10行123456AAAA
    第11行67890ASDF
    第12行78asdfADSF
    第13行123456AAAA
    
    2)脚本如下:
    
    #!/bin/bash
    ###############################################################
    把一个文档前五行中包含字母的行删掉,同时删除6到10行包含的所有字母
    ##############################################################
    sed -n '1,5'p 2.txt sed '/[a-zA-Z]/'d
    sed -n '6,10'p 2.txt sed s'/[a-zA-Z]//'g
    sed -n '11,$'p 2.txt
    #最终结果只是在屏幕上打印结果,如果想直接更改文件,
    #可将输出结果写入临时文件中,再替换2.txt或者使用-i选项

    扫描主机端口状态

    bash 代码:
    #!/bin/bash
    HOST=$1
    PORT="22 25 80 8080"
    for PORT in $PORT; do
        if echo &>/dev/null > /dev/tcp/$HOST/$PORT; then
            echo "$PORT open"
        else
            echo "$PORT close"
        fi
    done
    用 shell 打印示例语句中字母数小于6的单词
    
    #示例语句:
    #Bash also interprets a number of multi-character options.
    #!/bin/bash
    ##############################################################
    #shell打印示例语句中字母数小于6的单词
    ##############################################################
    for s in Bash also interprets a number of multi-character options.
    do
     n=`echo $swc -c` 
     if [ $n -lt 6 ] 
     then
     echo $s
     fi
    done

    iptables 自动屏蔽访问网站频繁的IP

    场景:恶意访问,安全防范

    1)屏蔽每分钟访问超过200的IP

    bash 代码:
    方法1:根据访问日志(Nginx为例)
    
    #!/bin/bash
    DATE=$(date +%d/%b/%Y:%H:%M)
    ABNORMAL_IP=$(tail -n5000 access.log grep $DATE awk '{a[$1]++}END{for(i in a)if(a[i]>100)print i}')
    #先tail防止文件过大,读取慢,数字可调整每分钟最大的访问量。awk不能直接过滤日志,因为包含特殊字符。
    for IP in $ABNORMAL_IP; do
        if [ $(iptables -vnL grep -c "$IP") -eq 0 ]; then
            iptables -I INPUT -s $IP -j DROP    fidone
            
    方法2:通过TCP建立的连接
    
    #!/bin/bash
    ABNORMAL_IP=$(netstat -an awk '$4~/:80$/ && $6~/ESTABLISHED/{gsub(/:[0-9]+/,"",$5);{a[$5]++}}END{for(i in a)if(a[i]>100)print i}')
    #gsub是将第五列(客户端IP)的冒号和端口去掉
    for IP in $ABNORMAL_IP; do
        if [ $(iptables -vnL grep -c "$IP") -eq 0 ]; then
            iptables -I INPUT -s $IP -j DROP    
            fi
    done

    2)屏蔽每分钟SSH尝试登录超过10次的IP

    bash 代码:
    方法1:通过lastb获取登录状态:
    
    #!/bin/bash
    DATE=$(date +"%a %b %e %H:%M") #星期月天时分  %e单数字时显示7,而%d显示07
    ABNORMAL_IP=$(lastb grep "$DATE" awk '{a[$3]++}END{for(i in a)if(a[i]>10)print i}')for IP in $ABNORMAL_IP; do
        if [ $(iptables -vnL grep -c "$IP") -eq 0 ]; then
            iptables -I INPUT -s $IP -j DROP    fidone
            
    方法2:通过日志获取登录状态
    
    #!/bin/bash
    DATE=$(date +"%b %d %H")
    ABNORMAL_IP="$(tail -n10000 /var/log/auth.log grep "$DATE" awk '/Failed/{a[$(NF-3)]++}END{for(i in a)if(a[i]>5)print i}')"
    for IP in $ABNORMAL_IP; do
        if [ $(iptables -vnL grep -c "$IP") -eq 0 ]; then
            iptables -A INPUT -s $IP -j DROP        
            echo "$(date +"%F %T") - iptables -A INPUT -s $IP -j DROP" >>~/ssh-login-limit.log    
        fi
    done
    声明:本文由 公爵(博主)原创,依据 CC-BY-NC-SA 4.0 许可协议 授权,转载请注明出处。

    还没有人喜爱这篇文章呢

    现在已有

    4

    条评论
    发一条!
    1. 头像
      74-220-200-158.unifiedlayer.com
      • 等级:Lv.1
      • 角色:访客
      • 在线:本月

      Great article.

      · · · 海外
    2. 头像
      Concrete contractors tallahassee fl
      • 等级:Lv.1
      • 角色:访客
      • 在线:三月内

      Excellent blog post. I certainly appreciate this website.
      Keep writing!

      · · · 海外
    3. 头像
      Concrete contractors tallahassee fl
      • 等级:Lv.1
      • 角色:访客
      • 在线:三月内

      Wow, this piece of writing is nice, my sister is analyzing such
      things, therefore I am going to convey her.

      · · · 海外
    4. 头像
      Aegean College
      • 等级:Lv.1
      • 角色:访客
      • 在线:三月内

      Hello everyone, it's my first visit at this site, and article is really fruitful
      for me, keep up posting these articles or reviews.

      · · · 海外
    博客logo 公爵书房 | 技术分享 以指键之轻,承载知识之重 51统计 百度统计
    MOEICP 萌ICP备20226257号 ICP 赣ICP备2022001242号-1 ICP 闽公网安备35020502000606号 又拍云 本站由又拍云提供CDN加速/云存储服务

    🕛

    本站已运行 2 年 35 天 20 小时 21 分

    🌳

    自豪地使用 Typecho 建站,并搭配 MyLife 主题
    公爵书房 | 技术分享. © 2022 ~ 2024.
    网站logo

    公爵书房 | 技术分享 以指键之轻,承载知识之重
     
     
     
     
    壁纸