不怎么好走的路 才是上坡路
不怎么好走的路 才是上坡路人生所有往上的路,都与我们本能的懒惰、懈怠和拖延不相容。当你觉得很苦很累时,千万不要泄气,因为你可能正走在上坡的路上。请相信,正是因为那些看起来很难的努力、付出和坚持,才成就了那个不断变得更好的自己。永远不要停止学习一件事你做过一百遍,也还有可以精进之处;一篇文章你写过一百遍,也还有可以改进之处;一种方法你用过一百遍,也还有可以完善之处。一旦停止学习,人就会止步不前。生活中有四件事可以改变你 爱 音乐 文字和失去前三件事让人心生希望 请允许最后一件使你变得勇敢。这世界不停开花,我想放进你心里一朵。
swap使用过度后果
SWAP使用过多的后果1swap是使用磁盘空间制作的交换分区,一般在机器的物理内存不够使用时才会把部分比较不活跃数据暂时缓存在swap分区中
简单举一下例子
在一个运维的交流群里面有人说他的1G内存服务器划分了8G的swap空间然后跑了gitlab和8个java服务和cicd(我纯路人)
123不说Java服务的内存起伏了,就单聊聊这个gitlab,官方推荐的最低配置是2核4G才可以跑,我在虚拟机的测试中4G也是远远不够给gitlab使用,个人感觉最少给个8G才能勉强使用,毕竟启动便要2G内存(使用docker安装的可能会偏低一些但是不会低到哪去)本来是在内存中都需要保底点说6G的内存,在真实内存只有1G的云服务器上和8G的swap空间,要怎么使用呢,其中5G的内存需求8G的swap空间要怎么顶替,众所周知内存的速度无比的快,底部是磁盘存储的swap要承担其中5G内存空间的快速频繁的读写操作会导致机器的磁盘IO繁忙,自然便会极大降低操作系统的运行速率,甚至导致宕机,这也是为什么k8s禁止使用swap的部分原因
cpio
cpio
优点: 可以备份任何的文件
缺点: 需要配合别的命令才能实现
command123456789101112131415cpio -ovcB > [file|device] //备份cpio -ivcdu < [file|device] //还原cpio -ivct < [file|device] //查看# 备份会使用到的参数-o 将数据复制输出到文件或设备上-B 让默认的blocks可以增加至5120字节(默认是512字节),可以让大文件的存储速度加快# 还原会使用到的参数-i 将数据自文或设备复制出来-d 自动建立目录,使用cpio所备份的内容不见得会在同一层目录中,所以要让cpio在复制的时候可以自己创建目录-u 自动把新文件覆盖旧文件-t 配合-i查看以cpio建立的文件或设备的你内容-v 显示过程-c 以portable format方式存储
example:
备份/boot目录中的内容
12345# cd /# find boot | cpio -ocvB > /o ...
dd
dd
1234567891011121314# lsblk/dev/sdb 10G/dev/sdc 10G# mkfs.xfs /dev/sdb /dev/sdc是作为要复制的"路径"设备,不需要格式化成xfs文件系统,dd命令可以将源块设备的磁盘分区上扇区的数据整个复制,连同超级区块、启动扇区、元数据和UUID都会一致复制# mkdir /{sdb,sdc} -v# mount /dev/sdb /sdb# mounr /dev/sdc /sdc# cp -a /etc/. /sdb/# dd if=/dev/sdb of=/dev/sdc //直接把/dev/sdb设备块复制到/dev/sdc,不指定bs# xfs_repair -L /dev/sdc //让日志文件归零,清理一下日志# xfs_admin -U `uuid` /dev/sdc //重新指定一下UUID,因为使用dd命令拷贝的时候连UUID也一并拷贝相同了# mount /dev/sdc /sdc //查看一下复制过来的和/dev/sdb设 ...
私人云盘之Alist
Alist
预览
效果预览
详情看Alist12345# curl -fsSL "https://alist.nn.ci/v3.sh" | bash -s install // 新手使用一键脚本安装是最简单的啦# 默认运行在5244端口,我这里是基于域名的多https服务,后面可能会写上# 默认二进制文件存放在了/opt/alist下,这里要获取一下初始密码# cd /opt/alist# ./alist admin # 会显示你的初始密码,记录起来Alist默认支持了本地存储的挂载和多种当前比较流行的网盘挂载例如百度网盘,阿里云盘等等,但和我都没关系因为我使用的是天翼云盘
天翼云盘挂载
首先在pc网页端登陆上天翼云盘,设置好密码,进入到想要挂载的目录下,查看当前网址的最后一串数字便是文件夹ID像我一样挂载的也是天翼云盘中alist下的目录,进入到alist目录然后查看预览 ...
safe-rm
safe-rm
看名字就能知道是什么了,安全的rm命令
比rm命令增加的功能,skip Directory or file
这里使用的二进制包
safe-rm.tar.gzhttps://alist.linjiangyu.com/d/Linux/safe-rm-0.12.tar.gz
1234567# tar xf safe-rm.tar.gz# cd safe-rm-0.12# chown root. safe-rm# mv safe-rm /usr/local/bin/rm# vim /etc/profileexport PATH=/usr/local/bin:$PATH# source /etc/profile
编写一下禁止删除的文件或文件夹
12345678910111213141516# touch /opt/t1 // 测试文件# vim /etc/safe- ...
hadoop+spark+zookeeper+hive分布式集群搭建
大数据服务合集
2022-09-01 hadoop+spark
hadoop+spark初识
2022-11-11 zookeeper
向集群加入了zookeeper分布式
2022-11-19 hive
这里也写了适配CentOS6.x的配置
大数据服务合集
大数据服务合集
2022-09-01hadoop和spark的初识[1]hadoop and spark参考资料2022-11-11添加了zookeeper分布式[2]zookeeper参考资料2022-11-19添加了结合Mariadb的hive数据库使用[3]hive参考资料
[1]hadoop and spark分布式
[2]zookeeper
[3]hive
hadoop+spark+zookeeper+hive分布式集群部署
环境准备
环境的准备基于我写的初始化脚本,自用7.x系列的CentOS,老版本的就支持CentOS/Redhat6,7,8但是有点不完善,需要可以邮箱或者博客留言。
o ...
ecy
网页视频素材
Your browser does not support the video tag.
Your browser does not support the video tag.
Your browser does not support the video tag.
Your browser does not support the video tag.
Your browser does not support the video tag.
Your browser does not support the video tag.
Your browser does not support the video tag.
Your browser does not support the video tag.
Your browser does not support the video tag.
Your browser does not support the video tag.
Your browser does not support the video ta ...
sesync实时监控同步文件
sesync的实时同步
sesync2https://alist.linjiangyu.com/d/Linux/sersync2.5.4_64bit_binary_stable_final.tar.gz
也要结合rsync和Inotify一起使用
IP
HOSTNAME
192.168.222.160
master
192.168.222.161
backup
backup的rsyncd的配置
1234567891011121314151617181920212223# yum install -y rsync# vim /etc/rsyncd.confuid = rootgid = root#use chroot = yesmax connections = 0pid file = /var/run/rsyncd.pidexclude = lost+found/#transfer logging = yes#timeout = 900#ignore nonreadable = yes#dont compress = *.gz *.tgz *.zi ...
hadoop+spark+zookeeper分布式集群搭建
hadoop+spark+zookeeper分布式集群部署1.环境准备
环境的准备基于我写的初始化脚本,自用7.x系列的CentOS,老版本的就支持CentOS/Redhat6,7,8但是有点不完善,需要可以邮箱或者博客留言。
os\ip
hostname
block
centos7.9 192.168.222.226
master
rsmanager,datanode,namenode.snamenode,nmanager
centos7.9 192.168.222.227
node1
snamenode,nmnager,datanode
centos7.9 192.168.222.228
node2
datanode,nmanager
1234567# git clone https://github.com/linjiangyu2/K.git //可能会拉不下来,多拉几次就下来了,因为托管代码的服务器是国外的# cd K# cat README.md //不会使用的要看一下这个文件,了解脚本需要输入的配置# ./ksh //依次输入你自 ...