愚蠢的地球人

OpenWRT路由器科学上网自动分流的工作原理

最近研究了一台刷了OpenWRT的路由器,里面有一个科学上网的工具引发了我的兴趣。
研究了好几天,终于把国内国外流量自动分流的原理弄清了。
很多东西都是个人的猜测,如有不对的地方,欢迎大家留言讨论。

OpenWRT科学上网自动分流主要是利用了如下几个工具:iptables、ipset、dnsmasq、pdnsd。我先来一个一个的解释一下这几个东东:

iptables是Linux系统自带的基于包过滤的防火墙工具,可以对流入、流出及流经服务器的数据包进行精细的控制。

ipset是iptables的扩展,它允许你创建某一类IP地址的集合,然后将这个集合交给iptables来处理。

dnsmasq是一个DNS缓存服务器,它可以将特定的域名发送给不同的dns服务器进行解析,不仅如此,它还可以把解析出来的IP地址存储在指定的ipset中。

pdnsd也是一个DNS缓存服务器,相对于dnsmasq,pdnsd的优点是可以使用TCP方式来查询DNS,但是pdnsd无法设置ipset,所以需要将dnsmasq和pdnsd两个结合起来使用。

弄清楚了这些工具的作用,OpenWRT路由器科学上网自动分流的工作原理就不难理解了:

首先,科学上网的进程启动之后会自动将需要走代理的域名地址添加到dnsmasq的conf-dir目录下的一些名为*.conf的文件中,内容如下:
server=/google.com/127.0.0.1#1053
ipset=/google.com/gfwlist
第一行意思是解析google.com这个域名时不使用默认的DNS服务器,而是将查询请求转发到127.0.0.1#1053(pdnsd侦听的端口),由pdnsd来负责解析。
第二行意思是将google.com解析出来的IP地址添加到一个名为gfwlist的ipset集合里面。
这样,需要走代理的域名使用pdnsd来解析,不需要走代理的域名使用宽带运营商默认的DNS来解析,实现了域名解析的分流。

然后,它会修改iptables的转发规则,将gfwlist这个ipset添加到iptables的NAT规则列表中,利用iptables来转发这个ipset中的数据。
我们来查看一下路由器的iptables如何处理名为gfwlist的这个ipset:

More...


用Python读取图片的Exif时间给相册图片批量重命名

现代的智能手机拍出来的照片文件默认的命名方式是类似:“IMG_20191201_150800.jpg”这样的结构,但是我发现我手机里好多老照片没有遵循这一命名规则。

不仅前缀五花八门,而且很多老的手机默认不是以日期时间而是以一个递增的序号来命名。强迫症的我无法接受这些乱七八糟的命名,于是我写了一个Python程序来批量对这些图片来重命名。

读取一个图片文件的修改时间有两种方式,一是直接读取文件本身的修改时间,二是读取图像Exif信息中的时间。

第一种方式读取方法最简单,但是有一个很严重的问题:文件的修改时间并没有储存在文件本身,而是储存在磁盘文件系统的文件表里面,当你将一个文件从一个文件系统复制到另一个文件系统的时候,原来的时间戳会丢失:比如说当你把一个图片文件从手机拷贝到电脑或者当你把照片从电脑拷贝到手机的时候,文件的修改时间就会变成文件复制的时间。

More...


用Python批量压缩图片来给你的手机相册瘦身

我每次换手机都会把旧手机里的照片备份出来拷贝进新手机里,于是现在我的手机里面就有了几十个GB的照片。但是以手机摄像头的成像质量,一张照片动不动就5到10MB的尺寸实在是太浪费手机的存储空间了。

于是我开始在网上寻找能给相册瘦身的APP,终于我找到了一款叫“相册管家”的应用。这是一个腾讯出品的软件,功能非常多,照片压缩只是它附带的一个小功能。

More...


家用NAS利用公网IPV6外网访问

通过IPV6从外网访问家里的NAS需要做两件事:一是解决IPV6的DDNS,二是配置路由器的防火墙。


先说DDNS,我用的是群晖的NAS,动态域名用的是Dnspod,但是群晖NAS自带的DDNS不支持Dnspod的IPV6更新。

只能自己写脚本来解决这个问题,直接上代码: 【以下代码在群晖DSM6系统下测试正常,其他设备可能需要做修改】

#!/bin/bash
#Dnspod DDNS6 with BashShell
#改编自Github:https://github.com/kkkgo/dnspod-ddns-with-bashshell
#CONF START
#API_ID和API_Token在dnspod的控制台 -> 用户中心 -> 安全设置 -> API Token 中获取
API_ID="12345"
API_Token="abcdef123456abcdef123456abcdef123456"
domain="yourdomain.com"
host="yourhost"
DEV="eth0"
#CONF END
date

IPREX="((([0-9A-Fa-f]{1,4}:){7}([0-9A-Fa-f]{1,4}|:))|(([0-9A-Fa-f]{1,4}:){6}(:[0-9A-Fa-f]{1,4}|((25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)(\.(25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)){3})|:))|(([0-9A-Fa-f]{1,4}:){5}(((:[0-9A-Fa-f]{1,4}){1,2})|:((25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)(\.(25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)){3})|:))|(([0-9A-Fa-f]{1,4}:){4}(((:[0-9A-Fa-f]{1,4}){1,3})|((:[0-9A-Fa-f]{1,4})?:((25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)(\.(25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)){3}))|:))|(([0-9A-Fa-f]{1,4}:){3}(((:[0-9A-Fa-f]{1,4}){1,4})|((:[0-9A-Fa-f]{1,4}){0,2}:((25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)(\.(25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)){3}))|:))|(([0-9A-Fa-f]{1,4}:){2}(((:[0-9A-Fa-f]{1,4}){1,5})|((:[0-9A-Fa-f]{1,4}){0,3}:((25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)(\.(25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)){3}))|:))|(([0-9A-Fa-f]{1,4}:){1}(((:[0-9A-Fa-f]{1,4}){1,6})|((:[0-9A-Fa-f]{1,4}){0,4}:((25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)(\.(25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)){3}))|:))|(:(((:[0-9A-Fa-f]{1,4}){1,7})|((:[0-9A-Fa-f]{1,4}){0,5}:((25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)(\.(25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)){3}))|:)))"

DEVIP=$(ip -6 addr list scope global $DEV | grep -v " fd" | grep inet6 | awk '{print $2}' | head -n 1)
if (echo $DEVIP | grep -qEvo "$IPREX");then
  echo "Get $DEV inet6 IP Failed."
  exit
else DEVIP=$(echo $DEVIP | grep -Eo "$IPREX" | head -n 1)
fi
echo "[DEV IP]:$DEVIP"

DNSTEST=$(nslookup -q=AAAA $host.$domain)
if (echo $DNSTEST | grep -qEvo "$IPREX");then
  echo "Get $host.$domain DNS Failed."
  exit
else DNSIP=$(echo $DNSTEST | grep -Eo "$IPREX" | tail -n 1)
fi
echo "[DNS IP]:$DNSIP"

if [ "$DNSIP" == "$DEVIP" ];then
  echo "IP SAME IN DNS,SKIP UPDATE."
  exit
fi

token="login_token=${API_ID},${API_Token}&format=json&domain=${domain}&sub_domain=${host}"
Record=$(curl -s -k -X POST https://dnsapi.cn/Record.List -d "${token}")
iferr=$(echo ${Record#*code} | cut -d'"' -f3)
if [ "$iferr" == "1" ];then
  record_ip=$(echo ${Record#*value} | cut -d'"' -f3)
  echo "[API IP]:$record_ip"
  if [ "$record_ip" == "$DEVIP" ];then
    echo "IP SAME IN API,SKIP UPDATE."
    exit
  fi
  record_id=$(echo ${Record#*\"records\"\:\[\{\"id\"} | cut -d'"' -f2)
  record_line_id=$(echo ${Record#*line_id} | cut -d'"' -f3)
  echo Start DDNS update...
  ddns=$(curl -s -k -X POST https://dnsapi.cn/Record.Modify -d "${token}&record_id=${record_id}&record_line_id=${record_line_id}&value=${DEVIP}&record_type=AAAA")
  ddns_result="$(echo ${ddns#*message\"} | cut -d'"' -f2)"
  echo -n "DDNS upadte result:$ddns_result "
  echo $ddns | grep -Eo "$IPREX" | tail -n 1
else echo -n Get $host.$domain error :
  echo $(echo ${Record#*message\"}) | cut -d'"' -f2
fi

将以上代码保存为.sh文件,然后在NAS系统里添加一个计划任务:

More...


电脑BIOS系统引导过程详解

目前个人电脑主要的系统引导方式有两种:传统的Legacy BIOS和新型的UEFI BIOS。

要了解引导方式首先要了解一下磁盘分区表格式,一般来说,磁盘分区表有两种格式:MBR和GPT。MBR分区表在Windows操作系统下最多支持4个主分区(只允许有一个分区是活动的)或3个主分区+1个扩展分区(包含多个逻辑分区),扩展分区必须划分为逻辑分区才能使用,1个扩展分区可以划分多个逻辑分区。GPT分区表对分区数量没有限制,但在Windows系统上最多可以支持128个主分区。


传统的Legacy BIOS无法识别GPT分区表格式,所以也就没有LegacyBIOS+GPT的组合方式,也就是说传统Legacy BIOS引导系统的时候只能通过MBR来引导。MBR位于硬盘的0柱面、0磁头、1扇区,占用512个字节。MBR不属于任何一个操作系统,是所有系统公用的,它先于所有的操作系统被调入内存并发挥作用,然后才将控制权交给活动主分区内的操作系统。安装操作系统的时候安装程序会在MBR中写入引导程序,电脑开机以后MBR中的引导程序会自动在活动分区中搜寻相应的启动程序并执行:

More...


使用AmazeUI做了个ZblogPHP主题

ZblogASP有一个AmazeUI的主题,非常喜欢,可惜PHP版的Zblog没有这个主题,于是自己就做了一个。

两栏布局,灰色简洁风格,适合个人博客使用。响应式布局,自动适应手机、平板、桌面等各种尺寸的显示。

index_phone.png

More...


中国民航飞行员辞职现状分析

我在上一篇文章《中国民航飞行员辞职诉讼法律法规解读》中详细介绍了飞行员辞职再就业相关的法律法规。根据这些法律法规,从理论上讲飞行员通过司法诉讼辞职的道路是一片坦途。但是理想很丰满,现实却很骨感,近几年来飞行员通过司法诉讼辞职成功的案例非常少,特别是三大航,几乎没有一起成功的案例!这又是为什么?现在我就来讲讲辞职飞行员再就业的现实情况。

在飞行员再就业的三大手续里,体检关系和安保评价一般的法院判决书里都支持。就算法院判决不支持,也可以不依赖原公司通过其他途径来解决。原公司唯一能卡住飞行员再就业的只有“飞行员注册”。为了说明辞职飞行员在办理飞行员注册手续时所面临的一些问题,我这里举三个飞行员的栗子:

More...


中国民航飞行员辞职诉讼法律法规解读

文章开始之前,我先给大家讲讲古时候青楼女子和老鸨的那些事,算是做个普法教育。

老鸨对青楼女子的控制有两项收入,一项我们可以称之为营业性收人,也就是青楼女子在青楼接待客人的收入,一项是财产性收入,即出售青楼女子本身形成的收入,也就是青楼女子赎身的收入。在青楼女子进入青楼之初,老鸨像老师一样教习她各种技能,之后要求她们将这些技能应用于工作并获得相应报酬,而青楼女子如何才能赎身则由老鸨规定条件。老鸨在青楼女子赎身的时候,会以培养费为借口要一大笔钱,但事实上老鸨在青楼女子为其工作时,就已经收回了培养成本。尽管如此,旧社会的老鸨们其实还是很有契约精神的,只要你肯拿出赎身的银两,老鸨立马就会交出卖身契放人,而不会闹到衙门去打官司,一审二审拖你个两三年。

More...


Mac开机启动项详解

一、Login Items
Mac OSX的当前用户成功登录后启动的程序,该类别的启动项配置文件存放在~/Library/Preferences/com.apple.loginitems.plist,所以只针当前用户,你可以通过以下方式进行设置:
1.在系统偏好设置的“用户与群组”下面进行设置,可以删除、添加、开启和关闭;
2.你可以直接修改~/Library/Preferences/com.apple.loginitems.plist配置文件,其中每一个启动项对应一个字典,有Alias、Icon、Name三个值,其中Name是NSString类型,其它是Data类型,尚不知如此序列化生成,所以目前可以删除;
3.通过LSSharedFileListInsertItemURL和LSSharedFileListItemRemove方法进行添加删除,相关的介绍(注册程序开机启动).
 
二、Launchd Daemon
此类型的启动项都由launchd来负责启动,launchd是Mac OS下用于初始化系统环境的关键进程,它是内核装载成功之后在OS环境下启动的第一个进程。采用这种方式来配置自启动项很简单,只需要一个plist文件,该plist文件存在的目录有
~/Library/LaunchAgents
/Library/LaunchAgents
/System/Library/LaunchAgents
以上三个目录为系统推荐放置的路径,是当登录之后启动的进程
 
~/Library/LaunchDaemons
/Library/LaunchDaemons
/System/Library/LaunchDaemons
放置在以上三个目录,则启动为守护进程,为系统启动后立即启动的进程
 
不同的目录进程启动的权限和优先级是不一样的,你可以通过以下的方式进行设置:
1.通过launchctl load xxx.plist或launchctl unload xxx.plist命令添加和删除指定启动项;
2.直接创建、修改、删除相关目录下面的plist文件。
 
plist中主要的字段和它的含义
Label 用来在launchd中的一个唯一标识,类似于每一个程序都有一个identifies一样。
UserName 指定运行启动项的用户,只有当Launchd 作为 root 用户运行时,此项才适用。
GroupName 指定运行启动项的组,只有当Launchd 作为 root 用户运行时,此项才适用。
KeepAlive 这个key值是用来控制可执行文件是持续运行呢,还是满足具体条件之后再启动。默认值为false,也就是说满足具体条件之后才启动。当设置值为ture时,表明无条件的开启可执行文件,并使之保持在整个系统运行周期内。
RunAtLoad 标识launchd在加载完该项服务之后立即启动路径指定的可执行文件。默认值为false。
Program 这个值用来指定进程的可执行文件的路径。
ProgramArguments 如果未指定Program时就必须指定该项,包括可执行文件文件和运行的参数。
 
三、StartupItems
StartupItems,顾名思义,就是在系统启动过程中运行的程序,它们可以是运行完就立即终止的程序(比如,开机清空废纸篓),也可以是一直持续在系统运行周期的后台进程。
StartupItems一般存放在以下两个路径下:
/System/Library/StartupItems
/Library/StartupItems
 
大部分与系统相关的StartupItems都放在/System/Library/StartupItems这个路径下,它们会先于/Library/StartupItems路径下的执行,因为前者路径下的StartupItems提供了系统级的基础服务,比如crash reporting,core graphics services,system accounting等,而后者路径在默认情况下是不存在的,需要自己手动创建。
这里我们以/Library/StartupItems目录下的IcebergControlTower为例。
简单来说,在Mac OS X上,一个StartupItems包含以下两个方面的内容:
1.可执行程序;
2.包含依赖进程关系的plist文件(StartupParameters.plist)。
StartupParameters.plist 是一个属性列表,包含了运行可执行程序的必要条件,plist中主要的字段和它的含义。该plist需要获得root权限,包含了几个方面的内容:
1)Description;
对该服务的一个简单的描述,仅仅是描述,并不是说明实际的进程名称。
2)Provides;
指定StartupItems提供的服务。如图plist文件Provides中说明,StartupItems开启的后台进程名为:Iceberg Control Tower。
Provides可以指定多个服务,反映在图中就是Item0,Item1…等。这里只有Item0。
3)Uses;
指定了在StartupItems加载之前需要开启的服务。Mac OS X系统先尝试着加载Uses中指定的服务,然后再加载StartupItems。也就是说,即使Uses中指定的服务没有加载成功,系统仍然会加载StartupItems。
4)OrderPreference;
指定执行StartupItems的时间顺序。这个顺序的重要程度排在Uses之后,是指定执行完Uses之后的顺序。可能的取值包括:First, Early, None(default), Late, Last。
5)Messages。
The Executable File
 
注意:
1)可执行文件的名称和它所在的文件夹的文件名是一样的,这是系统默认的规则。
2)操作可执行文件需要获得root权限。
3)可执行文件是一个shell脚本。
 
打开IcebergControlTower文件目录下同名的可执行文件,可以看到脚本的具体内容。
 
一般的可执行文件包含这样几个方面的内容:
1)./etc/rc.common
Apple提供的一个脚本库,该脚本库里包含了为可执行文件引进参数的接口。在这里load这个库主要是调用RunService。
2)StartService(), StopService(), RestartService()
当可执行文件接收到的参数为start,stop或者restart时,执行相对应的函数。
参数含义:
start:开机过程中开启服务;
stop:关机过程中停止服务;
restart:在特定条件下重启服务。
3)RunService “$1”
执行传递给该脚本的第一个参数指定的服务。
“$1” 表示传给该脚本的第一个参数。例如,传入的参数为start,则执行StartService()。

Ubuntu系统Aria2安装配置以及管理

Aria2是linux的下载神器,我们可以把它部署到远程VPS或者本地路由器上,本文简单介绍一下Aria2在Ubuntu系统下的安装和配置。

安装:

apt-get install aria2


建立配置文件:

mkdir /etc/aria2 #新建文件夹
touch /etc/aria2/aria2.session #新建session文件
chmod 777 /etc/aria2/aria2.session #设置aria2.session可写
vim /etc/aria2/aria2.conf #创建并编辑配置文件,稍后会详细介绍配置文件


More...


 

最新留言

最近发表

网站分类

Tags列表

友情链接

控制面板

您好,欢迎到访网站!
  [查看权限]

站点统计

  • 文章总数:59
  • 评论总数:86
  • 浏览总数:253444
  • 当前主题:Amaze响应式博客主题