星星小说

手机浏览器扫描二维码访问

第17章 爬虫(第1页)

“接下来,就是试试获取小说的内容了。”

接下来,他开始编写程序以获取小说的详细信息和内容。

由于小说内容比较庞大,他决定把获取内容的频率放低。

毕竟是在奶茶店,店里面还有不少的人在使用着店里面提供的IFI。

如果他瞬时间向服务器的请求量过大,其他人的网络,基本上就会陷入瘫痪的状态。

他现在只是手痒痒了,想试试手,真正要爬取到足够多的小说数据,至少需要好几天的时间。

“接下来,就是见证奇迹的时刻。”

他开始启动他的爬虫程序,程序开始在小说网站上爬取小说的内容。

无数本小说的内容文字一闪而过,便进入了数据库之中。

“哟,还有点意思。”

他现,在爬取的过程中,点娘小说网站的反爬虫机制还算是不错,他的爬虫程序很快就被封禁了。

针对Ip的。

不过,他快升级了他的爬虫程序,加入了无数的Ip池,以及强大的识别验证码能力,使其更难被网站检测到。

“咦,看来我这掌握的五级信息技术,比我想象之中的要强!”

经过一番小小的折腾,点娘都市小说分类下的数百万本小说,全部进入了他的数据库里面。

“最强的点娘的反爬虫机制也不过如此。看来获取数据集的过程,会比我想象的简单不少。“

那现在就是时间的问题了,等我爬取到足够多的小说数据集,就可以开始训练我的写小说aI模型了!”

他心中充满了自信。

现在,就让小说模型先跑着吧。

今天是周末,奶茶店的人比往常多上不少,等到了快要歇业的时间里,铺子里还有不少的人。

林小玲没办法,只好延长了奶茶店的营业时间。

连带的,王卿一遍看着aI模型的训练,一遍记着单词。

“喂,我要下班了,咱们一起走吧。”

热门小说推荐
高手下山:九个师姐绝色无双

高手下山:九个师姐绝色无双

七年前,叶凌天全家被人所害,只有他险中逃生,遇到了归元子,学的了一身本领。  叶凌天学成下山,获得九个师姐献身帮助,寻找当年幕后黑手报仇,并意外获知自己唯一的妹妹可能还没死...

娘要嫁人嫂子小魏崛起

娘要嫁人嫂子小魏崛起

小说娘要嫁人嫂子小魏崛起的主角是齐之芳。故事讲述了小姑子拿着丈夫的抚恤金,穿着光鲜亮丽,带着三个孩子回娘家蹭饭。她看不起赚钱养家的嫂子,甚至还利用自己的地位和财富来拉皮条介绍小三给哥哥当姘头。然而,这种行为却让全家不以为耻反以为荣。但实际上,这种行为不仅是对嫂子的侮辱和不尊重,更是对社会道德和伦理的践踏。...

和高冷女教师领证,全校都惊了

和高冷女教师领证,全校都惊了

(日常签到)(绝美教授)(爽文)(日常)(爱情)毕业典礼的一场意外,6凡收获倾城女教授,领证结婚,却意外领出了个签到系统,从此走上人生巅峰!叮,宿主在钱包签到,获得巨额家庭创业基金3oo万!叮,宿主在妻子身上签到,获得!!和高冷女教师领证,全校都惊了...

重生之建筑行业清道夫

重生之建筑行业清道夫

简介关于重生之建筑行业清道夫王穿越平行世界,开局获得建筑大佬系统,芜湖起飞啦!什么!给农民工六险二金??…那个,你们还要人不,你看我咋样?甲包工头这是要卷死我们呀!乙包工头坚决抵制!!项目经理tmd,不合规材料怎么爆出去的!!监理方现在想收点红包已经这么难了,靠工资养不起家啊,你们劳务队还要人不…王有系统,我怕个d,来啊,互相伤害啊!...

塔防世界

塔防世界

简介邪恶力量席卷世界,所有的城市乡村被隔绝成一座座孤立的堡垒,坚强抵御着无穷无尽的魔物攻击。运输飞艇是这个世界唯一的交通工具。欢迎来到世界级网游塔防世界!箭塔,城墙,魔法与蒸汽飞艇的热血世界!王力是一名普通的外卖员,受一位严厉父亲的委托进入了塔防世界,王力的任务就是治疗他儿子的网瘾...