星星小说

手机浏览器扫描二维码访问

第17章 爬虫(第1页)

“接下来,就是试试获取小说的内容了。”

接下来,他开始编写程序以获取小说的详细信息和内容。

由于小说内容比较庞大,他决定把获取内容的频率放低。

毕竟是在奶茶店,店里面还有不少的人在使用着店里面提供的IFI。

如果他瞬时间向服务器的请求量过大,其他人的网络,基本上就会陷入瘫痪的状态。

他现在只是手痒痒了,想试试手,真正要爬取到足够多的小说数据,至少需要好几天的时间。

“接下来,就是见证奇迹的时刻。”

他开始启动他的爬虫程序,程序开始在小说网站上爬取小说的内容。

无数本小说的内容文字一闪而过,便进入了数据库之中。

“哟,还有点意思。”

他现,在爬取的过程中,点娘小说网站的反爬虫机制还算是不错,他的爬虫程序很快就被封禁了。

针对Ip的。

不过,他快升级了他的爬虫程序,加入了无数的Ip池,以及强大的识别验证码能力,使其更难被网站检测到。

“咦,看来我这掌握的五级信息技术,比我想象之中的要强!”

经过一番小小的折腾,点娘都市小说分类下的数百万本小说,全部进入了他的数据库里面。

“最强的点娘的反爬虫机制也不过如此。看来获取数据集的过程,会比我想象的简单不少。“

那现在就是时间的问题了,等我爬取到足够多的小说数据集,就可以开始训练我的写小说aI模型了!”

他心中充满了自信。

现在,就让小说模型先跑着吧。

今天是周末,奶茶店的人比往常多上不少,等到了快要歇业的时间里,铺子里还有不少的人。

林小玲没办法,只好延长了奶茶店的营业时间。

连带的,王卿一遍看着aI模型的训练,一遍记着单词。

“喂,我要下班了,咱们一起走吧。”

热门小说推荐
总裁的豪门新欢:抵死缠绵

总裁的豪门新欢:抵死缠绵

八年之前,她是万千娇宠的豪门千金,他是傲骨铮铮的穷酸少年,他视她如珠如宝,她却转身嫁作他人。八年之后,她是一无所有的落魄弃妇,他是地产界呼风唤雨的商业大亨。为报仇,他肆意压榨,更冷酷地将她全家推...

种田发家:首辅家的掌上娇

种田发家:首辅家的掌上娇

作品简介徐宁是十里八乡出了名的美娇娘,可惜出身不好。徐宁样样出挑也没人敢上门提亲吧?万一被克了呢?徐屠户放话我家宁娘要招上门女婿!读书郎对徐宁一见钟情小生自荐做徐家赘婿!农学博士霍云朝穿成忘恩负义的读书郎,他造农具搞化肥育良种,为徐宁打造福运之名,挣诰命,功成辅。坊间盛传赘婿难为,霍云朝必将休妻另娶!霍云朝当众辟谣我是徐家赘婿,要休也是我被休!...

应烟陆臣

应烟陆臣

应烟陆臣应烟陆臣陆臣应烟陆臣应烟...

刚获得赌石神眼,你确定要分手?

刚获得赌石神眼,你确定要分手?

小人物逆袭透视赌石鉴宝捡漏神豪孟川,一个古玩店小职员,普普通通的打工人一枚!谁曾想上午刚跟未婚妻领证,下午就被小舅子冤枉偷人,还要他净身出户!悲愤交加下他大打出手,却被小舅子打成重伤,阴差阳错下获得透视之力!从此,孟川的人生彻底改写,那些欺辱他的人,也将坠入深渊!鉴宝,赌石成了他的主旋律,古玩字画,翡翠玉石他一眼定乾坤!孟川也从古玩开始,开启了一段璀璨人生!...

认错反派后我攻略了他

认错反派后我攻略了他

认错反派后我攻略了他...