易语言实地培训长期招生 QQ1615457736

乐易论坛

 找回密码
 立即注册

微信登录

微信扫码,快速开始

QQ登录

用QQ账号登陆

导航
导航
培训
培训
产品
产品
易歪歪客服聊天助手——永久免费阿里云服务器最高¥1888云产品通用代金券我要租广告
易歪歪客服聊天助手——永久免费阿里云服务器低至10元/月我要租广告
易歪歪客服聊天助手——永久免费最高2000云产品通用代金券我要租广告
查看: 2134|回复: 0
收起左侧

Python 爬取电影网站的信息

[复制链接]
  • TA的每日心情
    开心
    2019-8-22 05:41
  • 签到天数: 260 天

    [LV.8]以坛为家I

    发表于 2018-10-30 09:05:05 | 显示全部楼层 |阅读模式

    乐易编程网免费注册!抓住机会哦!

    您需要 登录 才可以下载或查看,没有帐号?立即注册

    x
    本帖最后由 艾鱼 于 2018-10-30 09:19 编辑

    自学Python一段时间了,写的代码比较紊乱,也不多,大佬勿喷。

    1. #!/usr/bin/env python
    2. # -*- coding: utf-8 -*-
    3. # @Date    : 2018-07-30 17:14:11
    4. # @Author  : --Eruy-- (yl8923@qq.com)
    5. # @Link    : https://www.leybc.com/
    6. # @Version : $Id$
    7. #请求库
    8. import requests

    9. #解析库 bs4  css pyquery Json xpath re
    10. from lxml import etree

    11. #        类
    12. class MiNiMp4(object):

    13.         """docstring for GetMovies"""
    14.        
    15.         def GetMovies(self, page):
    16.                 url = 'http://www.minimp4.com/movie/?page={}'.format(page)
    17.                 html = requests.get(url)               

    18.                 htmll = etree.HTML(html.text)        #初始化xml
    19.                 hrefs = htmll.xpath('//div[@class="meta"]/h1/a/@href')

    20.                 # print(hrefs)
    21.                 for url in hrefs:
    22.                         html = requests.get(url)

    23.                         dat = etree.HTML(html.text)
    24.                         movieName = dat.xpath('//div[@class="movie-meta"]/h1/text()')
    25.                         print(movieName)

    26.                         self.saveMovies(movieName)
    27.                 # return url
    28.                 #
    29.         @staticmethod
    30.         def saveMovies(data):
    31.                 with open('movies.txt','a',encoding='utf-8') as fp:
    32.                         fp.write(data[0]+'\n')




    33. if __name__ == "__main__":
    34.         minimp4 = MiNiMp4()

    35.         for n in range(10):
    36.                 minimp4.GetMovies(n)


    复制代码

    免费评分

    参与人数 1易币 +10 金钱 +20 收起 理由
    揰掵佲 + 10 + 20 感谢楼主开源,绝对顶你!

    查看全部评分

    欢迎加入乐易论坛VIP,报名联系QQ 43989835
    VIP介绍和课程安排
    回复

    使用道具 举报

    您需要登录后才可以回帖 登录 | 立即注册

    本版积分规则

    关闭

    乐易推荐上一条 /6 下一条

    QQ|网站地图|Archiver|手机版|小黑屋|乐易论坛 ( 湘ICP备19007035号-2 )

    GMT+8, 2019-9-20 09:31 , Processed in 0.074544 second(s), 65 queries , Redis On.

    Powered by Discuz! X3.4 Licensed

    © 2001-2017 Comsenz Inc.

    快速回复 返回顶部 返回列表