python+selenium对table表和分页处理_开发_开发者

python+selenium编写实现爬虫过程：

1.爬虫循环处理table表，
2.table表分页处理，
3.网页table所有内容循环处理
4.获取隐藏的href超链接内容，
5.所有数据本地csv保存，

代码如下：

from selenium.webdriver.chrome.options import Options
import pandas as pd
import math
from selenium import webdriver
import time

# 配置chrome的参数
options = Options()
options.add_argument('--headless')
# options.add_experimental_option('excludeSwitches', ['enable-automation']) #避开验证码
# 获取一个浏览器对象
browser = webdriver.Chrome(chrome_options=options)
browser.get("C:\\Users\\XXXX\\XXXX.html")
# 打印整个表格信息
# print(browser.find_element_by_xpath("//*[@id=IQVUMOpbX\"versions-bom-layout\"]/div/divIQVUMOpbX[5]/div/div/div/div[1]/table/tbody").text)


data = [] # 建立空列表存储表格信息
# 获取总页数（通过二次定位方法进行定位）
# total_pages1 = len(browser.find_eIQVUMOpbXlement_by_class_name("pagination").find_elements_by_tag_name("li")) - 2
# print("total_pages is %s" % (total_pages1))

# 共有多少个组件需要提取
total_num = \
  browser.find_element_by_xpath("//*[@id=\"versions-bom-layout\"]/div/div[5]/div/div/div/div[1]/div").text.split(
    '共')[1]
print(f'total_编程客栈num====：：：：：：：：{total_num}')

total_pages = math.ceil(int(total_num) / 100) + 1 # 每页显示100个组件, 获取总页数
print(f'total_pages====：：：：：：：：{total_pages}')
time.sleep(10) #

# total_pages = len(browser.find_element_by_tag_name('select').find_element_by_tag_name('option'))
for i in range(1, total_pages): # page:总共有total_pages-1页
  # # 获取分页输入框标签的定位
  # inputpage = browser.find_element_by_xpath("//*[@id='pager_center']/table/tbody/tr/td[5]/input")
  # # 首先清除输入框里面的数字
  # inputpage.clear()
  # # 然后发送页码，我们为了方便，就把第一页也写在了里面
  # inputpage.send_keys(str(i))
  # # 最后模拟键盘点击Enter键
  # inputpage.send_keys(Keys.ENTER)
  # # 为了是数据刷新出来，做了一个小小的死延时处理

  time.sleep(10) # 让浏览器先加载一下动态页面
  t_body = browser.find_element_by_tag_name('tbody') # 定位表格主体
  tr_list = t_body.find_elements_by_tag_name('tr') # 定位表格每一行
  numbers = len(tr_list)
  print(f'tr_list[0].text===={tr_list[0].text}')

  # for i in range(numbers):
  for tr in tr_list:
    td_list = tr.find_elements_by_tag_name('td') # 定位表格每个单元格
    lst = [] # 建立空列表存储每行信息
    for td in td_list:
      # lst.append("B-momv2core-121-anyreport-BinaryScan") # 添加版本信息
      lst.append(td.text) # 添加每个单元格的文本信息
      href = td_list[4].find_element_by_tag_name('a').get_attribute("href") # 获当前行第5个td单元格的超链接
    print(u"第n行第n列的text:", href)
    lst.append(href) # print(u"第一行第二列的text:", href) # 添加文件链接
    data.append(lst) # 添加每行信息

  # 点击下一页逻辑判断
  # 如果table只有1页，不作处理，直接退出循环
  # 如果table只有2页，点击下一页处理条件（total_pages == 3 and i == 1）
  # 如果table2页以上，点击下一页处理条件（total_pages > 3 and i < (total_pages - 1)）
  if total_pages == 3 and i == 1:
    browser.find_element_by_xpath("//*[contains(text(),'下一页')编程客栈]").click()

  elif total_pages > 3 and i < (total_pages - 1):
    browser.find_element_by_xpath("//*[contains(text(),'下一页')]").click()

df = pd.DataFrame(data,
         columns=['选择', '策略', '审核', '版本组', '匹配数', '3', '4', '5', '6', '7', '8', '9', '10', '来源链接'])
df.to_csv('获取未知xxx.csv', encoding='utf_8_sig')
browser.quit()

效果图：

python+selenium对table表和分页处理