Scraping using BeautifulSoup - Lists inside unorganized lists-CodePudding

Im trying to do a simple scrape (from what I´ve been told) of a website to take the names of the business, their location and their province for the 64 pages. I am not receiving any error codes but am only scraping the column headers. There are < li > inside of < ul > but anytime I try change the code I get an error message saying:

"AttributeError: ResultSet object has no attribute 'find'. You're probably treating a list of elements like a single element. Did you call find_all() when you meant to call find()?"

I´ve seen this question asked alot so I apologize if I am beating the broken drum but I am a little stuck, any help would be greatly appreciated!

import requests
from bs4 import BeautifulSoup
import re

url = "https://www.expansion.com/empresas-de/ganaderia/granjas-en-general/2.html"
page = requests.get(url)<br>
soup = BeautifulSoup(page.content, "html.parser")
lists = soup.find_all("section", class_= "directorio_empresas")
for list in lists:
    title = list.find('li', class_="col1")
    location = list.find('li', class_="col2")
    province = list.find('li', class_="col3")
info = [title, location, province]

CodePudding user response：

You have to use just .text method to get string as follows:

import requests
from bs4 import BeautifulSoup
url = "https://www.expansion.com/empresas-de/ganaderia/granjas-en-general/2.html"
page = requests.get(url)
soup = BeautifulSoup(page.content, "html.parser")
lists = soup.select("div#simulacion_tabla ul")

for lis in lists:
    title = lis.find('li', class_="col1").text
    location = lis.find('li', class_="col2").text
    province = lis.find('li', class_="col3").text
    info = [title, location, province]
    print(info)

Output:

['AGRICOLA CALLEJA SL', 'CARPIO', 'VALLADOLID']
['AGRICOLA CALLEJA SL', 'CARPIO', 'VALLADOLID']
['AGRICOLA CALLEN SOCIEDAD LIMITADA', 'TARDIENTA', 'HUESCA']
['AGRICOLA CANOMAR SL', 'VICAR', 'ALMERÍA']
['AGRICOLA CANTON ALANIS SOCIEDAD LIMITADA', 'RINCONADA (LA)', 'SEVILLA']
['AGRICOLA CAP DE LA VALL SL', 'ALCARRAS', 'LÉRIDA']
['AGRICOLA CARBO SOCIEDAD LIMITADA', 'FIGUERES', 'GERONA']
['AGRICOLA CARO GARCIA 2005 SL', 'TALAVERA DE LA REINA', 'TOLEDO']
['AGRICOLA CARPULLI SL', 'CABRERA DE MAR', 'BARCELONA']
['AGRICOLA CASA ALTA SL', 'BULLAS', 'MURCIA']
['AGRICOLA CASA BENTURA SOCIEDAD LIMITADA', 'SIERRA DE LUNA', 'ZARAGOZA']
['AGRICOLA CASA CASEROS SL', 'UTIEL', 'VALENCIA']
['AGRICOLA CASA MOLINERO SOCIEDAD LIMITADA', 'TORRES DE ALCANADRE', 'HUESCA']      
['AGRICOLA CASA PEPA SL', 'BULLAS', 'MURCIA']
['AGRICOLA CERRO COLORAO SL', 'VILLA DEL RIO', 'CÓRDOBA']
['AGRICOLA CERRO DONOSO SL', 'MALAGA', 'MÁLAGA']
['AGRICOLA CERRO LONGO SL', 'MADRID', 'MADRID']
['AGRICOLA CHACON GALVEZ SOCIEDAD LIMITADA', 'ALMERIA', 'ALMERÍA']
['AGRICOLA CHOLO SL', 'TEJEDA DE TIETAR', 'CÁCERES']
['AGRICOLA CIUDAD PASCUAL SOCIEDAD LIMITADA', 'EJEA DE LOS CABALLEROS', 'ZARAGOZA']
['AGRICOLA CODINETA SL', 'VIC', 'BARCELONA']
['AGRICOLA COINEÑA SL', 'MIJAS', 'MÁLAGA']
['AGRICOLA COLMENERO NAVARRO SOCIEDAD LIMITADA', 'ALBACETE', 'ALBACETE']
['AGRICOLA CONDELOR SL', 'LORCA', 'MURCIA']
['AGRICOLA CORNICABRAL SL', 'COLMENAR', 'MÁLAGA']
['AGRICOLA COVADONGA SL', 'GRANJA DE ROCAMORA', 'ALICANTE']
['AGRICOLA DE CARBAINOS S.L', 'MADRID', 'MADRID']
['AGRICOLA DE FRESNEDOSO SL', 'ESPINOSO DEL REY', 'TOLEDO']
['AGRICOLA DE JEDULA SL', 'JEREZ DE LA FRONTERA', 'CÁDIZ']
['AGRICOLA DE LA SELVA SA', 'MADRID', 'MADRID']
['AGRICOLA DE MANZANILLA SA', 'HUELVA', 'HUELVA']
['AGRICOLA DE MIRANDOVA VC SOCIEDAD LIMITADA', 'TOTANA', 'MURCIA']
['AGRICOLA DE NULES SL', 'CASTELLON DE LA PLANA/CASTELLO DE LA PLANA', 'CASTELLÓN']   
['AGRICOLA DE VALDEJAZMIN SA', 'MADRID', 'MADRID']
['AGRICOLA DEL ACEBUCHE SOCIEDAD ANONIMA', 'MADRID', 'MADRID']
['AGRICOLA DEL GEVORA SL', 'USAGRE', 'BADAJOZ']
['AGRICOLA DEL TAMBRE ULLA SL', 'ARZUA', 'LA CORUÑA']
['AGRICOLA DEPOSITO TORRU SOCIEDAD LIMITADA', 'OLIVARES', 'SEVILLA']
['AGRICOLA DIAGONAL M5 SOCIEDAD LIMITADA', 'SEVILLA', 'SEVILLA']
['AGRICOLA DIALVA SL', 'LORCA', 'MURCIA']
['AGRICOLA DOMENEC RIERA SL', 'CASTELLNOU DE SEANA', 'LÉRIDA']
['AGRICOLA DON TOMAS SOCIEDAD LIMITADA', 'FUERTE DEL REY', 'JAÉN']
['AGRICOLA EFEOR SL', 'ALMENDRALEJO', 'BADAJOZ']
['AGRICOLA EFRAM 2019 SL', 'ALPICAT', 'LÉRIDA']
['AGRICOLA EL CARASOL SL', 'SANGUESA/ZANGOZA', 'NAVARRA']
['AGRICOLA EL CORTIJO BIO SL', 'JEREZ DE LA FRONTERA', 'CÁDIZ']
['AGRICOLA EL FOTON SOCIEDAD LIMITADA', 'ECIJA', 'SEVILLA']
['AGRICOLA EL JALI SL', 'EL EJIDO', 'ALMERÍA']
['AGRICOLA EL MINUTO SOCIEDAD DE RESPONSABILIDAD LIMITADA', 'CUEVAS DEL ALMANZORA', 'ALMERÍA']
['AGRICOLA EL NIDO Y LO TROPEL SL', 'TORRE-PACHECO', 'MURCIA']
['AGRICOLA EL OLMO SOCIEDAD LIMITADA', 'NIJAR', 'ALMERÍA']
['AGRICOLA EL PEDROSILLO SL', 'ALCOY/ALCOI', 'ALICANTE']
['AGRICOLA EL SALOBRAL SOCIEDAD LIMITADA', 'ALBACETE', 'ALBACETE']
['AGRICOLA EL SALTADOR SL', 'VERA', 'ALMERÍA']
['AGRICOLA EL SERRANILLO SL', 'MADRID', 'MADRID']
['AGRICOLA EL TEIDE SL', 'OROTAVA (LA)', 'STA C. TENERIFE']
['AGRICOLA EL VINCULO SL', 'SEVILLA', 'SEVILLA']
['AGRICOLA ERICA SL', 'CARTAGENA', 'MURCIA']
['AGRICOLA EXTREMAGRIS SL', 'BADAJOZ', 'BADAJOZ']
['AGRICOLA FADISA SOCIEDAD LIMITADA', 'ALBOLOTE', 'GRANADA']
['AGRICOLA FERNANDEZ MONTES SL', 'LA MOJONERA', 'ALMERÍA']
['AGRICOLA FINCA APARICIO SL', 'PUEBLA DE CAZALLA (LA)', 'SEVILLA']
['AGRICOLA FORESTAL CALAMON SA', 'MARBELLA', 'MÁLAGA']
['AGRICOLA FORESTAL Y COMERCIAL CASA POLO SA', 'MADRID', 'MADRID']
['AGRICOLA GANADERA CASAMATA SL', 'PALMA DEL CONDADO (LA)', 'HUELVA']
['AGRICOLA GANADERA CECU SOCIEDAD LIMITADA', 'PALACIOS Y VILLAFRANCA (LOS)', 'SEVILLA']
['AGRICOLA GANADERA CORLA SL', 'DON BENITO', 'BADAJOZ']
['AGRICOLA GANADERA DEL MAY SL', 'BERMILLO DE SAYAGO', 'ZAMORA']
['AGRICOLA GANADERA EL TOMILLO SL', 'HUESCA', 'HUESCA']
['AGRICOLA GANADERA EXPOR SL', 'CORTECONCEPCION', 'HUELVA']
['AGRICOLA GANADERA HERMANOS ARRIAZA SL', 'CUERVO DE SEVILLA (EL)', 'SEVILLA']        
['AGRICOLA GANADERA INMAZA SA', 'ZAMORA', 'ZAMORA']
['AGRICOLA GANADERA LOS CONDES SL', 'LORCA', 'MURCIA']
['AGRICOLA GANADERA MANGAS HERNANDEZ SL', 'PEDRAZA DE ALBA', 'SALAMANCA']
['AGRICOLA GANADERA NIETO ROMERO JARDIN S.L', 'MEDELLIN', 'BADAJOZ']
['AGRICOLA GANADERA NUESTRA SEÑORA DE PILAR SL', 'OGIJARES', 'GRANADA']
['AGRICOLA GANADERA PEREZ TORRES SL', 'TAFALLA', 'NAVARRA']
['AGRICOLA GANADERA PLUS BINEFAR SOCIEDAD LIMITADA', 'BINEFAR', 'HUESCA']
['AGRICOLA GANADERA SANTA MARINA SA', 'ZAMORA', 'ZAMORA']
['AGRICOLA GANADERA VIÑA ESQUINADA SL', 'MOMBELTRAN', 'ÁVILA']
['AGRICOLA GANADERA Y PAJAS EL VALLE SL', 'VALLE DE LA SERENA', 'BADAJOZ']
['AGRICOLA GARCIA 2019 SL', 'GRANJUELA (LA)', 'CÓRDOBA']
['AGRICOLA GARSAM SL', 'GERENA', 'SEVILLA']
['AGRICOLA GARZA S.L.', 'PALMAS DE GRAN CANARIA (LAS)', 'LAS PALMAS']
['AGRICOLA GERMANS COLL SL', 'FOIXA', 'GERONA']
['AGRICOLA GIBALBIN SOCIEDAD LIMITADA', 'CARRION DE LOS CESPEDES', 'SEVILLA']
['AGRICOLA GUTIERREZ DIAZ SOCIEDAD LIMITADA', 'PUEBLA DE LOS INFANTES (LA)', 'SEVILLA']
['AGRICOLA HAVIVI SL', 'ALGECIRAS', 'CÁDIZ']
['AGRICOLA HERNANDEZ Y MARTIN SL', 'EL EJIDO', 'ALMERÍA']
['AGRICOLA HERQUES SL', 'FASNIA', 'STA C. TENERIFE']
['AGRICOLA HIJO A. MONTERO SL', 'SAN JOSE DEL VALLE', 'CÁDIZ']
['AGRICOLA HNOS CHICO SOCIEDAD LIMITADA', 'HELLIN', 'ALBACETE']
['AGRICOLA HORMIGOS SL', 'CARPIO DE TAJO (EL)', 'TOLEDO']
['AGRICOLA HORRILLO SL', 'VILLANUEVA DE LA SERENA', 'BADAJOZ']
['AGRICOLA HUERCALENSE SL', 'HUERCAL-OVERA', 'ALMERÍA']
['AGRICOLA I RAMADERA FUMANYA SL', "SANT MARTI D'ALBARS", 'BARCELONA']
['AGRICOLA I RAMADERA LA LLENA SL', 'MONTMAJOR', 'BARCELONA']
['AGRICOLA I RAMADERA SOFTI SOCIEDAD LIMITADA', 'MAS DE BARBERANS', 'TARRAGONA']      
['AGRICOLA I RAMADERA VILASER SL', 'TAVERNOLES', 'BARCELONA']
['AGRICOLA JAROSO EXTREMEÑA SL', 'DON BENITO', 'BADAJOZ']
['AGRICOLA JESUS 2017 SL', 'PUERTO LUMBRERAS', 'MURCIA']