Try to extract the multiple data from the website-CodePudding

I am try to scrape 50K data from these page can you help me how to scrape the data I am getting only 19 product data from these page link https://www.dastelefonbuch.de/Suche/Zahnarzt

from selenium.webdriver.common.by import By
from selenium import webdriver
import pandas as pd
p=[]
u=[]
v=[]
q=[]
w=[]
PATH="C:\Program Files (x86)\chromedriver.exe"
url='https://www.dastelefonbuch.de/Suche/Zahnarzt'
driver =webdriver.Chrome(PATH)
driver.get(url)
vid = driver.find_elements(By.XPATH, "//div[@class='vcard']")
for item in vid:
    title=item.find_element_by_xpath(".//div[@class='name']").text
    p.append(title)
    phone=item.find_element_by_xpath("//span[@class='nr']").text
    u.append(phone)
    try:
       website=item.find_element_by_xpath(".//div[@class='url']/a").get_attribute('href')
    except:
       website=''
    v.append(website)
    state=item.find_element_by_xpath(".//div[@class='category']").text
    q.append(state)
    address=item.find_element_by_xpath(".//a[@class='addr']").text
    w.append(address)

df = pd.DataFrame(
    
    {"title": p, "phone": u,"website":v,"state":q,"address":w}
)
print(df)

CodePudding user response：

I see there's an accept cookie button on the page which you are not handling .

Code:

driver = webdriver.Chrome(driver_path)
driver.maximize_window()
#driver.implicitly_wait(30)
wait = WebDriverWait(driver, 30)



p=[]
u=[]
v=[]
q=[]
w=[]

url='https://www.dastelefonbuch.de/Suche/Zahnarzt'

driver.get(url)

try:
    wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR, "span#cmpbntyestxt"))).click()
except:
    pass

j = 1
while(True):
  ele = wait.until(EC.visibility_of_element_located((By.XPATH, f"(//div[@data-entry-id and @data-entry-data])[{j}]")))
  driver.execute_script("arguments[0].scrollIntoView(true);", ele)
  title = ele.find_element(By.XPATH, ".//descendant::a[@class=' name']/span").get_attribute('innerText')
  print(title)
  if j == 20 :
    try:
        driver.execute_script("var scrollingElement = (document.scrollingElement || document.body);scrollingElement.scrollTop = scrollingElement.scrollHeight;")
        wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR, "div.loadbutton button"))).click()
    except:
      pass
  j = j  1
  driver.execute_script("var scrollingElement = (document.scrollingElement || document.body);scrollingElement.scrollTop = scrollingElement.scrollHeight;")

Imports:

from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC

Output:

Ästhetik Zahnarzt Hamburg City Z-24 Mö 17 / Dr. P. Michaelis, Dr. C. Khorram
Albert Georg Dr. MSc Zahnarzt
Argus Matthias Zahnarztpraxis
Balogh Andreas
Bender Christian Dr.
Bernhardt Kirsten Zahnärztin
Bernuth Stefan Dr.
Bieniek Kristian Dr. Dr.
Blase Rolf Dr. MSc., MSc. Zahnärzte Master of Science für Implantologie
Boettel Matthias Dr. med. dent. Zahnarzt für Oralchirurgie
Boettel Matthias Dr. med. dent. Zahnarzt für Oralchirurgie
Boettel Matthias Dr. med. dent. Zahnarzt für Oralchirurgie
Boettel Matthias Dr. med. dent. Zahnarzt für Oralchirurgie
Bossong Reimund Zahnarzt
Breuer Bernd Dr. Dr. Arzt für Mundchirurgie Kieferchirurgie und Gesichtschirurgie Zahnarzt
Breuer Bernd Dr. Dr. Arzt für Mundchirurgie Kieferchirurgie und Gesichtschirurgie Zahnarzt
Broska Peter Zahnarztpraxis
Budai Carola Dr.med.dent. & Budai Hans-Frieder Dr.med.dent.
Dallwitz Ines Dipl.-Stomat.
Die Zahnärzte Steinpleis MVZ GmbH
Döpfner Daniel Dr. und Wendler Nina Dr.
Döpfner Daniel Dr. und Wendler Nina Dr.
Dörfler Thomas
Dornoff Michael Zahnarzt
Dornoff Michael Zahnarzt
Dornoff Michael Zahnarzt
Dornoff Michael Zahnarzt
Dornoff Michael Zahnarzt
Dornoff Michael Zahnarzt
Dornoff Michael Zahnarzt
Dr. Christoph Hommel Zahnarzt
Dr. Kauer Martin Zahnarzt
Dr. Klotz & Partner
Dr. med. dent. B. Khawaja
Dr.med.dent. Mathias Plöger Zahnarzt
Dr. Polster Kerstin, Doctor of Dental Medicine (Tufts Univ.)
Eicher, Bertram MSc - Praxis für Zahnheilkunde
Ernst Oliver Dr.med.dent.
Exner Andreas und Vavelidis Ioannis Dres.med.dent.
Frey Kathrin Dr. med. dent.
Gemeinschaftspraxis Zahnärzte Implantologie Dr. Wolfgang Ströhmer Maren Ströhmer-Beike
Griesenbrock Nadine Verena Dr.med.dent. Praxis für Zahn-, Mund- & Kieferheilkunde
Halfter Udo Dr. und Halfter Bettina Zahnarztpraxis
Halfter Udo Dr. und Halfter Bettina Zahnarztpraxis
Hannig Gabriel, Zahnarzt
Herkert Achim Dr.med.dent.
Hiedl Thomas Dr.
Hofmann Steffen Dr.med.dent.
Hondralis Georgios Dr.
Jochum Sebastian Dr. Zahnarzt
Kitzsteiner Edith Dr.
Kleye Dr.
Klink Maliha und Klink Benjamin Dr.med.dent.
Knollmüller Eugen Dr.
Komorowsky Raul
Lindenberg Sylke Dr. med. dent.
Löffler Thomas Dr., Praxis für Zahnheilkunde & Implantologie
Lohmann Arndt u. Nadine Dr.med.dent. Zahnarztpraxis
Luck Thomas Dr. Zahnarzt
Märker Julian Dr.med.dent.
Merk und Partner Zahnärzte
Merk und Partner Zahnärzte
Merk und Partner Zahnärzte
Merk und Partner Zahnärzte
Merk und Partner Zahnärzte
Merk und Partner Zahnärzte
Müller Uta u. Anne Fachpraxis für Kieferorthopädie
Müller Uta u. Anne Fachpraxis für Kieferorthopädie
Müller Uta u. Anne Fachpraxis für Kieferorthopädie
Münich Christian
Neubauer Jürgen Dr.
Plöger Mathias Dr. Zahnarzt
Praxis für moderne Zahnheilkunde Pradel, Roßner, Sernau, Nagel, Kühnle, Zahnärzte
Praxis Rage & Holm
Praxis Rage & Holm
Prölß Dr. Wolfgang
Rathe, Christian
Reif Gerhard Zahnarzt
Reif Gerhard Zahnarzt
Reif Gerhard Zahnarzt
Reif Gerhard Zahnarzt
Reif Gerhard Zahnarzt
Reif Gerhard Zahnarzt
Rienhoff Sabine und Jan Dres., Engel-Faschkami Maren, Kinderzahnarztpraxis
Riesch Verena, Tilse Rainer, Ulmer Meike Dres. med. dent. Zahnärzte
Riesch Verena, Tilse Rainer, Ulmer Meike Dres. med. dent. Zahnärzte
Rüger Daniel Dr. Fachzahnarzt für Kieferorthopädie
Rüger Daniel Dr. Fachzahnarzt für Kieferorthopädie
Rüger Daniel Dr. Fachzahnarzt für Kieferorthopädie
Rüger Daniel Dr. Fachzahnarzt für Kieferorthopädie
Rüger Daniel Dr. Fachzahnarzt für Kieferorthopädie
Rüger Daniel Dr. Fachzahnarzt für Kieferorthopädie
Rüger Daniel Dr. Fachzahnarzt für Kieferorthopädie
Rüger Daniel Dr. Fachzahnarzt für Kieferorthopädie
Rüger Daniel Dr. Fachzahnarzt für Kieferorthopädie
Rüger Daniel Dr. Fachzahnarzt für Kieferorthopädie
Rüger Daniel Dr. Fachzahnarzt für Kieferorthopädie
Rüger Daniel Dr. Fachzahnarzt für Kieferorthopädie
Rüger Daniel Dr. Fachzahnarzt für Kieferorthopädie
Rüger Daniel Dr. Fachzahnarzt für Kieferorthopädie
Rüger Daniel Dr. Fachzahnarzt für Kieferorthopädie
Rüger Daniel Dr. Fachzahnarzt für Kieferorthopädie
Rüger Daniel Dr. Fachzahnarzt für Kieferorthopädie
Rüger Daniel Dr. Fachzahnarzt für Kieferorthopädie
Rüger Daniel Dr. Fachzahnarzt für Kieferorthopädie
Rüger Daniel Dr. Fachzahnarzt für Kieferorthopädie
Runge Ralf Zahnarzt
Sänger Michael Dr.
Salomon Hagen
Schega Jürgen Dr. Zahnarzt
Schega Jürgen Dr. Zahnarzt
Scherer Udo Dr. med. Dr. med. dent. Mund- Kiefer- und Gesichtschirurg
Schmalhofer J. Dr.
Schüller Martin Zahnarzt
Schumann Christian Dr.
Spaett Georg Dr. u. Nagel Philipp Zahnärzte
Udich Hans-Joachim Dr. u. Fünfstück-Diez Christiane
Vorkauf Wolf Dr. med. dent Zahnarzt
Vorkauf Wolf Dr. Zahnarzt
Wächter Rüdiger Dr.med.Dr.med.dent. M.Sc.
Wahler Werner Dr.
Weindler Tilman Dr. med. dent.
Werling Gerlinde Zahnärztin
Werling Gerlinde Zahnärztin
Weyen Gerko Dr.med.dent.
Wind Daniela Dr. med. dent. Zahnärztin
Wind Daniela Dr. med. dent. Zahnärztin
Wind Daniela Dr. med. dent. Zahnärztin
Wissing Elke Dr. Zahnärztin
Wissing Elke Dr. Zahnärztin
Wissing Elke Dr. Zahnärztin
Zahnärzte Lehmann Kirsten MSc u. Niklas MOM MSc
Zahnärztliche Gemeinschaftspraxis Braun Gebhardt
Zahnärztliche Gemeinschaftspraxis Dres. Dirlewanger & Kollegen
Zahnärztliche Gemeinschaftspraxis Dres. Dirlewanger & Kollegen
Zahnärztliche Gemeinschaftspraxis Dres. Dirlewanger & Kollegen
Zahnarztpraxis Dr. David Marxkors u. ZÄ Karin Marxkors
Zahnarztpraxis Dres. Hermanns & Kollegen
Zahnarztpraxis Semlinger
Zahnarztpraxis Semlinger
Zahnarztpraxis Semlinger
Zahnarztpraxis Semlinger
Zahnmedizin im Zentrum Zahnarztpraxis
ZAHNZENTRUM-NORD Lukas zum Broock MSC und Kollegen - Spezialisten u. Fachärzte für Implantologie und schonende moderne Zahnmedizin
Amberger Gerhard Dr. med. dent.
Bauer Wolfgang Dr.med.dent.
Beer Christoph Dr. med. dent.
Behm Michael Dr. med. dent. Fachzahnarzt für Oralchirurgie
Braun Michael Dr.med.dent.
Brenner Cornelius Dr. M.A.
Carthaus Robert Dr. Zahnarzt
Distler Jörg Dr.med.dent.
Döppert Frank Oliver Zahnarzt & Zahntechniker
Dornoff Michael Zahnarzt
Dornoff Michael Zahnarzt
Dr. Klaus Spranz M.A. und Dr. Christoph Schaefer Zahnarztpraxis
Dr. Peter Wellenberg und Klaus Bennemann
Dr. Wegener Zahnärzte
Dybvik-Nielsen Kim Zahnarzt Praxis
Flach Marcus Dr. med. dent. Zahnärztliche Privatpraxis
Freter Jörg Dr. Zahnarztpaxis
Glassl Thomas Dr.
Heger Sebastian Dr. Zahnarztpraxis
Herdt Florian
Höllein Andreas Dr., Göttler Stefan Dr.
Hofmann Katharina
Horn-Reetz Susanne Dr.
Hussein Amr Dr.med.dent. Zahnarzt
Kieferorthopädie am Park Dr. Nolting
Knapp M. Dr. med.dent., Ofenhitzer K. Dr. med.dent. Zahnärzte
Mauder Johannes Dr.
Metke W. Dr. u. Lange L. Dr. Zahnarztpraxis
Meyer Stefan Dr.med.dent.
Pelster Christian
Peppmeier Dr.Dr.med. Zahnärztliche Gemeinschaftspraxis
Riesch Verena, Tilse Rainer, Ulmer Meike Dres. med. dent. Zahnärzte
Riesch Verena, Tilse Rainer, Ulmer Meike Dres. med. dent. Zahnärzte
Ritzinger Klaus Dr, Suttner Tobias
Schega Jürgen Dr. Zahnarzt
Schega Jürgen Dr. Zahnarzt
Schega Jürgen Dr. Zahnarzt
Schega Jürgen Dr. Zahnarzt
Schega Jürgen Dr. Zahnarzt
Schega Jürgen Dr. Zahnarzt
Schega Jürgen Dr. Zahnarzt
Schega Jürgen Dr. Zahnarzt
Schnirring Peter
Seuster Stephan Dr. Zahnarzt
Werling Gerlinde Zahnärztin
Will Th. u. Partner Zahnärzte
Wind Daniela Dr. med. dent. Zahnärztin
Wind Daniela Dr. med. dent. Zahnärztin
Zahnärztliche Praxisgemeinschaft
Zahnarzt Dr. med. dent Guido Apfel
Zahnarztpraxis Döring Götz u. Isa Dipl.-Stom.
Zahnklinik Dreiländereck Dr. Strohmenger
Zahnmedicus Harz Eva Zahnärztin
Zahnmedicus Harz Eva Zahnärztin
Zahnmedicus Harz Eva Zahnärztin
Zahnmedicus Harz Eva Zahnärztin
Zahnmedicus Harz Eva Zahnärztin
Zentrum für Zahnheilkunde Moers Dr. Riekeberg & Partner
Zentrum für Zahnheilkunde Moers Dr. Riekeberg & Partner
Allgemeine Zahnheilkunde Holfeld Dirk Dr.
Alpers Dr. u. Kollegen Zahnärztliche Gemeinschaftspraxis
Aly Tarek Dr. - Zahnarzt
Anastase, Jana
Anastase, Jana