In this example, we’ll demonstrate how to use MrScraper’s AI chat API.

​
Requirements

  • MrScraper API token that you can get by following the steps here.

​
Example

  1. First of all, the AI needs to know what is the context for the chat. You can call this API first: https://app.mrscraper.com/api/ai-identify with url as the request body.
curl -X POST https://app.mrscraper.com/api/ai-identify \
--header "Authorization: Bearer <Authorization>" \
--header "Accept: application/json" \
--header "Content-Type: application/json" \
--data '{
    "url": "https://www.solcom.de/de/projektportal/java-projekte-fuer-freelancer"
}'
  1. Replace Authorization with your API token and you can change the url.
  2. The above request will return the following JSON response:
{
  "urls": "https://www.solcom.de/de/projektportal/java-projekte-fuer-freelancer",
  "pdf_urls": "Default",
  "user_id": 4855,
  "name": "ScrapeGPT API",
  "workflow": {
    "type": "ai"
  },
  "ai_prompt": "",
  "type": "ai",
  "version": 2,
  "updated_at": "2024-11-15T09:16:00.000000Z",
  "created_at": "2024-11-15T09:16:00.000000Z",
  "id": 5090,
  "user": {...}
}
  1. Take a note for the id.
  2. Call the chat API: https://app.mrscraper.com/api/ai-chat with scraper_id and prompt as the request body.
curl -X POST https://app.mrscraper.com/api/ai-chat \
--header "Authorization: Bearer <token>" \
--header "Accept: application/json" \
--header "Content-Type: application/json" \
--data '{
    "scraper_id": 5090,
    "prompt": "the latest project"
}'
  1. You will get the following JSON as the response:
{
  "success": true,
  "message": "answered",
  "data": {
    "desc": "The latest project available for freelancers in Java is as follows:",
    "json": "```json\n{\n    \"project_title\": \"IT Spezialist/Entwickler mit Java basierte Microservices Entwicklungs Erfahrung (m/w/d)\",\n    \"project_number\": \"96382\",\n    \"project_description\": \"Aktuell sind wir für einen unserer Kunden auf der Suche nach einem IT Spezialist/Entwickler mit Java basierte Microservices Entwicklungs Erfahrung. Start: 01.01.2025 (später möglich). Auslastung: 100%. Einsatzort: Remote (75%) / In- (deutschlandweit)/Ausland (ggf. Polen, NL, USA) (25%). Ihre Aufgaben: + Konzeption, Entwicklung, Testen, Dokumentation der Microservices + Technisch beratende Unterstützung im Bereich Paging, Labeling und Resync der SMC Lösung (erfordert neben guten allgemeinen technischen Kenntnissen insbesondere tiefe Kenntnisse der aktuellen SMC Lösung) + Konzeption + Durchführung.\",\n    \"location\": \"Remote, International\",\n    \"contract_type\": \"freiberuflich\",\n    \"start_date\": \"01.01.2025\",\n    \"duration\": \"12 Monate ++\",\n    \"workload\": \"75% remote, 25% onsite/international\",\n    \"skills_required\": [\n        \"Java\",\n        \"Microservices\"\n    ],\n    \"application_link\": \"https://www.solcom.de/de/projektportal/projektangebote/it-spezialist-entwickler-mit-java-basierte-microservices-entwicklungs-erfahrung-m-w-d-96382\"\n}\n```"
  }
}
  1. To get chat history responses for formatted results you can use the following endpoint:
curl --location 'https://app.mrscraper.com/api/ai-chat/<SCRAPER_ID>' \
--header 'Authorization: Bearer <API_TOKEN>'
  1. And you will get the chat history response along with the scrape results in json as in the example:
{
    "data": {
        "chats": [
            {
                "type": "human",
                "content": "get all data"
            },
            {
                "type": "ai",
                "content": {
                    "desc": "Here are the available Java project offers for freelancers from SOLCOM. Each entry includes the project title, number, description, duration, start date, location, freelance status, maximum hourly rate, and a link to more details.",
                    "json": [
                        {
                            "project_title": "Linux Administrator (Regular Level)",
                            "project_number": "97149",
                            "project_description": "Für einen unserer Kunden sind wir aktuell auf der Suche nach einem erfahrenen Linux Administrator. Folgende Aufgaben werden Sie übernehmen: + Beheben auftretender Störungen + Durchführen von Störungsanalysen + 2nd Level Support (Monitoring/Service Desk) + Wartung der Systeme",
                            "duration": "12 Monate +",
                            "start_date": "01.02.2025, spät. Start 17.02.2025",
                            "location": "D5",
                            "freelance_status": "freiberuflich",
                            "max_hourly_rate": null,
                            "link_to_project_details": "/de/projektportal/projektangebote/linux-administrator-regular-level-m-w-d-97149?refererNode=53532c6e-8ee9-4d69-a9d9-4a25b6d803e4"
                        },
                        {
                            "project_title": "UX Designing and Researching",
                            "project_number": "97256",
                            "project_description": "Aktuell sind wir auf der Suche nach einem sehr erfahrenen UX Designer mit starken Fokus auf Researching. Das Projekt ist idealerweise mit einer Vollzeitauslastung zu besetzten und kann dann zu 90% remote umgesetzt werden. Folgende Aufgaben kommen auf Sie zu: + Leitung von UX-Reasearch Aktivitäten und deren Dokumentation im Research Repository + Vorbereitung und Moderation von Workshops zu funktionalem Framing mit Nuzern oder auch ad hoc für Nutzertests und Fokusgruppen + Sammeln von Nutzerbedürfnissen und Feedback während des gesamten Projekts durch die Anwendung geeigneter Forschungsmethoden (Beobachtungen vor Ort, Interviews, Benutzertests, Umfragen, Literatur usw.) + Definieren von Interaktionsmodellen und Erfolgsbewertung anhand messbarer Kriterien + Identifizierung von Geschäftsprozessen und Anwendungsfällen, Definition und Formalisierung von User Journeys ode Empfehlungen zur Verbesserung bestehender Journeys + Erstellung von Storyboards, User Flows, Process Flows und Site Maps + Realisierung von Figma-Designsystem, Wireframes + Erstellung von klickbaren Funktionsprototypen und endgültiges UIDesign + Präsentation von Ideen, Konzepten und Designlösungen gegenüber verschiedenen Interessengruppen + Festlegung gemeinsamer UX Designs",
                            "duration": "12 Monate",
                            "start_date": "03.02.2025",
                            "location": "D1",
                            "freelance_status": "freiberuflich",
                            "max_hourly_rate": null,
                            "link_to_project_details": "/de/projektportal/projektangebote/ux-designing-and-researching-m-w-d-97256?refererNode=53532c6e-8ee9-4d69-a9d9-4a25b6d803e4"
                        },
                        {
                            "project_title": "Application Engineer/Experte ECM DOXiS",
                            "project_number": "97246",
                            "project_description": "Für einen unserer Kunden sind wir gerade auf der Suche nach einem DOXiS Experten, der DOXiS-basierte Anwendungen entwickelt und Dokumentenmanagementprozesse optimiert. Auslastung: 60-100% komplett remote möglich Start. ab Januar 2025 Aufgaben: + Design, Entwicklung und Implementierung von DOXiS-Anwendungen + Anpassung und Konfiguration der DOXiS-Plattform + Integration von DOXiS-Lösungen in andere Systeme + Fehlerbehebung von Implentierungen + Erstellung technischer Spezifikationen und Dokumentation von Prozessen + Zusammenarbeit mit UX/UI-Designern zur Erstellung benutzerfreundlicher Schnittstellen + Durchführung von Systemtests und Qualitätssicherungsmaßnahmen + Technische Beratung und Mentoring des Application Support und der Business Analysten + Zusammenarbeit mit Eigentümern von Drittsystemen zur Integration und Modernisierung von Komponenten + Leitung von Refactoring-Initiativen zur Verbesserung der Systemeffizienz, Wartbarkeit und Skalierbarkeit",
                            "duration": "6 Monate +",
                            "start_date": "01.01.2025",
                            "location": "Remote",
                            "freelance_status": "freiberuflich",
                            "max_hourly_rate": null,
                            "link_to_project_details": "/de/projektportal/projektangebote/application-engineer-experte-ecm-doxis-m-w-d-97246?refererNode=53532c6e-8ee9-4d69-a9d9-4a25b6d803e4"
                        },
                        {
                            "project_title": "Service Now Experte",
                            "project_number": "97141",
                            "project_description": "Wir sind aktuell auf der Suche nach einem erfahrenen Service Now Experte für einen unserer Kunden. Aufgabe: + Technischer Ansprechpartner und Koordinator für Service Now Implementierung + Guidance und Beratung bei Implementierung von ITSM- und Strategic Portfolio Modul + Detaillierte Phasenplanung & -steuerung der technischen Umsetzung",
                            "duration": "12 Monate +",
                            "start_date": "asap",
                            "location": "Remote",
                            "freelance_status": "freiberuflich",
                            "max_hourly_rate": null,
                            "link_to_project_details": "/de/projektportal/projektangebote/service-now-experte-m-w-d-97141?refererNode=53532c6e-8ee9-4d69-a9d9-4a25b6d803e4"
                        },
                        {
                            "project_title": "Cplace Pro-Code Entwickler",
                            "project_number": "97121",
                            "project_description": "Für unseren Kunden suchen wir einen cplace Entwickler für ein spannendes Projekt. Aufgabe: Softwareentwicklung zur Analyse und Verfolgung von Fehlerabstellvorgängen auf Basis von cplace. Anbindung des Systems an Apache Kafka. Anforderungsanalyse, Spezifikation, Umsetzung in Pro-Code, Low-Code und No-Code. Programme hierfür: cplace, cplaceJS, Java, JavaScript, Kafka. Zudem konsultierende Aufgabe zum Endkunden.",
                            "duration": "1 Jahr",
                            "start_date": "ASAP",
                            "location": "Remote, Remote",
                            "freelance_status": "freiberuflich",
                            "max_hourly_rate": null,
                            "link_to_project_details": "/de/projektportal/projektangebote/cplace-pro-code-entwickler-m-w-d-97121?refererNode=53532c6e-8ee9-4d69-a9d9-4a25b6d803e4"
                        },
                        {
                            "project_title": "Junior Testautomatisierer",
                            "project_number": "97185",
                            "project_description": "Aktuell sind wir für einen unserer Kunden auf der Suche nach einem Junior Testautomatisierer. Auslastung: 100% Max. Stundensatz: 55 Euro remote",
                            "duration": "01.02.2025",
                            "start_date": "Remote",
                            "freelance_status": "freiberuflich",
                            "max_hourly_rate": "55 Euro",
                            "link_to_project_details": "/de/projektportal/projektangebote/junior-testautomatisierer-m-w-d-97185?refererNode=53532c6e-8ee9-4d69-a9d9-4a25b6d803e4"
                        },
                        {
                            "project_title": "Senior Softwareentwickler JavaEE",
                            "project_number": "96647",
                            "project_description": "Für einen unserer Kunden in der Schweiz sind wir derzeit auf der Suche nach einem Senior Softwareentwickler (Fokus Backend) mit Schwerpunkt JavaEE. Die Aufgabe erfolgt zu 40% vor Ort in der Schweiz (zwingend dienstags und mittwochs) und zu 60% Remote. Wichtig: Die Bereitschaft muss vorhanden sein, an einem sehr anspruchsvollen und dreistufigen Auswahlprozess inkl. eines Technical Assessments teilzunehmen, in der letzten Stufe beim Kunden vor Ort. Ihre Aufgaben: + Konzeption und Betrieb von Kernsystemen in einem Versicherungsunternehmen + Entwicklung komplexer und moderner Enterprise-Software im Umfeld der Kernsysteme für ein nachhaltiges Produkt- und Vertragssystem im Backend Bereich",
                            "duration": "2 Jahre +",
                            "start_date": "ASAP",
                            "location": "CH",
                            "freelance_status": "freiberuflich",
                            "max_hourly_rate": null,
                            "link_to_project_details": "/de/projektportal/projektangebote/senior-softwareentwickler-javaee-m-w-d-96647?refererNode=53532c6e-8ee9-4d69-a9d9-4a25b6d803e4"
                        },
                        {
                            "project_title": "Java Full Stack Entwickler mit Intercom Erfahrung",
                            "project_number": "96799",
                            "project_description": "Aktuell sind wir auf der Suche nach einem erfahrenen Java Fullstack Entwickler mit Erfahrung in der Support-Software Intercom. Zu Ihren Aufgaben gehören: + Umsetzung von User Stories im Bereich Intercom + Erweiterung der bestehenden Funktionen + Entwickeln von neuen Microservices + Entwicklung von Backendkomponenten mit Java und Spring Boot + Entwicklung im Frontend mit React / Redux + Durchführung von Code-Reviews + Durchführung Entwicklertests + Durchführung von Unit- und Integration-Tests",
                            "duration": "6 Monate +",
                            "start_date": "asap",
                            "location": "Remote",
                            "freelance_status": "freiberuflich",
                            "max_hourly_rate": null,
                            "link_to_project_details": "/de/projektportal/projektangebote/java-full-stack-entwickler-mit-intercom-erfahrung-m-w-d-96799?refererNode=53532c6e-8ee9-4d69-a9d9-4a25b6d803e4"
                        }
                    ]
                }
            },
            {
                "type": "human",
                "content": "can you just give me the project_title, project_description and link_to_project_details?"
            },
            {
                "type": "ai",
                "content": {
                    "desc": "Here are the project titles, descriptions, and links to project details for the available Java projects for freelancers from SOLCOM.",
                    "json": [
                        {
                            "project_title": "Linux Administrator (Regular Level)",
                            "project_description": "Für einen unserer Kunden sind wir aktuell auf der Suche nach einem erfahrenen Linux Administrator. Folgende Aufgaben werden Sie übernehmen: + Beheben auftretender Störungen + Durchführen von Störungsanalysen + 2nd Level Support (Monitoring/Service Desk) + Wartung der Systeme",
                            "link_to_project_details": "/de/projektportal/projektangebote/linux-administrator-regular-level-m-w-d-97149?refererNode=53532c6e-8ee9-4d69-a9d9-4a25b6d803e4"
                        },
                        {
                            "project_title": "UX Designing and Researching",
                            "project_description": "Aktuell sind wir auf der Suche nach einem sehr erfahrenen UX Designer mit starken Fokus auf Researching. Das Projekt ist idealerweise mit einer Vollzeitauslastung zu besetzten und kann dann zu 90% remote umgesetzt werden. Folgende Aufgaben kommen auf Sie zu: + Leitung von UX-Reasearch Aktivitäten und deren Dokumentation im Research Repository + Vorbereitung und Moderation von Workshops zu funktionalem Framing mit Nuzern oder auch ad hoc für Nutzertests und Fokusgruppen + Sammeln von Nutzerbedürfnissen und Feedback während des gesamten Projekts durch die Anwendung geeigneter Forschungsmethoden (Beobachtungen vor Ort, Interviews, Benutzertests, Umfragen, Literatur usw.) + Definieren von Interaktionsmodellen und Erfolgsbewertung anhand messbarer Kriterien + Identifizierung von Geschäftsprozessen und Anwendungsfällen, Definition und Formalisierung von User Journeys ode Empfehlungen zur Verbesserung bestehender Journeys + Erstellung von Storyboards, User Flows, Process Flows und Site Maps + Realisierung von Figma-Designsystem, Wireframes + Erstellung von klickbaren Funktionsprototypen und endgültiges UIDesign + Präsentation von Ideen, Konzepten und Designlösungen gegenüber verschiedenen Interessengruppen + Festlegung gemeinsamer UX Designs",
                            "link_to_project_details": "/de/projektportal/projektangebote/ux-designing-and-researching-m-w-d-97256?refererNode=53532c6e-8ee9-4d69-a9d9-4a25b6d803e4"
                        },
                        {
                            "project_title": "Application Engineer/Experte ECM DOXiS",
                            "project_description": "Für einen unserer Kunden sind wir gerade auf der Suche nach einem DOXiS Experten, der DOXiS-basierte Anwendungen entwickelt und Dokumentenmanagementprozesse optimiert. Auslastung: 60-100% komplett remote möglich Start. ab Januar 2025 Aufgaben: + Design, Entwicklung und Implementierung von DOXiS-Anwendungen + Anpassung und Konfiguration der DOXiS-Plattform + Integration von DOXiS-Lösungen in andere Systeme + Fehlerbehebung von Implentierungen + Erstellung technischer Spezifikationen und Dokumentation von Prozessen + Zusammenarbeit mit UX/UI-Designern zur Erstellung benutzerfreundlicher Schnittstellen + Durchführung von Systemtests und Qualitätssicherungsmaßnahmen + Technische Beratung und Mentoring des Application Support und der Business Analysten + Zusammenarbeit mit Eigentümern von Drittsystemen zur Integration und Modernisierung von Komponenten + Leitung von Refactoring-Initiativen zur Verbesserung der Systemeffizienz, Wartbarkeit und Skalierbarkeit",
                            "link_to_project_details": "/de/projektportal/projektangebote/application-engineer-experte-ecm-doxis-m-w-d-97246?refererNode=53532c6e-8ee9-4d69-a9d9-4a25b6d803e4"
                        },
                        {
                            "project_title": "Service Now Experte",
                            "project_description": "Wir sind aktuell auf der Suche nach einem erfahrenen Service Now Experte für einen unserer Kunden. Aufgabe: + Technischer Ansprechpartner und Koordinator für Service Now Implementierung + Guidance und Beratung bei Implementierung von ITSM- und Strategic Portfolio Modul + Detaillierte Phasenplanung & -steuerung der technischen Umsetzung",
                            "link_to_project_details": "/de/projektportal/projektangebote/service-now-experte-m-w-d-97141?refererNode=53532c6e-8ee9-4d69-a9d9-4a25b6d803e4"
                        },
                        {
                            "project_title": "Cplace Pro-Code Entwickler",
                            "project_description": "Für unseren Kunden suchen wir einen cplace Entwickler für ein spannendes Projekt. Aufgabe: Softwareentwicklung zur Analyse und Verfolgung von Fehlerabstellvorgängen auf Basis von cplace. Anbindung des Systems an Apache Kafka. Anforderungsanalyse, Spezifikation, Umsetzung in Pro-Code, Low-Code und No-Code. Programme hierfür: cplace, cplaceJS, Java, JavaScript, Kafka. Zudem konsultierende Aufgabe zum Endkunden.",
                            "link_to_project_details": "/de/projektportal/projektangebote/cplace-pro-code-entwickler-m-w-d-97121?refererNode=53532c6e-8ee9-4d69-a9d9-4a25b6d803e4"
                        },
                        {
                            "project_title": "Junior Testautomatisierer",
                            "project_description": "Aktuell sind wir für einen unserer Kunden auf der Suche nach einem Junior Testautomatisierer. Auslastung: 100% Max. Stundensatz: 55 Euro remote",
                            "link_to_project_details": "/de/projektportal/projektangebote/junior-testautomatisierer-m-w-d-97185?refererNode=53532c6e-8ee9-4d69-a9d9-4a25b6d803e4"
                        },
                        {
                            "project_title": "Senior Softwareentwickler JavaEE",
                            "project_description": "Für einen unserer Kunden in der Schweiz sind wir derzeit auf der Suche nach einem Senior Softwareentwickler (Fokus Backend) mit Schwerpunkt JavaEE. Die Aufgabe erfolgt zu 40% vor Ort in der Schweiz (zwingend dienstags und mittwochs) und zu 60% Remote. Wichtig: Die Bereitschaft muss vorhanden sein, an einem sehr anspruchsvollen und dreistufigen Auswahlprozess inkl. eines Technical Assessments teilzunehmen, in der letzten Stufe beim Kunden vor Ort. Ihre Aufgaben: + Konzeption und Betrieb von Kernsystemen in einem Versicherungsunternehmen + Entwicklung komplexer und moderner Enterprise-Software im Umfeld der Kernsysteme für ein nachhaltiges Produkt- und Vertragssystem im Backend Bereich",
                            "link_to_project_details": "/de/projektportal/projektangebote/senior-softwareentwickler-javaee-m-w-d-96647?refererNode=53532c6e-8ee9-4d69-a9d9-4a25b6d803e4"
                        },
                        {
                            "project_title": "Java Full Stack Entwickler mit Intercom Erfahrung",
                            "project_description": "Aktuell sind wir auf der Suche nach einem erfahrenen Java Fullstack Entwickler mit Erfahrung in der Support-Software Intercom. Zu Ihren Aufgaben gehören: + Umsetzung von User Stories im Bereich Intercom + Erweiterung der bestehenden Funktionen + Entwickeln von neuen Microservices + Entwicklung von Backendkomponenten mit Java und Spring Boot + Entwicklung im Frontend mit React / Redux + Durchführung von Code-Reviews + Durchführung Entwicklertests + Durchführung von Unit- und Integration-Tests",
                            "link_to_project_details": "/de/projektportal/projektangebote/java-full-stack-entwickler-mit-intercom-erfahrung-m-w-d-96799?refererNode=53532c6e-8ee9-4d69-a9d9-4a25b6d803e4"
                        }
                    ]
                }
            }
        ]
    }
}
LogsE-commerce