MySQL utløser: Auto-generere tilleggsinformasjon i databasen MySQL Triggers er en av de nyere funksjonene i MySQL som bidrar til å gjøre det til et brukbart alternativ for store bedriftsapplikasjoner. Ikke for lenge siden, de som gjorde sine livings ved hjelp av store kommersielle databaser som Oracle og DB2 påpekte at MySQL var en fin, rask liten database, men manglet viktig funksjon som lagrede prosedyrer, transaksjoner og utløsere. Fra versjon 5.0 av MySQL kan disse funksjonene krysses av den listen. Så, hva er MySQL-utløser, og hvorfor gjør MySQLs evne til å bruke dem til å gjøre det mer attraktivt for seriøse databrukere. Enkelt sagt er utløsere små programmer som er lagret i selve databasen, og aktiveres av databasehendelser som ofte kommer fra applikasjonen lag. Disse utfellende databasen hendelsene er UPDATE, DELETE eller INSERT spørringer. Utløseren selv kan utføre før eller etter spørringen som starter den. Utløsere brukes ofte til å opprettholde integriteten av data på tvers av tabeller i et program. Når en bruker på et nettsted foretar et kjøp, kan for eksempel den første handlingen som forekommer i databasen være at en kreditt er satt inn i en regnskapstabell. Ved hjelp av en utløser kan denne handlingen initiere en kjedereaksjon av hendelser i andre tabeller i hele applikasjonen. Produkttellingen av en vare kan dekrementeres i en opptaks tabell, en debet som trekkes fra en kundes kontosaldo i en annen tabell, en butikkreduksjon som er brukt på enda en tabell. Du kan si at du har gjort dette hele tiden i dine applikasjoner ved hjelp av PHP eller Perl eller Python eller ASP-kode. Hva er det store problemet med å bruke MySQL utløser Vel, det er noen fordeler med å bruke utløsere over applikasjonskoden for å opprettholde integriteten av data på tvers av tabeller. En utløser utfører vanligvis typer oppgaver som beskrives raskere enn programkode, og kan aktiveres enkelt og raskt bak kulissene og trenger ikke å være en del av søknadskoden. Dette sparer tid og sparer deg fra overflødig koding. Hvis du noen gang sender din søknad til et annet språk, er sjansene dine utløsere på plass uten endring, sammen med dine tabeller og andre databaseobjekter. For å demonstrere hvordan MySQL utløser arbeid, kan vi sette opp to enkle tabeller på en database, velg 8220salesrecords8221 som har data som er gjensidig avhengig. Tenk deg en database som følger salgspostene til tre selgere på et varehus. De jobber i elektronikkavdelingen som selger ting som TVer. stereoanlegg og MP3-spillere. Vi har hovedbordet som holder oversikt over hvert salg som er gjort. Det registrerer hvor mye salget (salgamt), datoen (datoen), navnet på selgeren (navn), hans id nummer (employeeid) og produkt id (prodid). Vel ring dette bordet (klokt nok) 8220sales8221. I den andre tabellen vil vi beholde noen data som gjør at vi enkelt kan holde rede på hvordan hver selger gjør. Det vil inkludere salespersonons id (employeeid), navn (navn), totalt antall salg (totalsalg), og en kolonne som holder hver selgeres gjennomsnittlige beløp per salg (avesale). Vi ønsker å se hvem som flytter high-end-elementene. Velkall dette bordet 8220performance8221. Nå kommer den harde delen. Som nevnt, er utløser databaseobjekter akkurat som tabeller. Utløsere kan imidlertid utføre prosedyrekode som endrer data i tabellene dine. I dette tilfellet vil vi at vår utløser skal brennes før noen INSERT-setning som utføres i salgstabellen. Når en salgspost er satt inn i salgstabellen, må salespersonens totals oppdateres i ytelsestabellen. Følgende kode kan skrives i din favoritt tekstredigerer og limes inn i konsollen din ved MySQL-spørringen. Før du gjør det selv, vil du utføre denne linjen: Vår prosesskode bruker semikolon på slutten av uttalelser, så vi må sette en annen avgrensel for å la MySQL vite når kodeblocket er over, og slik at det ikke slutter å behandle vår blokk når den rammer et semikolon. Husk at etter at du har fullført blokken din, må du sette avgrenseren tilbake til semikolonet, eller avslutte noen påfølgende kommandoer med den nye avgrenseren. For eksempel hvis du har gjort feil i CREATE TRIGGER-blokken din og vil slette den, vil DROP TRIGGER ikke fungere hvis du ikke angir avgrenseren tilbake til semikolon. Her er koden for utløseren: OK, kan vi snakke om koden. Ved å bruke CREATE TRIGGER-setningen startet vi utløseren, og navngjorde den salesbitrg. MySQL-utløsere kan brann før eller etter en INSERT, UPDATE eller DELETE-hendelse. Denne brennes før noen data er satt inn i salgstabellen. For hver ROW-klausul betyr at blokken vil fungere på hver rad som oppfyller kriteriene for våre SQL-setninger. Søkeordene BEGIN og END legger til utløserklæringene som skal utføres når utløseren brenner. Det er to variabler deklarert. Den første er numrow som sjekker for å se om medarbeider har som har gjort salget som skal oppgis, har hatt et salg innført i resultattabellen tidligere. Hvis det ikke er noen ansattesider som samsvarer med, så er dette første ansattes salg, og dette oppfyller ELSE-betingelsen til 8220IF-setningen. Disse dataene blir lagt inn som en innsats i ytelsestabellen i stedet for en oppdatering. Hvis numrow er større enn 0, blir ytelsestabellen oppdatert. Den andre variabelen, totrows, er en telling av hvor mange salg ansatte har i salgstabellen. Denne verdien brukes til å beregne gjennomsnittlig salg av medarbeidere. Tellingen blir gjort før salget settes inn i salget tabellen, så vi må legge til en til den. Når ytelsestabellen er oppdatert, er gjennomsnittlig salg totalsalg (totrows1). Hvis vår MySQL-utløser fungerer som den skal, vil ytelsestabellen holde en løpende sum for hver selgeres totale salg, og også den gjennomsnittlige mengden av deres totale salg. Det vil gjøre dette uavhengig av din søknadskode og være bærbar til enhver applikasjonsplattform. For å gi det en virvel, sett inn noen data i salgstabellen og følg innholdet i ytelsestabellen. Her er utsagnet: Endre tallene og navnene og prøv det noen ganger. (Husk at en medarbeider beholder det samme medarbeidsnummeret for hvert av hans salg.) Hvis du føler deg eventyrlystne, begynner du å tenke på hvordan MySQL-utløseren må utvides for å ta hensyn til UPDATE og DELETE-setningene på salgstabellen. Gratis eBok Abonner på mitt nyhetsbrev og få min eBok om Entity Relationship Modeling Principles som en gratis gave: Hva besøkende sier. Jeg snublet bare over ditt nettsted på jakt etter litt normaliseringsteori, og jeg må si det er fantastisk. Jeg har vært i databasefeltet i 10 år, og jeg har aldri før kommet over et slikt nyttig nettsted. Takk for at du tok deg tid til å sette dette nettstedet sammen. PHP tilbyr tre forskjellige APIer for å koble til MySQL. Disse er mysql (fjernet fra PHP 7), mysqli. og PDO utvidelser. Mysql-funksjonene pleide å være veldig populære, men deres bruk blir ikke oppmuntret lenger. Dokumentasjonsgruppen diskuterer databasens sikkerhetssituasjon, og utdanne brukere til å bevege seg bort fra den vanlige extmysql-utvidelsen er en del av dette (sjekk php. internals: deprecating extmysql). Og det senere PHP-utviklerteamet har tatt beslutningen om å generere EDEPRECATED-feil når brukerne kobler til MySQL, enten gjennom mysqlconnect (). mysqlpconnect () eller den implicitte tilkoblingsfunksjonaliteten innebygd i extmysql. extmysql ble offisielt avviklet fra PHP 5.5 og har blitt fjernet fra PHP 7. Når du går på en hvilken som helst mysql funksjonsmanualside, ser du en rød boks, og forklarer at den ikke skal brukes lenger. Å flytte bort fra extmysql handler ikke bare om sikkerhet, men også om å ha tilgang til alle funksjonene i MySQL-databasen. extmysql ble bygd for MySQL 3.23 og har bare få få tilføyninger siden da, mens det for det meste holder kompatibilitet med denne gamle versjonen som gjør koden litt vanskeligere å vedlikeholde. Manglende funksjoner som ikke støttes av extmysql inkluderer: (fra PHP manual). Årsak til å ikke bruke mysql-funksjonen: Ikke under aktiv utvikling Fjernet fra PHP 7 Mangler et OO-grensesnitt Støtter ikke ikke-blokkerende, asynkronte forespørsler Støtter ikke forberedte uttalelser eller parameteriserte spørringer Støtter ikke lagrede prosedyrer Støtter ikke flere setninger Støtter ikke transaksjoner Støtter ikke alle Funksjonaliteten i MySQL 5.1 Manglende støtte til forberedte setninger er spesielt viktig, da de gir en klarere, mindre feilaktig metode for å rømme og citerer eksterne data enn å manuelt rømme den med et separat funksjonsanrop. Undertrykke avskrivningsadvarsler Mens kode blir konvertert til MySQLi PDO. EDEPRECATED feil kan undertrykkes ved å sette feilrapportering i php. ini for å utelukke EDEPRECATED: Merk at dette også vil gjemme andre avskrivningsadvarsler. som imidlertid kan være for andre ting enn MySQL. (fra PHP manual) Og en bedre måte er PDO. og jeg skriver nå en enkel PDO opplæring. En enkel og kort PDO-veiledning Q. Første spørsmål i mitt sinn var: Hva er PDO A. PDO PHP Data Objects er et databasegangslag som gir en jevn metode for tilgang til flere databaser. Koble til MySQL Med mysql-funksjonen eller vi kan si den den gamle måten (deprecated i PHP 5.5 og over) Med PDO. Alt du trenger å gjøre er å opprette et nytt PDO-objekt. Konstruktøren aksepterer parametere for å spesifisere databasekilden PDO s-konstruktør tar for det meste fire parametere som er DSN (datakilde navn) og eventuelt brukernavn. passord . Her tror jeg at du er kjent med alle unntatt DSN, dette er nytt i PDO. En DSN er i utgangspunktet en rekke alternativer som forteller PDO hvilken driver som skal brukes, og tilkoblingsdetaljer. For ytterligere referanse, sjekk PDO MySQL DSN. Merk: Du kan også bruke charsetUTF-8. men noen ganger forårsaker det en feil, så det er bedre å bruke utf8. Hvis det er en tilkoblingsfeil, vil den kaste et PDOException-objekt som kan caches for å håndtere Unntak ytterligere. Du kan også passere i flere driveralternativer som en matrise til den fjerde parameteren. Jeg anbefaler å sende parameteren som setter PDO i unntaksmodus. Fordi noen PDO-drivere ikke støtter opprinnelige forberedte uttalelser, utfører PDO emulering av forberedelsen. Det lar deg også aktivere denne emuleringen manuelt. For å bruke de utarbeidede setningene fra den opprinnelige serveren, bør du eksplisitt sette den feil. Den andre er å slå av forbereder emulering som er aktivert i MySQL-driveren som standard, men forbered emulering skal slås av for å bruke PDO trygt. Jeg vil senere forklare hvorfor forberede emulering skal slås av. For å finne grunn, vennligst sjekk dette innlegget. Det kan bare brukes hvis du bruker en gammel versjon av MySQL som jeg ikke anbefaler. Nedenfor er et eksempel på hvordan du kan gjøre det: Kan vi sette attributter etter PDO-konstruksjon Ja. Vi kan også sette noen attributter etter PDO-konstruksjon med setAttribute-metoden: Feilhåndtering Feilbehandling er mye lettere i PDO enn mysql. En vanlig praksis når du bruker mysql er: ELLER dør () er ikke en god måte å håndtere feilen fordi vi ikke klarer å håndtere ting i døden. Det vil bare avslutte skriptet brått og deretter ekko feilen til skjermen som du vanligvis ikke vil vise til sluttbrukerne dine, og la blodige hackere oppdage skjemaet ditt. Alternativt kan returverdiene til mysql-funksjonene ofte brukes sammen med mysqlerror () for å håndtere feil. PDO tilbyr en bedre løsning: unntak. Alt vi gjør med PUD skal pakkes inn i en prøvefelt. Vi kan tvinge PDO til en av tre feilmoduser ved å sette feilmodusattributtet. Tre feilhåndteringsmoduser er under. PUD :: ERRMODESILENT. Det er bare å sette feilkoder og virker ganske mye det samme som mysql hvor du må sjekke hvert resultat, og deretter se på db-gterrorInfo () for å få feildetaljer. PDO :: ERRMODEWARNING Hev EWARNING. (Kjøretidsadvarsler (ikke-fatale feil). Utførelse av skriptet stoppes ikke.) PDO :: ERRMODEEXCEPTION. Kast unntak. Det representerer en feil oppdratt av BOB. Du bør ikke kaste en PDOException fra din egen kode. Se Unntak for mer informasjon om unntak i PHP. Det virker veldig mye som eller dør (mysqlerror ()). når det ikke er tatt. Men i motsetning til eller dø (). PDOException kan bli fanget og håndtert grasiøst hvis du velger å gjøre det. Og du kan pakke den inn i prøvefangst. som nedenfor: Du trenger ikke å håndtere med prøvefange akkurat nå. Du kan fange den når som helst, men jeg anbefaler på det sterkeste at du bruker prøvefange. Det kan også være mer fornuftig å fange det utenfor funksjonen som kaller PDO-ting: Du kan også håndtere ved eller dø () eller vi kan si som mysql. men det vil bli veldig variert. Du kan skjule de farlige feilmeldingene i produksjonen ved å skru av displayerfeil og bare lese feilloggen din. Nå, etter å ha lest alle tingene ovenfor, tenker du antagelig: hva er det da når jeg bare vil begynne å lene meg til enkel SELECT. SETT INN. OPPDATER. eller SLETT setninger Ikke bekymre deg, her går vi: Velge data Så hva du gjør i mysql er: Nå i PDO. Du kan gjøre dette som: Merk. Hvis du bruker metoden som nedenfor (spørring ()), returnerer denne metoden en PDOStatement-objekt. Så hvis du vil hente resultatet, bruk det som ovenfor. I PDO Data, er det oppnådd via - gtfetch (). en metode for ditt utsagnshåndtak. Før du ringer henting, vil den beste tilnærmingen være å fortelle PDO hvordan du liker dataene som skal hentes. I det nedenstående avsnittet forklarer jeg dette. Hent Moduser Merk bruk av PDO :: FETCHASSOC i hente () og fetchAll () - koden ovenfor. Dette forteller PDO å returnere radene som en assosiativ array med feltnavnene som nøkler. Det er også mange andre hentemoduser som jeg vil forklare en etter en. Først og fremst forklarer jeg hvordan du velger hentemodus: I det ovennevnte har jeg brukt henting (). Du kan også bruke: PDOStatement :: fetchAll () - Returnerer en matrise som inneholder alle resultatrapporteringsrader PDOStatement :: fetchColumn () - Returnerer en enkelt kolonne fra neste rad i et resultatsett PDOStatement :: fetchObject () - Fetches the neste rad og returnerer den som et objekt. PDOStatement :: setFetchMode () - Still inn standard hent modus for denne setningen Nå kommer jeg for å hente modus: PDO :: FETCHASSOC. returnerer en matrise indeksert av kolonnenavnet som returneres i resultatsettet PDO :: FETCHBOTH (standard): Returnerer en matrise indeksert av både kolonnenavn og 0-indeksert kolonnnummer som returnert i resultatsettet. Det er enda flere valg Les om dem alle i PDOStatement Hent dokumentasjon. . Å få radtellingen: I stedet for å bruke mysqlnumrows for å få antall returnerte rader, kan du få en PDOStatement og gjøre rowCount (). som: Få den sist innsatte ID-innfør og oppdater eller slett setninger Det vi gjør i mysql-funksjonen er: Og i pdo kan dette samme gjøres ved: I ovennevnte spørreforespørsel PDO :: exec kjører en SQL-setning og returnerer nummeret av berørte rader. Sett inn og slett vil dekkes senere. Ovennevnte metode er bare nyttig når du ikke bruker variabel i spørringen. Men når du trenger å bruke en variabel i en spørring, prøv aldri noen gang som ovenfor, og der for forberedt uttalelse eller parameterisert setning er. Forberedte uttalelser Q. Hva er en forberedt setning og hvorfor trenger jeg dem A. En forberedt setning er en forhåndskompilert SQL-setning som kan utføres flere ganger ved å sende bare dataene til serveren. Den typiske arbeidsflyten ved å bruke en forberedt setning er som følger (sitert fra Wikipedia tre 3 poeng): Forbered. Oppgavemalen er opprettet av søknaden og sendt til databasebehandlingssystemet (DBMS). Visse verdier blir ikke spesifisert, kalt parametere, plassholdere eller bindingsvariabler (merket nedenfor): INSERT TIL PRODUKT (navn, pris) VÆRDIER (.) DBMS analyserer, kompilerer og utfører spørringsoptimalisering på setningsmalen, og lagrer resultatet uten å utføre det. Henrette . På et senere tidspunkt leverer applikasjonen (eller binder) verdier for parametrene, og DBMS utfører setningen (muligens returnerer et resultat). Søknaden kan utføre setningen så mange ganger som den vil med forskjellige verdier. I dette eksemplet kan det tilveiebringe brød for den første parameteren og 1,00 for den andre parameteren. Du kan bruke en utarbeidet setning ved å inkludere plassholdere i SQL. Det er i utgangspunktet tre uten plassholdere (ikke prøv dette med variabel det ovenfor), en med uavhengige plassholdere, og en med navngitte plassholdere. Spørsmål. Så nå, hva heter opphavsrettere og hvordan bruker jeg dem A. Oppkalt plassholdere. Bruk beskrivende navn før en kolon, i stedet for spørsmålstegn. Vi bryr oss ikke om posisjonsordre av verdi i navneplassholder: Du kan også binde med en utføringsgruppe også: En annen fin funksjon for OOP-venner er at navngitte stedinnehavere har muligheten til å sette inn objekter direkte inn i databasen din, forutsatt at egenskapene stemmer overens med navnet Enger. For eksempel: Q. Så nå, hva er navngitte plassholdere og hvordan bruker jeg dem A. Kan få et eksempel: I det ovenstående kan du se dem. i stedet for et navn som i en navneplassholder. Nå i det første eksemplet tilordner vi variabler til de ulike plassholderne (stmt-gtbindValue (1, navn, PDO :: PARAMSTR)). Deretter tilordner vi verdier til de plassholderne og utfører erklæringen. I det andre eksemplet går det første arrayelementet til den første. og den andre til den andre. MERK . I ikke navngitte stedinnehavere må vi ta vare på riktig rekkefølge av elementene i gruppen vi overfører til PDOStatement :: execute () - metoden. PLUKKE UT. SETT INN. OPPDATER. SLETT utarbeidede spørringer Amine, Nei, det er det ikke. Mens NullPoite virkelig gjorde en god jobb med å skrive den, er dette absolutt ikke en god lesning, for det er langt til lang. Jeg er ganske sikker på at 8 av 10 besøkende bare vil hoppe over det. Og du har også en forklaring, hvorfor dette svaret er høyest stemt. En tldr-del i begynnelsen ville være en god ide, tror jeg. ndash trejder 4 juli 14 kl 11:00 Først, la oss begynne med standardkommentaren vi gir alle: Vennligst ikke bruk mysql-funksjonene i ny kode. De holdes ikke lenger og blir offisielt avskrevet. Se den røde boksen. Lær om forberedte uttalelser i stedet, og bruk PDO eller MySQLi - denne artikkelen vil hjelpe deg med å bestemme hvilken. Hvis du velger PDO, er det her en god opplæring. La oss gå gjennom dette, setning etter setning, og forklare: De holdes ikke lenger, og blir offisielt utelukket. Dette betyr at PHP-fellesskapet gradvis slipper støtten for disse svært gamle funksjonene. De vil sannsynligvis ikke eksistere i en fremtidig (nyere) versjon av PHP. Fortsatt bruk av disse funksjonene kan ødelegge koden din i den (ikke så) lange fremtid. Nyere extmysql er fjernet i PHP 7 I stedet bør du lære av forberedte setninger - mysql-utvidelsen støtter ikke forberedte uttalelser. som blant annet er en svært effektiv motforanstaltning mot SQL Injection. Det løste et svært alvorlig sårbarhet i MySQL-avhengige applikasjoner som gjør det mulig for angripere å få tilgang til skriptet ditt og utføre eventuelle forespørsler i databasen. Når du går på en hvilken som helst mysql funksjonsmanualside, ser du en rød boks, og forklarer at den ikke skal brukes lenger. Bruk enten PDO eller MySQLi. Det er bedre, mer robuste og godt bygget alternativer, PDO - PHP Database Object. som tilbyr en komplett OOP-tilnærming til databaseinteraksjon, og MySQLi. som er en MySQL-spesifikk forbedring. Brukervennlighet De analytiske og syntetiske årsakene var allerede nevnt. For nybegynnere er det et mer betydelig incitament til å slutte å bruke de daterte mysql-funksjonene. Moderne database-APIer er bare enklere å bruke. Dens det meste er de bundet parametrene som kan forenkle koden. Og med gode opplæringsprogrammer (som vist ovenfor) er overgangen til PDO ikke altfor vanskelig. Omskrivning av en større kodebase samtidig tar imidlertid tid. Raison dtre for dette mellomliggende alternativet: Ekvivalente pdo-funksjoner i stedet for mysql Ved å bruke lt pdomysql. php gt kan du bytte fra de gamle mysql-funksjonene med minimal innsats. Det legger til pdo funksjon wrappers som erstatter deres mysql kolleger. Bare includeonce (pdomysql. php) i hvert anropsskript som må samhandle med databasen. Fjern mysql-funksjonens prefiks overalt og erstatt det med pdo. mysql connect () blir pdo connect () blir pdo query () mysql numrows () blir pdo numrows () mysql inserver () blir pdo insertid () mysql fetcharray () blir pdo fetcharray () mysql fetchassoc pdo fetchassoc () mysql realescapestring () blir pdo realescapestring () og så videre. Koden din vil virke likt og likevel mest sett det samme: Et voil. Koden din bruker PDO. Nå er det på tide å faktisk utnytte det. Bundet parametere kan være enkelt å bruke Du trenger bare en mindre uhåndterlig API. pdoquery () legger til veldig enkel støtte for bundet parametere. Konvertere gammel kode er enkel: Flytt variablene dine ut av SQL-strengen. Legg dem til som kommaseparerte funksjonsparametere til pdoquery (). Plasser spørsmålstegn. som plassholdere hvor variablene var før. Bli kvitt enkelt anførselstegn som tidligere lukkede strengverdiervariabler. Fordelen blir mer åpenbar for lengre kode. Ofte strenger variabler arent bare interpolert til SQL, men sammenføyde med å rømme samtaler i mellom. Med. plassholdere brukte deg ikke å bry deg med det: Husk at pdo fortsatt tillater enten eller. Bare unnslippe en variabel og bind den i samme spørring. Stedholderfunksjonen er gitt av den virkelige PDO bak den. Dermed tillates også: navngitte stedholderlister senere. Enda viktigere, du kan passere REQUEST-variablene trygt bak et hvilket som helst spørsmål. Når det er lagt inn lette felt, matcher databasestrukturen nøyaktig det enda kortere: Så mye enkelhet. Men vi kan komme tilbake til noen flere rewriting råd og tekniske grunner til hvorfor du kanskje vil bli kvitt mysql og rømme. Fiks eller fjern eventuell oldschool sanitize () - funksjon Når du har konvertert alle mysql-anrop til pdoquery med bundet parameter, fjerner du alle redundante pdorealescapestring-anrop. Spesielt bør du fikse eventuelle sanitiser eller rengjør eller filtrer Dette eller cleandata-funksjonene som annonseres av daterte opplæringsprogrammer i en eller annen form: Den mest skarpe feilen er mangelen på dokumentasjon. Mer signifikant var rekkefølgen på filtrering i nøyaktig feil rekkefølge. Korrekt ordre ville ha vært: avviklet stripslashes som det innerste anropet, og deretter trimme. etterpå striptags. htmlentiteter for utgangskontekst, og bare til slutt escapestring som sin applikasjon burde direkte forgå SQL intersparsing. Men som første skritt bare bli kvitt realescapestring-samtalen. Du må kanskje holde resten av sanitize () - funksjonen din for nå hvis databasen og programflyten forventer HTML-kontekst-sikre strenge. Legg til en kommentar om at den gjelder kun HTML som kommer fra. Stringvaluehåndtering er delegert til PDO og dets parametriske utsagn. Hvis det var noen omtale av stripslashes () i din sanitize-funksjon, kan det indikere et høyere nivå tilsyn. Det var vanligvis der for å utrydde skade (dobbeltflytting) fra de utdaterte magicquotes. Som imidlertid er det best plassert sentralt. ikke streng etter streng. Bruk en av brukerlandenes reverseringsmetoder. Fjern deretter stripeslissene () i sanitize-funksjonen. Historisk notat om magicquotes. Denne funksjonen er med rette avskrevet. Det er ofte feilaktig portrettert som mislykket sikkerhetsfunksjon, men. Men magicquotes er like mye en mislykket sikkerhetsfunksjon som tennisballer har mislyktes som ernæringskilde. Det var rett og slett ikke deres formål. Den opprinnelige implementeringen i PHP2FI introduserte det eksplisitt med bare anførselstegn vil bli automatisk rømt, noe som gjør det enklere å sende formdata direkte til msql-spørringer. Spesielt var det tilfeldigvis sikkert å bruke med mSQL. som det støttes bare ASCII. Så PHP3Zend reintroduced magicquotes for MySQL og misdocumented det. Men opprinnelig var det bare en praktisk funksjon. ikke tenkt på sikkerhet. Hvordan forberedte setninger er forskjellige Når du krypterer strengvariabler i SQL-spørringene, blir det ikke mer komplisert for deg å følge. Det er også ekstern innsats for MySQL å segregere kode og data igjen. SQL-injeksjoner er bare når data bløder inn i kodesammenheng. En databasetjener kan ikke senere stedet hvor PHP opprinnelig limte variabler i mellom spørreklausuler. Med bundne parametere separerer du SQL-kode og SQL-kontekstverdier i PHP-koden din. Men det blir ikke blandet opp igjen bak kulissene (unntatt med PDO :: EMULATEPREPARES). Databasen din mottar uvarierte SQL-kommandoer og 1: 1-variableverdier. Mens dette svaret understreker at du bør bry deg om lesbarhetsfordelene ved å slippe mysql. Det er noen ganger også en ytelsesfordel (gjentatte INSERT med bare forskjellige verdier) på grunn av denne synlige og tekniske datakodseparasjonen. Pass på at parameterbinding fortsatt ikke er en magisk one-stop-løsning mot alle SQL-injeksjoner. Den håndterer den vanligste bruken for datavalg. Men kan ikke hviteliste kolonne navn tabell identifikatorer, hjelp med dynamisk setning konstruksjon, eller bare ren array verdi lister. Hybrid PDO-bruk Disse pdo-wrapper-funksjonene gjør et kodingsvennlig stopp-gap API. (Det er ganske mye hva MYSQLI kunne ha vært hvis det ikke var for den idiosynkratiske funk-sjonens signaturskift). De eksponerer også den virkelige PDO mesteparten av tiden. Omskrivning behøver ikke å stoppe ved å bruke de nye pdo-funksjonene. Du kan en etter en overgang hver pdoquery () til en vanlig pdo-prepare () - execute () samtale. Det er best å begynne å forenkle igjen. For eksempel kan det hente det vanlige resultatet: Kan erstattes med bare en forutgående iterasjon: Eller enda bedre en direkte og fullstendig henting av data: Du får mest nyttige advarsler i de fleste tilfeller enn PDO eller mysql som regel gir etter mislykkede søk. Andre alternativer Så dette forhåpentligvis visualiserte noen praktiske grunner og en verdig vei å slippe mysql. Bare å bytte til pdo klipper ikke det. pdoquery () er også bare en frontend på den. Med mindre du også innfører parameterbinding eller kan bruke noe annet fra den bedre API, er det en meningsløs bryter. Jeg håper det skildres enkelt nok til ikke å fremme motløsheten til nykommere. (Utdanning fungerer vanligvis bedre enn forbud.) Selv om det kvalifiserer for den enkleste ting-det-kan-muligens-arbeidskategorien, er det dessuten fortsatt veldig eksperimentell kode. Jeg skrev det bare i helgen. Det er imidlertid en mengde alternativer. Bare google for PHP database abstraction og bla litt. Det har alltid vært og vil være mange gode biblioteker for slike oppgaver. Hvis du vil forenkle databasens interaksjon ytterligere, er mappere som ParisIdiorm verdt å prøve. Akkurat som ingen bruker dumme DOM i JavaScript lenger, trenger du ikke å babysit et grønt databasegrensesnitt nå til dags. Besvart 24. desember klokken 23:30 Snakk av tekniske grunner er det bare få, ekstremt spesifikke og sjelden brukt. Sannsynligvis vil du aldri bruke dem i livet ditt. Kan være at jeg er for uvitende, men jeg har aldri hatt mulighet til å bruke dem som ikke-blokkerende, asynkronte spørringer lagrede prosedyrer som returnerer flere resultater. Kryptering (SSL) Komprimering Hvis du trenger dem, er det ingen tvil om tekniske grunner til å bevege seg bort fra mysql utvidelse mot noe mer stilig og moderne utseende. Likevel er det også noen ikke-tekniske problemer, noe som kan gjøre opplevelsen litt vanskeligere, videreutnyttelse av disse funksjonene med moderne PHP-versjoner vil øke utdaterte meldinger. De kan ganske enkelt slås av. i en fjern fremtid kan de muligens fjernes fra standard PHP-bygningen. Ikke en stor sak også, da mydsql ext vil bli flyttet inn i PECL, og hver hoster vil gjerne oversette PHP med det, da de ikke vil miste klienter hvis nettsteder jobbet i flere tiår. sterk motstand fra Stackoverflow samfunnet. veldig tid du nevner disse ærlige funksjonene, du blir fortalt at de er under streng tabu. å være en gjennomsnittlig php-bruker, mest sannsynlig er ideen om å bruke disse funksjonene feilaktig og feil. Bare på grunn av alle disse mange tutorials og manualer som lærer deg feil måte. Ikke funksjonene selv - jeg må understreke det - men måten de blir brukt på. Dette sistnevnte problemet er et problem. Men etter min mening er den foreslåtte løsningen heller ikke bedre. Det virker for meg for idealistisk en drøm at alle de PHP-brukerne vil lære å håndtere SQL-spørringer riktig på en gang. Sannsynligvis vil de bare endre mysql til mysqli mekanisk, slik at tilnærmingen er den samme. Spesielt fordi mysqli gjør utarbeidede uttalelser bruk utrolig smertefull og plagsom. For ikke å nevne at innfødte forberedte uttalelser arent nok til å beskytte mot SQL-injeksjoner, og verken mysqli eller PDO tilbyr en løsning. Så, i stedet for å bekjempe denne ærlige utvidelsen, foretrekker ID å bekjempe feil praksis og utdanne folk på de riktige måtene. Også, det er noen falske eller ikke-betydelige grunner, som støtter ikke Lagrede prosedyrer (vi brukte mysqlquery (CALL myproc) i mange aldre) Støtter ikke Transaksjoner (samme som ovenfor) Støtter ikke flere uttalelser (som trenger dem) Ikke under aktiv utvikling (så hva påvirker det på en hvilken som helst praktisk måte) Mangler et OO-grensesnitt (for å skape en er et spørsmål om flere timer) Støtter ikke Forberedte uttalelser eller parametriserte spørringer En sistnevnte er et interessant punkt. Selv om mysql ext ikke støtter opprinnelige forberedte uttalelser, er de ikke nødvendig for sikkerheten. Vi kan lett falle utarbeidede uttalelser ved hjelp av manuelt håndterte plassholdere (akkurat som PDO gjør): voila. alt er parameterisert og trygt. Men ok, hvis du ikke liker den røde boksen i håndboken, oppstår et problem av valg: mysqli eller PDO Vel, svaret ville være som følger: Hvis du forstår nødvendigheten av å bruke et databasekstraksjonslag. og leter etter en API for å lage en, er mysqli et veldig godt valg, da det faktisk støtter mange mysql-spesifikke funksjoner. Hvis du, som vanligvis flertallet av PHP-folk, bruker rå API-samtaler rett i programkoden (som egentlig er feil praksis) - BOB er det eneste valget. som denne utvidelsen lå ut som å være ikke bare API, men heller en semi-DAL, fortsatt ufullstendig, men tilbyr mange viktige funksjoner, med to av dem gjør PDO kritisk skilt fra mysqli: i motsetning til mysqli, kan PDO binde plassholdere etter verdi. som gjør dynamisk bygget spørringer mulig uten flere skjermbilder av ganske rotete koden. i motsetning til mysqli, kan PDO alltid returnere spørreskjema i et enkelt vanlig array, mens mysqli kan gjøre det bare på mysqlnd installasjoner. Så, hvis du er en gjennomsnittlig PHP-bruker og vil redde deg massevis av hodepine når du bruker innfødte forberedte uttalelser, er PDO - igjen - det eneste valget. Men PDO er ikke en sølvkule også, og har sine vanskeligheter. Så skrev jeg løsninger for alle vanlige fallgruvene og komplekse tilfeller i PDO-tagwiki. Allikevel snakker alle som snakker om utvidelser alltid de to viktige fakta om Mysqli og PDO: Utarbeidet erklæring er ikke en sølvkule. Det er dynamiske identifikatorer som ikke kan bindes ved hjelp av utarbeidede uttalelser. Det er dynamiske spørringer med ukjent antall parametere som gjør at spørringen bygger en vanskelig oppgave. Verken mysqli eller PDO-funksjoner skal ikke vises i søknadskoden. There ought to be an abstraction layer between them and application code, which will do all the dirty job of binding, looping, error handling, etc. inside, making application code DRY and clean. Especially for the complex cases like dynamical query building. So, just switching to PDO or mysqli is not enough. One have to use an ORM, or a query builder, or whatever database abstraction class instead of calling raw API functions in their code. And contrary - if you have an abstraction layer between your application code and mysql API - it doesnt actually matter which engine is used. You can use mysql ext until it goes deprecated and then easily rewrite your abstraction class to another engine, having all the application code intact. Here are some examples based on my safemysql class to show how such an abstraction class ought to be: Compare this one single line with amount of code you will need with PDO . Then compare with crazy amount of code you will need with raw Mysqli prepared statements. Note that error handling, profiling, query logging already built in and running. Compare it with usual PDO inserts, when every single field name being repeated six to ten times - in all these numerous named placeholders, bindings and query definitions. You can hardly find an example for PDO to handle such practical case. And it will be too wordy and most likely unsafe. So, once more - it is not just raw driver should be your concern but abstraction class, useful not only for silly examples from beginners manual but to solve whatever real life problems. How is Not under active development only for that made-up 390.0139 If you build something with this stand-still function, update your mysql-version in a year and wind up with a non-working system, I39m sure there are an awful lot of people suddenly in that 390.0139. I39d say that deprecated and not under active development are closely related. You can say that there is quotno worthy reasonquot for it, but the fact is that when offered a choice between the options, no active development is almost just as bad as deprecated I39d say ndash Nanne Feb 1 13 at 10:21 ShaquinTrifonoff: sure, it doesn39t use prepared statements. But neither does PDO. which most people recommend over MySQLi. So I39m not sure that has a significant impact here. The above code (with a little more parsing) is what PDO does when you prepare a statement by default. ndash ircmaxell Feb 4 13 at 12:44 This answer is written to show just how trivial it is to bypass poorly written PHP user-validation code, how (and using what) these attacks work and how to replace the old MySQL functions with a secure prepared statement - and basically, why StackOverflow users (probably with a lot of rep) are barking at new users asking questions to improve their code. First off, please feel free to create this test mysql database (I have called mine prep): With that done, we can move to our PHP code. Lets assume the following script is the verification process for an admin on a website (simplified but working if you copy and use it for testing): Seems legit enough at first glance. The user has to enter a login and password, right Brilliant, not enter in the following: The output is as follows: Super Working as expected, now lets try the actual username and password: Amazing Hi-fives all round, the code correctly verified an admin. Its perfect Well, not really. Lets say the user is a clever little person. Lets say the person is me. Enter in the following: And the output is: Congrats, you just allowed me to enter your super-protected admins only section with me entering a false username and a false password. Seriously, if you dont believe me, create the database with the code I provided, and run this PHP code - which at glance REALLY does seem to verify the username and password rather nicely. So, in answer, THAT IS WHY YOU ARE BEING YELLED AT. So, lets have a look at what went wrong, and why I just got into your super-admin-only-bat-cave. I took a guess and assumed that you werent being careful with your inputs and simply passed them to the database directly. I constructed the input in a way tht would CHANGE the query that you were actually running. So, what was it supposed to be, and what did it end up being Thats the query, but when we replace the variables with the actual inputs that we used, we get the following: See how I constructed my password so that it would first close the single quote around the password, then introduce a completely new comparison Then just for safety, I added another string so that the single quote would get closed as expected in the code we originally had. However, this isnt about folks yelling at you now, this is about showing you how to make your code more secure. Okay, so what went wrong, and how can we fix it This is a classic SQL injection attack. One of the simplest for that matter. On the scale of attack vectors, this is a toddler attacking a tank - and winning. So, how do we protect your sacred admin section and make it nice and secure The first thing to do will be to stop using those really old and deprecated mysql functions. I know, you followed a tutorial you found online and it works, but its old, its outdated and in the space of a few minutes, I have just broken past it without so much as breaking a sweat. Now, you have the better options of using mysqli or PDO. I am personally a big fan of PDO, so I will be using PDO in the rest of this answer. There are pros and cons, but personally I find that the pros far outweigh the cons. Its portable across multiple database engines - whether you are using MySQL or Oracle or just about bloody anything - just by changing the connection string, it has all the fancy features we want to use and it is nice and clean. I like clean. Now, lets have a look at that code again, this time written using a PDO object: The major differences are that there are no more mysql functions. Its all done via a PDO object, secondly, it is using a prepared statement. Now, whats a prepred statement you ask Its a way to tell the database ahead of running a query, what the query is that we are going to run. In this case, we tell the database: Hi, I am going to run a select statement wanting id, userid and pass from the table users where the userid is a variable and the pass is also a variable.. Then, in the execute statement, we pass the database an array with all the variables that it now expects. The results are fantastic. Lets try those username and password combinations from before again: User wasnt verified. Awesome. Oh, I just got a little excited, it worked: The check passed. We have a verified admin Now, lets try the data that a clever chap would enter to try to get past our little verification system: This time, we get the following: This is why you are being yelled at when posting questions - its because people can see that your code can be bypassed wihout even trying. Please, do use this question and answer to improve your code, to make it more secure and to use functions that are current. Lastly, this isnt to say that this is PERFECT code. There are many more things that you could do to improve it, use hashed passwords for example, ensure that when you store sensetive information in the database, you dont store it in plain text, have multiple levels of verification - but really, if you just change your old injection prone code to this, you will be WELL along the way to writing good code - and the fact that you have gotten this far and are still reading gives me a sense of hope that you will not only implement this type of code when writing your websites and applications, but that you might go out and research those other things I just mentioned - and more. Write the best code you can, not the most basic code that barely functions. answered Sep 18 13 at 12:28 Because (amongst other reasons) its much harder to ensure the input data is sanitized. If you use parametrized queries, as one does with PDO or mysqli you can entirely avoid the risk. As an example, some-one could use enhzflep) drop table users as a user name. The old functions will allow executing of multiple statements per query, so something like that nasty bugger can delete a whole table. If one were to use PDO of mysqli, the user-name would end-up being enhzflep) drop table users The old functions will allow executing of multiple statements per query - no, they won39t. That kind of injection is not possible with extmysql - the only way this kind of injection is possible with PHP and MySQL is when using MySQLi and the mysqlimultiquery() function. The kind injection that is possible with extmysql and unescaped strings is things like 39 OR 39139 391 to extract data from the database that was not meant to be accessible. In certain situations it is possible to inject sub queries, however it is still not possible to modify the database in this way. ndash DaveRandom Dec 30 12 at 20:58 The MySQL extension is the oldest of the three and was the original way that developers used to communicate with MySQL. This extension is now being deprecated in favor of the other two alternatives because of improvements made in newer releases of both PHP and MySQL. MySQLi is the improved extension for working with MySQL databases. It takes advantage of features that are available in newer versions of the MySQL server, exposes both a function-oriented and an object-oriented interface to the developer and a does few other nifty things. PDO offers an API that consolidates most of the functionality that was previously spread across the major database access extensions, i. e. MySQL, PostgreSQL, SQLite, MSSQL, etc. The interface exposes high-level objects for the programmer to work with database connections, queries and result sets, and low-level drivers perform communication and resource handling with the database server. A lot of discussion and work is going into PDO and its considered the appropriate method of working with databases in modern, professional code. answered Sep 2 15 at 7:20 I find the above answers really lengthy, so to summarize: The mysqli extension has a number of benefits, the key enhancements over the mysql extension being: Object-oriented interface Support for Prepared Statements Support for Multiple Statements Support for Transactions Enhanced debugging capabilities Embedded server support As explained in the above answeres, the alternatives of mysql are mysqli and pdo. API supports server-side Prepared Statements. Supported by MYSQLi and PDO API supports client-side Prepared Statements. Supported only by PDO API supports Stored Procedures. Both MySQLi and PDO API supports Multiple Statements and all MySQL 4.1 functionality - Supported by MySQLi and mostly also by PDO Both MySQLi and PDO where introduced in PHP5.0, whereas MySQL was introduced prior to PHP3.0. A point to note is MySQL is included in PHP5.x though deprecated in later versions. A full-text index in MySQL is an index of type FULLTEXT. Full-text indexes can be used only with InnoDB or MyISAM tables, and can be created only for CHAR. VARCHAR. or TEXT columns. As of MySQL 5.7.6, MySQL provides a built-in full-text ngram parser that supports Chinese, Japanese, and Korean (CJK), and an installable MeCab full-text parser plugin for Japanese. Parsing differences are outlined in Section 13.9.8, ngram Full-Text Parser. and Section 13.9.9, MeCab Full-Text Parser Plugin. A FULLTEXT index definition can be given in the CREATE TABLE statement when a table is created, or added later using ALTER TABLE or CREATE INDEX. For large data sets, it is much faster to load your data into a table that has no FULLTEXT index and then create the index after that, than to load data into a table that has an existing FULLTEXT index. Full-text searching is performed using MATCH(). AGAINST syntax. MATCH() takes a comma-separated list that names the columns to be searched. AGAINST takes a string to search for, and an optional modifier that indicates what type of search to perform. The search string must be a string value that is constant during query evaluation. This rules out, for example, a table column because that can differ for each row. There are three types of full-text searches: A natural language search interprets the search string as a phrase in natural human language (a phrase in free text). There are no special operators. The stopword list applies. For more information about stopword lists, see Section 13.9.4, Full-Text Stopwords. Full-text searches are natural language searches if the IN NATURAL LANGUAGE MODE modifier is given or if no modifier is given. For more information, see Section 13.9.1, Natural Language Full-Text Searches. A boolean search interprets the search string using the rules of a special query language. The string contains the words to search for. It can also contain operators that specify requirements such that a word must be present or absent in matching rows, or that it should be weighted higher or lower than usual. Certain common words (stopwords) are omitted from the search index and do not match if present in the search string. The IN BOOLEAN MODE modifier specifies a boolean search. For more information, see Section 13.9.2, Boolean Full-Text Searches. A query expansion search is a modification of a natural language search. The search string is used to perform a natural language search. Then words from the most relevant rows returned by the search are added to the search string and the search is done again. The query returns the rows from the second search. The IN NATURAL LANGUAGE MODE WITH QUERY EXPANSION or WITH QUERY EXPANSION modifier specifies a query expansion search. For more information, see Section 13.9.3, Full-Text Searches with Query Expansion. For information about FULLTEXT query performance, see Section 9.3.4, Column Indexes. For more information about InnoDB FULLTEXT indexes, see Section 15.8.10, InnoDB FULLTEXT Indexes. The myisamftdump utility dumps the contents of a MyISAM full-text index. This may be helpful for debugging full-text queries. See Section 5.6.2, myisamftdump Display Full-Text Index information. Posted by Dyfed Lloyd Evans on October 21, 2002 Hyphen 039-039 characters break literals at the moment. A search for something like quotGATA-D22S690quot finds all entries containing GATA and not the full hyphenated text. The 039-039 character is treated as a word stop even within literals. The same is true if any of the special text search modifiers are used (eg found with full text searches. Posted by Patrick O039Lone on December 9, 2002 It should be noted in the documentation that IN BOOLEAN MODE will almost always return a relevance of 1.0. In order to get a relevance that is meaningful, you039ll need to: ltBRgtltBRgt SELECT MATCH(039Content039) AGAINST (039keyword1 keyword2039) as Relevance FROM table WHERE MATCH (039Content039) AGAINST(039keyword1 keyword2039 IN BOOLEAN MODE) HAVING Relevance gt 0.2 ORDER BY Relevance DESC ltBRgtltBRgt Notice that you are doing a regular relevance query to obtain relevance factors combined with a WHERE clause that uses BOOLEAN MODE. The BOOLEAN MODE gives you the subset that fulfills the requirements of the BOOLEAN search, the relevance query fulfills the relevance factor, and the HAVING clause (in this case) ensures that the document is relevant to the search (i. e. documents that score less than 0.2 are considered irrelevant). This also allows you to order by relevance. ltBRgtltBRgt This may or may not be a bug in the way that IN BOOLEAN MODE operates, although the comments I039ve read on the mailing list suggest that IN BOOLEAN MODE039s relevance ranking is not very complicated, thus lending itself poorly for actually providing relevant documents. BTW - I didn039t notice a performance loss for doing this, since it appears MySQL only performs the FULLTEXT search once, even though the two MATCH clauses are different. Use EXPLAIN to prove this. Posted by Nathan Ostgard on April 14, 2003 An easy solution to correct for spelling errors for small search items like the name of the city is to build a column that contains the SOUNDEX of each. I039ve found that using a 4 character SOUNDEX works the best. An example: ALTER TABLE cities ADD citysoundex VARCHAR(4) NOT NULL UPDATE cities SET citysoundexLEFT(SOUNDEX(cityname),4) And then to query against: SELECT FROM citites WHERE citysoundexLEFT(SOUNDEX(039Some City Name039),4) Posted by Jim Nguyen on June 18, 2003 The full-text search is slow when there are a lot of rows in the table. I have more than 2 million rows with text and multiple word searches (3 or more) take about 30 seconds to a minute or longer. I am running a Athlon 2.2 Ghz with 512 MB DDR RAM 400 Mhz. Hard drive has seek time of 9 ms. Posted by Alan Riley on July 14, 2003 We too have a database with close to 6 million rows in it. We would like to use the fulltext search, but it is painfully slow. The sad thing is that any one query we need to run only needs to be run on a subset of the rows (think of those 6 million rows as being divided between about 80 different categories, with results only needed to be returned from within a category). It is a shame that there isn039t some way for us to have a fulltext index within the rows of another column which is also indexed. Our next shot at this is going to be to create 80 different tables, one for each category (yuck), just to try to get decent performance on the within-category fulltext search. I would think there is enough interest in fulltext search for there to be an email list dedicated to it where those of us who need to use it on real-world web sites could interact with the developers to try to tune it for the good of the community at large. Posted by Donal McMullan on September 24, 2003 The nature of fulltext indexing is such that the more 039words039 (of greater than the minimum length) that appear in the columns you index, the greater will be size of the index, and the time it takes to create and search that index. 4 Million rows x 6 words per row 24 Million entries 4 Million rows x 30 words per row 120 Million entries If you index intelligently, you may well find that the feature meets your needs, despite what some users may have remarked above. quotNumber of rowsquot is useless as a benchmarking statistic on its own. Posted by Erlend Strmsvik on October 23, 2003 I039ve got a webshop running with mysql. We have 1.6 million booktitles in our database, and our fulltext index is from title and 039extra039 title. Maybe around 5-7 words on average per record. Any fulltext search in our database takes around 1-5ms. A three word search can take a few seconds but still faster than anything else. Even Amazon. This is from our main server which has several thousand hits every day. We are one of the biggest booksellers in my country. - This was in 039reply039 to someone posting earlier about poor performance in 039real world situation039. Posted by Jerome C on December 3, 2003 We have a vast database of products (totaling 3 million rows). The rebuild of the full-text index took 21 minutes to complete. As for the search, a multiple word search on the full-text index of 1 field is as follows: 20 rows returned Query took 1.0263 sec The size of the index is very big though. Index 449,529 KB We are going to eliminate unnecessary words which should make the index smaller. Posted by Ben Margolin on December 19, 2003 The indexing process definitely depends on your machine config. I indexed the same dataset, same mysql version (4.0.16, - standard on Linux, - nt on XP). First machine: a 512M Athlon 2100 running WinXP on a RAID1 array, and it took 9 mins 20 sec. Second machine: 1G RAM P4-2.0ghz, running Linux 7.3 (2.4.20-13.7 kernel), one-spindle (but fast) IDE disk, and it took 29 mins 11 sec. The query was quotalter table msgbodies add fulltext ftibodies (subject, body)quot, and the dataset is about 550M, 1.3 million rows. Both machines were mostly idle when the indexing occurred. I know it039s just anecdotal, but if you run a big alter as I did, don039t be surprised if it takes a while. oh yeah, and then be prepared for MUCH longer than normal insert times when you add large data to the FT indexed columns. This makes sense of course, but, at least on my dataset and hardware, is positively NOT neglible. FYI. Posted by Jeffrey Yuen on February 2, 2004 Full text searching in 4.1.1 For Chinese charset in UTF-8 encoding. It needed to set ftminwordlen 1 Posted by Eric Jacolin on February 4, 2004 (MySQL 4.1) To make FULLTEXT MATCH work with Japanese UTF-8 text, be careful that words from your Japanese text be separated by the ASCII space character, not Japanese UTF-8 (or other) spacing characters. (when using phpMyAdmin to manage data write a SQL query, you must switch away from your Japanese IME to insert a space char. ) Posted by Tom Cunningham on February 5, 2004 Tom039s fulltext tips: To get MySQL searching well for me I did: 1. Have a normalized versions of the important columns: where you039ve stripped punctuation and converted numerals to words (0391039 to 039one039). Likewise normalise the search string. 2. Have a combined fulltext index on your searchable columns to use in your 039WHERE039 clause, but then have separate fulltext indexes on each column to use in the 039ORDER BY039 clause, so they can have different weights. 3. For the scoring algorithm, include the independent importance of that record, and include a match of the inclusive index against stemmed versions of the search words (as: quotweddingquot gt quotwedquot, quotweddingsquot). 4. If there039s exactly one result, go straight to that record. 5. If you get no results, try matching against the start of the most important column (WHERE column LIKE 039term039), and put a 5-character index on that column. This helps if someone is searching on a very short word or a stopword. 6. Reduce minimum word length to 3, and make a new stopwords list just using quota an and the is in which we you to on this by of withquot. Use quotREPAIR TABLE xxx QUICKquot to rebuild the index and make a note of the index-file (xxx. MYI) size before and after you make changes. Then use ftdump to tune. Posted by Attila Nagy on April 19, 2004 More about performance: Fulltext search in MySQL isn039t slow really. It039s slower than normal index selects, but that039s not noticable. I039m playing tables that each contains ca 4million records, about 6GB of text that needs to be indexed. The problem lies in the optimization of the queries, that use the MATCH() and AGAINST() functions. So far as I found out MySQL can use in a query only one index. The optimizer looks for the index that will possibly give the smallest amount of rows, then goes trough all of these, and removes those records, that fall out because of the other WHERE statements. When you enter a fulltext search, the server has to use that index. Any other statments could be applied only to the rows that were returned by the search. If you have lots of records, most of the searches will return lots of results. The rest of your query will be executed like if you were executing it against a table that contains the results, and no indexes - obviously that will be processed sequentially. Same thing applies when you use the SQLCALCFOUNDROWS, or LIMIT with high offset values: first the server has to load all the results, then the limit could be applied. If you have to use the fulltext, these are some hints how you could get quite good results: - Try to avoid any group, where, order and any statements for what it039s necessary to get all the results. I know, usually this is impossible. - If you need to show the results on a web page, try to find other methods to get the total number of results than using SQLCALCFOUNDROWS. Better if you don039t tell the user at all how many results there are ) - If indexing text that is in other language than english, before doing anything create a stopword file for your language (That could reduce index size about 30) But most important: think a lot, before you decide to use fulltext search Posted by Peter Dunham on April 22, 2004 We are doing fulltext searches of around 200 tables of 14 -12 million rows each. Upgrading a twin cpu 2Ghz linux machine (running ES 3) from 1GB to 3GB RAM and increasing keybuffersize from 384MB to 512MB has seen load averages go from 1.5-2 to around 0.5, with same usage. Posted by Peter Grigor on May 29, 2004 I039m not sure I agree with your comment that Mysql always uses a fulltext index if you include match. against. I tried a sample query where I used match. against and another value in the where clause (on the primary keyed field) and Mysql039s optimizer picked the primary key index. The statement looked like quotselect something from sometable where match(col1, col2) against (039some text here039) and pkcol 44 Posted by JT Johnston on July 1, 2004 dev. mysqldocmysqlenFulltextBoolean. html states you cannot do a full-text search in Boolean Mode by relevancy. You can, but you need mysql version 4. Take note of quotORDER BY relevancy DESCquot. Here is my codeexample: SELECT, MATCH (YR, AU, ST, SD, SC, BT, BD, BC, AT, AD, AC, JR, KW, AUS, GEO, AN, RB, CO, RR) AGAINST (039Margaret Atwood039 IN BOOLEAN MODE) AS relevancy FROM cclmain WHERE MATCH (YR, AU, ST, SD, SC, BT, BD, BC, AT, AD, AC, JR, KW, AUS, GEO, AN, RB, CO, RR) AGAINST (039Margaret Atwood039 IN BOOLEAN MODE) ORDER BY relevancy DESC Posted by James Day on August 19, 2004 See The Full-Text Stuff That We Didn039t Put In The Manual at dev. mysqltech-resourcesarticlesfull-text-revealed. html for more information about full-text search. Posted by James R on August 31, 2004 Thought some benchmarks for a very large data set might be useful to people. I created a full-text index on a 100 gig database, where the index was on a column where the data totals 3 gig. The index added 2 gig to the database. The database has 2,741,000 records. The textual content is technical literature in US English. Machine: The machine is an Athlon XP 3200 w 1 gig RAM, one drive for the OS, and another 250GB EIDE drive for the MySQL data. OS is Redhat 9. Index creation: 3 hours 5 min. Most of that time was probably copying the table (since MySQL copies the table before it modifies it). The process was definitely disk-limited -- CPU usage was never regularly above 50. I believe that were it not for the excess data to copy, the index creation would have taken about 45 minutes. Queries were chosen to compare rare words, common words, and words of different lengths. All queries seemed to be disk-limited (CPU utilization hardly moved off baseline), which makes sense given that there is not enough RAM to hold the index in memory. All queries were done mutiple times and the average time reported. Results follow. Word, Rows, Seconds, SecondsRow ---------------------------------------- bilobed, 4, 0.15, 0.0375 mends, 4, 0.19, 0.0475 nanotechnology, 23, 0.64, 0.0278 bioluminescent, 53, 1.53, 0.0289 photosynthesis, 81, 2.21, 0.0273 graphite, 5070, 123.00, 0.0243 bicycle, 5385, 122.00, 0.0227 titanium, 13503, 350.00, 0.0259 (titanium, graphite), 18423, 425.00, 0.0231 metal, 151095, 4020.00, 0.0266 This is just a small test on the way to indexing the full 100 gig in the database that I am working on for freepatentsonline. I039ll post results for that once I have a new server built. Posted by noel darlow on September 3, 2004 In reply to Patrick O039Lone039s post, above: The first, non-boolean MATCH can039t keep pace with the second, boolean one since it does not recognise the boolean operators. A search for foo might turn up rows with foo, foobar, foofighters, etc but the non-boolean, relevance MATCH can039t quotcountquot anything except foo. Same problem with a phrase search. Since effectively you can039t use boolean operators in the second, boolean MATCH, it039s rendered pointless. Results could be post-processed with your own ranking algorithm but it039s kind of odd that you can039t do a boolean search AND rank results in the query. Posted by Dave M on September 12, 2004 Those looking to simply match a search phrase in a large group of words, try this: SELECT FROM data WHERE haystack LIKE (039needle039) AND haystack RLIKE 039:lt:needle:gt:039 This query will produce the same result as the following query, but is roughly 20X faster. SELECT FROM data WHERE haystack RLIKE 039:lt:needle:gt:039 For more than one word use: haystack LIKE (039word1word2039) AND haystack RLIKE 039:lt:word1:gt:.:lt:word2:gt:039 Posted by James Day on September 26, 2004 The Wikipedia encyclopedia uses MySQL boolean full text search and MySQL 4.0.20. You can assess the speed yourselves. About 350,000 articles rows in the English language version, roughtly 5GB total. For all languages, one million articles and 10GB of text. It039s very important to have a sufficiently large keybuffersize. Get much of the index in RAM and searches are typically very fast. Because we use InnoDB tables and can039t share cache between InnoDB and MyISAM, we039re moving to a setup which will use a dedicated and MyISAM tuned search server. We run a slow query killer which will kill queries once their allowed time expires. That time depends on server load (active thread count). Documented at wp. wikidevQuerybane It turns out that our current search often spends most time on things other than full text search - an improved version which is much more efficient is pending. Remember that you can use a self join to get around the one index per query limit of MySQL. Search remains our most problematic load feature, requiring a couple of quite capable slaves to keep up at busy time. If we039re working on the servers and the remainder can039t handle the load, we switch to Google or Yahoo search. This is from one of the top few hundred sites on the net, so it039s scaling pretty well for our application. One server was sufficiently fast to take us to the top 1,000. Posted by Andrew Panin on October 7, 2004 Hi all I had a problem with FULLTEXT search and after I solved it, I want to try to help you. I thought that FULLTEXT search is slow. That was. But I did a simple trick: 1. For example, we have 4 tables with fulltext index. We need to perform fast search on them. 2. Do the following: CREATE TEMPORARY TABLE xxx SELECT id, name, MATCH(name) AGAINST (039searchstring039) AS relevancy FROM table1 INSERT INTO xxx SELECT id, name, MATCH(name) AGAINST (039searchstring039) AS relevancy FROM table2. 3. Then, when the temporary table is filled with the data, do the simple select from it: SELECT id, name FROM xxx ORDER BY relevancy DESC I think, it is the optimal way to make a VERY FAST fulltext search from a number of tables. I hope, this will be helpful. Posted by Dennis van den Ende on December 27, 2004 Allthough my fulltext serach works fine, i still have problems with it. i compare products with there prices. i used the quotrelevancequot idea (written above). But it will not recognize it correctly. Heres my query: SELECT , MATCH( field ) AGAINST (039blabla039) as relevance FROM table WHERE MATCH( field ) AGAINST (039blabla039 IN BOOLEAN MODE ) HAVING relevance gt 0.2 for example it finds 18 rows. to increase the rows, i checked (manuelly) the relevance. 3 above 18 (all 18.xxx) and the rest about 10.3 or lower. If i increase the quothavingquot to 15, it finds only 2 of 3. The field i use is the only index-field and ofcourse a fulltext specific field. it seems that the relevance is taking part of the search results. i am still looking for another idea but the relevance would cover my needs 100 update I just updated the mysql version from 4.0.15 to 4.1.8 and it works perfectly. Posted by Mauricio Wolff on February 4, 2005 to set up minlen and stopwordfile in windows (win2k or xp): 1. run services. msc to check what. ini your mysql is reading (in my case, quotC:MySQLbinmysqld-ntquot --defaults-filequotC:MySQLmy. iniquot MySQL) 2. change your my. ini like this: mysqld ftminwordlen3 ftstopwordfilequotC:MySQLstop. txtquot 3. restart your mysqld at services. msc 4. reindex your table using REPAIR TABLE tblname QUICK Posted by Peter Laursen on April 28, 2005 it is legal to use two different arguments with the quotdouble match constructionquot, i. e. select . match (artist, album, title) against (039blues in orbit039) from musicfiles where match (artist, album, title) against (039ellington039) will FIND all records with 039ellington039 as substring of artist, album or title, but will RATE them as the search match039es 039blues in orbit039 You can even. ORDER BY or GROUP BY MATCH (kunstner, albumtitel, titel) AGAINST (039prelude to a kiss039). or against anything else Posted by Grant Harrison on June 9, 2005 Maybe a little off topic here. Alternatively, instead of doing all full-text search within MySql database, you can pull data out and create an index on it. It039s a much faster search. I am using DBSight to search on 1.7million records of 1.2G data, on a P3 450MHz, 256MRam, with sub-second performance. Taking search out of database also give you capability to customize stemmer and query parser. Posted by Erik Petersen on July 13, 2005 When using FULLTEXT queries on large set data sets it039s critical to LIMIT your results. Doing some experimentation has made this very clear. Using a data set of 5.5 million rows of forum message posts indexed with a single FULLTEXT index: select id, match(post) against(039foo039) as score from messages where match (body) against( 039foo039 ) . 155323 rows in set (16 min 7.51 sec) select id, match(post) against(039foo039) as score from messages where match (body) against( 039foo039 ) limit 100 . 100 rows in set (1.25 sec) I ran a number of other tests on various terms known to be in the text with similar results. These were run in reverse order shown. Make sure you return only the rows you need or you will suffer. For a search engine application returning pages of results keep in mind that nobody is going to ever see page 74 Cap the results to a reasonable maximum trading response time for completeness where possible. Posted by kim markegard on August 25, 2005 In regards to Dyfed Lloyd Evans comment, I believe that quot. quot will also cause this which is unfortunate because we have product name acronyms we039d like to seach. Posted by Nathan Huebner on October 29, 2005 After tons of hours today working on this, I HAVE FINALLY MASTERED THE TECHNIQUE OF USING THIS THING. This query is what you send to your MySQL to return the results. I put the LIMIT so that you don039t overflow. queryretquotSELECT ProductID, Title, Description, Price, RetailPrice, MATCH (Title) AGAINST (039keyword039) AS score FROM server. book HAVING score gt 0 LIMIT start, maxretquot This query will COUNT the number of rows it found. (I believe that039s correct), I don039t believe it counts occurrences, just rows. I saw that if you pull back without a LIMIT above, and count that way, it039s 100000x slower. So do your count like this: querycountquotSELECT count(MATCH(Title) AGAINST(039keyword039)) AS score FROM server. book WHERE MATCH (Title) AGAINST (039keyword039) HAVING score gt 0quot Make sure you have your Primary Key setup, your Title and Description as SEPARATE FULLTEXT INDEXES. I spent a few hours boggling over this. Posted by Saqib Aziz on November 24, 2005 There is no way to perdict what maximum relevance rank could be. While working with full text searches one may want to show percentages as the criteria for indicating how close a particular record was to the search query. To achieve this, one way is to select the maximum relevance rank or score and then use it( as a denominator ) with every single record score to get percentage equivalent of score. For the sake of example, consider we have 6 as maximum rank and 2,3,4.234 are scores for three different records. Now to get percentage we have to do simple maths i. e. we can divide each score by 6(max rank) and then mulitply the result with 100. Hope this helps someone. Posted by Nathan Huebner on January 12, 2006 Tips on how to maximize performance, and minimize return time. Let me guess: you have a lot of data, and you went ahead and FULLTEXT indexed a column within that large pile of data. To put it in simple words: not cool. How long does your data take to return from a FULLTEXT search. 5 seconds More If you039re returning data under 3 seconds, then you039re ok, but if you want it to return in 1.3 seconds, here039s what I did. 1. Dont fulltext index a column within a huge table. Instead, take a Unique Identifier, and the text you039re searching, and copy it to another table. Use this to export your columns: SELECT uniquecolumn, mytextsearchcolumn FROM mydatabase. mytable INTO OUTFILE quotc:pathoutfile. txtquot That will export your data to a file in Tab Delimited format. Now, create a new table somewhere, and call it fulltextengine or something, with only 2 columns (less is better), you could add one more if you need to. Now import your data: LOAD DATA INFILE quotc:pathoutfile. txtquot IGNORE INTO TABLE mydatabase. fulltextengine Now, create your FULLTEXT index on your search field. Flott. Now you have a separate table for searching. So if you want to try it out, go into MySQL, and try this, or PHPmyAdmin: SELECT SQLCALCFOUNDROWS uniquecolumn, searchcolumn, MATCH (searchcolumn) AGAINST (039Keyword Goes Here039) AS score FROM mydatabase. fulltextengine HAVING score gt 0 Hope this helps It may add extra maintenance, but I will give up my soul to increase search speeds by 6x. Posted by Joe Soap on July 11, 2006 Not sure if this is useful for people trying to reduce their search dataset. But what I039m doing is preprocessing the text before I add it to the database. So I add the full text to my FileData column, but I also preprocess the text and put this processed text into a Keywords column. Then I search only the keywords column and never the full text. This technique obviously (you039ll see why) doesn039t work for phrase matching but it may speed up the search time by reducing the size of the dataset to search. Here039s the algorithm I use. 1. extract the text 2. count each word of 2 or more characters in the text and record the frequency that each occurs 3. from this list of words 2 or more characters long, remove the k (k currently 500) most common words in the english dictionary 4. sort the list so that the most frequently occurring words appear first 5. take the first n words as the final keywords, where n gt 0 and n lt the total number of remaining words Posted by Tasuku SUENAGA on July 30, 2006 If you have performance problems on fulltext search, Please try Senna, fulltext search engine that can be embedded in MySQL. qwik. jpsenna Original MySQL fulltext search is slow for query SELECT COUNT() or SELECT FROM xx LIMIT largenumber, x. These queries are very fast with Senna039s 2ind patch. Posted by Gary Osborne on August 19, 2006 I039m not convinced that stop-words are of great value. Sure, they might reduce the size of the index and speed-up queries for some kinds of databases. But there are two fundamental flaws with quotmandatoryquot stop-words. Firstly, without knowing in advance the nature of the data, how can any programmer proclaim to know which words should be excluded because they have no value Secondly, if a user includes any stop word in a search query, then by definition that word039s value can not be zero. If the word039s value was zero, then why would the user use it in a search query If you need to disable stop-words without re-compiling, consider appending a character to the end of each word in your text before inserting your text into the database. I used quotqquot. I also right-padded all words shorter than 4 characters to a length of 4 characters by appending quotqquots. And I appended a quot quot to the end of my text string before inserting into the database. After retrieving my text from the database, I did a global replace on my text. I changed quotqqqquot to quotquot, quotqqquot to quotquot, and quotq quot to quot quot - in that order - to restore the text to it039s original form. That was not the best solution but it worked. Luckily for me, my text was simply a space delimited list of words without and punctuation. Otherwise, my quotqquot encoding and decoding would have been more difficult. Posted by Sebastian Alberoni on September 27, 2006 Combining MATCH with MAX, GROUP BY and ORDER BY can be of a lot of help when retrieving results in the correct order regarding relevance. For example, using this I could solve a problem with one table called 039Professional039, which had a many-to-many reference to another table 039Profession039. Although I was using DISTINCT I was getting duplicate results because of different relevance values that MATCH was giving to the different entrances in 039Professions039. Here I am copying the final query that worked OK (it039s a bit simplified): select distinct p. idProfessional, MAX(MATCH (pssion. name, pssion. description) AGAINST (039string to search039)) as professionRanking FROM professional p, professionalprofession pp, profession pssion WHERE pp. ProfessionalidProfessional p. idProfessional AND pp. ProfessionidProfession pssion. idProfession and ( MATCH (pssion. name, pssion. description) AGAINST (039string to search039) GROUP BY p. idProfessional ORDER BY professionRanking DESC Posted by Miguel Velilla meucat on May 20, 2007 The truth behind fulltext search, is that MySql first split text into single words, then indexes isolated words pointing to records. These are logical steps that many of us previously had tried before MySql fulltext commands creation. I created a PHP program some years ago to perform exactly the same split-and-index task. This is the reason MATCH command allows prefixed wildcards but not postfixed wilcards. Since single words are i ndexed, a postfix wildcard is impossible to manage in the usual way index does. You can039t retrieve 039nited states039 instantly from index because left characters are the most important part of index. Even so, I hope MySql developers some day implement postfix wildcars, because for many of us, it is important to perform a truly 039full text039 search. To say something, if I have a record with the word 039database039. I want retrieve this record when searching by 039tabas039, an impossible task for actual fulltext search command. It039s easy to see that such a command can gain lot of performance, even when MySql developers be obliged to search byte to byte into the indexed words. If you have a big table with text descriptions. to say 1 GB size, it is possible that quantity of different words into text will not pass from 500.000, maybe 1.000.000 words, averaging 8 bytes each, total 8 MB of data to be browsed, instead the 1 GB you should seek byte to byte to find what you want. This is a 1 GB 8 MB 125. or two orders of magnitude lower in terms of processing. Posted by Sergejzr Zr on July 27, 2007 Unfortunately it is not possible to combine Fulltext field and normal (i. e integer) field into one index. Since only one index per query can be used, that seems be a problem Table: id(integer primary key)content(text fulltext indexed)status(integer key) Note that executing folowing query, mysql will use only one index. Either fulltext, or status (Depending on intern statistics). Q1: SELECT FROM table WHERE MATCH(content) AGAINST(039searchQuery039) AND status 1 However it is still possible to use both indexes in one query. You will need a new index on id, status pair and use join. Thus mysql will be able to use one index for each table. Q2: SELECT t1. from table t1 LEFT JOIN table t2 ON(t1.idt2.id) WHERE MATCH(t1.content)AGAINST(039searchQuery039) AND status1 Q2 will run significantly faster than Q1 at least in my case :) Note the overhead: You will need an id for each row and a key wich is spanned over needed fields strating with id. Posted by Phoebe Bright on August 14, 2007 Using this for the first time I picked an unfortunate test and took a while before I worked out why it wasn039t working. In the hopes of saving other newbies some time: This will work: SELECT FROM myfile WHERE description LIKE 039sea039 But this will return nothing: SELECT FROM myfile WHERE MATCH (description) AGAINST (039sea039) BECAUSE THE DEFAULT MIN LENGTH IS 4 need to set ftminwordlen to 3 in the configuration file if you want it to work. Posted by Mohamed Mahir on September 28, 2007 To get the first exact matching record of the Full text search i wrote like this.. SELECT MATCH (column) AGAINST (039keyword039) relevancy FROM t1 WHERE MATCH (column) AGAINST (039keyword039) ORDER BY relevancy DESC LIMIT 1 Posted by Neil Delargy on October 19, 2007 One solution to find a word with a dashes or hyphens in is to use FULL TEXT SEARCH IN BOOLEAN MODE, and to enclose the word with the hyphen dash in double quotes. Posted by Derek Foreman on October 31, 2007 I use Mediawiki that makes use of the FullText searching and was not getting results I knew were in the database. After reading this page I realized that mysql won039t index words 3 characters or less by default. The solution is detailed clearly in this page Change the ftminwordlen setting. You can find what the server is using by running: SHOW VARIABLES LIKE 039ft039 Then you039ll have to rebuild the indexes on the tables that have FULLTEXT indices, because the server I039m using had several databases I needed a quick way to identify which tables these were. SELECT DISTINCT TABLESCHEMA, TABLENAME FROM COLUMNS WERE COLUMNKEY 039MUL039 I could then rebuild the tables. Posted by Jane Doe on November 28, 2007 Very fast and flexible, and works nice with MySQL. Eliminates many of the issues mentioned here in the comments, also ) MATCHAGAINST didn039t work how I intended. Here039s how I finally solved what I thought MATCHAGAINST should have been doing from the beginning: Posted by Carlos Dias on August 8, 2011 Basically this approach makes me think twice because of the next logical steps: 1- If your working in one table with a lot of records. each time the records are updated or new lines inserted the index must be (obviously)recreated. if it039s myisam. writing operations the table is locked. 2- I guess that the best approach towards this it039s probably the logic of: when tables are huge. not creating indexes for text search. create cachesql. (cachesql is one index). Somehow anticipating these problems. like i write are not problems to ignore. Why this is the best option. because if people use one file to log the last writing operations and compare it with the file that contains the results cache(best approach. cronjob). it039s only necessary to point to the file that contains the resultscache. The logic of:If there are 500 000 000 of conjugations of wordsphrases, etc what039s the need of indexing everything if only 50 000 conjugations are usedseeked, etc. Posted by Bradley Smith on February 21, 2012 Alan, instead of creating 80 different tables, one for each category, why not partition the table by the category so the records with that category would be grouped together within the partition and then your only searching within the specific category and more direct and faster route to the data you want to search Posted by Nasser W on September 2, 2013 MySQL fulltext search works well for Arabic. Just make sure of the following where needed: 1. COLLATION utf8unicodeci amp CHARACTER SET utf8. (Databases, Tables, and Columns). 2. Index words of 3 letters and more. This is Very Important for Arabic, ftminwordlen 3 (see show variables like quotftquot) 3. Check the version of MySQL (5.5 or 5.6), and Engine (InnoDb or MyIsam) Sign Up Login You must be logged in to post a comment.
No comments:
Post a Comment