Preformance Problem in For-Schleife (XML Verarbeitung)

[dr monk]

Hallo zusammen.

Ich hätte da mal ne Frage bezüglich Preformanceoptimierung. Ich lade eine große Anzahl an XML-Einträgen aus meiner Datenbank (momentan 1500+ Einträge mit jeweils ca 85 Werten)

Die Daten werden in Flash auch sehr zügig geladen. Allerdings muss ich die Daten ja noch weiterverarbeiten...

Wenn ich die Daten über eine Schleife einen Objekt zuweise und dieses in ein Array packe dauert die Zuweisung ca 10 Sekunden.
Ohne die Schleife dauert der Vorgang (Daten laden + einer XML in Flash zuweisen) weniger als eine Sekunde...

Gibt es eine Möglichkeit die Daten schneller zu verarbeiten?

Anbei mal mein momentanes Vorgehen.

PHP-Code:

//...  Daten wurden bereits geladen und der ergebnisXML zugewiesen

for(var i:int=0; i<ergebnisXML.children().length(); i++){   // ca 1500 Durchläufe
    produkt = new Object();
    produkt.id = ergebnisXML.children()[i].id.toString();
    produkt.produkt = ergebnisXML.children()[i].produkt.toString();
    produkt.bearbeiter = ergebnisXML.children()[i].bearbeiter.toString();
    produkt.datum = ergebnisXML.children()[i].datum.toString();
        //... ca 80 weitere Zuweisungen 


Über amfPHP möchte ich nicht unbedingt gehen falls es anders auch möglich ist.

Ich habe mir schon überlegt die entsprechenden Zuweisungen so zu reduzieren, das diese nur für das jeweilige Produkt passen. Dann hätte ich keine undefined-Werte und müsste auch weniger schreiben.
Allerdings dauert die Zuweisung mit nur 10 Zuweisungen auch noch über eine Sekunde und ein Produkt hat min. 30 Zuweisungen.

Gibt es eine bessere Möglichkeit die Daten aus der XML (bzw. aus dem HTTPService) den Objekten zuzuweisen? Oder sollte ich mich jeweils auf das Notwendigste beschränken und dafür viele verschiedene Zuweisungsschleifen erstellen?

MfG Monk

[shin10]

80 x 1500? das sind dann ja 120.000 Anweisungen. Du zeigst doch nie und nimmer 1500 Produkte auf einmal. Reduzier dass im ersten Durchlauf auf die sichtbaren Produkte und mach nur bei Bedarf einen weiteren Durchlauf oder den Rest asynchron.

Außerdem solltest du eine Klasse für das Produkt erstellen. Das dürfte dann auch nochmal schneller sein als Object.

mfg

sx

[hgseib]

und nicht mehrmals das selbe rechnen lassen

var ec = ergebnisXML.children();
var anz = ec.length();
for(var i:int=0; i<anz; i++){ // da geht z.b. auch 'for each'
  var eci = ec[i];
  produkt = {};
  produkt.id = eci.id.toString(); // toString() ? sollte das nicht value() sein?
  produkt.produkt = eci.produkt.toString();
  produkt.bearbeiter = eci.bearbeiter.toString();
  produkt.datum = eci.datum.toString();

[hmpf]

Achtung: Code ist direkt ins Forum getippt, komplett ungetestet

PHP-Code:

package {

    public class Product {
        
        private var xml : XMLList;

        public function Product(xml:XMLList){
            this.xml = xml;
        }

        public function get id():String{    return xml.id.toString();    }
        public function get produkt():String{    return xml.produkt.toString();    }
//usw.

    }

}

var products : Array = new Array();
var children : XMLList = ergebnisXML.children();
for(var i:int=0; i<ergebnisXML.children().length(); i++){   
    products.push(new Product(children[i]));
} 


Variablen einmal außerhalb der Schleife (statt 1500 mal eine neue) deklarieren spart auch Performance

[Martin Kraft]

Ich würde die Schleife eher so schreiben (und ggf. für produkt eine eigene Klasse definieren)*:

var produkt:Object;
for each (var node:XML in ergebnisXML.children()) {
    produkt = {
        id: node.id.toString(),
        produkt: node.produkt.toString(),
        bearbeiter: node.bearbeiter.toString(),
        datum: node.datum.toString()
    };
} 

Generel muss ich aber shin10 recht geben. Es macht IMHO überhaupt keinen Sinn (und ist zudem unter Datenschutzgesichtspunkten ziemlich problematisch) gleich die komplette Datenbank (nichts anderes sind doch diese 1500 Einträge oder?) an den Client zu übertragen.

Es ist ja grade Sinn und Zweck einer Datenbank, dass man mit ihr schnell und sicher, serverseitig große Datenbestände durchsuchen kann und dann nur noch die Daten an die Ausgabe (in diesem Fall der Flash-Client) überträgt, die dieser auch wirklich benötigt.

Deine Datenstruktur sieht auch nicht so aus, als würden da mehr als ein dutzend Einträge gleichzeitig angezeigt?!

Edit: *hmpf war da schneller

[dr monk]

Danke erstmal für eure Antworten! Ich werde mich morgen damit beschäftigen und versuchen eure Tipps umzusetzen.

Zu der Datenmenge: doch, ich benötige die Daten. Ich habe eine "Suche" die "rückwärts" läuft und so nur Treffer ausgibt. D.h., dass der Anwender eine ComboBox mit vorhandenen Werten zu einer Eigenschaft hat und anhand seiner Auswahl werden wiederum andere Auswahlmöglichkeiten beschränkt.
Geht man z.B. von den allgemeinen Daten aus kann der Anwender nach einer Kundennummer suchen und die Auswahl der Produkte reduziert sich auf die Produkte, die dem Kunden zugewiesen sind. So reduziert sich die Trefferanzahl mit jedem Filtersetzen.
Das Ganze ist allerdings sehr komplex, sodass ich die entsprechenden Daten nicht erst bei Bedarf laden kann (ich weiß ja nicht was der Anwender auswählen möchte).
Das mit der Datensicherheit stellt für mich kein Problem dar da das Ganze nur im Firmennetzwerk läuft.

Ich melde mich dann nochmal wie ich mit euren Tipps zurecht komme

Einen schönen Abend noch!
MfG Monk

[Martin Kraft]

Zitat von dr monk

Zu der Datenmenge: doch, ich benötige die Daten. Ich habe eine "Suche" die "rückwärts" läuft und so nur Treffer ausgibt. D.h., dass der Anwender eine ComboBox mit vorhandenen Werten zu einer Eigenschaft hat und anhand seiner Auswahl werden wiederum andere Auswahlmöglichkeiten beschränkt.

[...]

Das Ganze ist allerdings sehr komplex, sodass ich die entsprechenden Daten nicht erst bei Bedarf laden kann (ich weiß ja nicht was der Anwender auswählen möchte).

Wieso? Lad' sie doch einfach in dem Moment, wo der Nutzer etwas neues auswählt. Ich sehe da kein Problem. Jede Suchmachine und jeder Online-Shop bezieht die Daten beim Filtern und Sortieren neu vom Server....

(Das ist jetzt nicht wirklich schön) aber sieh Dir z.B. mal geizhals.at an. Da hast Du relativ komplexe Filtermöglichkeiten, die entsprechende der Vorauswahl ausgedünnt werden. Und das ganze funktioniert rein serverseitig auch ohne JS.

[Martin Kraft]

Wenn jedoch unbedingt bei dieser wir-schaufeln-alles-auf-den-Client-Lösung bleiben willst (wovon ich Dir abrate), solltest Du...

• ...das Parsen und die Verarbeitung der XML-Inhalte so weit wie möglich verschlanken.
  Dazu könnte z.B. gehören...
  • Die einzelnen Nodes erst dann zu verarbeiten, wenn später auf sie zugegriffen wird.
  • JSON, CSV oder AMF statt XML einzusetzen.
    (Man müsste da einfach mal testen was am schnellsten verarbeitet werden kann).
  • Die Anzahl der Daten zu reduzieren und die Bezeichner zu kürzen.
  
  
• ...die Daten asynchron zu verarbeiten.
  D.h. Du jagst nicht alles auf einmal durch eine Code-Schleifen und frierst so den Player ein, sondern arbeitest nach und nach (bei Event.ENTER_FRAME bzw. einem Intervall) verkraftbar große Portionen der Daten ab und zeigst dem Nutzer eine Art Loader an, der angiebt wie lange die Verarbeitung noch dauert.
  
  Vor kurzem habe ich in einem anderen Thread zu einem ähnlichen Problem mal einen Beispiel-Code für dieses asynchrone Vorgehen zusammengetippt.
  
  Adobe hat übrigens für eine der nächsten FlashPlayer-Versionen einen multithreadingfähigen XML-Parser angekündigt, mit dem man dann auch solch riesige XML-Dateien parsen kann, ohne den Rest der Anwendung einzufrieren.

[dr monk]

Bei dem Projekt möchte ich gerne bei XML bleiben. Aber die Tipps haben mich auf eine neue Idee gebracht: Die XML ist ja sehr schnell (auch mit den großen Datenmengen) erstellt und ich gebe standardmäßig bei mehr als einem Ergebnis pro ComboBox ein "*" aus.
Ich werde morgen mal die Zuweisung ComboBox-abhängig machen. Dann werden die Daten erst zugewiesen wenn man ein CB auch auswählt.
Ich weiß nur noch nicht wie es dann mit der Filterfunktion (beschänkung der Auswahlmöglichkeiten) funktioniert. Aber das seh ich dann wenn ich es probiere

Danke nochmal für eure Mühe und tolle Hilfestellung. Irgendwann kann ich hoffentlich auch hier guten Support zurückgeben. Aber momentan ist alles noch "gefährliches Halbwissen aus tausend und einem Blog".

MfG Monk

[Omega Psi]

Ich würde AMF/Objekte nutzen. Das geht alles im Client ohne Probleme. Aber da wiederhole ich mich ja nur...

[dr monk]

Hallo zusammen.

Ich habe jetzt das Produkt in eine Klasse ausgelagert nach der Vorlage von hmpf.
Allerdings musste ich mit einer XML statt einer XMLList arbeiten.
Mit der Verwendung der Klasse habe ich schon gute 4 Sekunden Ladezeit gespart (von ursprünglich ca 10 Sekunden).

Da ich die Daten nach dem Zuweisen noch filtere (doppelte Einträge lösche), ist dort noch ein großes Optimierungspotential.
Nächste Woche werde ich ran gehen und versuchen die Abläufe zu optimieren um eine möglichst gute Preformance raus zu bekommen.

MfG Monk

[Omega Psi]

Man braucht das XML nicht zu kapseln. Besser ist es direkt in Felder zu schreiben und dann das XML wegzuwerfen. Und du sparst keine Lade- sondern Rechenzeit.