Se vedi tutto strano devi riaggiornare la cache del tuo browser. premendo CTRL + F5. E' dovuto all'aggiornamento del forum.

Downloader di ticks Dukascopy

Di tutto un po' su Metatrader.
Avatar utente
positiveday
Messaggi: 1553
Iscritto il: sab mag 28, 2016 9:23 pm

Downloader di ticks Dukascopy

Messaggio da positiveday » ven lug 22, 2016 12:53 pm

Eccone un altro diranno in molti.
Si, perché non sono mai contento di quello che trovo in giro di già "cotto".
A me le quote di Dukascopy servono sostanzialmente per vari motivi :
- li uso con Tick Data Suite di Birt (anche se l'idea futura è di usarli con MT4 e basta)
- sono in orari UTC ( cioè GMT 0 ) e non hanno strani aggiornamenti di ora solare/legale come quelle di Metaquotes.
- sono ormai uno standard di "decenza" (all'opposto degli storici che si scaricano da Metaquotes che dire facciano schifo è fargli un complimento)
- includono lo spread tick by tick, che per certi backtest è utile

Sostanzialmente le opzioni diffuse per scaricare le quote di Dukascopy sono due, uno è il Tickstory, che scarica i dati e poi genera anche i file fxt per MT4.
Poco chiaro il formato del file generato che sembra possa essere usato senza Tickstory stesso, anche se il software ha la possibilità di lanciare direttamente MT4 non si sa per quali funzionalità aggiunte.

L'altro è StrategyQuant Tick Downloader, questo invece genera solo il CSV, si parla di 70 Mb di installer, una bazzecola.

Quindi, non contento e non fidandomi dei due software di sopra, ho scritto un singolo expert advisor (.ex4) per Metatrader che scarica/verifica i file orari di Dukascopy e genera un .csv per la conversione con lo script CSV2FX di Birt (del quale posterò in futuro una versione modificata).

Oltre al file .ex4 è indispensabile un eseguibile di unzipper, questo per il fatto che i files che si scaricano da Dukascopy sono zippati con estensione ".bi5".
Poichè trovo stupido, ogni volta che si deve generare un nuovo file .csv dezippare ogni singolo file orario, questi sono salvati su disco dezippati al momento del download.
Questo rende purtroppo incompatibili i file già scaricati coi due tool citati di sopra.
La struttura delle directory è identica, ma il singolo file orario è differente.
Il file necessario per l'unzip si chiama 7za.exe è un file freeware e open source del creatore del programma 7Zip.
E' la "command line version" e la pagina di scaricamento è questa.
L'eseguibile va messo nella directory principale di Metatrader, dove sta il "terminal.exe".

La directory dove verranno salvati i file dei ticks orari, e dove quindi verrà creata la ben nota (a quanti scaricano i tick da Dukascopy) struttura di directory sarà una nuova directory, chiamata "DukascopyTicksData" all'interno della directory "files" di MetaTrader.
Non che sia indispensabile saperlo, quei file sono gestiti direttamente dal mio programma, ma complessivamente possono arrivare a vari gigabyte senza problemi.

Il programma genera le informazioni sui gap temporali trovati nei file scaricati, nella stessa modalità in cui li genera lo script CSV2FXT.

Esiste anche un modo di recovery dove, per sicurezza, i file scaricati vengono eliminati nelle zone dei buchi trovati, e quindi vengono riscaricati ex-novo.
Il server di Dukascopy non è che per me sia una roccia e certe volte risponde a modo "suo".

Variabili esterne :
DownloadStartDate = è la data di inizio sia del download sia del file .csv se generato (se si chiede una data troppo indietro nel tempo, ci proverà comunque)
DownloadEndDate = se si lascia la data di default, significa fino ad oggi, in alternativa si può specificare una data precedente
UpdateFromWeb = se a true, scaricherà, o verificherà la presenza, dei files orari dal server di Dukascopy (se il file esiste su disco non lo scarica)
RefreshHistoryHoles = se e true, farà una verifica di tutti i buchi temporali del periodo indicato, cancellerà i file scaricati nelle "zone" dei buchi, e riscaricherà le zone cancellate
CreateCSV = se a true, alla fine, dopo aver eventualmente scaricato, eventualmente rinfrescato i dati, creerà il file .csv in classico formato per Tick Data Suite

Alla fine delle operazioni richiesta si leva dal grafico.

Spero che a qualcuno serva. Io non uso più quei mastodonti di scaricatori, di cui peraltro non mi sono mai completamente fidato, ormai da anni.

To do list :
- è l'append al file .csv con le quote dall'ultima creazione in poi, inutile creare un nuovo csv dall'inizio, quando quello di settimana scorsa è lì su disco che attende solo gli ultimi dati ....
Non hai i permessi necessari per visualizzare i file allegati in questo messaggio.
http://widgets.myfxbook.com/widget?id=1 ... &color=red
Trovi interessanti i contenuti di forexometro? Considera la possibilità di iscriverti! :mrgreen: e poi di partecipare ...

Avatar utente
achab
Messaggi: 1002
Iscritto il: mer giu 01, 2016 10:13 am

Re: Downloader di ticks Dukascopy

Messaggio da achab » ven lug 22, 2016 1:29 pm

L'ex4 è un expert, va copiato nel folder C:\.....\MQL4\Experts.
:)
May the green pips be with us. Always!
/achab

Alcuni dei miei conti? Clicca qui.

Avatar utente
positiveday
Messaggi: 1553
Iscritto il: sab mag 28, 2016 9:23 pm

Re: Downloader di ticks Dukascopy

Messaggio da positiveday » ven lug 22, 2016 1:30 pm

Si, è un expert.
:)
http://widgets.myfxbook.com/widget?id=1 ... &color=red
Trovi interessanti i contenuti di forexometro? Considera la possibilità di iscriverti! :mrgreen: e poi di partecipare ...

maverik64
Messaggi: 50
Iscritto il: mar lug 12, 2016 5:35 pm

Re: Downloader di ticks Dukascopy

Messaggio da maverik64 » gio lug 28, 2016 10:47 am

Buongiorno a tutti,
ho provato in vari modi ma a me proprio non va, la prima volta che si utilizza su che time frame va messo e con che settaggi?
ho sempre questo errore, ma non mi scarica niente

2016.07.28 12:44:53.381 DukascopyTicksDownloader_1.0 EURUSD,H1: Error '7Zip fatal error!' extracting from ZIP this file DukascopyTicksData\EURUSD\DukascopyTicksData\EURUSD\2004\00\01\00h_ticks

Avatar utente
positiveday
Messaggi: 1553
Iscritto il: sab mag 28, 2016 9:23 pm

Re: Downloader di ticks Dukascopy

Messaggio da positiveday » gio lug 28, 2016 10:49 am

maverik64 ha scritto:Buongiorno a tutti,
ho provato in vari modi ma a me proprio non va, la prima volta che si utilizza su che time frame va messo e con che settaggi?
ho sempre questo errore, ma non mi scarica niente

2016.07.28 12:44:53.381 DukascopyTicksDownloader_1.0 EURUSD,H1: Error '7Zip fatal error!' extracting from ZIP this file DukascopyTicksData\EURUSD\DukascopyTicksData\EURUSD\2004\00\01\00h_ticks

Mi cito dal primo post.
positiveday ha scritto:Oltre al file .ex4 è indispensabile un eseguibile di unzipper, questo per il fatto che i files che si scaricano da Dukascopy sono zippati con estensione ".bi5".
Poichè trovo stupido, ogni volta che si deve generare un nuovo file .csv dezippare ogni singolo file orario, questi sono salvati su disco dezippati al momento del download.
Questo rende purtroppo incompatibili i file già scaricati coi due tool citati di sopra.
La struttura delle directory è identica, ma il singolo file orario è differente.
Il file necessario per l'unzip si chiama 7za.exe è un file freeware e open source del creatore del programma 7Zip.
E' la "command line version" e la pagina di scaricamento è questa.
L'eseguibile va messo nella directory principale di Metatrader, dove sta il "terminal.exe".
:)
http://widgets.myfxbook.com/widget?id=1 ... &color=red
Trovi interessanti i contenuti di forexometro? Considera la possibilità di iscriverti! :mrgreen: e poi di partecipare ...

maverik64
Messaggi: 50
Iscritto il: mar lug 12, 2016 5:35 pm

Re: Downloader di ticks Dukascopy

Messaggio da maverik64 » gio lug 28, 2016 10:50 am

Si carlo, l'ho fatto, ma ho sempre lo stesso errore
Ho provato sia con la MT4 installata in C:Programmi, si la versione Portable.

Avatar utente
positiveday
Messaggi: 1553
Iscritto il: sab mag 28, 2016 9:23 pm

Re: Downloader di ticks Dukascopy

Messaggio da positiveday » gio lug 28, 2016 10:57 am

maverik64 ha scritto:Si carlo, l'ho fatto
Per il resto non esiste un concetto di timeframe, l'ea si occupa di scaricare dati per la coppia corrente.
Mi sembra invece strano il path che indica nella riga di log : "DukascopyTicksData\EURUSD\DukascopyTicksData\EURUSD\2004\00\01\00h_ticks"
Sotto la directory "mql4\files" questo ea crea una directory che si chiama "DukascopyTicksData" nella quale crea sottodirectory una per ogni coppia scaricata, quindi "EURUSD".
All'interno della directory della coppia crea il classico "albero" delle directory di Dukascopy, quindi una per anno, che ne contiene una per mese (i mesi partono da zero) ed una per giorno all'interno dei mesi.
Quindi il percorso scritto : "DukascopyTicksData\EURUSD\DukascopyTicksData\EURUSD\2004\00\01\00h_ticks" contiene una doppia ripetizione "DukascopyTicksData\EURUSD" che mi sfugge.
:?
dtd.JPG
Non hai i permessi necessari per visualizzare i file allegati in questo messaggio.
http://widgets.myfxbook.com/widget?id=1 ... &color=red
Trovi interessanti i contenuti di forexometro? Considera la possibilità di iscriverti! :mrgreen: e poi di partecipare ...

Avatar utente
positiveday
Messaggi: 1553
Iscritto il: sab mag 28, 2016 9:23 pm

Re: Downloader di ticks Dukascopy

Messaggio da positiveday » gio lug 28, 2016 11:18 am

Questo è uguale a quello di sopra ma dettaglia meglio quell'errore.
:)
Non hai i permessi necessari per visualizzare i file allegati in questo messaggio.
http://widgets.myfxbook.com/widget?id=1 ... &color=red
Trovi interessanti i contenuti di forexometro? Considera la possibilità di iscriverti! :mrgreen: e poi di partecipare ...

maverik64
Messaggi: 50
Iscritto il: mar lug 12, 2016 5:35 pm

Re: Downloader di ticks Dukascopy

Messaggio da maverik64 » gio lug 28, 2016 4:33 pm

Ancora errore:

2016.07.28 18:31:02.269 DukascopyTicksDownloader_1.0 (1) EURUSD,H1: Error '7Zip fatal error! 7Zip path : D:\AlpariCarlo\7za.exe , in file : mql4\files\DukascopyTicksData\EURUSD\00h_ticks.bi5 out dir : mql4\files\DukascopyTicksData\EURUSD\' extracting from ZIP this file DukascopyTicksData\EURUSD\DukascopyTicksData\EURUSD\2004\00\01\00h_ticks

maverik64
Messaggi: 50
Iscritto il: mar lug 12, 2016 5:35 pm

Re: Downloader di ticks Dukascopy

Messaggio da maverik64 » gio lug 28, 2016 4:46 pm

Allego immagine
Non hai i permessi necessari per visualizzare i file allegati in questo messaggio.

Rispondi