<html xmlns:v="urn:schemas-microsoft-com:vml" xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:x="urn:schemas-microsoft-com:office:excel" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns="http://www.w3.org/TR/REC-html40"><head><meta http-equiv=Content-Type content="text/html; charset=utf-8"><meta name=Generator content="Microsoft Word 12 (filtered medium)"><style><!--
/* Font Definitions */
@font-face
        {font-family:"Cambria Math";
        panose-1:2 4 5 3 5 4 6 3 2 4;}
@font-face
        {font-family:Calibri;
        panose-1:2 15 5 2 2 2 4 3 2 4;}
@font-face
        {font-family:Tahoma;
        panose-1:2 11 6 4 3 5 4 4 2 4;}
/* Style Definitions */
p.MsoNormal, li.MsoNormal, div.MsoNormal
        {margin:0cm;
        margin-bottom:.0001pt;
        font-size:12.0pt;
        font-family:"Times New Roman","serif";}
a:link, span.MsoHyperlink
        {mso-style-priority:99;
        color:blue;
        text-decoration:underline;}
a:visited, span.MsoHyperlinkFollowed
        {mso-style-priority:99;
        color:purple;
        text-decoration:underline;}
span.EmailStyle17
        {mso-style-type:personal-reply;
        font-family:"Calibri","sans-serif";
        color:#1F497D;}
.MsoChpDefault
        {mso-style-type:export-only;}
@page WordSection1
        {size:612.0pt 792.0pt;
        margin:2.0cm 42.5pt 2.0cm 3.0cm;}
div.WordSection1
        {page:WordSection1;}
--></style><!--[if gte mso 9]><xml>
<o:shapedefaults v:ext="edit" spidmax="1026" />
</xml><![endif]--><!--[if gte mso 9]><xml>
<o:shapelayout v:ext="edit">
<o:idmap v:ext="edit" data="1" />
</o:shapelayout></xml><![endif]--></head><body lang=RU link=blue vlink=purple><div class=WordSection1><p class=MsoNormal><span lang=EN-US style='font-size:10.0pt;font-family:"Tahoma","sans-serif"'>Glad to hear your answer, Dr John J Rehr! It was very helpful!<o:p></o:p></span></p><p class=MsoNormal><span lang=EN-US style='font-size:10.0pt;font-family:"Tahoma","sans-serif"'>I saw BFEFFIT in Dr Joshua Kas thesis but didn’t find anymore of it in web, so was not sure. For some time I tried to do this analysis myself, but could not find errors in the program. May be I will find it later, but I have not much time and need to use something working or change a thesis theme.<o:p></o:p></span></p><p class=MsoNormal><span lang=EN-US style='font-size:10.0pt;font-family:"Tahoma","sans-serif"'>It will be great if there is such a code, though if it is not in wide use, could I use it or not? And could I now end in the simplest case what I began in IFEFFIT, for what I need norms, if the code exists? My scientific advisor asks me to make a paper on the results of our local conference in a week, and because restraint works well, I wanted to get the extra results, thinking that it could be not a bad solution for a first time. <o:p></o:p></span></p><p class=MsoNormal><span lang=EN-US style='font-size:10.0pt;font-family:"Tahoma","sans-serif"'>What of conference, I haven’t send the annotation for it yet, don’t remember what are deadlines there and it depends on if I can calculate something for it: we have new spectra for new samples, and they can be calculated without a Bayes stuff, but depends on time left and because there are the same problems with model, I think it should better be done with Bayes. For old spectra and nonBayes model we published yet, some with my participation, some with others.<o:p></o:p></span></p><p class=MsoNormal><span lang=EN-US style='font-size:10.0pt;font-family:"Tahoma","sans-serif"'><o:p> </o:p></span></p><p class=MsoNormal><span lang=EN-US style='font-size:10.0pt;font-family:"Tahoma","sans-serif"'>Thankful, Olga Kashurnikova<o:p></o:p></span></p><p class=MsoNormal><span lang=EN-US style='font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1F497D'><o:p> </o:p></span></p><div style='border:none;border-top:solid #B5C4DF 1.0pt;padding:3.0pt 0cm 0cm 0cm'><p class=MsoNormal><b><span style='font-size:10.0pt;font-family:"Tahoma","sans-serif"'>From:</span></b><span style='font-size:10.0pt;font-family:"Tahoma","sans-serif"'> John J Rehr [mailto:jjr@uw.edu] <br><b>Sent:</b> Saturday, March 07, 2015 12:27 AM<br><b>To:</b> XAFS Analysis using Ifeffit; Olga Kashurnikova<br><b>Cc:</b> Matt Newville; Elizabeta Holub-Krappe; Joshua Kas<br><b>Subject:</b> Re: [Ifeffit] Question about statistics<o:p></o:p></span></p></div><p class=MsoNormal><o:p> </o:p></p><div><p class=MsoNormal>Dear Olga,<o:p></o:p></p><div><p class=MsoNormal><o:p> </o:p></p></div><div><p class=MsoNormal> Thanks for your interest in the Bayesian analysis codes.  I'm glad to<o:p></o:p></p></div><div><p class=MsoNormal>hear that your are interested in developing the method. Although some<o:p></o:p></p></div><div><p class=MsoNormal>prototype Bayes-Turchin based codes were developed by Josh Kas as part<o:p></o:p></p></div><div><p class=MsoNormal>of his  thesis research, the project was never fully integrated into the IFEFFIT<o:p></o:p></p></div><div><p class=MsoNormal>package and progress stalled for lack of funding.  But there has also been a <o:p></o:p></p></div><div><p class=MsoNormal>parallel effort to develop a Bayes-Turchin code by Elizabeta Holub-Krappe and her colleagues in Chiba, Japan. and I would suggest that you ask her for a copy of their BT code and documentation.   I think this topic will also be discussed at the XAFS16 conf in Karlsruhe in Aug 2015 - will you be there ?<o:p></o:p></p></div><div><p class=MsoNormal><o:p> </o:p></p></div><div><p class=MsoNormal> With very best regards,<o:p></o:p></p></div><div><p class=MsoNormal> John<o:p></o:p></p></div><div><p class=MsoNormal><o:p> </o:p></p></div><div><p class=MsoNormal>cc E. Holub-Krappe<o:p></o:p></p></div><div><p class=MsoNormal><o:p> </o:p></p></div><div><p class=MsoNormal><o:p> </o:p></p><div><p class=MsoNormal>On Fri, Mar 6, 2015 at 12:39 PM, Olga Kashurnikova <<a href="mailto:okash@mail.ru" target="_blank">okash@mail.ru</a>> wrote:<o:p></o:p></p><div><div><p class=MsoNormal style='mso-margin-top-alt:auto;mso-margin-bottom-alt:auto'><span lang=EN-US>Hello, Dr Matt Newville,</span><o:p></o:p></p><p class=MsoNormal style='mso-margin-top-alt:auto;mso-margin-bottom-alt:auto'><span lang=EN-US>Thank you very much for the answer.</span><o:p></o:p></p><p class=MsoNormal style='mso-margin-top-alt:auto;mso-margin-bottom-alt:auto'><span lang=EN-US>There is a message with some corrections in the next thread – the numbers of my hand try to check am I right about chi_square and error calculation in IFEFFIT, were not right in the first time. I will try to attach the calculation files later, it is not clear for me how they will be shown here.</span><o:p></o:p></p><p class=MsoNormal style='mso-margin-top-alt:auto;mso-margin-bottom-alt:auto'><span lang=EN-US>I will write the main question and then about Bayesian analysis for thread splitting if you don’t mind. These things are interconnected that’s why I didn’t split them.</span><o:p></o:p></p><p class=MsoNormal style='mso-margin-top-alt:auto;mso-margin-bottom-alt:auto'><span lang=EN-US>The main question was about how IFEFFIT calculates chi_square and to what minimization function it adds restraints, in case of k_space. What is the normalization? I thought it should be (N_idp/N_data)sum[(dat-model)^2/eps^2], and in k space only the real part of data compared with imaginary part of model, but my hand calculation for check this gave the different result. It is necessary for the choice of optimal restraint (it is chi^2 without normalization that I need to compare) and for normalization of errors for them to be covariance matrix of this chi^2, as of Krappe and Rossner. Restraint will change errors, of course, because covariance matrix is (Q+A)^(-1) where A is regularizer in restraint and Q is what should be without restraint. If Q is not invertible (in case of some parametra don’t influence spectrum) it is critical, and optimal A can be found to strictly divide the ‘parametra space’ and verify models. That’s why I need to rescale them well, because for bayes it should be chi^2=sum[(dat-model)^2/eps^2]+A*sum(x-x0)**2  (A is connected with a priori ranges of parametra, it should be not one number, but algorithm of finding optimal diagonal A matrix is harder and I think not with IFEFFIT/Larch help). It is the same as your (paramA-A_0)/eps_A restraint, I understood what formula should be for a restraint, but don’t understand how to weight data and restraint part. It were Krappe and Rossner who mentioned Tikhonov regularization if I remember right, and it is very close, if I understood the paper about this regularization. That’s what I mean in ‘doesn’t fit’: 4 coordination spheres (Gd-O, Gd-Gd,Gd-Hf, next Gd-O for instance, and only first is in separate peak) may be in the N_idp range, but are so correlated that without constraints or other structure model the fit give bad results – some parametra will leave the acceptable range etc, and I’m not sure that without a Bayesian analysis I can define the better model of constraints, and the sphere splitting is even more difficult to define.</span><o:p></o:p></p><p class=MsoNormal style='mso-margin-top-alt:auto;mso-margin-bottom-alt:auto'><span lang=EN-US>So, the main question is ‘how IFEFFIT calculates this, what is the formula’, because FEFFIT manual doesn’t give the k-space case, and the check was wrong. I can append calculation files in a while if needed (I need to convert from a program to iff file), though I wrote formulae and they may be can be verified without numerical values. </span><o:p></o:p></p><p class=MsoNormal style='mso-margin-top-alt:auto;mso-margin-bottom-alt:auto'><span lang=EN-US>Chi_square in your method is close to what should be minimized and for what the covariance matrix should be found in Bayesian analysis, with the right normalization, that’s why I ask if I could use IFEFFIT to calculate this with renormalization of the results. If I put the right normalization to restraint, I need only rescale chi_square and errors and then calculate what I need. It is not that I think IFEFFIT use Bayesian statistics, I understand there are different approaches.</span><o:p></o:p></p><p class=MsoNormal style='mso-margin-top-alt:auto;mso-margin-bottom-alt:auto'><span lang=EN-US> </span><o:p></o:p></p><p class=MsoNormal style='mso-margin-top-alt:auto;mso-margin-bottom-alt:auto'><span lang=EN-US>Thankful for your assistance,</span><o:p></o:p></p><p class=MsoNormal style='mso-margin-top-alt:auto;mso-margin-bottom-alt:auto'><span lang=EN-US>Olga Kashurnikova, MEPhI, Moscow</span><o:p></o:p></p><p class=MsoNormal style='mso-margin-top-alt:auto;mso-margin-bottom-alt:auto'><span lang=EN-US> </span><o:p></o:p></p></div></div><p class=MsoNormal style='margin-bottom:12.0pt'><br>_______________________________________________<br>Ifeffit mailing list<br><a href="mailto:Ifeffit@millenia.cars.aps.anl.gov" target="_blank">Ifeffit@millenia.cars.aps.anl.gov</a><br><a href="http://millenia.cars.aps.anl.gov/mailman/listinfo/ifeffit" target="_blank">http://millenia.cars.aps.anl.gov/mailman/listinfo/ifeffit</a><o:p></o:p></p></div><p class=MsoNormal><o:p> </o:p></p></div></div></div></body></html>