On Fri, Mar 1, 2013 at 1:57 PM, Hal Finkel <span dir="ltr"><<a href="mailto:hfinkel@anl.gov" target="_blank">hfinkel@anl.gov</a>></span> wrote:<br><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<div class="im">----- Original Message -----<br>
> From: "Jeff Hammond" <<a href="mailto:jeff.science@gmail.com">jeff.science@gmail.com</a>><br>
> To: "Hal Finkel" <<a href="mailto:hfinkel@anl.gov">hfinkel@anl.gov</a>><br>
> Cc: "Jack Poulson" <<a href="mailto:jack.poulson@gmail.com">jack.poulson@gmail.com</a>>, "Jeff Hammond" <<a href="mailto:jhammond@alcf.anl.gov">jhammond@alcf.anl.gov</a>>,<br>
> <a href="mailto:llvm-bgq-discuss@lists.alcf.anl.gov">llvm-bgq-discuss@lists.alcf.anl.gov</a><br>
</div><div class="im">> Sent: Friday, March 1, 2013 3:50:01 PM<br>
> Subject: Re: [Llvm-bgq-discuss] Details behind MPI wrapper for bgclang++<br>
><br>
</div><div class="im">> Should be deterministic. I've tested that before (a year ago maybe)<br>
> because of symmetric heap implementations. However, that's with<br>
> static<br>
> linkage.<br>
<br>
</div>For some reason I thought that he was linking dynamically, but that may not have been the case (at some point he deleted the executable, but before he did I ran ldd on it and it did not say that it was dynamically linked). Also, the bgclang wrapper script links statically by default.<br>

<br>
Jack, is the problem itself deterministic?<br>
<div class="HOEnZb"><div class="h5"><br>
 -Hal<br>
<br></div></div></blockquote><div><br>Sorry, I had a meeting that I had to run off to and am back now. The problem is only non-deterministic because I am seeding from std::random_device. I could use a fixed unsigned integer if you would like. I then randomly instantiate a large number of sources throughout the my 2D domain and then apply the adjoint of a Radon transform on them (backprojection).<br>
<br>I will happily try the flags you mentioned. Unfortunately, when I switched to using static linkage, I ran into a rather strange compilation problem:<br><br>[  9%] Building CXX object CMakeFiles/Backproj-2d.dir/test/transform/Backproj-2d.cpp.o<br>
/home/projects/llvm/r175919-20130222/bin/bgclang++    -Wall -std=c++11  -static -o CMakeFiles/Backproj-2d.dir/test/transform/Backproj-2d.cpp.o -c /home/poulson/dist-butterfly/test/transform/Backproj-2d.cpp<br>/home/poulson/dist-butterfly/test/transform/Backproj-2d.cpp:8:10: fatal error: <br>
      'dist-butterfly.hpp' file not found<br>#include "dist-butterfly.hpp"<br>         ^<br>1 error generated.<br>Assembler messages:<br>Error: can't open /tmp/Backproj-2d-u4LbNL.s for reading: No such file or directory<br>
clang: error: assembler command failed with exit code 1 (use -v to see invocation)<br>make[2]: *** [CMakeFiles/Backproj-2d.dir/test/transform/Backproj-2d.cpp.o] Error 1<br>make[2]: Leaving directory `/gpfs/vesta-home/poulson/dist-butterfly/build/clang'<br>
make[1]: *** [CMakeFiles/Backproj-2d.dir/all] Error 2<br>make[1]: Leaving directory `/gpfs/vesta-home/poulson/dist-butterfly/build/clang'<br>make: *** [all] Error 2<br><br>Have any of you ever seen this type of issue before? It looks like invalid temporary files are being created. I'm not sure whether this is due to clang or CMake...(though I have good money on which one Jeff will choose!)<br>
<br>Jack<br></div></div>