<font size=2 face="sans-serif">That must be it .. it didn't get a dup
of your email.</font>
<br>
<br><font size=2 face="sans-serif">I wasn't sure if it was a mailing list
thing, or my .. um .. "challenging" lotus notes client.  I
guess it was neither. :)</font>
<br><font size=2 face="sans-serif"><br>
Michael Blocksome<br>
Blue Gene Messaging<br>
blocksom@us.ibm.com<br>
</font>
<br>
<br>
<br>
<br><font size=1 color=#5f5f5f face="sans-serif">From:      
 </font><font size=1 face="sans-serif">Hal Finkel <hfinkel@anl.gov></font>
<br><font size=1 color=#5f5f5f face="sans-serif">To:      
 </font><font size=1 face="sans-serif">Michael Blocksome/Rochester/IBM@IBMUS,
</font>
<br><font size=1 color=#5f5f5f face="sans-serif">Cc:      
 </font><font size=1 face="sans-serif">llvm-bgq-discuss@lists.alcf.anl.gov,
Jack Poulson <jack.poulson@gmail.com></font>
<br><font size=1 color=#5f5f5f face="sans-serif">Date:      
 </font><font size=1 face="sans-serif">03/01/2013 10:12 AM</font>
<br><font size=1 color=#5f5f5f face="sans-serif">Subject:    
   </font><font size=1 face="sans-serif">Re: [Llvm-bgq-discuss]
Details behind MPI wrapper for bgclang++</font>
<br>
<hr noshade>
<br>
<br>
<br><tt><font size=2>Michael,<br>
<br>
Did you get a duplicate of this message? It looks like llvm-bgq-discuss-bounces
somehow also ended up in the CC list, and I wonder if that was causing
the problem.<br>
<br>
 -Hal<br>
<br>
----- Original Message -----<br>
> From: "Michael Blocksome" <blocksom@us.ibm.com><br>
> To: "Jack Poulson" <jack.poulson@gmail.com><br>
> Cc: "Hal Finkel" <hfinkel@anl.gov>, llvm-bgq-discuss@lists.alcf.anl.gov,
llvm-bgq-discuss-bounces@lists.alcf.anl.gov<br>
> Sent: Friday, March 1, 2013 8:30:56 AM<br>
> Subject: Re: [Llvm-bgq-discuss] Details behind MPI wrapper for bgclang++<br>
> <br>
> All,<br>
> <br>
> I seem to be getting duplicates of each email in this thread .. any<br>
> idea what's going on with the mailing list?<br>
> <br>
> Michael Blocksome<br>
> Blue Gene Messaging<br>
> blocksom@us.ibm.com<br>
> <br>
> <br>
> <br>
> <br>
> From: Jack Poulson <jack.poulson@gmail.com><br>
> To: Hal Finkel <hfinkel@anl.gov>,<br>
> Cc: llvm-bgq-discuss@lists.alcf.anl.gov<br>
> Date: 02/28/2013 09:44 PM<br>
> Subject: Re: [Llvm-bgq-discuss] Details behind MPI wrapper for<br>
> bgclang++<br>
> Sent by: llvm-bgq-discuss-bounces@lists.alcf.anl.gov<br>
> <br>
> <br>
> <br>
> <br>
> On Thu, Feb 28, 2013 at 7:36 PM, Hal Finkel < hfinkel@anl.gov ><br>
> wrote:<br>
> ----- Original Message -----<br>
> > From: "Jack Poulson" < jack.poulson@gmail.com ><br>
> > To: "Hal Finkel" < hfinkel@anl.gov ><br>
> > Cc: "Jeff Hammond" < jhammond@alcf.anl.gov >,<br>
> > llvm-bgq-discuss@lists.alcf.anl.gov<br>
> > Sent: Thursday, February 28, 2013 7:40:19 PM<br>
> > Subject: Re: [Llvm-bgq-discuss] Details behind MPI wrapper for<br>
> > bgclang++<br>
> > <br>
> > On Thu, Feb 28, 2013 at 5:24 PM, Hal Finkel < hfinkel@anl.gov
><br>
> > wrote:<br>
> > <br>
> > <br>
> > <br>
> > <br>
> > ----- Original Message -----<br>
> > > From: "Jack Poulson" < jack.poulson@gmail.com
><br>
> > > To: "Hal Finkel" < hfinkel@anl.gov ><br>
> > > Cc: "Jeff Hammond" < jhammond@alcf.anl.gov
>,<br>
> > > llvm-bgq-discuss@lists.alcf.anl.gov<br>
> > <br>
> > > Sent: Thursday, February 28, 2013 6:51:08 PM<br>
> > > Subject: Re: [Llvm-bgq-discuss] Details behind MPI wrapper
for<br>
> > > bgclang++<br>
> > > <br>
> > <br>
> > > Thanks Hal, that helps clear things up a bit. I guess I
should be<br>
> > > a<br>
> > > little more clear about what exactly I'm doing. Since CMake's<br>
> > > FindMPI module seems to attempt to link to MPICH incorrectly
if I<br>
> > > directly specify the mpic++11, I have to instead manually
specify<br>
> > > its behaviour (and thankfully Jeff took care of this a month
or<br>
> > > two<br>
> > > ago). One of my link commands generated by CMake looks like
this:<br>
> > > <br>
> > > <br>
> > > <br>
> > > /home/projects/llvm/bin/bgclang++ -Wall -std=c++11 -O3<br>
> > > -stdlib=libc++<br>
> > > -L/bgsys/drivers/ppcfloor/comm/gcc/lib<br>
> > > -L/bgsys/drivers/ppcfloor/comm/sys/lib<br>
> > > -L/bgsys/drivers/ppcfloor/spi/lib<br>
> > > CMakeFiles/HypRadon-2d.dir/test/transform/HypRadon-2d.cpp.o
-o<br>
> > > bin/transform/HypRadon-2d -rdynamic libcmake-dummy-lib.a<br>
> > > -L/soft/libraries/alcf/current/gcc/LAPACK/lib -llapack<br>
> > > -L/soft/libraries/essl/current/essl/5.1/lib64 -lesslbg<br>
> > > -L/soft/compilers/ibmcmp-nov2012/xlf/bg/14.1/bglib64 -lxlf90_r<br>
> > > -L/soft/compilers/ibmcmp-nov2012/xlsmp/bg/3.1/bglib64 -lxlomp_ser<br>
> > > -L/soft/compilers/ibmcmp-nov2012/xlmass/bg/7.3/bglib64 -lmassv<br>
> > > -lmass -lxlopt -lxlfmath -lxl -lgfortran -lm -lpthread -ldl<br>
> > > -Wl,--allow-multiple-definition -lcxxmpich -lmpich -lopa
-lmpl<br>
> > > -ldl<br>
> > > -lpami -lSPI -lSPI_cnk -lpthread -lrt -lstdc++<br>
> > > <br>
> > > <br>
> > > Upon typing this, I noticed that both libc++ and libstdc++
are<br>
> > > both<br>
> > > being used (which I assume is bad).<br>
> > <br>
> > Actually, this is okay (although this is not obvious). When you<br>
> > specify -stdlib=libc++ the clang driver automatically rewrites<br>
> > -lstdc++ to some system-specific set of libraries necessary to
link<br>
> > with libc++. In our case, this is -lc++ (and -lrt -lpthread<br>
> > -lstdc++<br>
> > when statically linking). As a result, using -lstdc++ is fine
here.<br>
> > You can verify this by passing -v and examining the linking command<br>
> > line.<br>
> > <br>
> > I should also note that we have a *special* libc++ install which
is<br>
> > partially based on libstdc++ so that we can link statically with<br>
> > PAMI without symbol definition conflicts. Everything *should*
work,<br>
> > but I've only done some limited testing.<br>
> > <br>
> > So using the command-line above succeeds but produces an executable<br>
> > that crashes?<br>
> > <br>
> > <br>
> > <br>
> > <br>
> > <br>
> > <br>
> > Hi Hal,<br>
> > <br>
> > <br>
> > Thanks, that makes a lot of sense! The executable Backproj-2d
in<br>
> > /home/poulson/dist-butterfly/build/clang/bin/transform produced<br>
> > core.{0,6,8,10,11}. Please let me know if you do not have access<br>
> > for<br>
> > some reason, and thank you again for your help.<br>
> <br>
> Interesting; so the backtrace is messed up, but the problem seems<br>
> legitimate. The code is ending up in steady_clock::now(), which uses<br>
> clock_gettime(CLOCK_MONOTONIC, ...), which is not supported on the<br>
> BG/Q compute nodes. I'll need to change it to use CLOCK_REALTIME<br>
> instead; I'll let you know when to retry.<br>
> <br>
> Thanks again,<br>
> Hal<br>
> <br>
> <br>
> Thanks Hal! I was thrown off by the fact that the trace contained<br>
> MPI_Gather and the program had failed before it should have reached<br>
> any MPI_Gather calls. I very much appreciate the help.<br>
> <br>
> Jack _______________________________________________<br>
> llvm-bgq-discuss mailing list<br>
> llvm-bgq-discuss@lists.alcf.anl.gov<br>
> </font></tt><a href="https://lists.alcf.anl.gov/mailman/listinfo/llvm-bgq-discuss"><tt><font size=2>https://lists.alcf.anl.gov/mailman/listinfo/llvm-bgq-discuss</font></tt></a><tt><font size=2><br>
> <br>
> <br>
<br>
</font></tt>
<br>