<div dir="ltr">I was using <span style="font-size:12px;line-height:20px">mpiwrapper-bgclang-mpi3. Thanks for the help, Hal!</span></div><div class="gmail_extra"><br><div class="gmail_quote">On Sun, Aug 14, 2016 at 2:07 PM, Hal Finkel <span dir="ltr"><<a href="mailto:hfinkel@anl.gov" target="_blank">hfinkel@anl.gov</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><span class="">----- Original Message -----<br>
> From: "Michael Collins" <<a href="mailto:mikeliamcollins@gmail.com">mikeliamcollins@gmail.com</a>><br>
</span><span class="">> To: "Hal Finkel" <<a href="mailto:hfinkel@anl.gov">hfinkel@anl.gov</a>><br>
> Cc: <a href="mailto:llvm-bgq-discuss@lists.alcf.anl.gov">llvm-bgq-discuss@lists.alcf.<wbr>anl.gov</a>, "Patrick E Gartung" <<a href="mailto:gartung@fnal.gov">gartung@fnal.gov</a>><br>
> Sent: Sunday, August 14, 2016 12:59:18 PM<br>
> Subject: Re: [Llvm-bgq-discuss] mpic++11 Runtime Error on Cetus<br>
><br>
><br>
</span><span class="">> If I remember correctly, I had to manually add to LD_LIBRARY_PATH.<br>
<br>
</span>Understood. This shouldn't be necessary, however. Are you linking with bgclang, or one of its MPI wrapper scripts?<br>
<br>
I'm worried that something you're doing (or whatever build system you're using is doing) is confusing the wrapper script so that it does not add the appropriate linker options -- in this case, I'd like to improve the wrapper script so it does not have this problem.<br>
<br>
Thanks again,<br>
Hal<br>
<div class="HOEnZb"><div class="h5"><br>
><br>
><br>
> On Sun, Aug 14, 2016 at 1:51 PM, Hal Finkel < <a href="mailto:hfinkel@anl.gov">hfinkel@anl.gov</a> ><br>
> wrote:<br>
><br>
><br>
> Hi Michael,<br>
><br>
> How are you linking? The underlying bgclang wrapper script should add<br>
> the necessary directories<br>
> (/bgsys/drivers/ppcfloor/gnu-<wbr>linux-4.7.2/powerpc64-bgq-<wbr>linux/lib in<br>
> this case) to your rpath so everything functions correctly.<br>
><br>
> -Hal<br>
><br>
><br>
><br>
> ----- Original Message -----<br>
> > From: "Michael Collins" < <a href="mailto:mikeliamcollins@gmail.com">mikeliamcollins@gmail.com</a> ><br>
> > To: "Patrick E Gartung" < <a href="mailto:gartung@fnal.gov">gartung@fnal.gov</a> ><br>
> > Cc: <a href="mailto:llvm-bgq-discuss@lists.alcf.anl.gov">llvm-bgq-discuss@lists.alcf.<wbr>anl.gov</a><br>
> > Sent: Monday, July 18, 2016 10:32:14 PM<br>
> > Subject: Re: [Llvm-bgq-discuss] mpic++11 Runtime Error on Cetus<br>
> ><br>
> ><br>
> ><br>
> > Well, it took most of the day, but I finally found a libstdc++.so<br>
> > that works. The path is as follows:<br>
> ><br>
> ><br>
> > /bgsys/drivers/V1R2M1/ppc64/<wbr>toolchain-4.7.2/gnu/build-<wbr>powerpc64-bgq-linux/gcc-4.7.2-<wbr>build/powerpc64-bgq-linux/<wbr>libstdc++-v3/src/.libs/<wbr>libstdc++.so.6<br>
> ><br>
> ><br>
> > Now, the program runs exactly as intended. Thanks so much for the<br>
> > help, Patrick.<br>
> ><br>
> ><br>
> > On Mon, Jul 18, 2016 at 1:25 PM, Patrick E Gartung <<br>
> > <a href="mailto:gartung@fnal.gov">gartung@fnal.gov</a><br>
> > > wrote:<br>
> ><br>
> ><br>
> ><br>
> ><br>
> ><br>
> ><br>
> > Probably this path or something similar<br>
> ><br>
> ><br>
> ><br>
> ><br>
> > /bgsys/drivers/toolchain/<wbr>V1R2M4_base_4.7.2/gnu-linux-4.<wbr>7.2/powerpc64-bgq-linux/lib/<br>
> ><br>
> ><br>
> ><br>
> ><br>
> > From: Michael Collins < <a href="mailto:mikeliamcollins@gmail.com">mikeliamcollins@gmail.com</a> ><br>
> > Date: Monday, July 18, 2016 at 1:11 PM<br>
> ><br>
> ><br>
> > To: Patrick Gartung < <a href="mailto:gartung@fnal.gov">gartung@fnal.gov</a> ><br>
> > Cc: " <a href="mailto:llvm-bgq-discuss@lists.alcf.anl.gov">llvm-bgq-discuss@lists.alcf.<wbr>anl.gov</a> " <<br>
> > <a href="mailto:llvm-bgq-discuss@lists.alcf.anl.gov">llvm-bgq-discuss@lists.alcf.<wbr>anl.gov</a> ><br>
> > Subject: Re: [Llvm-bgq-discuss] mpic++11 Runtime Error on Cetus<br>
> ><br>
> ><br>
> ><br>
> ><br>
> ><br>
> ><br>
> ><br>
> > OK, I'll dig around a bit and see if I can find the libstdc++.so I<br>
> > need.<br>
> ><br>
> ><br>
> > On Mon, Jul 18, 2016 at 1:02 PM, Patrick E Gartung <<br>
> > <a href="mailto:gartung@fnal.gov">gartung@fnal.gov</a><br>
> > > wrote:<br>
> ><br>
> ><br>
> ><br>
> ><br>
> ><br>
> ><br>
> > My solution only worked because I compiled with gcc4.8.4 in the<br>
> > mpich_cpp wrapper. I think bgclang is compiled against a different<br>
> > libstdc++.so. This may be the cause of the segfault. You will have<br>
> > to determine the correct LD_LIBRARY_PATH to use with bgclang.<br>
> ><br>
> ><br>
> ><br>
> ><br>
> > From: Michael Collins < <a href="mailto:mikeliamcollins@gmail.com">mikeliamcollins@gmail.com</a> ><br>
> > Date: Monday, July 18, 2016 at 12:57 PM<br>
> > To: Patrick Gartung < <a href="mailto:gartung@fnal.gov">gartung@fnal.gov</a> ><br>
> > Cc: " <a href="mailto:llvm-bgq-discuss@lists.alcf.anl.gov">llvm-bgq-discuss@lists.alcf.<wbr>anl.gov</a> " <<br>
> > <a href="mailto:llvm-bgq-discuss@lists.alcf.anl.gov">llvm-bgq-discuss@lists.alcf.<wbr>anl.gov</a> ><br>
> > Subject: Re: [Llvm-bgq-discuss] mpic++11 Runtime Error on Cetus<br>
> ><br>
> ><br>
> ><br>
> ><br>
> ><br>
> ><br>
> ><br>
> > That seems to have done the trick. My program's segfault-ing, but<br>
> > at<br>
> > least that means the library was loaded.<br>
> ><br>
> ><br>
> > On Mon, Jul 18, 2016 at 12:22 PM, Michael Collins <<br>
> > <a href="mailto:mikeliamcollins@gmail.com">mikeliamcollins@gmail.com</a> > wrote:<br>
> ><br>
> ><br>
> ><br>
> > Thanks, Patrick. I'll give it a try and report back.<br>
> ><br>
> ><br>
> ><br>
> ><br>
> > On Mon, Jul 18, 2016 at 12:20 PM, Patrick E Gartung <<br>
> > <a href="mailto:gartung@fnal.gov">gartung@fnal.gov</a> > wrote:<br>
> ><br>
> ><br>
> ><br>
> ><br>
> ><br>
> ><br>
> > Hi Michael<br>
> ><br>
> ><br>
> > I had the same problem on vesta. I had to add the envs option with<br>
> > LD_LIBRARY_PATH to the qsub command<br>
> ><br>
> ><br>
> ><br>
> ><br>
> > qsub -n 2 --mode c1 -t 120 --env<br>
> > LD_LIBRARY_PATH=/soft/<wbr>compilers/gcc/4.8.4/lib/gcc/<wbr>powerpc64-bgq-linux/4.8.4/:/<wbr>soft/compilers/gcc/4.8.4/lib/<wbr>gcc/:/soft/compilers/gcc/4.8.<wbr>4/lib/gcc/powerpc64-bgq-linux/<wbr>4.8.4/../../../../powerpc64-<wbr>bgq-linux/lib/:$LD_LIBRARY_<wbr>PATH<br>
> ><br>
> ><br>
> ><br>
> ><br>
> > From: < <a href="mailto:llvm-bgq-discuss-bounces@lists.alcf.anl.gov">llvm-bgq-discuss-bounces@<wbr>lists.alcf.anl.gov</a> > on behalf of<br>
> > Michael Collins < <a href="mailto:mikeliamcollins@gmail.com">mikeliamcollins@gmail.com</a> ><br>
> > Date: Monday, July 18, 2016 at 12:14 PM<br>
> > To: " <a href="mailto:llvm-bgq-discuss@lists.alcf.anl.gov">llvm-bgq-discuss@lists.alcf.<wbr>anl.gov</a> " <<br>
> > <a href="mailto:llvm-bgq-discuss@lists.alcf.anl.gov">llvm-bgq-discuss@lists.alcf.<wbr>anl.gov</a> ><br>
> > Subject: [Llvm-bgq-discuss] mpic++11 Runtime Error on Cetus<br>
> ><br>
> ><br>
> ><br>
> ><br>
> ><br>
> ><br>
> ><br>
> > Hello, all.<br>
> ><br>
> ><br>
> > I'm having some trouble running my Swift/T project on Cetus. I'm<br>
> > compiling a shared library with mpic++11 under the<br>
> > mpiwrapper-bclang-mpi3 wrapper, and my program is dynamically<br>
> > linked<br>
> > to it. At runtime, I'm getting the following error when my program<br>
> > tries to load the shared library:<br>
> ><br>
> ><br>
> ><br>
> > stderr[1]: couldn't load file<br>
> > "/home/mlcoll/src/eq-c/tests/<wbr>genmax/EQC/libeqc.so":<br>
> > /lib64/bgq/libstdc++.so.6: version `CXXABI_1.3.5' not found<br>
> > (required by<br>
> > /soft/compilers/bgclang/<wbr>r266865-stable/libc++/lib/<wbr>libc++.so.1)<br>
> ><br>
> ><br>
> > Any ideas on how to remedy this?<br>
> ><br>
> ><br>
> > Thanks,<br>
> > Mike Collins<br>
> ><br>
> ><br>
> ><br>
> ><br>
> > ______________________________<wbr>_________________<br>
> > llvm-bgq-discuss mailing list<br>
> > <a href="mailto:llvm-bgq-discuss@lists.alcf.anl.gov">llvm-bgq-discuss@lists.alcf.<wbr>anl.gov</a><br>
> > <a href="https://lists.alcf.anl.gov/mailman/listinfo/llvm-bgq-discuss" rel="noreferrer" target="_blank">https://lists.alcf.anl.gov/<wbr>mailman/listinfo/llvm-bgq-<wbr>discuss</a><br>
> ><br>
><br>
> --<br>
> Hal Finkel<br>
> Assistant Computational Scientist<br>
> Leadership Computing Facility<br>
> Argonne National Laboratory<br>
><br>
><br>
<br>
--<br>
Hal Finkel<br>
Assistant Computational Scientist<br>
Leadership Computing Facility<br>
Argonne National Laboratory<br>
</div></div></blockquote></div><br></div>