<br><font size=2 face="sans-serif">Ok .. could we add the IBMers to both
the -dev and -bg lists? </font>
<br>
<br><font size=2 face="sans-serif">Thanks!</font>
<br>
<br><font size=2 face="sans-serif">Michael Blocksome<br>
Blue Gene Messaging Team Lead<br>
Advanced Systems SW Development<br>
blocksom@us.ibm.com<br>
</font>
<br>
<br>
<br>
<table width=100%>
<tr valign=top>
<td width=40%><font size=1 face="sans-serif"><b>Rob Ross &lt;rross@mcs.anl.gov&gt;</b>
</font>
<br><font size=1 face="sans-serif">Sent by: dcmf-bounces@lists.anl-external.org</font>
<p><font size=1 face="sans-serif">02/28/2008 01:29 PM</font>
<td width=59%>
<table width=100%>
<tr valign=top>
<td>
<div align=right><font size=1 face="sans-serif">To</font></div>
<td><font size=1 face="sans-serif">&quot;Rajeev Thakur&quot; &lt;thakur@mcs.anl.gov&gt;</font>
<tr valign=top>
<td>
<div align=right><font size=1 face="sans-serif">cc</font></div>
<td><font size=1 face="sans-serif">dcmf-bounces@lists.anl-external.org,
dcmf@lists.anl-external.org</font>
<tr valign=top>
<td>
<div align=right><font size=1 face="sans-serif">Subject</font></div>
<td><font size=1 face="sans-serif">Re: [dcmf] 32-bit ROMIO: What is the
best solution?</font></table>
<br>
<table>
<tr valign=top>
<td>
<td></table>
<br></table>
<br>
<br>
<br><tt><font size=2>Let's just use mpich2-bg. -- Rob<br>
<br>
On Feb 28, 2008, at 1:26 PM, Rajeev Thakur wrote:<br>
<br>
&gt; Perhaps we could use mpich2-bg for private communication between the
&nbsp;<br>
&gt; IBM<br>
&gt; folks and Argonne MPICH2 developers, and mpich2-dev for stuff meant
&nbsp;<br>
&gt; for<br>
&gt; others. mpich2-dev has many subscribers.<br>
&gt;<br>
&gt; Rajeev<br>
&gt;<br>
&gt;<br>
&gt;&gt; -----Original Message-----<br>
&gt;&gt; From: dcmf-bounces@lists.anl-external.org<br>
&gt;&gt; [mailto:dcmf-bounces@lists.anl-external.org] On Behalf Of Rob
Ross<br>
&gt;&gt; Sent: Thursday, February 28, 2008 12:56 PM<br>
&gt;&gt; To: Pavan Balaji<br>
&gt;&gt; Cc: dcmf@lists.anl-external.org; dcmf-bounces@lists.anl-external.org<br>
&gt;&gt; Subject: Re: [dcmf] 32-bit ROMIO: What is the best solution?<br>
&gt;&gt;<br>
&gt;&gt; That's fine with me too. Michael, please provide us a list of<br>
&gt;&gt; interested IBM parties, and we'll get this set up.<br>
&gt;&gt;<br>
&gt;&gt; Pavan, can you put RobL, Kevin, Sam, and I on the mpich2-bg list<br>
&gt;&gt; (along with Rajeev and others on the MPICH team as appropriate)?<br>
&gt;&gt;<br>
&gt;&gt; Thanks,<br>
&gt;&gt;<br>
&gt;&gt; Rob<br>
&gt;&gt;<br>
&gt;&gt; On Feb 28, 2008, at 12:42 PM, Pavan Balaji wrote:<br>
&gt;&gt;<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt; There's an mpich2-bg list that I just created if you want
to move<br>
&gt;&gt;&gt; there.<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt; -- Pavan<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt; On 02/28/2008 12:39 PM, Rob Ross wrote:<br>
&gt;&gt;&gt;&gt; Rajeev had suggested this too. Let's go with mpich2-dev.
Can you<br>
&gt;&gt;&gt;&gt; give us a list of people that should be added to the list?<br>
&gt;&gt;&gt;&gt; Thanks,<br>
&gt;&gt;&gt;&gt; Rob<br>
&gt;&gt;&gt;&gt; On Feb 28, 2008, at 12:29 PM, Michael Blocksome wrote:<br>
&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt; I agree .. we need to get over the discussion about
the<br>
&gt;&gt; discussion<br>
&gt;&gt;&gt;&gt;&gt; as fast as possible. :)<br>
&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt; The dcmf list has worked well, but I think we started
using it<br>
&gt;&gt;&gt;&gt;&gt; because there were no alternatives to the issue at
hand. &nbsp;Given<br>
&gt;&gt;&gt;&gt;&gt; that the mpich2 and global arrays communities have
different<br>
&gt;&gt;&gt;&gt;&gt; licenses, our long term direction for the dcmf community<br>
&gt;&gt; should be<br>
&gt;&gt;&gt;&gt;&gt; to support the dcmf library and move discussion of
other<br>
&gt;&gt;&gt;&gt;&gt; &quot;external&quot; libraries (like mpich2 and global
arrays) into thier<br>
&gt;&gt;&gt;&gt;&gt; communities.<br>
&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt; I just noticed that there is a mpich2-dev@mcs.anl.gov<br>
&gt;&gt; mailing list<br>
&gt;&gt;&gt;&gt;&gt; already set up. &nbsp;Could we use this list to collaborate
on the<br>
&gt;&gt;&gt;&gt;&gt; mpich2 implementation?<br>
&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt; Michael Blocksome<br>
&gt;&gt;&gt;&gt;&gt; Blue Gene Messaging Team Lead<br>
&gt;&gt;&gt;&gt;&gt; Advanced Systems SW Development<br>
&gt;&gt;&gt;&gt;&gt; blocksom@us.ibm.com<br>
&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt; Rob Ross &lt;rross@mcs.anl.gov&gt; wrote on 02/28/2008
12:17:06 PM:<br>
&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; Hi,<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; We've been using the DCMF list for all sorts of
things<br>
&gt;&gt; that aren't<br>
&gt;&gt;&gt;&gt;&gt;&gt; directly related to DCMF without any issues (as
far as<br>
&gt;&gt; I know);<br>
&gt;&gt;&gt;&gt;&gt; it has<br>
&gt;&gt;&gt;&gt;&gt;&gt; become the successful technical communication
path between IBM<br>
&gt;&gt;&gt;&gt;&gt; and ANL<br>
&gt;&gt;&gt;&gt;&gt;&gt; so far.<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; However, if you'd like to create a separate list
for<br>
&gt;&gt; discussing<br>
&gt;&gt;&gt;&gt;&gt; this,<br>
&gt;&gt;&gt;&gt;&gt;&gt; we can do that. Is that what you would like to
do? If so, can<br>
&gt;&gt;&gt;&gt;&gt; you give<br>
&gt;&gt;&gt;&gt;&gt;&gt; us a list of people on the IBM side that should
be on the new<br>
&gt;&gt;&gt;&gt;&gt; list?<br>
&gt;&gt;&gt;&gt;&gt;&gt; I'd like to be done discussing where we're going
to talk about<br>
&gt;&gt;&gt;&gt;&gt; this<br>
&gt;&gt;&gt;&gt;&gt;&gt; issue ASAP and concentrate on fixing it.<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; Thanks,<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; Rob<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; On Feb 28, 2008, at 11:18 AM, Michael Blocksome
wrote:<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt; Unfortunately, this MPI_Aint discussion really
has<br>
&gt;&gt; nothing to do<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt; with DCMF. &nbsp;The entrire problem and solution
is with MPICH2.<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt; Is there another, less broad, mpich mailing
list that<br>
&gt;&gt; we could<br>
&gt;&gt;&gt;&gt;&gt; use?<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt; Maybe a &quot;mpich-development&quot; or something
like that?<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt; Michael Blocksome<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt; Blue Gene Messaging Team Lead<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt; Advanced Systems SW Development<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt; blocksom@us.ibm.com<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt; dcmf-bounces@lists.anl-external.org wrote
on 02/28/2008<br>
&gt;&gt;&gt;&gt;&gt; 11:01:09 AM:<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; I'd say this mailing list is better for
it right now.<br>
&gt;&gt;&gt;&gt;&gt; Posting on the<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; broader mpich-discuss might just distract
us.<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Rajeev<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; From: dcmf-bounces@lists.anl-external.org
[mailto:dcmf-<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; bounces@lists.anl-external.org] On Behalf
Of Bob Cernohous<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Sent: Wednesday, February 27, 2008 4:19
PM<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; To: dcmf@lists.anl-external.org<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Subject: Re: [dcmf] 32-bit ROMIO: What
is the best solution?<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; bobc@us.ibm.com wrote on 02/08/2008 02:41:40
PM:<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; We all realize there are issues with
MPI_Aint's in 32 bit<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt; implementations.<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Using signed 32 bit addresses along
with 64 bit offsets can<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt; result in<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; some pretty broken code. &nbsp;I've
reproduced several<br>
&gt;&gt; problems on<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; BGL/BGP/linux. &nbsp; The problems
are most obvious with romio<br>
&gt;&gt;&gt;&gt;&gt; files &gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt; 2G or<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; virtual addresses &gt; 2G.<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Earlier this month I posted some comments
to this mailing<br>
&gt;&gt;&gt;&gt;&gt; list about<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; 32-bit MPICH/ROMIO/MPI_Aint issues (see
above and the<br>
&gt;&gt;&gt;&gt;&gt; archive).<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; We've started to work on the problem.
&nbsp; We're (optionally)<br>
&gt;&gt;&gt;&gt;&gt; making<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; MPI_Aint a 64 bit signed value even when
integers/pointers<br>
&gt;&gt;&gt;&gt;&gt; are 32<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt; bit<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; values.<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; We'd like to start sending fix patches
to the<br>
&gt;&gt; community for<br>
&gt;&gt;&gt;&gt;&gt; comment.<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; However, since we are (in parallel) contributing
our BGP<br>
&gt;&gt;&gt;&gt;&gt; code back<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; to MPICH and trying to converge on a common
code base of<br>
&gt;&gt;&gt;&gt;&gt; 1.0.7,<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; and because this problem applies to any
32-bit platform,<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; we thought we should move the discussion
to<br>
&gt;&gt; mpich-discuss to<br>
&gt;&gt;&gt;&gt;&gt; get<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; the larger community's comments.<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; It's unlikely, at this point, that our
patches<br>
&gt;&gt; would apply to<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt; MPICH2,<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; but that is our goal after the 1.0.7/BGP
patch settles.<br>
&gt;&gt;&gt;&gt;&gt; For now,<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt; we'd<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; be sending these as RFC (request for comment)
patches.<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Please let us know if you agree with discussing<br>
&gt;&gt; this on mpich-<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt; discuss,<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; or if there is a better place.<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Bob Cernohous: &nbsp;(T/L 553) 507-253-6093<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; BobC@us.ibm.com<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; IBM Rochester, Building 030-2(C335), Department
61L<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; 3605 Hwy 52 North, Rochester, &nbsp;MN
55901-7829<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Chaos reigns within.<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Reflect, repent, and reboot.<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Order shall<br>
&gt;&gt;&gt;&gt;&gt; return._______________________________________________<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; dcmf mailing list<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; dcmf@lists.anl-external.org<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; http://lists.anl-external.org/cgi-bin/mailman/listinfo/dcmf<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; http://dcmf.anl-external.<br>
&gt;&gt;&gt;&gt;&gt;&gt; org/wiki_______________________________________________<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt; dcmf mailing list<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt; dcmf@lists.anl-external.org<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt; http://lists.anl-external.org/cgi-bin/mailman/listinfo/dcmf<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt; http://dcmf.anl-external.org/wiki<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt; _______________________________________________<br>
&gt;&gt;&gt;&gt; dcmf mailing list<br>
&gt;&gt;&gt;&gt; dcmf@lists.anl-external.org<br>
&gt;&gt;&gt;&gt; http://lists.anl-external.org/cgi-bin/mailman/listinfo/dcmf<br>
&gt;&gt;&gt;&gt; http://dcmf.anl-external.org/wiki<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt; -- <br>
&gt;&gt;&gt; Pavan Balaji<br>
&gt;&gt;&gt; http://www.mcs.anl.gov/~balaji<br>
&gt;&gt;&gt;<br>
&gt;&gt;<br>
&gt;&gt; _______________________________________________<br>
&gt;&gt; dcmf mailing list<br>
&gt;&gt; dcmf@lists.anl-external.org<br>
&gt;&gt; http://lists.anl-external.org/cgi-bin/mailman/listinfo/dcmf<br>
&gt;&gt; http://dcmf.anl-external.org/wiki<br>
&gt;&gt;<br>
&gt;&gt;<br>
&gt;<br>
<br>
_______________________________________________<br>
dcmf mailing list<br>
dcmf@lists.anl-external.org<br>
http://lists.anl-external.org/cgi-bin/mailman/listinfo/dcmf<br>
http://dcmf.anl-external.org/wiki<br>
</font></tt>
<br>