[Date Prev][Date Next][Thread Prev][Thread Next][Date Index][Thread Index]

[dennou-ruby:003837] Re: [dennou-ruby:003836] Re: NArray-bigmem on ruby2.2.0 Re: Re: 大規模データ



�߷�Ǥ�

"int{16|32|64}" ��"sint", "int", "long" ��ѹ����ƥ��ߥåȤ��ޤ�����
gcc �ξ��ϥǥե�����openmp ��ͭ�������ˤ��ޤ�����

ruby-netcdf, ruby-dcl �Υѥå��ݥ��ȥ����������
������������ߡ��ޤ��������Ĥ��Х������ä��Τǽ�����Ƥ��ޤ���

int64 �Υ��ݡ��Ȥ���ܤʤΤǡ� typecode ���������ϤȤꤢ�������ΤޤޤǤ���

��ȤϤ⤦�����奢�åץǡ��Ȥ��ʤ�������������ǡ�
����������Τ�����Ȼפ��ޤ�(����������褤�Ȼפ��ޤ���������������ˤ��ꤤ�����������Ȼפ��ޤ�)��


�߷��


2015ǯ1��� 16:04 Takeshi Horinouchi <horinout@xxxxxxxxxxxxxxxxx>:
> �߷���ޡ�
>
> narray-bigmem �β������������Ǥη�������int", "int"
> ���顤"int16", "int32" ��Ѥ��Ƥޤ�����array.c l.47-48�ˡ�������
> �θߴ�����ʤ��ʤ��ǡ�����ᤷ��㤨�ʤ��Ǥ��礦����nt16 �ʤ�> �Τۤ����狼�����γΤ��Ǥ������ߴ���Τۤ���褷�Ƥۤ����Ǥ��ˡ�
>
> bigmem �Ǥϡ�������64-bit �����ݡ��Ȥ��ޤ����͡������
> "int64" �ˤʤäƤޤ��������ޤǤ��̾ˡ�ˤ��碌����long"
> �Ǥ��͡�
>
> �����64-bit �򥵥ݡ��Ȥ��뤳�Ȥ�typecode �������Τ�
> �ɤ����ʤȻפäƤޤ���coerce �δط��塤�Ǹ����Ƥ���
> ���ȤϤǤ��ʤ��Ǥ����͡�
>
> dcmodel �ߡ��ƥ��󥰤�narray-bigmem �����ʤä��ΤǤ�����
> �����Array �ֵ��������סˤΤۤ��˼���������褦
> Ư�������Ƥߤ��Ϥɤ��Ǥ��礦��
>
> �Ƿ�
>
>> �߷���ޡ�
>>
>> ���ä���ͭ����������ޤ���
>>
>> > openmp ������ɤ����Υ�����륪�ץ����ϥ���������ưۤʤäƤ��ޤ���
>> > �Ȥꤢ���� gcc ��Υ��ץ�����������Ȥ����ΤϤ����Ȥϻפ��ޤ�����
>>
>> �����Ĥ� configure �����褦�ˤʤ��򤷤��Ǥ���
>> �ʤɤ������������狼�����󤬡�
>> �ɤ����˥���뤬���ä��ꤷ�ʤ��Ǥ����͡���>>
>> > �¹Ի�������ˤĤ��ƤǤ�����
>> > OMP_NUM_THREADS �����������ʤ�����༡�¹ԡ�
>> > ���������������ο���Ԥ������ˤʤäƤ��ޤ���
>>
>> �������ޤ����ʤȻ䤬�פä��ˤ褦�ˤʤäƤ��Ǥ��͡�
>>
>> narray-bigmem �ˤϤ�����NArray ��README ���������
>> �ʤΤǡ���Ȥ��鲿��������Ȥ����ɤ����ƻȤ������Ȥ���
>> �����ޤä����ʤ��褦�Ǥ���README_bigmem �ߤ�����>> �ե��������ơ�����ʤ��Ȥ���˽񤭡��󥵥����� 64-bit������ˤ���2GB ��ɤ�������Ȥ������黻
>> �ǥ����������ˤ����Ȥ��ˡ�
>> �����Υ�������¹���ˤĤ��Ƥ�ñ�˽񤤤Ƥ�����
>> �����Ȼפ��ޤ����ʤ��������줬 github �Υڡ���������>> �褦�ˤ��롣��Ȥ������������>> configure ̤����Ǥ⡤�����gcc �ʤ餳��
>> ���ƥӥ����ƤͤȤ�������������꤬�����Ǥ���
>>
>> > ���ץꥱ�������ǻ�ꤷ�������ϡ�
>> > ENV["OMP_NUM_THREADS"]=?
>> > �Ȥ����褤�ȹͤ��Ƥ��ޤ���
>> > ���ѿ�Ѱդ��Ƥ���OMP_NUM_THREADS ���������Ǥ��Τǡ�
>> > ���ޤ����ȤϤʤ��ΤǤϤȻפ��ޤ���
>>
>> �ʤ��ɡ��ʤ����嵭 README �˽񤤤Ƥ����򤷤��Ǥ�����>>
>> �Ƿ�
>>
>>
>> > �Ƕ��ä������äƤ��ʤ��Τǡ�
>> > ��������֤��Ȥ줿�鸫ľ���������ޤ���
>> >
>> > �߷��
>> >
>> > On Wed Jan 21 2015 at 13:06:32 Takeshi Horinouchi <
>> > horinout@xxxxxxxxxxxxxxxxx> wrote:
>> >
>> > > �߷����>> > > ���������������ε��쥹�Ǥ�����>> > >
>> > > �� ruby 2.2 ��narray-bigmem ������Ƥߤޤ�����
>> > > �ʺ��ΤȤ���penmp �ϻȤ�����ǡ�-- �����������>> > > rake �����顤��������å���������뤹���ǤƤޤ�������>> > >
>> > > > ������ƤǤ���kefile�Ǥϡ�������롢��������fopenmp���Ĥ��ʤ��Τǡ�
>> > > > CFLAGS��dflags�˽񤭲ä��Ƥ���ke���ޤ�����
>> > >
>> > > �� CFLAGS ���ꤷ�ʤ��Ȥ����ʤ��ΤϤɤ����Ȼפ��Τǡ�
>> > > ɬ��ʤ��Ǥ��ʤ��Ǥ��礦������Ѻ��Ƥ��줿���ʤ�
>> > > �Ǥ����顤�⤦�Ҥȼ������ƻȤ������夲�Ƥ��������
>> > > ���餷���Ǥ��ʤ��꤬�����Ǥ��ˡ�
>> > >
>> > > ��¸�饤�֥�(libgomp1 �)�ˤĤ��Ƥϡ��ѥå�������������>> > >    ��������Ҥ��������Τ���ʤ��Ȼפ��ޤ���
>> > >
>> > > �ǥե�����(����饤�֥�������) openmp ����ǥӥ�
>> > > �����褦�ˤ�����ǡ��Ȥ��ˤʤ������ʤ���
>> > > ���󥰥��������������ʤ��������������ˤ褦��>> > > �ʤäƤ��������Ȼפ��ޤ���NArray �ϴ�饤�֥���>> > > �����Ȥ��ޤ��Τǡ����ο������餻����> > > �ʤ��ξ��ϤդĤ��������̵��������Ȥ���
>> > > ����������ȡ������������Ȥ���� bigmem �����Τ�>> > > �ʤ����� bigmem �����Ф����������Ȥ����Τ� > > �������������ȤǤ���
>> > >
>> > > ����ϡ��Ķ����P_NUM_THREADS ���������ʤ����ˡ�
>> > > �����ʤ���������ΤϹ��ޤ����ʤ�����Ȥ������ȤǤ�����
>> > > ��������ȡ�OMP_NUM_THREADS ����������������
>> > > ��ưŪ���󲽤�������������̯�ʵ������ޤ���
>> > > ����������ץꥱ������¦�Ǥ�����ܤˤ��ơ�
>> > > �Ķ����ȤäƤ�������ꤹ�뤰�餤�ΰ�֤Ť����褵����
>> > > �˻פ��ޤ���MP_NUM_THREADS �������������᥷���ƥ�> > > ������ˡ��ɤ��Ǥ��礦��
>> > >
>> > > ���������ꤤ���ޤ���
>> > >
>> > > > ���Ǥ���
>> > > >
>> > > > ����ȸŤ��᡼��������
>> > > > debian wheezy��>> > > > narray-bigmem��uby-netcdf��y2.2.0�ǻ�Ƥߤޤ�����
>> > > > gcc ��ersion 4.7.2
>> > > > ����ruby-netcdf�Υƥ��Ȥ��Ȥ������������
>> > > > �ʤ��򸫤Ƥߤ褦���Ȼפ��ޤ�����������Ȼ��֤��ʤ������ʤΤǴ�ꤲ�Ǥ���
>> > > >
>> > > > �ʲ������Ǥ���
>> > > > ǯ�������������Ȥ��ˡ�
>> > > > narray-bigmem����ʤ����Ȥ������褦�ʵ������ޤ���
>> > > > ����Ⱦ��ٹ����ʤ�����ʤ����Ǥ���
>> > > >
>> > > > openmp������뤿��
>> > > > libgomp1�Ȥ����ѥå������򤤤�������
>> > > > �ޤ�
>> > > > ruby extconf.rb
>> > > > ������ƤǤ���kefile�Ǥϡ�������롢��������fopenmp���Ĥ��ʤ��Τǡ�
>> > > > CFLAGS��dflags�˽񤭲ä��Ƥ���ke���ޤ�����
>> > > > 1000x1000x300�Ȥ���Array�򣲤����˺��Ʊ䡹��������������Ȥ�äƸ��ޤ�����
>> > > > ʣ����ɤDz����������Ǥ��Ƥ������Ǥ���
>> > > >
>> > > > ����ruby-netcdf�����Ƹ��ޤ�����
>> > > > ������ѥå�򤢤Ƥ�>> > > > �������򤿤���>> > > > NArray.constants.include?("SUPPORT_BIGMEM")�� > > > NArray.constants.include?("SUPPORT_BIGMEM") ||
>> > > > NArray.constants.include?(:SUPPORT_BIGMEM)
>> > > > �ˤ���ake���ơ����󥹥ȡ����Ǥ�K�Ǥ�����
>> > > >
>> > > > ruby-netcdf��դ��Ƥ���st.tb������Ƹ��ޤ�������
>> > > > netcdf.rb�Σ���ܤΥ��󥳡��ǥ���iso-2022-7bit)�������������ܤ��ޤ�����
>> > > > nkf��uc�ˤ���uc-jp�˽񤭴������Ȥ����˿ʤߤޤ�����
>> > > >
>> > > > creating test.nc...
>> > > > /home/masuo/cc-env/lib/ruby/site_ruby/2.2.0/numru/netcdf.rb:130:in
>> > > > `put_attraw': Unrecognized NArray type (ArgumentError)
>> > > > from /home/masuo/cc-env/lib/ruby/site_ruby/2.2.0/numru/netcdf.rb:130:in
>> > > > `put_att'
>> > > > from test.rb:19:in `<main>'
>> > > > �Ȥ������ƥ��Ȥ�äƤ��ޤ���>> > > > ���ꥸ�ʥ�NArray�Ǥϥƥ���̤ä��Τ�igmem��������Τ褦�Ǥ���
>> > > >
>> > > > �ɤ������������ꤤ�������ޤ���
>> > > >
>> > > > �����>> > > >
>> > > >
>> > > >
>> > > >
>> > > >
>> > > > 2014ǯ10��� 9:52 Seiya Nishizawa <seiya@xxxxxxxxxxxxxx>:
>> > > > > ����
>> > > > >
>> > > > > 3/18 ����ML����
>> > > > > narray-bigmem (narray plus over 2GB memory handling and thread
>> > > > > parallel processing)
>> > > > > �Ȥ����᡼���������ˡ�2GB�ۤ����narray ����������
>> > > > > https://github.com/seiya/narray-bigmem
>> > > > > �����Ȥ��������嵭�᡼��ź����������å��ɬ��Ǥ���
>> > > > > ���ȡ����ι����󤫤�����ѹ���ɬ��Ȥλ���⤤������Ƥ��ޤ���
>> > > > >
>> > > > > # gmail �Ǥ���������Ƥ����᡼�뤬�����ʤ��Τǡ�������ֹ椬ʬ�������󡣤����ޤ���>> > > > > # ���ȡ� dennou-ruby ML ��web ���������֤� 2014 �ϤĤ����Ƥ��ʤ�����͡�
>> > > > >
>> > > > >
>> > > > > ---  ������᡼�뤳����������ž�����Ƥ����ޤ������)
>> > > > > ��y-netcdf-*.*.*/lib/netcdf.rb ��ruby-dcl-*.*.*/lib/dcl.rb
>> > > > > Ƭ����NArray �� NArray-bigmem ����ꤷ�Ƥ����꤬����������
>> > > > > ���NArray.constants.include?("SUPPORT_BIGMEM")
>> > > > > Ruby-1.9�ʾ��ϡ��᥽�å����������ʤäƤ��ꡢ
>> > > > > ����ư��ޤ��������
>> > > > >
>> > > > > NArray.constants.include?("SUPPORT_BIGMEM")
>> > > > > �� > > > > NArray.constants.map{|t|t.to_s}.include?("SUPPORT_BIGMEM")
>> > > > > �Ȥ��Ʋ���ޤ�����
>> > > > >
>> > > > > ���ȡ���ʬ����äơ����顼�����������Ф����ˤʤäƤ��ޤ�����
>> > > > > ������դΤ褦�ʵ������ޤ�
>> > > > >
>> > > > > ��y-dcl ��NumRu::DCL::SUPPORT_BIGMEM �����������ʤ�
>> > > > > ruby-netcdf�Υѥå�Ǥϡ�Ʊ��Τ��������������Τǡ�
>> > > > > �������ͤˡ�init.c.default �������ޤ�����
>> > > > >
>> > > > > --- /home/kohmasa/usr/src/ruby-dcl-1.7.0/init.c.default
>> > > > > +++ /home/kohmasa/usr/src/ruby-dcl-1.7.0_bigmem/init.c.default
>> > > > > @@ -1,6 +1,7 @@
>> > > > >  #include <stdio.h>
>> > > > >  #include "ruby.h"
>> > > > >  #include "libtinyf2c.h"
>> > > > > +#include "narray.h"
>> > > > >
>> > > > >  /* for compatibility with ruby 1.6 */
>> > > > >  #ifndef RARRAY_PTR
>> > > > > @@ -124,6 +125,12 @@
>> > > > >      mDCL = rb_define_module_under(mNumRu, "DCL");
>> > > > >      rb_define_const(mDCL, "DCLVERSION", rb_str_new2(DCLVersion));
>> > > > >
>> > > > > +#ifdef NARRAY_BIGMEM
>> > > > > +    rb_define_const(mDCL, "SUPPORT_BIGMEM", Qtrue);
>> > > > > +#else
>> > > > > +    rb_define_const(mDCL, "SUPPORT_BIGMEM", Qfalse);
>> > > > > +#endif
>> > > > > +
>> > > > >      init_grph1_csgi(mDCL);
>> > > > >      init_grph1_scpack(mDCL);
>> > > > >      init_grph1_sgpack(mDCL);
>> > > > >
>> > > > > �ʾ�����
>> > > > > --- ������᡼�뤳���ޤ�>> > > > >
>> > > > >
>> > > > > �߷��
>> > > > >
>> > > > > 2014ǯ10��� 6:54 Shin-ichi Takehiro <takepiro@xxxxxxxxxxxxxx>:
>> > > > >> ����Ǥ�.
>> > > > >>
>> > > > >> ������ 1024^3 ����礭���Υǡ����򰷤���>> > > > >> �ʤ����ʤ�����. ���ʤ����߹�����>> > > > >> GPhys/NArray ��2GB �θ³�����Ƥ��ޤ�, ��������> > > > >> ���ɤ��륿���ߥ󥰤ǥ��顼���ФƤ��ޤ��ޤ�.
>> > > > >>
>> > > > >> 2 GB �äƤ��ޤɤ��ǡ�����Ȥ��Ƥϸ������褦�ʵ������ޤ���,
>> > > > >> ���������褵�������Ǥ��礦? ��塼�ȥꥢ���ФƤ���
>> > > > >> ������롼�פDz󤷤� �Ȥ��ä����ȤϤ��ޤ��ꤿ���ʤ��Ǥ�.
>> > > > >> ���ԤΤ��ո���ʹ����������.
>> > > > >>
>> > > > >>                     Takepiro(������������. ������>> > > > >>                         E-mail:takepiro@xxxxxxxxxxxxxx
>> > > > >>                                takepiro@xxxxxxxxxxxxxxxxxxxx
>> > > > >>
>> > > > >>
>> > > > >>
>> > > > >
>> > > > >
>> > > > >
>> > > > > --
>> > > > > Seiya Nishizawa
>> > > > > RIKEN Advanced Institute for Computational Science
>> > > > > Tel: +81-78-940-5754, Fax: +81-78-304-4972
>> > > > > 7-1-26, Minatojima-minami-machi, Chuo-ku, Kobe, Hyogo 650-0047, Japan
>> > > > >
>> > > > >
>> > > >
>> > > >
>> > > >
>> > > > --
>> > > > Masuo NAKANO, Ph.D.
>> > > > Dept. Seamless Environmental Prediction Research, JAMSTEC
>> > > > 3173-25 Showa-machi, Kanazawa-ku
>> > > > Yokohama, 236-0001, JAPAN
>> > > > TEL: +81-45-778-5616
>> > > >
>> > >
>> > > �Ƿ� �
>> > > ���ƻ���������ʳظ��污 ����ʳ��>> > > ��060-0810 �����̶�10����
>> > >
>> > >
>> > >
>>
>> �Ƿ� �
>> ���ƻ���������ʳظ��污 ����ʳ��>> ��060-0810 �����̶�10����
>>
>
> �Ƿ� �
> ���ƻ���������ʳظ��污 ����ʳ��> ��060-0810 �����̶�10����
>
>



-- 
Seiya Nishizawa
RIKEN Advanced Institute for Computational Science
Tel: +81-78-940-5754, Fax: +81-78-304-4972
7-1-26, Minatojima-minami-machi, Chuo-ku, Kobe, Hyogo 650-0047, Japan