前の月 / 次の月 / 最新

KazLog ChangeLog / 2008-03

01 02 03 04 05 06 07 08 09 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31

2009 : 01 02 03 04 05 06 07 08 09 10 11 12
2008 : 01 02 03 04 05 06 07 08 09 10 11 12
2007 : 01 02 03 04 05 06 07 08 09 10 11 12
2006 : 01 02 03 04 05 06 07 08 09 10 11 12
2005 : 01 02 03 04 05 06 07 08 09 10 11 12
2004 : 01 02 03 04 05 06 07 08 09 10 11 12

2008-03-26 Wed

Swap領域の拡張 [Linux]

メインメモリ不足を,安価なUSBメモリで補充できないものかと考えたが,

USB2.0メモリをswap領域に割り当てるのは,

  • 書き込みライフサイクルが限られていること
  • デバイスエラーが起こりやすいこと
  • 割り当てたからといって体感速度があがるかどうかは疑問なこと
  • そもそもそのような需要に応えるべく、設計がされていないこと.

等の理由で,常識的ではないそうだ.


USB1.1時代?

http://linux.derkeiler.com/Mailing-Lists/Fedora/2004-10/2923.html


人柱がネットで見当たらないのは,なぜだ

調べ方が悪いのだ

ReadyBoost Linux で検索すること


"REAL gain"と書かれている.一定の効果はあるようだ.

http://ubuntuforums.org/showthread.php?t=395435

2008-03-23 Sun

MySQL 形態素 vs. N-gram [MySQL]

  • ベンチマークの比較記事を探したが,無い
    • MATCH AGAINSTの速さ
    • MATCH AGAINSTで返されるscoreの,感覚的正確性
  • ただ,結局tag_scoreをリモートにおいて,効率を高める戦略を取ることの効果はわかっていて,方針を変えるつもりはないので,従来通り「形態素」で.

MySQL ujis vs. utf8 [MySQL]

  • MySQL 4.1.1 以降なら,utf8でFULLTEXT全文検索が可能.
    • 4.1.1以降なら,ujis/sjis/utf8 どれでも可能らしい.
  • 利点
    • utf8化するとDBの使用容量が減る.
      • title_kakasi, comments_kakasiも要らなくなる.
  • 欠点
    • サーバの通信量が1.5倍に増える懸念がある
  • リモートが3.xからアップデートされたとはいえ, 4.0.22だ.結局従来通り「packed string」のまま.

MySQL FULLTEXT vs. INSERT/UPDATE トレードオフ [ToDo][MySQL]

  • SELECT MATCH (title_kakasi) AGAINST ('0000'),MATCH (comments_kakasi) AGAINST ('0000') FROM file_data WHERE MATCH(title_kakasi) AGAINST('0000') OR MATCH(comments_kakasi) AGAINST('0000');
    • を行いscoreを獲得したいとき,title_kakasiとcomments_kakasiはFULLTEXTでないといけない
  • しかし,FULLTEXTであると,INSERT/UPDATEで異常に重くなる.
  • INDEX を削除するため以下を用いると,
    • ALTER TABLE file_data DROP INDEX comments_kakasi
      • を行うと,30秒ほど時間を要する.
    • ALTER TABLE file_data DROP INDEX title_kakasi
      • を行うと,15秒ほど時間を要する.
    • ALTER TABLE file_data ADD INDEX comments_kakasi など,ADDの時間を考慮すると,総計1分半に1度くらいしか登録できないので,現実的では無い.
  • uri,title_kakasi,comments_kakasiを別テーブルにコピー
    • して隔離しようとも考えたが,結局FULLTEXT化されたテーブルにINSERT/UPDATEを繰り返すことになるので,パフォーマンスのアップに繋がるかどうかは極めて疑問.
  • Senna

$ rpm -qa | grep -i mysql

79:MySQL-python-1.2.0-3.2.2

283:mysqlclient14-4.1.14-4.2

415:perl-DBD-MySQL-3.0002-2.2.2

451:libdbi-dbd-mysql-0.8.1a-1.2.1

567:mysql-devel-5.0.18-2.1

568:php-mysql-5.1.2-5

701:mysql-5.0.18-2.1

737:mysql-connector-odbc-3.51.12-1.2.1

942:mysql-server-5.0.18-2.1

1001:mysqlclient14-devel-4.1.14-4.2


$ sudo rpm -e mysql mysql-server mysql-devel

error: Failed dependencies:

libmysqlclient.so.15 is needed by (installed) perl-DBD-MySQL-3.0002-2.2.2.i386

libmysqlclient.so.15 is needed by (installed) dovecot-1.0-0.beta2.7.i386

libmysqlclient.so.15 is needed by (installed) mysql-connector-odbc-3.51.12-1.2.1.i386

libmysqlclient.so.15 is needed by (installed) libdbi-dbd-mysql-0.8.1a-1.2.1.i386

libmysqlclient.so.15 is needed by (installed) php-mysql-5.1.2-5.i386

libmysqlclient_r.so.15 is needed by (installed) MySQL-python-1.2.0-3.2.2.i386

libmysqlclient_r.so.15 is needed by (installed) mysql-connector-odbc-3.51.12-1.2.1.i386

mysql is needed by (installed) MySQL-python-1.2.0-3.2.2.i386

mysql is needed by (installed) libdbi-dbd-mysql-0.8.1a-1.2.1.i386


$ sudo rpm -e mysql mysql-server mysql-devel perl-DBD-MySQL dovecot mysql-connector-odbc libdbi-dbd-mysql php-mysql MySQL-python


$ sudo rpm -i mecab-0.96-tritonn.1.0.9.i386.rpm

$ sudo rpm -i mecab-ipadic-2.7.0.20070801-tritonn.1.0.9.i386.rpm

$ sudo rpm -i senna-1.1.0-tritonn.1.0.9.i386.rpm

$ sudo rpm -i MySQL-shared-5.0.51a-tritonn.1.0.9.i386.rpm

$ sudo rpm -i MySQL-client-5.0.51a-tritonn.1.0.9.i386.rpm

$ sudo rpm -i MySQL-server-5.0.51a-tritonn.1.0.9.i386.rpm


$ cd /media/disk/Fedora/RPMS

$ sudo rpm -Uhv perl-DBD-MySQL-3.0002-2.2.2.i386.rpm dovecot-1.0-0.beta2.7.i386.rpm mysql-connector-odbc-3.51.12-1.2.1.i386.rpm libdbi-dbd-mysql-0.8.1a-1.2.1.i386.rpm php-mysql-5.1.2-5.i386.rpm MySQL-python-1.2.0-3.2.2.i386.rpm


$ mysql

mysql> ALTER TABLE file_data ADD FULLTEXT INDEX ft USING SECTIONALIZE (title_kakasi,comments_kakasi);

mysql> SELECT MATCH(title_kakasi,comments_kakasi) AGAINST("*D+ *W1:3,2:2 A5EDA5EA B5F0C6FD") AS score FROM file_data WHERE MATCH(title_kakasi,comments_kakasi) AGAINST("*D+ *W1:3,2:2 A5EDA5EA B5F0C6FD" IN BOOLEAN MODE) ORDER BY score DESC LIMIT 10;

Empty set


# 問題点

# 1) どうも *D+ と *W を並行して使えないようだ.

# 2) また,*D+を取り除いてみたが,scoreが整数の値しか返ってこない.

# 結論

# SECTIONALIZEは使用せず,scoreに関しては従来のMySQLに任せる

#


# ALTER TABLE file_data ADD FULLTEXT ft_file_data_comments_kakasi (comments_kakasi);

# ALTER TABLE file_data ADD FULLTEXT ft_file_data_title_kakasi (title_kakasi);

# ALTER TABLE img_data ADD FULLTEXT ft_img_data_comments_kakasi (comments_kakasi);

# ALTER TABLE img_data ADD FULLTEXT ft_img_data_title_kakasi (title_kakasi);

# ALTER TABLE yourfilehost_data ADD FULLTEXT ft_yourfilehost_data_comments_kakasi (comments_kakasi);

# ALTER TABLE yourfilehost_data ADD FULLTEXT ft_yourfilehost_data_title_kakasi (title_kakasi);

# ALTER TABLE tag ADD FULLTEXT ft_tag_kakasi (kakasi);


  • - mysqldumpで 88MB のdumpファイルが,インポートすると,1.3GBにまでふくれあがる.
    • MATCH AGAINSTで返されるスコアが,小数点以下が切り捨てられた整数で返される.

2008-03-19 Wed

Ripping on FC5 Linux [Linux]

### after add repository "livna"

$ sudo yum install abcde cd-discid id3v2 lame normalize

$ sudo vi /etc/abcde.conf

OUTPUTFORMAT='${ARTISTFILE}/${ALBUMFILE}/${TRACKNUM}.${TRACKFILE}'

NORMALIZE=normalize

OUTPUTDIR="$HOME/Music"

WAVOUTPUTDIR="$HOME/Music"

$ cp /etc/abcde.conf ~/usr/etc/

$ vi ~/.cshrc

alias abcde 'abcde -o mp3:"-b 320" -a cddb,read,normalize,encode,tag,move,clean -c ~/usr/etc/abcde.conf -x'

$ rehash; sync; csh

$ abcde

tag付けの時,DTITLEにおいて以下のフォーマットで行うこと.例「Mozart / Mozart: Requiem (Karajan, BPO)」

スラッシュより前がアーティスト,後ろがアルバム名に割り当てられる

commentはどこにかけばよいのだろう.

2008-03-17 Mon

ChangeLogとPukiWiki [Life]

普段はChangeLogに書き込んで行けばいい.

整理したい場合,体系的にまとめたい場合,文章量が肥大化した場合は,PukiWikiにまとめる.

それ以外は,ChangeLogに.

プログラムのソース,設定ファイルはUnfuddleに.

他人に公開することを考えなくてよい.

自分の感性に正直に

2008-03-04 Tue

使用できるフォントの確認 [Linux]

$ fc-list


:

むしろこれからも感謝の気持ちを維持していくために,必要.

00_DoNotRemove_InstalledDistfilesList [Linux]

00_DoNotRemove_InstalledDistfilesList


Gcc:

./

../

binutils-2.14.90.0.6-3.i386.rpm

cpp-3.3.2-1.i386.rpm

gcc-3.3.2-1.i386.rpm

gcc-c++-3.3.2-1.i386.rpm

glibc-devel-2.3.2-101.i386.rpm

glibc-headers-2.3.2-101.i386.rpm

glibc-kernheaders-2.4-8.36.i386.rpm

libstdc++-devel-3.3.2-1.i386.rpm

zlib-devel-1.2.0.7-2.i386.rpm


ImageMagick:

./

../

ImageMagick-5.5.6-5.i386.rpm

fontconfig-2.2.1-10.i386.rpm

freetype-2.1.7-4.i386.rpm

libjpeg-6b-29.i386.rpm

libpng-1.2.2-17.i386.rpm

libtiff-3.5.7-14.i386.rpm

libungif-4.1.0-16.i386.rpm

xorg-x11-Mesa-libGL-6.7.0-2.i386.rpm

xorg-x11-libs-6.7.0-2.i386.rpm

xorg-x11-libs-data-6.7.0-2.i386.rpm


Kakasi:

./

../

kakasi-2.3.4-17.i386.rpm*

kakasi-devel-2.3.4-17.i386.rpm*

kakasi-dict-2.3.4-17.i386.rpm*


Misc:

./

../


MySQL5:

./

../

MySQL-client-5.0.45-0.i386.rpm

MySQL-devel-5.0.45-0.i386.rpm

MySQL-server-5.0.45-0.i386.rpm

MySQL-shared-5.0.45-0.i386.rpm

MySQL-shared-compat-5.0.45-0.i386.rpm

mysql++-2.3.2/

mysql++-2.3.2.tar.gz


Nkf:

./

../

nkf-2.0.8/


Ntp:

./

../

libcap-1.10-16.i386.rpm

ntp-4.1.2-5.i386.rpm


Wget:

./

../

wget-1.10.2/

wget-1.10.2-7.i386.rpm

wget-1.10.2.tar.gz


etc:

./

../

crontab

hosts

my.cnf*

pcmcia/

rc.d/

resolv.conf

sysconfig/

yum.conf*


log:

./

../

anaconda-ks.cfg

date.log

install.log

install.log.syslog

2009 : 01 02 03 04 05 06 07 08 09 10 11 12
2008 : 01 02 03 04 05 06 07 08 09 10 11 12
2007 : 01 02 03 04 05 06 07 08 09 10 11 12
2006 : 01 02 03 04 05 06 07 08 09 10 11 12
2005 : 01 02 03 04 05 06 07 08 09 10 11 12
2004 : 01 02 03 04 05 06 07 08 09 10 11 12

最終更新時間: 2009-05-28 23:58