KazLog ChangeLog / 2008-03

メインメモリ不足を，安価なUSBメモリで補充できないものかと考えたが，

USB2.0メモリをswap領域に割り当てるのは，

• 書き込みライフサイクルが限られていること
• デバイスエラーが起こりやすいこと
• 割り当てたからといって体感速度があがるかどうかは疑問なこと
• そもそもそのような需要に応えるべく、設計がされていないこと．

等の理由で，常識的ではないそうだ．

USB1.1時代？

http://linux.derkeiler.com/Mailing-Lists/Fedora/2004-10/2923.html

人柱がネットで見当たらないのは，なぜだ

調べ方が悪いのだ

ReadyBoost Linux で検索すること

"REAL gain"と書かれている．一定の効果はあるようだ．

http://ubuntuforums.org/showthread.php?t=395435

• ベンチマークの比較記事を探したが，無い
  • MATCH AGAINSTの速さ
  • MATCH AGAINSTで返されるscoreの，感覚的正確性
• ただ，結局tag_scoreをリモートにおいて，効率を高める戦略を取ることの効果はわかっていて，方針を変えるつもりはないので，従来通り「形態素」で．

• MySQL 4.1.1 以降なら，utf8でFULLTEXT全文検索が可能．
  • 4.1.1以降なら，ujis/sjis/utf8 どれでも可能らしい．
• 利点
  • utf8化するとDBの使用容量が減る．
    • title_kakasi, comments_kakasiも要らなくなる．
• 欠点
  • サーバの通信量が1.5倍に増える懸念がある
• リモートが3.xからアップデートされたとはいえ， 4.0.22だ．結局従来通り「packed string」のまま．

• SELECT MATCH (title_kakasi) AGAINST ('0000'),MATCH (comments_kakasi) AGAINST ('0000') FROM file_data WHERE MATCH(title_kakasi) AGAINST('0000') OR MATCH(comments_kakasi) AGAINST('0000');
  • を行いscoreを獲得したいとき，title_kakasiとcomments_kakasiはFULLTEXTでないといけない
• しかし，FULLTEXTであると，INSERT/UPDATEで異常に重くなる．
• INDEX を削除するため以下を用いると，
  • ALTER TABLE file_data DROP INDEX comments_kakasi
    • を行うと，30秒ほど時間を要する．
  • ALTER TABLE file_data DROP INDEX title_kakasi
    • を行うと，15秒ほど時間を要する．
  • ALTER TABLE file_data ADD INDEX comments_kakasi など，ADDの時間を考慮すると，総計1分半に1度くらいしか登録できないので，現実的では無い．
• uri,title_kakasi,comments_kakasiを別テーブルにコピー
  • して隔離しようとも考えたが，結局FULLTEXT化されたテーブルにINSERT/UPDATEを繰り返すことになるので，パフォーマンスのアップに繋がるかどうかは極めて疑問．
• Senna
  • MyISAMのFULLTEXTを，「従来の更新による全書き換え」より「逐次追記型」の効率的なモジュールに置き換える．
  • boolean mode が作用しない等，あまり積極的に使いたくない．
    • http://teahut.sakura.ne.jp/b/2007-08-24-1.html
  • しかし、これを使うしかないか．
  • 導入ガイド
    • http://gihyo.jp/dev/column/01/database/2007/122101
  • INSERT/UPDATEが頻発する場合は，Sennaの導入が勧められる
    • http://www.tatamilab.jp/rnd/archives/000390.html
  • Sectionalizeにより，メモリ/Disk軽量化
    • http://d.hatena.ne.jp/mir/20070619/p1
    • tag_scoreにおけるscore値を一つに集約することにより，より高速に検索が可能になる。
  • 注意
    • IN BOOLEAN MODEを指定して，検索クエリ内にスペースで区切られた複数の単語が存在したとします。この場合，Yahoo!やGoogleではAND検索が行われますが，TritonnではOR検索が行われます。デフォルトでAND検索を行うためには，以下のように検索クエリの頭に「*D+」を付与してください。 http://gihyo.jp/dev/column/01/database/2007/122101?page=2
  • 実行ログ

$ rpm -qa | grep -i mysql

79:MySQL-python-1.2.0-3.2.2

283:mysqlclient14-4.1.14-4.2

415:perl-DBD-MySQL-3.0002-2.2.2

451:libdbi-dbd-mysql-0.8.1a-1.2.1

567:mysql-devel-5.0.18-2.1

568:php-mysql-5.1.2-5

701:mysql-5.0.18-2.1

737:mysql-connector-odbc-3.51.12-1.2.1

942:mysql-server-5.0.18-2.1

1001:mysqlclient14-devel-4.1.14-4.2

$ sudo rpm -e mysql mysql-server mysql-devel

error: Failed dependencies:

libmysqlclient.so.15 is needed by (installed) perl-DBD-MySQL-3.0002-2.2.2.i386

libmysqlclient.so.15 is needed by (installed) dovecot-1.0-0.beta2.7.i386

libmysqlclient.so.15 is needed by (installed) mysql-connector-odbc-3.51.12-1.2.1.i386

libmysqlclient.so.15 is needed by (installed) libdbi-dbd-mysql-0.8.1a-1.2.1.i386

libmysqlclient.so.15 is needed by (installed) php-mysql-5.1.2-5.i386

libmysqlclient_r.so.15 is needed by (installed) MySQL-python-1.2.0-3.2.2.i386

libmysqlclient_r.so.15 is needed by (installed) mysql-connector-odbc-3.51.12-1.2.1.i386

mysql is needed by (installed) MySQL-python-1.2.0-3.2.2.i386

mysql is needed by (installed) libdbi-dbd-mysql-0.8.1a-1.2.1.i386

$ sudo rpm -e mysql mysql-server mysql-devel perl-DBD-MySQL dovecot mysql-connector-odbc libdbi-dbd-mysql php-mysql MySQL-python

$ sudo rpm -i mecab-0.96-tritonn.1.0.9.i386.rpm

$ sudo rpm -i mecab-ipadic-2.7.0.20070801-tritonn.1.0.9.i386.rpm

$ sudo rpm -i senna-1.1.0-tritonn.1.0.9.i386.rpm

$ sudo rpm -i MySQL-shared-5.0.51a-tritonn.1.0.9.i386.rpm

$ sudo rpm -i MySQL-client-5.0.51a-tritonn.1.0.9.i386.rpm

$ sudo rpm -i MySQL-server-5.0.51a-tritonn.1.0.9.i386.rpm

$ cd /media/disk/Fedora/RPMS

$ sudo rpm -Uhv perl-DBD-MySQL-3.0002-2.2.2.i386.rpm dovecot-1.0-0.beta2.7.i386.rpm mysql-connector-odbc-3.51.12-1.2.1.i386.rpm libdbi-dbd-mysql-0.8.1a-1.2.1.i386.rpm php-mysql-5.1.2-5.i386.rpm MySQL-python-1.2.0-3.2.2.i386.rpm

$ mysql

mysql> ALTER TABLE file_data ADD FULLTEXT INDEX ft USING SECTIONALIZE (title_kakasi,comments_kakasi);

mysql> SELECT MATCH(title_kakasi,comments_kakasi) AGAINST("*D+ *W1:3,2:2 A5EDA5EA B5F0C6FD") AS score FROM file_data WHERE MATCH(title_kakasi,comments_kakasi) AGAINST("*D+ *W1:3,2:2 A5EDA5EA B5F0C6FD" IN BOOLEAN MODE) ORDER BY score DESC LIMIT 10;

Empty set

# 問題点

# 1) どうも *D+ と *W を並行して使えないようだ．

# 2) また，*D+を取り除いてみたが，scoreが整数の値しか返ってこない．

# 結論

# SECTIONALIZEは使用せず，scoreに関しては従来のMySQLに任せる

#

# ALTER TABLE file_data ADD FULLTEXT ft_file_data_comments_kakasi (comments_kakasi);

# ALTER TABLE file_data ADD FULLTEXT ft_file_data_title_kakasi (title_kakasi);

# ALTER TABLE img_data ADD FULLTEXT ft_img_data_comments_kakasi (comments_kakasi);

# ALTER TABLE img_data ADD FULLTEXT ft_img_data_title_kakasi (title_kakasi);

# ALTER TABLE yourfilehost_data ADD FULLTEXT ft_yourfilehost_data_comments_kakasi (comments_kakasi);

# ALTER TABLE yourfilehost_data ADD FULLTEXT ft_yourfilehost_data_title_kakasi (title_kakasi);

# ALTER TABLE tag ADD FULLTEXT ft_tag_kakasi (kakasi);

• - mysqldumpで 88MB のdumpファイルが，インポートすると，1.3GBにまでふくれあがる．
  • MATCH AGAINSTで返されるスコアが，小数点以下が切り捨てられた整数で返される．

### after add repository "livna"

$ sudo yum install abcde cd-discid id3v2 lame normalize

$ sudo vi /etc/abcde.conf

OUTPUTFORMAT='${ARTISTFILE}/${ALBUMFILE}/${TRACKNUM}.${TRACKFILE}'

NORMALIZE=normalize

OUTPUTDIR="$HOME/Music"

WAVOUTPUTDIR="$HOME/Music"

$ cp /etc/abcde.conf ~/usr/etc/

$ vi ~/.cshrc

alias abcde 'abcde -o mp3:"-b 320" -a cddb,read,normalize,encode,tag,move,clean -c ~/usr/etc/abcde.conf -x'

$ rehash; sync; csh

$ abcde

tag付けの時，DTITLEにおいて以下のフォーマットで行うこと．例「Mozart / Mozart: Requiem (Karajan, BPO)」

スラッシュより前がアーティスト，後ろがアルバム名に割り当てられる

commentはどこにかけばよいのだろう．

普段はChangeLogに書き込んで行けばいい．

整理したい場合，体系的にまとめたい場合，文章量が肥大化した場合は，PukiWikiにまとめる．

それ以外は，ChangeLogに．

プログラムのソース，設定ファイルはUnfuddleに．

他人に公開することを考えなくてよい．

自分の感性に正直に

$ fc-list

:

むしろこれからも感謝の気持ちを維持していくために，必要．