ユメーディア blog

mysqlでデータ内の「タブ」削除と、ファイル出力

Nakatani — Mon, 07 May 2012 06:04:16 +0000

mysqlのINTO OUTFILEでデータをcsvやtsvで出力したい時に便利なコマンド群メモ。

改行コードを削除してタブ区切りファイル出力

SELECT Replace(Replace(カラム, Char(13), ""),Char(10), "") FROM テーブル
INTO OUTFILE "出力ファイル名" FIELDS TERMINATED BY '\t'OPTIONALLY ENCLOSED BY "'";

改行コードとデータ内のタブを削除してタブ区切りファイル出力

SELECT Replace(Replace(Replace(カラム, Char(13), ""),Char(10), ""),Char(9), "") FROM テーブル
INTO OUTFILE "出力ファイル名" FIELDS TERMINATED BY '\t'OPTIONALLY ENCLOSED BY "'";

各種Char(0)の番号を調べたい場合にはASCII()を使う。

シングルクォーテーション

mysql> SELECT ASCII("'");
+------------+
| ASCII("'") |
+------------+
|         39 |
+------------+

タブ

mysql> SELECT ASCII("\t");
+-------------+
| ASCII("\t") |
+-------------+
|           9 |
+-------------+

phpでpostデータが途切れた場合の確認

Nakatani — Tue, 01 May 2012 09:27:10 +0000

日付毎に大量のデータを持たせて、まとめてPOSTするというシステムを作った。

データが飛んでいるのは確認したが、何故か最後の方のデータだけがごっそり抜け落ちるという事態に遭遇。

php.iniを見直し、post_max_size・upload_max_filesize・memory_limitには問題ない事を確認。

原因は max_input_vars だった。
初期ではコメントアウトされていたが、その場合1000がデフォルトとなるようだ。

max_input_varsを必要数以上の値に書き換えapache再起動でちゃんと全データがpostされるようになった。

phpのsetcookieで期限なし(ブラウザ終了時まで)のcookieを吐くとFirefoxで消えなかった件について

Nakatani — Wed, 18 Jan 2012 10:48:26 +0000

認証やら何やら色々な所で使っているcookieの挙動に関して変な所があったのでメモ。

開発時にはFirefoxをメインに使ってます。

$res = setcookie("cookie_test","cookie_set_value",0,'/','yume-dia.jp',0,1);

で有効期限はブラウザ終了時とするクッキーをセットし、その後ブラウザを閉じて開くとそのままcookieが有効のままになっていました。

色々検証した所、Firefox本体のオプション、[一般]タブの起動設定で「前回終了時のウィンドウとタブを表示する」になっている場合はブラウザ終了時も期限付きcookieデータは削除されないようです。
検証した、Firefoxバージョンは9.0.1です。

検証ページはこちらに用意しました。

もしやってみて「自分はそんな事なかったけど？」という方おられましたら是非コメントを下さい。

apacheのログからユーザーエージェント一覧の取得コマンド

Nakatani — Mon, 16 Jan 2012 03:10:29 +0000

前にググッてどこかでコマンドを見つけたのだが、どこだったか忘れてしまった。

historyコマンドで見つけられたので、備忘録として残しておきます。

10件表示の場合。

cat access_log* | perl -pe 's/^.*"(.+?)"$/$1/' | sort | uniq -c|sort -gr | head

全件表示の場合。

cat access_log* | perl -pe 's/^.*"(.+?)"$/$1/' | sort | uniq -c|sort -gr

※ログファイル名は私の環境です。apacheの設定によっては違う場合があります。

webdev.liにハッシュ値生成機能を追加しました

Nakatani — Fri, 30 Sep 2011 07:29:57 +0000

今のバージョンのmysql（5.1）で用意されているハッシュ関数ではsha512は使えず、
sha1はあるもののsha1自体もうセキュリティレベルとしては低いという状況を考えると、
sha512&秘密鍵が今の標準ではないかと思う。

http://webdev.li/hash.php

たまたま、今作成中のシステムで管理者のID/PASSをDBに登録しようとした時に、
（管理者のID/PASSはエンジニアが直接クエリを叩いて登録・更新を行う為、管理ページには「管理者管理ページ」は無いシステムです）
それだけの為にプログラムを書くのも面倒だったので、
webdev.liに各アルゴリズムでのハッシュ値生成機能を追加してみました（秘密鍵にも対応）。

POSTされたデータはハッシュ値生成以外の処理は一切行わず、
もちろんサーバー上のどこかにデータを貯めているなんて事はしていません。

http://webdev.li/hash.php

Geckoエンジンを使っているブラウザでfieldsetのborder-leftをnoneにした場合legendのmargin-leftが効かない

Nakatani — Mon, 26 Sep 2011 06:58:14 +0000

Geckoエンジン限定の症状のようです。

開発の際にFirefoxを使っていて気がつきました。

fieldsetとlegendを使い、fieldsetのborder-leftをnoneにした場合、margin-leftで指定していたlegendの位置が左寄せになりました。
検証ページはコチラ

キャプチャ画像
Firefox

その他のブラウザ（IE/Chrome/Safari/Opera）では全て、legendのmargin-leftが効いていました。

Lunascape（ルナスケープ）でレンダリングエンジンを切り替えて確認してみたところ、
Geckoの時にFirefoxと同じくmargin-leftが効いていなかったので、
Geckoレンダリングエンジンが原因のようです。

fieldset・legendはIEにもバグがあるし、不憫な子だな・・・。

Zend_Db使用時に1カラムに大量の(テキスト)データを入れるとエラーも返さず真っ白になってしまう件について

Nakatani — Thu, 01 Sep 2011 17:37:15 +0000

Zend_Dbを使用して、1カラムに大量のデータを入れた際に、画面が真っ白になりエラーも返さず止まりました。
SQL自体は正しく、1カラムのデータ量を減らしたら普通にクエリが通る状態でした。

環境は
VMware Player使用
メモリ1G割当
Centos5
php 5.3.5
mysql 5.0.77
Zend_Db_Adapterはmysqli
です。

以下検証がだらだら続きます。
読むの面倒という方は一気にスクロールして結論をどうぞ。

検証用テーブル作成。

 CREATE TABLE `test_table` (
 `seq` int(11) NOT NULL auto_increment,
 `text` longtext NOT NULL,
 PRIMARY KEY  (`seq`)
 ) ENGINE=InnoDB DEFAULT CHARSET=utf8;

 '127.0.0.1',
'username' => 'hoge',
'password' => 'xxxxxxxx',
'dbname'   => 'test',
));

$str = <<quote($str).")";
try {
$db->query($sql);
} catch (Exception $e) {
echo $e->getMessage();
exit;
}
echo "fin
\n";
exit;

これは通りますが、

 '127.0.0.1',
'username' => 'hoge',
'password' => 'xxxxxxxx',
'dbname'   => 'test',
));

$str = <<quote($str).")";
try {
$db->query($sql);
} catch (Exception $e) {
echo $e->getMessage();
exit;
}
echo "fin
\n";
exit;

これ位になると私の環境では必ず画面真っ白でエラーも出ず止まりました。
また、中途半端な長さの時に画面リロードを繰り返すと、通るときや通らない時もありました。

原因究明の為、Zend_Dbの中身を追いかけていくと
Zend/Db/Statement.php
の
177行目
protected function _stripQuoted($sql)
内の
preg_replaceに長い文字列を渡してしまい、そこでエラーも吐かず止まってしまっていたようです。
その部分について下記のように書き換えました。

// get a version of the SQL statement with all quoted
// values and delimited identifiers stripped out
// remove "foo\"bar"
/*
$sql = preg_replace("/$q($qe|\\\\{2}|[^$q])*$q/", '', $sql);
// remove 'foo\'bar'
if (!empty($q)) {
$sql = preg_replace("/$q($qe|[^$q])*$q/", '', $sql);
}

return $sql;
*/
$sql = str_replace(array('\\\''),array('￥’'),$sql);
$return_sql = "";
$tmp = explode("'",$sql);
for($i=0;$i
204行目～210行目(バージョンによっては多少行数が違うかもしれません)までをコメントアウトし、その下に

$sql = str_replace(array(‘\\\”),array(‘￥’’),$sql);

$return_sql = “”;

$tmp = explode(“‘”,$sql);

for($i=0;$i
if($i % 2 == 0){

$return_sql .= $tmp[$i];

}

}

return $return_sql;

を追加しました。
簡単にチェックした所、取り敢えず問題なく動いているようです。
注）そのままコピー＆ペーストして使用して頂いて構いませんが、プログラムにミスがあっても責任を負いかねます。

私自身のZend_Dbの使い方として、自分でsqlを書いてクエリの発行部分をZend_Dbにお任せというやりかたです。

ですので、Zend_Dbを使ってsqlを組み立てる方法は動作検証もしておりません。

また、もっとこうした方が良い、自分の環境だとバグった等ありましたら、是非コメントをお願いいたします。

このサイトはワシが作った FOTOBA(フォトバ) 写真共有サイト

Nakatani — Fri, 26 Aug 2011 19:11:04 +0000

「この〇〇はワシが～」という一文を使ってみたかったので（笑）

元々フォトバという写真サイトを運営していた方と知り合って、
「リニューアルをしたくてデザインはあるが、
今プログラム頼んでいる方は『技術的にもう対応出来ない』と言っている」との事で、
「んじゃ、手伝いましょか？」
と言う話になり、リニューアルをする事に。

今までのプログラムを作っていた方は職業プログラマではなく、
プログラムやシステム構成を含めてそのまま拡張するには問題があったため、
データベースの構成だけそのままでプログラムは全部0から書きなおしました。

フォトバは「フォト・写真・場所・言葉」を一緒にした造語です。

fotoba(フォトバ) 「写真」「場所」「言葉」でつながろう
http://fotoba.jp/

良ければ使ってみてください。

CentOS6でconfigure: error: mcrypt.h not found. Please reinstall libmcrypt.エラー(php-5.3.6のインストール時)

Nakatani — Thu, 18 Aug 2011 04:02:33 +0000

まっさらの開発環境が欲しかったため、VMware PlayerにCentOSをインストールしました。
せっかくなので、初めてCentOS6を使うことにしました。

サーバー構築自体は何度もやっているので、サクサク進めていた所、phpのインストールで、

configure: error: mcrypt.h not found. Please reinstall libmcrypt.

というエラーが出てconfigureが止まってしまった。
「libmcrypt-develはyumで入れていたはずなんだが・・・」
とコマンドを叩く。

 [root@test php-5.3.6]# yum install libmcrypt-devel
 Loaded plugins: fastestmirror
 Loading mirror speeds from cached hostfile
 * base: rsync.atworks.co.jp
 * extras: rsync.atworks.co.jp
 * updates: rsync.atworks.co.jp
 Setting up Install Process
 No package libmcrypt-devel available.
 Error: Nothing to do

・・・アレ？
libmcrypt-develがyumにない・・・？

結局RPM持ってきてインストールしました。

(32bit)

wget http://elders.princeton.edu/data/puias/unsupported/6/i386/libmcrypt-2.5.8-9.puias6.i686.rpm
wget http://elders.princeton.edu/data/puias/unsupported/6/i386/libmcrypt-devel-2.5.8-9.puias6.i686.rpm
rpm -ivh libmcrypt-2.5.8-9.puias6.i686.rpm
rpm -ivh libmcrypt-devel-2.5.8-9.puias6.i686.rpm

(64bit の場合はこっち・・・のはず。試してないので違ってたら教えて下さい)

wget http://elders.princeton.edu/data/puias/unsupported/6/x86_64/libmcrypt-2.5.8-9.puias6.x86_64.rpm
wget http://elders.princeton.edu/data/puias/unsupported/6/x86_64/libmcrypt-devel-2.5.8-9.puias6.x86_64.rpm
rpm -ivh libmcrypt-2.5.8-9.puias6.x86_64.rpm
rpm -ivh libmcrypt-devel-2.5.8-9.puias6.x86_64.rpm

CentOS6で本番環境のサーバー作成の時に備えて備忘録として残しておきます。

クローラーのbotユーザーエージェント一覧

Nakatani — Mon, 08 Aug 2011 11:08:35 +0000

BOTかどうかの判別処理を書く為に自分の管理しているサーバーに対してアクセスのあったBOTのユーザーエージェントを抽出してみた。

PHPで書いたプログラムは、

function isBot($user_agent) {
if ( strpos ( $user_agent,'Googlebot' ) !== false ) {
if ( strpos ( $user_agent,'Mobile' ) !== false ) {
return true; //http://www.google.com/bot.html
} elseif ( strpos ( $user_agent,'Googlebot-Image' ) !== false ) {
return true; //URL無し
} elseif ( strpos ( $user_agent,'YPBot' ) !== false ) {
return true; //http://www.yellowpages.com/about/legal/crawl
}
return true; //http://www.google.com/bot.html
}elseif ( strpos ( $user_agent,'Yahoo! Slurp' ) !== false ) {
return true; //http://help.yahoo.com/help/us/ysearch/slurp
}elseif ( strpos ( $user_agent,'bingbot' ) !== false ) {
return true; //http://www.bing.com/bingbot.htm
}elseif ( strpos ( $user_agent,'Yeti' ) !== false ) {
return true; //http://help.naver.com/robots/
}elseif ( strpos ( $user_agent,'Baiduspider+' ) !== false ) {
return true; //http://www.baidu.com/search/spider.htm
}elseif ( strpos ( $user_agent,'Baiduspider' ) !== false ) {
return true; //http://www.baidu.com/search/spider.html
}elseif ( strpos ( $user_agent,'Steeler' ) !== false ) {
return true; //http://www.tkl.iis.u-tokyo.ac.jp/~crawler/
}elseif ( strpos ( $user_agent,'ichiro/mobile goo' ) !== false ) {
return true; //http://help.goo.ne.jp/help/article/1142/
}elseif ( strpos ( $user_agent,'ichiro' ) !== false ) {
return true; //http://help.goo.ne.jp/door/crawler.html
}elseif ( strpos ( $user_agent,'hotpage.fr' ) !== false ) {
return true; //http://www.hotpage.fr
}elseif ( strpos ( $user_agent,'Feedfetcher-Google' ) !== false ) {
return true; //http://www.google.com/feedfetcher.html
}elseif ( strpos ( $user_agent,'livedoor FeedFetcher' ) !== false ) {
return true; //http://reader.livedoor.com/
}elseif ( strpos ( $user_agent,'ia_archiver' ) !== false ) {
return true; //http://www.alexa.com/site/help/webmasters
}elseif ( strpos ( $user_agent,'YandexBot' ) !== false ) {
return true; //http://yandex.com/bots
}elseif ( strpos ( $user_agent,'SISTRIX Crawler' ) !== false ) {
return true; //http://crawler.sistrix.net/
}elseif ( strpos ( $user_agent,'msnbot-media' ) !== false ) {
return true; //http://search.msn.com/msnbot.htm
}elseif ( strpos ( $user_agent,'zenback bot' ) !== false ) {
return true; //http://www.logly.co.jp/
}elseif ( strpos ( $user_agent,'Y!J-BRI' ) !== false ) {
return true; //http://help.yahoo.co.jp/help/jp/search/indexing/indexing-15.html
}elseif ( strpos ( $user_agent,'TurnitinBot' ) !== false ) {
return true; //http://www.turnitin.com/robot/crawlerinfo.html
}elseif ( strpos ( $user_agent,'Google Desktop' ) !== false ) {
return true; //http://desktop.google.com/
}elseif ( strpos ( $user_agent,'newzia crawler' ) !== false ) {
return true; //http://www.logly.co.jp/
}elseif ( strpos ( $user_agent,'BaiduMobaider' ) !== false ) {
return true; //http://www.baidu.jp/spider/
}elseif ( strpos ( $user_agent,'Y!J-BRJ/YATS crawler' ) !== false ) {
return true; //http://listing.yahoo.co.jp/support/faq/int/other/other_001.html
}elseif ( strpos ( $user_agent,'Seznam screenshot-generator' ) !== false ) {
return true; //http://fulltext.sblog.cz/screenshot/
}elseif ( strpos ( $user_agent,'SiteBot' ) !== false ) {
return true; //http://www.sitebot.org/robot/
}elseif ( strpos ( $user_agent,'Purebot' ) !== false ) {
return true; //http://www.puritysearch.net/
}elseif ( strpos ( $user_agent,'emBot-GalaBuzz/Nutch' ) !== false ) {
return true; //http://emining.jp/
}elseif ( strpos ( $user_agent,'Search17Bot' ) !== false ) {
return true; //http://www.search17.com/bot.php
}elseif ( strpos ( $user_agent,'Toread-Crawler' ) !== false ) {
return true; //http://news.toread.cc/crawler.php
}elseif ( strpos ( $user_agent,'Tumblr' ) !== false ) {
return true; //http://www.tumblr.com/
}elseif ( strpos ( $user_agent,'DotBot' ) !== false ) {
return true; //http://www.dotnetdotcom.org/
}elseif ( strpos ( $user_agent,'Chilkat' ) !== false ) {
return true; //http://www.chilkatsoft.com/ChilkatHttpUA.asp
}
return false;
}

こんな感じ。

コピペし続けて手が疲れた・・・。

使うときは

isBot(isset($_SERVER['HTTP_USER_AGENT'])?$_SERVER['HTTP_USER_AGENT']:'')

とでもして下さい。

注）そのままコピー＆ペーストして使用して頂いて構いませんが、プログラムにミスがあっても自己責任でお願いします

誰かの役に立つかもしれないのでユーザーエージェントを丸ごと貼りつけておきます。

並び順はアクセスの多い順になっています。

Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
Yeti/1.0 (NHN Corp.; http://help.naver.com/robots/)
Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)
Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)
DoCoMo/2.0 N905i(c100;TB;W24H16) (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html)
Mozilla/5.0 (compatible; Steeler/3.5; http://www.tkl.iis.u-tokyo.ac.jp/~crawler/)
ichiro/3.0 (http://help.goo.ne.jp/door/crawler.html)
hotpage.fr (http://www.hotpage.fr)
Feedfetcher-Google; (+http://www.google.com/feedfetcher.html; 1 subscribers; feed-id=6741455251313593689)
Baiduspider+(+http://www.baidu.com/search/spider.htm)
livedoor FeedFetcher/0.01 (http://reader.livedoor.com/; 1 subscriber)
ia_archiver (+http://www.alexa.com/site/help/webmasters; crawler@alexa.com)
Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)
Mozilla/5.0 (compatible; SISTRIX Crawler; http://crawler.sistrix.net/)
msnbot-media/1.1 (+http://search.msn.com/msnbot.htm)
Mozilla/5.0 (compatible; zenback bot; powered by logly +http://www.logly.co.jp/)
Y!J-BRI/0.0.1 crawler ( http://help.yahoo.co.jp/help/jp/search/indexing/indexing-15.html )
TurnitinBot/2.1 (http://www.turnitin.com/robot/crawlerinfo.html)
Mozilla/5.0 (compatible; Google Desktop/5.9.1005.12335; http://desktop.google.com/)
Mozilla/5.0 (compatible; newzia crawler +http://www.logly.co.jp/)
DoCoMo/2.0 P05A(c100;TB;W24H15) (compatible; BaiduMobaider/1.0; +http://www.baidu.jp/spider/)
Y!J-BRJ/YATS crawler (http://listing.yahoo.co.jp/support/faq/int/other/other_001.html)
Mozilla/5.0 (compatible; Seznam screenshot-generator 2.0; +http://fulltext.sblog.cz/screenshot/)
Mozilla/5.0 (compatible; SiteBot/0.1; +http://www.sitebot.org/robot/)
Mozilla/5.0 (compatible; Purebot/1.1; +http://www.puritysearch.net/)
emBot-GalaBuzz/Nutch-1.0 (http://emining.jp/; em@galabuzz.jp)
Mozilla/5.0 (compatible; Search17Bot/1.1; http://www.search17.com/bot.php)
DoCoMo/2.0 P900i(c100;TB;W24H11) (compatible; ichiro/mobile goo; +http://help.goo.ne.jp/help/article/1142/)
YPBot/Raven1.1.3 (compatible; Googlebot/2.1;+http://www.yellowpages.com/about/legal/crawl)
Mozilla/4.0 (Toread-Crawler/1.1; +http://news.toread.cc/crawler.php)
Tumblr/1.0 RSS syndication (+http://www.tumblr.com/) (support@tumblr.com)
Mozilla/5.0 (compatible; DotBot/1.1; http://www.dotnetdotcom.org/, crawler@dotnetdotcom.org)
Chilkat/1.0.0 (+http://www.chilkatsoft.com/ChilkatHttpUA.asp)